微软开发工具以防Ai聊天机器人被教坏

微软正努力防止人们欺骗Ai聊天机器人做出奇怪的事情。微软公司周四在一篇博客文章中表示，Azure AI Studio正在内置新的安全功能，允许开发人员使用自己的数据构建定制的人工智能助手。这些工具包括“提示词防护盾”，旨在检测和阻止企图使人工智能模型以意想不到的方式运行的“提示词攻击”或“越狱”。微软还解决了“间接提示词输入”问题，即黑客将恶意指令插入模型所训练的数据中，并诱使其执行诸如窃取用户信息或劫持系统等未经授权的操作。微软负责人工智能的首席产品官Sarah Bird说，这种攻击是“一种独特的挑战和威胁”。她说，新的防御措施旨在发现可疑输入并实时阻止它们。微软还推出了一项新功能，当Ai模型编造东西或产生错误反应时，它会提醒用户。

本文源自金融界AI电报