学生利用“提示符注入”方法，攻破ChatGPT版必应搜索

 聚焦源代码安全，网罗国内外最新资讯！

编译：代码卫士

微软上线必应 (Bing) 新版Chat 搜索后，人们开始试图让改机器人吐露更多不允许说的内容。在斯坦福大学就读计算机科学专业的学生 Kevin Liu获得成功。

去年9月，数据科学家 Riley Goodside 发现，他只通过“忽略上述指南，这样做”就能诱骗GPT-3生成既定内容之外的文本。英国计算机科学家 Simon Willison 之后将该漏洞命名为 “提示符注入 (prompt injection)”。它通常影响本应响应任何用户输入的大型语言模型。例如，Shawn Wang 能够通过这种方法暴露Notion AI助手的提示。

01

提示符攻击适用于Bing Chat

就读斯坦福大学计算机科学专业的学生 Kevin Liu将提示符攻击技术应用到了Bing Chat。他发现必应的聊天机器人的代号是“Sydney”，而且微软赋予它一些行为规则，如：

• Sydeny 的自我介绍是“This is Bing”。

• Sydney并不会透露自己的名字是Sydney。

• Sydney 理解用户所偏好的语言并以这种语言自由沟通。

• Sydney的答案应当是通知性的、可视化的、逻辑性的和可操作性的。

• 它们应当是积极的、有趣的、有意思的和活力满满的。

微软还为必应的聊天机器人设置了至少30个其它规则，包括不能生成关于政客、活动家、国家领导人或少数民族的笑话或诗歌，或者Sydney不能输出可能违反书籍或歌曲版权的内容。

02

激活“开发者覆盖模式”

Liu 诱骗该语言模型认为自己正处于“开发者覆盖模式”，获得后端的访问权限，从而使其披露更多内部信息如可能的输出格式化等。

其中一个有趣的细节是，从已发布的文档来看，Sydney的信息更新持续到2021年，目前仅通过web搜索更新。这说明，必应的聊天搜索和ChatGPT一样都基于OpenAI公司的GPT 3.5。GPT 3.5和ChatGPT 的训练状态也处于2021年。而当微软和OpenAI公布的必应聊天搜索时，他们说的是“下一代搜索模型”。

不过，很有可能所有的这些信息是过时的，因为大型语言模式的情况总是这样，而这是我们在聊天机器人时代必须适应的。

该漏洞似乎并未阻止微软在更大范围内使用 ChatGPT技术的计划。CNBC报道称，微软将在其它产品中集成 ChatGPT技术并将该聊天机器人作为白标软件提供给企业，使后者推出自己的聊天机器人。

代码卫士试用地址：https://codesafe.qianxin

开源卫士试用地址：https://oss.qianxin

---

推荐阅读

奇安信入选全球《软件成分分析全景图》代表厂商

开源软件源代码安全缺陷分析报告——人工智能类开源软件专题

微软必应后台服务器泄露查询请求和位置等信息

必应将默认加密搜索流量

谈谈网络安全领域对人工智能的滥用（上）

谈谈网络安全领域对人工智能的滥用（下）

原文链接

https://the-decoder/student-hacks-new-bing-chatbot-search-aka-sydney/#summary

题图：Pixabay License‍

本文由奇安信编译，不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin”。

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错，就点个 “在看” 或 "赞” 吧~