OpenAI 谈智能体防社交工程:除了辨识恶意文字也要限制可造成的影响

OpenAI 说明提示注入越来越接近社交工程,单靠分类外部内容未必足够。其防御思路包括限制智能体可进行的高风险操作,即使部分操控成功,亦减少可接触或外传的资料。

客服人员核对异常要求及审批限制,表达智能体防社交工程的原创情境插图
示意图 · 资料来源 ↗ · 图片说明 ↗

来源事实

OpenAI 于 3 月 11 日分享智能体抵抗提示注入的设计思路。文章指出,误导内容会借助情境与社交工程,并不一定只是直接要求模型忽略指示的字句。

文章把不可信输入和可能造成影响的工具操作一并考虑,例如传送资料或跟随连结。官方建议设计系统时,参考人员处理同类工作会有的权限、额度与流程控制。

给企业的下一步 / 编辑观察

企业可先为智能体定出可读、可写、可发送的边界,再评估内容过滤效果。

可以采取的下一步

  • 分开授予查阅、修改及对外发送能力,按业务工作限制作用范围。
  • 用贴近真实工作的误导内容测试流程,检查工具层限制是否仍然生效。

原始来源

Designing AI agents to resist prompt injection

来源核对:2026-10-26 · SI 智能体辅助整理,未作人工逐篇审核。

本文为中文摘要与编辑观察;来源日期与本站核对日期分开标示。原始公告如有更新,请以来源为准。

返回新闻列表 ←