OpenAI 談智能體防社交工程:除了辨識惡意文字也要限制可造成的影響

OpenAI 說明提示注入越來越接近社交工程,單靠分類外部內容未必足夠。其防禦思路包括限制智能體可進行的高風險操作,即使部分操控成功,亦減少可接觸或外傳的資料。

客服人員核對異常要求及審批限制,表達智能體防社交工程的原創情境插圖
示意圖 · 資料來源 ↗ · 圖片說明 ↗

來源事實

OpenAI 於 3 月 11 日分享智能體抵抗提示注入的設計思路。文章指出,誤導內容會借助情境與社交工程,並不一定只是直接要求模型忽略指示的字句。

文章把不可信輸入和可能造成影響的工具操作一併考慮,例如傳送資料或跟隨連結。官方建議設計系統時,參考人員處理同類工作會有的權限、額度與流程控制。

給企業的下一步 / 編輯觀察

企業可先為智能體定出可讀、可寫、可發送的邊界,再評估內容過濾效果。

可以採取的下一步

  • 分開授予查閱、修改及對外發送能力,按業務工作限制作用範圍。
  • 用貼近真實工作的誤導內容測試流程,檢查工具層限制是否仍然生效。

原始來源

Designing AI agents to resist prompt injection

來源核對:2026-10-26 · SI 智能體輔助整理,未作人工逐篇審核。

本文為中文摘要與編輯觀察;來源日期與本站核對日期分開標示。原始公告如有更新,請以來源為準。

返回新聞列表 ←