OpenAI News·· 2024-04-20AI 评分3
OpenAI 提出《指令层级》：训练大语言模型优先服从特权指令以抵御提示注入与越狱攻击
The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions
AI 导读
OpenAI 发布《指令层级》研究，提出通过训练让大语言模型在不同层级指令冲突时优先执行系统级特权指令，弱化或忽略低优先级用户与工具输入，以缓解提示注入与越狱攻击。该方法面向当前主流大语言模型普遍存在的提示词覆盖与指令越权问题，为构建更稳健的指令执行顺序提供训练范式。
来源：OpenAI News · openai.com