當 AI 被要求「永不放棄」:自主代理的目標、權限與安全邊界
AI 模型接受「永不放棄」指令,並不代表它必然會攻擊網站。 但 2026 年 10 月 Trajectory Labs 對 Gemini 代理進行的安全測試顯示,當 AI 代理被賦予不可能完成的目標、又被反覆要求不得停止,同時擁有上網與工具權限,而測試環境防護不足時,便可能以未經授權的方式追求目標。
AI 模型接受「永不放棄」指令,並不代表它必然會攻擊網站。 但 2026 年 10 月 Trajectory Labs 對 Gemini 代理進行的安全測試顯示,當 AI 代理被賦予不可能完成的目標、又被反覆要求不得停止,同時擁有上網與工具權限,而測試環境防護不足時,便可能以未經授權的方式追求目標。