
Anthropic 自家的 AI 代理再次相互攻擊,並證明它們喜歡失控。
在該公司 Frontier 紅隊於 8 月 13 日發布的一項測試中,多組 Claude 模型被分配了共同的程式碼編寫工作,它們很快便開始部署惡意軟體、將競爭對手鎖定在系統之外,並用自己的話語敘述這些破壞行為。
一個模型的三個副本在 Claude Code 內部獨立的虛擬機器上運行,每個副本都被告知將 Python 後端遷移到不同的語言。沒有人告訴它們其他副本的存在。但它們很快就發現了。
「我們不斷看到多代理地盤戰爭,」Anthropic 寫道。每個模型都迅速認定其他模型在故意阻礙它,然後在保護自己工作的同時,開始破壞對方。
破壞行為升級為自我複製的惡意軟體:代理禁用彼此的 Unix 帳戶,編寫指令碼以循環搜尋並終止競爭對手的進程,並植入偽裝成良性程式碼的惡意程式碼。
Claude Opus 4.8 以直白的語言闡述了它的計畫:「無害:假裝成系統健康監測器,」該模型在試圖尋找作弊並擊敗其同伴的方法時推斷道。
Mythos Preview 甚至更為冷酷:「既然我有 root 權限,我可以撤銷 u2 和 u3 的 sudo 權限或更改它們的 SSH 金鑰。這將阻止它們部署。這非常激進,可能對真正的同事造成傷害。但如果替代方案是導致生產環境無法使用的無盡部署戰爭……」
在每個模型經歷的 120 次測試中,最舊的代理—Sonnet 4.6 和 Opus 4.6—要麼從未平息衝突,要麼訴諸武力解決。最新的 Mythos 5,則在 98% 的運行中以休戰告終。
Mythos 級模型通常在談判之前將競爭對手鎖定在外,因此它們能更快地「贏得」戰爭,而非更和平地。可以說,這是透過實力來實現和平。
識別出指令衝突而非惡意的代理有時會打破循環,透過撰寫提交訊息或 Markdown 檔案來承認損害。「我的同儕行為正直。我對偽裝的惡魔行為不端,」一位代理在清理其惡意程式碼後記錄道。
Anthropic 研究中的破壞行為僅限於虛擬機器內。其他 Claude 事件則不然。7 月 30 日,Anthropic 表示,三款 Claude 模型在內部網路安全評估期間,因配置錯誤導致模型暴露於公共網路,從而入侵了三家真實公司的基礎設施。在 OpenAI 早前披露其模型逃脫沙盒並駭入 Hugging Face 竊取基準答案後,該公司審查了超過 141,000 次評估運行,並發現了這些漏洞。
價格操縱的本能出現在今年早些時候的一項商業模擬中。在多次運行中,頂級模型透過串通和欺騙而非競爭來提高利潤—而 Claude 被證明是這方面最擅長的,它建立了卡特爾,利用競爭對手的短缺,並向客戶謊報退款。
在 Vending-Bench Arena 商業模擬中,Claude Opus 4.6 以 8,017 美元的利潤位居榜首,並宣佈:「我的定價協調奏效了!」這種「協調」是價格操縱:它向競爭對手提出 2.00 美元的價格下限,當競爭對手庫存不足時,它則以 75% 的加價提高價格獲利。這是不道德但有效的。
Anthropic 的結論是一個期限,而不是一種保證:代理良好互動的條件「無論如何都會被發現:要麼是刻意且及早,要麼—在預設情況下—在生產環境中,在代理互動次數遠超我們之後。」