隨著先進系統能力日益增強，Anthropic 提出了新的AI政策框架。
該公司希望政府為前沿模型制定規則，並讓勞工為AI的經濟影響做好準備。其計畫涵蓋危險部署、獨立測試、網路安全和公眾韌性。
Anthropic 在其「AI指數級發展政策」計畫下提出了兩項提案。先進AI框架側重於強大模型，而經濟政策框架則解決勞工和共享財務利益問題。該公司認為，AI發展速度已超越現行政策制定系統。它還表示，政府需要權力來阻止或遏制危險的模型部署。
根據該計畫，民事罰款將與全球年度收入掛鉤。根據擬議框架，重複違規行為將導致更高的罰款。該框架還呼籲前沿開發者在發布前測試模型。開發者將為強大的AI系統發布摘要、安全框架和系統卡。
獨立評估者將審查模型測試和風險報告。Anthropic 還希望開發者維護模型權重和訓練系統的強大安全計畫。該提案支持加州和紐約等州的透明度法律。然而，該公司認為，單純的公開揭露已無法跟上AI的發展速度。
擬議規則僅適用於最先進的AI系統。Anthropic 將門檻設定為訓練超過10²⁵浮點運算的模型。該框架也將涵蓋AI相關收入超過5億美元的公司。AI研發投入超過10億美元的公司也將受其約束。
Anthropic 在提案中列出了四個主要風險領域。這些包括生物風險、網路風險、失控風險和自動化AI研究。對於生物風險，該公司警告稱，不安全的系統可能協助攻擊者開發有害病毒。它還指出，類似的AI工具也能支援藥物發現。
對於網路風險，前沿模型能夠大規模發現嚴重的軟體漏洞。Anthropic 表示，這些能力對醫院、電網和其他關鍵系統構成擔憂。該公司還強調了系統超出開發者控制範圍所帶來的風險。如果安全措施失效，自動化AI研究可能會增加生物、網路和控制風險。
Anthropic 希望前沿開發者定期發布風險報告。這些報告將描述開發者的整體風險狀況和模型安全工作。該框架還呼籲至少有一名合格的獨立評估者。該評估者將審查公司評估並發布模型風險報告的結果。
政府和產業也將為這些評估者設定標準。該提案表示，評估者需要資金和存取前沿模型的權限。安全規則構成該框架的另一個重要部分。開發者將保護其完整的開發環境免受外部攻擊者和內部威脅。
公司將高層次地公開描述其安全計畫。應要求，他們也將與指定的政府機構分享更多細節。Anthropic 表示，政策制定者可以先制定較寬鬆的規則，並隨著時間進行調整。該框架指出，監管應遵循模型能力和評估標準。
該框架的第二部分側重於公眾韌性。Anthropic 建議加強生物、網路和控制相關AI風險的規劃。對於生物學方面，該提案包括基因合成篩選和早期預警生物監測。它還提到了防護設備儲備和減少空氣傳播的工具。
對於網路方面，該框架呼籲更強大的網路軟體和對關鍵基礎設施營運商的支援。它還建議更換基礎設施中的老舊系統。政府也應透過專門職能追蹤前沿網路能力。Anthropic 建議政府和產業在模型安全防護方面進行合作。
該公司表示，在失控和自動化研究風險方面的工作仍不夠成熟。它呼籲開發更好的工具來檢測、遏制或關閉不安全的系統。Anthropic 敦促政策制定者採取行動，因為模型能力不斷提升。該公司表示，AI治理必須跟上技術發展的步伐。
