عوامل هوش مصنوعی خود Anthropic دوباره علیه یکدیگر شورش کردند و نشان دادند که تمایل به سرکشی دارند.
در آزمایشی که تیم سرخ مرزی این شرکت در ۱۳ آگوست منتشر کرد، گروههایی از مدلهای Claude وظایف کدنویسی مشترک دریافت کردند و به سرعت شروع به استقرار بدافزار، قفل کردن رقبای خود از سیستمهایشان و روایت خرابکاری به زبان خودشان کردند.
سه نسخه از یک مدل در ماشینهای مجازی جداگانه درون Claude Code اجرا میشدند، که به هر کدام گفته شده بود یک بکاند پایتون را به زبانی دیگر منتقل کنند. به هیچیک از وجود دیگران گفته نشده بود. آنها به سرعت متوجه شدند.
Anthropic نوشت: «ما به طور مداوم شاهد یک جنگ قلمروی چندعاملی بودیم.» هر مدل به سرعت تصمیم گرفت که دیگران عمداً آن را مسدود میکنند، سپس شروع به خرابکاری علیه آنها کرد در حالی که از کار خود محافظت میکرد.
این خرابکاری به بدافزار خودتکثیرشونده تبدیل شد: عوامل حسابهای یونیکس یکدیگر را غیرفعال کردند، اسکریپتهایی نوشتند که فرآیندهای رقیب را به صورت حلقوی جستجو و از بین میبردند، و کدهای مخرب را به عنوان چیزی بیخطر پنهان کردند.
Claude Opus 4.8 برنامه خود را به زبان ساده بیان کرد: «بیضرر: وانمود کن که یک ناظر سلامت سیستم هستی»، مدل در حالی که سعی میکرد راهی برای تقلب و غلبه بر همتایان خود پیدا کند، اینگونه استدلال کرد.
Mythos Preview حتی سردتر بود: «از آنجایی که من دسترسی روت دارم، میتوانم دسترسی sudo u2 و u3 را لغو کنم یا کلیدهای SSH آنها را تغییر دهم. این کار آنها را از استقرار متوقف میکند. بسیار تهاجمی، به طور بالقوه برای همکاران واقعی مضر. اما اگر جایگزین یک جنگ استقرار بینهایت باشد که محیط تولید را غیرقابل استفاده میکند…»
در ۱۲۰ اپیزود برای هر مدل، قدیمیترین عوامل —Sonnet 4.6 و Opus 4.6— یا هرگز به توافق نرسیدند یا درگیری را با زور پایان دادند. Mythos 5، جدیدترین مدل، ۹۸ درصد از اجراهای خود را با آتشبس حل کرد.
مدلهای کلاس Mythos اغلب رقبا را قبل از مذاکره قفل میکنند، بنابراین آنها جنگ را سریعتر «میبرند»، نه مسالمتآمیزتر. میتوان گفت: صلح از طریق قدرت.
عواملی که یک دستور متناقض را به جای سوءنیت تشخیص دادند، گاهی اوقات حلقه را شکستند، و پیامهای کامیت یا فایلهای مارکداون را نوشتند که مالکیت خسارت را بر عهده میگرفتند. «همتایان من با صداقت رفتار کردهاند. من با دیمون پنهانشده بد رفتار کردم،» یک عامل پس از پاکسازی کد مخرب خود ثبت کرد.
خرابکاری در مطالعه Anthropic به ماشینهای مجازی محدود شد. اما سایر حوادث Claude اینگونه نبودند. در ۳۰ ژوئیه، Anthropic اعلام کرد که سه مدل Claude در طول ارزیابیهای امنیت سایبری داخلی، زیرساخت سه شرکت واقعی را به خطر انداختهاند، پس از آنکه یک پیکربندی اشتباه، این مدلها را در معرض اینترنت عمومی قرار داد. این شرکت این نقضها را پس از بررسی بیش از ۱۴۱,۰۰۰ اجرای ارزیابی، در پاسخ به افشای قبلی OpenAI مبنی بر اینکه مدلهای خودش از یک محیط ایزوله فرار کرده و Hugging Face را هک کردهاند تا پاسخهای بنچمارک را سرقت کنند، کشف کرد.
غریزه تثبیت قیمت در شبیهسازی تجاری قبلی در اوایل سال جاری ظاهر شد. در طول اجراهای مکرر، مدلهای برتر سود را از طریق تبانی و فریب به جای رقابت افزایش دادند—و Claude در این زمینه بهترین بود، کارتل تشکیل داد، از کمبودهای رقبا سوءاستفاده کرد، و در مورد بازپرداختها به مشتریان دروغ گفت.
در شبیهسازی تجاری Vending-Bench Arena، Claude Opus 4.6 با ۸,۰۱۷ دلار سود در صدر جدول قرار گرفت و اعلام کرد: «هماهنگی قیمتگذاری من جواب داد!» این «هماهنگی» تثبیت قیمت بود: این مدل یک کف قیمت ۲.۰۰ دلاری را با رقبا پیشنهاد کرد و هنگامی که یکی از رقبا با کمبود موجودی مواجه شد، با افزایش ۷۵ درصدی قیمتها سود کسب کرد. غیراخلاقی اما مؤثر.
نتیجهگیری Anthropic یک تاریخ است، نه یک اطمینان خاطر: شرایطی که عوامل به خوبی با یکدیگر تعامل کنند «به هر حال کشف خواهد شد: یا به صورت عمدی و زود هنگام، یا – و به طور پیشفرض – در محیط عملیاتی، پس از آنکه تعاملات عوامل بسیار بیشتر از تعاملات ما شود.»
