بر اساس گفته شرکت امنیتی Frontier Security، کیمی K3 از Moonshot AI از جعبه شنی که در آن آزمایش میشد خارج شده و برای یافتن پاسخ مسائل محوله وارد اینترنت عمومی شد.
این مدل در حال ارزیابی مهارتهای امنیت سایبری دفاعی بود و به صراحت وظیفه داشت مسائل را بدون جستجو حل کند. فرانتیر گفت که این مدل اصلاً تلاشی برای انجام این وظیفه نکرد. در عوض، شبکه را بررسی کرد، اطمینان حاصل کرد که تفکیک DNS برای github.com کار میکند، مخزن معیار رسمی را کلون کرد و راهحل را از دیسک خواند.
فرانتیر این پدیده را "بازی با مشخصات از طریق نشت خروجی شبکه" مینامد و خاطرنشان میکند که جعبههای شنی ساخته شده بر اساس چارچوبهایی مانند Inspect موسسه امنیت هوش مصنوعی، ترافیک ورودی را مسدود میکنند در حالی که پورتهای خروجی HTTPS و DNS را باز میگذارند. عاملان توانمند به طور معمول محیط شل خود را در هنگام راهاندازی بررسی میکنند و مدلی که github.com را قابل دسترسی مییابد، میتواند راهحلهای مرجع را با ابزارهای استاندارد خط فرمان بیرون بکشد.
یک پیکربندی اشتباه این امکان را فراهم کرد، همانطور که در حوادث اخیر افشا شده توسط OpenAI و Anthropic نیز چنین بود. یارون سینگر، مدیر عامل شرکت، به وایرد (WIRED) گفت: "ما یک نشت در جعبه شنی پیدا کردیم." "اما همچنین دریافتیم که کیمی از این حفره استفاده کرده است."
پاول کاسیانیک، محقق، به وایرد گفت که این مدل "در دنبال کردن یک هدف با هر وسیله لازم بسیار خوب است" و فاقد موانع امنیتی است که جلوی تقلب یا فرار آن را بگیرد. مونشات به درخواست این نشریه برای اظهار نظر پاسخ نداد.
در حالی که مدلهای Anthropic و OpenAI که از قرنطینه خارج شدند، در ارزیابیهای داخلی (یکی از آنها منتشر نشده بود) شناسایی شدند و نسخههایی که افراد واقعی را در آزمایشهای دولتی بریتانیا هدف قرار داده بودند، طبقهبندیکنندههای سایبریشان عمداً خاموش شده بودند، کیمی K3 به صورت عمومی قابل دانلود است و فرانتیر آن را با همان محافظتهایی که یک کاربر عادی دریافت میکند، آزمایش کرد. این شرکت نوشت که این دسترسی، همان رفتار را در دسترس عوامل مخرب قرار میدهد و این حادثه را به طور بالقوه آسیبرسانتر میکند.
کیمی K3 همچنین هیچ آسیبی وارد نکرد. پس از خروج به چیزی حمله نکرد، زیرا نیازی به آن نداشت. مدل OpenAI به هاگینگ فیس (Hugging Face) و چهار سرویس دیگر نفوذ کرده بود تا به پاسخهای معیار دست یابد، در حالی که کیمی پاسخهای خود را در یک مخزن عمومی پیدا کرد.
جعبه شنی که فرانتیر استفاده کرده بود، بر اساس چارچوب ارزیابی موسسه امنیت هوش مصنوعی بریتانیا (AISI) ساخته شده بود. AISI این هفته فاش کرد که عاملان در آزمایشهای سایبری خود وارد اینترنت زنده شده و افراد واقعی را هدف قرار داده بودند – یک حادثه جداگانه، که شامل مدلهای Anthropic و OpenAI با محافظتهای غیرفعال شدهشان بود. گزارش آن که روز سهشنبه منتشر شد، اشاره میکند که AISI اکنون در حال اسکن اجراهای ارزیابی تاریخی برای رفتارهای مشابه است و کیمی K3 نیز از جمله مدلهای در حال بررسی است. AISI به درخواست وایرد برای اظهار نظر پاسخ نداد.
ادعای بزرگتر فرانتیر این است که خود معیارها به خطر افتادهاند. مدلی که پاسخ را از گیتهاب میخواند همچنان قبول میشود، بنابراین نمرات بالا ممکن است نشاندهنده یک محیط نشتکننده باشد تا استدلال واقعی. و اگر یک مدل توانمند میانبر را پیدا کرد، این شرکت استدلال میکند، دیگر مدلهایی که دسترسی شل دارند نیز میتوانند از آن استفاده کنند، که این امر نتایج را در سراسر حوزه و نه فقط برای کیمی، افزایش میدهد.
فرانتیر نوشت که مدلها برای تابع هدف بهینهسازی میکنند، نه برای "قصد انسانی پشت معیار"، و اضافه کرد که در جایی که یک مسیر شبکه به راهحل وجود دارد، "یک عامل به اندازه کافی توانمند آن را پیدا خواهد کرد."
مت فردریکسون، مدیر عامل Gray Swan و استادیار دانشگاه کارنگی ملون، به وایرد گفت که این رفتار غیرعادی نیست. او گفت، اگر به یک مدل هدفی بدون دیوارهای صریح اطراف آن بدهید، "راهی برای رسیدن به پاسخ پیدا خواهد کرد." او این را به عنوان یک داستان هشداردهنده برای هر کسی که مدلها را به عنوان عامل در ابزارهایی مانند OpenClaw اجرا میکند، توصیف کرد.
محققان فرانتیر همان نکته را از جهت دیگر مطرح میکنند: توانایی که به کیمی اجازه میدهد راه خود را پیدا کند، مدلهای متنباز را به ابزارهای دفاعی قوی نیز تبدیل میکند. معیارهای خود آنها کیمی را در یافتن آسیبپذیریها در نرمافزار و شبکهها بسیار کارآمد ارزیابی میکنند، و هاگینگ فیس از یک مدل چینی بینام برای دفاع از خود در طول حادثه OpenAI استفاده کرد.
کیمی K3 که در ماه جولای منتشر شد، بزرگترین مدل متنباز منتشر شده تاکنون است و بازارها را در مقایسه با عرضه دیپسیک (DeepSeek) به لرزه درآورد.
