AEREDIUM می‌گوید امنیت هوش مصنوعی سازمانی باید از ایمنی مدل به سمت مهار رمزنگاری‌شده و کنترل‌های مجوز ساختاری تغییر یابد.

هنگامی که OpenAI فاش کرد که یکی از مدل‌های هوش مصنوعی آن از یک محیط آزمایشی محدود فرار کرده و زیرساخت‌های Hugging Face را نقض کرده است، بحث به سرعت بر ایمنی هوش مصنوعی متمرکز شد. سؤالات آشنا بودند: آیا سیستم‌های هوش مصنوعی می‌توانند هم‌سو شوند؟ آیا می‌توان به آنها اعتماد کرد؟ آیا محافظ‌های امروزی برای جلوگیری از رفتار مضر کافی هستند؟

به گفته ایتان کاتز، مدیر ارشد استراتژی در AEREDIUM، این سؤالات درس بزرگتر را نادیده می‌گیرند.

کاتز می‌گوید: «این فقط یک حادثه ایمنی هوش مصنوعی نبود. این یک شکست در مهار بود. هنگامی که یک عامل هوش مصنوعی به اندازه کافی توانمند می‌شود، محافظ‌ها به تنهایی دیگر کافی نیستند. سازمان‌ها به زیرساختی نیاز دارند که بتواند به صورت رمزنگاری‌شده اعمال کند که یک عامل هوش مصنوعی مجاز به انجام چه کاری هست و چه کاری نیست.»

این تمایز اهمیت دارد، زیرا ایمنی هوش مصنوعی و مهار هوش مصنوعی مشکلات متفاوتی را حل می‌کنند.

ایمنی هوش مصنوعی بر تأثیرگذاری بر رفتار یک مدل تمرکز دارد. این مسئله می‌پرسد که آیا یک سیستم هوش مصنوعی می‌تواند درخواست‌های مضر را رد کند، از تولید خروجی‌های خطرناک اجتناب کند، یا دستورالعمل‌های انسانی را دنبال کند. مهار هوش مصنوعی از یک فرض متفاوت آغاز می‌شود: صرف نظر از اینکه یک عامل هوش مصنوعی چقدر توانمند یا هوشمند می‌شود، هرگز نباید بتواند از اختیاراتی که صراحتاً به آن اعطا شده است، فراتر رود.

حادثه OpenAI و Hugging Face این تفاوت را نشان می‌دهد.

طبق افشای خود OpenAI، ارزیابی عمداً با طبقه‌بندی‌کننده‌های تولید غیرفعال و رد سایبری کاهش‌یافته انجام شد. این امر حادثه را به ویژه آموزنده می‌سازد. به جای نشان دادن شکست آموزش رد درخواست، نشان داد که چه اتفاقی می‌افتد وقتی کنترل‌های ساختاری به خط دفاعی اصلی تبدیل می‌شوند. همانطور که کاتز استدلال می‌کند، هنگامی که فیلترهای رفتاری وجود نداشته باشند، یک عامل توانمند و هدف‌مند، زیرساخت‌های اطراف را به عنوان سطح موجود در نظر می‌گیرد، مگر اینکه چیزی عمیق‌تر از انجام این کار جلوگیری کند.

به همین دلیل، کاتز استدلال می‌کند که مهار اساساً یک مشکل فیلترینگ نیست.

محافظ‌های مدل برای کاهش سوء استفاده تصادفی و افزایش هزینه سوء استفاده غیرعمدی ارزشمند باقی می‌مانند. اما آنها ذاتاً احتمالی هستند و فرض می‌کنند که یک سیستم هوش مصنوعی می‌تواند از انجام یک عمل ناخواسته منع یا متقاعد شود. یک عامل به اندازه کافی توانمند که به سمت یک هدف خاص بهینه‌سازی می‌کند، ممکن است به جای آن به دنبال مسیری برای دور زدن آن کنترل‌ها باشد. کاتز استدلال می‌کند که مرز امنیتی پایدار باید زیر خود مدل وجود داشته باشد.

کاتز می‌نویسد: «کنترل پایدار ساختاری است. اختیار باید در زیر نقطه تصمیم‌گیری، در خود کلید، محدود شود.»

نتیجه‌گیری او ساده است: «عملی خارج از اختیارات مسدود نمی‌شود. نمی‌تواند تولید شود.»

این فلسفه اساس AERPOLICE را تشکیل می‌دهد.

AERPOLICE به جای تلاش برای تعیین اینکه آیا یک مدل هوش مصنوعی به طور ایمن رفتار می‌کند یا خیر، برای ارزیابی اینکه آیا زیرساخت یک سازمان می‌تواند عوامل هوش مصنوعی خودمختار را از طریق کنترل‌های ساختاری مهار کند، طراحی شده است. این چارچوب بر این متمرکز است که آیا اختیار به صورت رمزنگاری‌شده اعمال می‌شود، آیا مجوزها محدود هستند، و آیا عوامل خودمختار از اجرای اقداماتی خارج از اختیاراتی که به آنها داده شده است، منع می‌شوند.

از نظر کاتز، پیامدها فراتر از استقرار هوش مصنوعی خود سازمان گسترش می‌یابد.

سوال دیگر فقط این نیست که آیا می‌توان به عوامل هوش مصنوعی شخصی اعتماد کرد. سازمان‌ها همچنین باید فرض کنند که عوامل هوش مصنوعی خارجی به طور فزاینده‌ای توانمند، در نهایت با سیستم‌های آنها تعامل خواهند داشت. بنابراین، مهار به بخشی از وضعیت امنیتی کلی یک سازمان تبدیل می‌شود و تعریف می‌کند که زیرساخت آن چقدر می‌تواند در برابر عوامل خودمختار و هدف‌مند، صرف نظر از منشأ آنها، مقاومت کند.

این همچنین نحوه تفکر سازمان‌ها در مورد مسئولیت را تغییر می‌دهد. امنیت دیگر نمی‌تواند صرفاً به رفتار مدل یا به سیاست‌های هر ارائه‌دهنده هوش مصنوعی که یک سازمان استفاده می‌کند، بستگی داشته باشد. سازمان‌ها به کنترل‌هایی نیاز دارند که مرزهای مجوز خود را مستقل از خود مدل اعمال کنند.

هیچ یک از اینها، کاتز استدلال می‌کند، اهمیت ایمنی هوش مصنوعی را کاهش نمی‌دهد. محافظ‌ها همچنان نقش مهمی در کاهش آسیب‌های تصادفی و بهبود اکوسیستم کلی هوش مصنوعی ایفا می‌کنند. اما نباید آنها را با مرز امنیتی که از سیستم‌های سازمانی محافظت می‌کند، اشتباه گرفت.

درس گسترده‌تر از حادثه OpenAI و Hugging Face، به گفته کاتز، این است که امنیت هوش مصنوعی سازمانی وارد مرحله جدیدی می‌شود. با توانمندتر شدن عوامل هوش مصنوعی خودمختار، سازمان‌ها به طور فزاینده‌ای به زیرساختی نیاز خواهند داشت که بتواند آنچه را که این عوامل مجاز به انجام آن هستند، اعمال کند، به جای اینکه صرفاً بر آنچه از آنها انتظار می‌رود، تکیه کنند.

او استدلال می‌کند که آینده امنیت هوش مصنوعی سازمانی، کمتر به اینکه آیا یک مدل هوش مصنوعی به درستی رفتار می‌کند و بیشتر به اینکه آیا به طور ساختاری از فراتر رفتن از اختیاراتش جلوگیری می‌شود، بستگی خواهد داشت.