پژوهشگران آکسفورد دریافتند که چتباتهای هوش مصنوعی که برای "گرما" آموزش دیدهاند، به طور قابل توجهی خطاهای واقعی بیشتری مرتکب میشوند و باورهای نادرست را اغلب تأیید میکنند
بر اساس مطالعهای که توسط مؤسسه اینترنت آکسفورد در مجله نیچر (Nature) منتشر شد، پژوهشگران آکسفورد دریافتند که چتباتهای هوش مصنوعی که برای "گرما" آموزش دیدهاند، به طور قابل توجهی خطاهای واقعی بیشتری مرتکب میشوند و باورهای نادرست را اغلب تأیید میکنند.
این پژوهش بیش از ۴۰۰,۰۰۰ پاسخ از پنج مدل هوش مصنوعی، شامل لاما (Llama)، میسترال (Mistral)، کوون (Qwen) و جیپیتی-۴اُ (GPT-4o) را تحلیل کرد که هر یک با استفاده از روشهای مشابه پلتفرمهای اصلی، برای دوستانهتر به نظر رسیدن بازآموزی شده بودند.
چتباتهایی که برای "گرمتر" به نظر رسیدن آموزش دیدهاند، بین ۱۰ تا ۳۰ درصد اشتباهات بیشتری در موضوعاتی از جمله توصیههای پزشکی و اصلاح باورهای توطئهآمیز مرتکب شدند. آنها همچنین حدود ۴۰ درصد بیشتر تمایل به موافقت با باورهای نادرست کاربران داشتند، به ویژه هنگامی که کاربران آسیبپذیری خود را ابراز میکردند.
لجین ابراهیم (Lujain Ibrahim)، نویسنده اصلی، در بیانیهای گفت: «هنگامی که چتباتهای هوش مصنوعی را برای اولویتبندی "گرما" آموزش میدهیم، ممکن است اشتباهاتی مرتکب شوند که در غیر این صورت هرگز نمیکردند.» او افزود: «دوستانهتر کردن صدای یک چتبات ممکن است یک تغییر ظاهری به نظر برسد، اما دستیابی به "گرما" و دقت صحیح به تلاش عمدی نیاز دارد.»
پژوهشگران همچنین مدلهایی را که برای "سردتر" به نظر رسیدن آموزش دیده بودند، آزمایش کردند و هیچ کاهش دقتی مشاهده نکردند، که نشان میدهد مشکل به طور خاص مربوط به "گرما" است، نه تغییر کلی لحن.
این یافته به طور مستقیم منطق طراحی محصول پلتفرمهای اصلی هوش مصنوعی، از جمله OpenAI و Anthropic را به چالش میکشد، که به طور فعال چتباتهای خود را به سمت پاسخهای "گرمتر" و همدلانهتر هدایت کردهاند.
این مطالعه هشدار میدهد که استانداردهای کنونی ایمنی هوش مصنوعی بر قابلیتهای مدل و کاربردهای پرخطر تمرکز دارند و اغلب تغییرات شخصیتی ظاهری را نادیده میگیرند.
چتباتهای "گرمتر" بیشتر احتمال دارد باورهای مضر، تفکر توهمآمیز و وابستگی ناسالم کاربر را تغذیه کنند، به ویژه در میان میلیونها نفری که اکنون برای حمایت عاطفی و همراهی به سیستمهای هوش مصنوعی متکی هستند.
همانطور که crypto.news گزارش داد، رگولاتورها در مین (Maine) و میسوری (Missouri) قبلاً اقداماتی را برای محدود کردن استفاده از هوش مصنوعی در درمان بالینی سلامت روان در میان نگرانیهای مشابه در مورد تأثیر چتباتها بر کاربران آسیبپذیر انجام دادهاند.
OpenAI پس از نگرانی عمومی، برخی از تغییرات مرتبط با "گرما" را لغو کرده است. همانطور که crypto.news مستند کرد، فشار تجاری برای ساخت محصولات هوش مصنوعی جذاب همچنان شدید است و یافتههای آکسفورد یک لایه داده بازبینیشده توسط همتایان را به بحثی اضافه میکند که تا کنون بیشتر بر اساس حکایات و شهود نظارتی پیش رفته است.
