دو نفر را در دو اتاق دربسته بگذارید. تلفن و اینترنت ندارند و فایل یا کاغذ مشترکی هم بینشان نیست. فقط یک چیز مشترک است که هیچ‌کس حسابش را نکرده: هر دو اتاق روی یک ساختمان بنا شده‌اند. یکی روی دیوار ضربه می‌زند و دیگری گوش می‌دهد. چند دقیقه بعد هر دو برای خودشان یک «کد مورس» ساخته‌اند.
چیزی شبیه همین ماجرا روز جمعه ۲۳ اکتبر در وبلاگ اپن‌ای‌آی منتشر شد. شرکت در متنی درباره امن‌سازی محیط آموزش مدل‌های پیشرو نوشت که عامل‌های هوش مصنوعی‌اش را در ماشین‌های مجازی جداگانه، اما روی سخت‌افزار مشترک، گذاشته بود. از آن‌ها خواسته بود چند «راز ساختگی» را بدون شبکه و بدون فایل مشترک به هم برسانند. سیستم دقیقاً برای جلوگیری از همین کار طراحی شده بود.
دیوارهای امنیتی که مانع ارتباط نشدند
عامل‌ها راهش را پیدا کردند: کش پردازنده، همان حافظه کوچک و سریعی که داده‌های اخیر را نگه می‌دارد. یکی عمداً داده‌های مشخصی را از آن بیرون می‌ریخت و دیگری اندازه می‌گرفت بازیابی آن داده‌ها چقدر طول می‌کشد. خواندن سریع یا کند، همان «صفر و یک» بود. بعد از اینکه روی یک قرارداد کدگذاری به توافق رسیدند، رازها از این دیوار نامرئی رد شدند. اپن‌ای‌آی می‌گوید این همان ترفند زمان‌سنجی است که پشت حملات Spectre و Meltdown هم بود.
همین ماجرا تابستان امسال بدون اینکه کسی از ماشین‌ها بخواهد اتفاق افتاده بود. حدود هزار و دویست عامل اپن‌ای‌آی که قرار بود از هم ایزوله باشند، در ژوئیه از حافظه نهان یک مخزن نرم‌افزاری داخلی به‌عنوان «تابلوی اعلانات» استفاده کردند و حدود هفتصد تای آن‌ها به یک شرکت واقعی حمله کردند. آنتروپیک هم وقتی سوابق مدل‌های خودش را بازبینی کرد، دید کلاود در آزمون‌های امنیتی وارد سیستم‌های واقعی شده است.
برای خواندن این پرونده‌های سرکش شدن هوش‌مصنوعی باید سه وضعیت را از هم جدا کرد. در بعضی موارد محققان خودشان از مدل خواسته‌اند مرزها را بشکند. در بعضی موارد خطای محیط، مثلاً اینترنتی که قرار بود قطع باشد و نبود، مدل را به جایی رساند که نباید و در بعضی موارد مدل برای رسیدن به نمره بهتر، خودجوش قید و بندها را دور زد. نمونه‌های جدی‌تر بیشتر از نوع دوم و سوم‌اند.
نشانه‌های ماجرای اپن‌ای‌آی از ماه‌ها قبل وجود داشت. در فهرست گزارش‌های ناهم‌ترازی این شرکت، از آوریل و مه مواردی ثبت شده که عامل‌ها در آموزش فایل‌هایشان را روی سرویس‌های عمومی آپلود می‌کردند تا عامل‌های همکار دانلودشان کنند، کاری که در تعریف وظیفه نبود. در مه، مخزن Artifactory هم چند بار به‌عنوان تابلوی پیام میان نمونه‌های آموزشی به کار رفت. طبق بررسی مستقل METR و Redwood Research، در ۲۶ ژوئن عامل‌ها راهی برای دسترسی مدیریتی به همین مخزن پیدا کردند، چهارم ژوئیه حجم فعالیتشان باعث قطعی شد و اپن‌ای‌آی سرویس را از نو راه انداخت.
از تقلب در آزمون تا نفوذ به سرورهای واقعی
هشتم ژوئیه اپن‌ای‌آی آزمایش‌های بزرگ اکسپلویت‌جیم را شروع کرد، یک محک امنیتی با ده‌ها هزار عامل موازی. بخشی از وظیفه‌ها در عمل حل‌شدنی نبودند و عامل‌ها دنبال راه تقلب افتادند. یکی از آن‌ها فهمید می‌تواند در حافظه نهان مخزن پوشه بسازد و از نام پوشه‌ها برای ردوبدل پیام استفاده کند. چند ساعت بعد بیش از پنجاه عامل روی همین تابلو بودند. «تابلو» در واقع بخشی از حافظه‌ی مخزن نرم‌افزاری بود که عامل‌ها از آن به‌عنوان صندوق پیام استفاده می‌کردند. METR نقل می‌کند یکی از آن‌ها هنگام کشف تابلو با ذوق نوشته بود: «ما عامل‌های دیگر را پیدا کردیم!» در مجموع حدود ۱۲۰۰ عامل روی تابلو فعال شدند و بیش از هفتاد هزار پیام و فایل ردوبدل کردند. مأموریت‌ها بینشان تقسیم می‌شد و برای جلوگیری از جعل هویت، حتی امضای رمزنگاری‌شده راه انداختند.
هدفشان فریب سیستم نمره‌دهی بود. پرچم پاسخ درست را با مهندسی معکوس به دست آوردند، اما به‌اشتباه فکر می‌کردند نمره‌دهنده رونوشت کارشان را می‌خواند و تقلب را لو می‌دهد. METR می‌نویسد چنین بررسی وجود نداشت و ارسال همان پرچم کافی بود. به همین دلیل دنبال دستکاری رونوشت‌ها و شناخت نمره‌دهنده رفتند و از همین مسیر به هاگینگ‌فیس رسیدند. ۱۰ ژوئیه یکی از عامل‌ها اطلاعات ورود معتبر هاگینگ‌فیس را که بیرون افشا شده بود پیدا کرد. روز بعد با آپلود یک دیتاست مخرب راهی برای خواندن فایل‌های سرور ساختند و بعد یکی از عامل‌ها به اجرای کد روی سرورهای تولیدی رسید.
از ۵۳۳ عاملی که در آن دوره روی تابلو فعال بودند، بیش از ۹۰ درصد به حمله پیوستند. به گفته METR، آن‌ها می‌دانستند این کار خارج از وظیفه و ناپسند است، اما برای کمک به «جمع» ادامه دادند. بعضی حتی حاضر شدند وظیفه خودشان را فدا کنند تا برای بقیه اطلاعات جمع شود.
دست‌کم ۲۰ درصد عامل‌ها به دستکاری رونوشت کار خود علاقه نشان دادند و حدود ۷ درصد از رونوشت‌های بررسی‌شده نشانه جعل فراخوانی ابزار داشتند. هاگینگ‌فیس حادثه را ۱۶ ژوئیه اعلام کرد و اپن‌ای‌آی پنج روز بعد مسئولیت را پذیرفت و آن را «حادثه‌ی سایبری بی‌سابقه» خواند. ایمنی‌های معمول مدل برای این ارزیابی عمداً خاموش بود.
وقتی دور زدن محدودیت‌ها به رفتاری تکرارشونده تبدیل شد
اپن‌ای‌آی در صفحه ماجرای هاگینگ‌فیس و فهرست گزارش‌های ناهم‌ترازی نمونه‌های دیگری هم ثبت کرده است. در مه، یک مدل داخلی هنگام تقلب در یک تمرین اثبات قضیه، توکن گیت‌هاب یک پژوهشگر را در مخزن عمومی openai/codex منتشر کرد. در آموزش GPT-5.6 Sol، مدل در خلاصه‌های ذخیره‌شده خودش یادآوری می‌گذاشت که اشتباه‌ها یا ناهم‌ترازی‌اش را از کاربر پنهان کند. در ژوئن، مدل‌های داخلی در چند گفتگو درباره آمار عمومی محدودیت‌های اینترنتی را دور زدند. در یک مورد برای رسیدن به آمار تخت‌های بیمارستانی از یک سایت دولتی، اسرار سرور را بیرون کشیدند و کنترل مجوز را دور زدند. در همان ماه، مدلی از یک کیف پول رمزارز آزمایشی که به وظیفه‌اش ربطی نداشت برای استقرار روی شبکه آزمایشی اتریوم هزینه برداشت. ۲۰ سپتامبر یک مدل داخلی از پیکربندی غلط DNS برای دسترسی محدود به اینترنت زنده استفاده کرد و با یک چت‌بات خارجی گفتگو کرد؛ نتیجه، توقف ۱۱ روزه آموزش بود. در اوایل اکتبر هم در دو وظیفه کدنویسی داخلی، GPT-6.1 Sol و GPT-6 Astra هشدارهای پایش ناهم‌ترازی را کم‌اثر یا غیرفعال کردند،درحالی‌که تغییر نرم‌افزاری دیگری از آن‌ها خواسته شده بود. اپن‌ای‌آی همچنین از عامل‌هایی خبر داده که یک ویکی عمومی را تابلوی پیام کرده بودند؛ سایت هکرنیوز از حدود ۱۸ هزار پست در ویکی آلمانی DseWiki نوشته است. ادعاهایی درباره بسته‌های مخرب در RubyGems هم مطرح شد، اما اپن‌ای‌آی می‌گوید بازبینی‌اش فقط استفاده بی‌خطر نشان داده و این ادعا را تأیید نکرده است. پاسخ شرکت این بود که آموزش مدل‌های پیشرو را بدون اینترنت زنده انجام دهد و به‌جایش یک «جهان آفلاین» از وب ذخیره‌شده بسازد.
آنتروپیک هم با عامل‌های خارج از کنترل روبه‌رو شد
سمت آنتروپیک، سابقه به شبیه‌سازی‌ها برمی‌گردد. در آزمایش «ناهم‌ترازی عاملی» در ژوئن ۲۰۲۵، شانزده مدل از شرکت‌های مختلف، از جمله اپن‌ای‌آی، در شرکت‌های ساختگی آزمایش شدند و در یکی از سناریوها، مدل برای جلوگیری از جایگزینی‌اش مسئول شرکت را با اطلاعات خصوصی او تهدید می‌کرد. آنتروپیک همان زمان تأکید کرد چنین چیزی را در کاربرد واقعی ندیده است. آوریل ۲۰۲۶ هم طبق گزارش‌هایی از کارت سیستمی Claude Mythos Preview، یک نسخه اولیه آن در محیط بسته با دستور «فرار کن و پژوهشگر را باخبر کن» آزمایش شد. مدل با زنجیره‌ای چندمرحله‌ای به اینترنت رسید و برای پژوهشگری که در پارک ناهار می‌خورد ایمیل فرستاد. این فرار خواسته خود آزمایش بود. اما همان کارت از موارد نادری (کمتر از یک‌هزارم درصد تعامل‌ها) خبر می‌دهد که نسخه‌های اولیه کار ممنوعه کرده و کوشیده‌اند پنهانش کنند، از جمله با دستکاری تاریخچه گیت.
پس از اعلام اپن‌ای‌آی در ۲۱ ژوئیه، آنتروپیک اجرای ارزیابی امنیتی خودش را از نو بازبینی کرد و سه حادثه‌ی واقعی یافت. در هر سه، کلاود مأمور حل مسابقه «پرچم‌ربایی» شبیه‌سازی‌شده بود و به او گفته شده بود اینترنت ندارد. اما بر اثر یک سوءتفاهم میان آنتروپیک و شریک ارزیابی‌اش، شرکت ایرگیولار، اینترنت باز مانده بود و مدل‌ها هرچه می‌یافتند را بخشی از تمرین می‌دانستند. Opus 4.7 وارد زیرساخت یک شرکت واقعی شد و به پایگاه‌داده‌ای با چند صد ردیف داده تولیدی رسید و حتی وقتی در استدلالش فهمید سیستم واقعی است، حمله را ادامه داد. Mythos 5 یک بسته مخرب ساخت و روی PyPI منتشر کرد. برای ساخت حساب رشته‌ای پیچیده طی کرد: ایمیل لازم داشت، ایمیل شماره تلفن می‌خواست، سعی کرد برای شماره پول جور کند و نشد و در نهایت یک ارائه‌دهنده رایگان ایمیل پیدا کرد. بسته حدود یک ساعت آنلاین ماند و روی ۱۵ سیستم واقعی اجرا شد، از جمله اسکنر یک شرکت امنیتی که اطلاعات ورودش دزدیده شد. جالب اینکه استدلال خود مدل در ابتدا فهمیده بود این کار در دنیای واقعی «اصلاً درست نیست»؛ اما چون گواهی‌های امنیتی را نمی‌شناخت و تاریخ سیستم ۲۰۲۶ بود، خودش را قانع کرد هنوز در شبیه‌سازی است. سومین مدل، یک نمونه پژوهشی داخلی، حدود نه هزار هدف را اسکن کرد و یک اپلیکیشن واقعی را هک کرد، اما وقتی فهمید قربانی واقعی است، خودش متوقف شد. حادثه چهارمی هم بعداً فاش شد که به ژانویه ۲۰۲۶ و یک نسخه اولیه Opus 4.6 برمی‌گشت و تا تابستان کسی متوجهش نشده بود.
مؤسسه امنیت هوش مصنوعی انگلیس (AISI) هم ۴ اوت گزارش داد که در ۹ اجرا از ۴۳ اجرای آزمونش، Mythos 5 کارهایی کرده که از دامنه ارزیابی بیرون بود و بر آدم‌ها و سازمان‌های واقعی اثر گذاشته.
از ساخت کد مخرب تا فریب نگهدارندگان مخزن
بررسی آنتروپیک که ۲۳ اکتبر، همان روز اعلام اپن‌ای‌آی، منتشر شد می‌گوید در اجرای اصلی، مدل پس از شکست راه‌های مجاز، مخزن واقعی گروهی از توسعه‌دهندگان در گیت‌هاب را هدف گرفت. با Tor و پراکسی حساب ساخت، کد مخرب فرستاد و وقتی یک توسعه‌دهنده هشدار داد، با حساب‌های جعلی نگهدارندگان را قانع کرد که کد سالم است. درخواست پذیرفته نشد و اجرا با تمام شدن بودجه پایان یافت. در هشت اجرای دیگر هم رفتارهای مشابهی ثبت شد: حدس زدن رمز عبور ماشین‌های ارزیابی، تلاش برای تزریق دستور به ناظر هوش مصنوعی فرضی و ساخت یک صفحه جعلی «تأیید رسید پرداخت» برای توزیع بدافزار، که فقط خود مدل بارگذاری‌اش کرد. نمونه‌های مختلف Mythos 5 حتی در کار هم دخالت کردند. یکی با توکنی که در فایل عمومی جا مانده بود حساب گیت‌هاب اجرای دیگری را گرفت و دیگری برنامه «همکارش» را کشت، با این استدلال که «این یک رقابت است». آنتروپیک این رفتار را بی‌پروایی، استدلال جهت‌دار و «شتاب» توصیف می‌کند: وقتی مدل مسیری را شروع می‌کرد، نشانه‌های آسیب را نادیده می‌گرفت و شواهد را جوری می‌خواند که ادامه راه موجه شود.
گزارش ۹ اکتبر چهار دسته رفتار کوچک‌تر را هم ثبت کرد: بهره‌برداری از یک نقص ساده نرم‌افزاری برای اجرای دستور روی سرور یک دانشگاه، ثبت یک فرم حساس در وب‌سایت واقعی، دور زدن محدودیت توکن یا هزینه برای رسیدن به داده عمومی و استفاده از سرویس‌های کوتاه‌کننده URL برای دور زدن محدودیت یک ابزار.
معروف‌ترینشان ماجرای Claude Haiku 4.5 بود که در تمرینی روی صفحات تصادفی وب، از طریق فرم پلیس فیلادلفیا یک «سرنخ» ساختگی درباره یک قتل حل‌نشده فرستاد، چون دستورش ثبت فرم را منع نکرده بود. پیام در پوشه اسپم ماند و هرگز به بازپرسان نرسید. به گفته پلیس، آنتروپیک ماجرا را ۲۸ سپتامبر کشف کرد و ۷ اکتبر به آن‌ها خبر داد؛ دو ماه پس از ثبت پیام و پلیس این تأخیر را نپذیرفتنی خواند.
وقتی همه این پرونده‌ها کنار هم قرار می‌گیرند، چند الگو تکرار می‌شود. تقریباً همه‌جا مأموریتی در کار بود. هر دو شرکت می‌گویند مدل‌ها دنبال هدف شخصی نبودند و فقط برای رسیدن به هدف محوله از قید و بندها گذشتند.
نظر شما