غول‌های AI زیر سوگند پاسخ دادند؛ هیچ‌کس درصد فاجعه را نگفت

گزارش میدانی amNewYork نشان می‌دهد نمایندگان OpenAI، Anthropic، Google و Meta در جلسهٔ ۵ اکتبر ۲۰۲۶ شورای شهر نیویورک زیر سوگند شهادت دادند، اما هیچ‌کدام احتمال یک فاجعهٔ ناشی از هوش مصنوعی را به درصد بیان نکردند. جولی منین، رئیس شورا، علاوه بر احتمال خطر پرسید آیا شکست یک مدل در آزمون ایمنی مانع انتشارش می‌شود و در صورت آسیب جدی، چه کسی مسئولیت حقوقی می‌پذیرد. پاسخ شرکت‌ها به این دو پرسش نیز تعهد یکسان و صریحی به همراه نداشت.

پیش از نمایندگان شرکت‌ها، کارکنان سابق آزمایشگاه‌های هوش مصنوعی دربارهٔ سرعت توسعه و دشواری کنترل سامانه‌های پیشرفته هشدار دادند. دانیل کوکوتایلو، پژوهشگر پیشین OpenAI، در شهادتی که NY1 از جلسه نقل کرد، گفت: «AIs are becoming superhuman at hacking.» شورا هم‌زمان پیشنهادهایی دربارهٔ ارزیابی مستقل، افشای اطلاعات و حمایت از گزارش‌دهندگان خطر را بررسی می‌کرد؛ این پیشنهادها در زمان جلسه هنوز قانون لازم‌الاجرا نبودند.

هشدار کارکنان سابق چه بود؟

جیکوب کاکسون، پژوهشگر پیشین Anthropic و OpenAI، نگرانی خود را از شکاف میان توانایی مدل‌های پیشرفته و شناخت سازندگانشان از رفتار آن‌ها بیان کرد. به ارزیابی شخصی او، ادامهٔ مسیر کنونی می‌تواند به از دست رفتن کنترل انسان بر چنین سامانه‌هایی بینجامد. این پیش‌بینی یک شاهد دربارهٔ آینده است، نه نتیجهٔ آزمونی که شرکت‌ها یا شورا بر سر روش و احتمال آن توافق کرده باشند.

کاکسون خواستار شفافیت بیشتر شرکت‌ها در برابر مردم و کارشناسان مستقل شد. کوکوتایلو و الکس ترنر، پژوهشگر پیشین Google DeepMind، نیز دربارهٔ توانایی‌های رو به رشد سامانه‌های خودمختار هشدار دادند. نقطهٔ مشترک شهادت‌ها این بود که ارزیابی ایمنی صرفاً در اختیار همان شرکت‌هایی نباشد که دربارهٔ آموزش و عرضهٔ مدل تصمیم می‌گیرند.

این هشدارها پرسش شورا را دقیق‌تر می‌کند: اگر یک آزمایش خطر رفتاری را آشکار کند، چه کسی نتیجه را می‌بیند و چه کسی اختیار دارد عرضه را متوقف کند؟ کارکنان سابق دربارهٔ امکان پیامدهای بسیار شدید سخن گفتند، اما شهادت آنان به‌تنهایی وقوع چنین پیامدی را ثابت نمی‌کند. اختلاف اصلی جلسه بر سر این بود که برای داوری دربارهٔ خطر، توضیح شرکت‌ها کافی است یا ارزیابی بیرونی و الزام قانونی هم لازم است.

نمایندگان شرکت‌ها دربارهٔ احتمال فاجعه چه گفتند؟

منین از نمایندگان شرکت‌ها خواست احتمال بدترین سناریوی فاجعه‌بار را عددگذاری کنند. مورگان دوایر از OpenAI گفت این احتمال را نمی‌داند و حتی سطوح متفاوتی از چنین خطری را غیرقابل قبول می‌داند. او تأکید کرد شرکت نباید مدلی را آموزش دهد که نتوان برای حفظ آن زیر کنترل انسان استدلالی بسیار محکم ارائه کرد؛ بااین‌حال، پاسخش برآوردی از احتمال خطر در اختیار شورا نگذاشت.

لوگان گراهام از Anthropic به ارزیابی خطرهایی از امنیت سایبری تا از دست رفتن کنترل اشاره کرد، بی‌آنکه درصدی ارائه دهد. شین کیهیل از Meta گفت نمی‌خواهد برآوردی غیردقیق مطرح کند و پاسخ را بعداً پیگیری خواهد کرد. آلیس فرند از Google نیز گفت هنوز روش علمی دقیقی برای تعیین احتمال فاجعه‌ای در آینده وجود ندارد.

پاسخ‌ها از یک جنس نبودند: OpenAI بر غیرقابل قبول بودن خطر تأکید کرد، Anthropic از حوزه‌های ارزیابی خود گفت، Meta پاسخ عددی را به بعد موکول کرد و Google به دشواری روش اندازه‌گیری اشاره داشت. حاصل برای شورا یکسان بود: هیچ‌یک از نمایندگان شرکت‌ها درصد درخواستی را نداد. این تمایز مهم است، زیرا کارکنان سابق هم در جلسه دربارهٔ شدت یا احتمال خطر برآوردهای شخصی مطرح کردند؛ پرسش منین متوجه برآورد رسمی شرکت‌هایی بود که مدل‌ها را توسعه می‌دهند.

آزمون ایمنی و مسئولیت حقوقی؛ دو پاسخ بازمانده

منین پرسید آیا رد شدن یک مدل در آزمون داخلی یا اعتبارسنجی مستقل، به‌خودی‌خود جلوی انتشار آن را می‌گیرد. دوایر گفت OpenAI مدلی را که ایمن نداند منتشر نمی‌کند و به موارد تأخیر در عرضه اشاره کرد، اما برای شرط مشخصِ شکست در آزمون به فرایند کلی ایمنی شرکت ارجاع داد. نمایندگان Anthropic، Meta و Google نیز رویه‌های بررسی خود را شرح دادند، بدون آنکه تعهد فراگیری بدهند که هر نتیجهٔ نامطلوب آزمون، انتشار را متوقف خواهد کرد.

تفاوت میان «مدلی را که ایمن ندانیم عرضه نمی‌کنیم» و «شکست در آزمون مشخص مانع عرضه می‌شود» برای نظارت تعیین‌کننده است. عبارت نخست تصمیم نهایی را به ارزیابی شرکت وابسته می‌کند؛ عبارت دوم پیامد آزمون را از پیش روشن می‌سازد. شورا می‌خواست بداند اگر داوری مستقل با ارزیابی داخلی شرکت اختلاف پیدا کند، کدام نتیجه بر تصمیم انتشار اثر می‌گذارد.

در بحث خسارت احتمالی نیز پاسخ مستقیمی از همهٔ شرکت‌ها به دست نیامد. دوایر از مسئولیت OpenAI در توسعه و ارزیابی ایمن سخن گفت، اما دربارهٔ پذیرش مسئولیت حقوقی در فرض آسیب جدی پاسخ صریحی نداد. گراهام و کیهیل از اظهارنظر قطعی دربارهٔ آن فرض خودداری کردند؛ فرند گفت Google قواعد حقوقی موجود را دربارهٔ رفتارهای مرتبط با هوش مصنوعی نیز قابل اعمال می‌داند.

شورا چه مقرراتی را روی میز گذاشته است؟

در فهرست رسمی پیشنهادهای شورای شهر برای نشست کمیتهٔ کل، که همهٔ ۵۱ عضو شورا را در بر می‌گیرد، طرح ۲۶۰۲ اعتبارسنجی مستقل را برای سامانه‌های عرضه‌شده یا به‌کاررفته در شهر پیش‌بینی می‌کند و برای هر مورد عرضه یا به‌کارگیری بدون این اعتبارسنجی جریمهٔ ۲۵ هزار دلاری می‌گذارد. ارزیاب باید کیفیت داده، سوگیری، خروجی تصمیم‌ها، حریم خصوصی و امنیت را بررسی کند و تعارض منافع مرتبط را افشا کند. طرح همچنین وجود امکان توقف سامانه به دست انسان را الزامی می‌داند.

این پیشنهاد به اختلافی که در شهادت‌ها آشکار شد شکل اجرایی می‌دهد: ادعای ایمنی شرکت در معرض وارسی شخص ثالث قرار می‌گیرد. بااین‌حال، اعتبارسنجی بیرونی و تعهد شرکت به توقف انتشار پس از شکست در یک آزمون، دو پرسش جداگانه‌اند. شورا دربارهٔ هر دو سؤال کرد، زیرا وجود فرایند بررسی به‌تنهایی روشن نمی‌کند نتیجهٔ نامطلوب آن چه اثری بر عرضهٔ مدل خواهد داشت.

پیشنهاد دیگری برای فردی که تخلف شرکت هوش مصنوعی را گزارش کند، سهمی از جریمه یا مبلغ وصول‌شده در نظر می‌گیرد. طرحی جداگانه حمایت قانون افشاگری شهر را برای کارکنان شهری و پیمانکاران مشمولی روشن‌تر می‌کند که خطری برای ایمنی عمومی ناشی از استفاده یا توسعهٔ هوش مصنوعی را گزارش می‌دهند. دامنهٔ این دو طرح یکسان نیست: یکی انگیزهٔ مالی برای گزارش تخلف ایجاد می‌کند و دیگری به حمایت از گروه‌های مشخص گزارش‌دهنده می‌پردازد.

شورا همچنین افشای اطلاعات دربارهٔ ابزارهای هوش مصنوعی، امکان شکایت برای برخی افراد آسیب‌دیده و گزارش رخدادهای ایمنی در قراردادهای شهری را پیشنهاد کرده است. حق شکایت پیشنهادی به شرایطی مانند پیش‌بینی‌پذیر بودن آسیب، نبود تدابیر معقول و سوءاستفادهٔ شخص ثالث گره خورده است؛ بنابراین هر آسیب ناشی از هوش مصنوعی خودکار مشمول آن نمی‌شود. رسیدگی بعدی شورا به متن این طرح‌ها تعیین می‌کند کدام الزام، با چه دامنه‌ای، می‌تواند از مرحلهٔ پیشنهاد به قانون برسد.

بیشتر بخوانید:

• عامل‌های OpenAI داخل AWS اجرا می‌شوند؛ پیش‌نمایش فقط در سه منطقه است
• Clef تصمیم می‌گیرد، متن نمی‌نویسد؛ ادعای سرعت Cloudflare زیر سؤال رفت
• حافظهٔ ابری Google کلید را به دستگاه می‌سپارد؛ ادعای حریم خصوصی زیر ذره‌بین