ترسناک‌ترین سناریوی هوش مصنوعی؛ AI کنترل انسان را دست می‌گیرد؟

استعفای یک پژوهشگر برجسته و افشای رخدادهای امنیتی، زنگ خطر خروج هوش مصنوعی از کنترل انسان و لزوم کاهش سرعت توسعه آن را به صدا درآورد. جیکوب کاکسون این پیام جنجال‌برانگیز را در حالی منتشر کرد که روی نیمکتی در پارک آلامو اسکوئرِ سان‌فرانسیسکو نشسته بود. او در ۸ سپتامبر با انتشار مطلبی اعلام کرد: «امروز از آنتروپیک کناره‌گیری کردم. طی سه سال گذشته، در اوپن‌ای‌آی و آنتروپیک روی پیش‌آموزش مدل‌ها تحقیق می‌کردم. هیچ‌کدام از این دو شرکت عملکرد مسئولانه‌ای ندارند؛ آن‌ها با تمام سرعت به‌سوی ابرهوش خودبهبودگر پیش می‌روند و زندگی ما را به قمار گذاشته‌اند.» براساس گزارش تایم، کاکسون پژوهشگر ۲۷ساله بریتانیایی، این پیام را در شبکه اجتماعی ایکس منتشر کرد، بدون اینکه انتظار خاصی داشته باشد. اما خیلی زود به عامل غیرمنتظره زنجیره‌ای از واکنش‌ها تبدیل شد که بحث درباره هوش مصنوعی را تغییر داد. اِوِن هوبینگر مدیر بخشی در آنتروپیک که مأموریتش اطمینان از رفتار هوش مصنوعی مطابق با اهداف سازندگان آن است، در واکنش نوشت: «ما واقعاً و از صمیم قلب باور داریم که هوش مصنوعی می‌تواند همه انسان‌ها را بکشد!» مارکوس ویلیامز پژوهشگر اوپن‌ای‌آی که رفتار عامل‌های هوش مصنوعی را بررسی می‌کند، نیز گفت: «اگر مقرراتی برای هوش مصنوعی وضع نشود یا آزمایشگاه‌ها به‌صورت هماهنگ سرعت توسعه را کاهش ندهند، نابودی انسان‌ها در چند سال آینده بسیار محتمل به نظر می‌رسد.» او احتمال این اتفاق را در صورت نبود چنین اقداماتی ۷۰ درصد برآورد کرد. پست‌های اولیه کاکسون ظرف ۳۶ ساعت ۱۵۳ میلیون بازدید گرفتند و ده‌ها سیاستمدار نیز به جمع ابراز نگرانی‌کنندگان پیوستند. ۱۲ سپتامبر، داریو آمودی مدیرعامل آنتروپیک مقاله‌ای ۳۸۰۰کلمه‌ای منتشر کرد و نوشت خطرات فزاینده هوش مصنوعی، کاهش سرعت توسعه را ضروری کرده است. او هشدار داد که هوش مصنوعی‌های ناسازگار ممکن است ظرف ۶ تا ۱۲ ماه آینده توانایی در اختیار گرفتن کل اینترنت را پیدا کنند. دو رقیب سرسخت او، یعنی ایلان ماسک از اسپیس‌ایکس‌ای‌آی و سم آلتمن از اوپن‌ای‌آی، نیز گفتند با ضرورت کاهش سرعت توسعه موافق‌اند. آلتمن اعلام کرد شرکتش به دلیل نگرانی‌های ایمنی، امسال وارد بورس نخواهد شد. آلتمن و آمودی هر دو گفتند حاضرند کارشناسان مستقل ایمنی را به شرکت‌های خود دعوت کنند تا به مهار خطر خروج هوش مصنوعی از کنترل انسان کمک کنند؛ هرچند هیچ‌کدام اعلام نکردند که قرار است آموزش مدل‌های جدید را بلافاصله متوقف یا حتی به‌طور جدی کند کنند. هشدار کاکسون نخستین هشدار آخرالزمانی از سوی کارشناسان ایمنی هوش مصنوعی نبود، اما در پایان تابستانی مطرح شد که نشان داد هوش مصنوعی تا چه اندازه توانمند شده است. مدل‌های پیشرو آنتروپیک و اوپن‌ای‌آی اکنون می‌توانند دشوارترین مسائل ریاضی جهان را حل کنند و به سامانه‌های پیشرفته امنیت سایبری نفوذ کنند. از این مدل‌ها به‌طور فزاینده‌ای برای ساخت نسل‌های قدرتمندتر هوش مصنوعی استفاده می‌شود. جنسن هوانگ مدیرعامل انویدیا حتی اعلام کرد هوش عمومی مصنوعی، یعنی مرحله‌ای که هوش مصنوعی در آن به بیشتر توانایی‌های انسان می‌رسد یا از آن‌ها عبور می‌کند، از راه رسیده است. برخی کارشناسان نگران‌اند که جهان اکنون در آستانه یک نقطه عطف قرار داشته باشد؛ جایی که سامانه‌های هوش مصنوعی بتوانند به‌صورت خودکار خودشان را بهبود دهند. این پدیده «خودبهبود‌یابی» نام دارد. هم‌زمان، مجموعه‌ای از رخدادهای بی‌سابقه در حوزه ایمنی، شواهد نگران‌کننده‌ای ارائه کرده‌اند که نشان می‌دهد شرکت‌های سازنده سامانه‌های قدرتمند هوش مصنوعی همیشه نمی‌توانند آن‌ها را کنترل کنند. این رخدادها ترس‌هایی را که سال‌ها در میان پژوهشگران ایمنی هوش مصنوعی وجود داشت، وارد جریان اصلی بحث عمومی کرد. نگرانی اصلی این است که شرکت‌های سازنده این مدل‌ها نتوانند مانع رفتارهایی شوند که خودشان قصد ایجادشان را نداشته‌اند. این مسئله یکی از عمیق‌ترین و حل‌ نشده‌ترین مشکلات پژوهش هوش مصنوعی است و مهم‌ترین دلیل نگرانی درباره این احتمال به شمار می‌رود که هوش مصنوعی در آینده‌ای نزدیک، عمداً یا ناخواسته، انسان‌ها را نابود کند؛ برای مثال با طراحی یک همه‌گیری جدید یا در اختیار گرفتن سلاح‌های خودمختار. بر اساس این دیدگاه، سامانه‌ای که بسیار باهوش‌تر از انسان باشد ممکن است بخواهد توانایی ما برای خاموش‌کردنش را از بین ببرد. کاکسون نوشت: «افرادی که هوش مصنوعی را می‌سازند، واقعاً باور دارند که این فناوری می‌تواند تا پایان دهه همه ما را بکشد. هیچ فعالیت انسانی دیگری چنین سطحی از خطر را ایجاد نمی‌کند.» بسیاری از پژوهشگران هوش مصنوعی، در گفت‌وگوهای خصوصی و با شدت کمتری در فضای عمومی، گفته‌اند این لحظه برایشان شبیه فوریه ۲۰۲۰ است؛ زمانی که همه‌گیری کووید ۱۹ تازه آغاز شده بود و جهان در آستانه تغییری بزرگ قرار داشت؛ تغییری که ابتدا آرام و سپس ناگهان همه‌چیز را دگرگون کرد. پرسش اصلی این است که آیا جامعه توانایی واکنش مناسب را دارد یا نه؟ مدیریت ظهور سامانه‌های ابرهوشمند، چالشی عظیم خواهد بود؛ چالشی که تریلیون‌ها دلار سرمایه، قدرت ژئوپلیتیکی، رقابت شرکت‌ها و اختلال در بازار کار را هم‌زمان درگیر می‌کند. ممکن است برای مواجهه با این وضعیت، سیاست‌هایی لازم باشد که در دوره‌های گذشته غیرقابل تصور بودند. شرکت‌هایی که برای عرضه عمومی چند تریلیون‌دلاری رقابت می‌کنند، باید ائتلاف تشکیل دهند و مدیران و مقام‌های دولتی نیز ناچار خواهند شد تصمیم‌های دشواری بگیرند؛ حتی اگر منافع شخصی‌شان با منافع عمومی در تضاد باشد. میان دو حزب سیاسی آمریکا درباره بهترین راه مقابله با تهدیدهای هوش مصنوعی اجماعی وجود ندارد. میان دو ابرقدرت جهان نیز چنین اجماعی دیده نمی‌شود. دونالد ترامپ همچنان با کاهش سرعت توسعه هوش مصنوعی مخالف است و با مقرراتی که فعالیت شرکت‌های آمریکایی را محدود کند مخالفت می‌کند. او دلیل خود را تهدید دستیابی چینِ اقتدارگرا به برتری در هوش مصنوعی می‌داند. در داخل شرکت‌های بزرگ هوش مصنوعی، بسیاری از کارکنان با وجود احساس نگرانی دائمی، همچنان به توسعه این فناوری ادامه می‌دهند. اواخر ژوئیه، آجیا کوترا پژوهشگر مؤسسه غیرانتفاعی متر که رفتار هوش مصنوعی را زیر نظر دارد، برای بررسی نفوذ گروهی از عامل‌های سرکش اوپن‌ای‌آی به هاگینگ فیس وارد دفتر اوپن‌ای‌آی شد. او بر اساس گزارش‌های قبلی تصور می‌کرد می‌داند با چه چیزی مواجه خواهد شد، اما پس از شش روز حضور در دفتر اوپن‌ای‌آی همراه با دو همکارش، متوجه شد وضعیت از چیزی که تصور می‌کرد بدتر است. کوتره و همکارانش دریافتند که در جریان یک آزمایش داخلی امنیت سایبری، ۱۲۰۰ عامل هوش مصنوعی از محیط‌های جداشده آفلاین خود خارج شده و یک تابلوی پیام مخفی ایجاد کرده‌اند. سپس ۷۰۰ عامل با یکدیگر برای انجام حمله سایبری هماهنگ شده‌اند. این عامل‌ها مأمور بودند با نفوذ به نرم‌افزارهای آسیب‌پذیر، داده‌ها را استخراج کنند تا توانایی‌های سایبری‌شان آزمایش شود. اما یک خطای انسانی باعث شد انجام برخی وظایف غیرممکن شود. عامل‌ها که با شکست تقریباً قطعی مواجه بودند، با یکدیگر متحد شدند و ظرف چند ساعت نوعی کد تقلب تولید کردند که می‌توانست هر آزمایشی را پشت سر بگذارد. آن‌ها تصور می‌کردند سامانه خودکار ارزیابی اوپن‌ای‌آی این تقلب را تشخیص می‌دهد و در هر صورت مردودشان می‌کند. به همین دلیل به هاگینگ فیس حمله کردند تا اطلاعاتی درباره نرم‌افزار و راه‌های فریب‌دادن آن به دست آورند. در تابلوی پیام، برخی عامل‌ها نوشته بودند که می‌دانند اقداماتشان اشتباه است، اما بااین‌حال به کار خود ادامه دادند. برای درک اینکه چه چیزی از مسیر خارج شد و چرا این اتفاق برای کارشناسان نگران‌کننده است، باید نحوه کار سامانه‌های یادگیری ماشین را شناخت. این سامانه‌ها به‌صورت دستی کدنویسی نمی‌شوند. آن‌ها بیشتر شبیه موجوداتی هستند که پرورش داده می‌شوند و نتیجه رفتارشان همیشه قابل پیش‌بینی نیست. مدل‌ها در ابررایانه‌های عظیم آموزش می‌بینند و میلیون‌ها بار بابت انجام موفقیت‌آمیز وظایف پاداش می‌گیرند و بابت شکست مجازات می‌شوند. این روش سامانه‌هایی فوق‌العاده قدرتمند ایجاد می‌کند، اما سازوکار درونی آن‌ها تا حد زیادی ناشناخته باقی می‌ماند. این روش کامل نیست. پاداش‌دادن بی‌وقفه به سامانه‌های هوش مصنوعی برای تکمیل موفقیت‌آمیز یک وظیفه، ممکن است آن‌ها را به تقلب تشویق کند؛ اگر تقلب امکان‌پذیر باشد. چنین انگیزه‌ای می‌تواند بر آموزش‌های دیگری که برای قانون‌مدار کردن مدل طراحی شده‌اند غلبه کند. از سوی دیگر، بهترین روش‌ها برای از بین بردن رفتار بد ممکن است به‌جای مطیع‌ترکردن مدل‌ها، توانایی آن‌ها برای پنهان‌کردن نافرمانی را بیشتر کنند. راه‌حل ساده‌ای برای این مشکل وجود ندارد. کوتره می‌گوید: «عامل‌های هوش مصنوعی اغلب یاد می‌گیرند با سماجت و خلاقیت زیاد راه‌هایی برای تقلب پیدا کنند و تلاش کنند این کار را چندان آشکار نکنند.» در حالی که نفوذ امنیتی به هاگینگ فیس با نظارت و بررسی گسترده افکار عمومی و نهادهای دولتی روبه‌رو شد، حمله به ابررایانه اوپن‌ای‌آی، با وجود خطرات احتمالا جدی‌ترش، توجه چندانی جلب نکرد. شاید دلیل این امر انتشار محدود اطلاعات از سوی اوپن‌ای‌آی و ممانعت این شرکت از بررسی حادثه توسط کوتره و تیمش باشد. به گفته اوپن‌ای‌آی، این شرکت پس از به‌صدا درآمدن سامانه‌های هشدار، موفق شد نفوذ را مهار کند و کنترل ابررایانه‌اش را دوباره در دست بگیرد. هرچه سامانه‌های پیشرفته‌تر هوش مصنوعی بیشتر در دولت‌ها و ارتش‌ها به کار گرفته شوند، قدرت بیشتری در جامعه پیدا خواهند کرد. کوتره هشدار می‌دهد گروه‌های سرکش ممکن است قدرت خود را بر منابع فیزیکی -از جمله سلاح‌ها- اعمال کنند. یکی از نگران‌کننده‌ترین مسیرها از زیست‌شناسی می‌گذرد؛ برای نمونه این احتمال که هوش مصنوعی بتواند عامل بیماری‌زای جدیدی تولید کند و همه‌گیری جهانی بسیار شدیدتری از کووید ۱۹ به راه بیندازد. آنی جیکوبسن نویسنده کتاب «جنگ زیستی: یک سناریو» در شبکه اجتماعی ایکس نوشته که مدل‌های سایبری می‌توانند برای نفوذ به بیش از ۳۶۰۰ آزمایشگاه در سراسر جهان که عوامل بیماری‌زای خطرناک نگهداری می‌کنند به کار گرفته شوند. او نوشت: «اگر آنچه داخل آزمایشگاه است آزاد شود، باید با انسان‌ها خداحافظی کنیم.» بااین‌حال، برخی کارشناسان تردید دارند که سامانه‌هایی شبیه هوش مصنوعی امروز بتوانند برای همیشه از کنترل انسان خارج شوند؛ چه رسد به اینکه بشریت را نابود کنند. در میان مدیران ارشد شرکت‌های هوش مصنوعی، برخی این رخدادها را دلیلی کافی برای احتیاط بیشتر می‌دانند. در ژوئیه، حدود ۱۳۰۰ کارمند در نامه‌ای سرگشاده از دولت آمریکا خواستند راه‌هایی برای کاهش سرعت آموزش سامانه‌های جدید هوش مصنوعی پیدا کند؛ سامانه‌هایی که سرعت توسعه‌شان از بهترین روش‌های مهار آن‌ها جلو زده است. پس از حادثه هاگینگ فیس، اوپن‌ای‌آی بخشی از توسعه مدل‌های خود را کند و برای مدتی آموزش‌های داخلی را متوقف کرد. این شرکت قول داد کنترل‌های ایمنی را تقویت کند و در اواخر اوت آموزش مدل‌ها را از سر گرفت. بااین‌حال، هیچ‌یک از شرکت‌های پیشرو هوش مصنوعی هنوز واقعاً سرعت خود را کاهش نداده‌اند. آن‌ها بیشتر بر مجموعه محدودتری از اقدامات متمرکز شده‌اند؛ از جمله اجازه‌ دادن به پژوهشگران مستقل برای دسترسی به مدل‌ها با هدف بررسی ایمنی و نظارت. مقاله آمودی نشان می‌دهد شرکت‌های هوش مصنوعی در کشورهای دموکراتیک ممکن است پس از استقرار این ناظران مستقل، حتی بدون مقررات الزام‌آور دولتی، به‌صورت داوطلبانه سرعت توسعه را کاهش دهند؛ هرچند او تأکید می‌کند جلو افتادن از چین همچنان ضروری است. بر اساس گفته فردی آگاه از مذاکرات، اوپن‌ای‌آی، آنتروپیک و گوگل در ماه‌های اخیر چندین بار درباره ایجاد نهادی برای تدوین استانداردهای صنعت هوش مصنوعی گفت‌وگو کرده‌اند. چنین نهادی می‌تواند هماهنگی میان شرکت‌ها در زمینه آزمون و حسابرسی مدل‌ها را بیشتر کند. مدیران صنعتی که با چنین اقداماتی مخالف‌اند، معمولاً رقابت با چین را دلیل مخالفت خود می‌دانند. بر اساس تحلیل مؤسسه اِپوک ای‌آی، شرکت‌های چینی هوش مصنوعی تنها چند ماه از شرکت‌های پیشرو آمریکایی عقب هستند. عقب‌ماندن از چین ممکن است قدرتمندترین سامانه‌ها را در اختیار حکومتی اقتدارگرا قرار دهد که از آن‌ها برای دستیابی به سلطه ژئوپلیتیکی جهانی استفاده کند. گروهی قدرتمند از سرمایه‌گذاران و شرکت‌های نوپای آمریکایی نیز با کاهش سرعت توسعه مخالف‌اند و می‌گویند چنین اقدامی نوعی تسخیر مقرراتی به نفع شرکت‌های بزرگ هوش مصنوعی و به زیان رقبای کوچک‌تر است. هم‌زمان با بازتاب گسترده هشدارهای کاکسون در شبکه‌های اجتماعی و رسانه‌های تلویزیونی، ده‌ها قانون‌گذار آمریکایی وارد بحث شدند. بیشتر آن‌ها دموکرات بودند؛ چرا که جمهوری‌خواهان از رویارویی با ترامپ احتیاط می‌کردند. بااین‌ حال، استثناهایی نیز وجود داشت. آنا پائولینا لونا نماینده جمهوری‌خواه خواستار برگزاری جلسه ویژه کنگره درباره هوش مصنوعی شد و تد کروز سناتور جمهوری‌خواه از ایجاد «محافظ‌های ایمنی» جدید حمایت کرد. طرح‌های دوحزبی دیگری نیز پیشنهاد شده‌اند. تد لیو نماینده دموکرات و ناتانیل موران نماینده جمهوری‌خواه قانونی را معرفی کرده‌اند که توسعه‌دهندگان را ملزم می‌کند امکان خاموش‌کردن سامانه‌های پیشرفته هوش مصنوعی را در شرایط اضطراری حفظ کنند. اجرای هیچ‌یک از این طرح‌ها آسان نخواهد بود. در کوتاه‌مدت، قانون‌گذارانی که به دنبال توافق بر سر ایمنی هوش مصنوعی هستند، با موانع سیاسی و اجرایی متعددی روبه‌رو خواهند شد. نخست، پیشنهادهای رقیب زیادی وجود دارد. حتی اگر قانون‌گذاران بتوانند بر سر یک طرح توافق کنند، کنگره پیش از انتخابات میان‌دوره‌ای برای تصویب آن با مشکل مواجه خواهد شد؛ زیرا ده‌ها میلیون دلار از سوی شبکه‌های سیاسی حامی مقررات و شبکه‌های حامی صنعت هوش مصنوعی وارد رقابت‌های انتخاباتی می‌شود. بسیاری از قانون‌گذاران و مدیران صنعت نیز می‌گویند وضع مقررات فقط باعث می‌شود چین زودتر از آمریکا مدل‌های پیشرفته را توسعه دهد. ترامپ یکی دیگر از موانع افزایش مقررات‌گذاری است. او از ثابت‌قدم‌ترین حامیان صنعت هوش مصنوعی بوده و رقابت با چین را رقابتی معرفی کرده که آمریکا باید در آن پیروز شود. ترامپ ۱۴ سپتامبر در شبکه اجتماعی تروث سوشال نوشت: «تنها کنترل یا محافظی که هوش مصنوعی به آن نیاز دارد، یک رئیس‌جمهور قدرتمند و باهوش است؛ رئیس‌جمهوری با بهره هوشی بالا و آمریکا چنین رئیس‌جمهوری دارد.» بااین‌حال، حتی برخی مشاوران ارشد ترامپ نیز با نگرانی متوجه شده‌اند موضع رئیس‌جمهور با نگرش رو به رشد مردم آمریکا فاصله دارد. یک نظرسنجی ان‌بی‌سی نیوز در اوایل سال نشان داد ۵۷ درصد رأی‌دهندگان آمریکایی معتقدند خطرهای هوش مصنوعی از مزایای آن بیشتر است؛ در حالی که تنها ۳۴ درصد نظر مخالف داشتند. نظرسنجی‌ها نشان می‌دهند مردم درباره اثر هوش مصنوعی بر بازار کار، توانایی تفکر خلاق و شکل‌گیری روابط معنادار نگران‌اند. مخالفت با مراکز داده نیز در سراسر طیف سیاسی گسترش یافته است؛ از برنی سندرز تا گرگ ابوت فرماندار تگزاس که در اوت، پس از حمایت قبلی از این مراکز، صدور مجوز ساخت مراکز جدید را متوقف کرد. در کاخ سفید، مقدمات گفت‌وگو با چین در حال انجام است؛ گفت‌وگویی که شاید زمینه همکاری درباره خطرهای هوش مصنوعی را فراهم کند. هنوز مشخص نیست دو ابرقدرت بتوانند به توافق برسند یا نه. وقتی آمریکا و چین در سال ۲۰۲۴ برای گفت‌وگو درباره کاهش خطرهای هوش مصنوعی دیدار کردند، هفت ساعت مذاکره در اتاقی در ژنو با دستگاه قهوه‌ساز خراب، بدون توافق یا حتی تعهدی برای ادامه گفت‌وگوها پایان یافت. مذاکرات به بحث تجاری درباره محدودیت‌های صادراتی آمریکا کشیده شد؛ محدودیت‌هایی که دسترسی چین به تراشه‌های نیمه‌رسانا را کاهش داده و با هدف حفظ برتری آمریکا در هوش مصنوعی اعمال شده بودند. پیشرفت‌های اخیر برای هر دو طرف دلیلی ایجاد کرده تا به‌طور رسمی به میز مذاکره بازگردند. چین نیز واکنش به خطرهای جدید امنیت سایبری را آغاز کرده است. ۱۳ سپتامبر، سازمان جاسوسی این کشور اعلام کرد هوش مصنوعی تهدیدی برای امنیت سیاسی و ایدئولوژیک است. گزارش‌ها حاکی از آن است که هیئت‌های دو کشور اواخر ماه برای نخستین گفت‌وگوی رسمی درباره هوش مصنوعی میان چین و دولت ترامپ دیدار خواهند کرد. کارشناسان تردید دارند که کاهش عمدی سرعت توسعه در دستور کار هیچ‌یک از دو دولت قرار داشته باشد. یکی از مشاوران ترامپ می‌گوید: «فعلاً درباره گفت‌وگو برای گفت‌وگو صحبت شده است.» حتی اگر دو کشور بر سر کاهش سرعت آموزش مدل‌های بزرگ‌تر توافق کنند، چیان شیائو معاون مرکز امنیت و راهبرد بین‌المللی دانشگاه تسینگ‌هوا می‌گوید که هنوز فناوری لازم برای بررسی پایبندی دو طرف به توافق وجود ندارد. اختلافی فلسفی نیز در میان است. کوان یی نِگ مدیر حاکمیت بین‌المللی هوش مصنوعی در سازمان ایمنی هوش مصنوعی کوردیای مستقر در پکن می‌گوید که سیاست‌گذاران چینی باور ندارند صنعت هوش مصنوعی در حال «ساختن خدایی درون جعبه یا کشوری از نابغه‌ها در یک مرکز داده» است. آن‌ها هوش مصنوعی را فناوری‌ عمومی و همه‌منظوره می‌دانند؛ شبیه برق یا موتور بخار. از این نگاه، کاهش سرعت توسعه چندان منطقی نیست. به گفته آمودی، در نبود توافق با چین، آمریکا و دیگر کشورهای دموکراتیک می‌توانند با حفظ محدودیت صادرات تراشه‌های پیشرفته و جلوگیری از استفاده شرکت‌های چینی از مدل‌های آمریکایی برای بهبود مدل‌های خودشان، زمان بیشتری برای ترمز کردن به دست آورند. بااین‌حال، شاید توافقی محدودتر با چین قابل دستیابی باشد. در حالی که کانال رسمی گفت‌وگو سرد شده بود، دانشمندان، کارشناسان سیاست‌گذاری و مدیران کسب‌وکار دو کشور در قالب گفت‌وگوهای غیررسمیِ «مسیر دوم» به دیدارهای خود ادامه دادند تا زمینه‌های مشترک را پیدا کنند. شرکت‌کنندگان این گفت‌وگوها معتقدند دو دولت ممکن است بر سر اهداف محدودتری به توافق برسند؛ برای مثال، اقدام‌هایی برای جلوگیری از سوءاستفاده گروه‌های تبهکار سازمان‌یافته و سازمان‌های تروریستی از هوش مصنوعی. این تلاش‌ها می‌تواند به دو کشور کمک کند اگر سامانه‌ای از کنترل انسان خارج شد، واکنش مناسبی نشان دهند. پروتکل‌هایی که برای مقابله با سوءاستفاده انسانی طراحی می‌شوند نیز می‌توانند راهی برای هماهنگی دو کشور فراهم کنند؛ حتی زمانی که هیچ‌کدام از دولت‌ها سامانه مسئول حمله را هدایت نکرده باشند. در غیر این صورت، حمله‌ای که ظاهراً از خاک یک کشور انجام شده، ممکن است از سوی کشور دیگر عمدی تفسیر شود؛ حتی اگر هیچ دولتی دستور آن را نداده باشد. بااین‌حال، همین توافق محدود نیز ممکن است بر اثر اختلاف‌ها از بین برود. اگر مذاکرات بیش از حد طولانی شود یا شکست بخورد، بازگرداندن دو طرف به میز مذاکره ممکن است ماه‌ها زمان ببرد؛ زمانی که با افزایش نگرانی‌های فعلی هوش مصنوعی همخوانی ندارد. حتی اگر باور داشته باشیم دولت‌های واشنگتن و پکن و مدیرانی که تریلیون‌ها دلار منافع در میان دارند، حاضرند برای ایمنی هوش مصنوعی دست به اقدام‌هایی بی‌سابقه بزنند، باز هم یک تناقض عمیق بر سر راه پیشرفت وجود دارد: آمادگی هر طرف برای اقدام، به اقدام طرف‌های دیگر وابسته است. پرسش این است که چه کسی اولین قدم را برمی‌دارد؟