این جدول دقیقاً مقایسه‌ی یک‌به‌یک را ارائه نمی‌دهد. در این گزارش، می‌خوانیم که گوگل برای بهبود عملکرد PaLM 2 از دو قابلیت خاص استفاده کرده است: یکی پرسش زنجیره‌ی فکر (chain-of-thought prompting) و دیگری خودسازگاری (self-consistency).
خودسازگاری یعنی مدل چندین پاسخ مختلف تولید می‌کند و بعد می‌بیند کدام پاسخ بیشتر تکرار شده است تا آن را به‌عنوان پاسخ درست انتخاب کند. برای مثال، اگر پاسخ اول بگوید A و پاسخ دوم بگوید B و پاسخ سوم بگوید A، مدل می‌گوید A فراوانی بیشتری داشته است؛ پس همین را به‌عنوان پاسخ درست انتخاب می‌کنم.
زنجیره‌ی فکر هم از مدل می‌خواهد به پاسخ‌هایش قدم‌به‌قدم فکر کند. در بسیاری از پژوهش‌های اخیر، تأثیر استفاده از زنجیره‌ی فکر بر بهبود عملکرد مدل‌های زبانی نشان داده شده است. برای مثال، وب‌سایت Khan Academy که از هوش مصنوعی OpenAI استفاده می‌کند، برای پاسخ بهتر به سؤالات ریاضی کاربران از همین فرایند زنجیره‌ی فکر بهره می‌برد. به این صورت که حتی قبل از اینکه مربیان هوش مصنوعی این پلتفرم سؤالی از کاربر بکنند، تمام مراحل رسیدن به جواب را یک بار برای خود تولید کرده‌اند تا وقتی کاربر جواب می‌دهد، بتوانند با استفاده از «حافظه»ی خود او را مرحله‌به‌مرحله به رسیدن به جواب درست همراهی کنند.
با این توضیح، برویم سراغ بررسی امتیازها. گوگل می‌گوید با استفاده از پرسش زنجیره‌ی فکر توانسته است عملکرد PaLM 2 را درمقایسه‌با PaLM در تمام تست‌ها افزایش دهد. این موضوع به‌ویژه درباره‌ی امتیاز تست MATH جالب است که افزایش بیش از ۴ برابری عملکرد را در مدل مجهز به پرسش زنجیره‌ی فکر و افزایش بیش از ۶ برابری را در مدل مجهز به قابلیت خودسازگاری نشان می‌دهد.
باوجوداین، گوگل در حالی امتیاز PaLM 2 را با رقیب خود مقایسه کرده است که براساس گزراش GPT-4، شرکت OpenAI تنها در تست GSM-8K از قابلیت پرسش زنجیره‌ی فکر استفاده کرده است و به امتیاز ۹۲٫۲ رسیده که همچنان از PaLM 2 بیشتر است. مقایسه‌ی این امتیاز با مدل Flan-PaLM 2 هم مقایسه‌ی درستی نیست؛ چون این مدل با داده‌های تخصصی مربوط به تست آموزش دیده است. بگذریم که گوگل از قرار‌دادن امتیاز تست MGSM برای GPT-4 به‌دلایلی خودداری کرده است.
چرا گوگل از برنامه‌هایش برای افزایش امنیت هوش مصنوعی حرفی نمی‌زند؟
نکته‌ی جالب دیگر درباره‌ی گزارش فنی گوگل، صحبت‌نکردن درباره‌ی دغدغه‌های این روزهای مردم و صنایع مختلف درباره‌ی هوش مصنوعی است؛ دغدغه‌هایی مثل جایگزین‌شدن انسان‌ها با هوش مصنوعی در محیط کار، استفاده از هوش مصنوعی در جنگ‌افزارها، مسائل مربوط به کپی‌رایت و کلاً امنیت استفاده از هوش مصنوعی برای نسل بشر.
بخش زیادی از گزارش گوگل به «هوش مصنوعی مسئولانه» (Responsible AI) اختصاص دارد؛ اما محوریت صحبت‌های این غول دنیای فناوری استفاده از ضمایر درست در ترجمه است. این موضوع به‌ویژه از این جهت نظر مرا به خود جلب کرد که چند وقت پیش، جفری هینتون، پدرخوانده‌ی هوش مصنوعی، پس از ۱۰ سال گوگل را ترک کرد تا از خطرهای هوش مصنوعی برای شغل‌ها و حتی خود انسان‌ها بگوید.
این در حالی است که OpenAI زمانی‌که دارد در گزارش GPT-4 درباره‌ی امنیت مدل زبانی‌اش می‌گوید، نمونه‌هایی را نشان می‌دهد که در آن چت‌بات به درخواست‌های غیرقانونی یا خطرناک مثل ساخت بمب پاسخ نمی‌دهد.
شرکت OpenAI در پایان گزارش خود می‌گوید که با پژوهشگران مستقل در حال همکاری است تا تأثیرات احتمالی هوش مصنوعی را بهتر درک و ارزیابی کند و بتواند برای قابلیت‌های خطرناکی برنامه‌ریزی کند که ممکن است در سیستم‌های آینده بروز کنند. سؤالی که مطرح می‌شود، این است که گوگل برای امنیت هوش مصنوعی چه برنامه‌هایی دارد؟ چرا فعلاً ترجیح داده است مشکلات هوش مصنوعی را به مسائل مربوط به ترجمه محدود کند؟
آیا گوگل در حوزه‌ی هوش مصنوعی به پای رقیبان خواهد رسید؟
آنچه در این میان عجیب به‌نظر می‌رسد، این است که چطور گوگل با آن همه منابع و میلیاردها دلاری که پای تحقیق‌و‌توسعه‌ی هوش مصنوعی صرف کرده و اینکه حتی زودتر از رقبا به این حوزه وارد شده، همچنان از شرکت به‌مراتب کوچکتری چون OpenAI عقب است؟
این گوگل بود که در سال ۲۰۱۷ با انتشار مقاله‌ی «Attention Is All You Need» (توجه تنها چیزی است که به آن نیاز دارید)، شبکه‌ی عصبی ترنسفورمر را معرفی کرد؛ شبکه‌ای که اصلاً ظهور مدل‌های زبانی بزرگ را ممکن کرد و بدون آن ساخت چت‌بات ChatGPT ممکن نبود.
جالب است بدانید از ۸ نویسنده‌ی این مقاله، فقط یک نفر همچنان در گوگل باقی مانده است و بقیه سراغ راه‌اندازی استارتاپ‌های هوش مصنوعی خود رفته‌اند؛ ازجمله Adept AI Lab و Air Street Capital و البته OpenAI. حتی شایعه شده است که برخی از پژوهشگران هوش مصنوعی گوگل در حال ترک این شرکت هستند؛ چون گوگل متهم شده است که چت‌بات بارد را بدون اجازه با داده‌های ChatGPT آموزش داده است.