چند روز قبل OpenAI از مدل‌های استدلال‌گر جدیدش، o3 و o4-mini، رونمایی کرد که از بسیاری جهات نسبت به مدل‌های قبلی این شرکت پیشرفت کرده‌اند. بااین‌حال، طبق گزارش‌های جدید این مدل‌ها هنوز دچار توهم می‌شوند، یعنی چیزهایی می‌گویند که واقعیت ندارد.

براساس گزارش تک‌کرانچ، 2 مدل استدلا‌ل‌گر o3 و o4-mini شرکت OpenAI توهم زیادی دارند. طبق تست‌های OpenAI، این 2 مدل استدلال‌گر بیشتر از مدل‌های استدلال‌گر قبلی شرکت یعنی o1 ،o1-mini و o3-mini و همچنین مدل‌های معمولی OpenAI مانند GPT-4o توهم ایجاد می‌کنند.

درکل توهمات یکی از بزرگ‌ترین مسائل هوش مصنوعی است که برطرف‌کردن آنها بسیار دشوار است. بااین‌حال معمولاً مدل‌های جدید کمی در بخش توهم بهبود می‌یابند و کمتر از مدل قبلی خود دچار توهم می‌شوند. اما این امر درباره o3 و o4-mini صادق نیست.

توهم در مدل‌های هوش مصنوعی جدید OpenAI

نکته نگران‌کننده‌تر این است که OpenAI واقعاً نمی‌داند چرا این اتفاق می‌افتد. سازنده ChatGPT در گزارش فنی خود برای o3 و o4-mini می‌نویسد که «تحقیقات بیشتری مورد نیاز است تا بفهمیم چرا توهمات با پیشرفت مدل‌های استدلالی افزایش یافته است.»

O3 و o4-mini در برخی زمینه‌ها ازجمله کارهای مربوط به کدنویسی و ریاضی عملکرد بهتری دارند. اما از آنجایی که آنها «درکل ادعاهای بیشتری دارند»، طبق گزارش OpenAI، اغلب همانقدر که ادعاهای دقیق‌تری ارائه می‌کنند، ادعاهای نادرست و متوهم‌تری نیز ارائه می‌دهند.

OpenAI می‌گوید که o3 در پاسخ به 33 درصد از سؤالات PersonQA (بنچمارک داخلی شرکت برای سنجش دقت دانش یک مدل درباره اشخاص) توهم ایجاد می‌کند. این تقریباً 2 برابر میزان توهم مدل‌های استدلال‌گر قبلی o1 و o3-mini است که به ترتیب امتیاز بنچمارک‌ آنها 16 درصد و 14.8 درصد بود. مدل O4-mini نیز عملکرد بدتری در PersonQA دارد: 48 درصد.

توهمات ممکن است به مدل‌ها کمک کند تا به ایده‌های جالبی برسند و خلاق باشند، اما این امر برای کسب‌وکارها و کاربرانی که نیاز به دقت بالایی در خروجی هوش مصنوعی دارند، مشکل‌ساز است. یکی از روش‌های امیدوارکننده برای افزایش دقت مدل‌ها، داشتن قابلیت جستجوی وب مدل‌هاست. برای مثال مدل GPT-4o با قابلیت جستجوی وب، امتیاز 90 درصدی در SimpleQA (یکی دیگر از بنچمارک‌های سنجش دقت) به دست آورد.