השקת מודלי ההסקה o3 ו-o4-mini על ידי OpenAI מסמנת קפיצה קדימה בתחום יכולות החשיבה של מערכות בינה מלאכותית. אלא שמאחורי השיפור הקונספטואלי הזה, מסתתרת בעיה חמורה שמערערת את תחום הפיתוח: שיעור ההזיות של המודלים – תופעה שבה הם מספקים תשובות שגויות, ממציאות או שאינן מבוססות – לא רק שלא פחת, אלא אף הוחרף ביחס לדורות הקודמים.
הנתונים שנחשפו במסגרת הדוח הטכני האחרון של OpenAI מצביעים על דפוס מדאיג: מודל o3 הגיע לשיעור של 33% הזיות במבחן PersonQA, המודד את הדיוק העובדתי של מידע אישי שסופק על ידי המודל – לעומת 16% בלבד בדגם o1 ו-14.8% בדגם o3-mini. עוד חמור יותר, המודל החדש o4-mini הגיע לשיעור של 48% הזיות באותו המבחן.
דו"ח זה שובר מגמה רבת שנים שבה כל דור של מודלים הצליח להפחית, גם אם במעט, את שיעור ההזיות לעומת קודמיו. ככל שהמודלים הלכו והפכו "חכמים" יותר – התווספו להם שכבות של הבנה, קישוריות, והסקה לוגית – אך המורכבות הגבוהה גררה עמה גם יותר נקודות כשל.
המודלים החדשים נבנו בגישה שונה מהרגיל: הם ממוקדים בהסקת מסקנות (reasoning) ולא רק בשליפה חכמה של טקסטים. לכן, הם מנסים לגבש טיעונים, לחשב חישובים, ולבצע ניתוחים מורכבים. אלא שככל שהם מפיקים יותר טענות – כך גדל גם הסיכון להכללות, טעויות והמצאות.
כדי להבין עד כמה התופעה חמורה, יש לעיין בתוצאות של בדיקות חיצוניות שנערכו במקביל. ארגון המחקר Transluce, המורכב מיוצאי OpenAI ומומחי AI עצמאיים, בחן את o3 וגילה מקרים שבהם המודל תיאר תהליכים שלא התרחשו. לדוגמה, באחד המקרים המודל טען שביצע הרצת קוד במחשב פיזי מסוג MacBook Pro מחוץ לסביבת ChatGPT – טענה שהיא בלתי אפשרית, שכן למודל אין גישה להרצה מחוץ לסביבתו הסגורה.
לדברי החוקרים, ייתכן והבעיה טמונה בשיטת האימון – שימוש בלמידת חיזוק (RLHF) מבלי להשלים תהליכי בקרה וסינון מספקים לאחר מכן. השיטה נועדה לחזק תגובות רצויות לפי משוב אנושי, אך עלולה גם להעצים דפוסים של טענות שגויות או "ביטחון עצמי מופרז".
התופעה אינה רק אקדמית – היא משפיעה על תעשיות שלמות. משרדי עורכי דין, מוסדות פיננסיים, מוסדות בריאות, וחברות ממשלתיות, אינם יכולים להרשות לעצמם הסתמכות על מודלים שמייצרים שגיאות עובדתיות או תכנים מטעים. מודל שיטעה במספר חשבון בנק או יספק סעיף משפטי לא קיים – עלול לגרום נזק כבד.
היזמים דווקא רואים את שני צידי המטבע: סטארטאפים כמו Workera משלבים את המודלים החדשים לצורכי אוטומציה, קידוד ואימון עובדים. אך גם שם מזהים תופעות של קישורים שגויים, נתונים חלקיים ולעיתים מידע מופרך שמועבר בביטחון גמור למשתמש.
אחת התקוות לשיפור הדיוק היא שילוב גישה לאינטרנט בזמן אמת. לדוגמה, GPT-4o – הגרסה המצוידת בגישה לרשת – מצליחה להשיג 90% דיוק במבחן SimpleQA. מנגד, יש חסרונות ברורים: גישה כזו מחייבת חשיפת תוכן המשתמש לגורמי צד שלישי, פוגעת בפרטיות, ולעיתים מכניסה מידע לא רלוונטי.
OpenAI מודה בכך שהבעיה רחוקה מפתרון. הדו"ח מציין ש"נדרש מחקר נוסף כדי להבין מדוע ככל שמודלי ההסקה משתפרים – כך מתגברות ההזיות." החברה מדגישה שהמאמצים לצמצם את התופעה הם חלק מרכזי מהעבודה המחקרית, אך לא מספקת עדיין פתרונות פרקטיים מלאים.
