חוקרים מקבוצת אליבאבא הציגו גישה חדשה לאימון מודלי שפה גדולים (LLMs) המפחיתה את התלות במנועי חיפוש חיצוניים. הטכנולוגיה, הנקראת ZeroSearch, מאפשרת לבצע את שלב איסוף המידע – שלב חיוני באימון מערכות AI – מבלי לשלוח שאילתות למנועים כמו גוגל. במקום זאת, המודל מייצר בעצמו מסמכים המדמים תוצאות חיפוש, ובכך מצמצם את עלויות האימון ומשפר את היכולת לבקר את המידע שבו נעשה שימוש.
בדרך כלל, כאשר מאמנים מודלים שמבוססים על למידה מחוזקת (reinforcement learning), יש צורך לשלוח עשרות אלפי שאילתות למנועי חיפוש כדי להדגים למערכת כיצד למצוא מידע רלוונטי. כל שאילתה כזו מתבצעת דרך שירותי API ייעודיים, כמו SerpAPI, שמתחברים למשל ל-Google Search. העלות המצטברת יכולה להגיע למאות דולרים – לדוגמה, כ-160 דולר עבור 64,000 שאילתות. עבור גופים קטנים, זו הוצאה משמעותית, ולעיתים אף מגבלה תפעולית.
ZeroSearch מציעה דרך לעקוף את הצורך הזה. בשלב ראשון, המודל עובר התאמה מבוקרת (fine-tuning) שמלמדת אותו לייצר תגובות לשאלות – חלק מהן מדויקות וחלק פחות. לאחר מכן, הוא ממשיך בתהליך למידה שבו הוא נחשף בהדרגה למסמכים שמציגים רמות שונות של רלוונטיות. המטרה היא ללמד את המודל כיצד להבחין בין מידע מועיל למידע מטעה או לא מדויק, בדומה למה שהיה קורה אם היה מקבל תוצאות חיפוש אמיתיות. כל התהליך מתבצע בתוך המערכת, ללא גישה לאינטרנט או לשירותים חיצוניים.
החוקרים בדקו את השיטה על פני שבעה מאגרי שאלות-תשובות, בהם Natural Questions ו-HotpotQA. מודל בגודל 7 מיליארד פרמטרים שאומן באמצעות ZeroSearch סיפק תוצאות דומות לאלו שהושגו בשיטות המסורתיות. מודל גדול יותר, בגודל 14 מיליארד פרמטרים, אף השיג ביצועים טובים ואיכותיים יותר בתשובות שסיפק. הביצועים הגבוהים במיוחד נרשמו במאגרי שאלות פתוחות, שבהן נדרשה הבנה מעמיקה והשוואה בין מקורות מידע שונים, דבר שמעיד על יכולת שליפה ועיבוד מידע ברמה גבוהה – גם ללא גישה למנועי חיפוש חיצוניים. מבחינת משאבים, האימון עם ZeroSearch עבור 64,000 שאילתות ארך כשש שעות על ארבעה כרטיסי מסך מסוג A100, ועלותו הייתה כ־19.80 דולר בלבד – חיסכון של כ-88% לעומת עלות השימוש ב-SerpAPI.
יתרון נוסף של ZeroSearch הוא האפשרות לקבוע באופן מדויק אילו מסמכים ישמשו את המודל במהלך האימון. כאשר משתמשים במנועי חיפוש חיצוניים, המידע המתקבל עשוי להשתנות לפי פרמטרים כמו מיקום גיאוגרפי, פרסומות או אלגוריתמים פנימיים של ספק השירות. בשיטה החדשה, התוכן נשלט במלואו על ידי המפתחים, מה שמאפשר יצירת סביבה עקבית ומבוקרת ללמידה.
ZeroSearch תומכת במספר משפחות מודלים נפוצות, כולל Qwen-2.5 ו־LLaMA 3.2, ומתאימה לגרסאות שונות – גם בסיסיות וגם כאלה שמותאמות להוראות (instruction-tuned). הקוד, הנתונים והמודלים זמינים בקוד פתוח דרך GitHub ו־Hugging Face.
