Meta השיקה את סדרת Llama 4 הכוללת שלושה מודלי שפה חדשים: Scout, Maverick ו-Behemoth. מדובר בדור הרביעי של משפחת Llama, המבוססת על עקרונות של קוד פתוח חלקי וייעוד למגוון רחב של משימות טקסטואליות ומולטימודליות. הדגמים פותחו באמצעות גישת Mixture of Experts, שבה רק חלק מהפרמטרים של המודל מופעלים בכל הפעלה, תוך שמירה על יכולות ביצוע גבוהות והפחתת דרישות החישוב.
Llama 4 Scout מכיל סך של 109 מיליארד פרמטרים, מהם 17 מיליארד פרמטרים פעילים בכל הפעלה. המודל פועל עם 16 מומחים ("experts") במערך פנימי שמאפשר התאמה לסוגי קלט שונים. Scout מיועד למשימות הכוללות הבנה של מסמכים ארוכים, סיכום טקסטים וניתוח קוד בקנה מידה רחב. הוא תומך בחלון הקשר (context window) של 10 מיליון טוקנים. המודל ניתן להרצה על מעבד גרפי בודד מסוג Nvidia H100.
Llama 4 Maverick כולל 400 מיליארד פרמטרים, עם 128 מומחים מתוכם 17 מיליארד פעילים בכל שאילתה. הוא מיועד למגוון רחב של משימות כלליות ובהן עוזרות אישיות, שיח פתוח, יצירתיות טקסטואלית, קידוד והבנה מרובת שפות. לצורך תפעולו נדרש מערך חישוב מתקדם כגון Nvidia DGX H100.
Llama 4 Behemoth טרם הושק בפועל ונמצא בשלבי אימון מתקדמים. הוא מוגדר על ידי Meta כמודל בעל כמעט שני טריליון פרמטרים (1.9T), מהם 288 מיליארד פרמטרים פעילים. המודל כולל 16 מומחים, ויועד לתמוך בביצועים מתקדמים בתחומים כמו מתמטיקה, הבנה לוגית, ניתוח חזותי ואינטגרציה מולטימודלית רחבה.
Meta הודיעה כי מודלי Scout ו-Maverick זמינים לציבור דרך פלטפורמות כגון Llama.com ו-Hugging Face, בכפוף לתנאי רישוי. תנאים אלה קובעים כי אין להשתמש או להפיץ את המודלים אם מקום העיסוק או הרישום של המשתמש הוא בתחומי האיחוד האירופי. בנוסף, חברות שלהן מעל 700 מיליון משתמשים חודשיים נדרשות לפנות ל-Meta לקבלת רישיון מיוחד לשימוש – רישיון ש-Meta שומרת לעצמה את הזכות להעניק או לדחות לפי שיקול דעתה הבלעדי.
כלל המודלים אומנו על כמויות גדולות של טקסט, תמונה ווידאו לא מתויגים. Meta ציינה כי מדובר באימון עצמאי שאינו תלוי במקורות מסחריים מסוימים. מדובר במודלים שתומכים בעיבוד טקסט ותמונה בצורה מולטימודלית, תוך שילוב בין פורמטים שונים של תוכן קלט.
Meta שילבה את Llama 4 בעוזר החכם Meta AI, הפועל בשירותי החברה השונים. נכון לאפריל 2025, העוזר המשודרג פועל ב-40 מדינות, ובכלל זה באפליקציות WhatsApp, Instagram ו-Messenger. התמיכה ביכולות המולטימודליות של Llama 4 מוגבלת בשלב זה לשפה האנגלית ולמשתמשים בארצות הברית בלבד.
Meta ציינה כי מדובר בסדרת המודלים הראשונה של החברה המשתמשת ב-MoE בארכיטקטורה מלאה, מתוך כוונה להרחיב את השימוש בשיטה זו גם לדגמים עתידיים. הארכיטקטורה מאפשרת הפעלת תתי-מודלים ייעודיים בהתאם לשאילתות שונות, תוך הפחתת העומס החישובי ושיפור זמן המענה.
מבחינת תוצאות פנימיות, Meta דיווחה כי Maverick עקף את GPT-4o של OpenAI ואת Gemini 2.0 של Google במבחנים של קידוד, הבנה מרובת שפות וניתוח חזותי. עם זאת, לפי נתוני Meta, Maverick טרם הגיע לביצועי השיא של מודלים מתקדמים יותר כמו GPT-4.5 או Gemini 2.5 Pro. מודל Behemoth, לפי החברה, הראה יתרון במדדי STEM לעומת GPT-4.5 ו-Claude 3.7 Sonnet.
לפי מקורות בענף, Meta דחתה את ההשקה מספר חודשים לאחר שהמודלים לא עמדו ביעדים טכנולוגיים מסוימים, בעיקר בתחומי חשיבה מתמטית, יכולת רזונינג והבנת שיח קולי מדויק. השקתה בפועל התבצעה באפריל 2025.
Meta מתכננת להשקיע במהלך השנה עד 65 מיליארד דולר בתשתיות AI, כולל מערכות מחשוב ייעודיות, מרכזי נתונים, פיתוח שבבים וכלים לניהול מודלים בקנה מידה רחב.
Llama 4 אינו מוגדר כמודל reasoning, ולכן אינו מבצע אימות או ניתוח עומק של עובדות בזמן אמת. הדגמים מכוונים לתת מענה למגוון רחב של שאילתות תוך שמירה על גמישות בתגובה, ולטענת Meta, הותאמו לתת מענה לשאלות פוליטיות, תרבותיות וחברתיות שנחשבו בעבר כ"רגישות" או "שנויות במחלוקת", במטרה להרחיב את טווח השיח שהמודלים מסוגלים לתמוך בו.
Meta הגדירה את סדרת Llama 4 כתחילתו של שלב חדש בפיתוח מודלים פתוחים בקנה מידה גבוה, וציינה כי מדובר בבסיס לסדרה עתידית של דגמים שיפותחו בהתאם לדרישות שוק נוספות ולתמיכה ביכולות נוספות של בינה מולטימודלית.
