גוגל השיקה בשבוע שעבר את Google AI Edge Gallery – אפליקציה ניסיונית המאפשרת להריץ מודלים של בינה מלאכותית על מכשירי טלפון, מבלי להסתמך על הענן. האפליקציה זמינה להורדה דרך GitHub למכשירי אנדרואיד, וצפויה להגיע בקרוב גם ל-iOS.
בעוד שהמהלך בוצע בפרופיל נמוך, מדובר בצעד אסטרטגי שמשקף שינוי בתפיסת הפעלת בינה מלאכותית – ממודלים מרוכזים בענן, למודלים מקומיים (on-device) שמבצעים עיבוד ישיר על גבי מכשירים אישיים.
המערכת של גוגל בנויה על תשתית פלטפורמת Hugging Face – ומאפשרת למשתמשים להוריד ולהריץ מודלים מגוונים כמו Gemma 3n. היא כוללת ממשק שמאפשר לבחור משימות מוכנות מראש כמו זיהוי תמונות, שיחות טקסט ויצירת תוכן, וגם "מעבדת פרומפטים" לביצוע פעולות טקסט מהירות. כל אלה פועלים ללא צורך בחיבור לאינטרנט – תכונה שמעצימה את רמת הפרטיות והשליטה של המשתמש.
החשש מהעברת נתונים רגישים לענן, לצד התחזקות רגולציות מקומיות בתחום הגנת הפרטיות, מובילים ממשלות, ארגונים וצרכנים פרטיים להעדיף פתרונות טכנולוגיים שמאפשרים עיבוד מידע באופן מקומי. מודלים מקומיים עונים על צורך זה בכך שהם מצמצמים חשיפה לסיכוני דליפה ומאפשרים שליטה מלאה בנתונים – יתרון קריטי בתחומים כמו ביטחון, בריאות ופיננסים, שבהם נדרשת עמידה בתקנות מחייבות ואכיפה מחמירה.
עם זאת, המעבר להרצת מודלים על המכשיר טומן בחובו אתגרי ביצועים ואנרגיה. מכשירים ניידים אינם מותאמים לעיבוד ארוך ומורכב כמו מרכזי שרתים, והפעלת מודלים בינוניים או גדולים עלולה להאט את המערכת או לרוקן סוללה במהירות. מסיבה זו, גוגל מציינת שהביצועים משתנים – תוצאה של שילוב בין גודל המודל, עוצמת המעבד והמגבלות של מערכת ההפעלה.
במהלך שעלול להעיד על כוונותיה העתידיות, גוגל בחרה ברישיון פתוח (Apache 2.0) שמאפשר גם שימושים מסחריים – מהלך שנועד לעודד קהילות מפתחים להשתלב בפלטפורמה ולבנות עליה מוצרים או הרחבות. בכך היא מציבה אלטרנטיבה פתוחה למודלים סגורים יותר כמו ChatGPT של OpenAI, ומשדרת מסר של שיתוף פעולה ואימוץ תקני קוד פתוח.
בשנים האחרונות שילבה אפל שבבי NPU במכשירי iPhone ובמקבילים מבוססי M1 ומעלה, עם מערכות הפעלה שתומכות בהרצת מודלים של שפה ותמונה. סמסונג וקוואלקום הודיעו אף הן על הרחבת התמיכה בהפעלת מודלים באופן מקומי, כחלק ממערך הבינה של Android 14.
במבט קדימה, מהלך זה עשוי לשנות את הדרך שבה מפתחים ניגשים ליצירת אפליקציות. במקום לחבר כל פעולה לשירותי API מרוחקים, ניתן יהיה לשלב מודלים ישירות בקוד האפליקציה. הדבר עשוי להביא לגל חדש של אפליקציות חכמות, עצמאיות ומהירות – לצד צמצום בתלות במודל העסקי מבוסס הענן של גוגל עצמה וענקיות אחרות כמו אמזון ומיקרוסופט.
