חברת גוגל משיקה את Gemini 3.5 Transcribe, מודל חדש להמרת דיבור לטקסט, שלדבריה הוא מודל התמלול המדויק ביותר שלה עד כה. המודל נועד לזהות את המילים שנאמרות, להבין את ההקשר, לנקות שגיאות ודיבור לא רציף ולהפיק טקסט מסודר ומוכן לשימוש. המודל זמין כעת למפתחים באמצעות ממשקי פיתוח שונים.
הכלי החדש מוצע למפתחים דרך Gemini API, Google AI Studio ומערכת הסוכנים הארגונית של החברה. הוא מיועד לשימוש בסוכני קול, כלי כתוביות בזמן אמת, ניתוח שיחות ומערכות המבצעות פעולות באמצעות פקודות קוליות. המודל החדש מציג שיפור משמעותי לעומת מודל התמלול הקודם של גוגל, Chirp 3, עם קיצור זמן ההמתנה בכ-70%.
גוגל שוברת שיאים: Gemini חצה את רף מיליארד המשתמשים החודשיים
תמלול בזמן אמת וזיהוי שפות
המודל מוצע בשני ממשקים מרכזיים. הראשון הוא Live API, המאפשר תמלול רציף ודו-כיווני בזמן אמת עם שיהוי של פחות משנייה. הממשק השני מיועד לעיבוד קבצי אודיו שהוקלטו מראש, כמו ישיבות ושיחות טלפון, וכולל זיהוי של עד שלושה דוברים שונים וחיתוכי זמן מדויקים ברמת המילה הבודדת.
הטכנולוגיה מסוגלת לזהות ולתמלל באופן אוטומטי יותר מ-85 שפות, להתמודד עם מבטאים וניבים שונים, ולעבור בין שפות במהלך השיחה. לפי נתוני Artificial Analysis, שיעור השגיאות במילים עומד על 4% בתמלול סטרימינג ועל 2.6% בתמלול שאינו בזמן אמת, עם ביצועים משופרים בסביבות רועשות ובזיהוי פרטים מורכבים.
שילוב במוצרי גוגל השונים
גוגל משלבת את הטכנולוגיה החדשה גם במוצריה השונים. במקלדת Gboard באנדרואיד, תכונה חדשה בשם Rambler מאפשרת לדבר באופן טבעי והמערכת הופכת את הדיבור לטקסט מסודר ללא מילות מילוי. בנוסף, שירות Google Antigravity יכול להשתמש בהקשר המסך ובהיסטוריית הצ'אט כדי לשפר את דיוק הזיהוי של שמות קבצים ופעולות.
בגרסת Gemini למחשבי Mac, המודל משמש לביצוע פקודות קוליות מורכבות כמו סיכום קבצים מקומיים, העברת טקסט בין אפליקציות או יצירת תמונות באמצעות הקול בלבד. בהמשך מתכננת גוגל להביא את יכולות ההכתבה הללו גם לדפדפן Chrome, שם יוכלו המשתמשים להכתיב טקסט ישירות לכל שדה פתוח באתרי האינטרנט השונים.
במבחן FLEURS, הבוחן ביצועי זיהוי דיבור בשפות שונות, הגיע המודל לשיעור שגיאות של 5.50% בתמלול סטרימינג ו-5.04% בתמלול שאינו סטרימינג. בנוסף, גוגל מאפשרת להוסיף אוצר מילים מותאם אישית לזיהוי מונחים מקצועיים ושמות ייחודיים, ומאפשרת להשתמש בתמלול ב-Google AI Studio ליצירת אפליקציות באמצעות פקודות קוליות.
