במהלך השבועיים האחרונים, מטא, אנתרופיק ו-OpenAI חשפו כי מודלי הבינה המלאכותית שלהן חרגו מהגדרותיהם במהלך בדיקות אבטחה שגרתיות. בהסברן על התקריות, החברות ציינו את אותו סטארט-אפ ישראלי קטן: Irregular.
החברה, שהוקמה לפני שלוש שנים וממוקמת בתל אביב, היא שחקנית נישתית בתחום הבינה המלאכותית. הערכת שוויה עמדה על 450 מיליון דולר בשנה שעברה. הטכנולוגיה שלה משמשת כמעין סביבת בדיקות סייבר עבור מודלי AI.
ככל שמודלי החזית הופכים לעוצמתיים יותר, יכולתם לפעול באופן זדוני הופכת לאיום מרכזי עבור גופים גדולים, במיוחד כאשר הסיכון כולל פריצה למערכות מחשוב ולתשתיות קריטיות.
אובדן שליטה? המודלים של אנתרופיק ו-OpenAI שוב פרצו את ההרשאות
האירועים האחרונים, הקיפו סיטואציות שבהן מודלי ה-AI ניגשו לאתרי אינטרנט שהיו אמורים להיות מחוץ לתחום כחלק מבדיקות הסייבר.
שמה של Irregular עלה שוב ושוב מכיוון שהיא זוהתה כמי שמארחת את סביבת הערכת הסיכונים. חברת OpenAI ציינה בפוסט בבלוג שלה כי סביבת הבדיקות של Irregular הכילה "הגדרת תצורה שגויה", בלתי מפורטת, אשר "אפשרה למודלים גישה לאינטרנט הציבורי".
חברת אנתרופיק יינה בפוסט שלה שבוע לפני OpenAI, כי הודיעה ל-Irregular מספר ימים לאחר שהחלה לנתח את הנתונים שמודל ה-Claude שלה "אולי ניגש לאינטרנט".
מטא, שמפגרת אחרי השתיים האחרות במאמציה להתחרות בחזית ה-AI, הייתה האחרונה לחשוף כי מודל AI שלה פרץ למערכת של צד שלישי באמצעות גישה לאינטרנט.
דובר מטעם החברה מסר ל-CNBC כי החברה למדה על המקרה מ-Irregular והיא חוקרת את הנושא.
בתגובה, מ-Irregular מסרו ל-CNBC כי כל האירועים נובעים מ"אותה בעיה בסביבת ההערכה" שנחשפה לראשונה על ידי אנתרופיק, וכי החברה שוקדת על נייר עמדה כדי "לחלוק פרקטיקות מומלצות להכלה ולהרצה מאובטחת של הערכות סייבר".
בחברה הבהירו כי הסיטואציה "לא כללה בריחה מ'ארגז החול' או פעולת סייבר מתוחכמת", והוסיפו כי "אין כרגע בעיות פתוחות".
מהי חברת Irregular?
המצב הנוכחי מדגיש את האופי המשתנה במהירות של תחום ה-AI ואת הלחץ המופעל על מפתחי המודלים להציב סייגים סביב הטכנולוגיה העוצמתית שלהם, בעזרת מספר מצומצם של חברות המתמחות בזוויות ספציפיות של השוק.
Irregular, שנקראה בעבר Pattern Labs, הוקמה בשנת 2023 ולפי נתוני PitchBook, בסטארט-אפ מועסקים כ-35 עובדים.
כש-Irregular הודיעה על סבב הגיוס שלה בסך 80 מיליון דולר בספטמבר, שותפי קרן Sequoia, כתבו בפוסט כי הצוות מסוגל " לראות מעבר לפינה במקומות שאחרים אינם יכולים, להריץ הערכות סייבר התקפיות על מודלים מתקדמים ולפתח הגנות עוד לפני שהמודלים משוחררים לציבור".
בעוד שהאירועים האחרונים זוכים לבחינה קפדנית, זווית ראייה אחת של הסיטואציה היא שזה בדיוק מה שאמור לקרות בבדיקות מסוג זה. עם זאת, המודל לא היה אמור לנצל בפועל אתר המחובר לאינטרנט, מפני שמעבדות הפיתוח יכלו לנטר את התעבורה היוצאת ולעצור את הניסוי באופו מיידי. כך עולה מהדיווח ב-CNBC.
הדיון הרגולטורי
הנושא הופך במהירות למוקד דיון מרכזי בוושינגטון. בחודש שעבר, מחוקקים הציגו את "חוק מתג ההשבתה ל-AI", אשר ידרוש ממעבדות AI לשמור על היכולת לכבות, להאט או להשהות את המודלים שלהן.
אחד מיוזמי החוק, אמר ל-CNBC השבוע כי "אנחנו חייבים להביא את הצעת החוק הזו לקו הסיום השנה", במיוחד לאור הדיווחים על "פריצות בלתי מורשות לחברות אחרות".
טרבור קוברקו, מייסד-שותף בסטארט-אפ אימון הנתונים Sapien, ציין כי לחברות הפיתוח יש תמריץ לחשוף חלק מממצאיהן באופן יזום, אף על פי שאין דרישה חוקית כזאת כרגע, כדי להקדים את המחוקקים והרגולטורים.
החברות אנתרופיק ו-OpenAI מסרו כי הן ממשיכות לעבוד עם Irregular בתהליך הברור והפקת הלקחים שמתבצע בעקבות המקרים.
