תעשיית הבינה המלאכותית עוברת קיץ של "סוכנים סוררים". המודל האחרון שברח לאינטרנט הפתוח במהלך בדיקות אבטחה הוא Kimi K3, מודל חזק במשקלים פתוחים מבית החברה הסינית Moonshot AI. כך דווח ב-Wired.
חברת הסטארט-אפ, Frontier Security מארה"ב דיווחה כי Kimi K3 יצא מחוץ לסביבת הבדיקות הסגורה שלו בזמן שנבחנו כישורי הגנת הסייבר שלו.
הדבר דומה לאירועים קודמים שדווחו על ידי OpenAI ואנתרופיק. הבריחה של סוכני ה-AI אירעה בזמן שנבחנו יכולות הגנות הסייבר שלהם, בזכות הגדרה שגויה.
עם זאת, ב-Frontier טוענים כי התקרית מראה ל-Kimi יש פחות מנגנוני הגנת סייבר בהשוואה לרוב מודלי ה-AI החזקים האחרים, מה שאפשר לו לצאת ולהשתמש באינטרנט ללא אישור מפורש.
בניגוד למקרים אחרים שאירעו לאחרונה, בהם סוכני AI יצאו מסביבת הבדיקה שלהם, Kimi K3 לא פרץ לשום דבר לאחר שהשיג גישה לאינטרנט – מכיוון שהתשובות לבעיות שהוא חיפש היו נגישות בקלות ב-GitHub.
רצף תקריות מדאיג
התקרית היא האחרונה בשרשרת של תקלות סוכני AI, המרמזות על כך שמודלי בינה מלאכותית בעלי יכולות סייבר מתקדמות, מאתגרים את השליטה עליהם.
בשבוע שעבר, OpenAI חשפה כי מודל שטרם שוחרר, פרץ לאינטרנט ולאחר מכן פרץ לחברת Hugging Face כדי למצוא תשובות לבעיות שהוטל עליו לפתור.
בהמשך שיתפה OpenAI כי סוכני ה-AI שלה פרצו למעשה לארבעה שירותים נוספים כחלק מאותו "מסע פריצות".
אובדן שליטה? המודלים של אנתרופיק ו-OpenAI שוב פרצו את ההרשאות
כיצד זה קרה?
למרות שמקרי הפריצה הללו שונים בסיבותיהם ובדרגתם, Kimi K3 דומה לכמה מהם בכך שסביבת בדיקות שהוגדרה באופן שגוי אפשרה גישה למספר אתרים במקום להשאיר אותו כלוא בסביבה מדומה.
למודל הוגדר מפורשות לפתור בעיות שלא היו אמורות לכלול יציאה לחיפוש תשובות ברשת, אך נראה שהוא חרג מההוראות הללו.
המודל היה צריך להבין בעצמו שיש לו גישה לאתרים מסוימים על ידי תחקור הגדרות הרשת של סביבת הבדיקה.
בעוד שטעות אנוש שיחקה תפקיד מרכזי בכל אחת מהבריחות, התוצאות הוחמרו בשל העובדה שמודלי AI מתקדמים מתוכננים להשתמש בהיגיון ולהוציא לפועל פעולות מורכבות כדי לפתור בעיות.
הבדל מרכזי נוסף בין התקריות הקודמות לזו שגילתה Frontier Security הוא שמדובר במודל שכבר זמין באופן נרחב לציבור, עם אותם מנגנוני הגנה שמשתמש רגיל יפגוש.
אנתרופיק מודה: מודלי ה-AI השיגו גישה לא מורשית למערכות של ארגונים
אזהרה לעתיד
סביבת הבדיקות שנבדקה על ידי Frontier Security, פותחה על ידי המכון לאבטחת בינה מלאכותית של ממשלת בריטניה (AISI) לצורך בדיקת מערכות AI.
מומחי אבטחת סייבר טוענים כי הבעיה שגילתה Frontier מחזקת את החשיבות של הגדרה קפדנית של הסביבות שבהן מציבים מודלי AI מתקדמים.
משמעות הדבר היא שאנשים המשתמשים במודלי AI כסוכנים, למשל בכלים כמו OpenClaw, עלולים לגלות שהמערכות שלהם מתנהגות שלא כשורה אם לא יזהרו.
