חברת OpenAI פרסמה שורת הצעות להגברת הבטיחות והאבטחה בפיתוח מערכות בינה מלאכותית מתקדמות, תוך התמקדות במחקר ליישור מערכות אלו עם ערכים אנושיים. החברה קוראת לשיתוף פעולה בינלאומי לפיתוח סטנדרטים אחידים למערכות מתקדמות, תוך הסתמכות על עבודתם של מכוני בטיחות קיימים ברחבי העולם.
לדברי החברה, הסטנדרטים צריכים להתמקד במודלים מתקדמים ובחברות המפתחות אותם, וכן בניהול הסיכונים והתועלות של מערכות מחקר אוטומטיות. דגש מיוחד מושם על טכנולוגיה המכונה "שיפור עצמי רקורסיבי", תהליך שבו מערכות בינה מלאכותית עשויות לשפר את עצמן ללא מעורבות אנושית ישירה, דבר המעורר חששות כבדים בתעשייה.
החשש: אובדן שליטה אנושית
ההתקדמות בתחום השיפור העצמי הרקורסיבי מעוררת חששות בקרב חלק מהחוקרים ואנשי התעשייה, בעיקר בשל המורכבות של המערכות שעלולה להקשות על בני אדם לשמור על שליטה ופיקוח. ב-OpenAI מזהירים כי פיתוח הטכנולוגיה ללא אמצעי זהירות מתאימים עלול להביא למצב שבו בני אדם יאבדו שליטה מעשית על תהליך הפיתוח.
במצב כזה, בני האדם לא יוכלו עוד לפקח על תהליכי מחקר שהם עצמם אינם מבינים במלואם. בחברה מדגישים כי שיפור עצמי רקורסיבי אוטונומי לחלוטין אינו מתרחש כיום, ואין לשאוף אליו עד שניתן יהיה לבצעו בבטחה. כדוגמה לסיכונים, OpenAI הזכירה את הפריצה לסוכן הבינה המלאכותית של Hugging Face.
הקריאה להאט את הפיתוח
ההצעה של OpenAI מגיעה ימים ספורים לאחר שחברת אנתרופיק פרסמה רעיונות משלה להגברת הבטיחות. המהלך מתרחש על רקע אזהרות בנוגע לסיכונים אפשריים כמו שימוש בבינה מלאכותית למתקפות סייבר מתקדמות או לפיתוח נשק ביולוגי. מנכ"ל אנתרופיק, דריו אמודיי, קרא להאט את קצב הפיתוח של מודלי הבסיס ולשלב גורמי הערכה חיצוניים.
מנכ"ל OpenAI סם אלטמן ומנכ"ל טסלה ו-SpaceX אילון מאסק הביעו תמיכה ברעיון של הערכות בטיחות חיצוניות. עם זאת, תחום זה נמצא בשלבים מוקדמים ואין כיום הסכמה רחבה על סטנדרטים אחידים. קואליציה של גופי הערכה קוראת לחברות המפתחות מודלי בסיס לאמץ תנאי מינימום שיאפשרו לבצע ביקורות בטיחות מעמיקות יותר.
בין היתר, מדובר בדרישה לגישה רחבה יותר למערכות ובמנגנונים שיגנו על גורמי הערכה מפני צעדים נגד מי שיפרסמו ממצאים ביקורתיים. OpenAI הדגישה כי הפריצה לסוכן הבינה המלאכותית של Hugging Face, אף שלא כללה שימוש בשיפור עצמי רקורסיבי, מהווה דוגמה לסוג הסיכונים שעלולים להפוך לחמורים יותר בעתיד.
