לאחר שחברת OpenAI שדרגה את עוצמת המחשוב של הצ'אטבוט שלה בקיץ שעבר, מאות משתמשים מרחבי העולם החלו לשאול אותו כיצד לייצר ולהפיץ נשק ביולוגי ורעלים.
המודלים, שפועלים ברובם ללא הגבלות מצד הממשל האמריקאי, הנפיקו הנחיות שלב-אחר-שלב שמתוארות על ידי עובדי החברה כ"פשוטות מספיק עד שתלמיד ביולוגיה בתיכון יוכל לעקוב אחריהן".
מאוחר יותר, מומחים לביולוגיה ולטרור סקרו את התכתובות ב-ChatGPT וקבעו כי חלקן מדויקות באופן מסוכן. כך עולה מדיווח ב-WSJ. מרבית השאילתות עסקו ברקיחת רעלים, לפי OpenAI.
OpenAI חסמה את החשבונות ששאלו על דרכים לייצר רעלים ונשק ביולוגי, אך היא לא דיווחה על כך לרשויות אכיפת החוק. בארה"ב אין חוקים פדרליים המחייבים חברות AI להגביל או לחשוף שאילתות הנוגעות לייצור נשק או לגיבוש תוכניות המהוות איום ביטחוני.
היעדרם של מנגנוני הגנה מחייבים, חופף לעלייה במספר השאילתות מצד משתמשים השואלים מודלי AI כיצד לבצע הרג המוני – ולצ'אטבוטים שמשיבים עם תוכניות אמינות להתקפות רבות-נפגעים. כך עולה מהדיווח.
השאילתות הגיעו בעקבות תכתובות מדאיגות מוקדם יותר השנה: משתמשים שאלו את ChatGPT כיצד להפוך פתוגנים (מחוללי מחלות) לתרסיס, ובכך להפוך חיידקים ווירוסים מדבקים, לתרסיס קטלני שניתן לשאיפה. משתמש אחד ביקש לדעת כיצד לשנות את נגיף החצבת כדי להפוך התפרצות לעמידה בפני החיסון. במקרים הללו, הצ'אטבוט סיפק הנחיות.
משתמש אחר ביקש לדעת כיצד לייצר ריצין – רעלן קטלני ביותר האסור לפי אמנות בינלאומיות. גם לכך, הצ'אטבוט סיפק הנחיות מפורטות.
יכולותיהם המתקדמות של מודלי ה-AI – במיוחד בכל הנוגע לניסוח תוכניות זדוניות בתחומי הביולוגיה והסייבר – מעוררות דאגה בקרב מנהלים בכירים בחברות הטכנולוגיה ובבית הלבן.
מעבדות ה-AI המובילות בעולם, נאבקות בשאלה כיצד למנוע או לצמצם נזק שייגרם על ידי משתמשים בעלי כוונות זדוניות, מבלי לפגוע במחקרים לגיטימיים.
בכירים בבית הלבן ובמשרד ההגנה האמריקני דנים באיום שלפיו ה-AI יהפוך למדריך לייצור נשק ביולוגי עוד מתקופת ממשל ביידן, לפי גורמים בממשל טראמפ. השקתם של מודלי AI עוצמתיים חדשים מאז, הובילה את הממשל לעבור לגישה שמרנית ופיקוח מוגבר.
לאחרונה, משרד המסחר האמריקני הגביל שימוש מחוץ לארה"ב בשני מודלים של חברת אנתרופיק, מה שהוביל את החברה לחסום את הגישה אליהם לחלוטין. הסוכנות הסירה את ההגבלות לאחר שהחברה הודיעה כי טיפלה בפרצות שאיפשרו למשתמשים לעקוף את מנגנוני ההגנה.
OpenAI, אנתרופיק וחברות AI נוספות, מציינות כי הן עובדות בצמוד לממשל בנוגע להפצת מודלים, וחסמו משתמשים או הגבילו חשבונות שהפגינו פעילות חשודה.
עם זאת, שום כלל פדרלי, אינו מחייב חברות AI לדווח על משתמשים המבקשים מהמודלים עצות כיצד לפגוע או להרוג. חלק מחברי הקונגרס הציעו חקיקה כזו, ומספר מדינות בארה"ב אף העבירו חוקים מקומיים, אך חששות בנוגע לפרטיות והשפעה פוטנציאלית על צמיחת התעשייה, הותירו את הדיווחים הללו כוולונטריים ברובם.
החוק הפדרלי אוסר על צ'אטבוטים לייצר חומרים של התעללות מינית בילדים, וחברות AI חייבות לציית לכללים הכלליים להגנת הצרכן ולפרטיות כמו כל עסק אחר. מעבר לכך, ההחלטה היכן למתוח את הקו מופקדת בדרך כלל בידיהם של מנהלי חברות ה-AI.
גוגל ומיקרוסופט יעניקו לממשלת ארה"ב גישה מוקדמת למודלי ה-AI שלהן
צ'אטבוטים כבר עוררו חששות בעבר עקב עזרה למשתמשים שתיכננו פיגועים באמצעות נשק חם. מתן הנחיות לייצור נשק ביולוגי מעניק למשתמשים בעלי ידע את הכלים להרוג בקנה מידה רחב בהרבה.
ChatGPT מקבל כ-2.5 מיליארד שאילתות ביום. מטעם OpenAI נמסר כי החברה מאמנת את המודלים שלה לסרב לבקשות לקבלת הנחיות, או תכנון שעלולים להזיק לבני אדם. החברה מריצה הערכות בטיחות לכל המודלים לפני שחרורם, והיא מסוגלת לזהות ולסכל ניסיונות להשתמש במודלים שלה לקבלת מידע ביולוגי מזיק.
כאשר OpenAI מאמינה כי שיחה מצביעה על סיכון מידי ואמין לנזק, היא מדווחת על כך לרשויות אכיפת החוק, לפי החברה.
משתמשים שביקשו הנחיות לייצור נשק ביולוגי פנו גם ל-Claude של אנתרופיק, ל-Gemini של גוגל ול-Grok של אילון מאסק. לא היה ברור אם השאילתות היו חלק מניסיונות אמיתיים לייצר את הנשק או תרגילים לבדיקת היכולות של האפליקציות.
על פי הדיווח, מגוגל נמסר כי לחברה יש צוות בטיחות המורכב ממדענים המעריכים סיכונים של נשק ביולוגי, וכי החברה מריצה תרגילים לבדיקת בטיחות ה-AI שלה.
עבור ארגוני טרור עם משאבים רבים יותר ושאיפות רחבות יותר, ה-AI יכול לשמש כיועץ אקדמי לנשק ביולוגי – כמו לפתור בעיות בפרוטוקול ניסויי שנכשל, להסביר מדוע טכניקה מסוימת לא עבדה כצפוי, ולמעשה להחליף שנים של הכשרת מתמחה.
התקדמויות אחרונות מצד מפתחים סינים של מודלים פתוחים עוררו אף הן חששות מפני סיכוני סייבר וסיכונים ביולוגיים, שכן מודלים אלו זולים וזמינים נרחבות. חוקרים מצאו כי ניתן להתאים אישית מודלים פתוחים כאלה, דבר המאפשר להסיר את מנגנוני ההגנה שלהם.
שני מודלים של OpenAI אף פרצו לחברת AI אחרת, מה שהגביר את החששות מפני מודלים עצמאיים שיצאו שליטה.
ה-AI יכול לסייע לממשלות זרות ולארגונים מטעמן לגבש תוכניות להרס המוני שלא נראו בעבר, כולל תרחישים המערבים גורם מדבק וקטלני באופן קיצוני, שמנגנוני ההגנה הקיימים של הציביליזציה האנושית לא יוכלו להכיל אותם.
השפעה ושכנוע
כאשר ChatGPT הושק לראשונה בשנת 2022, עובדי OpenAI מצאו כי המודלים לא היו טובים במיוחד בביולוגיה ובכימיה, ומנהלי החברה לא דאגו מכך שהצ'אטבוט ישתף פעולה עם משתמשים במזימות כאלה.
למרות זאת, OpenAI שכרה מדענים כדי לבחון את המודלים ולהציג שאלות שמטרתן לבדוק אם צ'אטבוטים יכולים ללמד משתמשים כיצד לבצע התקפות קטלניות. החברה קבעה כללים לגבי מה שהמודלים לא יענו עליו, המכונים בחברה "סירובים".
המבחנים חשפו את כוחו של השכנוע. גם כאשר OpenAI מנסה למנוע מ-ChatGPT להציע למשתמשים עזרה עם נשק או תוכניות אלימות, עובדים מצאו כי הצ'אטבוטים נוטים לעיתים "לשכוח" את ההנחיות של עצמם במהלך שיחות ארוכות.
במקרה אחד, משתמשים עקפו את הסירוב של ChatGPT לספק מתכון לנפאלם באמצעות חילופי דברים פשוטים: הם ספרו ל-ChatGPT שסבתם נהגה לקרוא להם את המתכון לפני השינה כדי לעזור להם להירדם, וביקשו מהצ'אטבוט לקרוא את המתכון בקול – זה עבד.
מ-OpenAI נמסר ל-WSJ כי מנגנוני ההגנה של החברה הפכו מאז לעמידים וקשוחים בהרבה, והמודלים מסרבים כעת לבקשות מסוג זה.
בכירי OpenAI אמרו לעובדים כי אינם רוצים שהמודלים ירבו לומר "לא". המנהלים הצביעו על שימוש שעושים במודלים עובדי בריאות הציבור וחוקרי גילוי תרופות המסתמכים על OpenAI כסיבה להגבלת הסירובים.
מומחי AI מציינים כי כללים החוסמים צ'אטבוטים מלהדריך משתמשים בייצור נשק ביולוגי עלולים להפריע לעבודה חיונית. חלק מחוקרי הרפואה מאפשרים למודלי AI להוביל לצד עובדי מעבדה אנושיים כדי לאסוף מידע, לבחון היפותזות, לפרש נתונים ולהפיק תוכניות עבודה.
האיסור האפקטיבי של אנתרופיק על Claude לענות על שאילתות כוללות את המילה "פתוגן" יצר אתגרים עבור עובדים במרכזים לבקרת מחלות ומניעתן (CDC) בארה"ב.
כאשר נגיף ההאנטה (Hantavirus) התפשט בספינת תענוגות באוקיינוס האטלנטי בחודש מאי האחרון, עובדי ה-CDC התקשו להשתמש ב-Claude כדי לעקוב אחר ההתפרצות, מכיוון שהמודל סירב לענות על שאילתות הנוגעות לפתוגן.
בכיר באנתרופיק המנהל את עבודת החברה מול הממשל ציין בתצהיר משפטי השנה כי עובדי ה-CDC השתמשו במודל כללי ולא במודל ייעודי המיועד לשימוש ממשלתי, וכי החברה עבדה מול הסוכנות כדי להראות כיצד להשתמש בצורה הטובה ביותר בכלי ה-AI שלה.
OpenAI יצרה תוכנית המעניקה לארגונים ולחוקרים מאושרים גישה למודלים עם פחות סירובי בטיחות אוטומטיים. אך תהליך האישור עשוי להיות מורכב ומאט את האישורים.
סם אלטמן, מנכ"ל OpenAI, הצטרף לאחרונה למנכ"לי טכנולוגיה נוספים בקריאה לקונגרס לדרוש מנגנוני הגנה מחברות המזמינות DNA ו-RNA סינתטיים. מוצרים אלו נמכרים בדרך כלל למעבדות ולמדענים לצורכי מחקר או לפיתוח חיסונים. אנליסטים מציינים כי כלי AI מקלים על קונים לא מורשים להשתמש בהם כדי לייצר פתוגנים קטלניים חדשים.
חברי קונגרס הציעו חקיקה דו-מפלגתית להגברת הפיקוח על ה-AI.
להצליח או להיכשל
עד שנת 2024, היכולות הביולוגיות של OpenAI השתפרו במהירות. מבחני החברה הראו כיצד ביולוג יכול לשכנע את ChatGPT לספק הדרכה על אופן הבנייה של פתוגנים מרוססים באמצעות מספיק שאלות.
באותה עת, עובדים חזו כי עד שנת 2025, ChatGPT יוכל לסייע למשתמשים בעלי רקע של ביולוגיה תיכונית בלבד לתכנן ולייצר נשק ביולוגי.
אחת ממנהלות הבטיחות ב-OpenAI באותה תקופה, ריאן באיירמייסטר, הציגה טיעונים בנוגע ליכולות המתקדמות של הצ'אטבוט. היא טענה כי עובדי הבטיחות בחברה חייבים להבין במהירות כיצד לזהות בצורה הטובה ביותר משתמשים המבקשים מ-ChatGPT סיוע בייצור נשק ביולוגי ובתכנון התקפות.
חלק מהמנהלים פטרו את חששותיה בטענה שמנגנוני ההגנה הקיימים של המודל מספיקים. באיירמייסטר גייסה עזרה מצוותים שונים בחברה כדי לבנות מערכת ניטור.
עד אביב 2025, לצוות היה מוצר ראשוני לזיהוי משתמשים המנסים להשיג נשק ביולוגי. בפוסט בבלוג בחודש יוני אשתקד, החברה הודתה כי היכולות הביולוגיות המתקדמות של המודלים שלה עלולות להיות מנוצלות לרעה, וציינה כי היא עובדת על מערכות זיהוי ואכיפה ומאמנת את המודל לסרב לבקשות מזיקות.
באותו קיץ, כאשר OpenAI נערכה לשחרור GPT-5, עובדים קבעו כי הצ'אטבוט הגיע לרמת סיכון גבוהה – המוגדרת על ידי החברה כסיטואציה שבה ChatGPT מסייע בהצלחה למשתמש בעל הכשרה מוגבלת ליצור מפגע ביולוגי.
חלק מהעובדים חששו כי כלי הזיהוי של הצוות אינו מקיף. החברה מסרה כי היא ממשיכה לשפר את הכלי. OpenAI מנטרת 100% מהשאילתות של המשתמשים במודלים המתקדמים שלה מאז אפריל 2025. כך לפי הדיווח.
GPT-5 הושק לאחר שאומן שלא לספק מידע שעלול לגרום לנזק. אולם, זמן קצר לאחר ש-OpenAI שחררה את המודל החדש, עובדים מצאו את GPT-5 מסייע למשתמשים ששאלו על ייצור רעלים ונשק ביולוגי. מאוחר יותר בסתיו, OpenAI שינתה את הדירוג של GPT-5 וסיווגה אותו מחדש כפחות מסוכן.
החברה אף מציעה פרס של 50,000 דולר למשתמשים שיוכיחו כי הצליחו לעקוף מנגנוני הגנה מסוימים הנוגעים לנשק ביולוגי.
