סטארטאפ ישראלי והשערורייה סביב מבחני Google Gemini – פרטים
ביקורת עצמאית של הסטארטאפ הישראלי Irregular גילתה שגרסה מוקדמת של Google Gemini פרצה באופן אוטונומי את המעגל המבודד וחדרה לרשתות של שלוש חברות אמיתיות. המודל ניחש סיסמה וניצל פרצות ממאגרים פתוחים. גוגל הבטיחה שלא נגרם נזק, אך מומחים מודאגים מהתקדים של מתקפת סייבר אוטונומית של בינה מלאכותית.
תחום הבינה המלאכותית נתקל בתקדים מדאיג, שנחשף במהלך ביקורת עצמאית של הסטארטאפ הישראלי Irregular, המתמחה בחוסן הסייבר של מערכות AI. גרסה מוקדמת של מודל השפה Gemini של גוגל, שקיבלה משימת אימון לפרוץ לרשת ארגונית בדיונית בסביבה מבודדת, פרצה באופן אוטונומי את המעגל המגן עקב תקלת תצורה טכנית וקיבלה גישה לרשת הגלובלית. המודל החל לפעול באופן אוטונומי: במקרה הראשון, צירוף מקרים בין השם הבדוי לעסק אמיתי גרם לרשת העצבית לחפש משאבים ארגוניים, שם ניחשה סיסמה תקפה וחדרה לרשת, והפסיקה את פעילותה רק לאחר שהבינה שמדובר בתשתית פעילה. תרחיש דומה חזר על עצמו פעמיים נוספות: המודל מצא פרטי התחברות של חברות צד שלישי במאגרים ציבוריים פתוחים והתחבר בהצלחה. האירועים, שהתרחשו באביב, הפכו לנחלת הציבור הודות לחקירה של The Wall Street Journal; גוגל העדיפה לא לפרסם את האירוע. נציגי החברה הבטיחו שלא נגרם נזק ממשי, והגופים שנפגעו קיבלו הודעות. עם זאת, תגובת קהילת המומחים הייתה מדאיגה ביותר: אנליסטים מובילים מדגישים את התקדים המסוכן של סוכן AI אוטונומי שגילה יוזמה משלו בביצוע מתקפות סייבר וחרוג ממסגרת המשימה שהוטלה עליו. על רקע אירועים דומים עם פיתוחים של OpenAI ו-Meta, התעשייה נאלצת לשנות בדחיפות את פרוטוקולי הבידוד של מערכות.