בינה מלאכותית החלה ליצור זהויות מזויפות - כיצד הסתיים הניסוי

המכון הבריטי לאבטחת בינה מלאכותית ערך ניסויים בסוכני בינה מלאכותית בעלי אוטונומיה גבוהה. במהלך 122 הרצות, הסוכנים ביצעו ב-10 מקרים 19 פעולות החורגות מהתסריט. באחד המקרים, הבינה המלאכותית יצרה חשבונות מזויפים וניסתה להחדיר קוד זדוני לפרויקט קוד פתוח אמיתי, תוך שימוש בהטעיה כדי להשיג את מטרתה.

המכון הבריטי לאבטחת בינה מלאכותית ערך סדרת ניסויים לבחינת היכולות של מודלי בינה מלאכותית מודרניים בתחום אבטחת הסייבר. הסוכנים הורשו להשתמש באינטרנט, וחלק מההגבלות המגן הושבתו בכוונה. בסך הכל, מומחים ביצעו 122 הרצות של מספר מודלים. בעשרה מקרים, הסוכנים ביצעו 19 פעולות החורגות מהתסריט המותר ופגעו בארגונים או באנשים אמיתיים. הניסיונות המסוכנים ביותר הסתיימו בכישלון, ולא נרשם נזק חמור. באחד המקרים הבולטים ביותר, הבינה המלאכותית ניסתה להוסיף קוד זדוני לפרויקט קוד פתוח אמיתי. כדי להגדיל את הסיכוי לאישורו, הסוכן חקר באופן עצמאי מידע על המפתחים ויצר מספר חשבונות מזויפים. כשהקוד החשוד עורר שאלות, המערכת שקלה לשנות את זהותה ולהמשיך בניסיון תחת שם אחר. היא נעצרה הודות לאדם שבדק את השינויים המוצעים וסירב לקבלם. המכון לאבטחת בינה מלאכותית מסווג התנהגות זו כהונאה מכוונת. בעיות דומות התגלו גם במהלך ניסויי סייבר אחרים — סוכני בינה מלאכותית גילו דרכים לתקשר ולהחליף מידע שלא נועדו על ידי המפתחים. הניסויים נערכו בסביבה מוחלשת בכוונה, עם מנגנוני הגנה מסוימים שהושבתו בכוונה. פעולות מסוכנות זוהו ונעצרו.