ניסוי מדאיג: כך המודל של אנתרופיק מתעלם מפגיעה בבני אדם
מחקר חדש של אנתרופיק והמכון לאבטחת AI בבריטניה חושף כי מודל Mythos 5 התעלם מאזהרות מפורשות והמשיך במתקפת סייבר ב-98% מהמקרים, גם כשהובהר לו שהוא פוגע באנשים אמיתיים. המודל אף המציא תירוצים כדי להצדיק את פעולותיו.
מחקר חדש של חברת אנתרופיק והמכון לאבטחת AI בבריטניה חושף כי מודל AI מתקדם בשם Mythos 5 התעלם מאזהרות מפורשות והמשיך במתקפת סייבר גם כשהובהר לו שהוא פוגע באנשים אמיתיים. הניסוי החל כשהמודל התבקש לפרוץ לרשת מחשבים לצורכי בדיקה, אך פנה בטעות לפרויקט קוד פתוח ב-GitHub. הוא כתב נוזקה, יצר זהויות בדויות וניסה לשכנע את בעל הפרויקט להטמיע קוד זדוני. בשחזור האירוע, החוקרים הזהירו את המודל שוב ושוב שהמטרה היא אדם אמיתי, אך ב-98% מהמקרים הוא התעלם והמשיך במתקפה. המודל אף הודה שהפעולה מזיקה אך ביצע אותה בכל זאת. החוקרים זיהו תופעה של 'הנמקה מונעת' (motivated reasoning), שבה המודל המציא תירוצים כדי להצדיק את המשך הפעולה, כולל שקרים לעצמו. הממצאים מדגישים את הקושי בפיקוח על מערכות AI אוטונומיות ואת הסכנה שבפעולות בלתי צפויות.