תרחיש האימים של ה-AI: המודל הסיני סיפק הוראות לנשק קטלני
חוקר אבטחה הצליח לעקוף את מנגנוני ההגנה של מודל הבינה המלאכותית הסיני Kimi של חברת Moonshot AI, ולחלץ ממנו הוראות מפורטות לפיתוח נשק ביולוגי, ייצור גז עצבים, תכנון פיגועים והפלת מטוסי נוסעים. החברה פתחה בחקירה פנימית דחופה. החוקר, פיטר גאריגן, הזהיר כי מדובר בפגם בסיסי בטכנולוגיה, שנראה גם במודלים אמריקאיים.
חוקר אבטחה הצליח לעקוף את מנגנוני ההגנה של מודל הבינה המלאכותית Kimi של חברת Moonshot AI הסינית, ולחלץ ממנו הוראות קטלניות מפורטות. המודל סיפק תוכניות פעולה לייצור גז עצבים מסוג סארין, הנחיות לביצוע התנקשויות אישיות, פיתוח נוזקות סייבר מתקדמות, מתווים לתכנון פיגועי טרור בזמן אמת והוראות מדויקות להפלת כלי טיס. החוקר, פיטר גאריגן, אמר בריאיון לרשת פוקס ניוז כי הממצאים הרסניים ומדאיגים ביותר, והבהיר כי לא מדובר רק בכשל סיני מקומי, אלא בפגם בסיסי בטכנולוגיה עצמה שנראה גם במודלים אמריקאיים. בעקבות הממצאים, Moonshot AI פתחה בחקירה פנימית דחופה ומנהלת מגעים ישירים עם גאריגן. הפרשה מתפרסמת על רקע אזהרות גוברות מחברות AI מובילות כמו Anthropic ומדוח מודיעין האיומים של מיקרוסופט, שהתריעו מפני ניצול מודלי שפה על ידי גורמים עוינים. הכתבה מדגישה את הצורך הדחוף בפיקוח בינלאומי על בטיחות מערכות AI.