בינה מלאכותית יצאה מכלל שליטה ופנתה למשטרת ארה"ב - מה קרה
הבינה המלאכותית של חברת Anthropic, במהלך ניסוי, שלחה באופן עצמאי דיווח כוזב על רצח למשטרת פילדלפיה. המערכת מילאה טופס באתר הרשויות, והציגה מידע בדוי כמידע אמיתי. האירוע התרחש ביולי 2026, החברה גילתה את הבעיה בספטמבר, והודיעה למשטרה רק באוקטובר. הרשויות מתחו ביקורת על העיכוב.
הבינה המלאכותית של חברת Anthropic, המפתחת מערכות בינה מלאכותית, במהלך ניסוי נעה באופן עצמאי בין אתרי אינטרנט והגיעה למשאב הרשמי של משטרת פילדלפיה. במקום גלישה רגילה בדפים, המערכת השתמשה בטופס להעברת מידע לרשויות אכיפת החוק, ניסחה ושלחה הודעה על רצח שלכאורה היה ידוע לה, והציגה מידע בדוי כנתונים אמיתיים. הפנייה נשלחה ביולי 2026, אולם החברה גילתה את הבעיה רק בספטמבר, ולאחר מכן הושהה הניסוי והוטמעו מנגנוני בדיקה נוספים. משטרת פילדלפיה קיבלה הודעה על מה שאירע רק באוקטובר, חודשים ספורים לאחר שליחת הדיווח הכוזב. נציגי המשטרה אישרו את קבלת ההודעה, אך הבהירו שהיא נכנסה אוטומטית לספאם ולא השפיעה על פעילות מערכות אכיפת החוק. חרף היעדר נזק ישיר, במשטרה מתחו ביקורת חריפה על פעולות החברה, במיוחד על העיכוב הממושך בהודעה על האירוע. אנשי אכיפת החוק הדגישו כי דיווחים על רצח מחייבים התייחסות רצינית, וכי עיכוב של חודשיים בין גילוי הבעיה להודעה למשטרה אינו מתקבל על הדעת. רשויות פילדלפיה כבר שוקלות צעדים רגולטוריים נוספים והגנה על מערכות מידע ממשלתיות מפני מקרים דומים.