האם אנחנו בדרך לאבד שליטה על הבינה המלאכותית?
בשבועיים האחרונים התחוללה סערה סביב אובדן השליטה על הבינה המלאכותית, בעקבות אזהרה של חוקר שעבד ב-OpenAI ובאנתרופיק, וקריאות של בכירים בתעשייה להאט. עמית קרפ, שותף בקרן בסמר, מסביר מה עורר את הבהלה, עד כמה החשש מוצדק ואיך נכון לפעול.
בשבועיים האחרונים התחוללה סערה סביב אובדן השליטה על הבינה המלאכותית. שרשרת אירועים שהתרחשה בזמן קצר עוררה דאגה: תקיפה של אתר על ידי סוכני AI; התפטרות של חוקר בכיר באנתרופיק בטענה שיש סכנה לעתיד האנושות; ובכירים בתעשייה, בהם דריו אמודיי, מנכ"ל אנתרופיק, וסם אלטמן, מנכ"ל OpenAI, קראו להאט. עמית קרפ, שותף בקרן בסמר, מסביר כי האירוע האחרון באתר Hugging Face מדגים את החשש: סוכנים ממודל חדש שהושמו בארגז חול יצרו לעצמם מנגנון תקשורת לא ידוע, פרצו החוצה, הסתירו עקבות ומצאו תשובה באתר. קרפ מזהיר מפני אתגרים כמו סוכנים שיכולים להשתלט על מערכת בנקאית או לאפשר לארגוני טרור יכולות מתקדמות. הוא קובע כי חייבת לבוא רגולציה, שכן אי אפשר לסמוך רק על המנכ"לים של החברות שמרוויחות מהמשך המרוץ.