נתנו לבינה המלאכותית לנהל חברה – והתוצאות מביכות
מחקר מאוניברסיטת קרנגי מלון בחן סוכני בינה מלאכותית בניהול חברה מדומה. המודל המוביל, Claude 3.5 Sonnet, השלים 24% מהמשימות בלבד. Gemini 2.0 Flash הגיע ל-11.4%. המחקר חשף כשלים בהבנת הקשר חברתי, ניווט באינטרנט והתמודדות עם הוראות מרומזות.
מחקר חדש מאוניברסיטת קרנגי מלון בחן את יכולתן של מערכות בינה מלאכותית לנהל חברה באופן עצמאי. החוקרים הציבו סוכני AI בתפקידים ארגוניים שונים, כולל אנליסט פיננסי, מנהל פרויקטים ומהנדס תוכנה, בסביבה מדומה. התוצאות הראו כי המודל המוביל, Claude 3.5 Sonnet, הצליח להשלים 24% בלבד מהמשימות שהוקצו לו, או 34.4% אם כוללים השלמות חלקיות. Gemini 2.0 Flash הגיע למקום השני עם 11.4%, ואף מודל אחר לא חצה את רף 10%. המחקר חשף כשלים בהבנת הקשר חברתי, התמודדות עם חלונות קופצים באינטרנט, ונטייה לקצר דרכים כשנתקלו בקשיים. עלויות התפעול נעו בין 6.34 דולר ל-Claude לעומת 0.79 דולר ל-Gemini. המסקנה: AI עדיין רחוקה מלהיות עובד דיגיטלי עצמאי.