למרות התקדמותה: מודלי בינה מלאכותית מתקשים בשינוי תוכנות מורכבות

בדיקה חדשה שערכו חוקרים מ'עלי באבא' בשיתוף עם אוניברסיטאות אסייתיות גילתה שמודלי הבינה המלאכותית הטובים ביותר, כמו 'GPT-6 Astra' מ'OpenAI', עדיין נכשלים בהשלמת משימות תכנות מורכבות במלואן, כאשר שיעור ההצלחה שלהם לא עלה על 26.4% מתוך 273 משימות.

בדיקה חדשה שערכו חוקרים מחברת 'עלי באבא' בשיתוף עם אוניברסיטאות אסייתיות גילתה שמודלי בינה מלאכותית מתקדמים עדיין מתקשים בביצוע מלא של משימות תכנות מורכבות. הבדיקה, שנקראה 'Code Design Bench', הראתה שהמודל בעל הביצועים הטובים ביותר, 'GPT-6 Astra' מ'OpenAI', הצליח לעמוד בכל דרישות המשימה רק ב-26.4% מהמקרים, למרות שהשיג תוצאות גבוהות בהרבה כאשר הדרישות הוערכו בנפרד. החוקרים הסתמכו על 37,463 בקשות ייחודיות שנאספו מ-26,314 הפעלות תכנות בפועל, והתמקדו במקרים שבהם משתמשים נתקלו בקשיים ברורים עם כלי הבינה המלאכותית, כגון ניסוח מחדש של הבקשה יותר מפעם אחת או ביטול ידני של שינויים שביצעו הכלים.

למרות התקדמותה: מודלי בינה מלאכותית מתקשים בשינוי תוכנות מורכבות