כל חברות ה-AI טוענות שהמודל שלהן הכי טוב. איך תדעו מה מתאים לכם?

כתבה המסבירה כיצד לקרוא תוצאות בנצ'מארקים של מודי AI, עם תובנות ממומחים על מגבלות המבחנים, זיהום נתונים, והמלצה לבדוק מודלים על משימות אישיות במקום להסתמך על ציונים בלבד.

כתבה זו בוחנת את השימוש בבנצ'מארקים (מבחני ביצועים) להשוואת מודלי בינה מלאכותית, ומסבירה כיצד לקרוא את התוצאות שפרסמו חברות AI. עומר נבו, סמנכ"ל הטכנולוגיות בחברת אירגיולר (Irregular), מסביר שכל בנצ'מארק מודד יכולת ספציפית, אך אין התאמה מושלמת בין הציונים לבין השימוש בעולם האמיתי. הוא מזהיר מפני זיהום נתונים, שבו מודלים לומדים את התשובות מתוך חומרי האימון. נבו ממליץ לחפש תוצאות במבחנים הרלוונטיים לשימוש האישי, ולשים לב לכמות המבחנים שהחברה מפרסמת. צוף בר אור, סמנכ"ל הטכנולוגיות ב-Super8, משווה את הבחירה לבחירת מכונית ומדגיש את חשיבות המחיר, זמן ההמתנה ומגבלות השימוש. ההמלצה המרכזית היא לבצע בדיקה עצמית על משימות אמיתיות, ולהשוות תוצאות בין מודלים שונים.