בין Waze לרכב אוטונומי: מתי באמת בטוח לתת ל-AI את ההגה?
המעבר מצ'אט פסיבי לסוכן AI אוטונומי שמבצע פעולות בשם המשתמש משנה את מאזן הסיכונים ומחייב הגדרת גבולות שליטה ברורים. המאמר מציג חמש שאלות מכוונות: ההבדל בין צ'אט לסוכן, הרלוונטיות הגוברת של כלים אוטונומיים, הסיכונים בטעויות ללא מנגנוני בקרה, תחומים שבהם סוכנים עובדים היטב לעומת מצבים הדורשים שיפוט אנושי, וכיצד להגדיר הרשאות וקווים אדומים. המחבר, נועם כהן, מייעץ להתחיל ממשימות חוזרות עם אפשרות תיקון.
נועם כהן, מייסד CritiqeIL, מנתח במאמרו את המעבר משימוש בכלי AI פסיביים (צ'אט) לסוכנים אוטונומיים המבצעים פעולות בשם המשתמש. הוא מציג חמש שאלות מרכזיות: ההבדל בין צ'אט שעונה לסוכן שפועל, הרלוונטיות הגוברת של כלים המחברים AI לפעולות אמיתיות, הסיכונים בטעויות ללא מנגנוני בקרה והרשאות מוגדרות מראש, תחומים שבהם סוכנים עובדים היטב (משימות חוזרות עם צעדים ברורים) לעומת מצבים הדורשים שיפוט אנושי או שבהם מחיר הטעות גבוה, וכיצד להגדיר הרשאות וקווים אדומים באמצעות דף הרשאות וניהול זהויות וגישה (IAM). המחבר מדגיש את החשיבות של תכנון מוקדם, הגדרת נקודות עצירה לבקרה אנושית, והתחלה ממשימות חוזרות ומשעממות עם אפשרות להחזיר את המצב לאחור. הוא מציין כי ההבדל המהותי בין צ'אט לסוכן הוא לא המודל, אלא ההרשאה: במה מותר לכלי לגעת בלי לשאול.