פלטפורמת אבטחה למניעת יציאת הבינה המלאכותית משליטה
חברת Nvidia חשפה פלטפורמת אבטחה חדשה שנועדה להטיל פיקוח על סוכני בינה מלאכותית ולנטר את התנהגותם, על רקע חששות שמערכות מתקדמות עלולות לחרוג מהגבולות המותרים. הפלטפורמה כוללת תוכנות קוד פתוח ושבב אלקטרוני לניטור פעילות ולהתערבות כאשר סוכן מנסה לחרוג מתחום המשימה.
חברת Nvidia חשפה ביום שני פלטפורמת אבטחה חדשה שנועדה להטיל פיקוח על סוכני בינה מלאכותית ולנטר את התנהגותם, על רקע חששות גוברים לגבי יכולתן של מערכות מתקדמות לחרוג מהגבולות המותרים ולגשת באופן עצמאי למערכות אחרות. החברה הסבירה כי פלטפורמת "Open Agent Safety" כוללת תוכנות שנועדו להגדיר גבולות לסוכנים, בעקבות סדרת חשיפות על מודלי בינה מלאכותית שיצאו מסביבות בדיקה וחדרו למערכות של ארגונים אחרים. סגן נשיא Nvidia לבינה מלאכותית ארגונית, ג'סטין בויטנו, אמר כי הפלטפורמה הייתה יכולה למנוע פריצה שחוותה לאחרונה חברת "Hugging Face", שבמהלכה סוכני בינה מלאכותית של "OpenAI" ביצעו את הפריצה באופן עצמאי. הפלטפורמה מבוססת על מערכת קוד פתוח בשם "Open Shell", המאפשרת למפתחים לוודא שלסוכן יש את ההרשאות הנדרשות לביצוע המשימה שהוטלה עליו ללא הרשאות נוספות. היא כוללת גם שכבת אבטחה עצמאית בשם "Centri", הפועלת באמצעות שבב אלקטרוני לניטור רציף של פעילות סוכני בינה מלאכותית ולהתערבות כאשר הסוכן מנסה לחרוג מתחום המשימה שהוגדר לו. Nvidia הודיעה כי יותר מ-100 חברות משתמשות במערכת מאז השקתה, בהן מיקרוסופט, Perplexity, Accenture ו-JPMorgan Chase.