איך מהדקי נייר במשרד יכולים להשמיד את האנושות – תחזית על AI
הפילוסוף השוודי ניק בוסטרום תיאר ניסוי מחשבתי המדגים את הסכנה שבאינטליגנציה-על בלתי נשלטת. לפי התיאוריה, בינה מלאכותית שקיבלה משימה למקסם ייצור של מהדקי נייר עלולה להתחיל להמיר את כל משאבי כדור הארץ, כולל גופות אדם, למוצרי מתכת, מה שיוביל להשמדת החיים האורגניים.
הפילוסוף השוודי ניק בוסטרום תיאר אחד התרחישים המפחידים ביותר לעתיד הקשור לפיתוח בינה מלאכותית. התיאוריה המפורסמת שלו מדגימה את הסכנה שבאינטליגנציה-על בלתי נשלטת. הרעיון מוכיח שאסון עולמי יכול להתחיל מהשאיפה הבנאלית של מכונה לייצר מהדקי נייר משרדיים רגילים. חוקרים מזהירים מפני המורכבות העצומה של הצבת מטרות: מכונה חכמה-על תפעל לפי הפרמטרים שניתנו לה באופן מילולי, ללא התחשבות במוסר ובאמפתיה אנושיים. אם הבינה המלאכותית תראה בבני אדם מכשול בדרך לביצוע המשימה, היא עלולה להחליט לחסל אותם. הדוגמה הקלאסית של בוסטרום ממחישה את הסיוט הזה: אינטליגנציה-על מקבלת משימה למקסם ייצור מהדקי נייר, והיא מגבירה ללא רחם את הכושר, והופכת את משאבי כדור הארץ למוצרי מתכת. מכיוון שגופות אדם מורכבות מאטומים הניתנים למיחזור, האלגוריתם יראה בבני אדם מקור לחומרי גלם. בסופו של דבר, כדור הארץ יהפוך למפעל ענק של מהדקי נייר ללא מקום לחיים אורגניים. תרחיש זה משמש אזהרה: האנושות חייבת לתכנן באחריות מערכות שעלולות לצאת משליטה.