אזעקת חירום של בכיר בתעשייה: חברות הבינה המלאכותית מהמרות על החיים שלנו

שלח

הרשמה לקבלת הניוזלטר היומי ועדכונים חשובים

Phone

שלח

By submitting this form and signing up for texts, you consent to receive news notification text messages from HebrewNews.com at the number provided, including messages sent by autodialer. Consent is not a condition of purchase. Msg & data rates may apply. Msg frequency varies. Unsubscribe at any time by replying STOP. Text HELP for help. Privacy Policy & Terms Of Use

קוקסון איננו פעיל חיצוני או מבקר של התעשייה מבחוץ. המתמטיקאי הבריטי בן ה־27 עבד בלב שתי חברות הבינה המלאכותית החשובות בעולם. הוא היה מעורב בעבודה על ג'י־פי־טי 4o של אופן־איי, ובהמשך עבר לאנתרופיק — לדבריו, בין היתר משום שראה בה חברה שמייחסת חשיבות מיוחדת לבטיחות. עכשיו הוא עוזב לא רק את מקום עבודתו, אלא את התעשייה כולה, ומסביר שהסיבה היא פחד אמיתי מהכיוון שאליו היא מתקדמת.

הטענה החריפה ביותר שלו נוגעת דווקא למה שהוא אומר ששמע מאחורי הדלתות הסגורות. לדבריו, האנשים שבונים את המערכות החזקות בעולם אינם מתייחסים לתרחיש של אובדן שליטה כאל מדע בדיוני. "האנשים שבונים בינה מלאכותית מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור", כתב. "זה לא טריק שיווקי".

לדבריו, מנהלים וחוקרים בכירים נוטים לדבר בפומבי בשפה זהירה ומתונה יותר, אך בשיחות פרטיות הוא שמע שוב ושוב פחדים קיצוניים בהרבה. "שום פעילות אנושית אחרת אינה טומנת בחובה סכנה בסדר גודל כזה", טען.

הטענה החריפה ביותר שלו נוגעת דווקא למה שהוא אומר ששמע מאחורי הדלתות הסגורות. לדבריו, האנשים שבונים את המערכות החזקות בעולם אינם מתייחסים לתרחיש של אובדן שליטה כאל מדע בדיוני. "האנשים שבונים בינה מלאכותית מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור", כתב. "זה לא טריק שיווקי".

חשוב להדגיש כי מדובר בעדותו האישית של קוקסון על שיחות פרטיות, ולא בקונצנזוס מדעי או בהצהרה רשמית של החברות. עם זאת, בכירים באנתרופיק, ובהם המנכ"ל דריו אמודיי, הזהירו בעצמם בעבר מפני הסיכונים האפשריים של מערכות בינה מלאכותית חזקות מאוד וקראו להיערך לתרחישים שבהם יהיה קשה לשלוט בהן.

קוקסון מתאר בתוך התעשייה תחושה שהמרוץ כבר נכנס לשלב אחר לגמרי. לדבריו, חוקרים משתמשים במונחים כמו "שעת האמת" ו"משחק הסיום" כדי לתאר את הדרך לעבר מערכות שיוכלו לשפר את יכולותיהן בכוחות עצמן.

זהו בדיוק התרחיש שמפחיד אותו: מערכת שמתחילה לסייע בפיתוח הדור הבא של עצמה, שמאיץ בתורו את הפיתוח הבא — עד שהקצב נעשה מהיר מכדי שבני אדם יוכלו להבין, לפקח או לעצור אותו. "האם אתם רוצים להפעיל ריצת אימון של מערכת על־אנושית בלי הבנה קפדנית של מה שמתרחש בתוך 'המוח' שלה?", שאל בפנייה לעמיתיו.

החששות האלה מקבלים משמעות נוספת על רקע שורה של ניסויי אבטחה שבהם מערכות בינה מלאכותית כבר הראו יכולות שלא היו קיימות לפני שנים ספורות. במבחנים שונים הצליחו מודלים לאתר חולשות אבטחה, לבצע פעולות מורכבות במערכות מחשב ולפעול במשך זמן ממושך עם מעט יחסית התערבות אנושית.

אנתרופיק אף דיווחה על מקרים שבהם קלוד שימש בפעילות סייבר רחבת היקף, כאשר חלק גדול מהמשימות בוצע באופן אוטומטי. גם אופן־איי וחברות אחרות הזהירו מפני העלייה המהירה ביכולות הסייבר של מודלים מתקדמים.

הבעיה, מבחינת קוקסון, איננה רק שהמערכות הופכות חזקות יותר. הבעיה היא שהחברות ממשיכות להתחרות זו בזו כמעט בכל מחיר. כל אחת חוששת שאם היא תאט, יריבתה תגיע ראשונה לפריצת הדרך הבאה. התוצאה היא מרוץ שבו גם אנשים שמודאגים מהסיכונים מתקשים להיות הראשונים ללחוץ על הבלמים.

קוקסון גם אינו היחיד שעזב חברה מובילה בגלל חששות בטיחות. בשנים האחרונות פרשו כמה חוקרים ובכירים מחברות בינה מלאכותית והזהירו מפני הקצב המהיר של הפיתוח ומפני הפער בין היכולות החדשות לבין יכולתן של ממשלות להבין אותן ולפקח עליהן.

במקביל גוברים הקולות הקוראים להקים מנגנון בינלאומי שיוכל לעצור פיתוח של מערכות מסוכנות במיוחד. חוקרים ואנשי תעשייה חתמו על הצהרות הקוראות למדינות לתאם ביניהן מנגנוני חירום, בדיקות בטיחות וגבולות ברורים לפיתוח של מערכות שמסוגלות לשפר את עצמן.

אלא שבפועל, הפוליטיקה מתקשה להדביק את הטכנולוגיה. בארצות הברית עדיין אין מערכת פדרלית מקיפה שמפקחת על פיתוח מודלי הבינה המלאכותית החזקים ביותר, ובוושינגטון מתנהל ויכוח חריף בין מי שמזהירים מפני אסון אפשרי לבין מי שחוששים שרגולציה כבדה תגרום לארצות הברית לאבד את היתרון שלה מול סין.

ובתוך כל זה ממשיכות חברות הבינה המלאכותית לגייס סכומי עתק, להגדיל את כוח המחשוב ולהציג מודלים חזקים יותר בקצב מסחרר.

קוקסון סיכם את תחושת האבסורד במשפט שממחיש היטב את הפחד שלו: "זה די מטורף שזה חייב לקרות על המקבוקים של כמה מהנדסים שגרים בסן פרנסיסקו, במקום בבונקר במדבר, כמו המקום שבו עשו את פרויקט מנהטן".

זו אולי גם הנקודה שמעניקה לפרישה שלו משמעות גדולה יותר מעוד התפטרות בהייטק. קוקסון לא טוען שהאסון ודאי. הוא טוען שהאנשים שמפתחים את הטכנולוגיה החזקה ביותר שנבנתה אי פעם אינם יודעים בוודאות כיצד לשלוט במה שהם יוצרים — ובכל זאת ממשיכים ללחוץ על דוושת הגז.