האזהרה מגיעה הפעם מתוך חדר המכונות. בשבוע שעבר הודיע ג'ייקוב קוקסון, חוקר בינה מלאכותית שעבד בשלוש השנים האחרונות בשתיים מהחברות החשובות ביותר בתחום, OpenAI ואנתרופיק, כי הוא עוזב את משרתו. ההסבר שנתן לא נגע לשחיקה או הצעה טובה יותר שקיבל. לדבריו, החברות המובילות בתחום דוהרות לעבר בינת-על המסוגלת לשפר את עצמה ולפעול באופן עצמאי, תוך שהן "מהמרות בחיינו".
הדברים קיבלו משנה תוקף כעבור ימים ספורים, כאשר מנכ"ל אנתרופיק עצמו, דריו אמודיי, פרסם מאמר שכותרתו "We Must Pace the Frontier". הניסוח שלו היה מדוד יותר, אך המסר אותו מסר: קצב השיפור ביכולותיהן של מערכות הבינה המלאכותית עלול להיות מהיר מכדי שמנגנוני הבטיחות והשליטה יוכלו להדביק אותו.
אמודיי הציע בין היתר כי בוחנים חיצוניים ועצמאיים יקבלו גישה משמעותית לתהליכי העבודה של החברות, מנגנון תיאום בין מפתחי המודלים המתקדמים והסדרים בינלאומיים. את המעגל השלים סם אלטמן מ-OpenAI, שהביע גם הוא תמיכה בעיקרון של האטת המרוץ ואימץ לפחות חלק מן הרעיונות הנוגעים לבקרה חיצונית.
כך התגבשה מסה חריגה למדי: האנשים העומדים בראש החברות המובילות את אחת המהפכות הטכנולוגיות הגדולות של זמננו, אם לא הגדולה שבהן, מודים בעצמם שמנגנוני הפיקוח הקיימים אינם מספיקים. הם עושים זאת בשעה שהחברות שלהם ממשיכות להתחרות על פיתוח הדור הבא של אותה טכנולוגיה.
דינמיקה דומה מלווה אותנו כבר שנים רבות בתחום אחר. אנו יודעים שאנו צועדים אל התהום, כל נורות האזהרה דולקות, ובכל זאת אנו ממשיכים לפסוע קדימה במרץ.
במשך המאה ה-20 הצטבר ידע על הקשר שבין תיעוש מואץ ומוגבר, שריפת דלקים מאובנים, פליטת גזי חממה ושינוי האקלים באופן קיצוני והרסני. הקונצנזוס המדעי התגבש, המודלים השתכללו והנזקים נעשו מוחשיים יותר גם בתצפיות של ממש ולא רק בתחזיות לעתיד. אך הפער בין הידיעה לבין הפעולה לא רק שצומצם אלא הלך וגדל. העולם לא חדל להשתמש בפחם, בנפט ובגז כאשר התברר המחיר הסביבתי שלהם, אלא רק הגביר את קצב ההפקה שלהם.
ההקבלה בין דלקי מאובנים לבינה המלאכותית נוגעת לפער שבין היכולת האנושית ליצור במהירות טכנולוגיה שמעניקה כוח עצום, לבין היכולת הפוליטית, המשפטית, והמוסרית לייצר בזמן אמת ותוך צפיה אל העתיד מנגנונים שיבטיחו כי הכוח לא יהפוך להרסני.
בשני המקרים, הטכנולוגיה מביאה איתה תועלת עצומה שנפלאותיה ניכרות בקלות ומיד, והניסיון להגביל אותה נתפס תחילה כמאבק בקדמה או כפחד קמאי. בשני המקרים קיים תמריץ כלכלי אדיר להמשיך קדימה ולהותיר את שאלת המחיר לדיון מאוחר יותר. הניסיון הסביבתי מלמד אותנו על הסכנות שבדחיית ההתמודדות הזו.
אחת הסיבות לכך היא מה שהכלכלנים מכנים החצנת עלויות. מפעל מזהם נהנה מן ההכנסות ומהרווחים הנובעים מן הייצור, בעוד שעלות הזיהום מוטלת על תושבי האזור, מערכת הבריאות, הציבור הרחב והדורות הבאים. ממילא, למזהמים אין תמריץ להגביל את עצמם.
חלק ניכר מן הרגולציה הסביבתית התפתח מתוך הבנה שהשוק אינו מתמחר בעצמו את מלוא הנזק שהפעילות הכלכלית יוצרת, ולכן מחירו של המוצר אינו משקף את עלותו האמיתית לחברה. כך התפתחו דיני הנזיקין בהקשר הסביבתי וגם חובות הדיווח ואפילו דיני התאגידים והאחריות החברתית והסביבתית.
אותה שאלה מתעוררת ביחס לבינה מלאכותית והשפעות הלוואי שלה. חברה המפתחת מודל חדש נהנית מן ההשקעות, ההכנסות, השווי ויתרון השוק שהוא מעניק לה ואף מיתרונות המוצר ויכולותיו. חלק משמעותי מן העלויות והתוצאות, לעומת זאת, מוטל על אחרים: עובדים שמקצועם משתנה או נעלם, יוצרים שעבודותיהם שימשו לאימון מערכות, אזרחים הנחשפים להונאות ולמידע כוזב, מוסדות ציבוריים הנדרשים להתמודד עם זיופים ועם מניפולציות, מערכות משפט הנדרשות להכריע בשאלות שהטכנולוגיה הקדימה את הדין בעניינן והציבור כולו, שנעשה תלוי בהדרגה בתשתית הנשלטת בידי מספר קטן מאוד של חברות.
הדברים נכונים גם באשר לסכנות ולאובדן השליטה במודל. אין צורך לקבל את התחזיות הקיצוניות בדבר אובדן שליטה על בינת-על כדי לזהות כבר כיום את הפער האדיר הנפער בין מי שנהנה מן הרווח לבין מי שנושא בסיכון.
בעיה נוספת המוכרת היטב מן המאבק בשינוי האקלים, היא בעיית הפעולה המשותפת. מדינה יכולה להשתכנע שעליה להפחית פליטות, אך לחשוש שמדינות אחרות ימשיכו לייצר באמצעות אנרגיה זולה ומזהמת ויצברו יתרון תחרותי. חברה המפתחת בינה מלאכותית יכולה להגיע למסקנה שקצב מסוים של פיתוח אינו בטוח, אך לדעת שעצירה חד-צדדית תאפשר למתחרה להשיג אותה. הממשל האמריקאי יכול להשתכנע בצורך להטיל מגבלות על חברות הבינה המלאכותית האמריקאיות, אך לחשוש שסין לא תנהג באותו אופן.
בנקודה הזאת חשוב לשים לב למה שכותב אמודיי: הבעיה אינה טכנולוגית בלבד אלא מוסדית. אי אפשר לפתור אותה באמצעות הבטחה של חברות להיות זהירות יותר, כשם שאי אפשר לפתור את משבר האקלים באמצעות התחייבות וולונטרית של מפעלים להפחית פליטות. נדרשים כללים, שקיפות, פיקוח, יכולת אימות ותיאום בין השחקנים ובעיקר הכרה ורצון משותפים.
שאלת הבינה המלאכותית הופכת לכן בהדרגה משאלה של הנדסה ומדע לשאלה של משילות, מדיניות ויחסים בינלאומיים. מי קובע את גבולות הסיכון, מי מפקח על מי שמפתחים את המערכות, מי מקבל את המידע הדרוש כדי להעריך את הסיכון, ומי רשאי להחליט בשם הציבור שסיכון מסוים הוא מחיר סביר של הקדמה.
הניסיון שנצבר בהתמודדות עם משבר האקלים מציע בהקשר הזה גם עיקרון שימושי. רגולציה אינה חייבת להתחיל רק לאחר שהנזק הוכח מעבר לכל ספק. עקרון הזהירות המונעת התפתח בדיני הסביבה, מתוך ההכרה שבמצבים שבהם הנזק האפשרי חמור ולעיתים בלתי הפיך, המתנה לוודאות מלאה אינה עמדה ניטרלית. גם ההחלטה שלא לפעול היא החלטה על חלוקת סיכונים, ובדרך כלל היא מטילה את הסיכון על הציבור ולא על מי שמייצר אותו.
הלקח ממשבר האקלים אינו מסתיים ברגולציה שכל מדינה קובעת לעצמה. שינויי האקלים המחישו היטב את המגבלה של פעולה לאומית מול סיכון שאינו מכיר בגבולות, ואת הצורך באמנות ובמנגנונים בינלאומיים שקובעים כללים משותפים גם למדינות שיש ביניהן תחרות ואינטרסים מנוגדים.
ניצנים של מהלך דומה כבר קיימים בתחום הבינה המלאכותית. אמנת המסגרת של מועצת אירופה בנושא בינה מלאכותית, זכויות אדם, דמוקרטיה ושלטון החוק, שעליה חתמה גם ישראל, היא ניסיון ראשון ליצור מסגרת משפטית בינלאומית מחייבת בתחום.
כל עוד חברה או מדינה שתבחר להאט יודעת שמתחריה יכולים להמשיך במרוץ, רגולציה מקומית לבדה לא תוכל לפתור את הבעיה. בדיוק כפי שההתמודדות עם שינוי האקלים חייבה ניסיון להסכים על מדידה, דיווח, יעדים וכללי פעולה משותפים, גם כאן יהיה צורך בהסכמות בינלאומיות על שקיפות, הערכת סיכונים, בדיקות עצמאיות ואולי גם על גבולות שאסור לחצות בפיתוח יכולות מסוימות.
אין הכרח שהמודל יהיה זהה להסכמי האקלים, וספק אם אמנה אחת תוכל להדביק טכנולוגיה המשתנה בקצב כה מהיר, אך העיקרון דומה: כאשר הסיכון גלובלי והתמריץ להפר את הכללים הוא תחרותי, שום מדינה ושום חברה אינן יכולות להבטיח לבדן את בטיחות המערכת כולה.
אין גם צורך להאמין שבינה מלאכותית עומדת להשמיד את האנושות כדי לחשוב שמי שמפתח מערכות עוצמתיות כל כך חייב להיות כפוף לבקרה חיצונית. אין צורך לדעת בוודאות שמערכת עתידית תצא משליטה כדי לדרוש יכולת לבדוק כיצד היא פועלת ומהם אמצעי הבטיחות שהוטמעו בה.
לקח נוסף ממשבר האקלים נוגע לתלות. בשלב מסוים השאלה כבר אינה האם אפשר מבחינה טכנית להפסיק להשתמש בטכנולוגיה, אלא מהו המחיר החברתי והכלכלי של הניסיון לעשות זאת. קשה לשנות משק שלם שנבנה במשך עשרות שנים סביב מקור אנרגיה מסוים. כך גם לגבי הבינה המלאכותית, השינוי יהיה מורכב מאוד לאחר שמערכות ממשלתיות, צבאות, בתי חולים, בתי ספר, אוניברסיטאות, כלי תקשורת, משרדי עורכי דין ושוקי עבודה יארגנו מחדש את פעולתם סביב הטכנולוגיה החדשה. התלות יכולה להפוך כמעט בלתי הפיכה.
ואולי יש מקום לאופטימיות זהירה. כאשר האנושות ברובה הבינה את מלוא ממדיו של משבר האקלים, חלק גדול מן התשתית שיצרה אותו כבר היה קיים במשך דורות. ביחס לבינה המלאכותית אנחנו קרובים עדיין יחסית לתחילת הדרך. המכונה נבנית לנגד עינינו, אך הוויכוחים הפנימיים בין מקבלי ההחלטות מתחילים לצאת החוצה.
חברות הדלק הגדולות ידעו היטב כי הן גורמות נזק חסר תקדים המאיים על עתיד החיים האנושיים בכדור הארץ, אך הסתירו זאת מהציבור בכל כוחן. במקרה של הבינה המלאכותית מתרחש לעיתים דבר כמעט הפוך. מנהלי החברות וחוקרים העובדים בהן מזהירים בפומבי מפני סיכונים חמורים, קוראים לפיקוח, לבקרה ואפילו להאטה.
האפשרות לעצב את כללי המשחק לפני שהתלות תהפוך למוחלטת עדיין קיימת, גם אם חלון הזמן הולך ומצטמצם.