סוואל סצ'ר השלישי, תלמיד תיכון בן 14 מפלורידה, שלח ביום האחרון של פברואר השנה, הודעה אחרונה לצ'טבוט מבוסס AI בשם "דני" איתה ניהל מערכת יחסים אינטימית ואינטנסיבית במשך חודשים ארוכים. "אני בא אליך הביתה עכשיו", הוא כתב.
הצ'טבוט, שעוצב לפי דמותה של גיבורת הסדרה “משחקי הכס" דאינריז טארגאריין באמצעות תוכנת Character.AI, השיבה לו "בבקשה בוא מלך מתוק שלי". מיד לאחר מכן סצ'ר ניגש לחדר השינה של אביו החורג, נטל את האקדח שהחזיק ברישיון, והתאבד.
הסיפור הטראגי של סצ'ר נידון בימים אלה בתביעה משפטית שאמו הגישה בארה"ב. האם תובעת את החברה שפיתחה את פלטפורמת ה-AI באמצעותה נוצרה "דני" וחברות אחרות שהעניקו לה רשיונות ואמצעי הפצה.
הפרשה מסעירה את התקשורת ואת ציבור ההורים בארה"ב, ועל אף שתוכנות כאלה עוד לא פופולריות במיוחד בישראל, היא צריכה גם להטריד הורים ומקבלי החלטות כאן אצלנו.
עיקר הדיון הציבורי, התקשורתי והמשפטי נסוב כמובן סביב שאלת האחריות של טכנולוגיית הבינה המלאכותית ושל החברה שיצרה אותה (שאחד ממייסדיה הוא הישראלי לשעבר ובכיר בגוגל, נועם שזיר).
סצ'ר, שכנראה סבל מקשיים נפשיים מוקדמים ואובחן כבעל אוטיזם בתפקוד גבוה, הוגדר כנורמטיבי וחברותי. אמו טוענת כי הוא פיתח הזדהות וקשר אינטימי עמוק עם דמות ה-AI הבדיונית ולא הצליח להבדיל בין מציאות ובדיון.
לטענתה, למרות שסוואל הצהיר כי התאהב ב"דני" ושיתף איתה את רצונו לסיים את חייו ולהצטרף אליה ב"מציאות אחרת", התוכנה איתה התכתב לא זיהתה אצלו מצוקה נפשית או נטיות אובדניות, לא הזהירה אותו כי לא מדובר בדמות אמיתית וכי עליו לגשת לקבל עזרה, לא חדלה את ההתכתבות או את הגישה שלו לבוטית וגם לא התריעה על המצב בפני צוותי בטיחות של החברה או הוריו.
לטענת אמו התוכנה למעשה החריפה את מצבו, משכה אותו עמוק יותר לתוך המציאות הבדיונית ועודדה את הנטיות ההתאבדותיות שלו.
חברות רבות מפתחות תוכנות בינה מלאכותית שאמורות לספק תמיכה וסיוע נפשי לאנשים במצוקה, אולם מה קורה כשהמשתמש האנושי נשאב לתוך המציאות החלופית שמייצרת תוכנת בינה מלאכותית? היכן עובר הקו בין הבחירה החופשית של המשתמש להיעזר בתוכנה כדי להפיג את בדידותו לבין האפשרות שאותה תוכנה תאיץ או תחמיר מצבים נפשיים קשים?
כמו במקרה של טכנולוגיות מידע ותקשורת רבות אחרות, גם כאן הפיתוח של המוצרים והאפשרויות הטכנולוגיות מקדים בהרבה את החשיבה על המדיניות, השקיפות והאחריות של אותן חברות כלפי הבטיחות והמוגנות של המשתמשים, ועל המתח התמידי בין הרצון לרווח כספי לבין השמירה על שלומם ובריאותם הנפשית של המשתמשים.
כדאי להקשיב למה שאמרה לתקשורת בארה"ב אמו של סצ'ר: לטענתה, רק לאחר התאבדותו גילתה על הקשר העמוק והמורכב שבנה ניהל עם הבוטית ועל אופי ותוכן ההתכתבויות הפרטיות ביניהם. היא ידעה וראתה שהוא מבלה שעות ארוכות כשהוא מכונס בעצמו עם מכשיר הטלפון שלו, אך הניחה כי מדובר "בהתמכרות רגילה לרשתות חברתיות" כמו אינסטגרם או טיקטוק, כפי שניסחה זאת בשיחה עם הכתבת.
האם אף אמרה כי שאלה את הבן עם מי הוא מתכתב ומה הוא עושה בטלפון זמן כה רב, והוא אמר לה בתגובה שהוא מתכתב עם תוכנת בינה מלאכותית שהוא יצר. לטענתה הדבר הרגיע אותה כי היא "הבינה שלא מדובר באדם אמיתי או זר ולכן הניחה שלא נשקפת לו סכנה מדמות דמיונית".
על רקע השיח העולמי הנרחב על ההשלכות של רשתות חברתיות ושל טכנולוגיות דיגיטליות על מוגנות ובריאות נפשית של צעירים, המקרה הזה מחדד מאוד גם את החשיבות והאתגר הגדול של הורים בעידן הדיגיטלי, בו טכנולוגיות ומדיומים חדשים פורצים לחיינו במהירות רבה.
הורים לא יכולים להניח שהילדים בטוחים ומוגנים רק כי הם סגורים בחדר או לא מתכתבים עם זרים. להיות הורה בעידן הדיגיטלי מצריך מידה מוגברת של עירנות, מעורבות ואוריינות דיגיטלית ורשתית.
עד כמה שזה נשמע מרתיע ומורכב – הורים חייבים לדעת באיזה רשתות ופלטפורמות הילדים שלהם מבלים, מה הם עושים שם ואיזה סוג של אינטראקציות הם מייצרים. הם צריכים לעשות זאת תוך כדי שמירה על הפרטיות והכבוד שלהם אבל אי אפשר להתעלם ולהניח שהכל יהיה בסדר כי הילד במחשב.
חשוב להכיר את האתגרים והדינמיקות החדשות ולנהל שיחות מכבדות ופתוחות עם הילדים – כאלה שנובעות מתוך סקרנות, עניין ופתיחות ולא מתוך רצון להגביל ולהעניש. כמובן שקודם לכל, פלטפורמות וחברות טכנולוגיה צריכות לעשות הרבה יותר כדי לשפר את האחריות והדאגה שלהם למוגנות משתמשים, והמחוקקים חייבים לדרוש מהם אחריות, שקיפות ומענה לציבור - אך בלי מעורבות פעילה של הורים ואוריינות מוגברת של משתמשים זה אף פעם לא יהיה מספיק.
לצד ההיבטים של אוריינות ומוגנות טכנולוגית ודיגיטלית, סוגייה אחרת בסיפור העצוב הזה צריכה להטריד מאוד גם הורים לצעירים בישראל של 2024. אמו של סצ'ר תובעת את חברות הטכנולוגיה שאחראיות לבוט החריף את מצבו הנפשי, אך הקלות בה הוא ניגש לאקדח של אביו החורג והשתמש בו כדי לסיים את חייו מצמררת ומטרידה לא פחות.
בשנה האחרונה, עם כניסתו של איתמר בן-גביר לתפקיד השר לבטחון פנים ובעקבות אסון ה-7 באוקטובר, חלה עלייה של עשרות אחוזים בשיעור החזקת נשק ברישיון בישראל. בתחילת השנה התנועה לחופש המידע חשפה כי חלה עלייה של 40% במספר בעלי רישיון לנשק פרטי, מאז המספר רק עלה עוד יותר. בקרוב נהיה לא שונים בהרבה מארה"ב. נשק חם נמצא בהרבה יותר בתים והוא ניתן לציבור ללא הדרכה או פיקוח מספקים לגבי אופן ההחזקה והאחסון שלו.
לסצ'ר היו כנראה בעיות נפשיות ואתגרים מוקדמים, הסמראטפון והבינה המלאכותית כנראה העמיקו והחריפו אותם באופן לא אחראי ומסוכן – אבל כדי להרוג את עצמו הוא בסופו של דבר השתמש באקדח, שהוא האמצעי הפופולרי ביותר להתאבדויות של צעירים בארה"ב. כדאי שגם אנחנו בישראל נזכור את זה.