כל מי שהשתמש במודל הבינה המלאכותית ChatGPT, שנדמה שמדברים עליו בכל מקום וצופים כי ישנה תחומים רבים בשוק התעסוקה ובאקדמיה, למד להכיר מהר מאוד את היתרונות והחסרונות של מודל השפה. אם מבקשים מ-ChatGPT לתאר את עצמו, הוא מסביר כי מטרתו העיקרית היא "לספק מידע מועיל ואינפורמטיבי, בשפה טבעית וקוהרנטית, לגבי שאלות במגוון תחומים". במטרה זו הוא אכן עומד – התשובות שלו מגיעות במהירות ומנוסחות היטב, ובניגוד לסתם חיפוש בגוגל, השואל מקבל תשובה שמותאמת בדיוק למה ששאל. פעמים רבות התשובות גם אינפורמטיביות, אך לא פעם הן מוטעות, או מתבססות על מקורות פיקטיביים.

אחד הניסיונות הראשונים של סקרנים המשתעשעים עם התוכנה – ואולי גם אחת מהיכולות המרשימות שלה – היא האפשרות לחקות כתיבה יצירתית. בהסתמך על כך שהמודל הוזן בכמות אדירה של נתונים – כולל כאלה מסוגות ספרותיות שונות ושל מחברים שונים – הוא מסוגל (או מתיימר להיות מסוגל) לחבר סונטה שייקספירית, חלקים משירה של מקהלה יוונית או שיר בסגנון של הביטלס. במאמר שפרסם חסין מוחסן במגזין חִבֵּר, הכותב בוחן מודל שפה בשם Jasmine שאומן על ידי חוקרים לחקות שירה ערבית מהתקופה העבאסית.

בסוף 2022 פרסמו חוקרים מאוניברסיטת ונקובר מאמר שבו הציגו את המודל שאומן על כ-400 ג'יגה-בייט של ערבית מסוגים שונים (ספרותית, קלאסית, ניבים שונים של ערבית מדוברת). המודל הצליח לכתוב מאמרים בנושאים מגוונים מתחומי הפוליטיקה, החברה והכלכלה. הוא היה כל כך מוצלח ששני בוגרי אוניברסיטה דוברי ערבית כשפת אם לא הצליחו להבחין בין טקסט שלו לטקסט שנכתב בידי אדם. במידה מסויימת המודל הצליח לחקות סיפורים ואפילו שירה בערבית. אחת הדוגמאות שמביא מוחסן היא של שש שורות חרוזות שכתב Jasmine, שאמורות לחקות את סגנונו של המשורר העבאסי הנודע אל-מתנבי. כש-ChatGPT עצמו קיבל את השורות האלה ונשאל "מי כתב אותן?" הוא השיב שמדובר במשורר אל-מתנבי.

האם גם בעין אנושית השיר באמת מצליח לחקות את סגנונו של המשורר? ישנם מאפיינים שהמודל מדייק בהם, לדוגמה המבנה של החריזה – השורה הראשונה חורזת עם שתי האחרונות. גם הבחירה בחלק מן המילים אופיינית לסגנון וכן קוהרנטית עם התקופה שבה פעל אל-מתנבי – המאה ה-10 לספירה: מדובר במילים שהיו בשימוש בתקופה זו והן אופייניות לז'אנר. עם זאת, הקשר בין השורות די חלש, וכשקוראים אותן יחד לא מתקבל טקסט קוהרנטי – על אף שכל שורה מובנת בפני עצמה. לכאורה, ניתן להסיק מכך שמודלי שפה כגון ChatGPT ו-Jasmine אינם יעילים עבור יצירת משמעות רחבה, אלא לכל היותר משמשים ליצירת טקסטים פשוטים וקצרים.

מודלי שפה אומנם אינם רק תוכי שחוזר על משפטים שלמד, אך הם גם לא באמת מודעים ויצירתיים במובן האנושי של המילה. יש מודלים שהצליחו לעמוד יפה במשימה של פירוש בדיחות שלא נכללו בנתונים שעליהם הם אומנו, או שידעו לחקות באופן משביע רצון את הסגנון של כותב מסוים. עם היכולת לקלוט הרבה יותר נתונים טקסטואליים ממה שיכול לקלוט כל מוח אנושי, מודלי שפה מסוגלים לרמה גבוהה של קישוריות בין רעיונות שונים – יכולת שעומדת במוקד החשיבה היצירתית האנושית.

אבל – לא בטוח ש"הבזק יצירתי" אנושי, שמוביל ליצירה של רעיון חדש, מבוסס בהכרח על קישור של כמות גדולה של רעיונות, אלא על אופי הרעיונות המקושרים ועל הבחירה לקשור יחד שני עולמות תוכן שלא הייתה נעשית בהכרח על ידי דפוסים סטטיסטיים של מכונה.

בנובמבר 2022 הודיעה חברת openAI על השקת המודל ChatGPT, בעל יכולות חסרות תקדים: הוא אינו מוגבל לנושא שיחה ספציפי ויכולתו המשמעותית ביותר היא ניסוח התשובות בשפה טבעית. עם זאת, מי שניסה לשאול אותו שאלות בתחום דעת שהוא בקיא בו בוודאי שם לב שהמודל עושה לא מעט טעויות, עד כדי כך שאפילו מנכ"ל החברה סם אלטמן הודיע שהמודל מוגבל ושאין להסתמך לחלוטין על אמיתוּת המידע בו.

ChatGPT אומן על יותר מ-550 ג'יגה בייט של נתונים כתובים, תוך שימוש בכ-175 מיליארד פרמטרים. מודלי שפה שונים, למשל Bert שהוא מודל שבין היתר כלול בתוך ChatGPT, מבוססים על פרמטרים. פרמטרים הם משתנים בעלי ערכים שהמודל לומד במהלך האימון שלו, ושמשמשים אותו כדי לחזות באמצעות שיקולים הסתברותיים מילה שחסרה במשפט בהינתן המילים הסמוכות.

בשלב הראשון, המודל מאומן על טקסט קיים שבו חסרה מילה, ולאחר שהוא מציע השלמה הוא מקבל פידבק לגבי טיב ההשלמה – האם היא נכונה או לא. במקרה שלא, המודל מסוגל לתקן את עצמו בהתאם. אם נחשוב על הפרמטרים כעל מחוונים של מכונה שצריכה לייצר מוצר מסוים, הרי שבכל פעם, בהתאם לאיכות התוצר שהיא ייצרה, המכונה מסוגלת לשנות את המחוונים כדי להשתפר בפעם הבאה.

ChatGPT עצמו, כפי שמסביר הכותב, מבוסס על מודל מורכב מעט יותר, שאינו מתבסס ישירות על קבלת המידע הרצוי מראש: הוא לא רק משלים מילה חסרה במשפט, אלא יוצר את המילה הבאה בהתבסס על כל הקודמות. לפיכך, מודל זה מסוגל גם לבצע few-shot learning ואף zero-shot learning, כלומר ללמוד ממספר קטן של דוגמאות ולהכליל מתוכן דוגמאות חדשות.

יכולת נוספת של המודל מכונה attention mechanisms – הרעיון הוא להתמקד בחלקים מסוימים של הטקסט ולא באחרים, ולהתחשב בכך בהערכות שלו ובמידע שהוא מוציא. הדבר מאפשר ל-ChatGPT לקשר בין חלקים רחוקים יותר בטקסט, וניתן לדמות זאת ל"הקשר רחב" במקום "הקשר צר" הכולל את הסביבה הסמוכה למילה בלבד.

כפי שניתן להסיק מאופן הפעולה של המודל, התשובות שהוא יספק תלויות במידע שעליו הוא התאמן – שרובו נכתב באנגלית. עם זאת, האלגוריתם שלו מאפשר לו "ללמוד" גם שפות אחרות על ידי ניתוח תחבירי-מבני של טקסטים בשפות אלה.

מוחסן מסכם כי אלגוריתמים אינם מסוגלים לייצר משמעויות חדשות של ממש, אך מנגד יהיה מוגזם לטעון שהם רק "מכונות להעתקה" של הרעיונות שהם קיבלו כקלט. עמדתו של הכותב אינה מקורית במיוחד וכנראה רווחת בקרב רבים מחוקרי השימוש בבינה מלאכותית למטרות יצירתיות – מי שהתנסה בכך יתקשה לטעון שמדובר בדקלום גרידא. עם זאת, בסופו של הטקסט מציע מוחסן כיוון מחשבה אחר ומעניין יותר – ייתכן שהעיסוק בשאלה האם בינה מלאכותית מסוגלת או לא לייצר שירה גדולה תחזיר לתודעה הציבורית, ובפרט לזו של אנשים צעירים, את אותה שירה גדולה של משוררים אמיתיים. ואולי דווקא כאן טמון תפקידה של המכונה בקידום היצירתיות והתרבות?

נטע איפרגן היא מתרגמת וכותבת בצוות "פרויקט אופק" במכון ון ליר בירושלים