מחקר שהתבסס על נתוני גלישה ממאות עיתונים מקוונים מעמיד בספק את אחד מעיקרי האמונה של עורכי חדשות: שישנם כללים לניסוח כותרת פופולרית.

אתרי חדשות שנאבקים למשוך קוראים פיתחו עם השנים שורה של מתכונים לקליקבייט מוצלח: כותרות עם סימן שאלה, עם משפט שלילה, עם מספרים מפוצצים, עם קלישאות כמו "כל מה שצריך לדעת על". אבל חוקרים במעבדה לעיתונאות חישובית באוניברסיטת נורת'ווסטרן, שניתחו עשרות אלפי תוצאות ממערכות הניטור של אתרי חדשות, לא מצאו שום כלל שמאפשר לנבא מראש איזו כותרת תמשוך יותר קוראים.

שני החוקרים, מנהל המעבדה לעיתונאות חישובית ניק דיאקופולוס ועוזר המחקר ניק האגר, התבססו על תוצאות של בדיקות A/B, כלי שגרתי באתרי החדשות שמסייע לעורכות ולעורכים להכריע בין כותרות חלופיות לאותה כתבה. בדיקות A/B דומות לניסוי מדעי: באי האתר מחולקים תחילה לכמה קבוצות, ולכל קבוצה מוצגת חלופה שונה. מערכות הניטור של האתר מודדות את שיעור הקוראים בכל קבוצה שהחליטו להיכנס לכתבה. בתום כמה דקות מוכרזת הכותרת המנצחת.

מחקר קודם שערכו אותם חוקרים העלה שבדיקות A/B הן אמצעי יעיל למדי להכריע בין כותרות אפשריות לכתבה נתונה, והסתמכות עליהן אכן עשויה להגדיל את מספר הכניסות ב-20% ויותר. בחירת הכותרת במקרה בודד מבוססת על ניסוי וטעייה: העורכים הוגים כמה רעיונות, מזינים אותם למערכת המחשב, שולחים אותם להתחרות בזירה ועוקבים אחרי תוצאות המירוץ. ההנחה המתבקשת היא שאחרי מאות ואלפי מבדקים כאלה, העורכים מסוגלים לגזור מהם המלצות סגנוניות לניסוח הכותרת הבאה.

את ההנחה הזאת ביקשו דיאקופולוס והאגר להעמיד למבחן במחקר החדש. לשם כך הם נעזרו בבסיס נתונים ענק, ובו תוצאות של 141 אלף בדיקות A/B שנעשו לצמדי כותרות ב-293 אתרי חדשות באמצעות מערכת צ'ארטביט (Chartbeat). צ'ארטביט היא מערכת נפוצה לניתוח נתוני גלישה באתרי חדשות, ומשמשת כלי עבודה יומיומי גם במערכות עיתונים בישראל. ההשערה היתה שמחשב שיוזן בתוצאות הבדיקות האלה ובהיבטים שונים של ניסוח כותרות יוכל, באמצעות למידת מכונה (machine learning), לנבא איזו כותרת תנצח במקרה חדש.

בדיקת A/B לכותרות במערכת "צ'ארטביט" (צילום מסך מאתר "צ'ארטביט")

"להפתעתנו", מדווחים החוקרים, "מצאנו ששום מאפיין סגנוני של ניסוח הכותרת לא השפיע במידה ניכרת על הצלחת הניבוי. קיימות ראיות מוגבלות לחוכמות המקובלות בענף: כותרות שליליות השיגו תוצאות טובות יותר במקרים מסוימים, וכך גם כותרות קצרות ופשוטות. ביטויי-קליקבייט כמו 'הנה' ו'הזה' אכן יכולים לעזור (בשורה רעה מנקודת המבט של חוויית המשתמש). אבל כשניסינו להיעזר במאפיינים האלה כדי לנבא תוצאות של בדיקות A/B, התועלת הייתה מוגבלת ביותר. אדרבה, רוב-רובם של המאפיינים לא שיפרו את כוח הניבוי של המודל כמלוא הנימה. לא גילינו את נשק יום הדין שישפר את הביצועים של הכותרת בכל המקרים".

המסקנה של דיאקופולוס והאגר היא שהבדלים בקליק-בייטיות של כותרות בכל מקרה ומקרה נובעים בעיקר מנסיבות חיצוניות, ולא מהמבנה הלשוני שלהן. אחד הממצאים שתומכים בכך הוא שכאשר נערכה תחרות בין אותן שתי כותרות בנקודות זמן שונות, תוצאות המירוץ לא היו עקביות. הכותרת המפסידה היתה דווקא המנצחת, לפחות ברבע מהבדיקות. החוקרים ממליצים אפוא לעורכות ולעורכים באתרים להשתמש בבדיקות A/B בענווה: הן יכולות לפתור לבטים לגבי כותרת בודדת, ברגע נתון, אבל אין טעם לקפוץ מהן למסקנות כלליות.

פרטים מלאים על הניסוי התפרסמו בכתב העת Digital Journalism. כדי לקרוא אותם תצטרכו להיפרד, כמקובל בכתבי עת מדעיים, מסכום מפולפל של 45 דולר. החוקרים סיכמו את עיקרי המסקנות באתר המכון לחקר העיתונות NiemanLab.