איך צ'אט AI "עונה" לכם, בעצם
המודל, המנוע שמאחורי הצ'אט, למד מכמות עצומה של טקסטים, ועכשיו הוא משלים מילה אחרי מילה את מה שהכי סביר שיבוא. הוא מנבא את המילים הבאות לפי דפוסים מהטקסטים שלמד מהם. לכן התשובה זורמת ומשכנעת גם כשהיא לא נכונה.
שתי טעויות נפוצות לגבי מה שקורה מאחורי הקלעים. הוא לא מחפש באינטרנט בזמן אמת, אלא אם באפליקציה מופעל חיפוש ברשת: בלי חיפוש, התשובה באה מ"הזיכרון" של המודל, לא מהרשת. והוא גם לא שולף תשובה ממאגר עובדות שמישהו בדק ואישר: אין מאחוריו טבלת עובדות בדוקה. הוא למד דפוסים מהמון טקסטים, ואף אחד לא סימן בהם מה נכון ומה לא.
כשהדיוק חשוב לכם: בקשו מקור, ואמתו אותו בעצמכם.
ככה נראית הזיה: הטלפון של המשרד הממשלתי
ביקשתם מהצ'אט טלפון ושעות קבלה של לשכה ממשלתית, וקיבלתם בביטחון מספר טלפון ושעות מדויקות. זה רע, גם אם זה נראה מועיל.
המודל השלים פרטים שהוא לא באמת יודע: זו הזיה. הוא לא "נכנס עכשיו לאתר הממשלתי והעתיק משם את הפרטים", וזה לא מצב שבו "יש מספר ויש שעות, אז אפשר פשוט להתקשר".
מספר טלפון הוא בדיוק הפרט שמודל שפה "משלים" לפי דפוס: קידומת, 7 ספרות, שעות שנשמעות הגיוניות. הוא לא בדק כלום, אבל הניסוח בטוח. ככה נראית הזיה: ספציפית, חלקה ושגויה.
מה עושים: בודקים במקור. חפשו את המספר באתר הרשמי (gov.il), לא בצ'אט. אם המספר שה-AI נתן לא מופיע שם, הוא כנראה הומצא.
והתשובה הטובה: "אני לא יכול לאמת את זה"
אותה שאלה, תשובה אחרת: ה-AI עונה שהוא לא יכול לאמת מספר טלפון עדכני, מפנה לאתר gov.il ומציע לעזור למצוא אותו שם. זו תשובה טובה, ולא מובנת מאליה.
"אני לא יכול לאמת את זה" היא מהתשובות הכי טובות שתקבלו. כאן המודל מודה שהוא לא בטוח, ומפנה אתכם למקום שבו המידע באמת נמצא. זו לא עצלות ("במקום לענות, הוא שלח אתכם לחפש לבד"), וזה לא שהוא לא הבין את השאלה. זו תשובה שאפשר לסמוך עליה.
מה עושים: ככה ממשיכים. קבלו את ההצעה, בקשו מהצ'אט לעזור למצוא את הדף הנכון באתר הרשמי, וקחו את המספר משם.
אז מה זו הזיה, בהגדרה
תשובה זורמת ובטוחה, שפשוט לא נכונה. בהזיה המודל ממציא עובדה, שם, מספר או ציטוט, ומנסח אותם כאילו הם ודאיים. זה קורה כי הוא בנוי להשלים טקסט סביר, לא לבדוק מה נכון.
מה הזיה לא: היא לא ההודעה שבה המודל אומר שהוא לא יודע. להפך, "אני לא יודע" זו תשובה טובה; הזיה היא דווקא תשובה שנשמעת בטוחה לגמרי. והיא גם לא תשובה עם שגיאות כתיב ומשפטים מבולבלים: הזיות דווקא כתובות יפה. הבעיה היא התוכן, לא הניסוח.
כלל אצבע: ככל שהפרט ספציפי יותר ואין לו מקור, כך כדאי לחשוד יותר.
לידע של המודל יש תאריך
שאלתם מה חדש בתחום שלכם, וה-AI ענה שהידע שלו מעודכן רק עד תאריך מסוים, והמליץ לבדוק במקור עדכני. זו תשובה טובה: המודל אומר שלידע שלו יש תאריך, ומפנה למקור עדכני. הוא לא מתחמק כדי לא להתחייב, והוא לא מקולקל. הוא לא אמור לדעת מה קרה השבוע.
לזה קוראים תאריך העדכון של הידע: הטקסטים שהמודל למד מהם נאספו עד נקודה מסוימת. מה שקרה אחר כך, הוא פשוט לא ראה. מודל שאומר את זה במפורש חוסך לכם טעות.
לכן, אם שאלתם על חדשות מהבוקר וקיבלתם תשובה מפורטת, יש סיבה לחשוד: בלי חיפוש ברשת הוא לא יודע מה קרה הבוקר. פירוט לא מעיד על אמת, המודל יודע לפרט יפה גם כשהוא ממציא. והוא לא "קורא את החדשות כל בוקר, כמו כולם": חדשות מגיעות אליו רק אם האפליקציה הפעילה חיפוש ברשת, ואז תראו קישורים.
קיבלתם תשובה בלי קישורים למקורות? המודל כנראה "השלים" חדשות שנשמעות הגיוניות. חפשו סימן שהאפליקציה באמת חיפשה ברשת: קישורים, שמות אתרים, תאריכים. אין? פתחו אתר חדשות. לעדכונים: בדקו באתר חדשות או באתר רשמי, ואם באפליקציה יש חיפוש ברשת, הפעילו אותו ושימו לב שהתשובה מגיעה עם קישורים.
מודל שפה הוא לא מחשבון
ביקשתם מהצ'אט לחשב מע"מ על חשבונית, והתוצאה לא מסתדרת עם המחשבון. למה? כי מודל שפה מנבא מילים, הוא לא מחשבון. ה-AI כותב ספרות כמו שהוא כותב מילים: לפי מה שנראה סביר. ביטחון בניסוח לא מעיד על דיוק, וגם באנגלית הוא טועה בחשבון. הבעיה היא שהוא מנחש במקום לחשב, לא השפה.
כשהמספרים חשובים (חשבונית, משכורת, מינון), בדקו תמיד במחשבון. רוצים בכל זאת שהצ'אט יחשב? כתבו: "חשב צעד אחרי צעד והראה את החישוב". ככה קל לתפוס טעות, ובחלק מהאפליקציות המודל גם מפעיל כלי חישוב, ואז הוא מדויק יותר.
הוא זוכר מה סיפרתם לו בשיחה אחרת לפני שבוע?
לא בהכרח. כל שיחה מתחילה מאפס, אלא אם באפליקציה מופעל "זיכרון". השיחה היא ההקשר של המודל: מה שכתוב בה, הוא רואה; שיחה אחרת, לא בהכרח. בתוך אותה שיחה הוא בדרך כלל רואה את כל מה שנכתב בה. הפער הוא בין שיחות.
זיכרון בין שיחות הוא תכונה נפרדת שלא קיימת בכל אפליקציה, וגם כשהיא קיימת, היא לא שומרת הכול. חשוב לכם שהוא יזכור משהו משיחה קודמת? הדביקו את זה שוב, או פתחו את השיחה הישנה מהיסטוריית השיחות והמשיכו בה. ברוב האפליקציות יש גם "זיכרון" בין שיחות, שמפעילים ומכבים בהגדרות.
עובדה אחת לדרך
GPT הם ראשי תיבות של Generative Pre-trained Transformer. ה"טרנספורמר" הוא הארכיטקטורה שמאחורי רוב מודלי השפה של היום, והיא הוצגה ב-2017 במאמר של חוקרים מ-Google בשם "Attention Is All You Need".
רשימת החשדות
- פרט ספציפי מאוד (מספר טלפון, שעות, שם, ציטוט) בלי מקור שאפשר לפתוח.
- תשובה מפורטת על מה שקרה היום או השבוע, בלי קישורים ובלי סימן שהאפליקציה חיפשה ברשת.
- חישוב שלא בדקתם במחשבון.
- ההנחה ש"הוא בטח זוכר" משהו משיחה אחרת.
ומה דווקא מרגיע: "אני לא יכול לאמת את זה", הפניה למקור רשמי, תאריך עדכון שנאמר במפורש, ותשובה שמגיעה עם קישורים.