Reef TRHלקוח שאל פעם את עוזר התמיכה החדש והנוצץ של חברה אם אפשר להחזיר מוצר אחרי 45 יום. העוזר ענה מיד, בחמימות ובביטחון מוחלט: כן, בוודאי, יש לכם 90 יום. המדיניות האמיתית הייתה 30. אף אחד מעולם לא סיפר למודל מה המדיניות, אז כשלא הייתה לו תשובה, הוא עשה מה שמודלים כאלה עושים ופלט משהו שנשמע נכון בול.
ההמצאה הזאת, שנאמרת בביטחון כזה, היא הדרך המהירה ביותר לאבד אמון ב-AI, ויש לה שורש אחד: העוזר ענה מהזיכרון של עצמו במקום מהעובדות של החברה. התיקון הוא לא מודל חכם יותר. הוא לתת למודל את המקורות שלכם ולהתעקש שיענה מהם.
לענות מהמקורות, לא מהזיכרון
מערכת מעוגנת עושה משהו שצ'אטבוט רגיל לא. לפני שהיא עונה, היא מאחזרת מתוך החומר שלכם את הקטעים שבאמת נוגעים לשאלה, מדיניות ההחזרות, החוזה החתום, הרשומה של הלקוח עצמו, ומעבירה אותם למודל יחד עם השאלה והוראה אחת: תענה רק ממה שקיבלת עכשיו, ותראה מאיפה כל טענה הגיעה. עכשיו הלקוח שומע: 30 יום לפי מדיניות ההחזרות, עם קישור לסעיף. הציטוט הוא לא קישוט. הוא הדרך שבה אדם בודק את התשובה תוך שניות, במקום סתם להאמין לה.
ללמד אותו להגיד שהוא לא יודע
החצי השני של העיגון הוא רשות לסרב. כשהמקורות שאוחזרו באמת לא מכילים את התשובה, המערכת צריכה לומר זאת ולהעביר את השאלה לאדם, לא לטשטש את הפער בבדיה שוטפת. זו אותה משמעת של רף ביטחון שעומדת מאחורי ההוכחה שה-AI לא טועה עוד לפני ההשקה: מתחת לרף שנקבע, הוא מוותר במקום לנחש. עוזר שמכיר את גבולות הידע שלו שימושי הרבה יותר, ובטוח הרבה יותר, מעוזר שבטוח בעצמו תמיד.
התשובה טובה בדיוק כמו מה שהוא מצליח לקרוא
עיגון הופך בשקט את הדיוק לבעיה של אחזור. אם המסמך הנכון חסר, מתויג לא נכון, או מפוזר בין שלוש מערכות, למודל אין על מה לעגן את התשובה ואתם חוזרים לנחש. לכן עבודה רצינית של AI מעוגן מתחילה בדרך כלל דווקא בחלק הלא זוהר: לנקות ולסדר את המקורות, ולהגדיר מי מורשה לראות מה, כדי שהעוזר יאחזר תמיד רק את מה שהשואל מורשה לראות. עוזר של חברת ביטוח אחת המשיך להמציא תשובות עד שנעשתה בדיוק העבודה הזאת, ואותו שכתוב שתיקן את הדיוק הוא זה שהפך אותו לבטוח מספיק כדי להעמיד אותו מול העובדים.
הפער בין צ'אטבוט שעושה הדגמה מרשימה לבין מערכת שאפשר להעמיד מול לקוח או רגולטור הוא לא רהיטות. הוא שאלת המקור: מאיפה התשובה הגיעה. אחזרו את התשובה ממקור אמיתי, צטטו אותו, ותנו למערכת להודות בפערים שהיא לא יכולה למלא. ביטחון זול, ומודל ייתן לכם אותו בחינם. לתת תשובה נכונה, ולהיות מסוגלים להראות על מה היא נשענת, זה מה ששווה לבנות.
שאלות נפוצות
מה זה אומר לעגן את התשובה של AI?
זה אומר שהמערכת מאחזרת את הקטעים הרלוונטיים מהמסמכים שלכם, ומורה למודל לענות רק מהם, תוך ציטוט המקור, במקום להסתמך על הזיכרון הכללי של המודל. כל תשובה אפשר להתחקות אחריה עד המסמך שממנו הגיעה.
האם עיגון ימנע מה-AI להמציא דברים?
העיגון מפחית את ההמצאות בחדות, במיוחד בשילוב עם רף ביטחון שגורם למערכת לומר שהיא לא יודעת ולהעביר את השאלה לאדם כשהמקורות שאוחזרו לא מכסים אותה, במקום להמציא תשובה שוטפת.
האם אנחנו צריכים דאטה מושלם לפני שמתחילים?
לא, אבל התשובה תמיד טובה בדיוק כמו מה שהמערכת מצליחה לאחזר. ניקוי, ארגון ותיחום של המקורות המרכזיים הם חלק מהעבודה, לא תנאי מקדים שחייבים לסיים קודם.