בפלטפורמה שמריצה מיליוני חיפושים ביום, התוצאה בראש העמוד היא כל המשחק. אצלם, התוצאה הזו הייתה לרוב שגויה, ושכבת ה-AI שנועדה לעזור לעיתים תיארה בריכה, נוף או מחיר שפשוט לא היו קיימים. אז המטיילים עזבו.
החיפוש שלהם ידע להתאים מילים מדויקות, אבל לא את מה שאדם באמת התכוון אליו. בקשו "מלון שקט למשפחות עם בריכה מחוממת" והדירוג התפרק, כי הוא קרא מילות מפתח והחמיץ את הכוונה שמאחוריהן. הנכס הנכון היה בקטלוג; הוא פשוט מעולם לא הגיע לראש העמוד.
בתור פלסטר, החברה הרכיבה שכבת מענה גנרטיבית. היא החמירה את המצב בדרך חדשה: היא הצהירה בביטחון על מתקנים, מרחקים ומחירים שלא היו אמיתיים. מטייל שהזמין על סמך פרט מומצא לא נשאר לקוח מרוצה לאורך זמן.
מתחת לשתי הבעיות ישב אותו פער. המודלים אומנו על אותות אוטומטיים בלי שום בדיקה אנושית של איכות, ולא היה סט ייחוס מאומת ומתויג לאמן מולו. בלי אותו עוגן, הדיוק נשחק בשקט לאורך זמן ואף אחד לא יכול היה למדוד בכמה.
סט ייחוס מאומת, מודלים מכוילים לכוונה, ובדיקות עובדות שלעולם לא ישנות.
בנינו תהליך סקירה שבו מומחי סיווג עברו על מאות אלפי שאילתות חיפוש אמיתיות, דירגו את איכות התוצאות, והזינו משוב מדויק ומובנה חזרה למערכת.
העבודה המתויגת הזו הפכה לסט ייחוס מאומת: הדאטה האיכותי ביותר שהארגון החזיק אי פעם, והעוגן לאימון המודלים ולמדידת הדיוק לאורך זמן.
בעזרת הדאטה המאומת, אימנו מחדש את מודלי החיפוש וההמלצה לחבר את כוונת המטייל להתאמה הטובה ביותר בקטלוג, כך שמשפט מורכב וטבעי מחזיר את המקום הנכון, לא את מילת המפתח הקרובה ביותר.
חיברנו סוכנים שצופים בשכבת המענה הגנרטיבית בזמן אמת ומצליבים את מה שהיא מפיקה מול מסד הנתונים העובדתי של החברה, ותופסים פרט מומצא ברגע שהוא מופיע.
כל דבר שהבדיקות לא יכולות לייחס למקור מהימן נחסם לפני שמשתמש בכלל רואה אותו. המערכת מעדיפה להראות פחות מאשר להראות משהו שאינו נכון.
אותן בדיקות רצות ברציפות, כך שהרלוונטיות מחזיקה והמודלים לא נסחפים בשקט חזרה להתנהגות הישנה ברגע שההשקה מסתיימת.
התאמות טובות יותר ואפס פרטים מומצאים הפכו גלישה להזמנות.
הדיוק והרלוונטיות של התוצאות בעמוד הראשון עלו בכ-35%, מה שהעלה את המעורבות מיד. יותר מ-200,000 שאילתות תויגו ודורגו בתהליך, והפכו לנכס הדאטה החזק ביותר של הארגון לכל מה שיבוא הלאה.
הדיווחים על האתר שמציג פרטים מומצאים או שגויים ירדו ב-80%, ושיעור ההמרה מחיפוש להזמנה בפועל טיפס איתם. אנשים מצאו את מה שהתכוונו אליו, בטחו במה שראו, והשלימו את ההזמנה.
אי אפשר להגיע לרלוונטיות בכיול על דאטה שאף אחד לא בדק. השיפור הגיע קודם כול מסט הייחוס המאומת, אחר כך מהכיול, ואז מבדיקות העובדות ששומרות על השכבה הגנרטיבית ישרה בפרודקשן. זה אותו לקח שמאחורי עבודת מוכנות הדאטה שלנו: המודל לעיתים נדירות היה הדבר השבור. הדאטה היה.
הדאטה הקליני של חברת מדטק היה נעול תחת חוקי פרטיות. מנוע ל-de-identification ב-AI הסווה את פרטי המטופל אך שמר על האות הקליני, שחרר טרה-בייטים בבטחה וקיצר את מחזור הפיתוח בכ-60%, בציות מלא ל-HIPAA.
לפרויקט המלא ← מוכנות דאטה · ביטוחה-AI של קבוצת ביטוח ישראלית מובילה המשיך להזות. גילינו שהמקור הוא אי-התאמה של כ-30% בדאטה, בנינו מחדש את הצינור, ושמנו רצפת ביטחון נוקשה של 85% מתחת לכל תשובה.
לפרויקט המלא ←
Reef TRH