איך אתם יודעים שה-AI שלכם צודק?

החדר מלא, המסך למעלה, וה-AI התנהג בצורה מושלמת לאורך שלושה שבועות של הדגמות. מישהו מושיט יד למתג שיעמיד אותו מול לקוחות אמיתיים, וקול שקט יותר שואל את השאלה היחידה שחשובה: איך אנחנו באמת יודעים שהוא צודק? לאף אחד אין מספר. יש להם תחושה טובה.

תחושה טובה היא לא ראיה. לא לומדים אם AI צודק מהדגמה, לומדים את זה מהערכה: בדיקה מכוונת של המערכת מול מקרים שבהם התשובה הנכונה כבר ידועה לכם, שמריצים לפני שהיא פוגשת לקוח ושוב ושוב אחרי זה. הדגמה מראה שה-AI יכול להיות צודק פעם אחת. הערכה מראה כמה פעמים הוא צודק, ובדיוק היכן הוא לא.

ההדגמה היא הראיה המסוכנת ביותר שיש לכם

הדגמה היא סרט תקצירים. היא מריצה את המסלול המושלם על קלט ידידותי שנבחר בידי מי שבנה אותה. פרודקשן הוא ההפך: עומס המקרים של יום שלישי אחר הצהריים, המסמך הסרוק שמונח קצת עקום, הלקוח שמתאר את הבעיה לא נכון. לשפוט AI לפי ההדגמה שלו זה כמו לשפוט מכונית לפי אולם התצוגה. זה בדיוק הפער של מחיאות הכפיים בחדר מול השקט בפרודקשן שמשאיר כל כך הרבה פיילוטים תקועים, וחלק גדול מהסיבה שרובם אף פעם לא מגיעים לפרודקשן.

כתבו את מפתח התשובות לפני שאתם סומכים על התשובה

הערכה דורשת סט זהב: כמה מאות מקרים אמיתיים שנשלפו מהעבודה שלכם עצמכם, לכל אחד התוצאה הנכונה שאדם כבר אישר. לא הקלים, אלא המייצגים, ובכוונה גם המקרים הקשים, הנדירים והרגישים שבהם תשובה שגויה עולה ביוקר. אז מריצים את ה-AI על פני הסט ומודדים ארבעה דברים:

• כמה פעמים הוא צודק על פני כל הסט.
• כמה פעמים הוא צודק בפרוסה הקשה, המקרים המביכים שבהם הדגמות נכשלות בשקט.
• איך נראית תשובה שגויה בפועל, כדי שתבינו את הכשל, לא רק את השיעור שלו.
• האם הוא יגיד "אני לא בטוח" במקום להמציא תשובה בביטחון.

רק עכשיו יש לכם מספר במקום תחושה, ומשהו שאתם יכולים להצדיק מול כל מי ששואל.

קבעו רף שלא תחצו

ההערכה היא זו שאומרת לכם היכן הרף הזה צריך לשבת. זה המהלך שהופך את "זה בדרך כלל עובד" ל"זה עובד, והנה בדיוק מה שקורה כשלא". זה ההבדל בין AI שאתם יכולים לערוב לו לבין כזה שאתם יכולים להוכיח.

הערכה היא הרגל, לא אבן דרך

העולם ממשיך לזוז אחרי ההשקה. מודלים סוחפים, הדאטה שלכם משתנה, ספק משנה פורמט, והמספר של אתמול מתיישן. הערכה חד-פעמית היא תצלום, פרודקשן צריך שידור חי. המערכות ששורדות מריצות את הבדיקה שוב ושוב ומרימות דגל ברגע שהדיוק יורד, אותה משמעת כמו סוכני בדיקת עובדות שחוסמים כל טענה שהם לא יכולים לעקוב אחריה עד מקור אמין. אם מדדתם רק פעם אחת, אתם לא יודעים אם ה-AI שלכם צודק היום. אתם יודעים שהוא צדק ביום שבו הסתכלתם. אילו בדיקות להריץ לפני ההשקה הראשונה זו רשימה נפרדת, וכתבנו אותה.

שום דבר מזה לא זוהר, ושום דבר מזה לא מופיע בהדגמה. זו בדיוק הנקודה. "איך אתם יודעים שזה צודק?" נשמעת כמו שאלה טכנית, אבל היא באמת שאלה על אמון: אי אפשר למסור ללקוח, או לרגולטור, AI שאתם יכולים לערוב לו רק בעזרת תחושה טובה. בנו קודם את מפתח התשובות. הביטחון מגיע אחר כך.

שאלות נפוצות

מה ההבדל בין הדגמה להערכה?

הדגמה מראה שה-AI יכול להיות צודק פעם אחת, על קלט שמישהו בחר. הערכה מודדת כמה פעמים הוא צודק על פני מאות מקרים אמיתיים, כולל אלה ששוברים הדגמות.

כמה גדול צריך להיות סט ההערכה?

גדול מספיק כדי לכסות את הטווח האמיתי שלכם, כולל מקרים קשים ונדירים. כמה מאות דוגמאות מובחרות ומאומתות בידי אדם עדיפות על אלפי דוגמאות קלות.

צריך דאטה נקי לפני שאפשר להעריך AI?

לא. המקרים המבולגנים הם כל העניין, כי שם ה-AI נכשל בפרודקשן. לבנות את סט ההערכה זה חלק מהעבודה, לא תנאי מקדים שחייבים לסיים קודם.