Reef TRHהעוזר ענה תוך כארבע שניות. מוביל צוות שירות הדביק פנייה ממש מרושעת (חיוב כפול, החזרה שנעלמה, לקוח שלוש הודעות עמוק בתוך אובדן הסבלנות) והמודל חזר עם תשובה רגועה, מדויקת, מתנצלת כמו שצריך ומותאמת לשפת המותג. לנציג אנושי זה היה לוקח חמש עשרה דקות ומבט של מפקח. מישהו בחדר ממש מחא כפיים. הפיילוט קיבל אור ירוק עוד לפני הצהריים.
אחת עשרה שבועות אחר כך הוא עדיין לא היה באוויר. אף אחד לא ביטל אותו. לא מבטלים משהו שנראה כל כך טוב בחדר. הוא פשוט נתקע, נטוש ב"כמעט מוכן" האינסופי שבו רוב פיילוטי ה-AI הולכים למות בשקט.
הסיפור שבהמשך הוא הרכבה: הפרטים שונו, הדפוס מדויק. קראו לנו לחדר הזה יותר מפעם אחת.
מה ההדגמה נבנתה כדי להסתיר
הדגמה היא הופעה, וכמו כל הופעה היא מבוימת. זו רצה על עשרים פניות נבחרות ביד שהצוות כבר ידע שהמודל מטפל בהן היטב. היא נגעה במערכת אחת, לקריאה בלבד, על מחשב נייד. צפו בה אנשים שרצו שהיא תצליח. אין בזה שום דבר לא ישר. זה פשוט מה שהדגמה היא. הבעיה היא שעסק לא מתנהל באף אחד מהתנאים האלה.
כשהופנה לתיבת הדואר האמיתית, העוזר פגש את שאר ה-90%. שלוש שפות בשרשור אחד. צילום מסך במקום שבו היה אמור להיות משפט. מספר הזמנה שחי במערכת שההדגמה מעולם לא חוברה אליה. המודל לא קרס בצורה ברורה. הוא עשה משהו גרוע יותר לאמון. הוא נשאר בטוח בעצמו בזמן שבשקט טעה, המציא מדיניות החזרים שמעולם לא הייתה קיימת וציטט התחייבות למועד אספקה שהחברה לא הציעה.
אב-טיפוס מוכיח שרעיון יכול לעבוד פעם אחת, בתנאים שאתם שולטים בהם. הוא לא אומר כלום על השאלה אם הוא עובד על תיבת הדואר של יום שלישי אחר הצהריים, מחובר למערכות שמחזיקות את הדאטה שלכם, כשאף אחד לא מסתכל. אלה בעיות שונות, והפיילוט פתר רק את הראשונה.
ואז הייתה הצנרת. לחבר את העוזר למערכת ההזמנות (הדבר שיאפשר לו להפסיק לנחש ובאמת לבדוק חיוב) התברר כרוב העבודה האמיתית: מגבלות קצב, אימות, וכלל שמירת דאטה שהמחלקה המשפטית העלתה מאוחר. ומתחת לכל זה, פער שקט יותר. אף אחד לא היה הבעלים של הדבר. היה לו שגריר נלהב ואף מפעיל, אף אחד שהתפקיד שלו לענות עליו בשתיים בלילה כשהוא אומר ללקוח משהו לא נכון.
מה באמת העביר את זה את הקו
להעלות את זה לאוויר לקח בערך תשעה שבועות, וכמעט שום דבר מזה לא היה עבודה על המודל. זה התחיל במיון בוטה: מה ניתן להצלה, מה חייב להיבנות מחדש, ואילו כשלים היו קטלניים ולא קוסמטיים. הרעיון היה תקין והעבודה על הפרומפט הייתה בסדר. כל מה שמסביב לו היה חסר.
אז בנינו קודם מחדש את נתיב הדאטה, מול תיבת הדואר האמיתית במקום מול המדגם הנבחר, כדי שהעוזר יוכל לבדוק הזמנה במקום לדמיין אחת. הוספנו את המעקות שהיו חשובים: מגבלות קשיחות על כל דבר שנוגע בכסף, סף ביטחון שמתחתיו המערכת מנסחת תשובה אבל לא שולחת אותה, ואדם על כל החזר מעל סכום מסוים. הוספנו ניטור, כך שירידה באיכות תופיע על לוח בקרה במקום בתלונה זועמת. ומינינו אחראי, אדם אחד שאחראי על העוזר בדיוק כמו שהיה אחראי על כל מערכת אחרת בפרודקשן.
שום דבר מזה הוא לא איך שפער הביצוע נראה בנאום פתיחה. זה איך שהוא נראה ביום רביעי. המרחק בין אב-טיפוס שמוכיח רעיון לבין מערכת שעסק יכול להתנהל עליה הוא כמעט אף פעם לא בעיה של מידול; הוא דאטה, מעקות ובעלות, ההנדסה הלא זוהרת שלהדגמה מותר לדלג עליה. פיילוט שנתקע בשבוע האחד עשר שלו הוא בדיוק סוג הדבר שחילוץ לפרודקשן קיים כדי לסגור.
כשהוא סוף סוף עלה לאוויר, הוא לא טיפל בהכל. הוא טיפל ב-60% מהפניות שהוא יכול היה לטפל בהן בבטחה, הסלים את השאר, והיה כן לגבי מה שייך לאן. ככה נראה משהו שמוכן לפרודקשן, וזה הרבה פחות פוטוגני מההדגמה.
שאלות נפוצות
למה רוב פיילוטי ה-AI נתקעים אחרי הדגמה מוצלחת? כי ההדגמה ומערכת הפרודקשן פותרות בעיות שונות. ההדגמה רצה על קלטים נבחרים וקהל שרוצה שהיא תנצח; הפרודקשן מתמודד עם הקלטים שלא בחרת, האינטגרציות האמיתיות, והכשל שמישהו צריך לקחת עליו אחריות. המודל הוא כמעט אף פעם לא הבעיה.
כמה זמן לוקח להעלות פיילוט תקוע לפרודקשן? זה לקח בערך תשעה שבועות, כמעט כולם בנתיב הדאטה, במעקות, בניטור ובבעלות ולא במודל. התשובה הכנה תלויה בכמה מההנדסה הזאת הפיילוט המקורי דילג, וזה מה שבדיקת מיון קצרה נועדה לברר.
אתם בונים מחדש או מתקנים את מה שקיים? מתקנים, בכל מקום שאפשר. הרעיון והעבודה על הפרומפט לרוב תקינים; מצבי הכשל יושבים סביבם. לכוון אליהם מהיר וזול יותר מלהתחיל מדף חלק.
אף אחד לא מחא כפיים כשזה עלה לאוויר. לא הייתה שאיפת אוויר בחדר ישיבות, לא סבב מחיאות כפיים, רק יום שלישי שקט, תור שזז קצת יותר מהר, ומספר על לוח בקרה שנשאר איפה שהוא צריך. זה הסימן, בסוף. הפיילוטים שזוכים למחיאות כפיים הם אלה שנבנו כדי שיצפו בהם. אלה ששורדים נבנו כדי שיסמכו עליהם כשאף אחד לא מסתכל.