Reef TRHהעוזר ענה תוך כארבע שניות. מנהל צוות שירות לקוחות הזין פנייה עצבנית במיוחד (חיוב כפול, החזר כספי שלא הגיע, ולקוח מתוסכל שכבר כותב את ההודעה השלישית שלו), והמודל החזיר תשובה רגועה, מדויקת, שירותית להפליא ומותאמת בדיוק לטון של המותג. לנציג אנושי זה היה לוקח חמש עשרה דקות ואישור של מנהל משמרת. מישהו בחדר אפילו מחא כפיים, והפיילוט קיבל אור ירוק עוד לפני ארוחת הצהריים.
אחד עשר שבועות לאחר מכן, הוא עדיין לא עלה לאוויר. אף אחד לא ביטל אותו, לא ממהרים לבטל פרויקט שנראה כל כך טוב בחדר הישיבות. הוא פשוט נתקע, נטוש באזור הדמדומים של ה-"כמעט מוכן", המקום שבו רוב פיילוטי ה-AI הולכים למות בשקט.
הסיפור הבא מבוסס על שילוב של מספר מקרים: הפרטים שונו, אך הדפוס מדויק לחלוטין. כבר הוזעקנו לחדר הישיבות הזה יותר מפעם אחת.
מה ההדגמה נועדה להסתיר
דמו הוא הצגה, וכמו כל הצגה, הוא מבוים. ההדגמה הזו רצה על עשרים פניות שנבחרו בפינצטה, כאלה שהצוות ידע מראש שהמודל יפתור בקלות. היא התממשקה למערכת אחת בלבד, לקריאה בלבד, והורצה מקומית על מחשב נייד מול קהל שרצה מאוד בהצלחתה. אין בזה שום דבר פסול, זה פשוט הטבע של דמו. הבעיה היא שאף עסק לא מתנהל בתנאי מעבדה כאלה.
ברגע שחיברנו אותו לתיבת המייל האמיתית, העוזר פגש את ה-90% הנותרים: שרשורים בשלוש שפות שונות, צילומי מסך במקום טקסט, ומספרי הזמנות ששמורים במערכות שהדמו בכלל לא הכיר. המודל לא קרס בצורה ברורה, הוא עשה משהו שפוגע באמון בצורה קשה בהרבה: הוא ענה בביטחון עצמי מופרז בזמן שטעה לחלוטין, המציא מדיניות החזרים שלא הייתה ולא נבראה, והתחייב על זמני אספקה שהחברה מעולם לא הציעה.
אב-טיפוס מוכיח שרעיון יכול לעבוד באופן נקודתי, בתנאים מבוקרים לחלוטין. הוא לא מלמד דבר על מה שיקרה כשהוא ייזרק לתוך תיבת המייל העמוסה של יום שלישי אחר הצהריים, כשהוא מחובר למערכות המידע האמיתיות שלכם, ובלי שאף אחד מפקח עליו. אלו שתי בעיות שונות לחלוטין, והפיילוט פתר רק את הראשונה שבהן.
ואז הגענו לתשתיות הדאטה. חיבור העוזר למערכת ההזמנות (כדי שיפסיק לנחש ויוכל לאמת חיובים בפועל) התברר כעיקר העבודה: מגבלות קצב, מנגנוני אימות, ומדיניות שמירת דאטה שהמחלקה המשפטית נזכרה להעלות ברגע האחרון. ומעל לכל זה ריחף פער שקט ומטריד יותר: היעדר בעלות. היה לפרויקט שגריר נלהב בארגון, אבל לא היה לו מפעיל בשטח, אף אחד שתפקידו לקחת אחריות בשתיים בלילה כשהמערכת שולחת ללקוח תשובה שגויה.
מה באמת הביא אותו לקו הסיום
תהליך העלייה לאוויר נמשך כמעט תשעה שבועות, וכמעט שום חלק ממנו לא נגע למודל עצמו. התחלנו במיון אגרסיבי: מה אפשר להציל, מה חייבים לכתוב מחדש, ואילו תקלות הן קריטיות ולא רק קוסמטיות. הקונספט היה נכון והעבודה על הפרומפטים הייתה טובה, אבל כל המעטפת שמסביב פשוט לא הייתה קיימת.
אז קודם כל בנינו מחדש את תשתיות הדאטה וחיברנו אותן ישירות לתיבת המייל האמיתית במקום למדגם הסטרילי, כדי שהעוזר יוכל לאמת נתוני הזמנה בפועל במקום להמציא אותם. הטמענו guardrails קריטיים: הגדרנו מגבלות נוקשות על כל פעולה כספית, קבענו רף ביטחון שמתחתיו המערכת מנסחת טיוטה אך לא שולחת אותה אוטומטית, והגדרנו חתימת אדם על כל החזר כספי מעל סכום מסוים. הוספנו מערכת ניטור, כדי שכל ירידה בביצועים תתריע בלוח הבקרה עוד לפני שהיא הופכת לתלונה זועמת של לקוח. לבסוף, מינינו גורם אחראי, אדם אחד שמנהל את העוזר הווירטואלי בדיוק כמו כל מערכת ליבה אחרת בפרודקשן.
אף אחד מהדברים האלה לא נשמע סקסי כמו פער הביצוע שמדברים עליו בהרצאות פתיחה חגיגיות, אבל ככה נראה פער הביצוע ביום רביעי רגיל במשרד. המרחק בין אב-טיפוס שמציג היתכנות לבין מערכת יציבה שעסק יכול להישען עליה הוא כמעט אף פעם לא בעיה של מידול; הוא תלוי בדאטה, ב-guardrails ובבעלות ברורה, אותו פיתוח אפור שבשלב הדמו מותר לדלג עליו. פיילוט שנתקע בשבוע האחד-עשר שלו הוא בדיוק סוג המקרים ששירות חילוץ לפרודקשן שלנו נועד לפתור.
כשהוא עלה סוף סוף לאוויר, הוא לא ניסה לפתור את הכל. הוא טיפל ב-60% מהפניות שבהן יכול היה לטפל בבטחה, העביר את השאר לטיפול אנושי, וידע לזהות במדויק מה שייך לאן. ככה נראית מערכת שמוכנה לפרודקשן, וזה הרבה פחות פוטוגני מהדמו.
שאלות נפוצות
למה רוב פיילוטי ה-AI נתקעים דווקא אחרי דמו מוצלח? מפני שדמו ומערכת פרודקשן מתמודדים עם אתגרים שונים לחלוטין. הדמו רץ על קלטים שנבחרו מראש מול קהל שרוצה בהצלחתו; פרודקשן מתמודד עם קלטים מפתיעים, אינטגרציות מורכבות ותקלות שמישהו חייב לקחת עליהן אחריות. המודל עצמו הוא כמעט אף פעם לא הבעיה.
כמה זמן לוקח להעלות פיילוט תקוע לפרודקשן? במקרה הזה זה לקח כמעט תשעה שבועות, שרובם הוקדשו לתשתיות הדאטה, ל-guardrails, לניטור ולניהול הבעלות, ולא למודל עצמו. התשובה הכנה תלויה בשאלה על כמה שלבי פיתוח חיוניים דילגו בפיילוט המקורי, וזה בדיוק מה שאנחנו ממפים בתהליך אבחון מהיר.
אתם בונים מחדש או מתקנים את מה שקיים? מתקנים, בכל מקום שבו זה מתאפשר. הקונספט והעבודה על הפרומפטים לרוב מצוינים, ונקודות התורפה נמצאות במעטפת שמסביב. טיפול ממוקד בנקודות אלו הוא מהיר וכלכלי בהרבה מאשר להתחיל מאפס.
אף אחד לא מחא כפיים כשהמערכת עלתה לאוויר. לא נשמעה קריאת תדהמה בחדר הישיבות ולא היה סבב טפיחות על השכם, זה היה סתם יום שלישי שקט, שבו התור זז קצת יותר מהר, והמדדים בלוח הבקרה נשארו יציבים ובטווח התקין. בסופו של דבר, זה הסימן האמיתי. פיילוטים שקוצרים תשואות הם כאלה שנבנו כדי להרשים במצגות; פיילוטים ששורדים בפרודקשן נבנו כדי שאפשר יהיה לסמוך עליהם בעיניים עצומות.