Reef TRHאב-טיפוס עונה על שאלה אחת: האם זה בכלל אפשרי? מערכת בפרודקשן עונה על שאלה קשה בהרבה: האם היא עדיין עובדת כמו שצריך ביום שלישי רגיל, כשמפעיל אותה מישהו שלא היה בחדר כשבנו אותה, בבוקר שבו משהו בה מתחיל להתפרק? כמעט כל פרויקט AI שנתקע בהמשך עבר את השאלה הראשונה בקלות. השנייה היא שהרגה אותו.
לכן העבודה שחשובה לפני אור ירוק היא לא להתפעל מאב-הטיפוס. היא לתחקר אותו. שתים-עשרה שאלות עושות את רוב המלאכה, והן מתחלקות לארבעה דברים שפיילוט חייב לשרוד: הדאטה שלו, הימים הרעים שלו, השעה 2 בלילה שלו, והכלכלה שלו עצמו. שימו לב תוך כדי כמה מעט מהן עוסקות באמת במודל.
התייחסו לכל שאלה כשער, לא כטופס ניקוד. אתם לא מחפשים שתים-עשרה תשובות מרגיעות; אתם מחפשים את זו שעליה התשובה הכנה היא "עדיין לא יודעים". התשובה הזו היא הממצא. היא מצביעה על המקום שבו הפרויקט ייתקע, כל עוד ההיתקעות היא עדיין שורה במסמך תכנון ולא מקרה חירום בחודש השישי.
האם הדאטה שורד את המפגש עם המציאות?
יותר פיילוטים מתים בגלל הדאטה מאשר בגלל כל החלטת מידול, ושום דבר מזה לא מופיע באב-טיפוס שקיבל דגימה מסודרת בלילה שלפני. התחילו מהשאלה הכי פשוטה שיש: איפה באמת יושב הדאטה שהתרחיש הזה צריך, ומי האדם האחד שיודע להסביר את המוזרויות של כל מקור? אם אתם לא יכולים לנקוב בשמות המערכות והאנשים, אתם לא יכולים לתמחר את העבודה. אתם רק מנחשים אותה.
אחר כך שאלו על מה ההדגמה באמת רצה. דוגמאות נבחרות מוכיחות את הרעיון ומסתירות את הבלגן: את השדות החצי-ריקים, את הרשומה שנשארה עמומה אחרי שינוי שם ב-2019, את השדה שכל אחת משלוש מחלקות ממלאת אחרת. הבלגן הזה הוא לא תקלה שמחכה שמישהו ינקה אותה; הוא העסק עצמו, מתועד בכנות, וזה בדיוק מה שהמודל פוגש ברגע שהוא יורד מהבמה. ושאלו לאילו מערכות הדבר צריך להתחבר: מערכת הזמנות בת חמש-עשרה שנה, עם מגבלות קצב, הזדהות וכללי דאטה משלה, תעלה לא פעם יותר פיתוח מהמודל עצמו. מפו את זה לפני שאתם מתחייבים, לא אחרי.
אפשר לסמוך על התשובה ביום רע?
הדגמה היא תרחיש מיטבי מתוסרט. פרודקשן הוא כל תרחיש, כולל אלה שאיש לא תרגל. אז יש לכם סט הערכה ורף איכות שהייתם מגנים עליהם בישיבה, או רק תחושה טובה? אי אפשר להעלות לאוויר את מה שאי אפשר למדוד, ו"זה עובד" נשאר תחושה עד שיש מאחוריו סט מתויג.
אחר כך מקרה הקצה שההדגמה מעולם לא ראתה: ההדבקה הפגומה, השאלה שאיש לא צפה. החליטו על מנגנוני הגיבוי, על הגבולות הנוקשים ועל הדרך הבטוחה להיכשל, והתייחסו אליהם כאל המוצר עצמו ולא כטלאי שמדביקים בהמשך. והחליטו עוד לפני ההשקה איך תתפסו תשובה שגויה שנשמעת בטוחה לחלוטין לפני שהלקוח יתפוס אותה. מעקות בטיחות, בקרה אנושית, ניטור, משהו עם שם ובעלים. מערכת הסתברותית תמציא בסוף מדיניות שלא קיימת; השאלה האמיתית היחידה היא אם אתם או הלקוח שלכם תגלו אותה קודם.
מי מפעיל את זה ב-2 בלילה?
העלאת המודל לאוויר היא המקום שבו העבודה מתחילה, לא נגמרת. אז נקבו בשם הבעלים: מי אחראי על זה בפרודקשן ב-2 בלילה כשזה קורס? אם התשובה היא "האנשים שבנו את ההדגמה, בזמן הפנוי שיישאר להם", למערכת אין בעלים אמיתי, ומערכות בלי בעלים נרקבות. החליטו גם מה צריך להופיע על לוח הבקרה (סחף, השהיה, עלות, איכות) ומי באמת עוקב אחריו, כי מודלים מתדרדרים בשקט ככל שהעולם משתנה תחתיהם. ועמדו על דרך חזרה: מתג כיבוי, ומסלול חזרה למצב התקין האחרון הידוע. אם אין דרך בטוחה לכבות את זה, זה לא מוכן להדלקה.
האם בכלל שווה לבנות את זה?
ל-AI יש כלכלת יחידה, ולפעמים הממצא הכן הוא שזה פשוט הכלי הלא נכון. חשבו את העלות המלאה לכל קריאה (הטוקנים הם החשבון הגלוי; הערכה, תשתית, תחזוקה ופיקוח אנושי הם כל השאר), ושקללו ערך-לכל-קריאה כפול נפח מול הסכום הכולל הזה, לא מול מחיר ה-API לבדו. שאלו אם כלל פשוט, סקריפט או שליפה ממסד נתונים יעשו את אותה עבודה בזול ובאופן צפוי יותר; להרבה משימות זה אכן כך, ואת המודל כדאי לשמור לחלק שבאמת זקוק לו. לבסוף, הגדירו את החלק הקטן ביותר ששווה להעלות לאוויר ואת המספר הספציפי שעובר את הרף. אור ירוק צריך להיות סף שהסכמתם עליו מראש, לא תחושה בחדר סקירה.
אלה שתים-עשרה. ענו עליהן בכנות ולא תסירו את הסיכון. תזיזו אותו. ההפתעות היקרות עוברות מהחודש השישי אל החדר שבו הן עדיין לא עולות יותר משיחה לא נעימה.
שאלות שלקוחות באמת שואלים
הדגמה שעובדת היא לא כבר הוכחה שהמערכת תעבוד בפרודקשן? לא. הדגמה מוכיחה שהרעיון אפשרי על קלטים שבחרתם. פרודקשן בוחן אותו על אלה שלא בחרתם, תחת אילוצי האינטגרציה, הבעלות והעלות שההדגמה מעולם לא נגעה בהם.
כמה זמן אמור לקחת להריץ את הצ'קליסט הזה? אחר צהריים, עם שלושת או ארבעת האנשים הנכונים בחדר: מי שאחראי על הדאטה, מי שיפעיל אותו, ומי שמחזיק בתקציב. אם אתם לא מצליחים להושיב אותם סביב שולחן, זה הממצא הראשון שלכם.
מה אם אנחנו לא יכולים לענות על כמה מהשאלות? מצוין. מצאתם את הפערים בזמן שהם היו זולים. שאלות ללא מענה הן מפה שמראה לאן להסתכל קודם, לא גזר דין שהפרויקט אבוד. הכישלון הוא לפגוש אותן בפעם הראשונה בחודש השישי.
העבירו כל פיילוט דרך השאלות האלה לפני שאתם מתחייבים אליו במפת דרכים. אלה ששורדים את השאלות שווים ספרינט יישום ולא עוד אב-טיפוס; אלה שלא, ממילא היו נכשלים, רק מאוחר יותר ובאופן יקר יותר, בבית הקברות של אבות-הטיפוס.