Reef TRHאב-טיפוס עונה על שאלה אחת: האם זה אפשרי? מערכת בפרודקשן עונה על שאלה קשה יותר. האם זה עדיין עובד נכון ביום שלישי אקראי, כשמפעיל אותו מישהו שלא היה בחדר כשבנו אותה, בבוקר שבו היא נשברת לחצי? כמעט כל פרויקט AI שנתקע בהמשך עבר את השאלה הראשונה בקלות. בשאלה השנייה הם מתו.
לכן העבודה המועילה לפני אור ירוק היא לא להתפעל מאב-הטיפוס. היא לחקור אותו לעומק. שתים-עשרה שאלות עושות את רוב העבודה הזו, והן מתחלקות לארבעה דברים שפיילוט חייב לשרוד: הדאטה שלו, הימים הרעים שלו, השעה 2 בלילה שלו, והכלכלה שלו עצמו. שימו לב תוך כדי, כמה מעטות מהן באמת עוסקות במודל.
התייחסו לכל שאלה כשער, לא כטופס ניקוד. אתם לא מחפשים שתים-עשרה תשובות מרגיעות; אתם מחפשים את האחת שבה התשובה הכנה היא "עדיין לא יודעים". התשובה הזו היא הממצא. היא מספרת לכם היכן הפרויקט ייתקע, בזמן שההיתקעות היא עדיין שורה במסמך תכנון ולא חירום בחודש השישי.
האם הדאטה שורד את המפגש עם המציאות?
יותר פיילוטים מתים על הדאטה מאשר על כל החלטת מידול, וכלום מזה לא נראה באב-טיפוס שקיבל דגימה מסודרת בלילה שלפני. התחילו בשאלה הכי פשוטה שיש: איפה באמת יושב הדאטה שהיוזקייס הזה צריך, ומיהו האדם האחד שיכול להסביר את הקפריזות של כל מקור? אם אתם לא יכולים לנקוב בשמות המערכות והאנשים, אתם לא יכולים לתמחר את העבודה. אתם רק מנחשים אותה.
אחר כך שאלו על מה ההדגמה באמת רצה. דוגמאות מלוקטות מוכיחות את הרעיון ומסתירות את הבלגן, את השדות החצי-ריקים, את הרשומה ששינוי שם משנת 2019 הותיר עמומה, את השדה שכל אחת משלוש מחלקות ממלאת אחרת. הבלגן הזה הוא לא שגיאה שמחכה לניקוי; הוא העסק, מתועד בכנות, וזה בדיוק מה שהמודל פוגש ברגע שהוא יורד מהבמה. ושאלו למה הדבר הזה צריך להתחבר: מערכת הזמנות בת חמש-עשרה שנה, עם מגבלות קצב, הזדהות וכללי דאטה משלה, תעלה לא פעם יותר הנדסה מהמודל עצמו. מפו את זה לפני שאתם מתחייבים, לא אחרי.
אפשר לסמוך על התשובה ביום רע?
הדגמה היא תרחיש מיטבי מתוסרט. פרודקשן הוא כל תרחיש, כולל אלה שאיש לא תרגל. אז, יש לכם סט הערכה ורף איכות שהייתם מגנים עליהם בישיבה, או רק תחושה טובה? אי אפשר להעלות לאוויר את מה שאי אפשר למדוד, ו"זה עובד" נשאר תחושה עד שיש מאחוריו סט מתויג.
אחר כך, מקרה הקצה שההדגמה מעולם לא ראתה: ההדבקה הפגומה, השאלה שאיש לא צפה. החליטו על מנגנוני הגיבוי, על הגבולות הנוקשים ועל הדרך הבטוחה להיכשל, והתייחסו אליהם כאל המוצר עצמו ולא כטלאי שמדביקים בהמשך. והחליטו, עוד לפני ההשקה, איך תתפסו תשובה שגויה ובוטחת לפני שהלקוח יתפוס אותה. מעקות בטיחות, בקרה אנושית, ניטור, משהו עם שם ובעלים. מערכת הסתברותית תמציא בסוף מדיניות שלא קיימת; השאלה האמיתית היחידה היא אם אתם או הלקוח שלכם תגלו אותה קודם.
מי מפעיל את זה ב-2 בלילה?
העלאת המודל לאוויר היא המקום שבו העבודה מתחילה, לא נגמרת. אז נקבו בשם הבעלים: מי אחראי על זה בפרודקשן ב-2 בלילה כשזה קורס? אם התשובה היא "האנשים שבנו את ההדגמה, בזמן הפנוי שיישאר להם", למערכת אין בעלים אמיתי, ומערכות בלי בעלים נרקבות. החליטו גם מה מקומו של לוח הבקרה (סחף, השהיה, עלות, איכות) ומי באמת עוקב אחריו, כי מודלים מתדרדרים בשקט ככל שהעולם משתנה תחתיהם. ועמדו על דרך חזרה: מתג כיבוי, ומסלול חזרה למצב התקין האחרון הידוע. אם אין דרך בטוחה לכבות את זה, זה לא מוכן להדלקה.
האם בכלל שווה לבנות את זה?
ל-AI יש כלכלת יחידה, ולפעמים הממצא הכן הוא שזה הכלי הלא נכון. חשבו את העלות המלאה לכל קריאה (הטוקנים הם החשבון הגלוי; הערכה, תשתית, תחזוקה ופיקוח אנושי הם כל השאר), ושקללו ערך-לכל-קריאה כפול נפח מול הסכום הכולל הזה, לא מול מחיר ה-API לבדו. שאלו אם חוק, סקריפט או שליפה ממסד נתונים יעשו את אותה עבודה בזול ובאופן צפוי יותר; להרבה משימות זה אכן כך, ואת המודל כדאי לשמור לחלק שבאמת זקוק לו. לבסוף, הגדירו את הפרוסה הקטנה ביותר ששווה להעלות לאוויר ואת המספר הספציפי שעובר את הרף. אור ירוק צריך להיות סף שהסכמתם עליו מראש, לא תחושה בחדר סקירה.
אלה שתים-עשרה. ענו עליהן בכנות ולא תסירו את הסיכון. תזיזו אותו. ההפתעות היקרות עוברות מהחודש השישי אל החדר שבו הן עדיין לא עולות יותר משיחה לא נעימה.
שאלות שלקוחות באמת שואלים
הדגמה שעובדת היא לא כבר הוכחה שזה יעבוד בפרודקשן? לא. הדגמה מוכיחה שהרעיון אפשרי על קלטים שבחרתם. פרודקשן בוחן אותו על אלה שלא בחרתם, תחת אילוצי האינטגרציה, הבעלות והעלות שההדגמה מעולם לא נגעה בהם.
כמה זמן צריך לקחת להריץ את הצ'קליסט הזה? אחר צהריים, עם שלושת או ארבעת האנשים הנכונים בחדר: מי שאחראי על הדאטה, מי שיפעיל אותו, ומי שמחזיק בתקציב. אם אתם לא מצליחים להושיב אותם סביב שולחן, זה הממצא הראשון שלכם.
מה אם אנחנו לא יכולים לענות על כמה מהשאלות? מצוין. מצאתם את הפערים בזמן שהם היו זולים. שאלות ללא מענה הן מפה של איפה להסתכל קודם, לא גזר דין שהפרויקט אבוד. הכישלון הוא לפגוש אותן בפעם הראשונה בחודש השישי.
העבירו כל פיילוט דרך אלה לפני שאתם מתחייבים אליו במפת דרכים. אלה ששורדים את השאלות שווים ספרינט יישום ולא עוד אב-טיפוס; אלה שלא, ממילא היו נכשלים, רק מאוחר יותר ובאופן יקר יותר, בבית הקברות של אבות-הטיפוס.