Reef TRH"אשפה נכנסת, אשפה יוצאת" הוא הדבר הכי מרגיע שאפשר להגיד על פרויקט AI שנכשל, כי הוא מצביע על בעיה שנדמה לכם שאפשר לשפשף ולהעלים. נקו את הדאטה, כך הולך ההיגיון, והמודל יתנהג יפה. זה סיפור מנחם, והוא בעיקר שגוי. האמונה בו היא הדרך שבה תקציב של רבעון שלם נעלם בשקט.
רוב הדאטה הארגוני אינו מלוכלך במובן שהביטוי הזה מרמז עליו. הוא כן. הוא מתעד בנאמנות חמש עשרה שנים של עסק אמיתי: הרכישה שהותירה שתי טבלאות לקוחות שמעולם לא ממש הסתדרו זו עם זו, קודי המוצר שמישהו הגדיר מחדש ב-2019, השדה האחד שכל אחת משלוש מחלקות ממלאת אחרת, כי כל אחת פתרה בעיה אחרת. שום דבר מזה אינו שגיאה שמחכה שינקו אותה. זה העסק, כתוב על הנייר, וזה בדיוק השטח שהמודל שלכם חייב לחצות ברגע שהוא יורד מהבמה.
למה ההדגמה שיקרה לכם
אב-טיפוס זוכה למחיאות הכפיים שלו על סט שהולבש במיוחד לאירוע. הדוגמאות נבחרות להיות מייצגות וחד-משמעיות; הרשומות הבעייתיות מונחות בשקט במגירה, כי מטרת ההדגמה היא להוכיח שרעיון אפשרי, לא לשרוד את המפגש עם המציאות. מה שהחדר קורא כאינטליגנציה של המודל הוא, לעתים קרובות יותר משמישהו מוכן להודות, העבודה הבלתי נראית של מי שסידר את הדאטה בלילה הקודם.
בפרודקשן אין מגירה כזאת. הוא מגיש לאותו מודל הזנה חיה ממערכות שמעולם לא תוכננו לדבר זו עם זו, ומבקש ממנו להיות צודק לגבי הרשומה המבולגנת האחת שמולו, ולא לגבי הממוצע המסודר. המודל לא נעשה גרוע יותר בין הפיץ' לפיילוט. התזונה שלו כן. זה המנגנון השקט שמאחורי ארבעה מכל חמישה פיילוטים שלעולם לא מגיעים למשתמש אמיתי: לא מודל חלש, אלא מודל מורעב.
כלומר, העבודה המכרעת מתרחשת מוקדם יותר משרוב הצוותים מצפים, ואין לה שום קשר לבחירת מודל.
הקריאה שאתם עושים לפני כל שורת קוד של מודל
עוד לפני שקיימת שורת קוד אחת של אימון או אינטגרציה, אתם כבר יכולים לומר אם פרויקט ניתן לבנייה, על ידי חקירה של הקרקע שמתחתיו. איפה באמת יושב הדאטה שהיוזמה הזאת נשענת עליו, ומיהו האדם היחיד שמבין כל מקור מספיק טוב כדי להסביר את המוזרויות שלו? עד כמה הוא שלם בדיוק בשדות שהמודל צריך לפעול לפיהם (לא במצטבר, אלא רשומה אחר רשומה), וכמה הוא מיושן עד שמישהו בכלל קורא אותו? האם מערכת יכולה להגיע אליו בזמן אמת דרך ממשק אמיתי, או שהכול נשען בסתר על ייצוא ידני ועל מישהו שזוכר להריץ אותו ביום שני?
ואז מגיעות השאלות שאין להן שום קשר לאיכות הדאטה, ויש להן כל קשר לשאלה אם התשובה בכלל נכנסת לשימוש. האם הפלט נוחת בתוך התהליך של אדם אמיתי, ברגע שבו הוא מקבל את ההחלטה שהוא אמור לשנות, והאם הוא מכבד את החריגים שהתהליך הזה מטפל בהם היום ידנית? ברגע שרשומות אמיתיות נכנסות למשחק, מה מותר למודל לראות, מי רשאי לראות את מה שהוא מפיק, ומה חייב להירשם כדי שאפשר יהיה להגן על החלטה גם שנה אחר כך? אלה לא שיקולים שמברגים בדיעבד אחרי ההשקה. אלה התכנון עצמו.
ענו עליהן בכנות, ולא תגיעו לדאטה מושלם, כי לאף אחד אין דבר כזה. תגיעו למשהו שימושי יותר: מפה שמראה בדיוק איפה הקרקע רכה, כמה יעלה לחזק אותה, והאם בכלל שווה להתחיל בפרויקט, בזמן שהתשובות האלה עדיין זולות לשמוע. זו כל העבודה של אבחון מוכנות. הוא לא מנקה את הדאטה שלכם. הוא קורא את הדאטה שלכם בכנות מספקת כדי לענות על השאלה שההדגמה מעולם לא יכלה: לא אם הרעיון עובד, אלא אם הוא ישרוד את העסק שלכם.