Reef TRH"זבל נכנס, זבל יוצא" הוא הדבר הכי מרגיע שאפשר להגיד על פרויקט AI שנכשל, כי הוא מצביע על בעיה שנדמה לכם שאפשר לשפשף ולהעלים. נקו את הדאטה, ההיגיון אומר, והמודל יתנהג יפה. זה סיפור מנחם, והוא בעיקר שגוי. להאמין בו זו הדרך הבטוחה לשרוף תקציב של רבעון שלם בלי לשים לב.
רוב הדאטה הארגוני אינו מלוכלך במובן שהביטוי הזה מרמז עליו. הוא דובר אמת. הוא מתעד בנאמנות חמש עשרה שנים של עסק אמיתי: הרכישה שהותירה שתי טבלאות לקוחות שמעולם לא ממש הסתדרו זו עם זו, קודי המוצר שמישהו הגדיר מחדש ב-2019, השדה האחד שכל אחת משלוש מחלקות ממלאת אחרת, כי כל אחת פתרה בעיה אחרת. שום דבר מזה אינו שגיאה שמחכה שינקו אותה. זה העסק, כתוב על הנייר, וזה בדיוק השטח שהמודל שלכם חייב לחצות ברגע שהוא יורד מהבמה.
למה ההדגמה שיקרה לכם
אב-טיפוס זוכה למחיאות הכפיים שלו על סט שהולבש במיוחד לאירוע. הדוגמאות נבחרות להיות מייצגות וחד-משמעיות; הרשומות הבעייתיות מונחות בשקט במגירה, כי מטרת ההדגמה היא להוכיח שרעיון אפשרי, לא לשרוד את המפגש עם המציאות. לעתים קרובות הרבה יותר משנהוג להודות, מה שהחדר מפרש כאינטליגנציה של המודל הוא בעצם העבודה הבלתי נראית של מי שסידר את הדאטה בלילה הקודם.
בפרודקשן אין מגירה כזאת. הוא מגיש לאותו מודל הזנה חיה ממערכות שמעולם לא תוכננו לדבר זו עם זו, ומבקש ממנו לדייק דווקא ברשומה המבולגנת האחת שמולו, לא בממוצע המסודר. המודל לא נעשה גרוע יותר בין הפיץ' לפיילוט. התזונה שלו כן. זה המנגנון השקט שמאחורי ארבעה מכל חמישה פיילוטים שלעולם לא מגיעים למשתמש אמיתי: לא מודל חלש, אלא מודל מורעב.
כלומר, העבודה המכרעת מתרחשת מוקדם יותר משרוב הצוותים מצפים, ואין לה שום קשר לבחירת מודל.
הקריאה שאתם עושים לפני כל שורת קוד של מודל
עוד לפני שקיימת שורת קוד אחת של אימון או אינטגרציה, אתם כבר יכולים לדעת אם פרויקט ניתן לבנייה, רק מתוך חקירה של הקרקע שמתחתיו. איפה באמת יושב הדאטה שהיוזמה הזאת נשענת עליו, ומיהו האדם היחיד שמבין כל מקור מספיק טוב כדי להסביר את המוזרויות שלו? עד כמה הוא שלם בדיוק בשדות שהמודל צריך לפעול לפיהם (לא במצטבר, אלא רשומה אחר רשומה), וכמה הוא מיושן עד שמישהו בכלל קורא אותו? האם מערכת יכולה להגיע אליו בזמן אמת דרך ממשק אמיתי, או שהכול נשען בסתר על ייצוא ידני ועל מישהו שזוכר להריץ אותו ביום שני?
ואז מגיעות השאלות שאין להן שום קשר לאיכות הדאטה, וכל הקשר שלהן הוא לשאלה אם התשובה בכלל נכנסת לשימוש. האם הפלט נוחת בתוך התהליך של אדם אמיתי, ברגע שבו האדם מקבל את ההחלטה שהפלט אמור לשנות, והאם הוא מכבד את החריגים שהתהליך הזה מטפל בהם היום ידנית? ברגע שרשומות אמיתיות נכנסות למשחק, מה מותר למודל לראות, מי רשאי לראות את מה שהוא מפיק, ומה חייב להירשם כדי שאפשר יהיה להגן על החלטה גם שנה אחר כך? אלה לא שיקולים שמברגים בדיעבד אחרי ההשקה. אלה התכנון עצמו.
ענו עליהן בכנות, ולא תגיעו לדאטה מושלם, כי לאף אחד אין דבר כזה. תגיעו למשהו שימושי יותר: מפה שמראה בדיוק איפה הקרקע רכה, כמה יעלה לחזק אותה, והאם בכלל שווה להתחיל בפרויקט, כל עוד התשובות האלה עדיין זולות לשמוע. זו כל העבודה של אבחון מוכנות. הוא לא מנקה את הדאטה שלכם. הוא קורא את הדאטה שלכם בכנות מספקת כדי לענות על השאלה שההדגמה מעולם לא יכלה: לא אם הרעיון עובד, אלא אם הוא ישרוד את העסק שלכם.