Reef TRH2%. זה בערך החלק שחשבון ה-API, המספר היחיד שכולם שמים על השקף, מצליח ללכוד מתוך עלות התפעול האמיתית של פיצ'ר AI. קחו צוות תמיכה בגודל בינוני שמטפל בשמונת אלפים אימיילים בחודש. עלות הטוקנים של העברת כולם דרך מודל שיעשה מעבר ראשון קטנה מספיק כדי להיראות כמו שגיאת עיגול לצד משכורת אחת, וזו בדיוק הסיבה שמציגים אותה. על שקף, המספר הזה סוגר את העסקה.
הוא גם המספר הכי מטעה בכל התחשיב. לא שגוי. הטוקנים באמת עולים כל כך מעט. פשוט זעירים, ומציגים אותם כאילו הם כל החשבון. ההוצאה על טוקנים היא הקצה הגלוי של העלות. כמעט כל מה שמחזיק את הפיצ'ר באוויר יושב מתחת לקו המים, ואף אחד מהדברים האלה לא צף עד שכבר התחייבתם.
חשבון הטוקנים הוא שגיאת עיגול
הקריאה למודל היא החלק היחיד בפיצ'ר AI שהוא זול, נמדד וצפוי. המחיר שלו מפורסם ואפשר לבדוק אותו בדקה. מה שאי אפשר לבדוק הוא כמה עולה להפוך את הפלט הזה לבטוח מספיק כדי לפעול לפיו, וזה בדיוק החלק שאתם באמת קונים.
קחו את הפיצ'ר של שמונת אלפים האימיילים ותמחרו אותו כמו שצריך, ולא באופטימיות.
גם אחרי ניסיונות חוזרים אמיתיים ופרומפטים ארוכים ממה שמישהו העריך, הטוקנים נשארים השורה הקטנה ביותר בגיליון. בדיקה אנושית של הפלח שהמודל לא יכול לשלוח בעצמו בבטחה (כ-40% מהנפח, תשעים שניות לפריט) עולה פי כמה מכל חשבון הטוקנים. מערך ההערכה, לוחות הבקרה והתראות הסחף עולים אף יותר כשפורסים אותם על פני השנה הראשונה. מעקות הבטיחות והאינטגרציה שנשברת בכל פעם שספק משנה endpoint מוסיפים עוד שורה מאותו סדר גודל. הרכיבו את הגיליון, והטוקנים מהווים בערך חלק אחד מתוך חמישים.
כלומר, המספר על השקף הוא בערך 2% מעלות התפעול של הפיצ'ר. מצגת המכירה מציגה את השורה הזולה ביותר וקוראת לה המחיר.
חברו את החלקים שאף אחד לא מתמחר
פרקו את הפיצ'ר לגורמים, ותגלו שאתם משלמים על חמישה דברים שההדגמה מעולם לא הייתה צריכה לקנות:
- הערכה, מערך בדיקה מתויג ותשתית שמוכיחה שהדבר עדיין עובד אחרי כל שינוי בפרומפט וכל עדכון מודל.
- מעקות בטיחות, הוולידציה שתופסת תשובה בטוחה, רהוטה ושגויה לפני שלקוח קורא אותה.
- בדיקה אנושית, הפלח שהמודל לא יכול לקחת עליו בעלות, מתומחר בשעות, כל חודש מחדש.
- ניטור וזיהוי סחף, לדעת שהאיכות ירדה לפני שהלקוחות שלכם הם אלה שמספרים לכם.
- תחלופת מודלים, בדיקה חוזרת של כל הפיצ'ר בכל פעם שהספק מתמחר מחדש, מוציא משימוש, או "משפר" בשקט את המודל שתחתיכם.
אף אחד מאלה אינו תוספת אופציונלית. הם המרחק בין פיצ'ר שרץ לבין פיצ'ר שרק רץ פעם אחת, בהדגמה, ביום טוב.
העלויות שמגיעות בחודש השלישי
החלק האכזרי הוא התזמון. החשבון שאפשר לחזות מראש (טוקנים, סבב בדיקות) הוא הקטן והמוקדם. העלויות היקרות נוחתות מאוחר יותר, אחרי שהחידוש התפוגג והקלטים האמיתיים הגיעו.
בפיצ'ר שלמעלה, עלות התפעול החודשית בערך שולשה בין ההשקה לחודש השלישי, כשניסיונות חוזרים, נפח בדיקות ותור אסקלציות הפכו למציאות.
האיכות מתדרדרת ככל שהקלטים משתנים, אז ערימת הבדיקות גדלה במקום להצטמצם. הספק מוציא משימוש את המודל שעליו בניתם ונותן לכם תשעים יום להגר ולבדוק מחדש. מקרה קצה שמעולם לא הופיע בפיילוט מתחיל לייצר קריאות שירות זועמות, ומישהו צריך להיות זמין בשבילו ב-2 בלילה. עלות התפעול חושפת את צורתה האמיתית רק כשהפיצ'ר נושא תעבורה אמיתית, אותה מלכודת בדיוק שמותירה את רוב פיילוטי ה-AI הרחק מפרודקשן.
תקצבו את המערכת, לא את הקריאה
לתמחר AI לפי הקריאה ל-API זה כמו לתמחר חברת שליחויות לפי מחיר הדלק: אמיתי, קל למדידה, וכמעט שותק לגבי מה שנדרש כדי להפעיל את הצי. יחידת העלות שחשובה היא לא הטוקן אלא תוצאה אמינה, שנשמרת יציבה חודש אחר חודש בזמן שהקלטים משתנים ומודלים באים והולכים.
המספר הזה פחות מרגש מזה שבעמוד התמחור, אבל שימושי הרבה יותר. הוא גם ניתן לחיזוי מראש, כי שורות העלות צפויות אם רק טורחים לחפש אותן. אבחון מוכנות ל-AI קיים כדי לשים מספר אמיתי על עומס הבדיקות, הניטור והבדיקות החוזרות, לפני שאתם מאשרים תקציב שבנוי על מחיר הטוקן בלבד.
שאלות נפוצות
כמה באמת עולה להריץ פיצ'ר AI בפרודקשן? עלות הטוקנים או ה-API היא בדרך כלל חלק קטן (לרוב פחות מ-5%) מהסך החודשי. עיקר העלות הוא בדיקה אנושית של מה שהמודל לא יכול לטפל בו לבד, הערכה וניטור, מעקות בטיחות, ובדיקות חוזרות בכל פעם שהמודל משתנה. פיצ'ר שחשבון הטוקנים שלו נראה זניח יכול להסתתר בקלות בתוך עלות תפעול גדולה פי חמישים.
למה עלות ה-API היא חלק כל כך קטן מהסך הכולל? כי הקריאה למודל היא החלק היחיד שהוא זול וצפוי. להפוך את הפלט שלו לאמין (לתפוס את התשובה שנשמעת בטוחה אבל שגויה ולהוכיח ששום דבר לא נשבר אחרי עדכון) זו עבודה של אנשים ושל פיתוח, ולשם הולך הכסף.
איך מעריכים את העלות האמיתית לפני שבונים? תמחרו את התוצאה, לא את הקריאה. העריכו את חלק הנפח שעדיין דורש אדם, את ההערכה והניטור שתתחזקו, ואת הבדיקות החוזרות שכל שינוי מודל מחייב, ורק בסוף הוסיפו את הטוקנים, במקום שלהם.
תמחרו את המודל ותטעו פי חמישים. תמחרו את המערכת שסביבו (הבדיקות, הניטור, הבדיקות החוזרות שלא ממש נגמרות) ותהיו קרובים לאמת. חשבון הטוקנים מעולם לא היה השאלה ששווה לשאול. הוא פשוט היה היחיד עם תשובה קלה.