Reef TRH2%. זה בערך החלק מעלות התפעול האמיתית של פיצ'ר AI שהמספר האחד שכולם שמים על השקף, חשבון ה-API, מצליח ללכוד. קחו צוות תמיכה בגודל בינוני שמטפל בשמונת אלפים אימיילים בחודש. עלות הטוקנים של העברת כולם דרך מודל שיעשה מעבר ראשון קטנה מספיק כדי להיראות כמו שגיאת עיגול לצד משכורת אחת, וזו בדיוק הסיבה שמצטטים אותה. על שקף, המספר הזה סוגר את העסקה.
הוא גם המספר המטעה ביותר בכל המקרה העסקי. לא שגוי. הטוקנים באמת עולים כל כך מעט. פשוט זעירים, ומצוטטים כאילו הם כל החשבון. ההוצאה על טוקנים היא הקצה הגלוי של העלות. כמעט כל מה שמשאיר את הפיצ'ר עובד יושב מתחת לקו המים, ואף אחד מהדברים האלה לא צף עד שכבר התחייבתם.
חשבון הטוקנים הוא שגיאת עיגול
הקריאה למודל היא החלק היחיד בפיצ'ר AI שהוא זול, נמדד וצפוי. המחיר שלו מפורסם ואפשר לבדוק אותו בדקה. מה שאי אפשר לבדוק זה כמה עולה להפוך את הפלט הזה לבטוח מספיק כדי לפעול לפיו, וזה בדיוק החלק שאתם באמת קונים.
קחו את הפיצ'ר של שמונת אלפים האימיילים ותמחרו אותו כמו שצריך, ולא באופטימיות.
הטוקנים, גם אחרי ניסיונות חוזרים אמיתיים ופרומפטים ארוכים ממה שמישהו העריך, נשארים השורה הקטנה ביותר בגיליון. בדיקה אנושית של הפלח שהמודל לא יכול לשלוח בעצמו בבטחה (כ-40% מהנפח, תשעים שניות לפריט) עולה פי כמה מכל חשבון הטוקנים. מערך ההערכה, לוחות הבקרה והתראות הסחף, מופחתים על פני השנה הראשונה, עולים אף יותר. מעקות הבטיחות והאינטגרציה שנשברת בכל פעם שספק משנה endpoint מוסיפים עוד שורה מאותו סדר גודל. הרכיבו את הגיליון, והטוקנים מהווים בערך חלק אחד מתוך חמישים.
במילים אחרות, המספר על השקף הוא בערך 2% ממה שהפיצ'ר עולה לתפעל. מצגת המכירה מצטטת את השורה הזולה ביותר וקוראת לה המחיר.
חברו את החלקים שאף אחד לא מצטט
פרקו את הפיצ'ר לגורמים, ותגלו שאתם משלמים על חמישה דברים שההדגמה מעולם לא הייתה צריכה לקנות:
- הערכה, מערך בדיקה מתויג ותשתית שמוכיחה שהדבר עדיין עובד אחרי כל שינוי בפרומפט וכל עדכון מודל.
- מעקות בטיחות, הוולידציה שתופסת תשובה בטוחה בעצמה, שוטפת ושגויה לפני שלקוח קורא אותה.
- בדיקה אנושית, הפלח שהמודל לא יכול לקחת עליו בעלות, מתומחר בשעות, כל חודש מחדש.
- ניטור וזיהוי סחף, לדעת שהאיכות ירדה לפני שהלקוחות שלכם הם אלה שמספרים לכם.
- תחלופת מודלים, בדיקה חוזרת של כל הפיצ'ר בכל פעם שהספק מתמחר מחדש, מוציא משימוש, או "משפר" בשקט את המודל שתחתיכם.
אף אחד מאלה אינו תוספת אופציונלית. הם המרחק בין פיצ'ר שרץ לבין פיצ'ר שרק רץ פעם אחת, בהדגמה, ביום טוב.
העלויות שמגיעות בחודש השלישי
החלק האכזרי הוא התזמון. החשבון שאפשר לחזות מראש (טוקנים, סבב בדיקות) הוא הקטן והמוקדם. העלויות היקרות נוחתות מאוחר יותר, אחרי שהחידוש התפוגג והקלטים האמיתיים הגיעו.
בפיצ'ר שלמעלה, עלות התפעול החודשית בערך שולשה בין ההשקה לחודש השלישי, כשניסיונות חוזרים, נפח בדיקות ותור אסקלציות הפכו למציאות.
האיכות סוחפת ככל שהקלטים משתנים, אז ערימת הבדיקות גדלה במקום להצטמצם. הספק מוציא משימוש את המודל שעליו בניתם ונותן לכם תשעים יום להגר ולבדוק מחדש. מקרה קצה שמעולם לא הופיע בפיילוט מתחיל לייצר קריאות שירות זועמות, ומישהו צריך להיות זמין בשבילו ב-2 בלילה. עלות התפעול חושפת את צורתה האמיתית רק כשהפיצ'ר נושא תעבורה אמיתית, אותה מלכודת בדיוק שמותירה את רוב פיילוטי ה-AI רחוק מפרודקשן.
תקצבו את המערכת, לא את הקריאה
לתמחר AI לפי הקריאה ל-API זה כמו לתמחר חברת שליחויות לפי מחיר הדלק: אמיתי, קל למדידה, וכמעט שותק לגבי מה שנדרש כדי להפעיל את הצי. יחידת העלות שחשובה היא לא הטוקן אלא תוצאה אמינה, שנשמרת יציבה חודש אחר חודש בזמן שהקלטים משתנים ומודלים באים והולכים.
זה מספר פחות מרגש מזה שבעמוד התמחור, ושימושי בהרבה. הוא גם ניתן לחיזוי מראש, כי שורות העלות צפויות אם רק טורחים לחפש אותן. אבחון מוכנות ל-AI קיים כדי לשים מספר אמיתי על עומס הבדיקות, הניטור והבדיקות החוזרות, לפני שאתם מאשרים תקציב שבנוי על מחיר הטוקן בלבד.
שאלות נפוצות
כמה באמת עולה להריץ פיצ'ר AI בפרודקשן? עלות הטוקנים או ה-API היא בדרך כלל חלק קטן (לרוב פחות מ-5%) מהסך החודשי. עיקר העלות הוא בדיקה אנושית של מה שהמודל לא יכול לטפל בו לבד, הערכה וניטור, מעקות בטיחות, ובדיקות חוזרות בכל פעם שהמודל משתנה. פיצ'ר שחשבון הטוקנים שלו נראה זניח יכול לשבת בנוחות בתוך עלות תפעול גדולה פי חמישים.
למה עלות ה-API היא חלק כל כך קטן מהסך הכולל? כי הקריאה למודל היא החלק היחיד שהוא זול וצפוי. להפוך את הפלט שלו לאמין (לתפוס את התשובה הבטוחה-בעצמה-אבל-שגויה ולהוכיח ששום דבר לא נסוג אחרי עדכון) זו עבודה של אנשים ושל הנדסה, ולשם הולך הכסף.
איך מעריכים את העלות האמיתית לפני שבונים? תמחרו את התוצאה, לא את הקריאה. העריכו את חלק הנפח שעדיין דורש אדם, את ההערכה והניטור שתתחזקו, ואת הבדיקות החוזרות שכל שינוי מודל מחייב, ורק בסוף הוסיפו את הטוקנים, במקום שלהם.
תמחרו את המודל ותטעו פי חמישים. תמחרו את המערכת שסביבו (הבדיקות, הניטור, הבדיקות החוזרות שלא ממש נגמרות) ותהיו בערך צודקים. חשבון הטוקנים מעולם לא היה השאלה ששווה לשאול. הוא פשוט היה היחיד עם תשובה קלה.