בינה מלאכותית גנרטיבית הפכה בניית אב-טיפוס לכמעט חינם. בדיוק בגלל זה, לגרום לאחד כזה לשרוד בפרודקשן (באמינות, בבטחה, ובעלות שהעסק יכול לחיות איתה) הוא ההבדל האמיתי היום. הנה איך אנחנו חושבים על הפער, ואיך אנחנו חוצים אותו.
כמעט כל חברה יכולה היום לייצר רעיון AI ולהקים הדגמה שתוכיח אותו. הרבה פחות מסוגלות להפוך את ההדגמה הזו למשהו שלקוח סומך עליו, שעסק רץ עליו, ושמהנדס יכול להחזיק. המרחק הזה (בין אב-טיפוס מבטיח לבין מערכת בפרודקשן) הוא המקום שבו העבודה האמיתית, והערך האמיתי, נמצאים.
הייצור הפך לקומודיטי. אותם מודלים שמאפשרים לכם לבנות אב-טיפוס באחר צהריים אחד זמינים גם לכל השאר. כשהפלט זמין בשפע ובזול, הוא מפסיק להיות הדבר שמבדל אתכם.
הערך עבר הלאה. שיקול דעת, אמינות, וההנדסה שהופכת AI לראוי לאמון לא יוצאים ממודל. הם החלק הנדיר עכשיו, והם בדיוק מה שהדגמה מדלגת עליו.
אחידות היא ברירת המחדל. כשכולם מפיקים את אותו פלט גנרי, החברות שמנצחות הן אלה שיודעות לגרום לזה לעבוד, בסקייל, בעולם האמיתי. ביצוע הוא מה שמחלץ אתכם מהאחידות הזאת.
המודל הוא לעיתים רחוקות הבעיה. פרויקטים נתקעים על כל מה שסביבו, ההנדסה הלא-זוהרת שהדגמה יכולה להרשות לעצמה לדלג עליה. ארבעה כשלים חוזרים שוב ושוב.
מודל שמבריק על מדגם נקי ומסודר פוגש דאטה מבולגן, משתנה ואמיתי, ומתפורר בשקט איפה שאף אחד לא מסתכל.
בלי הערכה, בלי מגבלות בטיחות, בלי גיבוי. הקלט המוזר הראשון בפרודקשן מפסיק להיות מקרה קצה והופך לאירוע.
בלי ניטור, בלי זיהוי סחף. המערכת מתדרדרת במשך שבועות לפני שמישהו שם לב שהמספרים זזו, ועד אז האמון אבד.
זה היה סקריפט, לא מערכת: קוד דבק, תרחיש הצלחה יחיד, וצוות שהמשיך הלאה. AI בפרודקשן צריך בעלים, לא מסירה.
לסגור את הפער זה לא הבזק השראה. זו משמעת, והיא נשענת על שלושה עמודי תווך שאנחנו מביאים לכל פרויקט.
צינורות דאטה מאובטחים, סקייל אמיתי, עלות וזמני תגובה שפויים, מהונדסים על תשתית שהצוות שלכם באמת יכול לתפעל, לא סקריפט שעובד פעם אחת.
הערכה, מגבלות בטיחות, ניטור ולוגיקת גיבוי, כך שהמערכת נשארת אמינה גם על קלט אמיתי ומבולגן, וכשהיא חייבת ליפול, היא נופלת בצורה מבוקרת.
הקפדנות התפעולית ששומרת על ה-AI רץ אחרי ההשקה, באחריותנו עד הפרודקשן, בלי להעביר את המקל ברגע שההדגמה עובדת.
זו כל העבודה ב-Reef TRH. אנחנו לוקחים AI שעובד בהדגמה ומהנדסים אותו מחדש למערכת שמחזיקה מעמד בפרודקשן (ארכיטקטורה, מעקות בטיחות, ניטור, וכל החלקים הלא-זוהרים שביניהם).
הבאנו לפרודקשן את המערכות הקשות באמת. ראייה ממוחשבת בזמן אמת על חומרת קצה. צינורות LLM רב-סוכניים מתוזמרים עם מעקות בטיחות. מערכות שבנויות לרוץ בעולם האמיתי, לא במעבדה.
הדגמה מוכיחה שזה יכול לעבוד פעם אחת, בתנאים מבוקרים. פרודקשן אומר שזה עובד כל פעם, על קלט אמיתי, בעלות ובזמני תגובה שהעסק יכול לחיות איתם, עם ניטור לרגעים שבהם לא. הפער הזה הוא רוב ההנדסה, והוא בדיוק המקום שבו אנחנו מתמקדים.
כי מהירות הייצור כבר לא צוואר הבקבוק, שיקול דעת ואמינות הם כן. AI יכול לייצר אב-טיפוס באחר צהריים אחד, אבל הוא לא יכול להחליט מה ראוי לאמון, לתכנן אותו כך שיחזיק תחת עומס, או להחזיק אותו אחרי ההשקה. אלה לא יוצאים ממודל.
MLOps הוא חלק מזה, אבל הפער רחב יותר. הוא משתרע על מוכנות דאטה, מעקות בטיחות, הערכה, אינטגרציה, עלות, ובעלים ברורים, כל המרחק בין סקריפט שעובד לבין מערכת שעסק יכול להריץ.
בדרך כלל בהערכה כנה של מה שיש לכם ומה שפרודקשן באמת דורש. משם אנחנו מתכננים ארכיטקטורה, מקשיחים, מעלים לאוויר, ומוסרים, או נשארים מוטמעים ומחזיקים את זה יחד אתכם.
Reef TRH