דירוגי חמישה כוכבים נקנו בכסף .

זירות מסחר נשענות לחלוטין על חוות הדעת והדירוגים של המשתמשים. אצל הלקוח שלנו, המערכת הזו הייתה תחת מתקפה: בוטים וגורמים מתואמים פרסמו ביקורות חמישה כוכבים מזויפות כדי לקדם מוכרים גרועים, וביקורות כוכב אחד פיקטיביות כדי לחסל מתחרים הגונים. מדד האמון שהקונים הסתמכו עליו הפך בשקט לרעש רקע מבלבל.

תוכן פוגעני ומטעה רק החמיר את המצב. תמונות גנובות של נכסים, תמונות פוגעניות או מפרות זכויות יוצרים, וקישורי פישינג שהוסוו כביקורות תמימות עלו לאתר לפני שהמסננים הבסיסיים הספיקו לזהות אותם. אלו הובילו משתמשים אל מחוץ לפלטפורמה וסיכנו את המותג שוב ושוב. במקביל, תהליך האימות של מוכרים או מארחים חדשים נמשך ימים ארוכים ובלם את הצמיחה העסקית. צוות האמון והבטיחות שרף תקציבי עתק על בקרה ידנית של מיליוני עסקאות ותגובות, ועדיין פיגר מאחור ולא הצליח להדביק את קצב הגידול של האתר.

מערכות הסינון האוטומטיות הישנות היו חסרות סיכוי מול מניפולציות מתוחכמות. הן הצליחו לחסום רק ניסיונות חובבניים, ופספסו את המתקפות המתואמות, שהן בדיוק אלו שמסבות את הנזק האמיתי.

סינון תוכן בדיעבד מתבצע רק לאחר שהנזק כבר נגרם. הערך האמיתי טמון בחסימת השימוש לרעה לפני הפרסום: קבלת החלטה אוטומטית חותכת במקרים שבהם רמת הוודאות גבוהה, והעברת מקרים גבוליים בלבד לבדיקת אדם, כאשר החלטתו משמשת לטיוב המודל. זהו בדיוק עיקרון חתימת אדם שעומד בבסיס עבודת זיהוי ההונאות שלנו, אלא שכאן הוא מיושם על תוכן ומוניטין במקום על עסקאות פיננסיות.