הטרדות ושיח פוגעני בצ׳אט הרחיקו שחקנים חדשים ומשלמים, והמסננים הישנים רק החמירו את המצב: הם חסמו מילים שגרתיות ופספסו את השיח הרעיל באמת. במקביל, רגולטורים באירופה ובארה״ב איימו בקנסות על הפרת חוקי הגנת ילדים. הפלטפורמה הייתה חשופה לפגיעה משתי החזיתות.
בעולם הגיימינג, שיח רעיל הוא לא רק מטרד, הוא גורם נטישה ישיר. תוקפנות, גזענות ובריונות בחדרי הצ׳אט הרחיקו בדיוק את השחקנים החדשים והמשלמים שהפלטפורמה הייתה זקוקה להם, פשוט כי הם לא הרגישו בטוחים מספיק כדי להישאר.
הכלים שנועדו לעצור את התופעה היו לא מדויקים. הם התבססו על חסימת מילות מפתח, וכך פספסו פוגענות מוסווית ואת הסלנג הדינמי של תרבות הגיימרים, ובמקביל סימנו ביטויים שגרתיים לחלוטין כהפרות. שחקנים הוגנים הושתקו על לא עוול בכפם, וזה הכעיס אותם לא פחות מהשיח הרעיל עצמו.
בנוסף, הלחץ המשפטי הלך וגבר. רגולציות בנושאי הגנת ילדים ובטיחות ברשת הוחמרו ברחבי אירופה וארה״ב, ודרשו אכיפה קפדנית ודיווח מהיר. החברה התקשתה לעמוד בכללים שהשתנו ממדינה למדינה, והרישיונות שלה עמדו בסכנה.
מנוע שפה שמבין הקשר ותרבות, אכיפה המותאמת לחומרת ההפרה, וכללים המיישמים את החוק המקומי.
פיתחנו מנוע שפה שאומן על סלנג קהילתי וז'רגון גיימרים בלמעלה מ-30 שפות ודיאלקטים. המנוע מנתח את המשפט השלם ואת ההקשר שלו, כך שהוא יודע להבחין בין התגרות תחרותית לגיטימית לבין הטרדה אמיתית.
האכיפה מדורגת ומתבצעת בזמן אמת: אזהרה אוטומטית, השתקה זמנית, או סימון לסקירה אנושית מהירה. כך, מעידה חד-פעמית מטופלת אחרת מפגיעה מתמשכת, ושאר המשתתפים בחדר כלל לא מרגישים בכך.
מכיוון שהמודל מבין כוונה, הוא הפסיק לחסום שיח לגיטימי וביטויים מקומיים שמסנני מילות המפתח הישנים סימנו בטעות. הדבר שמר על הזרימה וחופש הביטוי ששחקנים הוגנים מצפים להם.
כללי הסינון משתנים באופן דינמי בהתאם לאזור הגיאוגרפי של השחקן, כך שהפלטפורמה עומדת במדויק בחוקי הגנת הילדים והבטיחות ברשת של כל מדינה, במקום להחיל מדיניות גלובלית גורפת אחת.
המנוע מכסה גם צ׳אט קולי וגם טקסטואלי, כך שהשיח הפוגעני לא יכול פשוט לנדוד לערוץ שאינו מנוטר.
מקרים מורכבים או גבוליים מנותבים לצוות סינון אנושי כאשר הקטע הבעייתי מודגש, כך שההחלטות הקשות נשארות בידי אדם ומתקבלות במהירות.
השחקנים הרעילים עזבו, והשחקנים ההוגנים נשארו.
הדיווחים על שיח רעיל והטרדות בחדרי הצ׳אט ירדו ב-45%, ושימור השחקנים החדשים עלה ב-20%, פשוט כי הקהל שהפלטפורמה הכי רצתה לשמר סוף סוף הרגיש בטוח מספיק כדי להישאר.
חסימות שגויות והתראות סרק ירדו ב-75%, מה ששמר על הזרימה וחופש הביטוי ששחקנים הוגנים מצפים להם. הפלטפורמה הגיעה לעמידה מלאה ברגולציות המקומיות להגנת ילדים ובטיחות ברשת, והסירה את איום הקנסות וההשבתות.
האתגר האמיתי בבטיחות קהילות הוא לא לתפוס גידופים, אלא להבחין בין התלוצצות לפוגענות, על פני שפות ותרבויות שונות, מבלי להשתיק את האנשים שעליהם אתם מנסים להגן. זה דורש מודל שמבין הקשר, אכיפה המותאמת לחומרת ההפרה, וכללים המיישמים את החוק המקומי. זו אותה גישה של אמון ובטיחות שעומדת מאחורי העבודה שלנו על אמינות המרקטפלייס, רק שהפעם היא מותאמת לצ׳אט "חי" במקום לביקורות.
אישור אשראי חקלאי דרש לשלוח סוקר למשך שבועות. ראייה ממוחשבת על תצלומי לוויין דירגה בריאות יבול ובטחונות, והביאה את החברה מעשרות בקשות בשבוע ל-25,000 חוות ביום וחתכה את עלות החיתום ביותר מ-70%.
לפרויקט המלא ← אמון ובטיחות · מסחר אלקטרוניבוטים ושחקנים בתשלום הציפו מרקטפלייס בביקורות מזויפות ותוכן מזיק. מנוע אנומליות בתוספת סקירה אנושית חסם 95%+ לפני שהקונים ראו, חתך את עלות המודרציה בחדות, ובנה מחדש אמון.
לפרויקט המלא ←
Reef TRH