Ok nélkül letiltott 8 ezer felhasználót a népszerű csevegőprogram

Megdöbbentő ok lehetett a háttérben. A Discordnál javították a hibát, de a jelenség felvet pár kérdést.

Az ingyenes csevegőprogram, a Discord elismerte, hogy a mesterséges intelligencián alapuló moderációs rendszerében fellépő hiba miatt az elmúlt két hónapban tévesen több mint 8 ezer, teljesen ártatlan felhasználót tiltottak le, miután ártalmatlan képeket – köztük táblázatokat, sakktáblákat, játéktextúrákat, valamint fehér és szürke átlátszó háttérképeket – tévesen káros tartalomként jelöltek meg. A vállalat megerősítette, hogy a probléma május óta tart, és a hétvégén további 200 felhasználót tiltottak le, mielőtt azonosították és kijavították a hibát. Az összes érintett fiók helyreállítása jelenleg folyamatban van.

Csak fogták a fejüket a Discord ok nélkül letiltott felhasználói (illusztráció) - Fotó: cottonbro studio / Pexels

Túlzottan megbízott az AI-támogatott tartalommoderálásban a Discord?

A Discord automatizált biztonsági rendszere úgy működik, hogy a feltöltött tartalmakat összehasonlítja az ismert káros tartalmak adatbázisaival. Bár a technológiát illegális tartalmak kiszűrésére tervezték, a vállalat elismerte, hogy néha téves riasztásokat is generálhat. A tartalmat egy emberi moderátor ellenőrzi, de egy hiba miatt a rendszer azonnal letiltotta az érintett fiókokat. „Jobb biztonsági intézkedéseken dolgozunk, hogy ez ne fordulhasson elő újra” – ígérte a vállalat. A TechCrunch gyűjtése szerint az X-en és a Reddit-en egyaránt voltak olyan felhasználók, akik azt állították, hogy 

pusztán azért függesztették fel őket, mert négyzetrácsos mintákat tartalmazó képeket töltöttek fel.

 Több felhasználó is felvetette, hogy a Discord mesterséges intelligencián alapuló moderációs eszközei egyre érzékenyebbek lettek a rácsszerű mintákra, mivel ezeket korábban arra használták, hogy elrejtse vagy álcázzák a munkahelyre nem alkalmas és a gyermekeket kizsákmányoló tartalmakat az automatizált felismerő rendszerek elől. 

Nem egyedi jelenség

Nem csak a Discord felhasználói jártak tömegesen rosszul az automatizált rendszerek miatt felmerülő moderálási problémákkal. 

• Tavaly az Instagram és a Facebook-csoportok felhasználói széles körű, megmagyarázhatatlan fiókfelfüggesztésekről számoltak be, amelyekről sokan úgy gondolták, hogy az AI-alapú moderálási rendszerek okozták őket. Ezt a Meta sohan nem ismert el nyilvánosan. 
• Hasonlóan jártak felhasználók egy csoportja tavaly a Tumblr-en is, akik szerint fiókjaikat egyértelmű magyarázat nélkül tömegesen felfüggesztették.

Ezek az esetek rávilágítanak az AI-támogatott tartalommoderálással kapcsolatos aggályokra, mivel számos platform egyre inkább automatizált rendszerekre támaszkodik az illegális vagy sértő tartalmak felismerése érdekében. A kaliforniai tech iparágban már most tízezrével küldenek el dolgozókat az AI miatt, de van olyan vezető, aki már most kritikusan nyilatkozik erről a folyamatról. Nem is akárki: egy zárt körű céges tájékoztatón Mark Zuckerberg, a Meta vezérgigazgatója elismerte a minap, hogy 

nem fejlődnek olyan gyorsan a mesterségesintelligencia-alapú ügynökök, mint remélték.

 A vállalat, aamely többek között a a Facebook, az Instagram, a Threads és a WhatsApp mögött van, kirúgott körülbelül 8 ezer embert májusban (ez nagyjából 10 százalékos leépítésnek felelt meg) miközben mintegy 7 ezer dolgozót az AI-részlegre helyezett át.