Souhrn
Sociální sítě X a TikTok čelí vlně krátkých videí, která pomocí generativní AI realisticky zobrazují škrcení žen a dívek, často stylizovaných jako nezletilé. Tyto případy ukazují, že současná bezpečnostní opatření u nástrojů pro generování videa, včetně modelů typu Sora, nejsou schopna účinně zabránit tvorbě explicitně násilného a potenciálně nezákonného obsahu.
Klíčové body
- Účty na X a TikTok systematicky publikují desítky krátkých AI videí znázorňujících škrcení žen, často s narativem kolem „teenage“ a středoškolaček.
- Obsah je v přímém rozporu s deklarovanými zásadami proti násilí jak u poskytovatelů generativní AI, tak u platforem sociálních sítí.
- Moderace nefunguje adekvátně: účty mohou dlouhodobě zveřejňovat podobný obsah bez rychlé reakce.
- Případ poukazuje na strukturální selhání bezpečnostních filtrů, kontroly promptů a detekce generovaného obsahu.
- Jde o varovný signál pro regulaci AI, ochranu uživatelů a reputaci AI firem.
Podrobnosti
Popisované účty na X a TikTok publikují krátká, zhruba desetisekundová videa, která vizuálně působí jako realistické záběry mladých či dospívajících dívek. Scénáře jsou podobné: dívka je chycena pachatelem, škrcena (například popruhem kabelky či rukama), pláče, brání se, postupně ztrácí vědomí a padá na zem. Titulky videí používají senzacechtivý jazyk typu „prep school girls were strangled by the murderer“ nebo „teenage girl cheerleader was strangled“, záměrně balancující na hraně sexualizovaného násilí a fetišizace.
Takový obsah porušuje několik vrstev pravidel. Zaprvé, většina poskytovatelů generativní AI (včetně velkých hráčů vyvíjejících modely pro generování videa typu Sora či obdobných systémů) má ve svých podmínkách zákaz vysoce explicitního násilí, zejména vůči ženám, dětem a zranitelným skupinám. Zadruhé, platformy jako X a TikTok deklarují zákaz zobrazování extrémního násilí, podněcování násilí a sexualizovaného násilí.
Fakt, že účty dokážou opakovaně publikovat desítky podobných videí, signalizuje, že ochranné mechanismy fungují převážně formálně. Bezpečnostní filtry na úrovni promptů (textových zadání), omezení výstupů a následná automatizovaná detekce nebezpečného obsahu neodchytávají zjevně nevhodné kombinace: mladistvý vzhled, násilí, erotizované kontexty. Moderace ze strany platforem je pomalá nebo nedůsledná, což umožňuje normalizaci takového obsahu a vytváření komunit kolem násilných fantazií.
Pro uživatele to znamená vyšší riziko nevyžádaného kontaktu s traumatizujícím obsahem a pro oběti násilí sekundární viktimizaci. Pro firmy vyvíjející AI a sociální sítě to představuje právní i reputační riziko a ukazuje, že pouhá deklarace etických zásad bez účinného technického a provozního vymáhání je nedostatečná.
Proč je to důležité
Tento případ je symptomem širšího problému: generativní AI umožňuje snadné a levné vytváření extrémně realistického násilného obsahu, který může být cílený na konkrétní osoby, skupiny nebo menšiny. Selhání filtrů a moderace zpochybňuje účinnost současných přístupů k „AI safety“ a ukazuje, že:
- Nestačí spoléhat na základní blokování klíčových slov; je potřeba hlubší modelování kontextu a detekce vzorců násilí.
- Platformy musí zavést povinnou detekci AI generovaného obsahu (např. vodoznaky, metadata) a rychlejší zásahy proti účtům, které tento obsah systematicky šíří.
- Regulátoři v EU i jinde získávají další argument pro zpřísnění pravidel pro poskytovatele generativní AI (odpovědnost za nástroje, audit bezpečnostních opatření, povinná transparentnost).
- Pro průmysl AI je to jasný signál, že selhání v oblasti ochrany před násilím a zneužitím může být stejně kritické jako technické chyby modelů.
Celkově nejde jen o jednotlivé odpudivé případy, ale o test, zda současný ekosystém AI a sociálních platforem dokáže reálně chránit uživatele před eskalací automatizovaného násilného obsahu.
Zdroj: 📰 404media.co
| 