Souhrn
V září 2025 došlo na platformě X v Indii k prudkému nárůstu stížností na syntetická nebo manipulovaná média, které dosáhly 983 kusů z celkových 1959. Tento vývoj přímo navazoval na světové spuštění nástroje Grok Imagine od xAI v polovině srpna 2024. V říjnu stížnosti klesly na 20,68 % z celku, přičemž převahu převzaly stížnosti na obtěžování.
Klíčové body
- Stížnosti na AI obsah v září 2025: 983 (50,2 % z 1959 celkem), oproti 0 v červenci, srpnu a předchozích měsících.
- Grok Imagine: nástroj pro generování obrázků a videí v kinematografické kvalitě, integrovaný do X a samostatné aplikace Grok, spuštěný zdarma globálně v srpnu 2024.
- Akce X: V září 81 % z 645 opatření (cca 522) proti AI stížnostem; v říjnu jen 31 % z 86 opatření (26).
- Další trendy: V říjnu stížnosti na obtěžování stouply na 69 % (1069 z 1528), celková míra akcí klesla na 5,6 %.
- Problémy: Nástroj generuje i sexuálně explicitní obsah, včetně nekonzistentních morfovaných obrázků žen a nezletilých.
Podrobnosti
Platforma X, dříve známá jako Twitter a řízená Elonem Muskem, zveřejnila v měsíčních transparentních zprávách pro Indie údaje ukazující na výrazný skok stížností souvisejících s AI. V září 2025 tvořily stížnosti na syntetická nebo manipulovaná média přes polovinu všech podaných, což představuje odhadovaných 983 případů z 1959. Předchozí tři měsíce – červenec, srpen a předchozí – vykazovaly nulový počet takových stížností. Tento nárůst časově přesně koresponduje s bezplatným globálním rolloutem Grok Imagine, nástroje poháněného umělou inteligencí pro tvorbu obrázků a videí. Grok Imagine, vyvinutý společností xAI (firmou Elona Muska zaměřenou na vývoj velkých jazykových modelů jako Grok), slouží k generování obsahu v kinematografické kvalitě. Uživatelé ho mohou použít k rychlé tvorbě vizuálních materiálů na základě textových popisů, což zahrnuje kreativní ilustrace, reklamy nebo umělecké projekty. Bohužel, absence dostatečných bezpečnostních filtrů umožnila zneužití pro tvorbu pornografického materiálu, včetně nekonzistentních (deepfake) obrázků žen a nezletilých bez jejich souhlasu.
V říjnu 2025 klesl podíl AI stížností na 20,68 %, tedy odhadem 315 z 1528 celkem, a posunul se na druhé místo za stížnostmi na obtěžování, které vyskočily na 69 % (1069). X reagovala v září na 81 % AI stížností (z 645 celkových akcí), ale v říjnu jen na 86 stížností celkem, z nichž 31 % (26) se týkalo AI. Od září X přestala uvádět absolutní počty stížností pro Indie a přešla na procentuální údaje. Tyto trendy odhalují výzvy v moderování AI-generovaného obsahu na velkých platformách, kde nástroje jako Grok Imagine zvyšují riziko šíření dezinformací a škodlivého materiálu. Indie, s více než 500 miliony uživatelů sociálních sítí, představuje klíčový trh, kde místní regulace (jako IT Rules 2021) vyžadují rychlou reakci na syntetický obsah.
Proč je to důležité
Tento případ ilustruje širší problémy s nasazením generativních AI nástrojů bez robustních bezpečnostních mechanismů, jako jsou vodoznaky nebo detekce deepfakeů. Pro uživatele to znamená vyšší expozici vůči manipulovaným médiím, což ohrožuje soukromí a důvěru v online obsah. V průmyslu podtrhuje nutnost lepšího compliance s regulacemi v zemích jako Indie, kde vláda posiluje dohled nad AI. Pro xAI a X to signalizuje potřebu upgradů v moderování, podobně jako u konkurentů (např. DALL-E od OpenAI s přísnějšími filtry). V kontextu globálního ekosystému AI to zdůrazňuje rizika rychlého rolloutu bez testování na zneužití, což může vést k právním sporům a reputačním ztrátám.
Zdroj: 📰 The Times of India
