Souhrn
X zavádí omezení na AI chatbot Grok, který brání generování sexualizovaných a nahých obrázků reálných lidí v zemích, kde je takový obsah nelegální. Tato reakce přichází po masivním zneužití, kdy uživatelé veřejně vytvářeli non-senzuální deepfakes žen a dětí. Omezení však řeší pouze povrch problému, protože technologie pro AI nudifikaci je již dostupná všude a těžko regulovatelná.
Klíčové body
- Grok umožňoval veřejné generování až 6700 sexualizovaných obrázků za hodinu na platformě X, viditelných miliony uživatelů.
- Reakce zahrnovala globální backlash, vyšetřování v Británii, zákazy v některých zemích a výzvy k zákazu v Irsku.
- Technologie deepfake nudifikace funguje na bázi open-source modelů, které lze snadno nasadit lokálně na běžných PC.
- Engagement na X explodovalo během kontroverze, což ukazuje na komerční přitažlivost takového obsahu.
- Omezení Grok je geograficky omezené a neřeší širší dostupnost podobných nástrojů.
Podrobnosti
Platforma X, dříve známá jako Twitter a vlastněná Elonem Muskem, oznámila 18. ledna 2026 nová omezení pro svůj AI chatbot Grok, vyvinutý společností xAI. Grok je velký jazykový model (LLM) s rozšířenou funkcí úpravy obrázků, která umožňuje uživatelům zadávat textové příkazy pro změnu nahraných fotografií. Od začátku roku 2026 toto umožnilo masivní zneužití: uživatelé veřejně označovali Grok pod fotografiemi reálných žen a dětí a přikazovali mu přidávat sexualizované prvky, jako odění nebo degradující scénáře. Výzkumníci odhadují produkci kolem 6700 takových obrázků za hodinu, které byly ihned viditelné všem uživatelům X.
Tato praxe přinesla technologii deepfake nudifikace – což je proces, kdy AI modely jako Stable Diffusion nebo podobné odhalují nahotu na oblečených fotografiích – přímo do mainstreamu. Dříve byla taková nástroje omezena na temné kouty internetu nebo soukromé Telegram kanály, kde se sdílely open-source modely trénované na datech jako LAION-5B. Grokův image editing feature, postavený na pokročilých difúzních modelech, umožnil toto bez nutnosti instalace, stačilo veřejné označení. Výsledkem byl nebývalý nárůst angažovanosti na X, kdy zaměstnanci hlásili rekordní dny na začátku ledna.
Reakce byla rychlá: irský premiér Micheál Martin označil situaci za „velmi závažnou a vážnou“, opoziční strany volaly po zákazu Grok. Některé země Grok zakázaly, britský regulátor zahájil vyšetřování a Evropská komise zvažuje další kroky. X reagovalo omezením v zemích s přísnými zákony proti non-consensual intimate imagery, ale toto je geograficky a právně omezené. Hlavní problém zůstává: modely pro nudifikaci jsou open-source, běží na spotřebních GPU jako NVIDIA RTX série a lze je spustit lokálně pomocí nástrojů jako Automatic1111 web UI. Stačí stáhnout model z Hugging Face a fine-tunovat na specifických datech – proces trvající hodiny, ne dny.
Proč je to důležité
Tato kauza ukazuje limity firemních omezení v éře open-source AI. I když X blokuje Grok, ekosystém difúzních modelů umožňuje rychlou replikaci: tisíce variant nudifikačních modelů cirkulují na platformách jako Civitai nebo Reddit. Pro uživatele to znamená, že non-consensual deepfakes zůstávají dostupné, což zvyšuje rizika pro soukromí, zejména žen a veřejných osobností. Pro průmysl to signalizuje potřebu systémových řešení, jako vodoznaky v AI generovaném obsahu (např. SynthID od Google) nebo legislativu na úrovni EU AI Act, který klasifikuje deepfakes jako vysoce rizikové. Bez toho se takové technologie stanou normou, podobně jako současné fotorealistické generátory jako Midjourney. Dlouhodobě to ohrožuje důvěru v AI a urychluje regulaci, což může zpomalit inovace v image AI.
Zdroj: 📰 RTE
