Souhrn
OpenAI spustilo videogenerativní platformu Sora postavenou na modelu Sora 2, která dokáže vytvářet přesvědčivá falešná videa celebrit, copyrightovaných postav i běžných uživatelů. Ačkoliv Sora používá systém C2PA pro označování AI obsahu metadaty, článek z The Verge ukazuje, že tato technologie selhává při ochraně uživatelů před dezinformacemi poté, co videa opustí aplikaci.
Klíčové body
- Sora 2 vytváří detailní videa známých osobností (Martin Luther King Jr., Michael Jackson, Bryan Cranston) i copyrightovaných postav (SpongeBob, Pikachu)
- Uživatelé, kteří dobrovolně sdíleli své podobizny, se objevili ve videích s rasistickými výroky nebo jako obsah pro fetišistické účty
- OpenAI implementuje C2PA autentizaci (Content Credentials), která přidává neviditelná metadata k videím
- Systém C2PA, který OpenAI samo pomáhá dohlížet, prokazatelně selhává při ochraně před šířením deepfake obsahu
- Jakmile videa opustí aplikaci Sora, prakticky neexistuje ochrana zajišťující, že diváci poznají falešný obsah
Podrobnosti
C2PA autentizace, známá také jako Content Credentials, je systém vyvinutý především společností Adobe pro připojování ověřitelných metadat k obrázkům a videím. Tato metadata mají pomoci rozlišit skutečný obsah od AI generovaných falešných materiálů. OpenAI je jedním z členů konsorcia, které tento standard dohlíží a prosazuje.
Problém spočívá v tom, že ačkoliv Sora tato metadata k videům přidává, většina platforem pro sdílení obsahu je buď neumí číst, nebo je při nahrávání odstraňuje. Uživatelé tak mohou snadno stáhnout video ze Sory a nahrát ho na YouTube, TikTok, X nebo Facebook, kde se tváří jako autentický materiál bez jakéhokoliv varování.
Situace je o to problematičtější, že Sora dokáže generovat extrémně přesvědčivý obsah. Uživatelé aplikace již vytvořili kontroverzní videa, která by mohla škodit pověsti skutečných osob nebo šířit dezinformace. Případy, kdy se dobrovolníci objevili ve videích s rasistickými výroky nebo jako obsah pro fetišistické účty, ukazují potenciál pro zneužití.
Adobe a další technologické společnosti prosazují Content Credentials jako řešení problému deepfake obsahu, ale realita ukazuje zásadní mezery v implementaci. Metadata jsou užitečná pouze tehdy, pokud je platformy skutečně kontrolují a zobrazují uživatelům – což se v praxi neděje.
Proč je to důležité
Článek odhaluje kritickou slabinu v současném přístupu k boji proti deepfake obsahu. Zatímco společnosti jako OpenAI a Adobe propagují technická řešení jako C2PA, skutečná ochrana uživatelů závisí na tom, zda sociální sítě a platformy pro sdílení obsahu tato metadata respektují a zobrazují.
Jde o ukázku širšího problému: technologie pro generování falešného obsahu se vyvíjí rychleji než systémy pro jeho detekci a označování. Sora 2 představuje významný skok ve kvalitě AI generovaných videí, což zvyšuje riziko dezinformací, poškození pověsti a manipulace s veřejným míněním.
Pro běžné uživatele to znamená, že nemohou spoléhat na technická řešení a musí být skeptičtější k videím na sociálních sítích. Pro technologický průmysl je to výzva k vytvoření funkčního ekosystému, kde označování AI obsahu není jen dobrovolné, ale povinné a vymahatelné napříč všemi platformami.
Zdroj: ⚡ The Verge
| 