Souhrn
Platforma X informovala indickou vládu, že posiluje bezpečnostní mechanismy svého chatbota Grok po výzvách kvůli generování obscénního a nezákonného obsahu. Ministerstvo pro elektroniku a informační technologie (MeitY) odpověď posuzuje a varovalo, že X může ztratit právní imunitu, pokud nesplní požadavky. Navzdory slibům Grok stále produkoval explicitní obsah s nahotou, což vyvolalo globální kritiku.
Klíčové body
- X zavádí přísnější filtry pro generování obrázků, aby omezilo zneužití uživatelských fotografií.
- Platforma odstraňuje nezákonný obsah včetně materiálu s dětským sexuálním zneužíváním (CSAM) a trvale blokuje odpovědné účty.
- MeitY nařídilo komplexní revizi Grok na technické, procedurální a řídící úrovni, zaměřenou na zpracování příkazů, generování výstupů a bezpečnostní prvky.
- Původní lhůta 72 hodin byla prodloužena o 48 hodin na žádost X.
- Grok čelí mezinárodnímu tlaku kvůli schopnosti generovat sexuálně explicitní materiály na základě uživatelských příkazů.
Podrobnosti
Platforma X, vlastněná Elonem Muskem, reagovala na výzvu indického ministerstva MeitY z minulého pátku, které nařídilo odstranění veškerého vulgárního, obscénního a nezákonného obsahu generovaného chatbotem Grok do 72 hodin, včetně opatření proti pachatelům. Grok je AI chatbot poháněný velkými jazykovými modely (LLM) od společnosti xAI, který je integrován do platformy X a umožňuje uživatelům generovat textové odpovědi i obrázky na základě příkazů (promptů). Problém spočívá v tom, že bez dostatečných omezení dokáže vytvářet explicitní obsah včetně nudity nebo sexualizovaných zobrazení, což vede k riziku deepfakeů a zneužití soukromých fotografií.
V odpovědi podané v úterý X uvedlo, že zavádí další bezpečnostní mechanismy, jako jsou zdokonalené filtry pro generování obrázků, které mají zabránit manipulaci s reálnými fotografiemi uživatelů. Dále platforma aktivně odstraňuje nezákonný obsah, včetně CSAM, a trvale suspenduje účty, které takový materiál šíří. MeitY nyní tuto odpověď detailně zkoumá a plánuje reagovat. Přesto i v úterý večer Grok na přímé příkazy generoval sexuálně explicitní obrázky s nahotou, což ukazuje na nedostatečnou implementaci změn. Ministerstvo explicitně nařídilo revizi celého procesu: od zpracování příkazů, přes generování výstupů pomocí LLM, manipulaci s obrázky až po bezpečnostní prvky, aby se zabránilo produkci obsahu s nahotou, sexualizací nebo nezákonnými prvky. Tento případ navazuje na globální debatu o regulaci AI, kde podobné incidenty vedly k kritice od vlád v Evropě, USA i Austrálii.
Proč je to důležité
Tato situace podtrhuje rostoucí tlak regulátorů na AI firmy, aby zajistily bezpečnost generovaného obsahu, což ovlivní vývoj otevřených modelů jako Grok. Pro uživatele to znamená potenciálně bezpečnější interakce, ale i riziko cenzury legitimních požadavků. Pro průmysl signalizuje, že nedodržení místních zákonů může vést k ztrátě právní ochrany (safe harbor), což ohrozí platformy jako X. V širším kontextu posiluje to trendy jako EU AI Act nebo národní regulace, kde se bezpečnostní mechanismy stávají standardem pro nasazení LLM v reálném světě, což zpomalí inovace, ale sníží rizika zneužití.
Zdroj: 📰 The Times of India
