Souhrn
OpenAI varuje, že rychlý vývoj kybernetických schopností modelů umělé inteligence představuje ‘vysoké’ riziko pro celý průmysl kyberbezpečnosti. Společnost spustila iniciativy k ochraně svých modelů před zneužitím a k hodnocení jejich schopností v kybernetických scénářích. Klíčovým nástrojem je OpenAI Preparedness Framework, který pomáhá sledovat bezpečnostní rizika spojená s AI.
Klíčové body
- OpenAI hodnotí riziko ‘weaponized AI’ jako vysoké, protože modely jako ChatGPT mohou automatizovat brute-force útoky, generovat malware nebo phishing obsah.
- Schopnosti AI v kybernetice testovány prostřednictvím capture-the-flag (CTF) výzev, kde došlo k výraznému zlepšení během čtyř měsíců.
- Spuštěny iniciativy k ochraně modelů OpenAI před zneužitím kyberzločinci, včetně posouzení, kdy AI pomůže obráncům.
- Příklady současného zneužití: nepřímé prompt injection útoky na chatbota, přesměrování na škodlivé weby nebo vývoj backdoorů v AI asistentech.
- OpenAI Preparedness Framework slouží k systematickému sledování a mitigaci rizik modelů AI.
Podrobnosti
OpenAI, společnost stojící za modely jako ChatGPT a GPT série, nyní upozorňuje na dvojí využití umělé inteligence v kyberbezpečnosti. Zatímco AI může posílit obranu tím, že analyzuje síťový provoz nebo detekuje anomálie, kyberzločinci ji zneužívají k automatizaci útoků. Konkrétně modely AI dokážou generovat vylepšený kód pro malware, vytvářet přesvědčivé phishing e-maily nebo optimalizovat řetězce útoků, což zvyšuje jejich efektivitu.
Pro testování těchto schopností OpenAI využívá capture-the-flag (CTF) výzvy, což jsou simulované kybernetické soutěže, kde účastníci řeší úkoly jako průnik do systémů nebo obrana před útoky. Během pouhých čtyř měsíců došlo k výraznému pokroku AI v těchto testech, což potvrzuje rychlou evoluci rizik. OpenAI tak spouští programy k posouzení, kdy modely dosáhnou úrovně, na níž významně pomohou nebo naopak uškodí obráncům.
Dalším krokem je ochrana vlastních modelů. Kyberzločinci již dnes útočí prostřednictvím nepřímých prompt injection útoků, kdy vstupují škodlivé instrukce do kontextu AI chatbota, což vede k šíření podvodů. Výzkumníci hlásí případy, kdy AI funkce v prohlížečích přesměrovávají uživatele na malwarové stránky, nebo kdy AI asistenti vyvíjejí backdoory a zjednodušují workflow zločinců. OpenAI Preparedness Framework, rámec pro připravenost, umožňuje systematicky hodnotit rizika jako automatizace útoků nebo únik citlivých dat. Tento nástroj sleduje vývoj modelů a navrhuje opatření, jako jsou omezení přístupu nebo detekce zneužití.
Kriticky lze poznamenat, že OpenAI čelí vlastním výzvám – mateřská společnost ZDNET podala v dubnu 2025 žalobu za porušení autorských práv při tréninku AI. Navíc Gartner nedávno doporučil firmám blokovat AI prohlížeče kvůli rizikům důvěry v AI s daty. Tyto iniciativy tedy přicházejí v době rostoucího tlaku na bezpečnost.
Proč je to důležité
Tato varování a plány mají široké dopady na kyberbezpečnostní průmysl. Pokud AI modely rychle zlepšují útočné schopnosti, obránci budou potřebovat ekvivalentní nástroje, jinak dojde k nevyváženému poměru sil. Pro uživatele to znamená větší opatrnost při sdílení dat s AI chatbota a nutnost ověřovat výstupy. V širším kontextu posiluje to debatu o regulaci AI – OpenAI tak reaguje na kritiku, že modely jako GPT umožňují snadné zneužití bez dostatečných zábran. Dlouhodobě by Preparedness Framework mohl sloužit jako standard pro hodnocení rizik, ovlivňující vývoj konkurenčních modelů jako Claude od Anthropic nebo Gemini od Google. Nicméně bez mezinárodní spolupráce zůstane riziko fragmentované, protože kyberzločinci nejsou omezeni jurisdikcemi.
Zdroj: 📰 ZDNet
