Souhrn
Nový kalifornský zákon o bezpečnosti AI vstupuje v platnost 1. ledna a zavádí povinnou transparentnost pro vývojáře pokročilých modelů AI. Firmy musí zveřejňovat plány na řešení katastrofických rizik a hlásit kritické bezpečnostní incidenty státním úřadům do 15 dnů. Zákon navíc chrání whistleblowery v tomto odvětví.
Klíčové body
- Povinnost zveřejnit na webu plány a politiky pro reakci na “katastrofické riziko”, jako je smrt více než 50 lidí nebo škody přes 1 miliardu dolarů.
- Hlášení “kritických bezpečnostních incidentů” do 15 dnů pod hrozbou pokut až 1 milion dolarů za porušení.
- Ochrana zaměstnanců-whistleblowerů v firmách vyvíjejících AI modely.
- Zákon navrhl demokratický senátor Scott Wiener a zaměřuje se na frontier AI modely, tedy ty nejpokročilejší systémy.
- Definice katastrofického rizika zahrnuje například instrukce k výrobě chemických, biologických nebo jaderných zbraní.
Podrobnosti
Kalifornie, jako centrum technologického průmyslu s firmami jako OpenAI, Google DeepMind nebo Anthropic, se stává prvním státem USA, který zavádí specifickou regulaci pro bezpečnost AI v době absence federálních norem. Zákon, označovaný jako SB 1047, vyžaduje od společností vyvíjejících frontier AI modely – tedy systémy s vysokými výpočetními nároky a potenciálně nečekanými schopnostmi – aby na svých webech uveřejnily podrobné informace o svých bezpečnostních postupech. Tyto plány musí pokrývat scénáře, kde AI může způsobit masivní škody, ať už záměrně zneužitím (malicious use) nebo chybou systému (malfunction).
Například pokud model poskytne pokyny k vývoji zbraní hromadného ničení nebo umožní kybernetický útok s obrovskými škodami, firma musí incident nahlásit kalifornskému generálnímu prokurátorovi. Pokuty za nedodržení dosahují až 1 milionu dolarů za každý případ, což má motivovat dodržování. Zákon rovněž zavádí právní ochranu pro zaměstnance, kteří odhalí bezpečnostní nedostatky; chrání je před odvetou zaměstnavatele, což je klíčové v odvětví, kde loajalita vůči firmě často převažuje nad veřejným zájmem.
Tento krok přichází v době, kdy experti na AI bezpečnost, jako ti z Center for AI Safety, varují před rychlou evolucí technologií. Modely jako GPT-4o nebo Claude 3.5 vykazují schopnosti komplexního uvažování, které mohou vést k neočekávaným rizikům, například v generování škodlivého kódu nebo dezinformací ve velkém měřítku. Zákon není zaměřený na běžné AI nástroje jako chatboti pro zákaznickou podporu, ale výhradně na ty nejpokročilejší, které spotřebovávají obrovské zdroje GPU a trénují na datech v řádech bilionů tokenů. Pro průmysl to znamená nutnost revidovat interní procesy: firmy budou muset implementovat systémy pro detekci rizik, jako red teaming (simulace útoků) nebo evaluace na bezpečnostní benchmarky typu MLCommons.
Proč je to důležité
Tato regulace nastavuje precedens v USA, kde federální legislativa zaostává – například Bidenova výkonná směrnice z roku 2023 je dobrovolná. Kalifornie ovlivní celý ekosystém, protože mnoho firem sídlí právě zde a zákon se vztahuje na globální modely distribuované v USA. Pro uživatele to znamená větší důvěru v AI systémy, méně rizik z neřízeného vývoje a tlak na etické standardy. Kriticky řečeno, zákon není dokonalý: postihuje až po incidentu a neřeší prevenci na úrovni tréninkových dat nebo architektury modelů. Přesto posiluje odpovědnost velkých hráčů a může inspirovat Evropu (AI Act) nebo Čínu k podobným krokům, čímž přispívá k globální harmonizaci bezpečnostních norem v éře, kdy AI překračuje hranice států.
Zdroj: 📰 ZDNet
