Souhrn
Institute Future of Life (FLI) vydal nejnovější index bezpečnosti AI, který hodnotí osm velkých AI laboratoří. Anthropic, OpenAI a Google DeepMind dosáhly nejlepších výsledků s celkovou známkou C+ nebo C, zatímco Meta, Deepseek, Xai, Z.ai a Alibaba získaly D nebo D-. Nejhorší výsledky firmy vykázaly v kategorii existenciální bezpečnosti, kde všechny obdržely D nebo F.
Klíčové body
- Hodnocení proběhlo na základě veřejných materiálů a odpovědí na průzkumy pěti firem; recenzenty byli AI akademici a experti na governance.
- Kategorie zahrnovaly bezpečnostní rámce, hodnocení rizik a současné škody způsobené AI.
- Existenciální bezpečnost, tedy příprava na rizika superinteligence, selhala u všech firem.
- Max Tegmark z MIT, prezident FLI, kritizuje absenci regulací, která vede k prioritizaci rychlosti před bezpečností.
- Čtyři z pěti amerických firem nyní odpovídají na průzkumy FLI, Meta je jediná výjimka.
Podrobnosti
Future of Life Institute, nezisková organizace zaměřená na mitigaci globálních rizik včetně těch spojených s AI, zveřejnil tento index jako nástroj pro hodnocení odpovědnosti AI firem. Hodnocení se opíralo o analýzu veřejně dostupných dokumentů, jako jsou bezpečnostní protokoly a zprávy o rizicích, doplněnou o odpovědi na standardizovaný průzkum, který podalo pět z osmi firem. Recenzenti, panel AI akademiků a odborníků na regulaci, hodnotili firmy v klíčových oblastech: vývoj bezpečnostních rámců pro kontrolu AI systémů, systematické hodnocení potenciálních rizik včetně katastrofických scénářů a opatření proti aktuálním škodám, jako jsou biasy v modelech nebo zneužití pro dezinformace.
Nejproblematičtější kategorií se stala existenciální bezpečnost, která se zabývá dlouhodobými riziky, jako je vývoj superinteligence – AI překonávající lidskou inteligenci ve všech oblastech. Mnoho těchto firem, včetně OpenAI, Anthropic nebo Xai (společnost Elona Muska zaměřená na bezpečné AGI), veřejně deklaruje cíl dosáhnout superinteligence, ale podle recenzentů chybí konkrétní plány na její bezpečné řízení. Max Tegmark popsal tento rozpor jako „šokující“, protože firmy investují miliardy do vývoje, ale ignorují základní bezpečnostní protokoly.
Pořadí firem: první tři – Anthropic (C+), OpenAI (C), Google DeepMind (C). Následovaly Xai (D), Z.ai (D), Meta (D-), Deepseek (D-) a Alibaba (D-). Deepseek je čínská AI laboratoř specializující se na velké jazykové modely (LLM) jako DeepSeek-V2, které konkurují GPT modelům v efektivitě. Z.ai je méně známá firma zaměřená na AI governance. Slabiny odrážejí širší trend: v absenci federálních regulací v USA (navzdory pokusům v Kalifornii a New Yorku) konkurence v AI závodě nutí firmy urychlovat vydávání modelů na úkor bezpečnosti. FLI proto vydává tyto indexy pravidelně, aby tlačily na průmysl – nyní čtyři americké firmy (kromě Metá) spolupracují.
Proč je to důležité
Tento index odhaluje systémové selhání v AI průmyslu, kde i lídři jako OpenAI dosahují jen průměrných známek. V kontextu rychlého pokroku směrem k AGI to zvyšuje rizika nekontrolovaného nasazení systémů schopných autonomního rozhodování. Pro uživatele to znamená vyšší pravděpodobnost incidentů, jako jsou halucinace v LLM nebo zneužití pro kybernetické útoky. Pro průmysl to podtrhuje potřebu samoregulace nebo legislativy – Kalifornie nedávno zavádí povinné reportování katastrofických rizik, což by mohlo stanovit standard. Bez změn hrozí, že závod na superinteligenci skončí bez bezpečnostních pojistek, což ohrozí globální stabilitu.
Zdroj: 📰 Fortune
| 