Souhrn
Institute Future of Life Institute vydal nejnovější index bezpečnosti AI, kde většina velkých AI laboratoří získala nízké známky, zejména v oblasti existenciální bezpečnosti. Nejhorší výsledky měly firmy jako Meta, DeepSeek a xAI s známkami D nebo F, zatímco lídry Anthropic, OpenAI a Google DeepMind dosáhly C+ nebo C. Hodnocení vychází z veřejných materiálů a odpovědí pěti firem na průzkum.
Klíčové body
- Většina AI firem skórovala D nebo F v kategorii existenciální bezpečnosti, přestože mnohé usilují o superinteligenci.
- Nejlepší celkové známky C+ nebo C získaly Anthropic, OpenAI a Google DeepMind.
- Špatné výsledky měly xAI (Elon Musk), Z.ai, Meta, DeepSeek (čínská AI firma zaměřená na velké jazykové modely) a Alibaba.
- Max Tegmark z MIT kritizuje nedostatek regulací, který vede k prioritizaci rychlosti vývoje před bezpečností.
- Čtyři z pěti amerických firem odpověděly na průzkum, Meta ne.
Podrobnosti
Institute Future of Life Institute, vedený profesorem MIT Maxem Tegmarkem, provedl hodnocení osmi významných AI společností v kategoriích jako bezpečnostní rámce, hodnocení rizik a současné škody způsobené AI. Recenzenti, tvoření akademiky a expertů na governance AI, analyzovali veřejně dostupné dokumenty a odpovědi na průzkum od pěti firem. Nejvíce znepokojivým bodem byl údaj o existenciální bezpečnosti – oblasti zabývající se riziky, že superinteligentní AI by mohla ohrozit lidstvo. Zde žádná firma nedosáhla lepší než D, mnohé F, přestože firmy jako OpenAI nebo xAI otevřeně hlásají cíl vyvinout superinteligenci, tedy AI překonávající lidskou inteligenci ve všech oblastech.
Tegmark zdůraznil, že firmy postrádají plány pro bezpečné řízení takových systémů. „Recenzenti to považovali za znepokojivé,“ uvedl. Pořadí celkových známek: první tři místa Anthropic (C+), OpenAI (C) a Google DeepMind (C), následované xAI (D), Z.ai (D-), Meta (D), DeepSeek (D-) a Alibaba (D-). DeepSeek je čínská společnost specializující se na vývoj velkých jazykových modelů (LLM), které slouží k generování textu, kódu nebo analýze dat, podobně jako GPT modely. xAI, založená Elonem Muskem, se zaměřuje na vývoj pokročilých AI systémů pro urychlení vědeckého objevování.
Důvodem špatných výsledků je podle Tegmarka absence regulací. V USA firmy soutěží v „závodě o AI“, kde rychlost uvedení nových modelů převažuje nad bezpečnostními testy. Kalifornie nedávno schválila zákon vyžadující od frontier AI firem (vyvíjejících nejpokročilejší modely) zveřejňování informací o katastrofických rizicích. New York na tom je podobně, federální legislativa však není v dohledu. Firmy mají motivaci spíš urychlit vydání produktů než investovat do bezpečnosti. Indexy jako tento se stávají branžovým standardem – čtyři americké firmy (kromě Metu) na průzkum odpověděly a brání v úvahu brát je vážněji.
Proč je to důležité
Toto hodnocení odhaluje systémové slabiny v AI průmyslu, kde rychlý pokrok v modelech jako GPT nebo Llama překonává bezpečnostní opatření. Pro uživatele to znamená vyšší riziko neočekávaného chování AI v aplikacích od chatových botů po autonomní systémy. Pro průmysl to signalizuje potřebu samoregulace nebo legislativy, jinak hrozí incidenty podobné současným škodám (např. dezinformace z AI). V širším kontextu posiluje debatu o AGI (umělé obecné inteligenci), kde absence plánů na existenciální rizika může způsobit dlouhodobé problémy. Firmy jako Anthropic, které integrují bezpečnost do jádra vývoje (např. pomocí ústavních AI – modelů s vestavěnými bezpečnostními pravidly), ukazují cestu, ale konkurence brání širšímu přijetí.
Zdroj: 📰 Fortune