Souhrn
Generální ředitel Anthropicu Dario Amodei v rozhovoru pro podcast Dwarkesh Patel přiznal, že jeho společnost čelí enormnímu komerčnímu tlaku, který ztěžuje soulad původní mise na bezpečnou AI s potřebou inovací a zisku. Anthropic byl založen v roce 2019 jako bezpečnější alternativa k OpenAI, odkud Amodei odešel společně s dalšími zaměstnanci, včetně své sestry Daniely Amodeiové. Minulý týden společnost oznámila fundraising ve výši 30 miliard dolarů při post-money valuaci 380 miliard dolarů, což ji řadí mezi nejcennější soukromé firmy světa.
Klíčové body
- Amodei odešel z OpenAI, kde byl viceprezidentem pro výzkum zaměřený na bezpečnost, kvůli nedostatečnému důrazu na rizika AI.
- Anthropic vyvíjí velký jazykový model Claude s důrazem na bezpečnost prostřednictvím Constitutional AI, kde model získává hodnoty místo striktních pravidel.
- Společnost má Responsible Scaling Policy, podle které nepublikuje modely schopné katastrofické škody.
- CEO zdůrazňuje tlak na udržení 10násobného růstu příjmů při zachování bezpečnostních opatření, která jsou náročnější než u konkurentů.
- Fundraising 30 miliard dolarů potvrzuje rychlý růst, ale zároveň zvyšuje očekávání investorů.
Podrobnosti
Anthropic, firma zaměřená na vývoj velkých jazykových modelů s důrazem na bezpečnost, vznikla v roce 2019 jako odpověď na Amodeiho nespokojenost s přístupem OpenAI. OpenAI, původně nezisková organizace vyvíjející modely jako GPT série pro obecné úkoly zpracování textu a generování obsahu, podle Amodeiho příliš rychle priorizovala komerční expanzi na úkor rizikového managementu. Amodei, tehdejší viceprezident pro výzkum, opustil firmu společně s kolegy včetně Daniely Amodeiové, která se stala spoluzakladatelkou a COO. Společně vybudovali Claude, model navržený pro bezpečné chování.
Klíčovým prvkem je Constitutional AI, přístup, kde model není omezen tisíci pravidel, ale naučí se hodnoty jako upřímnost, nápaditost nebo respekt k lidským právům. To umožňuje Claude reagovat flexibilněji na složité scénáře, například v konverzacích nebo analýzách textu, bez rizika generování škodlivého obsahu. Další vrstvou je Responsible Scaling Policy, která stanovuje hranice pro nasazení modelů podle jejich schopností – například modely s potenciálem pro chemické zbraně nebo kybernetické útoky nejsou uvolněny.
Navzdory těmto opatřením Amodei v podcastu přiznává realitu: “Jsme pod obrovským komerčním tlakem a ještě si to ztěžujeme naší bezpečností, kterou děláme víc než ostatní.” Mezi “Velkou čtveřici” AI firem (OpenAI, Google, Meta, xAI) panuje závod o rychlé vydávání nových verzí modelů, což vyžaduje masivní investice do výpočetních zdrojů jako GPU clustery. Anthropic musí udržet 10násobný růst příjmů, aby přežil, přičemž bezpečnostní testy způsobují zpoždění. Nedávný fundraising, vedený pravděpodobně investory jako Amazon nebo Google (které již spolupracují na API přístupu k Claude), posílil pozici firmy, ale zároveň zvýšil očekávání na ziskovost. Amodei srovnává situaci s tlakem v biotech sektoru, kde bezpečnost brzdí rychlost, ale bez ní hrozí selhání.
Proč je to důležité
Toto přiznání odhaluje systémový problém v AI průmyslu: firmy se profilující jako bezpečnostní lídři čelí stejným ekonomickým tlakům jako konkurence, což může vést k oslabení bezpečnostních standardů. Pro uživatele znamená riziko, že i modely jako Claude, určené pro podnikové aplikace jako analýza dat nebo automatizace, mohou v honbě za ziskem přijmout kompromisy v etice. V širším kontextu to podtrhuje nutnost regulací – například evropského AI Actu nebo amerických směrnic – aby investoré neprosazovali rychlost na úkor rizik jako dezinformace nebo zneužití v kybernetice. Pokud i Anthropic ustoupí, celý sektor může ztratit důvěryhodnost, což ovlivní adopci AI v kritických oblastech jako zdravotnictví nebo obrana.
Zdroj: 📰 Fortune
