Souhrn
Nedávno opustili OpenAI alespoň dva výzkumníci, kteří upozornili na neupřímnost a přílišnou opatrnost firmy při zveřejňování výzkumu o AI, zejména pokud jde o negativní dopady nebo ekonomické rizika. Mezi odcházejícími byl ekonomický výzkumník Tom Cunningham, který ve vnitřní zprávě označil tým za „de facto zastupitelský orgán OpenAI“ místo opravdového výzkumného centra. Hlavní strategický ředitel Jason Kwon tyto kritiky odmítl a zdůraznil, že OpenAI musí nejen poukazovat na problémy, ale i nabízet řešení.
Klíčové body
- Odchod Toma Cunninghama a dalšího výzkumníka kvůli posunu od objektivního výzkumu k propagaci.
- Obavy se týkaly zatajování negativních výsledků výzkumu o bezpečnosti AI a ekonomických dopadech.
- Vnitřní memo od Jasona Kwona obhajuje aktivní roli OpenAI jako lídra v nasazování AI.
- Kontext: OpenAI čelí tlaku investorů na přechod k for-profit modelu a intenzivní konkurenci od Anthropic či Google.
- Report pochází z WIRED a odhaluje vnitřní napětí v oblasti AI safety.
Podrobnosti
OpenAI, firma známá vývojem modelů jako GPT série pro generování textu, konverzaci a další úlohy zpracování přirozeného jazyka, prochází turbulentním obdobím. Kromě tlaku investorů na změnu na ziskově orientovanou společnost, což by otevřelo dveře možným převzetím, a interního „kódového červeného“ alarmu pro zlepšení ChatGPT kvůli konkurenci, teď čelí kritice z řad vlastních zaměstnanců. Podle reportáže WIRED zveřejněné nedávno odešli alespoň dva výzkumníci s odůvodněním, že OpenAI při publikování výzkumu tají nebo minimalizuje negativní nálezy. Konkrétně se to týká zpráv, které by ukazovaly rizika AI, jako jsou bezpečnostní zranitelnosti nebo širší ekonomické dopady, například ztráty pracovních míst v důsledku automatizace.
Tom Cunningham, bývalý ekonomický výzkumník OpenAI zabývající se dopady AI na trh práce a ekonomiku, ve své vnitřní rozlučkové zprávě pro kolegy napsal, že tým se odklání od původního cíle – provádět nezávislý výzkum – a proměňuje se v „de facto zastupitelský orgán pro OpenAI“. To znamená, že výzkum slouží spíš k podpoře firemní agendy než k objektivnímu zkoumání rizik. OpenAI reagovalo interním memem od hlavního strategického ředitele Jasona Kwona, který tvrdí: „Není to o tom, že bychom o těchto tématech neměli mluvit. Jsme nejen výzkumnou institucí, ale také aktérem, který AI nasazuje do světa, a proto musíme nést odpovědnost za výsledky.“ Kwon zdůraznil potřebu nejen identifikovat problémy s AI, ale i budovat řešení, což podtrhuje aktivní roli firmy v ekosystému umělé inteligence.
Tato situace není izolaná. OpenAI nedávno uzavřelo partnerství s vládními institucemi a korporacemi, což zvyšuje tlak na pozitivní veřejný obraz. Firmy jako Anthropic, která se specializuje na bezpečnější AI modely jako Claude pro úlohy podobné GPT, nebo Google s Gemini, tlačí na OpenAI v inovacích i bezpečnosti. Kritika z vnitřka naznačuje systémové problémy v tom, jak velké AI laboratoře balansují mezi výzkumem a komerčními zájmy.
Proč je to důležité
Tato zpráva oslabuje důvěru v OpenAI jako lídra v AI safety, což je klíčové pro regulace a etické nasazení technologií jako velké jazykové modely (LLM). Pokud výzkum není transparentní, hrozí podcenění rizik, jako jsou halucinace modelů, bias v datech nebo ekonomická disrupce. Pro průmysl to znamená větší tlak na nezávislé audity a open-source alternativy jako Llama od Meta. V širším kontextu posiluje debatu o potřebě regulací EU AI Act nebo národních rámců, kde integrity výzkumu rozhoduje o bezpečném vývoji AGI. Uživatelé by měli být opatrní při spoléhání na AI nástroje bez ověřených bezpečnostních dat, což může ovlivnit adopci v kritických oblastech jako medicína nebo finance.
Zdroj: 📰 Windows Central