Souhrn
Pourya Kordi v tomto přehledu analyzuje posun v AI výzkumu mimo současný hype kolem velkých jazykových modelů (LLM). Představuje nové architektury, jako je Joint Embedding Predictive Architecture (JEPA) od Meta, a ambiciózní plán DeepMind dosáhnout „minimální AGI“ do roku 2028. Tyto trendy naznačují přehodnocení toho, jak stroje učí, uvažují a interagují se světem.
Klíčové body
- Nové architektury jako JEPA se zaměřují na abstrakci, kontrafaktuální uvažování a fyzikální modelování, aby překonaly slabiny LLM v generalizaci.
- DeepMind, firma specializující se na pokročilý AI výzkum pod Alphabetem, stanovila cíl „minimální AGI“ do roku 2028, což znamená systém schopný základního uvažování napříč úkoly.
- Experti se neshodují: Yann LeCun z Meta je skeptický k dosažitelnosti AGI v současných paradigmatech, zatímco Demis Hassabis z DeepMind vidí postupný vývoj schopností.
- Posun k integraci jazyka, vidění a modelů světa do specializovaných systémů orientovaných na konkrétní úkoly.
- Důraz na kontrafaktuální uvažování, které umožňuje simulovat alternativní scénáře bez reálných dat.
Podrobnosti
Tento článek, založený na videu Pouryi Kordiho, se zaměřuje na kritiku současného stavu AI, kde velké jazykové modely (LLM) jako GPT nebo Llama dominují, ale selhávají v oblastech jako fyzikální uvažování nebo kontrafaktuální myšlení. LLM excelují v generování textu na základě statistických vzorů z obrovských datových sad, ale postrádají skutečné porozumění světu. Například neumí spolehlivě predikovat, co se stane, když se objekt pohybuje v protisměru gravitace, protože jejich trénink je převážně textový.
Jedním z řešení je Joint Embedding Predictive Architecture (JEPA), kterou navrhl Yann LeCun, šéf AI výzkumu u Meta. JEPA funguje tak, že mapuje vstupy (obrázky, videa nebo senzory) do společného embeddingového prostoru a predikuje budoucí stavy bez potřeby pixel-perfect rekonstrukce. To umožňuje učení abstraktních konceptů, jako je fyzika pohybu nebo kauzalita, z nestrukturovaných dat. Na rozdíl od autoregresivních LLM, které generují token po tokenu, JEPA se soustředí na predikci změn, což vede k efektivnějšímu učení s menším množstvím dat. Meta tuto architekturu testuje v modelech jako V-JEPA pro vizuální predikce, kde slouží k tréninku robotů nebo autonomních systémů na simulaci reálného světa.
Dalším klíčovým hráčem je DeepMind, britská AI laboratoř získaná Alphabetem v roce 2014, známá úspěchy jako AlphaFold pro predikci proteinových struktur. Její CEO Demis Hassabis oznámil cíl „minimální AGI“ do 2028, což definuje jako systém schopný základního lidského uvažování v omezeném rozsahu – například plánování, učení z mála příkladů a interakce s fyzickým světem. To zahrnuje integraci jazykových modelů s vizuálními a světovými modely, jako jsou ty v projektu Genie pro generování herních světů. Naopak Yann LeCun argumentuje, že AGI vyžaduje radikální změnu paradigm, protože současné modely postrádají hierarchické učení a plánování.
Tyto debaty odrážejí širší trend: od univerzálních LLM k modularním systémům, kde specializované moduly pro vidění (jako vision transformers), jazyk a fyziku spolupracují. Například kontrafaktuální uvažování umožňuje modelu ptát se „co kdyby“, což je klíčové pro robotiku nebo medicínu, kde nelze testovat všechny scénáře.
Proč je to důležité
Tyto vývoje signalizují konec éry, kdy se AI měřila velikostí modelů a počtem parametrů. Pokud JEPA nebo podobné architektury uspějí, umožní robustnější AI s lepší generalizací, což ovlivní průmysl – od autonomních vozidel po roboty v továrnách. Cíl DeepMind na AGI do 2028 je ambiciózní, ale historie (např. zpoždění AlphaGo) ukazuje rizika přeceňování. Pro uživatele to znamená méně halucinující AI a více praktických aplikací, ale zároveň zvyšuje potřebu regulace kvůli rizikům nečekaných chování. V širším kontextu to posiluje evropský a americký výzkum proti čínské konkurenci, kde se zaměřují na efektivitu místo hrubé síly dat.
Zdroj: 📰 Geeky Gadgets
