Souhrn
Výzkumníci z University of Surrey publikovali studii v časopise Neurocomputing, která představuje nový přístup k architektuře umělých neuronových sítí inspirovaný biologickým propojením lidského mozku. Metoda nazvaná Topographical Sparse Mapping (TSM) propojuje neurony pouze s blízkými nebo souvisejícími neurony, což výrazně snižuje energetickou náročnost při zachování výkonu.
Klíčové body
- Topographical Sparse Mapping eliminuje zbytečná propojení mezi neurony a napodobuje efektivní organizaci informací v lidském mozku
- Trénování současných velkých AI modelů spotřebuje přes milion kilowatthodin elektřiny, což podle výzkumníků není udržitelné
- Vylepšená verze Enhanced Topographical Sparse Mapping využívá biologicky inspirovaný proces “prořezávání” (pruning) během tréninku
- Metoda je aplikovatelná na generativní AI a velké jazykové modely typu ChatGPT
- Výzkumný tým zkoumá využití přístupu v neuromorfních počítačích
Podrobnosti
Dr. Roman Bauer, vedoucí výzkumu a senior lecturer na University of Surrey, vysvětluje, že současné umělé neuronové sítě často využívají plně propojené vrstvy, kde každý neuron komunikuje s každým neuronem v následující vrstvě. To vytváří obrovské množství spojení, z nichž mnohá jsou redundantní a zbytečně zvyšují výpočetní a energetické nároky.
Topographical Sparse Mapping tento problém řeší tím, že strukturuje propojení podobně jako lidský mozek – neurony jsou spojeny pouze s těmi, které zpracovávají související informace nebo jsou prostorově blízko. Tato topografická organizace je běžná v biologických nervových systémech, například ve vizuálním kortexu, kde sousední neurony zpracovávají sousední oblasti zorného pole.
Enhanced Topographical Sparse Mapping jde ještě dál a během tréninku postupně odstraňuje nejméně důležitá spojení, podobně jako se vyvíjející se mozek v dětství a dospívání prořezává synapse, které se nepoužívají. Tento proces vede k ještě efektivnějším sítím.
Výzkumníci zdůrazňují praktický dopad na energetickou spotřebu. Při současném tempu růstu AI a trénování stále větších modelů představuje spotřeba energie zásadní problém jak z ekonomického, tak ekologického hlediska. Metoda TSM nabízí cestu ke snížení těchto nároků bez kompromisů ve výkonu.
Proč je to důležité
Tato studie přichází v době, kdy energetická náročnost AI modelů čelí rostoucí kritice. Trénování velkých jazykových modelů vyžaduje masivní výpočetní kapacity a spotřebovává enormní množství elektřiny. Přístup inspirovaný biologií nabízí alternativní cestu k efektivnějším architekturám, která nemusí spoléhat pouze na zvyšování výpočetního výkonu.
Výzkum také otevírá možnosti pro neuromorfní computing – oblast, která se snaží vytvářet počítače fungující podobně jako lidský mozek. Tyto systémy by mohly být výrazně energeticky efektivnější než současné architektury založené na von Neumannově modelu. Pokud se principy TSM osvědčí v praxi, mohou ovlivnit design budoucích AI akcelerátorů a specializovaných čipů pro strojové učení.
Zdroj: 📰 BBC News
| 