Souhrn
Výzkumníci z University of Surrey vyvinuli nový přístup k navrhování umělých neuronových sítí, který napodobuje způsob propojení neuronů v lidském mozku. Metoda nazvaná Topographical Sparse Mapping výrazně zlepšuje výkon AI modelů při současném snížení energetické náročnosti, což řeší jeden z klíčových problémů současné generativní AI.
Klíčové body
- Topographical Sparse Mapping propojuje každý neuron pouze s blízkými nebo souvisejícími neurony, podobně jako lidský mozek
- Metoda eliminuje potřebu obrovského množství zbytečných spojení mezi neurony
- Vylepšená verze Enhanced Topographical Sparse Mapping využívá biologicky inspirovaný proces “prořezávání” spojení během tréninku
- Trénink současných velkých AI modelů spotřebuje přes milion kilowatthodin elektřiny
- Výzkum byl publikován v odborném časopise Neurocomputing
Podrobnosti
Tradiční umělé neuronové sítě používají hustě propojené vrstvy neuronů, kde je každý neuron spojen s většinou nebo všemi neurony v sousední vrstvě. Tento přístup vyžaduje obrovské množství výpočetního výkonu a energie. Výzkumný tým z University of Surrey se inspiroval biologickými neuronovými sítěmi, kde neurony nejsou propojeny náhodně, ale organizují se do topografických map podle funkční podobnosti.
Dr. Roman Bauer, vedoucí výzkumu, vysvětluje, že jejich práce ukazuje možnost budovat inteligentní systémy mnohem efektivněji, se sníženými energetickými nároky bez ztráty výkonu. Metoda Topographical Sparse Mapping vytváří řídké propojení, kde každý neuron komunikuje pouze s neurony v určité oblasti nebo s těmi, které zpracovávají související informace.
Vylepšená verze Enhanced Topographical Sparse Mapping jde ještě dál a během tréninku postupně odstraňuje méně důležitá spojení, podobně jako lidský mozek v průběhu učení a vývoje optimalizuje své neuronové dráhy. Tento proces, známý jako synaptické prořezávání, je klíčový pro efektivní fungování biologických nervových systémů.
Výzkumníci zdůrazňují, že současná spotřeba energie při trénování velkých jazykových modelů jako ChatGPT není dlouhodobě udržitelná. Trénink jednoho velkého modelu může spotřebovat elektřinu odpovídající roční spotřebě stovek domácností.
Proč je to důležité
S rychlým růstem AI průmyslu se energetická náročnost stává kritickým problémem. Datová centra pro AI již nyní spotřebovávají významnou část globální elektřiny a tento trend se zrychluje. Přístup z University of Surrey nabízí praktickou cestu, jak zlepšit výkon AI při současném snížení ekologické stopy.
Výzkum má potenciál ovlivnit nejen trénování velkých jazykových modelů, ale také vývoj neuromorfních počítačů – specializovaného hardwaru inspirovaného strukturou mozku. Tyto systémy by mohly být výrazně energeticky efektivnější než současné GPU a TPU čipy používané pro AI. Praktická aplikace těchto poznatků by mohla urychlit nasazení AI v oblastech, kde je energie omezená, například v mobilních zařízeních nebo edge computing.
Zdroj: 📰 BBC News
| 