Souhrn
Společnosti d-Matrix a Alchip oznámily společný vývoj prvního akcelerátoru pro AI inferenci v datových centrech využívajícího 3D-stacked DRAM. Toto řešení má odstranit výkonnostní i cenové limity současných architektur a poskytnout až 10× vyšší rychlost inferencí než systémy postavené na HBM4 pamětech.
Klíčové body
- Jedná se o první komerční 3D DRAM řešení pro AI inferenci v datových centrech.
- Technologie 3DIMC (3D In-Memory Compute) je již ověřena na testovacím čipu Pavehawk.
- Komerční debut proběhne na akcelerátoru d-Matrix Raptor, nástupci modelu Corsair.
- Spolupráce kombinuje ASIC know-how Alchipu s architekturou digitálního výpočtu v paměti od d-Matrix.
- Cílem je zefektivnit inferenci pro generativní i agentic AI modely.
Podrobnosti
Společnost d-Matrix, specializující se na efektivní inferenci generativní AI v datových centrech, a Alchip, lídr v návrhu specializovaných ASIC čipů pro AI infrastrukturu, společně vyvíjejí revoluční architekturu založenou na 3D-stacked DRAM. Klíčovou součástí je technologie 3DIMC (3D In-Memory Compute), která umožňuje provádět výpočty přímo uvnitř paměťového čipu, čímž se výrazně snižuje latence a spotřeba energie. Tato technologie byla již úspěšně ověřena na testovacím čipu Pavehawk ve vlastních laboratořích d-Matrix. Komerčně se objeví na nadcházejícím akcelerátoru Raptor, který nahradí stávající model Corsair. Podle očekávání by měl Raptor dosahovat až desetinásobného zrychlení inferencí oproti současným řešením využívajícím HBM4 paměti. Tento pokrok je zásadní pro nasazení náročných generativních a agentic AI modelů, které vyžadují extrémně rychlý přístup k datům a výpočetním jednotkám.
Proč je to důležité
Tato spolupráce řeší jednu z největších překážek škálovatelnosti AI – tzv. „memory wall“, tedy propast mezi rychlostí procesoru a pomalejším přístupem k paměti. Zavedení 3D DRAM s výpočetními funkcemi přímo v paměti může výrazně snížit náklady na provoz AI systémů a zároveň zvýšit jejich energetickou účinnost. V kontextu exponenciálního růstu nároků generativní AI a agentic systémů představuje tento krok klíčový posun směrem k udržitelné a ekonomicky životaschopné AI infrastruktuře. Pro průmysl to znamená možnost nasazovat složitější modely v reálném čase bez nutnosti obrovských investic do paměťové a výpočetní kapacity.
Zdroj: 📰 Techpowerup.com