Souhrn
Společnosti d-Matrix a AIchip představily první komerčně vyráběnou 3D-stohovanou DRAM paměť nazývanou 3DIMC (3D stacked digital in-memory compute). Tato technologie slibuje až desetinásobné zrychlení odvozování (inference) oproti nejrychlejším akcelerátorům s pamětí HBM4 a bude nasazena v nové generaci akcelerátorů Raptor od d-Matrix.
Klíčové body
- d-Matrix a AIchip společně vyvinuly první masově vyráběnou 3D DRAM technologii 3DIMC.
- Nová paměť odstraňuje výkonnostní a cenové bariéry současných AI systémů.
- Technologie je již testována na čipech Pavehawk a bude nasazena v akcelerátorech Raptor.
- Očekává se až 10× vyšší rychlost odvozování než u řešení s HBM4.
- Cílem je zefektivnit náklady a spotřebu energie při škálování generativní a agentic AI.
Podrobnosti
Společnost d-Matrix, specializující se na hardware pro odvozování v generativní AI, se spojila s taiwanským výrobcem specializovaných AI čipů AIchip, aby vyvinula novou architekturu paměti 3DIMC. Tato technologie kombinuje 3D-stohování s výpočtem přímo v paměti (in-memory compute), což výrazně snižuje latenci a energetickou náročnost přenosu dat mezi procesorem a pamětí – hlavní úzké místo současných AI akcelerátorů. Testy na čipech Pavehawk ukazují, že 3DIMC dosahuje až desetinásobného zrychlení odvozování oproti nejvýkonnějším řešením s HBM4, což je aktuálně nejrychlejší komerční paměť používaná v high-end GPU a AI akcelerátorech.
Prvním komerčním produktem s touto technologií bude akcelerátor Raptor, který nahradí stávající řadu Corsair C8. d-Matrix se snaží využít rostoucí poptávku po efektivním odvozovacím hardwaru, zejména v datových centrech, kde náklady na energii a latence při zpracování LLM (large language models) rychle rostou. CEO Sid Sheth zdůrazňuje, že 3DIMC není jen výkonnostním, ale i ekonomickým a ekologickým krokem vpřed – umožňuje škálovat AI systémy s nižšími provozními náklady a menší uhlíkovou stopou.
Proč je to důležité
Tento krok má potenciál oslabit dominanci Nvidie v infrastruktuře pro AI odvozování. Zatímco Nvidia stále ovládá trh s GPU a HBM pamětí, alternativní architektury jako 3DIMC otevírají cestu k více konkurenčnímu a diverzifikovanému ekosystému. Pro datová centra a cloudové poskytovatele může být 10× vyšší efektivita klíčová pro udržitelné nasazování rozsáhlých AI modelů. Pokud se technologie osvědčí v praxi, může se stát referenčním bodem pro další vývoj specializovaného AI hardwaru mimo tradiční GPU architektury.
Zdroj: 📰 Notebookcheck.net
| 