d-Matrix a Alchip spolupracují na prvním 3D DRAM řešení pro AI inferenci

Souhrn

Společnosti d-Matrix a Alchip oznámily společný vývoj prvního akcelerátoru pro AI inferenci v datových centrech, který využívá 3D-stacked DRAM. Cílem je odstranit výkonnostní i nákladové bariéry současných AI infrastruktur a umožnit efektivnější zpracování generativních a agentic AI úloh.

Klíčové body

Vzniká první komerční akcelerátor pro AI inferenci založený na 3D DRAM.
Technologie 3DIMC (3D In-Memory Compute) je již ověřena na testovacím čipu Pavehawk.
Nový akcelerátor Raptor, nástupce Corsairu, bude podporovat až 10× vyšší rychlost inferencí než řešení s HBM4.
Spolupráce kombinuje architekturu d-Matrix s ASIC know-how společnosti Alchip.
Cílem je zvýšit energetickou efektivitu a snížit náklady na škálování AI.

Podrobnosti

Společnost d-Matrix, specializující se na efektivní inferenci generativní AI v datových centrech, spolupracuje s tchajwanskou firmou Alchip, která se zabývá návrhem specializovaných čipů (ASIC) pro AI infrastrukturu. Společně vyvíjejí technologii 3DIMC (3D In-Memory Compute), která integruje výpočet přímo do 3D-stacked DRAM paměti. Tento přístup eliminuje klasický „paměťový bottleneck“, kdy je přenos dat mezi procesorem a pamětí hlavním omezením výkonu. Technologie byla již úspěšně otestována na testovacím čipu Pavehawk a bude komerčně nasazena v akcelerátoru Raptor – nástupci dříve představeného Corsairu. Podle očekávání by měl Raptor dosahovat až desetinásobného zrychlení inferencí oproti současným řešením využívajícím HBM4 (High Bandwidth Memory 4). Tento pokrok je klíčový pro nasazení náročných generativních modelů a tzv. agentic AI, které vyžadují rychlé a opakované inferenční cykly.

Proč je to důležité

Tento krok představuje významný posun v architektuře AI akcelerátorů. Zatímco většina současných řešení (např. od NVIDIA nebo AMD) stále spoléhá na oddělené jednotky pro výpočet a paměť, d-Matrix a Alchip přinášejí integraci na fyzické úrovni. To nejen zvyšuje rychlost, ale také snižuje spotřebu energie a celkové náklady – klíčové faktory pro škálování AI v datových centrech. V kontextu rostoucí poptávky po efektivní inferenci, zejména u autonomních agentů a real-time generativních systémů, může tato technologie posunout konkurenční rovnováhu ve prospěch nových hráčů na trhu AI čipů.

Číst původní článek

Zdroj: 📰 Techpowerup.com