Môžu byť riedke neurónové siete rýchle?
Vďaka novovyvinutej softvérovej metóde sú výkonné riedke modely umelej inteligencie výrazne rýchlejšie a pamäťovo úspornejšie, a to bez nutnosti špecializovaného hardvéru.
Veľké jazykové modely (LLM) majú obrovský potenciál, ale potrebujú obrovskú pamäť a výpočtový výkon. Jednou z bežných techník na zníženie týchto nákladov je „prerezávanie“ (pruning) - nastavenie nepotrebných spojení v neurónovej sieti na nulu. Teoreticky by tieto „riedke“ modely mali bežať rýchlejšie a využívať menej pamäte. V praxi sú však moderné grafické procesory (GPU) silne optimalizované pre husté, pravidelné výpočty a majú problém so spracovaním nepravidelných riedkych dát. Výsledkom je, že odstránenie polovice čísel v modeli len zriedka skráti čas spracovania na polovicu.
Na vyriešenie tohto hardvérového problému sme vyvinuli MACKO-SpMV. Naša metóda predstavuje nový spôsob ukladania riedkych matíc v spojení s GPU kernelmi optimalizovanými špecificky pre násobenie riedkych matíc s vektorom (Sparse Matrix-Vector Multiplication – SpMV). Ide o kľúčovú operáciu, ktorá sa používa, keď veľké jazykové modely generujú text token po tokene.
Naše výsledky dokazujú, že neštruktúrovaná riedkosť (unstructured sparsity) môže byť konečne praktickou výhodou. Pri 50 % riedkosti je MACKO prvou metódou, ktorá dosahuje zmysluplné 1,2 až 1,5-násobné zrýchlenie a 1,5-násobné zníženie spotreby pamäte v porovnaní so štandardnými hustými (dense) reprezentáciami.
Implementácia je dostupná s otvoreným zdrojovým kódom (open-source), čo umožňuje výskumníkom a vývojárom reprodukovať výsledky a skúmať jej budúce rozšírenia, vrátane nižšej numerickej presnosti, násobenia matíc v malých dávkach (small-batch matrix multiplication) a širšej podpory architektúr GPU.
Keďže náš výskum úspešne odpovedá na kritickú otázku, či dokážeme zrýchliť výkonné modely umelej inteligencie bez zmeny samotného hardvéru, bol vybraný na medzinárodnú konferenciu International Conference on Machine Learning (ICML) 2026 v juhokórejskom Soule – ktorá je všeobecne považovaná za jednu z troch najprestížnejších konferencií o AI na svete. Okrem toho získal prestížny štatút „Spotlight“, čo je pocta vyhradená len pre niekoľko málo percent najlepších príspevkov. Výskum bol podporený grantmi APVV-24-0045, VEGA-1/0140/2, a VEGA-1/0538/2, a časť vypočtových prostriedkov poskytli HPC klastre Devana a Leonardo.
Referencie
[1] Vladimír Macko and Vladimír Boža. "MACKO: Sparse matrix-vector multiplication for low sparsity." Forty-third International Conference on Machine Learning. 2026. Online verzia