PRQuant: Permutatie-residuale kwantisering voor inferentie met lage overhead

arXiv:2609.22106v1 — Aankondigingstype: nieuw. Samenvatting: De nauwkeurigheid van low-bit kwantisatie van lineaire lagen wordt vaak gedomineerd door een klein aantal uitschieters. Hoewel bestaande methoden zoals smoothing, rotation of op residual gebaseerde benaderingen dit probleem kunnen verlichten, introduceren ze vaak nieuwe nauwkeurigheidsknelpunten in de gewichten. Bovendien zijn de meeste van deze technieken als online benaderingen geïmplementeerd, wat tot zware uitvoeringskosten kan leiden. Om deze problemen aan te pakken, stellen wij PRQuant voor.