llm-typesafe 0.1a0

arXiv:2609.22106v1 Aankondigingstype: nieuw. Samenvatting: De nauwkeurigheid van low-bit kwantisatie van lineaire lagen wordt vaak gedomineerd door een klein aantal uitschieters. Hoewel bestaande methoden, zoals smoothing-, rotation- of residugebaseerde benaderingen, dit probleem kunnen verminderen, introduceren ze vaak nieuwe nauwkeurigheidsknelpunten in de gewichten. Bovendien zijn de meeste van deze technieken geïmplementeerd als online benaderingen, wat kan leiden tot zware uitvoeringsoverhead. Om bovengenoemde problemen aan te pakken, stellen wij PRQuant (Per...