Kwantisering ondermijnt afstemming: bias in gecomprimeerde LLM's bij verschillende modellen en precisieniveaus

Grote taalmodellen worden routinematig gecomprimeerd via post-training kwantisering om inferentiekosten en geheugengebruik te verlagen voor cloud- en edge-implementaties, maar het effect van deze compressie op de modelkwaliteit is nog onvoldoende begrepen. Bestaande studies vergelijken doorgaans slechts twee condities (volledige precisie versus één gekwantiseerde variant), gebruiken grove biasstatistieken en evalueren één modelfamilie, waardoor het onmogelijk is om geleidelijke degradatie te onderscheiden.