REAL-Q: end-to-end LLM-kwantisering via dynamische gradiëntdaling

arXiv:2609.00049v1 Aankondigingstype: nieuw Samenvatting: Post-training quantisatie (PTQ) is essentieel voor het inzetten van grote taalmodellen (LLM's) onder strikte resourcebeperkingen. Geavanceerde PTQ-methoden quantiseren elke laag met één gesloten-vorm tweede-orde-oplosser: om analytisch hanteerbaar te blijven, benaderen ze de globale verliesfunctie sterk (ze laten cross-channel-koppeling weg en groeperen uitvoerrijen), en bevriezen vervolgens de resulterende Hessiaan over de hele laag, zonder mogelijkheid om te vernieuwen...