Voorbij eendimensionale compressie: de samengestelde schaarsheidsgrens van grote taalmodellen

Grote taalmodellen (LLM's) worden vaak gecomprimeerd via statische parameter-pruning of dynamische berekening op token-niveau, maar agressieve verdunning kan leiden tot snelle prestatievermindering zodra een kritieke schaarsheidsgrens wordt overschreden. Dit artikel onderzoekt of het combineren van deze twee mechanismen die achteruitgang kan vertragen door de compressielast te spreiden. We bestuderen een minimalistisch samengesteld schaarsheidsraamwerk dat eerst laag-rangbenadering toepast en