Houden of niet: leren wanneer je de KV-cache moet behouden in gedisaggregeerde LLM-servingsystemen

8. arXiv:2610.28637v1 Aankondigingstype: nieuw. Samenvatting: Gedisaggregeerde LLM-serving scheidt prefill en decode over nodepools en plaatst een netwerkfabric tussen KV-cache-berekening en -consumptie. Dit doorbreekt een kernveronderstelling van klassieke cache-beleidsregels: een miss kost niet langer alleen lokale herberekening, maar ook netwerkoverdracht naar het decode-node. Evenzo vereist het toelaten van een blok tot de globale cache een extra overdracht, zodat slechte retentiebeslissingen zowel geheugen als bandbreedte verspillen.