TRACE: Transformer Residual Activation Codebook Encoding voor communicatie-efficiënte gedistribueerde edge-inferentie

arXiv:2610.22435v1 Aankondigingstype: nieuw. Samenvatting: Gedistribueerde Transformer-inferentie over dicht bij elkaar geplaatste edge-apparaten is fundamenteel communicatiegebonden, omdat het uitwisselen van activaties tussen sequentie-parallelle partities de inferentielatentie domineert bij gangbare edge-bandbreedtes. Bestaande compressieschema's verlagen deze kosten, maar behouden een structureel knelpunt: de ontvangen data moet nog altijd een key/value-projectie ondergaan voordat aandacht kan plaatsvinden, waardoor berekening achter communicatie wordt geserialiseerd. Dit artikel...