Trainingsvrije kennisoverdracht over modelschalen heen via activatiegestuurde pruning

arXiv:2608.13596v1 Aankondigingstype: nieuw. Samenvatting: Heterogene modelfusie probeert modellen te combineren die verschillen in taken, initialisaties, architecturen of schaal. We bestuderen een onderbelichte cross-scale-setting: het verbeteren van een klein ontvangend taalmodel met een sterker donormodel ondanks een aanzienlijke architectonische mismatch. We vragen ons af of bruikbare capaciteiten kunnen worden overgedragen zonder expliciete neuron-gewijze semantische afstemming. Voortbouwend op de observatie dat het afkappen van een groot model tot een kleinere archit