Aandachtsgevoeligheid is niet genoeg: het ontkoppelen van aandachtsniveau- en gedragsmatig in-context leren onder fine-tuning

arXiv:2609.00064v1 Aankondigingstype: nieuw Samenvatting: In-context learning (ICL) stelt grote taalmodellen in staat zich aan te passen aan nieuwe taken op basis van demonstraties, en fine-tuning kan dit gedrag aantasten. Veel behoudsdiagnostiek inspecteert aandacht: als de aandacht verandert wanneer demonstraties veranderen, wordt het model als contextgevoelig beschouwd. Dit artikel onderzoekt hoe ver die proxy te vertrouwen is zodra hij is geoptimaliseerd. We formaliseren In-Context Sensitivity (ICS), de gemiddelde rij-afstand tussen last-token-aandacht...