Hoogdimensionale laag-toestand-trajecten onthullen de interne dynamiek van transformer-inferentie

arXiv:2610.26866v1 Aankondigingstype: nieuw Abstract: Mechanistische studies van grote taalmodellen lokaliseren functie in parameters, aandachtshoofden of neuronen, maar die onderdelen specificeren niet hoe één inferentie zich voltrekt. Wij behandelen het geordende traject van laag-naar-laag toestanden als het empirische proces en testen of de volgorde van lagen een meetbare berekening definieert. Over representatieve Qwen-, Llama- en Gemma-checkpoints leverde de gerealiseerde volgorde paden op die 1,60 tot 2,24 keer zo sterk uitgelijnd waren met hun eindpunt-akkoord als eindpunt-pre