Geometrische en gedragsmatige gelaagdheid in transformer-residustromen

Getrainde transformermodellen ontwikkelen geprivilegieerde bases: coördinaatassen waarvan de statistieken afwijken van de rest van de residual stream — we onderzoeken de voorspellingsrichting, de unembedding-richting van het token dat het model op dat moment voorspelt, en stellen vast dat deze fungeert als een inhoudelijk gedefinieerd geprivilegieerd anker; gemeten ten opzichte van dit anker vertoont de variatie in de residual stream geometrisch en gedragsmatig een heldere structuur.