Transformer Geometry Observatory TGO-IV: Observatorium voor ontwikkelingstopologie

Transformers hebben de wereld van taalverwerking en computer vision ingrijpend veranderd. Terwijl de vraag "Hoe leert een Transformer?" steeds meer aandacht krijgt, richten bestaande interpretatiestudies zich vooral op representaties in geïsoleerde lagen of het netwerk als geheel. De ontwikkelingsdynamiek van individuele representaties en hun manifolds dwars door de transformerlagen heen blijft echter grotendeels onderbelicht.