8 principes uit de menselijke ecologie kunnen AI laten bijdragen aan menselijk welzijn

Multi-head attention verdeelt traditioneel de verborgen dimensie gelijkmatig over alle hoofden in elke laag, waardoor een identieke representatieve deelruimte-dimensie (dh = dmodel/h) wordt afgedwongen over de volledige diepte van het model. In dit werk identificeren we deze uniforme toewijzing als een fundamentele structurele bottleneck: door hun beperkte dimensionale ruimte zijn hoofden in vroege lagen niet in staat om complexe, hoogdimensionale contextuele patronen getrouw vast te leggen.