Kan AI een nieuwe vorm van ongelijkheid scheppen in Zuid-Afrika?

arXiv:2606.27449v1 Aankondigingstype: nieuw Samenvatting: Multi-head attention verdeelt de verborgen dimensie standaard gelijkmatig over alle heads in elke laag, waardoor een identieke representatieve deelruimtedimensie (dh = dmodel/h) wordt opgelegd door de hele diepte van het model heen. In dit werk wijzen we deze uniforme toewijzing aan als een fundamenteel structureel knelpunt: door hun beperkte dimensionale ruimte slagen heads in de vroege lagen er niet in om complexe, hoogdimensionale contextuele patronen getrouw te vatten. Om dit op te lossen…