Onderzoekers trainen AI-model dat bijna volledige prestaties haalt met slechts 12,5 procent van zijn experts

Onderzoekers van het Allen Institute for AI en UC Berkeley hebben EMO gebouwd, een mixture-of-experts-model waarvan de experts zich specialiseren in inhoudsdomeinen in plaats van woordsoorten. Daardoor kun je driekwart van de experts eruit halen en slechts ongeveer één procentpunt aan prestaties verliezen — een stap die MoE-modellen voor het eerst bruikbaar zou kunnen maken in geheugenbeperkte omgevingen.