MawForge: geheugengebonden expertmaterialisatie voor lokale mixture-of-experts-inferentie
MawForge onderzoekt of lokale MoE-inferentie haalbaar is op geheugenbeperkte machines door het volledige model op schijf te bewaren en alleen veelgebruikte tensoren in snel geheugen te houden
🔗 lees originele bron