Gemini 3.7 🤖, GPT-5.6 Sol Ultrafast ⚡, Anthropic $2T IPO 💰

Large language models hebben opmerkelijke doorbraken bereikt in uiteenlopende toepassingen. Toch blijven hun architecturen inefficiënt tijdens pretraining door twee belangrijke beperkingen: (i) self-attention mist een expliciete inductieve bias voor lokaliteit, wat leidt tot overbodige modellering van sequentie-interne lokale informatie; (ii) mixture-of-experts koppelt kennisopslag impliciet aan rekencircuits, wat flexibele toegang tot opgeslagen kennis belemmert.