Kairos: naar een foundation-model op byteniveau voor elke modaliteit

arXiv:2610.12495v1 Aankondigingstype: nieuw Samenvatting: Kleine taalmodellen die op één lokale machine getraind worden, laten weinig ruimte voor architectonisch trial-and-error. Kairos combineert bidirectionele gated-DeltaNet lineaire aandacht en sliding-window-aandacht over gedeelde projecties (LiZAttention2), bloksgewijze Attention-Residual-aggregatie, een schaarse Mixture-of-Experts (MoE) feed-forward-laag en een multi-scale byte-level codec, getraind met een uniform-noise denoising-doelstelling over één byteruimte die gedeeld wordt door