Datavoorspelbaarheid bepaalt de Weibull-gewichts-schaalgroei bij het trainen van transformers

arXiv:2608.23573v1 Aankondigingstype: nieuw Abstract: De gewichtsmagnitudes van een getrainde transformer laten zich samenvatten door een Weibull-verdeling met twee parameters, waarvan de vorm k ≈ 1,2 stabiel is over lagen en modellen heen, zodat de schaal λ het grootste deel van de door training veroorzaakte verschuiving draagt. Welke corpus-eigenschap bepaalt hoeveel λ groeit? Met behulp van de bigram-conditionele entropie D = H(volgende | vorige), een trainingsvrije statistiek die vóór de training wordt berekend, vinden we over gecontroleerde corruptiefamilies