Spectrale asymptotiek van landschappen met verlies van neurale netwerken: een exacte ontleding van de krommingsexponent

arXiv:2606.02596v1 Aankondigingstype: new Samenvatting: De krommingsexponent $\alpha$ in $h_k \propto \sigma_k^\alpha$ - die bepaalt hoe Hessische eigenwaarden schalen met gradiënt-singuliere waarden - varieert systematisch tussen laagtypen ($\alpha \circa 2$ voor convoluties, $\circa 1$ voor aandacht van transformatoren, $< 1$ voor MLP-up-projecties). Waarom? We bewijzen de ontleding van de spectrale uitlijning: $\alpha = 2 + d\log\Phi_k / d\log\sigma_k$, waarbij $\Phi_k$ de uitlijning meet tussen de eigenba van de Kronecker-factor