Krommingscryptanalyse van gladde transformer feed-forward-netwerken
arXiv:2608.28843v1 Aankondigingstype: nieuw Samenvatting: We tonen aan dat gladde tweelaagse feed-forward-netwerken (FFN's) een extra structureel model-extractiekanaal blootleggen onder een chosen-input raw-output-orakel op de FFN-tak; beschouw transformer FFN-takken met GELU- of SiLU-activaties onder chosen-input raw-output-toegang, zonder toegang tot parameters, gradiënten of interne activaties; benut een tweede-orde lek-kanaal waarin geprojecteerde input-Hessianen verschillende mengsels vormen van dezelfde h
🔗 lees originele bron