← terug naar overzicht

CausalGate: causale belangrijkheidsdistillatie voor het snoeien van transformermodules

onderzoek 📅 2026-07-28
arXiv:2607.22720v1 — CausalGate is een interventie-gestuurd raamwerk voor rekenefficiënte transformer-inferentie dat tijdens een kalibratiefase causale poorten identificeert en tijdens inferentie alleen die modules activeert die causaal bijdragen aan de output, in tegenstelling tot bestaande methoden die vertrouwen op correlationele heuristieken zoals hidden-state gelijkenis of activatiegroottes.

🔗 lees originele bron