GEOSTEER: Geodesische optimalisatie voor activatiesturing in grote taalmodellen

Activation steering biedt een lichtgewicht manier om grote taalmodellen (LLM's) te sturen door hun verborgen activaties tijdens inferentie aan te passen. Binnen deze benaderingen heeft norm-behoudend sturen als doel het modelgedrag te veranderen zonder de activatienorm te wijzigen, wat het risico op representatie-instorting en degradatie verkleint. Bestaande norm-behoudende methoden worden echter beperkt door vooraf gedefinieerde stuur-trajecten en door hun afhankelijkheid van updates in één stap.