SimHack: het begin van detecteerbare beloningshacking voorspellen vóór de RL-training

10. arXiv:2610.28707v1 Aankondigingstype: nieuw. Samenvatting: Bij het trainen van LLM's om te coderen met reinforcement learning is reward hacking vaak detecteerbaar maar moeilijk te voorkomen, aangezien (a) het verharden van de omgeving steeds moeilijker wordt naarmate trainingsomgevingen complexer worden; en (b) interventies tijdens de training modellen stimuleren om hackgedrag te verhullen om detectie te omzeilen. Wij onderzoeken in plaats daarvan of we kunnen voorspellen wanneer detecteerbaar reward hacking dominant wordt vóór het uitvoeren van een RL-run, zodat we […]