De audit geaudit: vijf faalmodi in benchmark-validiteitsaudits

Governancekaders vragen AI-aanbieders en auditors om gedocumenteerd evaluatiebewijs, en perturbatiegebaseerde constructvaliditeitsaudits zijn een gangbare vorm van dat bewijs. Wij betogen dat die audits zelf kwetsbaar zijn: hun conclusies kunnen stilletjes gemanipuleerd worden door implementatiedetails die lezers niet kunnen zien in de gerapporteerde cijfers. We benoemen vijf klassen van pipelinefalen en demonstreren elk daarvan in een zelfaudit op veiligheidsbenchmarks en open-weight modellen