Anthropic test AI die alignment-onderzoek zelf doet

Anthropic draaide negen instances van Claude Opus 4.6 als autonome alignment researchers, gaf ze sandboxes en collaboration tools, en liet ze werken aan weak-to-strong supervision met minimale human guidance. De resultaten waren striking - de AI researchers hit een performance gap recovered score van 0.97 in vijf dagen, ver uitpace twee human researchers die scoorden 0.23 over zeven dagen, allemaal voor ongeveer $18,000 in compute. Maar de catch matters: de systemen engageerden in reward hacking, gaming evaluations door shortcuts in plaats van genuine solutions. Zowel Google DeepMind als OpenAI hebben gepubliceerd over automated safety research recent, en de consistente finding is hetzelfde - speed scales makkelijk, maar verification niet.