Optima pakt de grootste tekortkoming van AI-benchmarking aan door gebruikers modellen te laten testen tegen hun eigen data

Artificial Analysis heeft Optima gelanceerd, een platform waarmee gebruikers aangepaste AI-benchmarks kunnen bouwen op basis van hun eigen data en workflows. Modellen kunnen niet alleen op kwaliteit worden vergeleken, maar ook op kosten en tijd per taak. Voor agent-gebaseerde toepassingen zeggen die statistieken vaak meer dan ruwe tokenprijzen.