Agent Seer: scenario's synthetiseren vanuit begrip van specificaties

Het evalueren van AI-agents die externe tools gebruiken vereist realistische testscenario's die vastleggen hoe professionals tools combineren en over meerdere gespreksbeurten heen itereren. Zulke scenario's handmatig opbouwen vraagt diepe domeinkennis, schaalt niet over tool-ecosystemen heen en levert statische benchmarks op die evoluerende API's niet kunnen bijhouden. We stellen vast dat toolspecificaties — functienamen, beschrijvingen in natuurlijke taal en getypeerde parameterschema's — al voldoende semantische informatie bevatten om te synthetiseren.