Waarom AI-data-analyse blijft steken op 80% nauwkeurigheid
Julie Zhuo, medeoprichter van Sundial, voerde een nauwkeurigheidstest uit met 50 vragen op AI-gestuurde data-analyse en stuitte op een plafond van 80% dat standhield bij meerdere AI-tools.
Julie Zhuo, medeoprichter van Sundial, voerde een nauwkeurigheidstest uit met 50 vragen op AI-gestuurde data-analyse en stuitte op een plafond van 80% dat standhield bij meerdere AI-tools. De resterende 20% waren geen willekeurige fouten — ze clusterde rondom ambigue bedrijfslogica, impliciete domeinkennis die niet in de prompt stond en meerstaps redeneerketens waarbij vroege fouten zich opstapelden. Haar raamwerk om voorbij dat plafond te komen: codeer domeinkennis expliciet in datamodellen voordat je AI vraagt om analyse, bouw betrouwbaarheidsscores in outputs zodat analisten weten wanneer ze resultaten kunnen vertrouwen, en behandel AI als een eerste laag in plaats van een definitieve antwoordmachine. Het stuk erkent eerlijk dat 80% nauwkeurigheid voor veel workflows oprecht nuttig is, maar voor andere catastrofaal — het echte werk is weten in welke categorie je analyse valt vóórdat je het publiceert.

