DataPrep-Bench: LLM's getest als voorbereiders van trainingsdata

De kwaliteit van trainingsdata bepaalt fundamenteel de capaciteiten van grote taalmodellen, toch bestaat er geen eenduidige benchmark om te meten hoe goed LLM's, agents en datagerichte workflows trainingsdata end-to-end voorbereiden. Wij beschouwen LLM-gestuurde datavoorbereiding als een samenspel van twee complementaire vaardigheden: dataconstructie, waarbij ruwe bronnen worden omgezet in gelabelde trainingsdata, en data-evaluatie, die de kwaliteit van het eindresultaat voorspelt.