Mix, maar stem niet af: tweetalige pre-training presteert beter dan hyperparameterzoektocht bij beperkte data

Voor de meeste talen ter wereld werkt het voor-trainen van taalmodellen in een datagelimiteerd regime, waarbij modellen hun trainingsdata vele malen moeten herhalen, wat ten koste gaat van de generalisatie. Er bestaan twee oplossingen: agressieve hyperparameter-tuning zoals een hoge weight decay, en het bijmengen van data uit een goed bedeelde hulptaal om de laagbedeelde doeltaal direct te ondersteunen. Waar hyperparameter-tuning het model regulariseert door gewichten te verkleinen en zo de netwerkcapaciteit te beperken, gebruikt het bijmengen van hulpdata een afstembare