Gebarentaalannotaties opstarten met gebarentaalmodellen

AI-gestuurde interpretatie van gebarentaal wordt beperkt door een gebrek aan geannoteerde gegevens van hoge kwaliteit. Nieuwe datasets, waaronder ASL STEM Wiki en FLEURS-ASL, bevatten professionele tolken en honderden uren aan gegevens, maar blijven slechts gedeeltelijk geannoteerd en dus onderbenut, deels vanwege de onbetaalbare kosten van annoteren op deze schaal. In dit werk ontwikkelen we een pseudo-annotatiepijplijn die ondertekende video en Engels als invoer gebruikt en een gerangschikte reeks waarschijnlijke annotaties uitvoert, inclusief tijdsintervallen, voor glossen, met de vingers gespelde woorden en tekenclassificatoren. Onze pijplijn maakt gebruik van spaarzame voorspellingen van...