Gekalibreerde onzekerheid aflezen uit taalmodeltrajecten

De maximale softmax-waarschijnlijkheid (MSP) geldt als de standaardaanpak voor het evalueren van onzekerheidskwantificering bij taalmodelgeneratie met gestructureerde uitvoer. Hoewel goedkoop, is MSP vaak slecht gekalibreerd. Methoden die de interne activaties van het model onderzoeken, voeren ruwe verborgen toestanden in ondoorzichtige classifiers, waarbij ze activaties lezen als statische momentopnamen en het laag-voor-laag traject waarmee een representatie tot stand komt impliciet laten. Toch kunnen vergelijkbare eindpunten langs heel verschillende paden in de representatieruimte ontstaan.