Objectief-geconditioneerd actief voorkeursleren voor multi-objectieve afstemming

arXiv:2611.05506v1 Aankondigingstype: nieuw Samenvatting: Het afstemmen van grote taalmodellen (LLM's) op meerdere doelstellingen, zoals behulpzaamheid, onschadelijkheid en eerlijkheid, berust doorgaans op een voorkeursoordeel per doelstelling, waardoor de annotatiekosten lineair toenemen met het aantal doelstellingen. Actief voorkeursleren kan deze kosten verlagen door de vergelijkingen te selecteren waarvan de labels naar verwachting het beleid het meest veranderen. Bestaande oplossingen missen ofwel een doelbewust queryselectiemechanisme voor de