FuRA: full-rank parameterefficiënt finetunen met spectrale preconditionering

Zowel volledige fine-tuning (Full FT) als parameterefficiënte methoden zoals LoRA introduceren gewichtsupdates zonder rekening te houden met de spectrale structuur die tijdens de pretraining is opgebouwd. Hierdoor kunnen ruizige gradiënten uit beperkte fine-tuningdata robuuste voorgetrainde kenmerken verstoren. De onderzoekers wijzen spectrale preconditionering aan als het ontbrekende ingrediënt: het herparameteriseren van elke gewichtsmatrix via zijn volledige-rang singulierewaardenontbinding (SVD) en het alleen trainen van de singuliere vectoren.