Bevroren in de tijd: hoe een physics-foundationmodel vergeet bij sim-to-real adaptatie

arXiv:2610.40857v1 Type aankondiging: nieuw Samenvatting: Wetenschappelijke foundation-modellen (SciFM's) hebben opmerkelijke prestaties geleverd op een breed scala aan PDE's, waaronder het vermogen om zich efficiënt aan te passen aan ongeziene datadistributies door middel van extra finetuning. Zoals bij alle neurale architecturen brengt het finetunen van zulke modellen het risico van catastrofaal vergeten met zich mee, waarbij het aanpassen aan nieuwe taken de eerdere kennis van het model aantast. We bestuderen catastrofaal vergeten in Walrus-1.3B, een SciFM voor continuüm-dynamica.