Het veranderende veiligheidslandschap van multimodale grote taalmodellen: een overzicht van opkomende dreigingen en beschermingsmaatregelen

Multimodale grote taalmodellen (MLLM's) integreren verschillende gegevenstypen via modaliteitsafstemming en -fusie, wat leidt tot sterker begrip en redeneervermogen. Deze architectonische verschuiving verandert echter het veiligheidslandschap van machine learning. De toegenomen modelcomplexiteit en cross-modale interacties brengen nieuwe dreigingen met zich mee, waaronder gecompromitteerde modaliteitsintegratie, verkeerde modaliteitsafstemming en samengestelde veiligheidsrisico's.