Robustez Provável em Modelos de Linguagem Multimodais de Grande Escala Através do Suavização do Espaço de Características

Nova Método Aumenta a Robustez de Modelos de Linguagem Grande Multimodal

A pesquisa sobre modelos de linguagem grande multimodal (MLLMs) levou a uma nova técnica destinada a combater vulnerabilidades a ataques adversariais. O método de Suavização do Espaço de Características (FS) proporciona robustez certificada ao garantir representações de características estáveis, aumentando significativamente a resistência dos modelos a perturbações.

O método FS transforma qualquer codificador de características em uma variante suavizada que garante um limite inferior certificado na similaridade cosseno entre representações limpas e adversariais durante ataques limitados por $\ell_2$, o que é crucial para manter a integridade do modelo contra ameaças adversariais.

Principais Descobertas e Metodologia

O Limite de Similaridade Cosseno de Características (FCSB) derivado do FS pode ser aprimorado ao aumentar a pontuação de robustez gaussiana do codificador original através do Purificador e Mapeador de Suavidade (PSM), que eleva a pontuação de robustez gaussiana sem a necessidade de re-treinar os MLLMs.

A integração do FS e PSM demonstra desempenho empírico superior. Experimentos extensivos revelam que o método FS-PSM reduz significativamente a Taxa de Sucesso do Ataque (ASR) de múltiplos ataques de caixa branca, caindo de quase 90% para aproximadamente 1%.