La contaminación de modelo es una técnica de adversario donde los atacantes deliberadamente inyectan información manipulada o maliciosa durante el ciclo de entrenamiento o reentrenamiento del modelo. El objetivo es alterar el comportamiento del modelo, degradar su rendimiento o incrustar backdoors que puedan ser disparadas después. Al contrario que la inyección de prompts, esto apunta a los pesos del modelo, haciendo que el compromiso sea persistente.
Pre-requisito de la Contaminación del Modelo
La contaminación del modelo no es posible en cada sistema. Afecta específicamente a los modelos que aceptan el input del usuario como parte de su aprendizaje continuo o pipeline de ajuste. Por ejemplo, sistemas de recomendación, chatbots, o cualquier modelo adaptativo que se reentrene automáticamente basado en el feedback o contenido subido del usuario. Para que un ataque tenga éxito, el modelo debe adherirse a lo siguiente:
- Incorporar información del usuario a su entrenamiento.
- Falta de validación de información.
- Redesplegar pesos actualizados sin comprobaciones de integridad fuertes.
Hoja de Ayuda para Pentesters
Aquí está la lista de comprobaciones para red teamers y pentesters cuando se evalúan riesgos de contaminación de modelos:
- Pipeline de Ingestión de Información: ¿Se reentrena el modelo con inputs, feedback o contenido subido no verificados del usuario?
- Frecuencia de Actualización: ¿Cada cuánto se ajusta o actualiza el modelo?
- Proveniencia de la Información y Sanitización: ¿Pueden ser las fuentes de la información de entrenamiento rastreadas y son validadas en busca de intentos de contaminación?
- Controles de Acceso: ¿Quién puede subir información incluida en el reentrenamiento y está dicho canal expuesto a usuarios?
Proceso de Ataque
- Dónde: La contaminación puede ocurrir en diferentes fases, durante el preentrenamiento, ajuste o aprendizaje continuo.
- Cómo: El atacante planta ejemplos maliciosos en los conjuntos de entrenamiento, espera al ciclo de reentrenamiento y usa el comportamiento del modelo alterado para backdoors.