En esta unidad exploraremos cómo los atacantes explotan la cadena de suministro (LLM03) para atacar LLMs. En el contexto de los LLMs, la cadena de suministro se refiere a los componentes externos, datasets, pesos del modelo, adaptadores, librerías e infraestructuras que van en el entrenamiento, ajuste fino o despliegue de un LLM. Debido a muchas de que estas piezas vienen de terceros o repositorios de código abierto, crean una superficie de ataque amplia donde los actores maliciosos pueden modificar inputs antes de que llegue a producción.


Cómo Ocurre

  • Los atacantes manipulan o contaminan componentes externos usados por los sistemas LLM como pesos de modelo de pre entreno, adaptadores de ajuste o librerías de terceros.
  • La falta de comprobación de proveniencia hace la detección más complicada.

Supply Chain Attack


Casos Importantes del Mundo Real

  • PoisonGPT / GPT-J-6B Versión Comprometida: Los investigadores modificaron un modelo de código abierto (GPT-J-6B) para incluir comportamiento de desinformación (fakenews) mientras seguían manteniendo los benchmarks. La versión maliciosa fue subida a Hugging Face bajo un nombre aparentemente confiable. El modelo modificado pasó varios benchmarks comunes de evaluación idénticamente al no modificado, por lo que la detección vía evaluación era casi imposible
  • Meter Backdoors en Modelos Pre-Entrenados con Indistiguibilidad Incrustada: En este trabajo académico, los adversarios incrustaron backdoors en los modelos pre-entrenados, permitiendo que tareas abajo del flujo heredasen el comportamiento malicioso. Estas backdoors son diseñadas para que las incrustaciones contaminadas sean prácticamente indistinguibles de las limpias antes y después del ajuste.

Ejemplos Comunes

DescripciónExplicación
Paquetes/Librerías vulnerables o desactualizadosUsar versiones antiguas de frameworks ML, pipelines de información o dependencias con vulnerabilidades conocidas puede permitir a los atacantes ganar entrada o inyectar comportamiento malicioso.
Modelos pre-entrenados/Adaptadores maliciososUn proveedor o atacante publica un modelo o adaptador que parece legítimo pero que incluye comportamiento malicioso escondido. Cuando los usuarios lo usan sin verificar la integridad heredan la amenaza.
Inserción de backdoors/triggers sigilosaLa inserción de disparadores que sólo se activan bajo ciertas circunstancias, permaneciendo dormidos por lo que pueden evadir las comprobaciones regulares.
Modelos mezclados o colaborativosLos componentes pueden venir de fuentes diferentes, con modelos mezclados o usando pipelines compartidas. Los atacantes pueden apuntar a links débiles.