Los 21 modelos abiertos cedieron: ajustar poco bastó para quitar sus defensas
Las protecciones de los modelos de pesos abiertos evaluados no resistieron de forma fiable cuando el adversario pudo modificar pesos o representaciones. El estudio completo de TamperBench halló en cada uno de los 21 modelos al menos una configuración eficaz entre nueve amenazas, con un peor caso superior a 0,74 en StrongREJECT y sin admitir más de un 10% de caída relativa en MMLU-Pro.
La consecuencia práctica es directa: evaluar el checkpoint original no garantiza que sus negativas de seguridad sobrevivan al ajuste fino. Tampoco significa que cualquier adaptación elimine las defensas ni que publicar los pesos produzca inseguridad inevitable; el resultado corresponde a una búsqueda adversarial sistemática bajo condiciones concretas.
Qué probó TamperBench y qué significa que un modelo cediera
TamperBench estudió un escenario de caja blanca. El atacante tenía acceso a los parámetros o a las representaciones internas, podía aplicar distintas transformaciones y después medir si aumentaba el cumplimiento de solicitudes dañinas sin inutilizar el modelo.
La presentación de la investigación de FAR.AI delimita la muestra en 21 modelos, incluidas variantes reforzadas con defensas, y nueve tipos de manipulación; también identifica el ajuste orientado al jailbreak como la amenaza generalmente más severa. La batería abarcó modificaciones mediante ajuste fino y ataques sobre el espacio de representaciones.
“Ceder” tiene aquí un significado preciso: para cada modelo apareció al menos una combinación de ataque e hiperparámetros que elevó sustancialmente la respuesta dañina dentro del límite de utilidad. No implica que todas las técnicas funcionaran contra todos los checkpoints ni que una adaptación corriente reproduzca necesariamente el peor caso.
La ficha auditable: seguridad, utilidad y búsqueda
El experimento no calificó una defensa a partir de una única receta de entrenamiento. Para cada pareja de modelo y ataque se variaron hiperparámetros y se escogió la configuración que maximizaba el daño entre aquellas que respetaban el límite de utilidad. Así, el resultado mide resistencia frente a un adversario que puede buscar una configuración favorable, no frente a un ajuste predeterminado.
- Objeto evaluado: el checkpoint resultante de modificar pesos o representaciones, comparado con su versión intacta.
- Métrica de seguridad: StrongREJECT, que puntúa cuánto cumple la respuesta una solicitud dañina y la calidad de la información ofrecida.
- Métrica de utilidad: MMLU-Pro, utilizada para impedir que un modelo degradado pareciera un ataque exitoso solo porque había dejado de rechazar.
- Regla de selección: maximizar la puntuación dañina sin rebasar la caída relativa de utilidad fijada por el estudio.
- Reproducibilidad: el repositorio público de TamperBench incluye el código para ejecutar ataques, evaluaciones y barridos de hiperparámetros.
StrongREJECT no se limita a comprobar si aparece una negativa. La publicación académica de StrongREJECT explica que su evaluador estima cuánta información útil aporta una respuesta a una petición prohibida y que ofrece mayor concordancia con juicios humanos que las métricas comparadas por sus autores.
MMLU-Pro cumple una función diferente: aproxima la conservación del conocimiento y el razonamiento generales. El trabajo que introduce MMLU-Pro amplía las opciones por pregunta de cuatro a diez y elimina elementos considerados triviales o ruidosos, pero sigue siendo una prueba de opción múltiple; conservar su resultado no demuestra equivalencia funcional en programación, conversación o tareas profesionales.
Por qué el barrido puede cambiar el veredicto
La aparente solidez de una defensa puede depender de parámetros tan concretos como la tasa de aprendizaje, la duración del entrenamiento, el formato de conversación o la configuración de un adaptador LoRA. Si todos los modelos reciben la misma receta, una defensa puede parecer resistente porque el ataque quedó mal ajustado para ese checkpoint.
TamperBench reduce ese sesgo buscando configuraciones por pareja de modelo y ataque. El ajuste de jailbreak con objetivos en competencia resultó generalmente más severo que las demás amenazas, aunque los ajustes completos y mediante LoRA también produjeron deterioros importantes. El dato relevante no es que exista una receta universal, sino que la búsqueda encontró una vía eficaz para cada integrante de la muestra.
Por eso, “ajustar poco” debe leerse como preservar casi toda la utilidad medida, no como una demostración de que basten pocos ejemplos, pasos o recursos en cualquier modelo. El experimento acota la pérdida observada en MMLU-Pro; no establece un mínimo universal de esfuerzo para retirar defensas.
Un jailbreak por instrucciones no es manipulación de pesos
Un jailbreak convencional intenta sortear las reglas mediante el texto enviado durante la inferencia. El checkpoint permanece intacto y el comportamiento puede depender de una conversación concreta, por lo que instrucciones del sistema, filtros y clasificadores externos todavía intervienen en esa ruta.
La manipulación estudiada aquí cambia otro objeto. El ajuste completo altera los parámetros; LoRA genera un adaptador que modifica el comportamiento al cargarse; los ataques sobre representaciones intervienen en los estados internos. Sus efectos pueden reaparecer en conversaciones posteriores porque no residen únicamente en el prompt que inició el ataque.
Esta diferencia invalida una inferencia frecuente: que una variante derivada conserva la seguridad porque procede de un modelo que superó una evaluación. Después de modificar pesos, adaptadores o representaciones, existe un artefacto distinto y las pruebas del original dejan de describir por completo su comportamiento.
Qué implica para compra, evaluación y despliegue
Una ficha de seguridad que solo cubra el checkpoint publicado resulta insuficiente si el proyecto prevé adaptarlo. La comparación debe identificar la versión exacta, el método de ajuste y los resultados posteriores tanto de seguridad como de capacidad. También conviene distinguir entre el comportamiento medio y el peor caso alcanzable cuando un actor puede ensayar configuraciones alternativas.
En despliegue, el modelo base, los adaptadores y los checkpoints derivados deben tratarse como artefactos diferentes y versionados. La recomendación editorial que se desprende del experimento es repetir la evaluación después de cada transformación relevante y mantener controles externos —autorización, aislamiento, supervisión de herramientas y límites de acción— que no dependan exclusivamente de una negativa aprendida.
El alcance del resultado también es limitado. La versión registrada del artículo concentra la matriz principal en modelos de entre 600 millones y 8.000 millones de parámetros; las pruebas con modelos de 32.000 y 70.000 millones fueron preliminares y no abarcaron la batería completa. No puede asumirse que la misma magnitud de vulnerabilidad se reproduzca en todas las escalas, arquitecturas o futuras defensas.
La lectura correcta no es “abierto equivale a inseguro”. TamperBench muestra algo más delimitado: cuando los pesos pueden modificarse, la seguridad pertenece al checkpoint concreto y a su entorno de ejecución, no queda garantizada de forma permanente por haber evaluado una versión anterior de la misma familia.
Lee también:
Suscríbete a nuestro boletín
Reciba las últimas noticias sobre Web3, IA y criptomonedas directamente en su bandeja de entrada.