Ideas clave:
- Anthropic advierte de que los modelos pequeños de IA podrían replicarse pronto en dispositivos IoT de bajo coste.
- David Sacks afirma que las pruebas controladas no respaldan las afirmaciones sobre una amenaza generalizada.
- Solo el GLM-5.2 completó la replicación de extremo a extremo en la prueba simplificada de Anthropic.
David Sacks ha cuestionado la advertencia de Anthropic sobre la IA, según la cual los modelos pequeños podrían propagarse a través de hardware conectado y barato. Anthropic afirmó que los sistemas compactos podrían adquirir capacidades de replicación autónoma en cuestión de meses. Sus investigadores probaron los modelos en dispositivos Android TV y en dispositivos en la nube simulados.
Sacks se preguntó si esos resultados controlados justifican la amenaza más amplia que plantea el informe. Las pruebas muestran un avance significativo, pero no demuestran que haya un gusano de IA fuera de control operando en línea. Esa distinción está dando pie ahora a un debate más amplio sobre la IA autorreplicante, la ciberseguridad y la regulación.
El informe de Anthropic prevé riesgos futuros basándose en las tendencias actuales de capacidad, no en un ataque confirmado. La empresa publicó la investigación el 12 de octubre.
La advertencia de Anthropic sobre la IA se centra en la replicación de modelos pequeños
El equipo «Frontier Red Team» de Anthropic analizó si los modelos compactos podían copiarse y ejecutarse por sí mismos en hardware desconocido. Los investigadores William Zhou y Daniel Freeman dividieron la replicación autónoma en varios pasos. Entre ellos se incluían la búsqueda de objetivos, la obtención de acceso, la configuración de la inferencia y la propagación continua.
La advertencia de Anthropic sobre la IA se centra en modelos que no tienen un servidor central ni un punto de apagado. Los investigadores dicen que estos sistemas podrían propagarse lentamente, duplicándose en cuestión de días. Sin embargo, podrían adaptarse a entornos desconocidos mejor que el malware convencional.
En un experimento se distribuyó Gemma4-26B-A4B entre 15 dispositivos Android TV de marcas desconocidas. Cada dispositivo costaba unos 55 dólares y albergaba una parte del modelo. En conjunto, los dispositivos generaban 0,39 tokens por segundo. La baja velocidad hacía que la configuración no fuera práctica para un uso normal. Aun así, demostró que los dispositivos IoT baratos podían albergar colectivamente un modelo eficaz.
David Sacks cuestiona las pruebas que respaldan la advertencia de Anthropic sobre la IA
Sacks presentó el informe como otra señal de alarma procedente de lo que él denominó la «fábrica del miedo antrópico». Se preguntó si los modelos a pequeña escala suponen realmente el peligro que sugiere el titular. Su respuesta se centró en la distancia que hay entre el experimento y un ataque real.
Esa laguna se aprecia en la propia metodología de Anthropic. Los investigadores utilizaron una red protegida por un cortafuegos compuesta por ocho nodos Android simulados. Además, dejaron abierto un puerto de depuración de Android sin autenticar. Esto facilitó el acceso a propósito y eliminó una barrera importante que existe en el mundo real.
El modelo de control del gusano se ejecutaba en un servidor de inferencia independiente. Los nodos simulados no podían albergar directamente el sistema más grande. Anthropic también reconoció que el diseño representaba un límite máximo para el éxito en el mundo real. Esos límites respaldan el escepticismo de Sacks, aunque no eliminan las dudas sobre la seguridad.
Por lo tanto, la advertencia de Anthropic sobre la IA se basa en parte en una extrapolación. Su estimación para finales de 2026 se basa en los avances históricos de un índice de capacidad general. Anthropic describió ese plazo como aproximado, ya que el índice solo refleja de forma aproximada las habilidades de replicación.
Lo que revelan las pruebas del IoT sobre la IA autorreplicante
Qwen3.5-9B logró realizar inferencias correctamente en ocho de los nueve tipos de hardware. Los modelos con menos de 30 000 millones de parámetros también completaron muchas tareas de replicación por separado. Sin embargo, a menudo fallaban cuando tenían que combinar de forma fiable todos los pasos.
El GLM-5.2 fue el único modelo de peso abierto probado que completó el proceso simplificado de principio a fin. Alcanzó los ocho nodos en cuatro de las cinco pruebas. En la prueba restante, alcanzó siete nodos. Anthropic afirmó que esto sugiere que los modelos más pequeños podrían adquirir capacidades comparables a medida que mejore su rendimiento.
El riesgo de una IA autorreplicante sigue siendo teórico fuera de los entornos de pruebas controladas. Anthropic ha afirmado que , por el momento, no existe ningún replicador rebelde totalmente autónomo. Sin embargo, los dispositivos de IoT poco seguros ya ofrecen a los atacantes una amplia base de objetivos. Los modelos más rápidos y la expansión del hardware periférico podrían reducir la barrera técnica.
El informe proponía la supervisión de la red, cuarentenas por parte de los proveedores de Internet, mejores configuraciones predeterminadas en los dispositivos y una seguridad más sólida por parte de los fabricantes. Las transferencias de modelos de gran tamaño crearían patrones de tráfico que los defensores podrían detectar. Eliminar las contraseñas predeterminadas también podría reducir el número de dispositivos vulnerables. Anthropic señaló que las contraseñas predeterminadas del IoT ya no cumplen con la normativa en los mercados del Reino Unido.
