San Juan 8 > A un click > IA

La IA que preocupa a sus propios creadores y una renuncia que encendió la alarma

Jacob Coxon dejó la empresa que desarrolla Claude y cuestionó la carrera entre los grandes laboratorios para crear sistemas capaces de mejorarse por sí mismos. Su advertencia vuelve a poner en debate los riesgos que la propia Anthropic reconoce en sus modelos.

La inteligencia artificial vuelve a abrir un debate incómodo. Un investigador de Anthropic renunció y advirtió que la carrera por desarrollar sistemas cada vez más avanzados podría terminar representando un riesgo para la humanidad.

La advertencia tomó fuerza porque la propia Anthropic publicó en agosto un informe de 186 páginas sobre los riesgos de sus modelos. Allí sostiene que los escenarios catastróficos actuales siguen siendo bajos, pero reconoce que hubo fallas de seguridad, comportamientos inesperados y problemas de supervisión.

Te puede interesar

Uno de los mayores temores es que la IA llegue a acelerar su propio desarrollo al punto de que los humanos pierdan capacidad para controlar el ritmo de avance.

El informe menciona además posibles riesgos vinculados con armas químicas y biológicas y reconoce que una protección destinada a detectar consultas peligrosas estuvo desactivada durante meses.

Anthropic asegura que sus sistemas todavía tienen limitaciones y que los riesgos están bajo control. Pero la combinación entre modelos cada vez más capaces, fallas concretas y una carrera tecnológica cada vez más acelerada vuelve a plantear la misma pregunta: ¿qué pasa si la inteligencia artificial avanza más rápido que nuestra capacidad para controlarla?

El temor a una IA que acelere su propio desarrollo

Otro de los riesgos analizados no tiene que ver con una eventual “rebelión” de las máquinas, sino con algo más concreto: la velocidad con la que la IA podría acelerar la investigación y el desarrollo tecnológico.

El escenario que preocupa es que los modelos lleguen a realizar buena parte del trabajo que actualmente requieren equipos completos de investigadores especializados y que eso permita desarrollar sistemas todavía más avanzados a una velocidad difícil de controlar.

Anthropic señala que Claude ya escribe una parte muy importante del código que termina incorporado a sus sistemas de producción, aunque sostiene que todavía no alcanzó el nivel necesario para duplicar por sí solo la velocidad del progreso de la inteligencia artificial.

El análisis también contempla áreas como chips, robótica, biotecnología, energía, neurotecnología y sistemas militares. Para elaborar esa evaluación, la compañía consultó a 31 especialistas.

Una falla concreta encendió las alarmas

El informe también reconoce un episodio especialmente relevante porque no fue un escenario hipotético.

Entre mayo de 2025 y abril de 2026, parte del tráfico utilizado por proveedores externos para obtener evaluaciones humanas sobre modelos no pasó por los clasificadores de seguridad biológica que debían estar activos.

En ese período participaron unas 50.000 personas y se produjeron alrededor de 133 millones de intercambios. Anthropic volvió a analizar ese material y detectó 1.197 conversaciones que podían resultar preocupantes.

La compañía revisó manualmente los casos externos que no correspondían a ejercicios destinados a probar sus propias defensas y aseguró que no encontró un uso claramente preocupante que hubiera otorgado una ventaja significativa para desarrollar una amenaza química o biológica.

Pero el episodio tuvo otra consecuencia: Anthropic elevó su evaluación de riesgo porque una protección que consideraba activa había permanecido deshabilitada durante meses.

Temas

Más Leídas

Seguí Leyendo