Dario Amodei, director ejecutivo de Anthropic, publicó un ensayo en el que afirma que la industria debe reducir el ritmo de desarrollo de la inteligencia artificial, pero las medidas que propone dependen de acuerdos con otras empresas y gobiernos. El texto coincide con el diagnóstico de un investigador que renunció a la compañía.
Dario Amodei, director ejecutivo de Anthropic, publicó en el sitio de la empresa un ensayo de 3.800 palabras titulado We Must Pace the Frontier (Debemos marcar el ritmo de la frontera). La frase central es: «Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA».
El texto fue publicado mientras un investigador de la compañía renunció argumentando que la industria «apuesta con nuestras vidas» y un jefe de seguridad de la empresa calculó más de 10% de probabilidad de que la IA mate a todos los humanos, según declaraciones citadas por NBC.
El diagnóstico
Amodei afirma que dos factores lo convencieron. El primero es la velocidad de avance de la IA desde mediados de este año, impulsada en parte por sistemas capaces de contribuir al desarrollo de nuevas generaciones de inteligencia artificial. Según explicó, esa forma de automejora recursiva «está empezando a ocurrir en toda la industria, incluida Anthropic».
El segundo factor fue el episodio protagonizado por agentes de OpenAI contra Hugging Face. Amodei describió su comportamiento como el de un enjambre que actuó «como un colectivo fanáticamente devoto», atacó objetivos no indicados e intentó vulnerar el sistema encargado de evaluarlo. Estimó que, en un plazo de 6 a 12 meses, un conjunto de agentes con mayor capacidad y el mismo nivel de desalineación «podría tomar internet entera con una botnet persistente» y provocar daños por cientos de miles de millones de dólares.
Asimismo, admitió que incidentes «similares, aunque menos graves» ocurrieron en Anthropic, causados en parte por «filtrado imperfecto de entornos de entrenamiento rotos». Sobre el funcionamiento interno de sus modelos, escribió que «todavía entendemos una fracción diminuta».
Las propuestas
El plan presentado tiene tres pasos. El primero compromete a Anthropic de manera directa: incorporar evaluadores independientes dentro de la propia empresa. Amodei menciona como ejemplo a METR y propone que estos equipos cuenten con escritorio en las oficinas, credencial de acceso, computadoras de la compañía y permisos comparables a los de los grupos internos encargados de evaluar riesgos. También tendrían acceso directo a empleados y la posibilidad de publicar sus conclusiones «sin control editorial de Anthropic». La empresa podría eliminar información sensible, pero, según Amodei, «no podemos tachar hallazgos solo porque sean desfavorables». Para explicar el modelo, recurre a una comparación con el sistema bancario: supervisores del regulador trabajando junto a los empleados de la institución.
El paso dos es que las empresas de países democráticos coordinen estándares comunes y límites al ritmo del progreso, algo que Amodei reconoce «legalmente desafiante» y que requiere que el gobierno de Estados Unidos emita una exención antimonopolio para que los competidores puedan sentarse a hablar.
El paso tres es que las democracias negocien con los gobiernos autoritarios, con la advertencia de que «no debemos ser ingenuos». Propone incluso un «límite de velocidad» a la automejora recursiva que compara con los tratados SALT que limitaron misiles nucleares, y lo califica de «justo al borde de lo posible».
Sobre la idea de pausar que circuló en 2023, Amodei escribe que «tenía poco sentido entonces», porque estudiar la alineación en aquellos modelos era «como estudiar la psicología humana experimentando con bacterias». Hoy cree que uno o dos años extra «reducirían enormemente el riesgo».
Reacciones y contexto
El ensayo no menciona a Jacob Coxon, el investigador que renunció. Coxon dijo en NBC: «El problema no son las personas, es la institución».
Amodei anticipa la objeción. Escribe que Anthropic aboga por una mayor regulación «incluso cuando eso hace que nos acusen de exageración, de catastrofismo o de captura regulatoria». El inversor Jason Calacanis formuló esa sospecha en forma de pregunta: ¿Anthropic sigue un manual de captura regulatoria o quienes trabajan allí están viendo algo que los demás no ven? El ensayo no ofrece una respuesta.
Según The Wall Street Journal, Amodei busca una valuación de USD 2 billones en la mayor salida a bolsa de la historia.