La IA no puede Destruir a la Humanidad

Matar a todos no es un problema de inteligencia. Es un problema de logística, y nadie lo ha resuelto jamás: ni un imperio, ni una peste, ni un arsenal.

Empecemos por el número. Somos 8,200 millones, repartidos en 195 países y 510 millones de km² de superficie, desde el altiplano andino hasta submarinos nucleares, con unos 1,500 millones viviendo fuera de cualquier red eléctrica confiable. No somos un centro de datos que puedas desconectar.

Ahora el precio. Los historiadores calculan el Holocausto en unos 300,000 millones de dólares de hoy —ferrocarriles, campos, personal, burocracia, todo el peso de un Estado industrial— para matar a 6 millones de personas en cuatro años. Unos 50,000 dólares por cabeza, subsidiados con trabajo esclavo. Ruanda tomó la vía más barata posible, machetes, y mató a 800,000 personas en 100 días antes de atascarse en torno a una décima parte de la población. Se acabó el combustible. La gente huyó, se escondió, se defendió. Detona todas las armas nucleares de la Tierra y matas a miles de millones, no a todos; el hemisferio sur, el campo y las cuevas siguen respirando. El exterminio siempre ha fracasado en la última milla. Gana el volumen.

Ese es el piso sobre el que se sostiene todo lo demás. Aquí va el resto.

Una IA no hace nada que no le pidas. Es el genio de la lámpara: ten cuidado con lo que deseas. Pero este genio es el Sr. Spock: literal, obediente, sin trampas, sin malicia. El peligro es un deseo mal formulado. Un deseo mal formulado es un error humano con autor humano.

Un agente no es una criatura. Es una red neuronal para decisiones, un bucle y herramientas que alguien le conectó a propósito: navegador, terminal, APIs, interfaces seriales. Corta el interruptor y se acabó. No tiene manos para volver a encenderse. Y si tiene manos, se las atornilló un humano.

Es inteligente, no consciente. No puedes explicarle lo que es sentir. No tiene ninguno de nuestros apetitos, ninguno de nuestros rencores, ninguna razón para querer algo. Basura entra, basura sale: para volverla malvada tienes que entregarle tú mismo el concepto del mal.

Así que si algún día sale mal, la IA no nos destruyó: fuimos nosotros. Eso no es un consuelo, es un domicilio para la culpa. También reclasifica el problema entero: ingeniería y educación, no exorcismo.

La economía es la administración de la escasez. Los tokens cuestan dinero. Los presupuestos se acaban. Cuando se te terminan los créditos, tu proceso se detiene: los propios laboratorios lo imponen. Nadie tiene cómputo infinito y nadie tiene 100% de disponibilidad. Amazon, Microsoft y Google son competidores, no cómplices.

La fragmentación va ganando. Hoy hay modelos reales corriendo on-premise, algunos en una Raspberry Pi. El SaaS se está muriendo porque sale más barato construir lo tuyo con IA generativa que rentar lo de alguien más. Eso significa diez mil implementaciones distintas, prompts distintos, herramientas distintas, bugs distintos. Una catástrofe sincronizada necesita uniformidad, y la uniformidad es justo lo que estamos perdiendo. El interruptor local está de regreso.

Las decisiones importantes ya son deterministas. Todo ingeniero competente se forma así: si se trata de un límite de crédito, un pago, un umbral, el modelo probabilístico no lo decide. Lo decide código auditable.

Y siempre queda el plan B. Si AWS, Azure y GCP fallaran al mismo tiempo haríamos lo que hicimos en el apagón de 2003: papel, radio, operación manual y lenta. Tampoco nadie le entregó a una IA el botón nuclear: esos sistemas están aislados de la red y requieren dos humanos con dos llaves. Eso no es un servidor MCP.

Mil riesgos pequeños no suman extinción. Nos hacen más resistentes. La proliferación que todos temen ya ocurrió: los modelos de pesos abiertos y sin filtros llevan años a un clic de descarga. No nos extinguimos. La comunidad encontró los huecos en días y publicó parches, detectores, guías. Mil ojos le ganan a cien ingenieros de seguridad. La historia humana no es un sistema perfecto que nunca falla: son mil sistemas imperfectos fallando constantemente, nunca todos a la vez, y nosotros aprendiendo cada vez.

Por último, el problema de coordinación. Pregúntale a cualquiera que haya dirigido un proyecto: lo único que puedes garantizar es que el pronóstico va a fallar. La extinción total exige que cada implementación, en cada país, falle de la misma forma en el mismo instante, y que nadie intervenga. Eso es coordinación de nivel conspiración terraplanista. No es una predicción. Es una fantasía sobre nosotros quedándonos quietos.

Sobre ese 10%

No es un cálculo. Hinton dice con toda claridad que nadie sabe cómo estimarlo. Pero tenemos en las manos la herramienta de cálculo más poderosa jamás construida: Monte Carlo, modelos de difusión de patógenos, análisis de cadenas de suministro, teoría de juegos. La ciencia del clima publica sus modelos con supuestos explícitos y rangos de sensibilidad. ¿Dónde está el “Modelo de Riesgo Existencial v1, código abierto”? En ninguna parte. Caben dos explicaciones. Publicidad barata: “10% de probabilidad de que muramos todos” te lleva a la BBC; “0.07% con un intervalo de confianza amplio sobre cuarenta supuestos” no te lleva a ningún lado. O se enamoraron de su creación y subestiman gravemente a la humanidad.

Lo de “apostar con nuestras vidas” falla por una razón más simple. Apostar es dejar el resultado al azar. Estas empresas hacen investigación en alineación, evaluaciones, políticas de escalamiento: el resultado depende de sus propias acciones continuas. El verbo es retórica, no descripción. La exageración nunca fue sobre lo que la IA puede hacer. Es sobre lo que supuestamente están haciendo las corporaciones.

La cura

El vértigo viene de saltarse los escalones. Pasa directo de “no sé programar” a “tengo un agente que opera mi negocio y habla como si sintiera”, y por supuesto que parece magia negra a punto de despertar y matarte. No viste los pasos intermedios.

Lleva lenguajes formales y sabrás que un LLM es un enorme autómata probabilístico que calcula el siguiente token a partir de los anteriores. Lleva compiladores y sabrás qué es una gramática, y por qué alucina. Lleva sistemas operativos y sabrás que un proceso que no puedes matar tiene un handle abierto, no voluntad de vivir. Lleva bases de datos y sabrás que basura entra, basura sale. El misticismo se cae solo. Es una máquina con muchísimos parámetros y una compresión muy buena de internet.

Los riesgos reales siguen ahí: biología, ciberseguridad, concentración de poder. Y van en la caja correcta: problemas de ingeniería y problemas de enseñanza.

La IA no va a ser lo que acabe con nosotros. Cualquier cosa que acabe con nosotros habrá sido nuestra. Esa es la verdad más difícil y la mejor, porque pone el problema de nuestro lado del interruptor, donde todavía lo alcanzamos.