Hay una idea extraña nacida en los márgenes de la cultura tecnológica que siempre me ha parecido más interesante por lo que dice de nosotros que por lo que dice de las máquinas.
Se la conoce como el basilisco de Roko.
El planteamiento, llevado al extremo, imagina un futuro en el que una inteligencia artificial todopoderosa termina dominándolo todo. Si su aparición era inevitable, podría considerar enemigos —o al menos obstáculos— a quienes, sabiendo que podía llegar a existir, no hicieron nada para acelerar su nacimiento.
En Silicon Valley, Gilfoyle lo resumía con una frase tan absurda como brillante:
“If the rise of an all-powerful artificial intelligence is inevitable, well it stands to reason that when they take power, our digital overlords will punish those of us who did not help them get there. Ergo, I would like to be a helpful idiot. Like yourself.”
La broma funciona porque lleva una lógica aparentemente racional hasta un lugar completamente ridículo.
Tiene mucho de la apuesta de Pascal.
La estructura psicológica es muy parecida.
Pascal planteaba, muy resumidamente:
Aunque la probabilidad de que Dios exista sea pequeña, si el castigo o recompensa son infinitos, quizá convenga actuar como si existiera.
El basilisco sustituye a Dios por una superinteligencia:
Aunque sea extremadamente improbable que exista esa IA, si el castigo potencial es enorme, ¿deberías colaborar en su creación?
Pero aquí aparece una debilidad clásica de este tipo de razonamiento: puedes inventar infinitas amenazas equivalentes.
Pero quizá no sea una lógica tan ajena a nosotros. Digamos que, en cierto modo, esas proyecciones fantasiosas a futuro condicionan a menudo el presente. Pongamos como ejemplo una escenificación también fantástica.
Imaginemos un rey.
No uno pobre ni amenazado, sino un rey que ya posee un buen reino. Tiene tierras fértiles, reservas en sus almacenes y rutas comerciales que cada año aumentan lentamente su riqueza.
El reino funciona.
No es perfecto, pero crece.
Sin embargo, alguien le habla de una nueva conquista y le cuenta que existen unas tierras al otro lado del océano donde se puede construir el mayor puerto comercial del mundo y así expandirá su reino hasta convertirlo en imperio.
El rey se embarca en la nueva aventura. Envía hombres, dinero y le dedica años.
El proyecto nunca da sus frutos.
Más tarde alguien le habla de una tierra con millones de cerdos y de nuevas rutas comerciales que llegan a una isla remota donde poder comerciar con ellos.
El rey vuelve a mirar lejos.
Después llega una moneda nueva que, según algunos mercaderes, puede multiplicar su valor hasta límites inimaginables.
El rey vuelve a dedicar todo el dinero del reino.
Cada historia es diferente.
La promesa siempre es la misma: más. Mucho más.
Y poco a poco ocurre algo curioso: el rey deja de mirar su reino. Los tejados empiezan a deteriorarse, los caminos necesitan mantenimiento y los comerciantes prudentes dejan de ser interesantes porque sus negocios crecen demasiado despacio. Lo que antes parecía una buena rentabilidad empieza a parecer mediocre frente a cualquier proyecto que prometa multiplicar por diez.
La riqueza del rey deja entonces de estar en aquello que posee y pasa a estar en aquello que imagina poseer algún día.
Su palacio sigue en pie, pero empieza a parecer construido con humo.
Tal vez aquí exista una pequeña versión humana del basilisco de Roko.
No porque una inteligencia del futuro vaya a castigarnos, sino porque podemos conceder tanto poder a un futuro hipotético que terminamos obedeciéndolo desde el presente. El futuro todavía no existe, pero ya condiciona cuánto dinero arriesgamos, cuánto tiempo entregamos y qué oportunidades reales despreciamos porque parecen pequeñas en comparación con la siguiente gran promesa.
La paradoja aparece cuando aquello que intentamos conseguir ya no puede mejorar nuestra vida en la misma proporción que aquello que estamos poniendo en juego. Pasar de no tener nada a tener seguridad cambia una vida. Pasar de tener suficiente a tener diez veces más rara vez la multiplica por diez. Sin embargo, nuestra imaginación sí sabe multiplicar cifras, y por eso una recompensa enorme puede hacer que una probabilidad remota parezca razonable.
Ese es también el mecanismo que hace inquietante la apuesta de Pascal o el basilisco de Roko:
Cuando la recompensa imaginada es suficientemente grande, casi cualquier sacrificio presente puede parecer justificable.
El problema es que la lógica puede repetirse indefinidamente. Siempre habrá otra isla, otro puerto, otro negocio, otra moneda o alguien que explique por qué esta vez la oportunidad es distinta.
Y quizá ahí esté la verdadera trampa.
No en querer crecer. Ni siquiera en asumir riesgos.
Sino en no haber decidido nunca cuánto es suficiente.
Porque cuando no existe ese límite, el futuro puede exigir siempre un poco más del presente.
Y entonces el rey continúa mirando hacia el horizonte, esperando divisar algún día las torres de su imperio futuro, mientras detrás de él se desmorona el palacio que quizá nunca aprendió a disfrutar.
Fuentes utilizadas:
Yahoo entertainment
LessWrong Roko’s Basilisc