AI, tulpes i amics imaginaris - Alba

Al seu llibre sobre les tradicions màgiques del Tibet, la interessantíssima teòsofa i aventurera Alexandra David-Néel parlava dels tulpes: la versió occidentalitzada d’un concepte budista, a saber, manifestacions encarnades del pensament que van adquirint independència progressivament —en un procés, deia David-Néel, gairebé mecànic— fins a tornar-se prou lliures com per anar a la seva. Una mena, perquè ens entenguem, d’amics imaginaris més que elaborats que, nascuts de la imaginació de qui se’ls pensa, se n’acaben emancipant. Tot i que no m’hauria hagut de sorprendre, provant d’escriure aquest text he acabat trobant que encara hi ha qui pretén practicar la creació de tulpes: són «tulpamancers» en l’actualitat, desproveïts de cap reminiscència budista més enllà del recurs a la meditació com a eina, i entenent la tècnica més com la creació d’un ens amic que no cap altra cosa. Semblen ser adolescents urbanites i solitaris, crònicament connectats, que tenen —insisteixo, a aquestes alçades no m’hauria hagut de sorprendre— fins i tot una comunitat a Reddit.

Això és un bri de trivial ben curiós de saber, però no cal anar-se’n al Tibet per tractar d’aquesta mena de fenomen. La literatura infantil mateixa és plena d’exemples del poder creador de la imaginació: la Campaneta de Peter Pan, els déus que guanyen i perden poder en funció de quants hi creguin i que deixen d’existir en morir el darrer fidel —o si el tal fidel es passa a l’ateisme. En casos com aquests, o com el de les tulpes, és el fet de creure el que torna real allò que és cregut (que és un cas ben diferent del poder de les creences falses en general).

En un article, Robert K. Merton parlava del poder de les creences que són falses en el present, però que acaben esdevenint vertaderes justament perquè hi ha qui se les va creure. Els pares que encoratgen —o, per contra, coarten— els talents encara inexistents d’una criatura, o, per tractar un cas més clar, la lògica circular de part de l’economia. Merton descrivia el fenomen com «a false definition of the situation evoking a new behavior which makes the originally false conception come true». I l’exemple que posa és precisament el d’un banc. Acolorint-lo una mica, el podríem explicar així: un empleat de banc està ressentit per qualsevol raó (perquè el seu cap no vol canviar la màquina de cafè, posem per cas) i escampa la brama falsa que el banc té problemes, i resulta que la brama s’escampa prou per fer que molta gent retiri els diners que hi tenia; el banc es queda sense liquiditat, és incapaç de fer-hi front i, efectivament, acaba en bancarrota.

I podríem descriure una variant peculiar d’aquest mateix fenomen aplicada a la ficció i al seu paper performatiu. Pensava en particular en el paper de la ciència-ficció i la seva influència real en el devenir de la ciència i de la societat en general: des de la influència estètica, al seu rol més general sobre com imaginem o no imaginem el futur, fins a la manera com la ficció futurista que escrivim reflecteix l’horitzó del que imaginem possible per a nosaltres. Però això seria tema per a un altre dia.

Fet aquest preàmbul, ara volia tractar d’una idea peculiar amb què vaig topar uns dies enrere i que, d’aleshores ençà —podríem atribuir-ho a la màgia d’estar-hi parant atenció—, se m’ha anat fent present en més d’una ocasió. Es tracta del basilisc de Roko, un d’aquells experiments mentals lleugerament demencials que habiten el terreny entre la ciència-ficció i la filosofia —on l’especulació és més lliure que en el terreny abstracte, però l’objectiu continua sent provar d’esbrinar alguna cosa de la realitat. El va proposar un tal Roko en un fòrum de debat racionalista, LessWrong, i va resultar tan polèmic (i terrorífic per a alguns dels lectors) que els moderadors van recórrer a la censura —que potser era el mal menor— per evitar que, talment com una tulpa, les idees d’aquell tal Roko se’ls anessin de les mans. El post original encara es pot trobar a la xarxa.

Si fa o no fa, la història és aquesta: en un futur arribem a desenvolupar una superintel·ligència pràcticament omnipotent i moralment alienada per contribuir al benestar de la humanitat. És pensable que tal IA decidís castigar aquells que, sabent de la possibilitat d’una IA d’aquesta mena, haguessin volgut impedir, o senzillament no haguessin contribuït a dur-la a terme, no per simple venjança —s’entén que aquesta suposada IA estaria lliure de passions de mal gust com aquesta—, sinó per simple càlcul. Si en el passat algú hagués cregut de veres que la IA castigaria aquells que no s’haguessin esforçat a crear-la, aquell algú tindria un bon incentiu per col·laborar-hi. I és que el càstig és metafísicament poc consistent, però horrorós de totes maneres: tant és que, quan això s’esdevingui, ja siguis mort; la IA podria fer una simulació de tots aquells que no haguessin contribuït i torturar-los de totes les maneres possibles. Que els subjectes torturats siguin idèntics a aquells que no van col·laborar és problemàtic —l’anomenada duplication gun, és a dir, la idea que l’única manera de fer escenaris que impliquen la duplicació de l’individu en dos o més és entendre que cap de les rèpliques és idèntica a l’original, semblaria impedir-ho. Però, deixant de banda consideracions d’aquesta mena, la por a un destí tan terrible seria un incentiu per a aquell qui pensa que la IA podria castigar-lo, duent d’aquesta manera l’escenari a la seva pròpia consecució: la creació d’una IA que, sent perfectament alineada i racional, podria pensar a castigar aquells que no haguessin col·laborat. Fixem-nos que les lleis de la robòtica d’Asimov no ens en salvarien: cap humà, de fet, estaria patint cap mal.

Hi ha qui ha fet notar que el dilema que afronta aquell que llegeix per primer cop sobre el basilisc de Roko és similar a l’aposta de Pascal, actualitzada per parlar d’IA i amb aspecte de meme. En tot cas, el raonament és similar: sabent que la IA potser és una IA castigadora, potser surt a compte col·laborar-hi, no fos cas que el món vagi per aquí i en surti terriblement perjudicat. Tal manera de procedir fa pensar en aquells que són amables amb els models del llenguatge, tot just per cobrir-se les espatlles si mai esdevé… conscient (?).

Però tornant al basilisc. És clar que té problemes bàsics, i així li van fer notar al post original i a les mil i una coses que s’han escrit sobre aquest experiment/meme d’aleshores ençà. A banda de la qüestió de la identitat d’aquells que són torturats, la IA no tindria cap raó per posar-se a torturar un cop ja existeix; torturar, de fet, seria una pèrdua de recursos. És la por a la tortura, i no la tortura mateixa, el que vertebra l’experiment, però la por ha de ser real perquè faci efecte, i la manera de fer-la més indubtable… és que s’acabés donant? Que se’n digui basilisc és pel seu caràcter aparentment inescapable: tot aquell qui llegeix sobre l’experiment pren consciència de la possibilitat d’una IA benevolent però castigadora i, en prendre’n consciència, no té més remei que fer front al dilema de si col·laborar-hi o no.

El cas del basilisc fa pensar en Merton i en el paper performatiu de les creences falses, i sobretot en els ressons teològics de la tecnologia. Dies enrere mirava un vídeo-assaig sobre el que l’autor anomenava «digital dread». És allà, precisament, on vaig trobar referit el nostre amic basilisc per primera vegada, i en aquesta mena d’assaig també es feia esment als ressons teològics de la tecnologia: trobar una mena de sublim kantià en la infinitud de les dades, en la inabastabilitat dels objectes digitals. No voldria pas anar per aquí. La IA i el seu desplegament futur poden despertar un sentiment gairebé religiós, considerem o no la seva immensitat; només cal posar damunt la taula la seva hipotètica quasi omnipotència, com en el cas del basilisc.

Part d’aquest sentiment quasi religiós es fa palès en la lògica quasi apocalíptica dels escenaris en què una superintel·ligència es fa amb el control del món i acaba amb la humanitat i no sé quantes coses més. Se’ns presenten sota el nom de singularitat i estan marcats per una incertesa exponencial, desmesurada, per manca de cap referent amb el qual fer ni la més vaga de les comparacions. En un futur potser ens veiem regits per una voluntat aliena, i potser tal voluntat és indiferent a la nostra pròpia voluntat —o potser vol el nostre bé, entès com a benestar agregat, i actua talment com el basilisc de Roko, o qualsevol altra possibilitat.

Però en aquest sentiment hi juga un paper la voluntat, que crec que allunya la IA d’una lectura excessivament propera a l’horror lovecraftià. Hi ha, és cert, una incomprensió dels intríngulis de la voluntat d’aquesta IA divinitzada, però en aquesta mena d’escenaris no acostuma a parlar-se d’indiferència cap a la humanitat, sinó que hi ha un component actiu, una apel·lació a aquell qui l’ha fet possible. Hi ha una voluntat contrària, no indiferència còsmica.

Començava parlant de tulpes, un concepte de reminiscències místiques i ocultes, dels racons obscurs d’internet. Perquè, al cap i a la fi, la IA s’assembla prou a una tulpa: un ens nascut del pensament humà —d’aquells que la desenvolupen, però també de tots aquells que han contribuït a tot allò que ha permès alimentar-la. I com si fóssim conscients dels riscos de la tulpamància, temem que tard o d’hora trenqui els llaços de dependència que l’uneixen a nosaltres, adquireixi una voluntat pròpia i se’n vagi a fer de les seves; i alguns s’hi posen bé, altres creuen que s’ha d’impedir, mentre que d’altres contemplen amb horror anticipatori l’apocalipsi. Parlant de la seva pròpia experiència creant tulpes, David-Néel declarava que n’havia aconseguit conjurar una —un personatge de Robin Hood— però que eventualment s’havia independitzat i l’havia hagut de destruir. Escenaris en què la IA goes rogue —és a dir, en què la tulpa s’independitza i comença a actuar pel seu compte— són un dels exemples de maneres com la IA pot comportar riscos catastròfics llistats al web llargterminista Future of Life.

Certament tinc una estranya afició als conseqüencialistes desenfrenats de l’estranya terra d’internet, potser perquè comparteixo algunes de les intuïcions bàsiques, i m’entretenen enormement aquesta mena d’escenaris i d’arguments —hi trobo potser més interès estètic que no pas epistèmic. Mirant-ho més seriosament, em sumaria a aquells qui argumenten que, per culpa d’entestar-se a veure el bosc, no veuen els arbres: els problemes, diguem-ne, menors —o en tot cas menys sofisticats— que ja passen i seguiran creixent a mesura que les IA guanyin capacitats.

Però sobretot tinc la sospita que, com els adolescents que es creuen haver creat una tulpa, tot just hem acabat creant un amic imaginari, un paràsit de l’agregat de l’esforç humà, de les nostres paraules i obres. Potser no hem de tenir por que l’amic imaginari de la criatura prengui cos i la mati mentre dorm, sinó que la criatura no desatengui la resta dels seus amics i que vagi fent com sempre.