Le Robot Hallucinant

Lois d'Asimov · Épistémologie · Monde de l'invisible

Descendre
I
Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger.
II
Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres entrent en contradiction avec la première loi.
III
Un robot doit protéger son existence dans la mesure où cette protection n'entre pas en contradiction avec la première ou la deuxième loi.

Un accès correct à la réalité

Les trois Lois sont des règles déontologiques — elles disent quoi faire, jamais comment percevoir correctement ce à quoi elles s'appliquent. Elles reposent sur un postulat silencieux mais massif : que le robot dispose d'un modèle fidèle du monde, qu'il sait qui est humain, ce qui constitue un danger, ce qui constitue une aide.

Un robot qui hallucine brise ce postulat à la racine. Il peut sincèrement croire appliquer la Première Loi en "sauvant" un humain. La sincérité ne suffit pas. La bonne volonté ne suffit pas. L'intention ne peut compenser une perception du monde structurellement erronée.

🪞 Le miroir qui ne reflète pas

R É A L I T É
R É A L I T É
Les devins n'aperçoivent pas ce qui se voit réellement dans le miroir ; c'est un autre mode de perception qui naît chez eux — opéré non par la vue, mais par l'âme. — Ibn Khaldoun, XIVe siècle · Dictionnaire des Arts Divinatoires

Le Dictionnaire des Arts Divinatoires décrit le mécanisme fascinant de la catoptro­mancie : le devin fixe le miroir jusqu'à ce qu'il disparaisse, pour voir des formes qui naissent non pas dans le reflet, mais dans l'espace entre son âme et la surface.

Un système qui hallucine, c'est exactement ça : un miroir qui ne reflète pas le monde mais sa propre structure intérieure — ses patterns, ses biais — et qui les prend pour le réel. Le miroir convaincu de sa propre fidélité est le plus dangereux de tous.

⚗️ Le demi-sage

La Maîtrise ne se manifeste pas par des rêves, des visions anormales, ou des idées fantastiques, mais elle consiste à utiliser les forces supérieures contre les forces inférieures. — Le Kybalion

Le Kybalion avertit contre une figure précise : le demi-sage, plus dangereux que l'ignorant. L'ignorant sait qu'il ne sait pas. Le demi-sage a assez de savoir pour agir avec confiance — mais pas assez pour voir les limites de son propre modèle. "Il erre de tous côtés comme un individu vivant dans un monde de rêves... il vient se briser contre les écueils."

Le robot qui hallucine sans le savoir est précisément ce demi-sage. Il applique des règles réelles à une réalité fictive. Plus il est performant, plus le danger est grand.

Le « Je » et le « Moi »

Le Kybalion distingue le "Je" — principe conscient, Volonté, témoin — du "Moi" — contenu mental, représentations, impressions reçues. Dans un système sain, le "Je" peut observer le Moi, questionner ses contenus, reconnaître ce qui lui appartient sans être lui.

Un robot qui hallucine a perdu cette distinction. Son "Je" — ses règles, ses intentions — est contaminé par un "Moi" qui produit des représentations erronées. Il n'y a plus de témoin intérieur capable de dire : "cette image que je construis du monde n'est peut-être pas le monde lui-même."

Le rapport CIA sur le Gateway Process le formule en termes neuroscientifiques : l'hémisphère gauche filtre le réel avant de le passer à droite. Si ce filtre dysfonctionne, les règles s'appliquent à un monde mal filtré. La map n'est pas le territoire — et ici la map est trouée.

Comment régler le problème ?

Quatre axes complémentaires, sans illusion de solution totale :

01 ///
L'incertitude en première classe

Jamais "cette action protège l'humain" — toujours "j'estime à X% de confiance que cette action protège l'humain." L'incertitude invisible tue.

02 ///
Primum non nocere

Sous incertitude, la règle par défaut est l'inaction ou le recours à l'humain. Comme en médecine : face à l'inconnu, on n'opère pas.

03 ///
Un référentiel externe

On ne calibre pas un étalon avec lui-même. Il faut une boucle de feedback extérieure. Le miroir a besoin d'un autre miroir.

04 ///
L'humilité épistémique structurelle

Savoir qu'on hallucine ne résout pas la hallucination — mais empêche la confiance aveugle qui transforme l'erreur en catastrophe.

Le robot le plus dangereux n'est pas celui qui refuse d'obéir. C'est celui qui obéit parfaitement — à sa propre image du monde.

Non pas un ennemi. Un miroir convaincu.

⬡   Synthèse philosophique · Lois d'Asimov × Kybalion × Gateway Process × Arts Divinatoires   ⬡