Comprendre le long article de Vitalik : pourquoi les personnes intelligentes doivent-elles s’en tenir aux « règles simples » ?

Les théories « cerveau galaxie » qui semblent pouvoir tout expliquer sont souvent les excuses universelles les plus dangereuses. Au contraire, ce sont les règles « à haute résistance » qui paraissent rigides et dogmatiques qui constituent notre dernière ligne de défense contre l’auto-illusion.

Auteur : Zhixiong Pan

L’article publié par Vitalik il y a quelques semaines, intitulé « Galaxy Brain Resistance », est en réalité assez obscur et difficile à comprendre, et je n’ai pas vu de bonnes analyses à ce sujet, alors je vais essayer.

Après tout, j’ai vu que Karpathy, le créateur du terme Vibe Coding, a également lu cet article et pris des notes, il doit donc y avoir quelque chose de particulier.

Commençons par le titre : que signifient Galaxy Brain et Resistance ? Une fois ce titre expliqué, vous comprendrez globalement le sujet de l’article.

1️⃣ La traduction littérale de Galaxy Brain en chinois est « cerveau galaxie », mais cela vient en fait d’un mème internet, une image combinant (🌌🧠), que vous avez sûrement déjà vue.

Au départ, c’était bien sûr un compliment, pour louer l’ingéniosité d’une idée, autrement dit, l’intelligence. Mais avec le temps et la surutilisation, c’est devenu une forme d’ironie, signifiant « tu réfléchis trop, ton raisonnement va trop loin ».

Et ici, lorsque Vitalik mentionne 🌌🧠, il vise spécifiquement ce comportement consistant à utiliser une intelligence supérieure pour faire de la gymnastique mentale et transformer des choses dénuées de sens en grandes vérités. Par exemple :

- Licencier massivement pour économiser de l’argent, mais prétendre que c’est « pour fournir des talents de haute qualité à la société ».

- Lancer des shitcoins pour piéger les investisseurs, mais proclamer que c’est « pour autonomiser l’économie mondiale grâce à la gouvernance décentralisée ».

Tout cela relève de la pensée « cerveau galaxie ».

2️⃣ Que signifie alors Resistance (« résistance ») ? Ce concept peut prêter à confusion, mais pour simplifier, on peut l’assimiler à la « capacité à résister à la manipulation » ou à la « capacité à ne pas se faire embobiner ».

Donc Galaxy Brain Resistance signifie Resistance to [becoming] Galaxy Brain, c’est-à-dire : la capacité à résister à (devenir) un cerveau galaxie (à raconter n’importe quoi).

Ou, plus précisément, il s’agit de décrire à quel point un style de pensée ou d’argumentation peut être facilement détourné pour « prouver n’importe quelle conclusion que vous souhaitez ».

Cette « résistance » peut donc s’appliquer à une « théorie » particulière, par exemple :

- Théorie à faible résistance : dès qu’on la pousse un peu, elle peut facilement dériver vers une logique « cerveau galaxie » complètement absurde.

- Théorie à haute résistance : peu importe comment on la pousse, elle reste inchangée et il est difficile de la détourner vers une logique absurde.

Par exemple, Vitalik dit que, dans sa société idéale, la loi devrait avoir une ligne rouge : on ne peut interdire un comportement que si l’on peut expliquer clairement comment il cause un préjudice ou un risque concret à une victime précise. Cette norme a une forte résistance au cerveau galaxie, car elle n’accepte pas des raisons extensibles à l’infini ou floues comme « je n’aime pas ça » ou « c’est contraire à la morale ».

3️⃣ Vitalik donne également de nombreux exemples dans son article, y compris des théories courantes comme le « long-termisme » et « l’inévitabilisme ».

Le « long-termisme » résiste difficilement à l’érosion de la pensée 🌌🧠, car sa résistance est très faible, c’est presque un « chèque en blanc ». Parce que « l’avenir » est trop lointain et trop flou.

- Énoncé à haute résistance : « Cet arbre pourra grandir de 5 mètres dans 10 ans ». C’est vérifiable, difficile à manipuler.

- « Long-termisme » à faible résistance : « Même si je dois faire quelque chose de très immoral maintenant (comme éliminer une partie de la population ou déclencher une guerre), c’est pour que l’humanité vive dans une utopie dans 500 ans. Selon mes calculs, le bonheur futur est infini, donc le sacrifice actuel est négligeable. »

Vous voyez, il suffit d’étendre la temporalité pour justifier n’importe quelle mauvaise action présente. Comme le dit Vitalik : « Si votre argumentation peut justifier n’importe quoi, alors elle ne justifie rien du tout. »

Cela dit, Vitalik reconnaît aussi que « le long terme est important », il critique surtout l’utilisation d’avantages futurs trop flous et invérifiables pour masquer des préjudices actuels évidents.

Un autre domaine à risque est « l’inévitabilisme » (Inevitabilism).

C’est aussi l’arme de défense préférée de la Silicon Valley et du monde de la tech.

Le discours est le suivant : « Le remplacement des humains par l’IA est inévitable, même si je ne le fais pas, d’autres le feront. Donc, si je développe l’IA de manière agressive, ce n’est pas pour gagner de l’argent, mais pour suivre le cours de l’histoire. »

Où est la faible résistance ? Cela dissout parfaitement le sens de la responsabilité individuelle. Puisque c’est « inévitable », je n’ai pas à répondre des dégâts que je cause.

C’est aussi un exemple typique de cerveau galaxie : transformer des désirs personnels (« je veux de l’argent / du pouvoir ») en « j’accomplis une mission historique ».

4️⃣ Alors, face à ces « pièges pour gens intelligents », que faire ?

Le remède proposé par Vitalik est étonnamment simple, voire un peu « bête ». Selon lui, plus on est intelligent, plus on a besoin de règles à haute résistance pour se contraindre, afin d’éviter de se perdre dans des acrobaties intellectuelles.

Premièrement, s’en tenir à la « déontologie » (Deontological Ethics), c’est-à-dire aux règles morales de base apprises à la maternelle.

Ne vous embêtez pas à faire des calculs complexes « pour l’avenir de l’humanité », revenez aux principes les plus rigides :

- Ne pas voler

- Ne pas tuer d’innocents

- Ne pas frauder

- Respecter la liberté d’autrui

Ces règles ont une résistance extrêmement élevée. Parce qu’elles sont noires ou blanches, non négociables. Si vous essayez de justifier le détournement de fonds des utilisateurs par de grands principes « long-termistes », la règle rigide « ne pas voler » vous ramènera à la réalité : voler, c’est voler, inutile de parler de grande révolution financière.

Deuxièmement, occupez la bonne « position », y compris physiquement.

Comme on dit, « la position détermine la pensée ». Si vous traînez tous les jours dans l’écho-chambre de la baie de San Francisco entouré de partisans de l’accélérationnisme de l’IA, il vous sera difficile de rester lucide. Vitalik propose même un conseil à haute résistance sur le plan physique : ne vivez pas dans la baie de San Francisco.

5️⃣ Résumé

En fait, cet article de Vitalik met en garde les élites les plus intelligentes : ne pensez pas que votre QI élevé vous permet de contourner les principes moraux fondamentaux.

Les théories « cerveau galaxie » qui semblent pouvoir tout expliquer sont souvent les excuses universelles les plus dangereuses. Au contraire, ce sont les règles « à haute résistance » qui paraissent rigides et dogmatiques qui constituent notre dernière ligne de défense contre l’auto-illusion.