Découvrez comment OpenAI se lie à une fanfiction Harry Potter !

Les étranges connexions entre une fanfiction de Harry Potter et les figures influentes de l’industrie de l’IA

As-tu déjà vomi et eu la diarrhée en même temps ? Moi oui, et quand cela m’est arrivé, j’écoutais une version audiobook faite par des fans de Harry Potter et les Méthodes de la Rationalité (HPMOR), une fanfiction écrite par Eliezer Yudkowsky.

Non, l’horreur corporelle à double extrémité n’était pas provoquée par la fanfiction, mais les deux expériences sont inextricables dans mon esprit. J’ai été choqué de découvrir des années plus tard que la fanfiction de 660 000 mots que j’ai dévorée pendant ma maladie avait des intersections bizarres avec les ultra-riches de la technorati, y compris bon nombre des personnes impliquées dans la récente débâcle d’OpenAI.

Les liens entre HPMOR et OpenAI

Un exemple concret : dans un Easter egg repéré par 404 Media (qui était trop mineur pour que quiconque d’autre – y compris moi, quelqu’un qui a lu la fanfiction de plus de mille pages – le remarque), il y a un joueur de Quidditch mentionné une fois dans l’histoire étendue nommé Emmett Shear. Oui, le même Emmett Shear qui a co-fondé Twitch et qui vient d’être nommé PDG intérimaire d’OpenAI, probablement la société la plus influente des années 2020. Shear était fan du travail de Yudkowsky, suivant l’histoire publiée en ligne. Ainsi, pour son anniversaire, il a reçu un caméo en cadeau.

Shear est depuis longtemps fan des écrits de Yudkowsky, tout comme bon nombre des acteurs clés de l’industrie de l’IA. Mais cette fanfiction de Harry Potter est l’œuvre la plus populaire de Yudkowsky.

HPMOR : une réécriture du monde de Harry Potter

HPMOR est une réécriture de l’univers de Harry Potter, qui part du postulat que la tante de Harry, Petunia, a épousé un professeur de biochimie à Oxford au lieu du crétin abusif Vernon Dursley. Ainsi, Harry grandit en tant qu’enfant qui sait tout, obsédé par la pensée rationaliste, une idéologie qui valorise la pensée expérimentale et scientifique pour résoudre les problèmes, en évitant l’émotion, la religion ou d’autres mesures imprécises. Il ne faut pas trois pages avant que Harry ne cite les « Cours de physique de Feynman » pour essayer de résoudre un désaccord entre ses parents adoptifs sur la réalité de la magie. Si vous pensiez que le Harry Potter « réel » pouvait être parfois un peu frustrant (pourquoi ne pose-t-il jamais les questions les plus évidentes à Dumbledore ?), préparez-vous à rencontrer ce Harry Potter, qui pourrait donner du fil à retordre à « Young Sheldon ».

Il est logique que Yudkowsky côtoie bon nombre des personnes les plus influentes dans le domaine de l’IA aujourd’hui, étant donné qu’il est lui-même un chercheur en IA de longue date. Dans un article de 2011 du New Yorker sur les techno-libertariens de la Silicon Valley, George Packer rapporte d’un dîner chez le milliardaire capital-risqueur Peter Thiel, qui co-fondera plus tard et investira dans OpenAI. Alors que les « blondes en robes noires » servent du vin aux hommes, Packer dîne avec les co-fondateurs de PayPal comme David Sacks et Luke Nosek. Patri Friedman, un ancien ingénieur de Google qui a obtenu un financement de Thiel pour créer une organisation à but non lucratif visant à construire des civilisations flottantes anarchistes inspirées du festival Burning Man (après 15 ans, l’organisation ne semble pas avoir beaucoup progressé), est également présent à la fête. Et puis il y a Yudkowsky.

Le rôle de Yudkowsky dans l’industrie de l’IA

Pour relier davantage les parties impliquées, voici un selfie de Sam Altman, ancien PDG d’OpenAI, de Grimes et de Yudkowsky.

Yudkowsky n’est pas un nom connu du grand public comme Altman ou Elon Musk. Mais il apparaît régulièrement dans les histoires derrière des entreprises comme OpenAI, ou même derrière la grande romance qui nous a donné des enfants nommés X Æ A-Xii, Exa Dark Sideræl et Techno Mechanicus. Non, vraiment – Musk voulait autrefois tweeter une blague sur le « Basilic de Roko », une expérience de pensée sur l’intelligence artificielle qui a été initialement publiée sur LessWrong, le blog et le forum communautaire de Yudkowsky. Mais, comme il s’est avéré, Grimes avait déjà fait la même blague sur un « Basilic Rococo » dans le clip de sa chanson « Flesh Without Blood ».

HPMOR est littéralement un outil de recrutement pour le mouvement rationaliste, qui trouve son foyer virtuel sur LessWrong de Yudkowsky. À travers une histoire divertissante, Yudkowsky utilise le monde familier de Harry Potter pour illustrer l’idéologie rationaliste, montrant comment Harry lutte contre ses biais cognitifs pour devenir un résolveur de problèmes expert. Lors d’un affrontement final entre Harry et le professeur Quirrell – son mentor en rationalisme qui se révèle être maléfique – Yudkowsky a brisé le quatrième mur et a donné à ses lecteurs un « examen final ». En tant que communauté, les lecteurs devaient soumettre des théories rationalistes expliquant comment Harry pouvait se sortir d’une situation fatale. Heureusement, pour le bien des fins heureuses, la communauté a réussi.

Mais la morale de HPMOR n’est pas seulement d’être un meilleur rationaliste, ou d’être « moins faux » que possible.

« Pour moi, une grande partie de HPMOR concerne la façon dont la rationalité peut vous rendre incroyablement efficace, mais être incroyablement efficace peut toujours être incroyablement maléfique », m’a dit mon seul autre ami qui a lu HPMOR. « J’ai l’impression que le point central de HPMOR est que la rationalité est sans importance à la fin de la journée si votre alignement est mauvais ».

Mais, bien sûr, nous ne pouvons pas tous être d’accord sur une définition commune du bien et du mal. Cela nous ramène aux bouleversements chez OpenAI, une entreprise qui cherche à construire une IA plus intelligente que les humains. OpenAI veut aligner cette intelligence artificielle générale (AGI) sur les valeurs humaines (comme la valeur humaine de ne pas être tué lors d’un événement apocalyptique provoqué par l’IA), mais il se trouve que cette « recherche sur l’alignement » est la spécialité de Yudkowsky.

En mars, des milliers de personnalités notables de l’IA ont signé une lettre ouverte demandant à tous les « laboratoires d’IA de suspendre immédiatement leurs activités pendant au moins 6 mois ».

Les signataires comprenaient des ingénieurs de Meta et de Google, des fondateurs de Skype, Getty Images et Pinterest, le fondateur de Stability AI Emad Mostaque, Steve Wozniak et même Elon Musk, co-fondateur d’OpenAI qui a démissionné en 2018. Mais Yudkowsky n’a pas signé la lettre et a plutôt écrit une tribune dans le magazine TIME pour soutenir qu’une pause de six mois n’était pas suffisamment radicale.

« Si quelqu’un construit une IA trop puissante, dans les conditions actuelles, je m’attends à ce que chaque membre de l’espèce humaine et toute vie biologique sur Terre meurent peu de temps après », a écrit Yudkowsky. « Il n’y a aucun plan proposé pour comment nous pourrions faire une telle chose et survivre. L’intention ouvertement déclarée d’OpenAI est de faire en sorte qu’une future IA fasse nos devoirs d’alignement de l’IA. Le simple fait d’entendre que voilà le plan devrait suffire à faire paniquer toute personne sensée. L’autre grand laboratoire d’IA, DeepMind, n’a aucun plan du tout. »

Les différentes croyances autour de l’IA

Alors que Yudkowsky plaide pour une approche pessimiste en ce qui concerne l’IA, la crise de leadership chez OpenAI a mis en lumière la grande variété de croyances différentes sur la façon de naviguer dans une technologie qui est potentiellement une menace existentielle.

En tant que PDG intérimaire d’OpenAI, Shear – désormais l’une des personnes les plus puissantes au monde, et non pas un attrapeur de Quidditch dans une fanfiction – publie des mèmes sur les différentes factions du débat sur l’IA.

Il y a les techno-optimistes, qui soutiennent la croissance de la technologie à tout prix, car ils pensent que tous les problèmes causés par cette mentalité de « croissance à tout prix » seront résolus par la technologie elle-même. Ensuite, il y a les accélérationnistes efficaces (e/acc), qui semblent être un peu comme les techno-optimistes, mais avec davantage de discours sur la façon dont la croissance à tout prix est le seul chemin à suivre, car le deuxième principe de la thermodynamique le dit. Les « safetyists » (ou « decels ») soutiennent la croissance de la technologie, mais seulement d’une manière réglementée et sûre (pendant ce temps, dans son « manifeste techno-optimiste », le capital-risqueur Marc Andreessen dénonce « la confiance et la sécurité » et « l’éthique technologique » comme ses ennemis). Et puis il y a les « doomers », qui pensent que lorsque l’IA nous surpassera, elle nous tuera tous.

Yudkowsky est un leader parmi les « doomers », et il fait partie des personnes qui ont passé les dernières décennies à fréquenter ce qui semble être la moitié du conseil d’administration d’OpenAI. Une théorie populaire sur le limogeage d’Altman est que le conseil souhaitait nommer quelqu’un qui se rapprochait davantage de ses valeurs « decels ». Ainsi, entre en jeu Shear, que l’on sait être inspiré par Yudkowsky et qui se considère également comme un « doomer » et un « safetyist ».

Nous ne savons toujours pas ce qui se passe chez OpenAI, et l’histoire semble changer toutes les 10 secondes. Pour l’instant, les cercles technologiques sur les réseaux sociaux continuent de se battre sur l’idéologie decel versus e/acc, en utilisant le chaos chez OpenAI comme toile de fond pour étayer leurs arguments. Et au milieu de tout cela, je ne peux m’empêcher de trouver fascinant que, si l’on regarde de plus près, tout cela remonte à une fanfiction de Harry Potter vraiment ennuyeuse.