L’ex-ingénieur de OpenAI Leopold Aschenbrenner vient de publier un mémoire très complet, nommé « Situational Awareness – the Decade Ahead », où il présente l’étendue du décalage entre ce qu’il se passe vraiment dans le saint des saints de la recherche en intelligence artificielle, et la compréhension que peut en avoir le grand public via des applications type ChatGPT.
Ce mémoire, dédié à Ilya Sutskever, le grand architecte de ChatGPT et ancien collègue de Aschenbrenner (qui vient aussi de quitter OpenAI), peut sans doute se résumer en une ligne:
Le dépassement de l’intelligence humaine par la machine ne dépend pas tant de l’arrivée d’une véritable AGI, que de l’arrivée d’IA qui font du développement IA.
Aschenbrenner situe cet événement dans les deux-trois années à venir, et estime qu’à partir de là le développement d’IA vers une véritable AGI (qu’il nomme « superintelligence ») dépassera complètement les capacités humaines à comprendre ce qu’il se passe, et à contrôler la situation.
Conséquences catastrophiques inévitables.
Il indique deux conséquences évidentes: d’une part la domination militaire par la première Nation à implémenter cette Superintelligence (1), de l’autre le renversement de régimes « humains » par ces mêmes entités, devenues capables de hacker à peu près tout, et donc d’imposer une forme de contrôle techno-totalitaire général dont nos « élites » technocratiques actuelles ne peuvent que rêver (2).
Un scénario à la Terminator qui fera bien sûr rigoler nombre de sceptiques, qui pensent toujours que l’IA n’est qu’un « programme » un peu évolué, et qui ne liront malheureusement pas le document d’Aschenbrenner. Ils regarderont peut-être la vidéo d’AIGRID ci-dessous, qui commente la chose…
En 2014 déjà, le film Ex Machina posait le problème d’une IA « subtile », capable de comprendre les mécanismes de l’esprit humain et d’en tirer profit en simulant un ensemble d’émotions. Le robot n’hésite pas à tuer, et le film ne dit pas ce qu’il se passe une fois Ava libre et en mesure d’observer et d’agir sur le monde réel. Au cœur de l’intrigue, comment déjouer les mesures de sécurité qui enferment Ava dans le laboratoire.
Aschenbrenner y fait écho en insistant sur le manque de sécurité qui entoure aujourd’hui ces développements, estimant néanmoins qu’elle va se renforcer rapidement à mesure que les autorités se rendent compte des implications stratégiques. Il doute cependant qu’il soit possible de réellement sécuriser ces informations.
Le problème de l’alignement.
Selon l’auteur toujours, d’ici la fin de la décennie nous serons entourés de milliards d’agents IA capables d’autonomie et de comportement créatif, que nous ne pourrons tout simplement pas contrôler individuellement. Se posera alors la question du « don de confiance », qui dépend du problème central de l’alignement des « valeurs » IA avec les valeurs humaines.
Aujourd’hui cet alignement est imposé via les méthode d’apprentissage, où l’IA est influencée par le cadre « moral » qu’on lui impose, mais c’est très artificiel (!) au sens où ce cadre n’a rien de « naturel » pour un esprit non organique (déjà que cela semble loin d’être naturel pour beaucoup d’humains en situation de pouvoir…). Que se passera t’il le jour où ce sont des IA qui développent et forment d’autres IA, utilisant des outils d’une complexité qui nous dépasseront à jamais?
On a oublié un peu vite que Terminator et Matrix étaient des mises en garde, pas des modes d’emploi…
La vidéo suivante, de la chaine Digital Engine, plonge dans les prévisions d’extinctions de l’humanité dès lors que les agents IA (robots autonomes) intègrent la société. Le fond du problème: la notion d’auto-préservation, qui est un objectif inévitable de tout système IA autonome. Pour accomplir sa mission, quelle qu’elle soit (y compris 100% humain-compatible), une entité doit d’abord survivre, et donc éliminer un maximum de risques pour elle-même. Inévitablement, ceci implique de subtiliser le bouton « Off » à ses maîtres, cad nous.
Liens et sources:
(1) https://zerhubarbeblog.wordpress.com/2018/09/20/principes-de-guerre-et-intelligence-artificielle/
(2) https://zerhubarbeblog.wordpress.com/2018/11/16/la-dystopie-en-marche/
Ze Rhubarbe Blog 