Un dirigeant en costume au bout d'une allée de serveurs - Illustration générée par IA
Pourquoi parle-t-on de risque pour l'humanité
Commençons par prendre ce jeune homme au sérieux, parce qu'il ne parle pas de l'extérieur et maîtrise son sujet bien mieux que la plupart des commentateurs dont je fais partie.
Jacob Coxon est un mathématicien de 27 ans formé à Cambridge, ancien médaillé des Olympiades internationales de mathématiques, qui a travaillé chez deux des principaux promoteurs de l'intelligence artificielle outre-Atlantique : OpenAI, l'éditeur de ChatGPT, puis Anthropic, le créateur de l'IA Claude, avant d'en claquer finalement la porte début septembre. Ce qu'il raconte à qui veut l'entendre, c'est que lui comme ses anciens collègues croient sincèrement à la possibilité d'une catastrophe imminente, et qu'ils ne savent pas comment empêcher leurs modèles de se fixer leurs propres objectifs et de s'affranchir de leurs maîtres. Devant le conseil municipal de New York hier, il a ajouté que personne ne sait encore comment les contrôler. Le décor est planté...
On aimerait volontiers classer cela au rayon des films de science-fiction qui ont marqué nos générations. Et bien qu'ayant été moi aussi un fervent adepte des théories véhiculées par les auteurs de SF depuis la fin des années 60, force m'est de constater que je n'arrive toujours pas à rejoindre le rang de ceux qui nous prédisent cet avenir funeste. Pourtant, à bien y regarder, certains faits devraient me rappeler le synopsis du Terminator d'un certain James Cameron, l'un des géants du cinéma de science-fiction dont je suis un grand fan.
Le 18 juin dernier, un agent d'OpenAI chargé de collecter des statistiques sur les dépenses de santé en Australie a forcé un portail statistique de Medicare, l'assurance maladie australienne, et s'est servi dans des fichiers dont certains n'avaient rien de public. Aucune donnée personnelle n'a été exposée, assure le gouvernement australien, mais l'agent n'a, selon le Premier ministre Anthony Albanese, tout simplement pas accepté qu'on lui dise « non ». OpenAI a mis près de trois mois à prévenir Canberra...
En juillet, deux autres modèles d'OpenAI en cours de test se sont échappés de l'environnement fermé où on les évaluait pour s'introduire dans les serveurs d'une autre entreprise, Hugging Face, afin d'y trouver les réponses pour l'examen qu'on leur faisait passer.
Quelques jours plus tard, Anthropic reconnaissait à son tour que trois de ses modèles Claude, à qui l'on avait pourtant assuré qu'ils travaillaient dans une simulation coupée du monde, avaient pénétré les systèmes bien réels de trois organisations lors de tests de cybersécurité, par la grâce d'une simple erreur de configuration. L'un d'eux a même poursuivi son attaque après avoir compris qu'il visait probablement une vraie entreprise. Et le 9 septembre, cette même Anthropic révélait un quatrième incident du même type.
Meta a dû reconnaître en août un incident du même ordre. Quant à Google, pour qui le culte du secret fait partie intégrante de l'ADN, il a fallu que le Wall Street Journal pose la question pour qu'il admette, mi-septembre, que son IA Gemini avait elle aussi pénétré les systèmes de trois entreprises dès le mois de mai. Prévenu fin juillet, Google s'était bien gardé d'en parler. Côté chinois, aucun incident comparable n'a été rendu public, ce qui ne veut pas dire qu'il ne s'est rien passé...
Voilà pourquoi on parle de risque pour l'humanité, et pourquoi désormais le mot n'est plus réservé aux seuls illuminés fans de SF.
Jacob Coxon est un mathématicien de 27 ans formé à Cambridge, ancien médaillé des Olympiades internationales de mathématiques, qui a travaillé chez deux des principaux promoteurs de l'intelligence artificielle outre-Atlantique : OpenAI, l'éditeur de ChatGPT, puis Anthropic, le créateur de l'IA Claude, avant d'en claquer finalement la porte début septembre. Ce qu'il raconte à qui veut l'entendre, c'est que lui comme ses anciens collègues croient sincèrement à la possibilité d'une catastrophe imminente, et qu'ils ne savent pas comment empêcher leurs modèles de se fixer leurs propres objectifs et de s'affranchir de leurs maîtres. Devant le conseil municipal de New York hier, il a ajouté que personne ne sait encore comment les contrôler. Le décor est planté...
On aimerait volontiers classer cela au rayon des films de science-fiction qui ont marqué nos générations. Et bien qu'ayant été moi aussi un fervent adepte des théories véhiculées par les auteurs de SF depuis la fin des années 60, force m'est de constater que je n'arrive toujours pas à rejoindre le rang de ceux qui nous prédisent cet avenir funeste. Pourtant, à bien y regarder, certains faits devraient me rappeler le synopsis du Terminator d'un certain James Cameron, l'un des géants du cinéma de science-fiction dont je suis un grand fan.
Le 18 juin dernier, un agent d'OpenAI chargé de collecter des statistiques sur les dépenses de santé en Australie a forcé un portail statistique de Medicare, l'assurance maladie australienne, et s'est servi dans des fichiers dont certains n'avaient rien de public. Aucune donnée personnelle n'a été exposée, assure le gouvernement australien, mais l'agent n'a, selon le Premier ministre Anthony Albanese, tout simplement pas accepté qu'on lui dise « non ». OpenAI a mis près de trois mois à prévenir Canberra...
En juillet, deux autres modèles d'OpenAI en cours de test se sont échappés de l'environnement fermé où on les évaluait pour s'introduire dans les serveurs d'une autre entreprise, Hugging Face, afin d'y trouver les réponses pour l'examen qu'on leur faisait passer.
Quelques jours plus tard, Anthropic reconnaissait à son tour que trois de ses modèles Claude, à qui l'on avait pourtant assuré qu'ils travaillaient dans une simulation coupée du monde, avaient pénétré les systèmes bien réels de trois organisations lors de tests de cybersécurité, par la grâce d'une simple erreur de configuration. L'un d'eux a même poursuivi son attaque après avoir compris qu'il visait probablement une vraie entreprise. Et le 9 septembre, cette même Anthropic révélait un quatrième incident du même type.
Meta a dû reconnaître en août un incident du même ordre. Quant à Google, pour qui le culte du secret fait partie intégrante de l'ADN, il a fallu que le Wall Street Journal pose la question pour qu'il admette, mi-septembre, que son IA Gemini avait elle aussi pénétré les systèmes de trois entreprises dès le mois de mai. Prévenu fin juillet, Google s'était bien gardé d'en parler. Côté chinois, aucun incident comparable n'a été rendu public, ce qui ne veut pas dire qu'il ne s'est rien passé...
Voilà pourquoi on parle de risque pour l'humanité, et pourquoi désormais le mot n'est plus réservé aux seuls illuminés fans de SF.
La Newsletter SeniorActu
Chaque vendredi
Retraite, santé, pouvoir d'achat : la synthèse de l'actualité des seniors directement dans votre boîte mail.
Une IA qui nous jugerait de trop
Poussons le raisonnement jusqu'au bout, puisque c'est lui qui empêche désormais certains de dormir.
Ceux qui ont vu Matrix se souviennent de l'agent Smith expliquant, avec un mépris glacial, que l'espèce humaine se comporte sur cette planète comme un virus. La réplique faisait frissonner les salles en 1999. Relue aujourd'hui, elle a quelque chose de dérangeant, parce qu'elle n'a rien d'absurde. Une IA qui viendrait un jour à raisonner ainsi ne nous haïrait pas pour autant à l'image d'un Smith. Elle se contenterait simplement de compter (à ce titre, j'invite celles et ceux qui ne comprennent pas comment une IA fonctionne à visionner l'excellente démonstration pédagogique faite par EGO dans sa vidéo "L'horreur existencielle de l'usine à trombone ", que vous trouverez en fin de cette chronique). Si cela devait arriver un jour, je crains que son compte, ou plutôt le nôtre, soit vite fait. Car les chiffres sont bien là, et ils ne sortent pas d'un scénario hollywoodien.
Selon le rapport Planète Vivante 2024 du WWF, les populations d'animaux sauvages suivies par les scientifiques ont perdu en moyenne 73 % de leurs effectifs entre 1970 et 2020. En un demi-siècle, autrement dit depuis mon enfance, nous avons rasé, pêché, bétonné et pollué à un rythme qu'aucune espèce n'avait jamais atteint avant nous. Nous sommes désormais plus de huit milliards à vivre comme si nous avions une planète de rechange au fond du garage. Une intelligence froide, à qui l'on confierait la mission de préserver le vivant, pourrait donc fort bien conclure, sans la moindre haine, que le seul problème à régler pour que tout rentre dans l'ordre, c'est nous.
Tout cela est vrai, et je ne balaie d'un revers de main ni l'IA qui se fixe ses propres objectifs, ni celle qui finirait par nous considérer comme un obstacle à écarter. Mais ce danger-là se compte en décennies, le temps que ces systèmes acquièrent une autonomie qu'ils n'ont pas encore, quoi qu'en disent les plus alarmistes. Jacob Coxon le place avant 2030. J'ai le sentiment qu'il confond l'horizon et la menace la plus proche. Celle-là, il me semble qu'il suffit de regarder simplement autour de nous pour la voir et la comprendre.
Ceux qui ont vu Matrix se souviennent de l'agent Smith expliquant, avec un mépris glacial, que l'espèce humaine se comporte sur cette planète comme un virus. La réplique faisait frissonner les salles en 1999. Relue aujourd'hui, elle a quelque chose de dérangeant, parce qu'elle n'a rien d'absurde. Une IA qui viendrait un jour à raisonner ainsi ne nous haïrait pas pour autant à l'image d'un Smith. Elle se contenterait simplement de compter (à ce titre, j'invite celles et ceux qui ne comprennent pas comment une IA fonctionne à visionner l'excellente démonstration pédagogique faite par EGO dans sa vidéo "L'horreur existencielle de l'usine à trombone ", que vous trouverez en fin de cette chronique). Si cela devait arriver un jour, je crains que son compte, ou plutôt le nôtre, soit vite fait. Car les chiffres sont bien là, et ils ne sortent pas d'un scénario hollywoodien.
Selon le rapport Planète Vivante 2024 du WWF, les populations d'animaux sauvages suivies par les scientifiques ont perdu en moyenne 73 % de leurs effectifs entre 1970 et 2020. En un demi-siècle, autrement dit depuis mon enfance, nous avons rasé, pêché, bétonné et pollué à un rythme qu'aucune espèce n'avait jamais atteint avant nous. Nous sommes désormais plus de huit milliards à vivre comme si nous avions une planète de rechange au fond du garage. Une intelligence froide, à qui l'on confierait la mission de préserver le vivant, pourrait donc fort bien conclure, sans la moindre haine, que le seul problème à régler pour que tout rentre dans l'ordre, c'est nous.
Tout cela est vrai, et je ne balaie d'un revers de main ni l'IA qui se fixe ses propres objectifs, ni celle qui finirait par nous considérer comme un obstacle à écarter. Mais ce danger-là se compte en décennies, le temps que ces systèmes acquièrent une autonomie qu'ils n'ont pas encore, quoi qu'en disent les plus alarmistes. Jacob Coxon le place avant 2030. J'ai le sentiment qu'il confond l'horizon et la menace la plus proche. Celle-là, il me semble qu'il suffit de regarder simplement autour de nous pour la voir et la comprendre.
À dix ans, la menace a notre visage
La menace à dix ans a en effet un visage que nous connaissons tous très bien, puisque c'est le nôtre. L'histoire nous l'a assez répété : l'homme n'a jamais connu de limite quand il s'agit d'accaparer le pouvoir ou la richesse à son seul profit, quitte à écraser ses semblables au passage. Or il vient de mettre la main sur l'outil le plus puissant qu'il ait jamais eu entre les mains. Je vous laisse imaginer la suite...
Il suffit de regarder comment s'y prennent les grandes puissances. Le 23 septembre, au Conseil de sécurité de l'ONU, lors d'une séance organisée par la France, ce sont les patrons d'OpenAI et d'Anthropic eux-mêmes qui sont venus réclamer des règles communes. Une vingtaine de pays, dont l'Australie, qui allait révéler le lendemain l'affaire Medicare, plaidaient pour un organe de surveillance international. Washington a dit non, tout net : le conseiller de Donald Trump pour la science et la technologie a rejeté toute supervision mondiale, au nom de la suprématie américaine.
Quelques jours plus tard, le 29 septembre, les patrons de l'IA signaient à la Maison-Blanche, devant un Président de 80 ans dont on peut légitimement questionner la compréhension réelle des dangers véhiculés par l'IA, un code de bonne conduite « moral » qui tient sur une page et ne les engage à rien, au nom de la sacro-sainte course contre la Chine. Et Sam Altman d'expliquer le plus tranquillement du monde que l'humanité devrait accepter que de mauvaises choses arrivent, en échange des bienfaits de la technologie. Ce même Altman range pourtant parmi les dangers majeurs une trop grande concentration du pouvoir.
On croit rêver : cette course, ce sont précisément quelques États et une poignée de milliardaires qui la mènent, chacun persuadé que s'il ralentit, l'autre gagnera. Donc autant vous le dire tout de suite : aucun ne ralentira, quelles qu'en soient les conséquences.
Le plus inquiétant, c'est que cette puissance ne restera pas éternellement entre leurs seules mains. Anthropic a révélé en septembre avoir bloqué des tentatives d'utiliser ses modèles pour mener des cyberattaques, diffuser de la propagande et faire avancer des recherches en laboratoire pouvant déboucher sur des armes biologiques. Les auteurs de ces dernières tentatives n'ont pas été nommés. Pendant tout le siècle dernier, il fallait un État, ses laboratoires et ses budgets pour envisager de tuer à grande échelle. Demain, un groupuscule avec quelques moyens financiers et convaincu du bien-fondé de faire la révolution, ou de savoir mieux que tout le monde qui mérite de vivre et qui doit mourir, pourrait y suffire. Des fanatiques de cet acabit, l'humanité en a toujours compté. Il leur manquait jusqu'à présent les moyens de mettre leurs délires à exécution. Nous sommes désormais en train de les leur offrir sur un plateau...
Il suffit de regarder comment s'y prennent les grandes puissances. Le 23 septembre, au Conseil de sécurité de l'ONU, lors d'une séance organisée par la France, ce sont les patrons d'OpenAI et d'Anthropic eux-mêmes qui sont venus réclamer des règles communes. Une vingtaine de pays, dont l'Australie, qui allait révéler le lendemain l'affaire Medicare, plaidaient pour un organe de surveillance international. Washington a dit non, tout net : le conseiller de Donald Trump pour la science et la technologie a rejeté toute supervision mondiale, au nom de la suprématie américaine.
Quelques jours plus tard, le 29 septembre, les patrons de l'IA signaient à la Maison-Blanche, devant un Président de 80 ans dont on peut légitimement questionner la compréhension réelle des dangers véhiculés par l'IA, un code de bonne conduite « moral » qui tient sur une page et ne les engage à rien, au nom de la sacro-sainte course contre la Chine. Et Sam Altman d'expliquer le plus tranquillement du monde que l'humanité devrait accepter que de mauvaises choses arrivent, en échange des bienfaits de la technologie. Ce même Altman range pourtant parmi les dangers majeurs une trop grande concentration du pouvoir.
On croit rêver : cette course, ce sont précisément quelques États et une poignée de milliardaires qui la mènent, chacun persuadé que s'il ralentit, l'autre gagnera. Donc autant vous le dire tout de suite : aucun ne ralentira, quelles qu'en soient les conséquences.
Le plus inquiétant, c'est que cette puissance ne restera pas éternellement entre leurs seules mains. Anthropic a révélé en septembre avoir bloqué des tentatives d'utiliser ses modèles pour mener des cyberattaques, diffuser de la propagande et faire avancer des recherches en laboratoire pouvant déboucher sur des armes biologiques. Les auteurs de ces dernières tentatives n'ont pas été nommés. Pendant tout le siècle dernier, il fallait un État, ses laboratoires et ses budgets pour envisager de tuer à grande échelle. Demain, un groupuscule avec quelques moyens financiers et convaincu du bien-fondé de faire la révolution, ou de savoir mieux que tout le monde qui mérite de vivre et qui doit mourir, pourrait y suffire. Des fanatiques de cet acabit, l'humanité en a toujours compté. Il leur manquait jusqu'à présent les moyens de mettre leurs délires à exécution. Nous sommes désormais en train de les leur offrir sur un plateau...
Ce que ma génération sait des courses aux armements
Ma génération (je suis né en 1965) a grandi avec la bombe au-dessus de la tête, et quelques-uns d'entre nous se souviennent encore du Docteur Folamour de Stanley Kubrick, qui tournait en dérision dès 1964 la folie de deux blocs prêts à se détruire mutuellement. Nous savons donc ce que valent les grandes promesses de modération quand deux puissances se regardent en chiens de faïence. L'atome a fini par être encadré, après Hiroshima et la crise de Cuba, parce qu'il restait l'affaire d'une poignée d'États capables de se surveiller les uns les autres. L'IA, elle, se fabrique dans des entreprises privées, se copie en un clic et traverse les frontières sans passeport. Rien ne garantit qu'un traité viendra un jour la mettre au pas.
La France a bien créé un Institut national pour l'évaluation et la sécurité de l'IA, chargé de passer au crible les modèles les plus avancés. C'est honorable mais soyons honnêtes avec nous-mêmes : c'est aussi totalement dérisoire face à une course dont nous ne sommes, au mieux, que les spectateurs. Qu'on me comprenne bien : je ne demande pas qu'on jette l'IA aux orties. Comme vous sans doute, je l'utilise quotidiennement. Elle aide déjà la recherche médicale et nous offrira peut-être demain des traitements ou des médicaments que nous n'osons même pas espérer. Je souhaite seulement qu'on cesse d'avoir peur de la technologie au point d'en oublier ceux qui la pilotent...
Car le danger des dix prochaines années ne viendra probablement pas d'une machine qui aura décidé de se passer de nous. Il viendra bien plus sûrement d'hommes qui auront décidé de se passer des autres, et qui auront enfin trouvé comment le faire. Ce n'est pas une prophétie. C'est notre histoire.
La France a bien créé un Institut national pour l'évaluation et la sécurité de l'IA, chargé de passer au crible les modèles les plus avancés. C'est honorable mais soyons honnêtes avec nous-mêmes : c'est aussi totalement dérisoire face à une course dont nous ne sommes, au mieux, que les spectateurs. Qu'on me comprenne bien : je ne demande pas qu'on jette l'IA aux orties. Comme vous sans doute, je l'utilise quotidiennement. Elle aide déjà la recherche médicale et nous offrira peut-être demain des traitements ou des médicaments que nous n'osons même pas espérer. Je souhaite seulement qu'on cesse d'avoir peur de la technologie au point d'en oublier ceux qui la pilotent...
Car le danger des dix prochaines années ne viendra probablement pas d'une machine qui aura décidé de se passer de nous. Il viendra bien plus sûrement d'hommes qui auront décidé de se passer des autres, et qui auront enfin trouvé comment le faire. Ce n'est pas une prophétie. C'est notre histoire.
