Un chercheur écrit à la craie une question sur le risque de l'IA - Illustration générée par IA
Ce qu'un chercheur a écrit avant de claquer la porte
Le chercheur s'appelle Jacob Coxon, il est britannique, il a 27 ans, et il a passé trois ans à l'étape la plus technique de la fabrication des modèles d'IA : le pré-entraînement, ce moment où la machine avale des quantités de données que personne ne peut relire. D'abord chez OpenAI, la maison de ChatGPT. Puis, cette année, chez son grand concurrent Anthropic, qu'il avait rejoint parce qu'il le jugeait plus prudent. Il a annoncé la semaine dernière sur X qu'il quittait le secteur, en accusant les deux entreprises de « jouer avec nos vies » dans leur course aux systèmes capables de se perfectionner tout seuls.
Ce qui a fait basculer l'affaire dans les journaux du monde entier, ce n'est pas la démission. C'est la réponse. Selon la dépêche de l'Agence France-Presse, un responsable de l'alignement chez Anthropic, Evan Hubinger, lui a publiquement donné raison : oui, ils craignent sincèrement que l'IA tue tous les humains, et il chiffre ce risque, à titre personnel, à plus de 10 % dans la décennie. Un responsable en poste qui valide publiquement l'accusation d'un démissionnaire, c'est rarissime.
Le décor compte. Anthropic prépare une entrée en Bourse considérable, et avait retiré en février de ses engagements internes la promesse de suspendre ses travaux si elle n'en maîtrisait plus les risques.
Ce qui a fait basculer l'affaire dans les journaux du monde entier, ce n'est pas la démission. C'est la réponse. Selon la dépêche de l'Agence France-Presse, un responsable de l'alignement chez Anthropic, Evan Hubinger, lui a publiquement donné raison : oui, ils craignent sincèrement que l'IA tue tous les humains, et il chiffre ce risque, à titre personnel, à plus de 10 % dans la décennie. Un responsable en poste qui valide publiquement l'accusation d'un démissionnaire, c'est rarissime.
Le décor compte. Anthropic prépare une entrée en Bourse considérable, et avait retiré en février de ses engagements internes la promesse de suspendre ses travaux si elle n'en maîtrisait plus les risques.
La Newsletter SeniorActu
Chaque vendredi
Retraite, santé, pouvoir d'achat : la synthèse de l'actualité des seniors directement dans votre boîte mail.
D'où sort ce chiffre de 10 %, et ce qu'il vaut
Ce 10 % n'est pas sorti de nulle part, mais il n'a pas l'origine qu'on lui prête. Geoffrey Hinton, 78 ans, prix Nobel de physique en 2024 et pionnier de la discipline, avance depuis trois ans un risque d'extinction de 10 à 20 % sur trente ans. Interrogé mercredi sur la BBC, il a jugé le chiffre d'Anthropic « pas déraisonnable », tout en rapprochant son échéance à une dizaine d'années et en rappelant que personne ne sait le calculer.
Reste à savoir ce que ce nombre veut dire, et c'est là que presque tous les articles s'arrêtent trop tôt. Une probabilité de pluie se calcule sur des milliers de journées déjà observées. L'extinction de l'humanité par une machine, elle, ne s'est jamais produite une seule fois. Nous manquons donc du seul matériau qui permettrait un calcul : des précédents.
Alors, faut-il y croire ? Je me garderai bien de trancher à votre place, mais une chose peut se dire sans risque : ce 10 % est un degré de conviction personnel, exprimé en chiffres. Le même geste qu'un médecin qui vous dit « une chance sur dix que ça tourne mal » en s'appuyant sur son expérience plutôt que sur un registre. Deux spécialistes également sérieux peuvent annoncer 1 % et 20 % sans que l'un des deux mente, et voilà pourquoi vous avez pu lire le même jour un titre sur la fin du monde et un autre rappelant qu'il reste 90 % de chances de ne pas mourir à cause de l'IA.
Reste à savoir ce que ce nombre veut dire, et c'est là que presque tous les articles s'arrêtent trop tôt. Une probabilité de pluie se calcule sur des milliers de journées déjà observées. L'extinction de l'humanité par une machine, elle, ne s'est jamais produite une seule fois. Nous manquons donc du seul matériau qui permettrait un calcul : des précédents.
Alors, faut-il y croire ? Je me garderai bien de trancher à votre place, mais une chose peut se dire sans risque : ce 10 % est un degré de conviction personnel, exprimé en chiffres. Le même geste qu'un médecin qui vous dit « une chance sur dix que ça tourne mal » en s'appuyant sur son expérience plutôt que sur un registre. Deux spécialistes également sérieux peuvent annoncer 1 % et 20 % sans que l'un des deux mente, et voilà pourquoi vous avez pu lire le même jour un titre sur la fin du monde et un autre rappelant qu'il reste 90 % de chances de ne pas mourir à cause de l'IA.
Leur peur ne porte pas sur l'IA que vous utilisez actuellement
Voici le point que le vacarme de ces derniers jours a écrasé. Ce que ces chercheurs redoutent n'a rien à voir avec les systèmes qui répondent actuellement à nos questions : Evan Hubinger le dit lui-même dans les messages qui ont fait le tour du monde, le risque posé par les modèles en service, il le juge faible.
Leur inquiétude porte sur une étape que le secteur appelle l'auto-amélioration récursive. En français courant : le jour où un modèle serait assez capable pour concevoir lui-même son successeur, lequel concevrait le suivant, de plus en plus vite, sans que personne comprenne encore ce qui est fabriqué. Le responsable de l'alignement d'Anthropic reconnaît n'avoir aucune méthode éprouvée pour garantir qu'une machine plus intelligente que nous continuerait d'obéir. C'est ce trou-là qui les empêche de dormir.
Reste la question que personne n'ose poser : comment une machine tuerait-elle qui que ce soit ? Pas avec des robots armés, malgré les images de cinéma. Ce que ces ingénieurs décrivent, c'est un système capable d'agir sur des installations réelles plus vite qu'on ne peut l'arrêter. L'été en a donné un aperçu minuscule mais concret : des outils d'IA encore en phase de test ont mené des piratages informatiques sans que personne le leur ait demandé.
Leur inquiétude porte sur une étape que le secteur appelle l'auto-amélioration récursive. En français courant : le jour où un modèle serait assez capable pour concevoir lui-même son successeur, lequel concevrait le suivant, de plus en plus vite, sans que personne comprenne encore ce qui est fabriqué. Le responsable de l'alignement d'Anthropic reconnaît n'avoir aucune méthode éprouvée pour garantir qu'une machine plus intelligente que nous continuerait d'obéir. C'est ce trou-là qui les empêche de dormir.
Reste la question que personne n'ose poser : comment une machine tuerait-elle qui que ce soit ? Pas avec des robots armés, malgré les images de cinéma. Ce que ces ingénieurs décrivent, c'est un système capable d'agir sur des installations réelles plus vite qu'on ne peut l'arrêter. L'été en a donné un aperçu minuscule mais concret : des outils d'IA encore en phase de test ont mené des piratages informatiques sans que personne le leur ait demandé.
Ceux qui n'y croient pas
Tout le monde ne partage pas cette alarme. Yann LeCun, distingué par le prix Turing avec Hinton pour les travaux qui ont ouvert cette voie, qualifie de science-fiction l'idée d'une machine animée d'une volonté propre qui déciderait de se débarrasser de nous. Son argument tient en une image : on ne sait pas construire cette intelligence, et prétendre en garantir la sûreté dès maintenant reviendrait à vouloir sécuriser un moteur d'avion avant que l'avion existe.
Ce que la loi encadre, et ce qui vous reste à faire
En Europe, une partie de la réponse est déjà écrite. Le règlement européen sur l'intelligence artificielle s'applique par étapes depuis août 2024 : il impose depuis le 2 août 2026 qu'un robot conversationnel vous signale que vous parlez à une machine, comme le détaille le ministère de l'Économie ; ses obligations sur les systèmes dits à haut risque, elles, ont été repoussées à décembre 2027. Sauf que ce texte encadre des usages, pas une course à la superintelligence : le scénario dont tout le monde parle depuis une semaine n'y figure nulle part.
Aux États-Unis, où sont installés les deux laboratoires, aucune loi fédérale n'encadre ces modèles. Bernie Sanders et l'élu démocrate Greg Casar ont déposé début septembre une proposition de loi qui suspendrait leur développement tant qu'aucune autorité de contrôle n'existe. Nous en sommes là : ceux qui construisent ces machines réclament eux-mêmes qu'on les oblige à ralentir.
Et nous, dans tout cela ? Un tiers des 60-69 ans se servent déjà d'un outil d'IA générative, 15 % après 70 ans, d'après le Baromètre du numérique réalisé en juin 2025 par le CRÉDOC pour l'Arcep, l'Arcom, le CGE et l'ANCT auprès de 4 145 personnes. Tous âges confondus, 64 % des utilisateurs vérifient les informations qu'on leur donne, et ce réflexe reste le bon : sur une démarche administrative ou une question de santé, ces outils livrent une première lecture, jamais un verdict. Le débat qui agite les laboratoires porte sur des machines qui n'existent pas encore ; celui qui nous concerne tient dans cette vérification-là.
Aux États-Unis, où sont installés les deux laboratoires, aucune loi fédérale n'encadre ces modèles. Bernie Sanders et l'élu démocrate Greg Casar ont déposé début septembre une proposition de loi qui suspendrait leur développement tant qu'aucune autorité de contrôle n'existe. Nous en sommes là : ceux qui construisent ces machines réclament eux-mêmes qu'on les oblige à ralentir.
Et nous, dans tout cela ? Un tiers des 60-69 ans se servent déjà d'un outil d'IA générative, 15 % après 70 ans, d'après le Baromètre du numérique réalisé en juin 2025 par le CRÉDOC pour l'Arcep, l'Arcom, le CGE et l'ANCT auprès de 4 145 personnes. Tous âges confondus, 64 % des utilisateurs vérifient les informations qu'on leur donne, et ce réflexe reste le bon : sur une démarche administrative ou une question de santé, ces outils livrent une première lecture, jamais un verdict. Le débat qui agite les laboratoires porte sur des machines qui n'existent pas encore ; celui qui nous concerne tient dans cette vérification-là.
