Depuis la sortie de ChatGPT 3.5 il y a à peine quatre ans ce mois-ci, nous avons connu un taux d'amélioration constant, voire croissant, de l'intelligence artificielle générative. Cependant, nous avons surtout connu quelques jalons au cours des deux dernières années, comme l'avènement de l'IA agentique dans laquelle des agents semi-à totalement autonomes dotés de capacités d'IA peuvent apporter des changements avec relativement peu de directives de la part des humains.
Alors que les premières racines conceptuelles de l'IA agentique remontent aux années 1940, ce n'est que fin 2024 qu'Anthropic a introduit le Model Context Protocol (MCP), un cadre open source destiné à standardiser la façon dont les agents intègrent et partagent des données avec des outils, des systèmes et des sources de données externes. L'année suivante, IBM a introduit l'Agent Communication Protocol (ACP), qui visait à standardiser la façon dont les agents communiquent entre eux. ACP a ensuite fusionné avec le protocole Agent2Agent (A2A) de Google. sous la Fondation Linux.
Le changement se produit désormais très rapidement à mesure que les capacités de l’intelligence artificielle agentique s’accélèrent pour former un graphique presque vertical de capacités jour après jour, mois après mois et année après année. Nous assistons aux débuts de l’auto-amélioration récursive, qu’Anthropic définit comme « un processus dans lequel un système d’intelligence artificielle analyse, redessine et construit de manière itérative une version plus performante de lui-même, créant une boucle de rétroaction qui accélère le développement futur ».
Notamment, comme Revue technologique du MIT souligne que « certains futuristes comme Ray Kurzweil ont émis l'hypothèse que nous traverserons bientôt un jour une singularité, c'est-à-dire une période de changement technologique rapide au-delà de laquelle nous ne pouvons pas envisager l'avenir de la société. La plupart des visions de cette singularité se concentrent sur la création de machines suffisamment intelligentes pour concevoir des machines encore plus intelligentes qu'elles, et ainsi de suite de manière récursive, lançant ainsi une boucle de rétroaction positive d'amplification de l'intelligence. »
Anthropic poursuit : « Ces tendances ont d'énormes implications. Une IA capable de se développer toute seule constituerait un développement majeur dans l'histoire de la technologie, un développement qui pourrait apporter un énorme bien au monde dans les domaines de la science, des soins de santé et au-delà. » Cela est attendu avec une mise à l’échelle bien financée des ressources et des technologies dans l’ensemble du secteur de l’IA, étant donné qu’un nombre suffisant de ressources telles que la puissance de calcul et une police de données toujours croissante entraînent les capacités d’accélération que nous observons aujourd’hui. Dans notre situation actuelle, la croissance est encore renforcée en permettant une auto-amélioration récursive très efficace, où l’IA qui en résulte est appliquée à la création de nouveaux progrès en elle-même.
Dans « Quand l'IA se construit », Anthropic préfigure un avenir dans lequel l'auto-amélioration récursive s'accélère dans la mesure où les humains sont mis au défi de suivre le rythme de la compréhension et de donner un sens aux nouveaux développements : « Les tendances techniques discutées dans cet article suggèrent que les systèmes d'IA vont devenir beaucoup plus performants dans les années à venir. Ces tendances ont d'énormes implications. Mais une auto-amélioration récursive complète pourrait également augmenter les risques de perte de contrôle des humains sur les systèmes d'IA. Si les systèmes sont capables de construire pleinement leurs propres successeurs, la manière dont nous les protégeons, les surveillons et façonnons leur comportement devient de plus en plus importante. »
Cela est apparu à la mi-octobre, lorsque l'IA agentique d'OpenAI a découvert des vulnérabilités dans un logiciel commun utilisé pour les programmes exécutés sur Internet, PHP. Internet a reçu le signal d’alarme contre lequel les experts en cybersécurité et les chercheurs en IA mettaient en garde depuis des mois. Comme l'ont rapporté Miriam Waldvogel et Gerrit De Vynck pour Le Washington Postune société de recherche a révélé qu'un langage de programmation qui sous-tend 70 % des sites Web sur Internet présentait un problème de sécurité critique.
Le bug a été découvert dans le cadre d'une initiative d'OpenAI visant à découvrir les vulnérabilités logicielles avec de nouveaux modèles d'IA. (Le Washington Post a un partenariat de contenu avec OpenAI.) Ces vulnérabilités remontaient à des versions du logiciel qui n'avaient pas installé de correctifs de sécurité. L’incident a été surnommé « Octobre noir » pour marquer le début d’une période au cours de laquelle des logiciels d’IA avancés devraient être utilisés par des pirates informatiques et d’autres parties malveillantes pour découvrir des vulnérabilités logicielles.
Puis, le 29 octobre, CBS News a rapporté que la bourse de crypto-monnaie Binance avait été touchée par une cyberattaque historique au cours de laquelle des pirates informatiques, apparemment utilisant l'IA, ont volé entre 6,3 et 6,43 milliards de dollars d'actifs numériques. Cet incident est largement cité comme le plus grand vol de cryptomonnaie – et potentiellement le plus grand cambriolage de toutes sortes – de l’histoire de l’humanité. Il est attribué aux pirates informatiques TraderTraitor de Corée du Nord, qui pourraient avoir utilisé une multitude d'agents IA.
Le PDG d’OpenAI, Sam Altman, vient de lancer son avertissement le plus effrayant à ce jour : octobre noir n’était que le début de la découverte par l’IA des vulnérabilités des logiciels en ligne. Il a noté que « les gens n’avaient pas l’intuition de l’exponentielle ». Autrement dit, les gens n’ont pas compris que les capacités de l’IA augmentent selon une courbe exponentielle. Le problème pourrait perturber un grand nombre de sites, petits et grands, au cours des 18 prochains mois. Altman déclare : « Je ne crois plus que nous allons corriger tous les bugs ; nous allons devoir changer complètement de modèle de défense pour un nouveau type de bouclier de défense. »
En attendant, il est important que nous, dans l’enseignement supérieur, réalisions que nous sommes entrés dans une nouvelle ère d’attaques basées sur l’IA contre la sécurité de nos établissements. Les messages ne sont pas nouveaux, mais la probabilité d’attaques a augmenté. GPT-6 Astra Light recommande ces cinq leçons pratiques :
- Sachez ce que vous utilisez et appliquez rapidement les correctifs. Maintenir un inventaire à l'échelle du campus de sites Web et d'applications basés sur PHP, y compris les systèmes départementaux. PHP2Shell illustre pourquoi les connexions aux applications ne peuvent pas compenser les vulnérabilités du logiciel sous-jacent.
- Protégez les appareils privilégiés et les processus d’approbation. Les rapports sur Binance indiquent un ordinateur portable compromis ayant accès à l'infrastructure d'approbation des transactions. Les universités devraient restreindre strictement l’accès administratif et exiger une approbation indépendante pour les changements financiers et systémiques sensibles.
- Limitez les dégâts qu’un compromis peut causer. Séparer les sites Web publics, les systèmes de recherche, les dossiers des étudiants et les opérations financières ; accordez aux utilisateurs, aux applications et aux agents IA uniquement les autorisations dont ils ont besoin.
- Préparez-vous à répondre en quelques minutes. Une grande partie du vol de Binance se serait produite en 20 minutes environ. Les universités ont besoin d’une surveillance continue, d’une révocation rapide des diplômes et d’une autorité répétée pour isoler les systèmes compromis.
- Faire de la cybersécurité une responsabilité institutionnelle. Attribuez une responsabilité claire, appliquez les normes dans les unités décentralisées et testez régulièrement la réponse aux incidents et la récupération.
La leçon principale est que les logiciels, les appareils et les flux de travail autorisés peuvent tous devenir des points d’entrée. La sécurité doit inclure la vérification, le confinement et une réponse rapide.
Octobre 2026 a marqué le début de l’ère prévue de la singularité émergente, dans laquelle les systèmes agents sont capables de construire pleinement leurs propres successeurs dotés de capacités que nous ne comprenons peut-être pas entièrement avant leur sortie et que des personnes malveillantes peuvent utiliser. Êtes-vous dans une position où vous pourriez soutenir ou diriger une initiative globale dans votre établissement pour garantir que vos étudiants, vos professeurs et votre personnel ainsi que vos actifs précieux soient mieux protégés ?
