"L’intelligence artificielle (IA), ça marche, mais on ne sait pas pourquoi ça marche". La formule revient souvent depuis une dizaine d'années et l’avènement des techniques d’apprentissage profond, qui ne sont pas les seules en IA mais restent les plus emblématiques. D’où l’émergence d’un certain malaise à voir de telles technologies se déployer. C’est dans ce contexte que s’est monté en janvier 2021 le consortium Confiance.AI, un programme de recherche sur quatre ans qui entre dans le cadre de la stratégie nationale pour l’intelligence artificielle lancée par le gouvernement français en 2018. Il regroupe des industriels (Airbus, Thalès, Renault…) et des organismes de recherche académiques (CEA, Inria, Instituts de recherche technologiques…) autour de cas d’usages.
Une série de projets étaient présentés les 5 et 6 octobre 2022 à CentraleSupélec sur le campus de Paris-Saclay. Soit un ensemble de méthodes, d’applications, de logiciels destinés à ajouter une couche de transparence, de sécurité ou d’explicabilité à une fonction d’intelligence artificielle. "Il faut sortir de la situation où une IA reconnaît un husky non pas pour ce qu’il est mais parce qu’il y a de la neige sur l’image. Mettez le husky sur une plage et l’IA ne sait plus ce que c’est", résume Bertrand Braunschweig, coordinateur scientifique de Confiance.AI, en citant un exemple fameux de mauvaise interprétation d'image.
Droit réduit à l'erreur
Toutes les applications d’intelligence artificielle ne sont pas concernées, mais bien celles où des vies humaines, des missions de défense, des transactions financières, par exemple, sont en jeu. "Il ne s’agit pas de créer des outils d’IA mais des outils pour des systèmes critiques industriels, où le droit à l’erreur doit être réduit", ajoute David Sadek, président du comité de direction du consortium et vice-président en charge de l’innovation et des technologies chez Thalès.
Un des projets concerne ainsi la question des "attaques adversaires", c’est-à-dire ces perturbations injectées dans une donnée, invisible ou pas gênante pour l’humain, mais capables de faire déraper une IA car celle-ci ne base pas sa compréhension sur les mêmes critères que nous. C’est l’exemple classique de quelques pixels ajoutés dans une image pour nuire à sa bonne interprétation par un algorithme de vision par ordinateur. Pour contrer ce genre de manœuvre, un outil scrute les fichiers, leurs luminosités, applique divers filtres, pour vérifier l’intégrité de la donnée.
"L’intelligence artificielle (IA), ça marche, mais on ne sait pas pourquoi ça marche". La formule revient souvent depuis une dizaine d'années et l’avènement des techniques d’apprentissage profond, qui ne sont pas les seules en IA mais restent les plus emblématiques. D’où l’émergence d’un certain malaise à voir de telles technologies se déployer. C’est dans ce contexte que s’est monté en janvier 2021 le consortium Confiance.AI, un programme de recherche sur quatre ans qui entre dans le cadre de la stratégie nationale pour l’intelligence artificielle lancée par le gouvernement français en 2018. Il regroupe des industriels (Airbus, Thalès, Renault…) et des organismes de recherche académiques (CEA, Inria, Instituts de recherche technologiques…) autour de cas d’usages.
Une série de projets étaient présentés les 5 et 6 octobre 2022 à CentraleSupélec sur le campus de Paris-Saclay. Soit un ensemble de méthodes, d’applications, de logiciels destinés à ajouter une couche de transparence, de sécurité ou d’explicabilité à une fonction d’intelligence artificielle. "Il faut sortir de la situation où une IA reconnaît un husky non pas pour ce qu’il est mais parce qu’il y a de la neige sur l’image. Mettez le husky sur une plage et l’IA ne sait plus ce que c’est", résume Bertrand Braunschweig, coordinateur scientifique de Confiance.AI, en citant un exemple fameux de mauvaise interprétation d'image.
Droit réduit à l'erreur
Toutes les applications d’intelligence artificielle ne sont pas concernées, mais bien celles où des vies humaines, des missions de défense, des transactions financières, par exemple, sont en jeu. "Il ne s’agit pas de créer des outils d’IA mais des outils pour des systèmes critiques industriels, où le droit à l’erreur doit être réduit", ajoute David Sadek, président du comité de direction du consortium et vice-président en charge de l’innovation et des technologies chez Thalès.
Un des projets concerne ainsi la question des "attaques adversaires", c’est-à-dire ces perturbations injectées dans une donnée, invisible ou pas gênante pour l’humain, mais capables de faire déraper une IA car celle-ci ne base pas sa compréhension sur les mêmes critères que nous. C’est l’exemple classique de quelques pixels ajoutés dans une image pour nuire à sa bonne interprétation par un algorithme de vision par ordinateur. Pour contrer ce genre de manœuvre, un outil scrute les fichiers, leurs luminosités, applique divers filtres, pour vérifier l’intégrité de la donnée.
Développé pour le groupe Renault, l’application web Companion inspecte des fichiers images de soudures pour évaluer leur qualité et, surtout, lister une série de critères l’ayant mené à son verdict. "Il se présente comme un panneau de supervision, affichant diverses mesures, et celles-ci correspondent à des propriétés de confiance qui auront été étudiés et spécifiées dans l’outil" explique Cyprien de la Chapelle, de l’Institut de recherche technologique SystemX.
Expliquer la détection d'anomalie
Dans un autre domaine, Naval Group dispose de technologies de détection d’anomalies sur les pompes de sous-marin, basée sur l’analyse des signaux vibratoires. Mais outre la détection, à partir de séquences d’anomalies prises au hasard, le modèle d’IA a appris des schémas de vibrations correspondant à des problèmes très précis pour pouvoir les expliquer.
Chez Air Liquide, la préoccupation est tout autre. Un système de vision par ordinateur compte les bonbonnes de gaz qui entrent et sortent des entrepôts, avec une caméra en surplomb qui cadre les objets posés sur les plateformes des camions. Mais pour simplifier son système et ne pas avoir à changer les processeurs embarqués dans les caméras, l’industriel voulait que le calcul informatique se fasse en local, sur l’appareil, et non dans le cloud. Ce qui est généralement infaisable avec les réseaux de neurones. "Nous avons donc créé une suite logicielle qui prend en entrée un réseau de neurones, le compresse par 10, 20, 40, 100, pour en minimiser sa consommation énergétique et maximiser sa déployabilité", explique Xavier Fischer, cofondateur de Datakalab, une des start-up impliquées dans le programme Confiance.AI. L’approche maintient la performance du réseau de neurones.
Plus largement, elle a pour intérêt de ne plus rien faire circuler sur Internet, de ne plus rien héberger à distance, réglant des problèmes de confidentialité, de sécurité. "On peut à terme imaginer mettre des caméras chez les gens pour détecter que des personnes âgées tombent : il n’y aura aucune image sur Internet, juste des alertes qui se déclencheront", note Xavier Fischer. Derrière cette approche se profile l'ambition à peine voilée de ne plus avoir recours aux grands acteurs du Cloud comme Google ou Amazon. Il est des situations où avoir confiance dans l'intelligence artificielle commence là.
