Dans le rétro du WAICF 2024
Comment jauger de la fiabilité d’une IA ?

Quand la machine apprend à apprendre…

Depuis 2016 à peu près, l’IA étonne, fascine à nouveau, grâce à la renaissance du machine learning, ou plus exactement grâce à sa version avancée, le deep learning. Il s’est imposé dans le paysage technologique comme la dernière révolution, la dernière rupture avec « changement de paradigme » promettant des bouleversements en profondeur de secteurs entiers : santé, mobilité, médias, industrie, transition énergétique… L’écho de la déflagration ChatGPT continue de résonner dans les médias, les réseaux sociaux et chez les éditeurs de solutions. Les termes « d’IA générative », de LLM, pour Large Language Model, ont désormais gravé cognitivement et avec succès nombre d’esprits.

… l’hacktiviste essaye de lui faire apprendre de travers

Bien que cette réalité soit indéniable et que les modèles d’IA basés sur de surpuissants réseaux de neurones gavés par des océans de données produisent des résultats assez bluffants, une petite musique sécuritaire commence à se faire entendre. En technologie, la médaille a toujours deux faces, une lumineuse tournée vers le futur et une plus sombre enchâssée dans le réel. En vieux français, le mot « machine » désignait d’abord une ruse, un complot. Une fois dépassé l’engouement du chercheur, le battage médiatique, l’enthousiasme commercial et les espoirs du client final, le réalisme reprend ses droits. Comme tout ce qui s’incarne dans le silicium avec des milliards d’instructions, le deep learning ou apprentissage profond, admet finalement des failles, des vulnérabilités, et n’échappe pas à la sagacité maligne des hackers toujours en embuscade, et plus que jamais avides d’occasions de nouveaux pillages ou actes de vandalisme.

Rony Ohayon a fondé DeepKeep en 2021 à Tel Aviv et est intervenu pendant le dernier World AI Cannes Festival en donnant une conférence sur la face sombre de l’IA. La société s’est positionnée sur la mise sur le marché d’une plateforme logicielle capable de garantir la sécurité et la sûreté des modèles d’IA au moment de leur conception, pendant leur période d’apprentissage et durant leur exploitation. La conception des systèmes à base d’IA en effet les rend vulnérables à deux types de menace : d’une part, des cyberattaques relativement classiques qui sont lancées pour paralyser les systèmes (ce n’est pas la préoccupation de DeepKeep) ; d’autre part, des malversations pour forcer les systèmes à devenir déloyaux ou biaisés. C’est ce volet que DeepKeep a investi.

Corrompre des données d’apprentissage, c’est comme donner à lire un mauvais livre

Dans certains cas, les auteurs de ces attaques, souvent militantes, sont baptisés « hacktivistes ». Effectivement, un système à priori intelligent à qui son créateur enseigne des connaissances peut dysfonctionner au point de ne plus rien produire du tout. Il peut aussi dysfonctionner après ce qui pourrait s’apparenter à une forme de déconstruction, d’endoctrinement, et ne produire alors que des conclusions erronées, biaisées, dissonantes. Comme l’explique Rony Ohayon : « Si les données d’apprentissage sont habilement corrompues (attaques nommées métaphoriquement empoisonnement ou par porte dérobée), le danger que le système de vision numérique ou le LLM produisent des réponses inexactes est maximal. Les modèles peuvent alors générer des réponses toxiques, discriminatoires, racistes… qui peuvent créer un réel dommage à la réputation de l’entreprise qui le met en œuvre. Cela peut mener l’entreprise devant le tribunal. Une telle IA sera alors qualifiée de peu sûre et indigne de confiance. Dans des cas moins extrêmes, si certaines données produites par le modèle s’avèrent irrationnelles, elles sont qualifiées d’hallucinations. À noter aussi que si les données revêtent un caractère personnel et confidentiel, donc monétisable, ces données sont aussi dérobables, évidemment. »

Nouveau défi : Vérifier la loyauté d’un modèle d’IA, puis garantir qu’il le reste

Ce vétéran de l’industrie s’est confronté à ces questions depuis longtemps. Il a d’abord travaillé dans une grosse agence de presse internationale avec pour mission de traquer les fake news sur l’océan internet, puis pour relever les défis et prévenir les erreurs de l’IA dans le secteur de la voiture autonome. Garantir qu’un panneau STOP ne devienne pas, après hacking, un panneau non reconnaissable dans les données scéniques apprises par l’algorithme du véhicule est une nécessité. Si tel n’était pas le cas, le véhicule serait promis à une collision certaine.

Les deux expériences professionnelles du fondateur de DeepKeep ont rendu évidente la nécessité de protéger les algorithmes et les données. D’abord avant et pendant l’apprentissage du système, ensuite dans la phase opérationnelle. « Les systèmes par apprentissage doivent désormais être testés non seulement sur leur capacité à fonctionner, mais l’on doit aussi évaluer leur loyauté vis-à-vis de leur mission pour décider du niveau de confiance que l’on peut leur accorder. Ce niveau de confiance peut varier au cours de la vie d’un modèle, puisque le modèle s’enrichit constamment de l’apport de nouvelles données. Comme un check-up régulier chez un médecin, les modèles d’IA vont devoir se soumettre à ce genre de test de vulnérabilité et de loyauté. »

Des objets plus intelligents requièrent une sécurité renforcée

Comme n’importe quel système, les modèles d’IA subissent les attaques classiques par malware, par déni de services et les contaminations par chevaux de Troie et virus. Leurs données d’apprentissage sont aussi en plus de potentiels vecteurs de corruption. Le processus d’idéation autour de DeepKeep a été de construire la plateforme autour d’une hybridation de logiciels classiques et de modèles d’IA entraînés pour apprendre à détecter toutes les attaques possibles au cours du cycle de vie d’un modèle. « L’IA joue à la fois le rôle de l’objet vulnérable en exploitation et le rôle de l’outil de protection. C’est une récursivité intéressante où peuvent se confondre le problème et la solution », précise Rony.

IA-Act : l’Europe pionnière pour définir le niveau de confiance d’un modèle d’IA

Les créateurs du machine learning redécouvriraient-ils qu’un maître a le pouvoir de corrompre l’esprit de son élève par un apprentissage malveillant, manipulateur ? « L’Europe est le continent pionnier actuellement sur la définition et la mise en œuvre d’une règlementation protégeant les usagers de l’IA. L’IA-Act, adopté en décembre 2023, précise l’ensemble des risques auxquels sont exposés les modèles d’IA, les tests de vulnérabilité auxquels ils doivent se soumettre pour être utilisés officiellement dans le domaine public, et le cahier des charges qu’ils doivent remplir pour satisfaire aux prérequis éthiques et de protection des personnes en vigueur en Europe », déclare Rony.

L’IA-Act, premier garde-fou « légal », pave la route du futur de cette technologie en Europe, pour que l’IA reste au service de l’homme avant tout. C’est également une belle opportunité de marché pour DeepKeep qui, à point nommé, propose avec sa plateforme l’ensemble des outils permettant de tester dans le temps les vulnérabilités d’un modèle. Prévenir les brèches autorisant les corruptions de données, détecter les anomalies « génératives », alerter et réduire les risques en sécurité et en fiabilité…

L’IA n’est pas un danger. L’homme qui la met en œuvre, éventuellement

L’IA est en marche et on ne l’arrêtera pas, ce qui d’ailleurs serait stupide. Pourquoi nous priver de ses immenses bienfaits et avancées ? Fabricants, éditeurs, utilisateurs doivent en revanche comprendre ses vulnérabilités et renforcer sa sécurité pour éviter sa corruption. Nous ne luttons pas contre l’IA qui serait dangereuse mais contre ceux qui inventent les moyens de la rendre dangereuse. Ne nous trompons pas d’ennemi.