Sécurisation des futurs systèmes d'intelligence artificielle et de Machine Learning chez Microsoft

Auteurs : Andrew Marshall, Raul Rojas, Jay Stokes et Donald Brinkman

Remerciements particuliers à Mark Cartwright et Graham Calladine

Résumé

L’intelligence artificielle (IA) et le Machine Learning (ML) ont déjà un impact important sur la façon dont les gens travaillent, socialisent et vivent leur vie. Avec l'augmentation de la consommation de produits et de services construits autour de l'IA ou du ML, des actions spécialisées doivent être entreprises pour protéger non seulement vos clients et leurs données, mais aussi pour protéger votre IA et vos algorithmes contre les abus, le trollage et l'extraction. Ce document porte sur certaines leçons de sécurité de Microsoft, apprises lors de la conception de produits et de l'exploitation de services en ligne reposant sur l'intelligence artificielle. Bien qu’il soit difficile de prédire l’évolution de ce domaine, nous avons conclu qu’il y a des problèmes concrets pouvant être résolus dès maintenant. De plus, nous avons constaté qu'il existe des problèmes stratégiques que le secteur des technologies doit anticiper pour assurer la sécurité à long terme des clients et de leurs données.

Ce document ne concerne pas les attaques basées sur l’IA, ni même l’utilisation de l’IA par des adversaires humains. Nous nous concentrons plutôt sur les problèmes que Microsoft et ses partenaires du secteur doivent résoudre pour protéger les produits et services basés sur l’IA contre des attaques très sophistiquées, créatives et malveillantes, qu’elles soient menées par des trolls individuels ou des meutes entières.

Ce document se concentre entièrement sur les questions d’ingénierie de sécurité propres à l’espace IA/ML, mais, en raison de la nature étendue du domaine InfoSec, il est entendu que les questions et les résultats abordés ici chevauchent dans une certaine mesure les domaines de la confidentialité et de l’éthique. Comme ce document met en évidence des défis d'importance stratégique pour le secteur des technologies, le public cible de ce document est le leadership en ingénierie de sécurité sur l'ensemble du secteur.

Nos premières conclusions suggèrent ce qui suit :

• Des pivots spécifiques à l'IA ou au ML pour les pratiques de sécurité existantes sont nécessaires pour atténuer les types de problèmes de sécurité abordés dans ce document.

• Les modèles Machine Learning sont largement incapables de faire la distinction entre une entrée malveillante et des données anormales bénignes. Une part importante des données d’apprentissage provient de jeux de données publics non traités et non modérés, qui sont ouverts aux contributions de tiers. Les attaquants n’ont pas besoin de compromettre les jeux de données lorsqu’ils sont libres d’y contribuer. Au fil du temps, les données malveillantes de faible fiabilité deviennent des données approuvées de haute fiabilité, si la structure/mise en forme des données reste correcte.

• Étant donné le grand nombre de couches de classificateurs/neurones cachés qui peuvent être utilisés dans un modèle de Deep Learning, une trop grande confiance est accordée aux résultats des processus décisionnels et des algorithmes IA/ML sans une compréhension critique de la manière dont ces décisions ont été prises. Cet obscurcissement crée une incapacité à « montrer son travail » et rend difficile la défense des résultats de l'IA ou du ML lorsqu'ils sont remis en question.

• L'IA ou le ML sont de plus en plus utilisés pour soutenir les processus décisionnels de grande valeur en médecine et dans d'autres secteurs où une mauvaise décision peut entraîner des blessures graves ou la mort. Le manque de capacités de rapport forensique en IA/ML empêche ces conclusions de grande valeur d'être défendables tant devant les tribunaux que devant l'opinion publique.

Les objectifs de ce document sont (1) de mettre en évidence les problèmes d’ingénierie de sécurité propres à l’espace IA/ML, (2) de présenter quelques réflexions et observations initiales sur les menaces émergentes et (3) de partager les premières réflexions sur les corrections potentielles. Certains des défis mentionnés dans ce document sont des problèmes que le secteur doit anticiper au cours des deux prochaines années, d'autres sont des problèmes que nous sommes déjà obligés de résoudre aujourd'hui. Sans une étude plus approfondie des domaines couverts dans ce document, nous risquons que l’IA devienne à l’avenir une boîte noire à cause de notre incapacité à faire confiance ou à comprendre (et à modifier le cas échéant) les processus décisionnels de l’IA à un niveau mathématique [7]. Du point de vue de la sécurité, cela signifie effectivement une perte de contrôle et une dérogation aux principes directeurs de Microsoft en matière d’intelligence artificielle [3, 7].

Nouveaux défis en matière d'ingénierie de sécurité

Les vecteurs traditionnels d’attaque logicielle sont toujours essentiels à traiter, mais ils n’offrent pas une couverture suffisante du paysage des menaces en IA/ML. Le secteur des technologies doit éviter de combattre les problèmes de la prochaine génération avec des solutions de la dernière génération en créant de nouvelles infrastructures et en adoptant de nouvelles approches qui répondent aux lacunes de la conception et du fonctionnement des services IA/ML :

1. Comme nous le verrons plus loin, les bases du développement et des opérations sécurisées doivent intégrer les concepts de résilience et de discrétion lors de la protection de l'IA et des données sous son contrôle. Des pivots spécifiques à l'IA sont nécessaires dans les domaines de l'authentification, de la séparation des tâches, de la validation des entrées et de l'atténuation du déni de service. Sans investissements dans ces domaines, les services IA/ML continuent à mener un combat difficile contre des adversaires de tous niveaux de compétence.

2. L'IA doit être capable de reconnaître les biais chez les autres, sans être biaisée dans ses propres interactions avec les humains. Pour ce faire, il est nécessaire d'avoir une compréhension collective et évolutive des biais, des stéréotypes, du jargon et d'autres constructions culturelles. Une telle compréhension contribue à protéger l’IA contre les attaques d’ingénierie sociale et de falsification de jeux de données. Un système correctement implémenté devient plus fort à la suite de telles attaques et peut partager sa compréhension élargie avec d’autres IA.

3. Les algorithmes de Machine Learning doivent pouvoir discerner les données introduites de manière malveillante à partir d’événements bénins de type « Cygne noir » [1] en rejetant les données d’apprentissage ayant un impact négatif sur les résultats. Dans le cas contraire, les modèles d’apprentissage sont toujours susceptibles d’être utilisés par des attaquants et des trolls.

4. L'intelligence artificielle doit disposer de capacités forensiques intégrées. Cela permet aux entreprises d’offrir à leurs clients la transparence et la responsabilité de leur système IA, en garantissant que ses actions sont non seulement vérifiables, mais aussi juridiquement défendables. Ces capacités fonctionnent également comme une forme précoce de « détection d'intrusion par IA », permettant aux ingénieurs de déterminer le moment exact où une décision a été prise par un classificateur, quelles données l'ont influencée et si ces données étaient fiables ou non. Les capacités de visualisation des données dans ce domaine progressent rapidement et sont prometteuses pour aider les ingénieurs à identifier et à résoudre les causes racines de ces problèmes complexes [10].

5. L'IA doit reconnaître et protéger les informations sensibles, même si les êtres humains ne les reconnaissent pas comme telles. La richesse de l'expérience des utilisateurs en matière d'IA nécessite de grandes quantités de données brutes sur lesquelles effectuer l'apprentissage. Il faut donc prévoir un « sur-partage » par les clients.

Chacun de ces domaines, y compris celui des menaces et des atténuations potentielles, est abordé en détail ci-dessous.

L'IA requiert de nouveaux pivots par rapport aux modèles traditionnels de conception sécurisée/d'opérations sécurisées : l'introduction de la résilience et de la discrétion

Les concepteurs d’IA doivent garantir la confidentialité, l’intégrité et la disponibilité des données sensibles, s’assurer que le système IA est exempt de vulnérabilités connues et prévoir des contrôles pour la protection, la détection et la réponse aux comportements malveillants contre le système ou les données de l’utilisateur.

Les méthodes traditionnelles de défense contre les attaques malveillantes n’offrent pas la même couverture dans ce nouveau paradigme, où les attaques par voix/vidéo/image peuvent contourner les filtres et défenses actuels. De nouveaux aspects de la modélisation des menaces doivent être explorés afin d'empêcher de nouveaux abus d'exploiter notre IA. Cela va bien au-delà de l'identification de la surface d'attaque traditionnelle via le fuzzing ou la manipulation des entrées (ces attaques ont également leurs propres pivots spécifiques à l'IA). Cela requiert l'incorporation de scénarios uniques à l'espace IA/ML. Les expériences utilisateur de l'IA, telles que la voix, la vidéo et les gestes, sont essentielles. Les menaces associées à ces expériences n’ont pas été modélisées de manière traditionnelle. Par exemple, le contenu vidéo est maintenant adapté pour induire des effets physiques. De plus, des recherches démontre que des commandes d’attaque audio peuvent être élaborées [9].

L'imprévisibilité, la créativité et la malveillance des criminels, des adversaires déterminés et des trolls nous obligent à inculquer à nos systèmes IA les valeurs de résilience et de discrétion :

Résilience : le système doit être en mesure d'identifier des comportements anormaux et d'empêcher la manipulation ou la contrainte en dehors des limites normales d'un comportement acceptable par rapport au système IA et à la tâche spécifique. Il s'agit de nouveaux types d'attaques spécifiques à l'espace IA/ML. Les systèmes doivent être conçus pour résister aux entrées qui, sans cela, seraient en contradiction avec les lois locales, l'éthique et les valeurs de la communauté et de ses créateurs. Cela signifie que vous devez fournir à l'IA la capacité de déterminer le moment où une interaction devient « hors script ». Pour ce faire, les méthodes suivantes pourraient être utilisées :

1. Identifier les utilisateurs individuels qui s’écartent des normes établies par les différents grands groupes d’utilisateurs similaires, par exemple les utilisateurs qui semblent taper trop vite, répondre trop vite, ne pas dormir ou déclencher des parties du système que d’autres utilisateurs n’utilisent pas.

2. Identifier les modèles de comportement connus pour être des indicateurs d'intentions malveillantes en sondant les attaques et le début de la chaîne de destruction des intrusions dans les réseaux.

3. Reconnaître tout moment où plusieurs utilisateurs agissent de manière coordonnée ; par exemple, plusieurs utilisateurs émettant tous la même requête inexplicable, mais délibérément élaborée, des pics soudains du nombre d’utilisateurs ou des pics soudains d’activation de parties spécifiques d’un système IA.

Les attaques de ce type doivent être considérées au même titre que les attaques par déni de service, car l’IA peut nécessiter des correctifs de bogues et une nouvelle formation afin de ne pas retomber dans les mêmes pièges. La capacité à identifier les intentions malveillantes en présence de contre-mesures telles que celles utilisées pour faire échouer les API d’analyse des sentiments est d’une importance capitale [4].

Discrétion : l'IA doit être un dépositaire responsable et digne de confiance de toute information à laquelle elle a accès. En tant qu’humains, nous attribuons sans aucun doute un certain niveau de confiance dans nos relations avec l’IA. À un moment donné, ces agents communiqueront avec d'autres agents ou d'autres êtres humains en notre nom. Nous devons pouvoir être sûrs qu'un système IA dispose de suffisamment de discrétion pour ne partager, sous une forme restreinte, que ce qu'il doit partager sur nous afin que d'autres agents puissent accomplir des tâches en son nom. En outre, les multiples agents qui interagissent avec les données personnelles en notre nom ne doivent pas chacun avoir besoin d’un accès global à ces données. Tout scénario d'accès aux données impliquant plusieurs système IA ou agents de bot doit limiter la durée de vie de l'accès au minimum requis. Les utilisateurs doivent également pouvoir refuser les données et rejeter l'authentification d'agents à partir de sociétés ou de paramètres régionaux spécifiques, tout comme les navigateurs web permettent aujourd'hui de bloquer un site. La résolution de ce problème nécessite une nouvelle réflexion sur l'authentification entre agents et les privilèges d'accès aux données, comme les investissements réalisés dans les premières années du cloud computing pour l'authentification informatique des utilisateurs.

L'IA doit être capable de reconnaître les biais chez les autres, sans être elle-même biaisée

Si l'IA doit être équitable et inclusive, sans discrimination à l'encontre d'un groupe particulier d'individus ou de résultats valables, elle doit avoir une compréhension innée des biais pour y parvenir. Sans formation pour reconnaître les biais, le trollage ou le sarcasme, l’IA peut être dupée par ceux qui cherchent au mieux à commettre des actes gratuits ou au pire à causer du tort aux clients.

Pour atteindre ce niveau de sensibilisation, il faut que « de bonnes personnes enseignent de mauvaises choses à l'IA », car cela nécessite effectivement une compréhension globale et évolutive des biais culturels. L’IA doit être capable de reconnaître un utilisateur avec lequel elle a eu des interactions négatives dans le passé et de faire preuve de la prudence nécessaire, de la même façon que les parents apprennent à leurs enfants à se méfier des étrangers. La meilleure façon de procéder consiste à exposer soigneusement l'IA à des trolls de manière contrôlée/modérée/limitée. De cette façon, l'IA peut apprendre la différence entre un utilisateur inoffensif qui « tape dans les pneus » et une véritable malveillance ou un véritable trollage. Les trolls fournissent un précieux flux de données d'apprentissage pour l'IA, la rendant plus résistante aux futures attaques.

L'IA doit également être en mesure de reconnaître les biais dans les jeux de données sur lesquels elle effectuer son apprentissage. Cela peut être culturel ou régional, contenant le jargon utilisé par un groupe particulier de personnes, ou des sujets/points de vue présentant un intérêt spécifique pour un groupe. Comme pour les données d’apprentissage introduites de manière malveillante, l’IA doit résister aux effets de ces données sur ses propres inférences et déductions. Il s'agit essentiellement d'un problème sophistiqué de validation d'entrée, avec des similitudes au niveau de la vérification des limites. Au lieu de traiter les longueurs de mémoire tampon et les décalages, la mémoire tampon et les contrôles de limites sont des mots marqués d'un indicateur rouge provenant d'un large éventail de sources. L'historique de la conversation et le contexte dans lequel les mots sont utilisés sont également essentiels. Tout comme les pratiques de défense en profondeur sont utilisées pour superposer des protections sur une API front-end de service web traditionnel, plusieurs couches de protection doivent être exploitées dans les techniques de reconnaissance et d'élimination des biais.

Les algorithmes de Machine Learning doivent pouvoir discerner les données introduites de manière malveillante à partir d’événements bénins de type « Cygne noir »

De nombreux livres blancs sont publiés sur le potentiel théorique de falsification du modèle et du classificateur ML, ainsi que sur l’extraction ou le vol de services où les attaquants ont à la fois accès au jeu de données d’apprentissage et une compréhension éclairée du modèle utilisé [2, 3, 6, 7]. Le problème principal est que tous les classificateurs ML peuvent être trompés par un attaquant qui a le contrôle des données du jeu d’apprentissage. Les attaquants n'ont même pas besoin de pouvoir modifier les données existantes du jeu d'apprentissage, ils doivent juste pouvoir les compléter et voir leurs entrées devenir « fiables » au fil du temps grâce à l'incapacité du classificateur ML à discerner les données malveillantes des véritables données anormales.

Ce problème de chaîne d'approvisionnement des données d'apprentissage nous amène au concept d'« intégrité de la décision » : la capacité d'identifier et de rejeter les données d'apprentissage ou les entrées utilisateur introduites de manière malveillante avant qu'elles aient un impact négatif sur le comportement du classificateur. La raison en est que des données d’apprentissage fiables ont une plus grande probabilité de générer des résultats/décisions fiables. S’il est toujours crucial d’effectuer l’apprentissage et d’être résilient aux données non fiables, la nature malveillante de ces données doit être analysée avant qu’elles ne fassent partie d’un jeu de données d’apprentissage à confiance élevée. Sans de telles mesures, l'IA pourrait être contrainte de réagir de façon excessive au trollage et de refuser le service aux utilisateurs légitimes.

Cela est particulièrement préoccupant lorsque des algorithmes d'apprentissage non supervisés sont formés sur des jeux de données non traités ou non fiables. Cela signifie que les attaquants peuvent introduire toutes les données qu'ils souhaitent, à condition que le format soit valide et que l'algorithme soit formé sur celui-ci, rendant ainsi ce point de données fiable au même titre que le reste du jeu d'apprentissage. SI l'attaquant crée suffisamment d'entrées, l'algorithme d'apprentissage perd la capacité de discerner le bruit et les anomalies des données de confiance élevée.

Comme exemple de cette menace, imaginez une base de données de panneaux stop dans le monde entier, dans toutes les langues. Cela serait extrêmement difficile à organiser en raison du nombre d'images et de langues impliquées. Une contribution malveillante à ce jeu de données passerait largement inaperçue jusqu'à ce que les voitures autonomes ne reconnaissent plus les panneaux stop. Les atténuations de la résilience des données et de l’intégrité des décisions doivent ici travailler main dans la main pour identifier et éliminer les dommages causés à la formation par des données malveillantes afin d’éviter que ces dernières ne deviennent un élément essentiel du modèle d’apprentissage.

L'intelligence artificielle doit disposer d'un système intégré de forensique et de journalisation de la sécurité pour assurer la transparence et la responsabilité

À terme, l'IA sera capable d'agir à titre professionnel en tant qu'agent pour notre compte, nous aidant à prendre des décisions à fort impact. Il peut s’agir, par exemple, d’une IA qui facilite le traitement des transactions financières. Si l’IA est exploitée et les transactions manipulées d’une manière ou d’une autre, les conséquences peuvent être aussi bien individuelles que systémiques. Dans les scénarios de grande valeur, l’intelligence artificielle a besoin de la journalisation de la sécurité et de la forensique appropriées pour assurer l’intégrité, la transparence, la responsabilité et, dans certains cas, la preuve de la responsabilité civile ou pénale.

Les services IA essentiels requièrent des fonctions d’audit et de traçage des événements au niveau de l’algorithme, ce qui permet aux développeurs d’examiner l’état enregistré de classificateurs spécifiques qui peuvent avoir conduit à une décision inexacte. Cette capacité est nécessaire à l'échelle du secteur afin de prouver la justesse et la transparence des décisions générées par l'IA chaque fois qu'elles sont remises en question.

Les fonctions de traçage d'événements peuvent commencer par la corrélation des informations décisionnelles de base, telles que :

1. La période pendant laquelle le dernier événement d'apprentissage s'est produit

2. L'horodatage de l'entrée la plus récente du jeu de données sur laquelle l'apprentissage s'est effectué

3. Les poids et les niveaux de confiance des principaux classificateurs utilisés pour parvenir à des décisions à fort impact

4. Les classificateurs ou les composants impliqués dans la décision

5. La décision finale de grande valeur prise par l'algorithme

Un tel traçage est excessif pour la majorité des prises de décision assistées par des algorithmes. Toutefois, le fait d’avoir la possibilité d’identifier les points de données et les métadonnées d’algorithme conduisant à des résultats spécifiques constitue un avantage considérable dans le cadre de la prise de décisions de grande valeur. Ces capacités permettent non seulement de démontrer la fiabilité et l’intégrité de l’algorithme grâce à sa capacité à « montrer son travail », mais ces données peuvent également être utilisées à des fins de réglage.

Une autre capacité forensique nécessaire en IA/ML est la détection des falsifications. Tout comme nous avons besoin que nos systèmes IA reconnaissent les biais et n'y soient pas sensibles, nous devrions disposer de capacités forensiques pour aider nos ingénieurs à détecter de telles attaques et à y répondre. Ces capacités forensiques sont extrêmement utiles lorsqu’elles sont associées à des techniques de visualisation des données [10] permettant l’audit, le débogage et le réglage des algorithmes pour obtenir des résultats plus efficaces.

L'IA doit protéger les informations sensibles, même si les humains ne le font pas

Les expériences riches requièrent des données riches. Les humains fournissent déjà volontairement de grandes quantités de données sur lesquelles le ML peut s'entraîner. Cela va du banal contenu de la file d'attente des vidéos en streaming aux tendances des achats par carte de crédit et des historiques de transactions utilisées pour détecter les fraudes. L’IA devrait avoir un sens aigu de la discrétion lorsqu’il s’agit de traiter les données des utilisateurs, en agissant toujours pour les protéger, même lorsqu’elles sont fournies librement par un public qui les partage trop.

Comme une IA peut avoir un groupe authentifié de « pairs » avec qui elle communique afin d'accomplir des tâches complexes, elle doit également reconnaître la nécessité de restreindre les données qu'elle partage avec ces pairs.

Premières observations sur les questions de sécurité de l'IA

Malgré l’état naissant de ce projet, nous pensons que les preuves recueillies à ce jour montrent qu’une enquête plus approfondie dans chacun des domaines ci-dessous est essentielle pour faire évoluer notre secteur vers des produits ou services IA/ML plus fiables et plus sûrs. Voici nos premières observations et réflexions sur ce que nous aimerions voir réalisé dans cet espace.

1. Des organismes de contrôle de la sécurité et des tests d'intrusion axés sur l'IA/ML pourraient être créés pour garantir que nos futurs systèmes IA partagent nos valeurs et s'alignent sur les principes d'IA d'Asilomar.

   1. Un tel groupe pourrait également développer des outils et des infrastructures qui pourraient être utilisés par l'ensemble du secteur pour l'aider à sécuriser ses services IA/ML.
   2. Avec le temps, cette expertise s'accumulera au sein des groupes d'ingénierie de façon organique, comme ce fut le cas pour l'expertise traditionnelle en matière de sécurité au cours des dix dernières années.

2. Des formations pourraient être développées afin de permettre aux entreprises d'atteindre des objectifs tels que la démocratisation de l'IA tout en atténuant les difficultés évoquées dans ce document.

   1. La formation à la sécurité spécifique à l'IA garantit que les ingénieurs sont conscients des risques auxquels leur système IA est exposé et des ressources à leur disposition. Cette documentation doit être fournie avec la formation actuelle sur la protection des données client.
   2. Cela pourrait être réalisé sans exiger de chaque scientifique des données qu'il devienne un expert en sécurité. L'accent est plutôt mis sur la formation des développeurs à la résilience et à la discrétion appliquées à leurs cas d'usage de l'IA.
   3. Les développeurs devront comprendre les « éléments de base » sécurisés des services d’IA qui sont réutilisés dans leur entreprise. Il faudra mettre l’accent sur une conception tolérante aux fautes avec des sous-systèmes qui peuvent être facilement désactivés (par exemple, les processeurs d’images, les analyseurs de texte).

3. Les classificateurs ML et leurs algorithmes sous-jacents pourraient être renforcés et capables de détecter des données d'apprentissage malveillantes sans qu'elles ne contaminent les données d'apprentissage valides en cours d'utilisation ou ne faussent les résultats.

   1. Des techniques telles que RONI (Reject on Negative Input) [5] nécessitent des cycles de recherche.

   2. Ce travail implique la vérification mathématique, la preuve de concept dans le code et le test des données anormales malveillantes et bénignes.

   3. La vérification et la modération par l'homme peuvent être bénéfiques ici, en particulier lorsque des anomalies statistiques sont présentes.

   4. Des « classificateurs de surveillance » pourraient être conçus afin d'avoir une compréhension plus universelle des menaces sur plusieurs systèmes IA. Cela améliore considérablement la sécurité du système, car l'attaquant ne peut plus exfiltrer un modèle particulier.

   5. Les IA pourraient être liées entre elles afin d'identifier les menaces dans les systèmes des unes et des autres

4. Il est possible de créer une bibliothèque centralisée d'audit et de forensique de ML qui établit une norme pour la transparence et la crédibilité de l'IA.

   1. Des capacités d'interrogation pourraient également être mises en place pour l'audit et la reconstruction des décisions à fort impact commercial par l'IA.

5. Le jargon utilisé par les adversaires dans les différents groupes culturels et les réseaux sociaux pourrait être continuellement inventorié et analysé par l'IA afin de détecter et de répondre au trollage, au sarcasme, etc.

   1. Les IA doivent être résilientes face à toutes sortes de jargon, qu'il soit technique, régional ou spécifique à un forum.

   2. Cet ensemble de connaissances pourrait également être utilisé dans l’automatisation du filtrage, de l’étiquetage et du blocage des contenus pour résoudre les problèmes de scalabilité des modérateurs.

   3. Cette base de données mondiale de termes pourrait être hébergée dans des bibliothèques de développement ou même exposée via des API de service cloud pour être réutilisée par différentes IA, garantissant que les nouvelles IA bénéficient de la sagesse combinée des anciennes.

6. Une « infrastructure de fuzzing de Machine Learning » pourrait être créé, qui permettrait aux ingénieurs d'injecter différents types d'attaques dans des jeux d'apprentissage de test afin que l'IA puisse les évaluer.

   1. Cela pourrait concerner non seulement le texte vernaculaire, mais aussi les données relatives aux images, à la voix et aux gestes, ainsi que les permutations de ces types de données.

Conclusion

Les principes d'IA d'Asilomar illustrent la complexité de la mise en œuvre de l'IA d'une manière qui bénéficie constamment à l'humanité. Les futures IA doivent interagir avec d’autres IA pour offrir des expériences utilisateur riches et attrayantes. Cela signifie qu’il n’est tout simplement pas suffisant pour Microsoft de « mettre au point une bonne IA » du point de vue de la sécurité, c’est au monde de le faire. Nous avons besoin de l’alignement et de la collaboration du secteur avec une plus grande visibilité sur les questions abordées dans ce document, comme nous l’avons fait pour la Convention de Genève numérique [8]. En répondant aux problèmes présentés ici, nous pouvons commencer à guider nos clients et nos partenaires du secteur dans une voie où l'IA est véritablement démocratisée et augmente l'intelligence de toute l'humanité.

Bibliographie

[1] Taleb, Nassim Nicholas (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512

[2] Florian Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart. Stealing Machine Learning Models via Prediction APIs.

[3] Satya Nadella : The Partnership of the Future

[4] Claburn, Thomas : Google’s troll-destroying AI can’t cope with typos

[5] Marco Barreno, Blaine Nelson, Anthony D. Joseph, J.D. Tygar : The security of machine learning

[6] Wolchover, Natalie : This Artificial Intelligence Pioneer Has a Few Concerns

[7] Conn, Ariel : How Do We Align Artificial Intelligence with Human Values?

[8] Smith, Brad : The need for urgent collective action to keep people safe online: Lessons from last week’s cyberattack

[9] Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, Wenchao Zhou : Hidden Voice Commands

[10] Fernanda Viégas, Martin Wattenberg, Daniel Smilkov, James Wexler, Jimbo Wilson, Nikhil Thorat, Charles Nicholson, Google Research : Big Picture