Programme de recherche de l’ICSIA au CIFAR
Protéger la Société
Introduction
Pour protéger notre avenir collectif contre les risques d’envergure que posent les systèmes d’IA avancés, il faut atténuer des préjudices systémiques comme la désinformation massive et les bouleversements économiques. Il faut aussi mettre en place les outils et politiques nécessaires pour que l’IA demeure au service du bien commun.
Idées intelligentes avec Geoffrey Rockwell
Titulaire d’une chaire en IA Canada-CIFAR à l’Amii, Geoffrey Rockwell met à profit son expertise en éthique pour aborder la recherche sur la sécurité de l’IA d’un point de vue philosophique. Il explique le rôle que doit assumer le gouvernement pour réduire les risques et mobiliser les connaissances et infrastructures de sécurité existantes lors du déploiement de l’IA.
Pleins feux
Protéger la santé mentale contre les compagnons d’IA
De plus en plus de Canadiennes et Canadiens font appel à des robots conversationnels pour rompre l’isolement ou chercher une validation personnelle. Toutefois, les preuves s’accumulent concernant les effets néfastes sur la santé mentale d’un usage excessif ou inapproprié de ces outils. Les conséquences vont de la dépendance à la psychose induite par l’IA, en passant par l’incitation au suicide. On estime que près de 70 % des jeunes font régulièrement appel à des compagnons d’IA, d’où la nécessité de prévoir des mécanismes de protection indépendants tels que des filtres technologiques, des politiques d’utilisation et des programmes de sensibilisation.
La Programme de recherche de l’ICSIA au CIFAR finance le Studio de sécurité en intelligence artificielle de Mila afin de limiter les risques inhérents aux interactions nuisibles avec ces robots. Cette initiative vise à créer des mécanismes de protection fiables et indépendants et à concevoir des outils de référence complets, représentatifs de la diversité culturelle et sociale du Canada, afin de mesurer les préjudices en toute objectivité.
À ce jour, le Studio a développé une première version d’un système de protection de la santé mentale et d’un outil d’évaluation comparative des robots conversationnels propulsés par l’IA. Il poursuit ses travaux afin de les étendre à plusieurs fournisseurs de grands modèles de langage, ainsi qu’à plusieurs langues et particularités culturelles, en faisant appel à des données réelles anonymisées et à l’expertise de spécialistes en santé mentale.
Collaboration interdisciplinaire et regards vers l’avenir
« Ce qui m’emballe le plus dans ces travaux, c’est le soutien unanime d’un réseau de partenaires de différentes disciplines. Cette collaboration sociotechnique entre les membres des communautés touchées et des spécialistes de l’IA, de la santé mentale, des politiques publiques et de l’éducation assure l’établissement de mécanismes de protection solides et multidisciplinaires contre les effets néfastes des compagnons d’IA sur la santé mentale », déclare Simona Grandrabur, responsable du Studio de sécurité en intelligence artificielle à Mila.
Au cours de la prochaine année, le Studio prévoit de développer des filtres intelligents pour bloquer les contenus générés par l’IA qui favorisent ou encouragent des comportements autodestructeurs. Il entend élaborer en outre des protocoles de tests de fiabilité pour évaluer la sécurité et la robustesse des modèles d’IA conversationnelle et générative. Le Studio concevra également des outils d’évaluation des risques psychologiques et éthiques.
La première version officielle du tableau de bord du Studio regroupant des outils d’évaluation comparative et des mécanismes de protection sera rendue publique en 2026.
« Le mécanisme de protection en santé mentale et les outils d’évaluation comparative de Mila permettront d’établir un moyen fiable et indépendant de mesurer l’ampleur des interactions nuisibles avec les compagnons d’IA, afin de protéger nos populations les plus vulnérables, dont nos enfants, contre l’incitation au suicide. »
responsable du Studio de sécurité en intelligence artificielle, Mila
Pleins feux
Protéger le Canada contre la désinformation
Les ingérences étrangères malveillantes et la désinformation alimentée par l’IA menacent directement la démocratie canadienne en cherchant à éroder la confiance envers nos institutions, nos médias et la société civile. En réponse à ce problème, un projet Catalyseur pour la sécurité de l’IA financé en 2025 par le CIFAR vise à développer un outil d’IA avancé destiné à protéger la population canadienne contre les campagnes de désinformation.
Ce projet de recherche visant à contrer les usages malveillants de l’IA est mené sous la houlette de Matthew E. Taylor, titulaire d’une chaire en IA Canada-CIFAR à l’Amii (Université de l’Alberta), de Brian McQuinn (Université de Regina) et de James Benoit, titulaire d’une bourse postdoctorale du CIFAR en sécurité de l’IA.
Un système de défense propulsé par l’IA
L’équipe travaille à mettre au point CIPHER, un système d’IA avancé qui maintient l’humain au centre de la prise de décision. Ce système vise à outiller les organisations de la société civile pour leur permettre de repérer et de déjouer des campagnes de désinformation coordonnées et complexes. Dans un premier temps, le projet se concentre sur la détection d’ingérences russes dans les contenus textuels et visuels afin de fournir un rempart essentiel à la société canadienne.
« Pour les membres du projet CIPHER, la fiabilité de l’information relève de la sécurité nationale. Repérer les campagnes de désinformation commanditées par des États permet à chacun et à chacune de ne pas perdre de vue les faits et les valeurs canadiennes. Nous voulons ainsi éviter que des influences extérieures viennent empoisonner nos débats et nos décisions de sécurité », a expliqué l’équipe au CIFAR.
Ce projet Catalyseur du CIFAR pour la sécurité de l’IA produira des résultats tangibles, dont :
- Une démonstration rigoureuse de la faisabilité de l’outil CIPHER, mis à l’essai dans des conditions réelles par des partenaires de la société civile au Canada et à l’international;
- Des documents d’orientation exploitables afin de guider les actions du gouvernement et de l’industrie;
- Un nouvel ensemble de données publiques visant à accélérer les nouvelles initiatives de recherche et développement dans ce domaine prioritaire afin d’étendre les retombées du projet au-delà de son champ d’application initial.
Projets financés
Réseau de solutions — Protéger les tribunaux contre les contenus synthétiques générés par l’IA
- Ebrahim Bagheri (Université de Toronto)
- Maura Grossman (Université de Waterloo)
Projet Catalyseur pour la sécurité de l’IA — Sur l’utilisation sécuritaire des modèles fondateurs à bruit statistique
- Mi Jung Park (titulaire de chaire en IA Canada-CIFAR, Amii, Université de la Colombie-Britannique)
Projet Catalyseur pour la sécurité de l’IA — CIPHER : Contrer l’influence par la mise en évidence de modèles et l’évolution des réponses
- Matthew E. Taylor (titulaire de chaire en IA Canada-CIFAR, Amii, Université de l’Alberta)
- Brian McQuinn (Université de Regina)
- James Benoit (titulaire d’une bourse postdoctorale du CIFAR sur la sécurité de l’IA, Amii)
(De gauche à droite) Kianna Adams (AltaML), Golnoosh Farnadi (Mila), Mohamed Abdalla (Amii) et Elissa Strome (CIFAR) discutent des moyens de concevoir des systèmes d’IA respectueux des valeurs et de la sécurité de la société ainsi que du rôle de chef de file que le Canada peut jouer à cet égard.