Programme de recherche de l’ICSIA au CIFAR
Assurer la sécurité des systèmes d’IA critiques
Introduction
Concevoir des outils rigoureux permettant d’évaluer la sécurité, l’exactitude et la fiabilité de l’IA avancée est indispensable pour protéger les systèmes critiques et favoriser l’innovation responsable au sein de l’industrie.
Idées de génie avec Nicolas Papernot
Comment bâtir des systèmes d’IA à la fois sûrs et dignes de confiance? Les travaux de Nicolas Papernot s’intéressent à la manière dont les machines peuvent assimiler des informations importantes sans compromettre les données personnelles des utilisatrices et utilisateurs. Protéger les systèmes critiques est essentiel pour gagner la confiance de la population canadienne, assurer la sécurité de leurs renseignements et accélérer l’adoption de l’IA.
Pleins feux
Une étude marquante évalue la sécurité et la fiabilité de l’IA de pointe
L’Institut Vecteur a réalisé une évaluation indépendante dans le cadre d’une étude comparative révolutionnaire visant à établir la sécurité et la fiabilité de grands modèles de langage (GML) utilisés partout dans le monde.
Piloté par l’équipe Ingénierie de l’IA de l’Institut Vecteur, le projet a évalué 11 modèles d’IA de pointe parmi les plus utilisés au monde. L’étude a porté sur des systèmes à code source ouvert et à code source fermé, dont la version de DeepSeek-R1 sortie en janvier 2025. Chacun a été soumis à un ensemble complet de 16 critères d’évaluation distincts.
Ce projet marque un jalon décisif dans la recherche sur la sécurité de l’IA. À mesure que la course mondiale à l’IA s’accélère, avec l’apparition de modèles de langage toujours plus puissants, il devient essentiel d’établir des outils comparatifs fiables et largement acceptés. Cette étude fournit un outil essentiel pour aider les scientifiques, les équipes de développement et les responsables politiques à évaluer la performance de ces modèles sur le plan de l’exactitude, de la fiabilité et de l’équité.
Favoriser l’adoption d’une IA fiable et sans danger
« Cette étude offre aux personnes et aux organisations un portrait clair et indépendant du comportement réel de ces modèles, afin que l’IA puisse être adoptée en toute sécurité et en toute confiance », affirme Deval Pandya, vice-président, Ingénierie de l’IA à l’Institut Vecteur.
Dans un souci de transparence et de reddition de comptes, l’Institut Vecteur a publié l’étude complète en libre accès, y compris ses résultats et le code sous-jacent. « En mettant nos travaux à la disposition du plus grand nombre, nous permettons à chacun et à chacune d’en valider les résultats, d’en tirer des apprentissages et de les bonifier en vue d’une utilisation plus intelligente et plus sûre de l’IA partout au pays », ajoute Deval Pandya.
L’évaluation repose sur de puissants outils comparatifs comme MMLU-Pro, MMMU et OSWorld, aujourd’hui largement utilisés dans le domaine. Conçus par Wenhu Chen et Victor Zhong, professeurs à l’Université de Waterloo et titulaires de chaires en IA Canada-CIFAR dont les travaux enrichissent notre approche des techniques d’évaluation comparative, ces outils sont maintenant largement adoptés par des géants de l’industrie tels qu’OpenAI, Google et Anthropic.
« Je me réjouis de contribuer à un avenir où l’IA inspirera confiance aux gens parce qu’ils pourront en voir et en tester le fonctionnement par eux-mêmes. En publiant nos évaluations et nos outils en libre accès, nous permettons à une vaste communauté d’en reproduire les résultats, de repérer les lacunes et de les corriger. C’est la clé d’une adoption sécuritaire, non seulement en laboratoire, mais aussi dans les hôpitaux, les salles de classe, les entreprises et les services publics. »
vice-président, Ingénierie de l’IA, Institut Vecteur
Projets financés
Projet Catalyseur pour la sécurité de l’IA — Des laboratoires de chimie autonomes et sécuritaires
- Alán Aspuru-Guzik (titulaire de chaire en IA Canada-CIFAR, Institut Vecteur, Université de Toronto)
Projet Catalyseur pour la sécurité de l’IA — La robustesse antagoniste dans les graphes de connaissances
- Ebrahim Bagheri (Université de Toronto)
- Jian Tang (titulaire de chaire en IA Canada-CIFAR, Mila, HEC Montréal et Université de Montréal)
- Benjamin Fung (Mila, Université McGill)
Projet Catalyseur pour la sécurité de l’IA — Maintenir un contrôle significatif : comment concilier agentivité et surveillance dans le codage assisté par l’IA?
- Jackie Chi Kit Cheung (titulaire de chaire en IA Canada-CIFAR, Mila, Université McGill)
- Jin Guo (Université McGill)
Projet Catalyseur pour la sécurité de l’IA — Assurance de la sécurité et ingénierie pour les systèmes d’IA multimodaux reposant sur des modèles fondateurs
- Foutse Khomh (titulaire de chaire en IA Canada-CIFAR, Mila, Polytechnique Montréal)
- Lei Ma (titulaire de chaire en IA Canada-CIFAR, Amii, Université de l’Alberta)
Blessing Ogbuokiri (Université Brock), coresponsable du Réseau de solutions Réduire les biais dialectaux, lors de la première réunion annuelle du programme de recherche de l’ICSIA en octobre 2025.