Modèle d'auditMise en place d'un système d'IA dans une organisation
CNILIAGouvernance
Questionnaire relatif au référentiel d'évaluation de la mise en place d'un système d'intelligence artificiel dans une organisation publié par la CNIL.
1. Intégrer l'IA de manière proportionnée et avec un objectif clair
1. Objectif et proportionnalité
1.1. Des données personnelles sont-elles traitées par le système ?
1.2. L’objectif (finalité) du traitement reposant sur l'utilisation d'un système d'IA est-il clairement défini ?
1.3. Les phases d'apprentissage et de production du système d'IA sont-elles distinctes ?
1.4. Une seconde évaluation est-elle prévue concernant la phase de production ?
1.5. Les personnes ayant vocation à interagir avec le système d'IA ou envers lesquelles une décision automatisée sera prise, sont-elles identifiées ?
1.6. Quelles sont leurs caractéristiques (âge, genre, spécificités physiques, etc.) ?
1.7. Quel est leur nombre ?
1.8. Le traitement pourra-t-il viser directement ou indirectement des personnes vulnérables (par ex. : enfants, patients, employés) ?
1.9. Le traitement pourra-t-il entraîner des conséquences juridiques, financières ou physiques sur la santé, le statut social ou la sécurité des personnes visées directement ou indirectement par le système d'IA ?
1.10. Le système d'IA remplace-t-il un autre type de système pour la tâche qui lui est confiée ?
1.11. Pour quelle raison celui-ci doit-il être remplacé ?
1.12. Le système d'IA présente-t-il un avantage notable (en termes d’efficacité technique, de coût, de protection de la vie privée, etc.) en comparaison avec les autres solutions disponibles ?
1.13. Cet avantage notable compense-t-il les risques supplémentaires potentiellement liés à l’utilisation d’un système d’IA (risque sur la vie privée, les droits fondamentaux, voir point 6 de l'audit pour des précisions) ?
1.14. Au vu de vos réponses aux questions précédentes, l'utilisation d'un système IA pour atteindre la finalité identifiée semble-t-elle proportionnée et nécessaire ?
2. Fournisseurs, utilisateurs de systèmes d’IA et individus
2.1. Si des données personnelles sont collectées et/ou utilisées, un responsable du traitement a-t-il été identifié ?
2.2. Les personnes morales en charge du développement du système d'IA, de son déploiement et de son contrôle sont-elles clairement définies ?
2.3. Les personnes physiques en charge du développement du système ont-elles la formation adéquate ?
2.4. Ont-elles été sensibilisées aux enjeux juridiques, techniques, éthiques et moraux de l'IA ?
2.5. Existe-t-il une charte ou politique interne encadrant la conception et le déploiement de systèmes d'IA ?
2.6. Les personnes en charge du maintien du système d'IA, de la correction des problèmes et de l'intervention sur son fonctionnement sont-elles clairement identifiées et connues de tous ?
2.7. Un suivi est-il effectué afin d'assurer une permanence de ce service, par exemple en période de congés ?
2. Collecte et qualification des données d'entrainement
1. Traitement des données d’apprentissage de manière licite et légale
1.1. Les données d'entraînement font-elles l'objet d'une réutilisation (réutilisation d’une base interne ou publiquement accessible, acquisition, etc.) ou d'une collecte spécifique ?
1.2. Quelles sont les modalités de cette réutilisation ?
1.3. Dans le cadre de la réutilisation, la base de données a-t-elle été constituée conformément à la réglementation en matière de protection des données ?
1.4. Si une base de données publiquement accessible a été utilisée, a-t-elle fait l'objet d'études, en particulier en ce qui concerne la présence de biais ?
1.5. Sur quelle base légale s'appuie le traitement des données d'entraînement ?
1.6. Si le traitement porte sur des données sensibles (santé, infraction, etc.), le traitement n’est possible qu’en mobilisant une des exceptions prévues à l’article 9 du RGPD. Sur laquelle de ces exceptions repose le traitement ?
1.7. Comment est suivie la conformité du traitement des données d'entraînement (réalisation d’une AIPD, d’une analyse des risques de réidentification, etc.) ?
1.8. Les jeux de données utilisés pour l'entraînement ont-ils été constitués de façon à satisfaire le principe de minimisation ?
1.9. Les données sont-elles anonymisées ?
1.10. Par quel moyen
1.11. Sont-elles pseudonymisées ?
1.12. Par quel moyen ?
1.13. Les risques de réidentification ont-ils été évalués ?
1.14. Le volume des données recueillies est-il justifié au vu de la difficulté de la tâche d'apprentissage ?
1.15. Les variables envisagées pour l'entraînement du modèle sont-elles toutes nécessaires ?
1.16. La collecte de certaines valeurs qui ne s’avèreraient pas utiles à l’apprentissage, en particulier si elles constituent des données sensibles, pourrait-elle évitée ?
1.17. Si leur collecte ne peut être évitée, pourraient-elles être supprimées ou masquées ?
2. Passage de données brutes à un ensemble de données d'entraînement de qualité
2.1. La véracité des données a-t-elle été vérifiée ?
2.2. Si une méthode d'annotation a été utilisée, est-elle vérifiée ?
2.3. Si l'annotation est réalisée par des personnes, ont-elles été formées ?
2.4. La qualité de leur travail est-elle contrôlée ?
2.5. Les données utilisées sont-elles représentatives des données observées en environnement réel ?
2.6. Quelle méthodologie a été mise en œuvre pour garantir cette représentativité ?
2.7. Une étude formalisée de cette représentativité a-t-elle été réalisée ?
2.8. Si le traitement repose sur une solution d'apprentissage fédéré (federated learning), le caractère indépendant et identiquement distribué des données utilisées au sein des centres (condition garantissant que les informations tirées des données reflèteront les mêmes tendances sans spécificité propre à chaque centre) a-t-il été évalué ?
2.9. S'il n'est pas vérifié, quelles mesures sont prises pour y remédier ?
2.10. Dans le cas d'un système d'IA utilisant de l'apprentissage continu, quel mécanisme est mis en œuvre afin de garantir la qualité des données utilisées de façon continue ?
2.11. Des mécanismes réguliers d'évaluation des risques de perte en qualité ou de changement dans la distribution des données sont-ils mis en œuvre ?
3. Identification et correction des risques de biais
3.1. La méthode utilisée pour la collecte des données d'entraînement est-elle suffisamment connue ?
3.2. Des biais peuvent-ils exister du fait de la méthode utilisée ou des conditions particulières de la collecte ? Lesquels
3.3. Les données d'entraînement comportent-t-elles des données liées aux caractéristiques particulières des personnes telles que leur sexe, leur âge, leurs caractéristiques physiques, des données sensibles, etc. ?
3.4. Lesquelles ?
3.5. Les hypothèses effectuées sur les données d'entraînement ont-elles été discutées, clairement documentées et confrontées à la réalité ?
3.6. Une étude des corrélations entre ces caractéristiques particulières et le reste des données d'entraînement a-t-elle été effectuée afin d'identifier de possibles proxys ?
3.7. Une étude des biais a-t-elle été effectuée ?
3.8. Selon quelle méthode ?
3.9. Si un biais a été identifié, quelles mesures ont été prises pour le réduire ?
3. Développement et entraînement de l'algorithme
1. Conception et développement d'un algorithme fiable
1.1. Quel type d'algorithme est utilisé et quel est son principe de fonctionnement (apprentissage supervisé, non-supervisé, continu, fédéré, par renforcement, etc.) ?
1.2. Pour quelle raison cet algorithme a été choisi ?
1.3. Comment a-t-il été mis en œuvre (source du code, librairies utilisées, etc.) ?
1.4. L'algorithme utilisé a-t-il été testé par des tiers indépendants ?
1.5. Une revue de la littérature a-t-elle été effectuée ?
1.6. Un comparatif aux systèmes analogues a-t-il été réalisé ?
1.7. Sur la base de quels critères ?
1.8. Des outils tiers sont-ils utilisés ?
1.9. Sont-ils réputés fiables et éprouvés ?
1.10. Une recherche des possibles défauts dans la documentation des outils et parmi la communauté de développeurs a-t-elle montré des points d'intérêt ?
1.11. Un suivi des mises à jour des outils est-il prévu ?
1.12. L'algorithme d'IA est-il disponible en open source ?
1.13. Les algorithmes ont-ils été suffisamment testés par des tiers ?
1.14. Par qui et par quels moyens ?
1.15. Les algorithmes correspondent-ils à l'état de l'art ?
1.16. Les retours de la communauté à son sujet sont-ils encouragés et étudiés ?
2. Protocole d'entraînement
2.1. Quelles sont les stratégies d'apprentissage mises en œuvre ?
2.2. Quelle répartition a été utilisée entre ensembles d'entraînement, de test, de validation ?
2.3. Des stratégies telles que par exemple la validation croisée sont-elles utilisées ?
2.4. La qualité des sorties du système d'IA est-elle jugée suffisante ?
2.5. Quelles métriques sont utilisées ?
2.6. Permettent-elles de mesurer la performance du système de manière satisfaisante et en prenant en compte les conséquences pour les personnes concernées ?
2.7. Les cas d'erreur ont-ils été étudiés ?
2.8. Une corrélation a-t-elle été recherchée avec une des variables des données ?
2.9. Les situations limites où les sorties du système ne sont pas suffisamment fiables sont-elles clairement identifiées ?
2.10. Une sécurité est-elle ajoutée pour prendre en charge ces cas (en rendant systématiquement la main à un opérateur humain par exemple) ?
2.11. Cas de l'apprentissage en continu : des mesures sont-elles prises en amont pour éviter une dégradation de la performance, une dérive du modèle ou une attaque visant à orienter les résultats de l'algorithme ?
2.12. Lesquelles ?
3. Vérification de la qualité du système en environnement contrôlé
3.1. Le traitement a-t-il été validé par une expérimentation ?
3.2. Le contexte dans lequel évolue le système d'IA (quantité de variables à considérer, difficulté à évaluer la représentativité des données, etc.) est-il particulièrement complexe ?
3.3. L'algorithme en question a-t-il déjà été utilisé dans un contexte similaire ?
3.4. Dans quel environnement a été menée l'expérimentation (contrôlé/non-contrôlé ? fermé/ouvert ? sur des cas d'usage simulés/réels) ?
3.5. Les conditions se rapprochent-elles suffisamment des conditions réelles ?
3.6. Les précautions appropriées ont-elles été prises, comme un contrôle systématique par un opérateur humain qui pourrait être ensuite réduit lors de la phase de production ?
3.7. Les métriques utilisées pour valider l'expérimentation sont-elles adaptées et suffisantes ?
3.8. Un bilan exhaustif et objectif de l'expérimentation a-t-il été réalisé ?
4. Utilisation d'un système d'IA en production
1. Présence d'un contrôle humain
1.1. Une supervision par un opérateur humain est-elle prévue ?
1.2. Des mécanismes ont-ils été prévus pour que l'opérateur puisse modifier manuellement une décision prise par le système d'IA ou en arrêter le fonctionnement ?
1.3. Lesquels ?
1.4. Quel type d'intervention est prévue ?
1.5. Ces mécanismes font-ils l'objet de protocoles clairement formulés et connus de tous ?
1.6. Sont-ils intégrés de manière naturelle dans le traitement ?
1.7. Les ressources humaines et matérielles nécessaires ont-elles été prévues ?
1.8. Les personnes en charge de cette tâche sont-elles clairement identifiées ?
1.9. Sont-elles en mesure d'exercer leur contrôle sur le système d'IA facilement ?
1.10. Les personnes ont-t-elles reçu une formation suffisante ?
1.11. L’information qui leur est fournie lors de la supervision est-elle suffisante ?
1.12. Les outils permettant le contrôle par l'opérateur ont-ils été suffisamment éprouvés ?
1.13. Une identification des cas où l'intervention humaine est nécessaire a-t-elle été mise en place (via le calcul d'un indicateur de confiance par exemple) ?
1.14. Une étude de la proportion de cas soumis à l’humain et de l’efficacité de la supervision est-elle prévue ?
1.15. Comment le risque lié au biais d'automatisation (tendance d’un opérateur à accorder une confiance trop importante à un procédé automatisé) a-t-il été pris en compte ?
1.16. Des mécanismes visant à compenser ce biais ont-ils été mis en œuvre ?
1.17. Lesquels ?
2. Transparence
2.1. Une journalisation des éléments (données utilisées pour l'inférence, indicateurs de confiance, version du système, etc.) servant à la prise de décision par le système d'IA existe-t-elle ?
2.2. Les éléments journalisés permettent-ils d'expliquer, à posteriori, une décision particulière prise par le système d'IA ?
2.3. Ces informations sont-elles conservées pour une durée justifiée ?
2.4. Les informations sont-elles limitées aux strictes catégories nécessaires à l'explication de la décision ?
2.5. Le code est-il ouvert (open source) ?
2.6. Le fonctionnement du système d'IA est-il expliqué aux personnes amenées à interagir avec elle ?
2.7. L'explication est-elle rendue suffisamment claire et compréhensible, grâce à des cas concrets par exemple, et en expliquant les limitations, hypothèses et cas extrêmes du système ?
2.8. Des outils techniques et méthodologiques sont-ils utilisés pour permettre l'explicabilité du système ?
3. Qualité du traitement
3.1. Une analyse automatique des logs de journalisation existe-t-elle afin d'alerter l'utilisateur et/ou la personne en cas de défaillance, de fonctionnement anormal ou d'attaque ?
3.2. Un contrôle de la qualité et de la correspondance des données collectées en environnement réel avec les données d'apprentissage et de validation est-il maintenu au cours de l'utilisation du système d'IA ?
3.3. La qualité des sorties du système d'IA est-elle contrôlée au cours du cycle de vie du système d'IA ?
1. Risques spécifiques
1.1. Dans le cas d'un apprentissage en continu, la qualité des données utilisées pour l'entraînement est-elle contrôlée tout au long du cycle de vie du système ?
1.2. Dans le cas d'un apprentissage fédéré, des mesures sont-elles prises pour lutter contre le caractère non-indépendant et identiquement distribué des données ?
1.3. Dans le cas où un système d'IA est utilisé pour collecter des données personnelles par exploration des données ou data mining, une vérification permet-elle de s'assurer que seules les données des personnes concernées sont collectées ?
1.4. Une vérification permet-elle de s'assurer de leur intégrité et de leur véracité (par la vérification de l'authenticité des sources, et de la qualité de l'extraction des données par exemple)
1.5. Dans le cas d'un algorithme de recommandation de contenu, les suggestions pourraient-elles influencer les opinions des personnes (politiques par exemple) ?
1.6. Pourraient-elles aller à l'encontre de l'intérêt de certaines personnes (morales ou physiques) ?
5. Sécurisation du traitement
1. Journalisation
1.1. Une journalisation des actions est-elle mise en place ?
1.2. Couvre-t-elle les modifications apportées au système d'IA, logicielles ou matérielles, les requêtes qui lui sont envoyées, les données d'entrées et de sortie du système ?
1.3. Une analyse automatique des journaux existe-t-elle ?
1.4. Permettrait-elle d'identifier des tentatives d'attaques de type inférence d'appartenance ou empoisonnement de modèle (dans le cas d'un apprentissage continu notamment) ?
1.5. D'autres mesures mises en place afin de contrôler, en aval, la qualité des sorties du système existent-elles et permettent-elle de se prémunir contre des attaques ? Lesquelles ?
2. Identification des modèles d'attaque et prévention
2.1. Une analyse de risques a-t-elle été conduite ?
2.2. Prend-t-elle en compte les modèles d’attaque spécifiques aux algorithmes d’IA ?
2.3. Les modèles d'attaque afférents aux méthodes d'IA utilisées sont-ils connus du fournisseur et de l'utilisateur ?
2.4. Une étude de la littérature scientifique ainsi qu'une veille sont-elles réalisées ?
2.5. Des mesures ont-elles été prises afin de se prémunir contre des attaques par empoisonnement (data poisoning), par exemples contradictoires (adversarial attack), par exfiltration de modèles (model evasion) ou par attaque par inférence d'appartenance (membership inference) ?
2.6. Lesquelles ?
3. Maîtrise des accès
3.1. Les modifications apportées au système d'IA sont-elles soumises à un protocole particulier ?
3.2. Lequel ?
3.3. Différents niveaux d'habilitation sont-ils prévus afin de contrôler les modifications apportées au système et de limiter les accès ?
3.4. Les modifications du code sont-elles versionnées ?
3.5. Permettent-elles un retour rapide à la dernière version fonctionnelle ?
4. Sécurisation de toutes les étapes du traitement
4.1. Quelles mesures de sécurité du système ont été prises ?
4.2. Une redondance est-elle prévue afin de garantir la disponibilité du système ?
4.3. Un serveur secondaire pourrait-il assurer le traitement si le système principal était rendu non fonctionnel ?
4.4. Un audit (interne ou externe) a-t-il été mené ?
4.5. Par quel organisme ?
4.6. Quelles techniques et méthodologies ont été utilisées pour éprouver le traitement ?
4.7. Un système de management des risques a-t-il été mis en place ?
4.8. Les recommandations du guide de sécurité de la CNIL ont-elles été appliquées ?
5. Examen de la nature des modèles
5.1. Si le modèle a été entraîné à l'aide de données personnelles, une étude sur les risques de réidentification/d'inférence d'appartenance a-t-elle été menée sur les agrégats issus de l'apprentissage ?
5.2. Quelles méthodes sont utilisées pour limiter ces risques ?
5.3. Les paramètres du modèle sont-ils alors considérés comme à caractère personnel ?
5.4. Le niveau de sécurité appliqué aux paramètres du modèle est-il adapté et suffisant au regard de l'obligation de sécurité imposé par le RGPD ?
5.5. Une fois l'entraînement terminé, les paramètres de l'algorithme contiennent-ils des échantillons des données d'entraînement (cas de certains algorithmes de partitionnement (ou clustering) qui identifient, enregistrent puis s'appuient sur certaines données clés de l'ensemble d'entraînement) ?
5.6. Dans ce cas, les paramètres de l'algorithme font-ils l'objet des mesures de sécurité applicables aux données personnelles ?
6. Transparence et droits de l'utilisateur final
1. Analyse de l'impact sur les droits fondamentaux
1.1. Les conséquences du traitement sur les droits fondamentaux des personnes (droits à la liberté d’expression, à la liberté de pensée, de conscience et de religion, de circuler librement, au respect de sa vie privée et familiale, etc.) ont-elles été prises en compte ?
1.2. Les conséquences sur les groupes de personnes fondés sur la base du genre, de l’origine, ou encore des opinions politiques ou religieuses, sur la société et la démocratie en général ont-elles été considérées ?
1.3. Un cadre formel a-t-il été utilisé afin de réaliser cette étude d’impact (AIPD, autre grille d’analyse) ?
2. Information des personnes
2.1. Les personnes ont-elles été informées du traitement de manière claire et concise ?
2.2. Comment le sont-elles ?
2.3. Les informations sont-elles aisément accessibles ?
2.4. Les personnes sont-elles informées de la collecte, que celle-ci soit réalisée directement auprès des personnes ou non ?
2.5. Les personnes ont-elles conscience d'interagir avec une machine ?
2.6. Dans le cas où les utilisateurs interagissent avec une machine ou du contenu généré automatiquement, cela est-il clairement indiqué à l'utilisateur ?
2.7. Comment l'information est-elle faite ?
2.8. Si le responsable de traitement est une administration, l'information des personnes relative à un traitement algorithmique auquel elles seraient soumises est-elle prévue conformément au code des relations entre le public et l'administration et à la loi pour une République numérique ?
2.9. Le code source de l'algorithme est-il rendu public ?
2.10. Sera-t-il transmis aux personnes qui en feront la demande via la Commission d'accès aux documents administratifs (CADA) ?
2.11. L'impact sur la santé mentale et le comportement des personnes a-t-il été étudié ?
2.12. L'utilisation de méthodes visant à influencer les choix des personnes est-elle envisagée ?
2.13. Le système pourrait-il mener à une utilisation exacerbée d'un produit, similaire à une addiction ?
2.14. Le système pourrait-il faciliter le harcèlement ?
3. Exercice des droits liés à la protection des données
3.1. Quelles mesures permettent aux personnes d'exercer leurs droits ?
3.2. Sont-elles informées de comment et auprès de qui ces droits peuvent être exercés ?
3.3. Le droit d'opposition au traitement de ses données peut-il facilement être exercé par l'individu pour les phases d'entraînement comme de production ?
3.4. Est-il possible pour les individus d’exercer ce droit à tout moment (avant et après la collecte) ?
3.5. Le droit à l'effacement et le droit d'accès peuvent-ils facilement être exercés par l'individu ?
3.6. Si le modèle d'IA possède un risque de réidentification ou d'inférence d'appartenance, causant ainsi la classification des paramètres du modèle en tant que données personnelles, comment ces droits peuvent-il être exercés par l'individu ?
3.7. Le droit à la limitation du traitement et le droit à la rectification peuvent-ils facilement être exercés par l'individu ?
3.8. En particulier, sera-t-il possible de vérifier l’intégrité des données concernant l'individu grâce à une journalisation ?
3.9. Dans le cas où le système d'IA est utilisé pour établir un profil des personnes, le profil prédit par le système est-il utilisé à titre indicatif lors du traitement ou est-il un résultat en soi ? Si le profil constitue un résultat en soi ?
3.10. Le droit à la rectification peut-il facilement être exercé ?
4. Encadrement les décisions automatisées
4.1. Le système conduit-il à une décision fondée exclusivement sur un traitement automatisé, par conception ou dans les faits, et produisant des effets juridiques la concernant ou l'affectant de manière significative de façon similaire ?
4.2. Même si certains systèmes ne semblent pas produire un effet sur les personnes, des conséquences peuvent-elles exister dans les faits (par ex. : un algorithme de tri des CV pour le recrutement qui ordonnerait certains CV en bas d'une file trop longue pour qu'un humain puisse vérifier la pertinence de la décision prise par l'algorithme) ?
4.3. Quelle est la base légale sur laquelle repose la prise de décision automatisée ?
4.4. Les personnes peuvent-elles facilement s'opposer à une décision fondée exclusivement sur un traitement automatisé ?
4.5. Par quels moyens ?
4.6. Les individus décidant de ne pas avoir recours au système d'IA en application de l'article 22 bénéficient-ils des mêmes avantages et possibilités que ceux utilisant le système ?
7. Attribution des responsabilités et documentation du traitement
7.1. Le système d'IA respecte-t-il certaines normes (IEEE, ISO, etc.) ?
7.2. Lesquelles ?
7.3. L'IA a-t-elle été certifiée par un organisme tiers (LNE, bureau d’étude, etc.) ou par une autorité (HAS, ANSM, AMF, etc.) ?
7.4. Lequel / laquelle ?
7.5. Le système d'IA respecte-t-il certains codes de conduite ou bonnes pratiques ?
7.6. Lesquels ?
7.7. Une analyse d'impact relative à la protection des données (AIPD) a-t-elle été menée ?
7.8. Un outil d'évaluation de l'impact du système d'IA a-t-il été utilisé ?
7.9. Une documentation concernant les modalités de collecte et de gestion des données d'entraînement et de production utilisées, l'algorithme, la qualité des sorties du système, les outils utilisés, la journalisation, les mesures de sécurité existe-elle ?
7.10. Cette documentation est-elle partagée avec toutes les personnes ayant à en connaître pour assurer une analyse et une maîtrise des risques efficaces (utilisateurs du système d’IA, comité d’éthique, service qualité et gestion des risques, personnes concernées, etc.) ?
7.11. Une approche en sources ouvertes a-t-elle été adoptée afin d'impliquer une communauté de tiers dans la conception et l'amélioration du système ?
Créé le:20/03/2022
Mis à jour le :29/07/2024
Licence : © Creative commons :
Attribution / Pas d'utilisation commerciale
CC-BY-NC
Attribution / Pas d'utilisation commerciale
CC-BY-NC
Auteur :
Nombre d'utilisations :11