IA responsable : un audit indépendant gage de confiance des systèmes d’intelligence artificielle

Fiabilité des réponses, éthique ou encore protection des données… Pour que l’intelligence artificielle se déploie largement et tienne ses promesses de productivité, elle doit gagner la confiance des utilisateurs. « Et la confiance ne se décrète pas ! Elle se construit via une gouvernance rigoureuse qui garantit que les systèmes d’IA sont déployés de manière maîtrisée et conforme aux règles en vigueur », estime Jean-Baptiste Gillet, directeur Industrie France de Bureau Veritas.

Les risques liés à l'IA se répartissent en trois grandes familles. Il y a d'abord les risques éthiques et comportementaux : une IA qui répond à une question raciste au lieu de la bloquer, qui donne deux réponses contradictoires à la même question selon l'heure de la journée, ou qui communique des données confidentielles à un utilisateur qui sait parfaitement tourner sa requête. Il y a ensuite les risques de fiabilité avec par exemple l'hallucination, cette tendance de l'IA à « inventer » des réponses plausibles mais fausses. « On ne peut pas éliminer entièrement l’hallucination, précise Jean-Baptiste Gillet. Mais on peut la détecter et bloquer la réponse avant qu'elle n’atteigne l'utilisateur. »  Il y a enfin les risques de sécurité : une IA mal configurée peut devenir une porte d'entrée vers des données sensibles de l'entreprise.

Comment savoir si son IA est responsable ?

Face à ces enjeux, Bureau Veritas structure sa réponse avec une nouvelle offre sur-mesure. « Bureau Veritas n’évalue pas les grands modèles de langage (LLM) eux-mêmes, comme ChatGPT, Claude ou Gemini qui servent de socle à la plupart des applications. Ce qui est audité, c’est le « système d’IA » autrement dit la manière dont une entreprise a configuré, paramétré et déployé ces LLM pour son usage spécifique. Par exemple, un chatbot ou un assistant commercial constitue un système d’IA, avec ses propres risques et ses propres exigences. »

Pour construire son référentiel, Bureau Veritas s’est appuyé sur huit piliers standardisés, qui couvrent l’ensemble des exigences de la réglementation EU AI Act :

• explicabilité ;
• contrôlabilité ;
• transparence ;
• sûreté ;
• équité ;
• gouvernance ;
• confidentialité et sécurité de l’information ;
• robustesse et véracité.

Un audit complet en quelques jours

L’audit se déroule en deux temps. D’abord, le client fournit la documentation décrivant son système d’IA. Ces éléments sont analysés automatiquement par l’outil d’audit de Bureau Veritas, lui-même basé sur une IA.

Dans un deuxième temps, une banque de questions est élaborée avec le client pour tester le système en situation réelle. Certaines requêtes sont standardisées – questions racistes, demandes inappropriées, tentatives de contournement – pour vérifier que les garde-fous de base sont en place. D’autres sont plus spécifiques au contexte métier : un système d’IA déployé dans un établissement de santé sera testé sur sa capacité à protéger les données des patients, par exemple.

Bureau Veritas a développé cette offre avec AWS AI Risk Intelligence (AIRI), une solution d’analyse automatisée d’Amazon Web Services (AWS). « Cette solution accélère l'examen documentaire et les tests directs, réduisant ainsi les cycles d'audit de plusieurs semaines à quelques jours ».

Pour aller plus loin : 

• Biais algorithmiques, menaces cybersécurité, conformité EU AI Act, ... Les défis de l'IA sont multiples. Bureau Veritas, votre tiers de confiance, vous accompagne au-delà de la simple conformité pour sécuriser vos systèmes IA et garantir un déploiement fiable et maîtrisé.

Rassurer sur l’usage d’une IA Responsable

Le rapport final, présenté par et discuté avec l’auditeur, décrit les écarts identifiés et propose des actions correctives, adaptées au contexte du client. « C’est une photo extrêmement intéressante de l’outil, qui permet d’éclairer les équipes dirigeantes sur les écarts par rapport aux meilleures pratiques et d’orienter les développements futurs dans la bonne direction. »

Le rapport d'évaluation constitue également un gage de confiance vis-à-vis des clients et des partenaires. Pour les systèmes figés, c’est-à-dire ceux dont l'apprentissage est bloqué et qui n'évoluent pas entre deux mises à jour, le rapport reste valable tant qu'aucune nouvelle version n'est déployée. Pour les modèles évolutifs, Bureau Veritas recommande un renouvellement de l'analyse à chaque mise à jour significative.

Même si le calendrier d'application de l'EU AI Act - qui définit des exigences de gouvernance pour les systèmes d'IA mis sur le marché européen - est repoussé à 2027-2028, les entreprises ne doivent pas temporiser. Elles ont au contraire tout à gagner à anticiper : le référentiel de Bureau Veritas est inspiré directement de ce règlement. Être audité aujourd'hui, c'est se mettre en position favorable pour la conformité réglementaire de demain. Et démontrer dès maintenant le sérieux de ses systèmes d'IA à l'ensemble de son écosystème.