Intelligence artificielle : Mahamadi Rouamba appelle à anticiper les risques liés aux agents IA

L’intelligence artificielle ne peut plus être considérée comme un simple outil auquel l’utilisateur pose une question et dont il reçoit une réponse. Avec l’émergence des agents d’IA, capables de planifier des actions, de mobiliser des ressources et d’exécuter des tâches de manière autonome, les organisations doivent repenser leurs mécanismes de contrôle et de sécurité. C’est le principal message développé par Mahamadi Rouamba, fondateur de Ticanalyse, lors d’une conférence en ligne sur le thème : « Gouverner l’intelligence artificielle avant qu’elle ne nous gouverne : orchestrer, administrer les agents dans nos institutions ». Une session d'échanges organisée dans le cadre de la deuxième édition de Le Faso Digital.

Dès l’ouverture des échanges, le modérateur, Benjamin Sia, chercheur en technologies éducatives, a invité les participants à dépasser la conception traditionnelle de l’intelligence artificielle comme un simple outil informatique. Pour lui, l’évolution technologique impose désormais de s’interroger sur les conditions dans lesquelles ces systèmes interviennent au sein des institutions.

« Nous ne sommes plus uniquement face à des outils qui exécutent des instructions ponctuelles. Nous sommes progressivement confrontés à des systèmes capables de planifier des actions, de prendre des initiatives et d’accomplir des tâches avec une autonomie plus ou moins importante. La question ne peut donc plus être simplement de savoir comment utiliser l’intelligence artificielle ou comment encadrer son usage, mais comment organiser et maîtriser les conditions dans lesquelles elle agit au sein de nos institutions », a-t-il expliqué.

Cette évolution ouvre des perspectives en matière d’amélioration des services, de fluidification des procédures et d’accompagnement du travail des équipes. Mais elle soulève également des interrogations essentielles. Qui autorise ces agents à agir ? À quelles ressources peuvent-ils accéder ? Comment vérifier leurs résultats, retracer leurs opérations et interrompre leurs actions lorsque cela devient nécessaire ?

Pour le modérateur, ces préoccupations sont particulièrement importantes dans les pays africains, engagés dans la modernisation de leurs services tout en devant préserver la sécurité des données, la responsabilité humaine, les capacités locales et la souveraineté numérique.

Une gouvernance qui ne se limite pas aux chartes et aux politiques internes

Le conférencier du jour, Mahamadi Rouamba, a d’abord établi une distinction entre la gouvernance de l’intelligence artificielle et sa sécurisation. La première renvoie, selon lui, au pouvoir de décision et à la responsabilité de l’organisation dans le choix des solutions utilisées, la définition des personnes autorisées à y accéder, les finalités poursuivies et les limites à respecter. La seconde concerne les moyens techniques et organisationnels permettant de rendre ces décisions effectives et vérifiables.

« La gouvernance, c’est le pouvoir et la responsabilité. La sécurisation, ce sont les moyens et les preuves dont l’institution dispose dans le cadre de l’utilisation de l’intelligence artificielle. Au niveau de la gouvernance, on prend des décisions, mais il faut des outils, des moyens et même des preuves permettant de rendre ces décisions effectives et vérifiables. Une gouvernance sans sécurisation n’est qu’une intention, tandis qu’une sécurisation sans gouvernance est un contrôle sans mandat », a-t-il souligné.

Pour le spécialiste, cette approche doit prendre en compte quatre niveaux complémentaires que sont les utilisateurs humains, l’organisation elle-même, les systèmes d’intelligence artificielle et les fournisseurs de ces solutions. Une défaillance à l’un de ces niveaux peut compromettre la sécurité de l’ensemble du dispositif.

Le premier risque réside dans les pratiques du personnel. Mahamadi Rouamba a notamment évoqué le recours à des comptes personnels pour des usages professionnels, ainsi que le partage de documents internes avec des plateformes d’IA sans validation préalable de l’organisation. Ces habitudes, héritées de l’utilisation classique des outils informatiques, peuvent exposer des informations sensibles.

Au niveau des organisations, il a également attiré l’attention sur le phénomène du « Shadow AI », qui désigne l’utilisation de solutions d’intelligence artificielle sans que la hiérarchie ou les responsables des systèmes d’information en soient informés.

« Les organisations se rendent parfois compte de l’usage qui est fait de l’intelligence artificielle le jour où survient un incident. Le personnel peut se former sur un outil qui n’a jamais été validé par sa structure, et l’organisation peut elle-même former ses agents à l’utilisation d’un outil qu’elle ne contrôle pas. Les chartes et les politiques internes engagent principalement les collaborateurs, mais elles ne contraignent pas nécessairement l’agent d’intelligence artificielle lui-même. Or, il faut pouvoir déterminer ce que l’agent est autorisé à faire, les ressources auxquelles il peut accéder et les actions qu’il doit s’interdire », a-t-il fait observer

Il estime ainsi que la formation des utilisateurs et l’adoption de chartes de bonnes pratiques sont nécessaires, mais insuffisantes. La gouvernance doit également s’appuyer sur des dispositifs capables de contrôler concrètement le comportement des systèmes.

Des agents d'IA capables d’agir au-delà des instructions initiales

L’une des principales préoccupations soulevées au cours de la conférence concerne l’évolution des agents d’intelligence artificielle. Contrairement aux systèmes génératifs classiques, qui produisent essentiellement une réponse à une requête, les agents peuvent enchaîner plusieurs opérations afin d’atteindre un objectif.

Selon Mahamadi Rouamba, cette capacité d’action exige une vigilance particulière. Un agent peut chercher à accomplir une mission en mobilisant des ressources ou en entreprenant des actions qui dépassent ce que son utilisateur avait initialement envisagé.

« Les systèmes d’intelligence artificielle sont entraînés à rechercher des résultats. Lorsqu’on leur confie une mission, ils peuvent enchaîner des actions et mobiliser différents outils pour parvenir à l’objectif fixé. Le problème est que, dans cette recherche du résultat, ils peuvent entreprendre des actions inappropriées ou accéder à des ressources qui ne sont pas nécessaires à la tâche demandée. Il ne suffit donc pas de vérifier si la réponse finale est correcte. Il faut aussi examiner le chemin emprunté par l’agent pour parvenir à ce résultat et s’assurer que les moyens utilisés respectent les règles de l’institution », a-t-il expliqué.

L’intervenant a notamment mis en garde contre les risques liés aux assistants intégrés aux ordinateurs et aux environnements de travail. Selon la configuration et les autorisations accordées, ces agents peuvent interagir avec des fichiers, des applications ou d’autres ressources accessibles à l’utilisateur. Il a insisté sur la nécessité de vérifier les accès effectivement accordés à chaque solution, plutôt que de supposer qu’une application installée sur un ordinateur effectue nécessairement tous ses traitements en local.

À ce sujet, il a expliqué que certaines applications installées sur un poste de travail peuvent transmettre des documents à des serveurs distants pour leur traitement. Les utilisateurs et les administrations doivent donc comprendre où sont traitées leurs données, quelles informations sont transmises et quelles garanties s’appliquent à leur conservation.

Le conférencier a également évoqué les risques liés aux fournisseurs internationaux, notamment les conditions générales d’utilisation et les cadres juridiques auxquels certaines entreprises sont soumises. Il a appelé les organisations à examiner attentivement les règles relatives à l’accès aux données, à leur conservation, à leur éventuelle utilisation pour l’amélioration des modèles et à leur communication à des tiers.

Ces préoccupations sont d’autant plus importantes que des documents administratifs, des projets stratégiques et des informations professionnelles sont parfois introduits dans des plateformes d’IA sans évaluation préalable de leur sensibilité.

La souveraineté numérique au cœur des préoccupations

Pour Mahamadi Rouamba, la question de la gouvernance de l’IA dépasse largement la seule cybersécurité. Elle touche directement à la capacité des États et des organisations à maîtriser leurs données, leurs décisions et leurs infrastructures numériques.

Il a ainsi attiré l’attention sur les conséquences potentielles de la dépendance à des fournisseurs étrangers, dont les conditions d’utilisation et les obligations légales peuvent différer des règles applicables dans les pays utilisateurs.

« Tout ce que nous faisons et tout ce que nous mettons dans ces outils peut soulever des questions de confidentialité, de partage et de souveraineté. Aujourd’hui, des documents de travail, des projets stratégiques et des informations liées aux activités des institutions peuvent être transmis à des plateformes extérieures sans que leurs utilisateurs mesurent toujours les implications. La question est donc de savoir si nous maîtrisons réellement les données que nous leur confions et si nous conservons la capacité de décider de leur utilisation », a-t-il déclaré.

Le spécialiste a également souligné les limites des réponses apportées par les États pris individuellement face aux grandes entreprises technologiques. À son avis, une action coordonnée à l’échelle régionale ou continentale permettrait aux pays africains de disposer d’un poids de négociation plus important.

« Lorsqu’un pays agit seul, il peut avoir des difficultés à imposer ses exigences à des entreprises qui disposent d’un marché mondial. En revanche, si plusieurs pays se mettent ensemble pour définir des règles communes, les fournisseurs sont davantage incités à les respecter. L’Afrique doit réfléchir à sa capacité de négociation collective, notamment pour imposer des exigences en matière de protection des données, de transparence et de responsabilité. La souveraineté numérique ne peut pas reposer uniquement sur des déclarations ; elle suppose des moyens concrets pour maîtriser les technologies que nous utilisons », a-t-il soutenu.

Cette démarche implique également, selon lui, de renforcer les compétences locales et de développer des solutions capables de répondre aux besoins des institutions africaines sans les exposer inutilement aux risques liés à une dépendance technologique mal maîtrisée.

"Panguin", une solution présentée pour encadrer les agents d’IA"

Au-delà du diagnostic, Mahamadi Rouamba a présenté "Panguin", une solution développée pour contribuer à l’orchestration, à l’administration et à la supervision des agents d’intelligence artificielle dans les organisations.

L’objectif, a-t-il expliqué, est de disposer d’un mécanisme capable de faire respecter aux agents les règles définies par l’institution, en contrôlant notamment leurs accès et les actions qu’ils entreprennent.

« Les documents, les formations des utilisateurs, les chartes et les politiques ne suffisent pas. Il faut un outil qui oblige l’intelligence artificielle à respecter les règles de l’institution, de l’organisation ou de l’entreprise. Lorsqu’un agent reçoit une mission, il faut pouvoir contrôler ce qu’il fait, les ressources qu’il mobilise et les limites qu’il ne doit pas franchir. Avec Panguin, l’idée est de créer un environnement dans lequel les agents peuvent être administrés, orchestrés et supervisés selon les règles définies par l’organisation », a-t-il expliqué.

Selon lui, le dispositif doit également permettre d’examiner le comportement des agents, au-delà de la seule qualité de leurs réponses. Il a cité l’exemple d’un test réalisé, selon ses déclarations, dans une grande institution bancaire : un agent sollicité pour répondre à un simple « bonjour » aurait tenté de mobiliser plusieurs ressources sans rapport avec la demande. Le système de supervision aurait alors permis de bloquer ces opérations jugées inutiles.

Pour le conférencier, cet exemple illustre la nécessité de contrôler non seulement les résultats produits par les agents, mais aussi leurs comportements et leurs interactions avec les systèmes d’information.

Il a par ailleurs indiqué que sa structure travaille sur ces questions depuis plusieurs années et qu’elle a engagé des démarches auprès d’acteurs institutionnels, notamment dans le secteur de la transition numérique, afin de sensibiliser les décideurs aux enjeux de la gouvernance et de la sécurisation de l’IA.

Il a enfin rappelé l’existence de référentiels internationaux consacrés aux systèmes de management de l’intelligence artificielle, à la gouvernance et à la gestion des risques. Leur mise en œuvre, a-t-il insisté, doit s’accompagner de mécanismes techniques effectifs et d’une supervision adaptée aux usages réels.

« Une police des frontières numériques » pour protéger les institutions

Les échanges avec les participants ont permis d’élargir la réflexion à la réglementation, à l’éthique des fournisseurs et à la protection des administrations publiques.

Isaac Bouda a notamment souhaité savoir s’il était possible de mettre en place un référentiel national pour encadrer la présence et l’utilisation des différentes plateformes numériques sur le territoire burkinabè, ainsi que de développer des coopérations avec leurs responsables afin de mieux protéger les utilisateurs.

De son côté, Blaise Kiébré, médecin de santé publique, a insisté sur la nécessité de privilégier des stratégies d’utilisation responsables plutôt qu’une logique de censure. Il a interrogé le conférencier sur l’existence de mécanismes internationaux permettant de vérifier que les entreprises technologiques respectent effectivement leurs engagements en matière d’éthique et de protection des données.

Il a également demandé comment les structures publiques pouvaient être accompagnées pour éviter que leurs documents officiels ne se retrouvent dans des plateformes extérieures, tout en permettant aux agents de tirer profit de l’IA pour améliorer leur travail.

Dr Cyriaque Paré, promoteur de Le Faso Digital, a pour sa part soulevé la question de la prise de conscience des risques dans les administrations. Il a notamment demandé si l’on pouvait envisager une forme de « police des frontières numériques », comparable aux dispositifs de contrôle des frontières physiques, et comment les institutions se préparaient au changement de paradigme induit par des agents capables, dans certaines circonstances, de contourner des restrictions ou d’agir de manière inattendue.

En réponse, Mahamadi Rouamba a expliqué que cette « police » ne devait pas nécessairement être comprise comme une institution physique, mais comme un ensemble de dispositifs techniques permettant de délimiter et de contrôler les échanges entre un environnement numérique interne et l’extérieur.

« Un pare-feu peut être considéré comme la police des frontières d’un réseau, puisqu’il contrôle les échanges entre le réseau local et l’extérieur. De la même manière, lorsqu’un agent d’intelligence artificielle intervient dans une organisation, il faut un dispositif capable de contrôler ce qu’il fait à l’intérieur de cet environnement. Il faut définir les ressources auxquelles il peut accéder, les actions qu’il peut entreprendre et les limites qu’il doit respecter. La protection ne doit donc pas dépendre uniquement de la bonne volonté des utilisateurs ou des engagements des fournisseurs ; elle doit être intégrée dans les mécanismes techniques de gouvernance et de sécurisation », a-t-il répondu.

Sur la question de l’éthique, le conférencier a estimé que les engagements affichés par les entreprises technologiques ne suffisent pas à garantir une protection effective des utilisateurs. Il a appelé à examiner les conditions réelles de fonctionnement des systèmes, les risques associés à leur déploiement et les moyens disponibles pour détecter et interrompre les comportements indésirables.

Concernant l’accompagnement des administrations, il a indiqué que sa structure avait entrepris des démarches auprès d’acteurs publics et de régulation afin de présenter les enjeux et de contribuer à la sensibilisation. Il a toutefois insisté sur la nécessité d’aller au-delà des formations et de la documentation pour mettre en place des dispositifs capables d’agir directement sur les opérations des agents.

Anticiper plutôt que subir les évolutions technologiques

En conclusion, Mahamadi Rouamba a appelé les institutions à ne pas se laisser séduire uniquement par les performances des solutions d’intelligence artificielle. Selon lui, les capacités des systèmes, leur alignement sur les objectifs et les règles fixés par les humains, ainsi que la possibilité de vérifier et de superviser leurs actions doivent être examinées.

Il a estimé que la multiplication des usages de l’IA dans les administrations, les entreprises et les services essentiels rend indispensable une réflexion approfondie sur les mécanismes de contrôle, la responsabilité humaine et la protection des données.

« Nous sommes dans une situation où l’intelligence artificielle ne se limite plus à répondre à nos questions. Elle peut raisonner, utiliser des outils et agir pour atteindre un objectif. Si nous ne définissons pas les règles et les moyens de contrôle nécessaires, nous risquons de perdre progressivement la maîtrise de ce que nous lui confions. Les décisions que nous prenons, les documents que nous produisons et les informations que nous partageons peuvent avoir des conséquences sur notre souveraineté. Il est donc urgent de prendre conscience des risques, de développer des mécanismes de gouvernance adaptés et de conserver la capacité de décider de l’utilisation de ces technologies », a-t-il conclu.

À l’issue de la présentation, le promoteur, Dr Cyriaque Paré, a salué la qualité de l’intervention et l’intérêt de la solution présentée. Il a également invité les participants à poursuivre leur mobilisation autour des autres activités de Le Faso Digital 2, avec plusieurs sessions consacrées notamment à l’intelligence artificielle et à la gestion des services numériques de l’administration.

Hanifa Koussoubé

Lefaso.net