Digital Society Forum Digital Society Forum
Entretien 19/05/2020

La « garantie humaine » : faire superviser les IA par des humains

David Gruson (DR)
Après avoir discuté avec David Gruson des risques éthiques que présente l’IA en santé , nous abordons maintenant le volet des solutions. Avec Ethik-IA, le collectif citoyen qu’il a fondé, il propose un mécanisme de supervision des IA original : le principe de « garantie humaine », qui consiste à intégrer un collège de professionnels chargés d’évaluer le fonctionnement éthique d’algorithmes et d’IA tout au long de leur cycle de vie, de la conception à l’usage après mise sur le marché.

David Gruson a un long parcours dans le domaine « concret » de la santé, comme il se définit lui-même. Directeur du programme santé de l’entreprise Jouve, fondateur de l’initiative citoyenne Ethik-IA , membre du comité d'éthique du numérique, il écrit aussi dans son temps libre des “polars bioéthiques” . Il s’intéresse depuis longtemps aux enjeux éthiques de l’IA en santé, et a activement participé au volet numérique de la révision de la loi de bioéthique.

Quels mécanismes d’encadrement existent aujourd’hui d’un point de vue éthique ?


Le RGPD a été forgé avant la vague d’innovation massive de l’intelligence artificielle en santé : il ne connaît pas l’IA et ses questionnements.
Dans nos réflexions à Ethik-IA, nous avons essayé d’appliquer un rasoir d’Ockham juridique, en partant du principe qu’il fallait rejeter toutes les normes supplémentaires et ne conserver que celles qui étaient impérativement nécessaire pour traiter les deux types de risques dont on a parlé, celui de la délégation du consentement et celui de l’écrasement de l’individu par le collectif.
Il nous a semblé nécessaire d’instituer deux normes supplémentaires au RGPD.
La première, c’est celle d’un consentement qui doit être recueilli systématiquement, dans toutes les formes de prise en charge. Pour que ce consentement soit libre et éclairé, il est nécessaire d’expliquer au patient qu’on va mobiliser des algorithmes dans sa prise en charge. Cette information doit être d’autant plus structurée que les domaines sont complexes, voire auto-apprenants.
Le second principe, c’est la garantie humaine.
Dans le premier tome de S.A.R.R.A , (polar écrit par David Gruson, qui raconte comment une IA est chargée de gérer une crise d’Ébola à Paris, ndlr), qui se passe en 2025, j’ai imaginé que nos futurs concitoyens ne laisseraient pas l’IA qui gère Ébola tourner spontanément. Ils désignent donc un garant humain, un grand professeur choisi pour superviser l’IA. J’ai fait lire S.A.R.R.A à des camarades d’Ethik-IA, qui ont trouvé que cette idée pouvait avoir une portée opératoire.
Dans S.A.R.R.A, la notion de garantie humaine sert de repoussoir, parce qu’elle ne marche pas : éminemment humain et faillible, le professeur se fait constamment dépasser. Nous avons donc forgé l’idée d’un collège de garantie humaine, qui associe des professionnels, des représentants des patients, etc., et serait chargé de superviser la machine au fil de son usage. Des humains supervisent l’IA dès sa conception et continuent de la suivre après sa mise sur le marché, au long de sa vie réelle.
Nous avons créé un premier démonstrateur avec l’Union Française pour la Santé Bucco-Dentaire, qui utilise une IA de reconnaissance d’image pour des soins dentaires. L’IA analyse des vidéos prises dans la bouche de résidents d’EHPAD avec des smartphones, pour faire un premier check et évaluer le risque carieux et inflammatoire. Un prototype de garantie humaine sera chargé de se réunir tous les trois mois pour examiner 90 dossiers choisis sur l’ensemble (l’expérimentation est menée sur 48 EHPAD). Des chirurgiens-dentistes réviseurs, sans lien aucun avec la start-up, devront réviser les dossiers et dire quelle aurait été leur décision s’ils avaient été à la place de la machine. Ceci permet d’observer l’écart entre la décision machinique et la décision humaine : l’IA reste-t-elle sur une piste efficace médicalement, reste-t-elle éthique, au vu du risque d’une minoration de la prise en compte de l’individu par rapport au collectif ?

« Nous avons forgé l’idée d’un collège de garantie humaine, qui associe des professionnels, des représentants des patients, etc., et serait chargé de superviser la machine au fil de son usage. Des humains supervisent l’IA dès sa conception et continuent de la suivre après sa mise sur le marché, au long de sa vie réelle. »


Ce qui permet aussi de répondre au problème de l’absence d’explicabilité de l’algorithme...


Tout à fait. La garantie humaine est un remède partiel aux imperfections d’une régulation par l’explicabilité. Cette notion a été très à la mode, mais elle me semble en partie inopérationnelle.
Le contrôle technique n’est pas la même chose que la régulation éthique. Les tests d’explicabilité se font sur des systèmes informatiques, qu’ils soient ou non d’IA, en amont de la mise sur le marché du produit, à charge pour le fabricant de les réitérer au fil de son usage. Or en médecine, certaines IA apprenantes sont si sophistiquées qu’une certaine explicabilité n’est même pas atteignable. Et à supposer qu’elle le soit, on pourrait tout à fait avoir un programme d’IA tout à fait explicable, et absolument non éthique. Ce qu’il faut donc, c’est superviser la machine dans le réel : pas à chaque étape, pour ne pas bloquer l’innovation, mais à des points critiques, tout au long de la vie de l’algorithme. Cette régulation doit être proportionnée à la complexité de l’algorithme mais aussi à sa dangerosité potentielle et aux champs de son application.
C’est peut-être d’autant plus important dans un pays comme la France, où on se repose beaucoup sur le droit et les textes. Or la bonne réponse au risque éthique se joue dans des situations très concrètes, et c’est là qu’on manque encore de supervision.
Le Comité Consultatif National d'Ethique (CCNE) a relayé l’idée de « garantie humaine » dans l’avis 129 de la révision de la loi de bioéthique, repris dans l’article 11 du projet de loi bioéthique adopté par l’Assemblée et le Sénat, qui a pour l’instant interrompu son parcours avec la crise du Covid 19. La « garantie humaine » a aussi été reprise dans le Livre Blanc de la Commission Européenne sur l’IA , publié le 19 février dernier, et je représente le CCNE dans la task force sur la régulation de l’IA de l’OMS, qui doit émettre des recommandations générales sur la régulation de l’IA.

« Ce qu’il faut donc, c’est superviser la machine dans le réel : pas à chaque étape, pour ne pas bloquer l’innovation, mais à des points critiques, tout au long de la vie de l’algorithme. »


Pour en revenir à l’idée de consentement, dans quelle mesure, au vu de la complexité des algorithmes actuels ou de l’imbrication de diverses bases de données, peut-on parler d’un « consentement éclairé » ? Faut-il aménager les outils du consentement ?


Dans le cadre de la relation patient-médecin, l’outil du consentement, c’est le colloque singulier médecin-patient. Mais le médecin n’étant pas algorithmicien, il faudra l’aider à fournir l’information utile au patient dans un langage utile. Pour cela on a peut-être besoin d’une nouvelle catégorie de la « personne de confiance », une personne qui peut vous aider dans votre parcours de soin. Ce peut être des proches ou des personnes qualifiées dans ces sujets numériques : des représentants d’associations de patients par exemple, qui pourraient monter en compétence sur ces questions-là, se faire leur idée sur différents types d’algorithmes et forger une doctrine qui pourrait être utile à des patients.

Dans le cas du Health Data Hub et de l’accès aux données de santé, il est régulièrement fait référence à « l’intérêt général ». Qui en décide ? Est-ce une notion juridique ou une décision sociale mouvante ?


Dans certains cas, l’intérêt général de santé ne fait pas de doutes. Mais il existe aussi une zone grise, où c’est moins clair. C’est aussi là que doit intervenir la garantie humaine et le principe de supervision au réel, pour qu’un regard citoyen puisse intervenir dans la détermination de ce qui relève de l’intérêt légitime.
Cela me semble essentiel, y compris au plan de l’innovation. Des associations de patients, comme notamment France Assos Santé , ont maintenant des positions très ouvertes sur le recours au numérique dans leur prise en charge, parce qu’ils mesurent d’abord les risques fort de prise en charge non-éthique si on n’a pas recours au numérique.
On pourrait peut-être aller aussi plus loin dans certains cas et avoir des mécanismes de présomption de consentement pour des traitements de données manifestement d’intérêt général, comme ce qui existe pour le régime des prélèvements d’organes. Chacun.e est présumé.e consentante sauf refus explicite pour le don d’organe — tant qu’on est, bien sûr, dans un cadre de régulation combinant le RGPD et la garantie humaine.

Est-ce qu’il y a une tension entre une forme de pragmatisme économique et la protection éthique ?


La notion de protection éthique positive se justifie d’abord par des notions éthiques. Si on adopte une position éthique radicale, en attendant le dispositif pur et parfait d’un point de vue éthique, on méconnaît le fait que le numérique rend les frontières entre les systèmes de santé très poreuses. On voit bien qu’aujourd’hui que, lorsqu’ils n’ont pas de réponse dans l’écosystème numérique français ou européen, nos concitoyens se tournent vers des outils conçus ailleurs, dans des cadres qui peuvent ne pas offrir les mêmes garanties éthiques.

Tant qu’on est bien clair sur la validité du cadre juridique existant, national et européen, qu’on affirme l’application d’une garantie humaine de la technologie au fil de l’eau, on peut se permettre un esprit de régulation positive. On peut voir ça comme une forme d’utilitarisme éthique : avoir une approche plus souple pour ne pas se voir imposer des solutions conçues ailleurs et moins éthiques. Car une course de vitesse est engagée et le temps nous est réellement compté. Nous sommes à quelques mois, voire un an, d’une situation où l’on perdrait définitivement la maîtrise de notre souveraineté numérique européenne. On peut, je pense, admettre qu’une partie des outils numériques que l’on utilise, y compris dans le champ de la santé ne soient pas conçus en Europe — mais à la condition que ces outils importés le soient dans des cas conformes à notre cadre juridique et aux valeurs éthiques mises en jeu. Or ce cadre de valeur fait actuellement l’objet d’une réelle bataille technologique et politique. L’Europe a manifestement un rôle majeur à jouer là-dedans, qu’elle a commencé à jouer avec le RGPD, ou en incorporant le principe de la garantie humaine dans son livre blanc sur l’IA. Depuis le début de la crise du Covid, et sur l’usage des outils numériques face à la crise, on assiste à un moment de désarticulation des réponses européennes. Il faut espérer que ce sera passager, sans quoi nous passerons réellement sous tutelle numérique.

Pour finir, y a-t-il à vos yeux des usages du numérique en santé qui représenteraient des lignes rouges ?


Pour moi le génome est un point très sensible. Je ne crois pas qu’on puisse obtenir un consensus international là-dessus, parce que vous avez des pays où c’est plutôt l’approche de fusion des bases de données génomiques qui prédomine. Je crois plutôt à un combat pour la mise sous supervision et régulation humaine de ces algorithmes, qui pourrait aussi s’exercer au niveau international. Et je crois que ce combat-là peut encore être gagné.

"Si on adopte une position éthique radicale, en attendant le dispositif pur et parfait d’un point de vue éthique, on méconnaît le fait que le numérique rend les frontières entre les systèmes de santé très poreuses."




Les commentaires

Pour réagir à cet article, je me connecte Je m’inscris

Soyez le premier à réagir !

S’inscrire et participer

Inscrivez vous sur le Digital Society Forum pour commenter et réagir sur les articles et être informé des événements à venir

DSF