Digital Society Forum Digital Society Forum
Entretien 19/05/2020

« Le plus grand risque éthique est de se fermer à l’innovation en numérique et en IA »

David Gruson (DR)
Lorsqu’on évoque le sujet des risques éthiques de l’IA dans le domaine de la santé, le champ se divise trop vite entre techno-enthousiastes et partisans d’une vision dystopique. Il est pourtant plus que jamais nécessaire de se défaire des fantasmes pour penser au plus juste la réalité des risques éthiques soulevés par une technologie prometteuse mais aux effets potentiellement dévastateurs s’ils ne sont pas contrôlés.
Première partie d'un grand entretien avec David Gruson , sur les risques éthiques soulevés par l'IA en santé.

David Gruson a un long parcours dans le domaine « concret » de la santé, comme il le dit lui-même. Directeur du programme santé de l’entreprise Jouve, fondateur de l’initiative citoyenne Ethik-IA , membre du comité d'éthique du numérique, il écrit aussi dans son temps libre des “polars bioéthiques” . Il s’intéresse depuis longtemps aux enjeux éthiques de l’IA en santé, et a activement participé au volet numérique de la révision de la loi de bioéthique.
Pour lui, face à la sous-efficience de certains soins, le risque éthique principal actuel est de se fermer à l’innovation que pourrait amener l’intelligence artificielle dans le système de soins. Viennent ensuite les risques d’une sur-régulation, qui pourrait détourner les utilisateurs vers des outils fabriqués dans des cadres non-éthiques, et enfin les risques purement éthiques : ceux d’une délégation du consentement et d’une survalorisation du collectif aux dépens de l’individu.
Dans cette première partie, nous abordons la question des risques éthiques de l’IA. La suite de l'entretien (ici) abordera les mécanismes de régulation à inventer pour y répondre.

On parle beaucoup d’éthique dans le numérique, sans toujours définir le terme. Pour vous, que recouvre l’éthique ?


Je ne suis pas philosophe : j’aborde l’éthique du numérique sous l’angle de son application, et de mon expérience dans le domaine de la santé et du numérique.
Pour moi l’éthique correspond à un certain nombre de valeurs ou de principes qu’une société estime devoir être respectés. Mais j’ai entendu un jour une définition par un patient qui me semblait très juste. Pour préparer la révision de la loi de bioéthique, dont j’ai codirigé le volet Éthique du numérique et de l’IA , j’ai participé à différentes sessions de discussions partout en France avec des citoyens. Un soir, à Besançon, un patient a pris la parole pour dire « Si je vous a bien suivi, au fond, l’éthique c’est ce qui résiste aux algorithmes. » Il avait compris les enjeux plus vite et plus profondément que moi.

À quel moment de votre parcours avez-vous commencé à vous intéresser aux aspects éthiques du numérique ?


J’ai eu un parcours très opérationnel dans le champ de la santé : j’ai dirigé des établissements hospitaliers, puis été conseiller chargé de la santé auprès de Matignon entre 2010 et 2012. Ce parcours dans le réel de la santé m’a confronté assez vite à des situations de tension éthique concrète, où il fallait définir des principes concrets — notamment quand j’étais directeur général du CHU de la Réunion et que nous avons dû gérer une éruption de cas d’Ébola.
Par ailleurs, comme d’autres, je défends depuis longtemps l’idée qu’il faut davantage de numérique dans le système de santé. Quand j’étais à Matignon, j’ai participé à la construction du cadre juridique de la télémédecine... puis vécu le blocage quasi total de son modèle économique pendant presque dix ans. Car il a fallu attendre la loi de financement de la Sécurité Sociale de 2018 pour que soit fixé un modèle économique aux activités de télémédecine.
Le collectif Ethik-IA en 2017 est né de l’idée qu’on ne pouvait pas reproduire ce blocage avec l’IA, sous peine de voir la France être reléguée à un rang secondaire dans le domaine, ou d’assister à une mise sous tutelle des systèmes de santé. Notre position est qu’il faut s’ouvrir à l’innovation et à ce qu’elle peut amener de gains pour la société en général et la santé en particulier, tout en la régulant pour ne pas basculer dans le règne de l’automatisme sans recul. Car laisser les algorithmes tourner seuls nous expose à un certain nombre de risques et de dérives conséquents.

Le rapport d’Allicène sur le numérique et la santé souligne un « paradoxe » français, entre le nombre de bases de données de santé existantes et le faible nombre d’applications de santé développées. À quoi cela tient-il ?


On dit souvent que la France dispose des meilleures bases de santé au monde. C’est vrai du point de vue des données médico-administratives, comme celles de remboursements des soins de la Caisse Nationale d’Assurance Maladie (CNAM) : avec l’organisation centralisée du système, celle-ci a une base de données très profonde. Mais cette base de données est découplée des données cliniques, qui restent stockées dans les systèmes d’informations des médecins de ville, des cabinets libéraux et des établissements de santé. Il y a donc une partition entre ces deux environnements, qui sont longtemps restés étanches l’un à l’autre. Le Health Data Hub vise aujourd’hui à créer une plateforme pour faire s’interpénétrer ces environnements de données.

D’autres pays n’ont pas ces problèmes-là et vont d’ailleurs assez loin dans l’entraînement des IA de santé. J’ai eu l’occasion d’observer celle de la région de Shanghai, qui regroupe les données cliniques et médico-économiques de 30 millions de patients. Mais elle est alimentée sans leur consentement... C’est là où commence l’éthique : quand un système de valeur entre en jeu, avec un référentiel, qui peut différer selon les cas. Avec Ethik-IA, il nous semble qu’une grille de lecture centrale dans ces questions est la partition entre l’éthique de la personne et l’éthique du collectif en matière de santé.

« Une grille de lecture centrale est la partition entre l’éthique de la personne et l’éthique du collectif en matière de santé. »


C’est-à-dire ?


On sait qu’en Chine, le système de valeurs socio-culturel donne une prime à la société par rapport à la personne ou l’individu. Dans nos modèles plus occidentaux, c’est le prisme inverse, qui considère plutôt l’individu ou la personne. Bien entendu, il ne faut pas caricaturer : on fait aussi parfois prévaloir l’intérêt collectif en France et en Europe — c’est même la racine de l’hygiénisme de santé publique. Mais on observe bien, par exemple, comment ces approches différentes ont pu jouer dans les réponses différentes apportées par les pays à la crise du Covid.
Le facteur numérique et l’IA ajoutent à cette tension entre individu et collectif, sans qu’on en ait toujours conscience. Par nature, l’algorithme est un programme mathématique qui va proposer, à partir d’un ensemble de données, des décisions ou des orientations de décisions en fonction d’un intérêt mathématique et de l’intérêt du plus grand nombre, même si c’est au prix d’éléments péjoratifs pour un individu ou un groupe d’individus.
Face au Covid-19, dans certains pays asiatiques, on a pu observer dans l’usage du numérique le recours à cette dimension collective, voire collectiviste. Elle a amené à superposer à des mesures de restriction des libertés individuelles dans l’intérêt du plus grand nombre (ce qu’est le confinement) des éléments de logique algorithmique, qui viennent renforcer l’arbitrage en faveur du collectif par rapport à l’individuel.
La France et l’Europe ont souscrit pour partie à ces approches, mais pour partie seulement. On le voit dans le malaise que suscitent chez certains les solutions de data-tracking. Même en laissant de côté la question de savoir si ces inquiétudes sont fondées ou non, cela montre que nous ne sommes pas prêts, dans nos pays, à aller au bout d’une logique qui fait primer l’intérêt du plus grand nombre au mépris de nos libertés individuelles. Alors que dans d’autres systèmes de valeurs, ce serait l’expression d’une distinction individuelle qui serait considérée comme non-éthique.

« Le facteur numérique et l’IA ajoutent à cette tension entre individu et collectif, sans qu’on en ait toujours conscience. »


Quels sont selon vous les principaux risques éthiques actuels liés à l’introduction de l’IA en santé ?


Ces dernières années, les débats sont restés très polarisés, avec d’un côté les grands supporters de la technologie un peu technolâtres et de l’autre les tenants d’un « Big data Big brother », agitant la crainte de super-machines allant toutes nous exterminer.
Avec le collectif citoyen Ethik-IA, nous avons souhaité prendre de la distance avec ces discours pour identifier les risques critiques auxquels nous étions réellement exposés. Notre grille de lecture a été prolongée par le Comité Consultatif National d’Éthique dont j’ai eu l’honneur de codiriger les travaux en éthique avec Claude Kirschner, directeur de l’INRIA.
On peut se représenter les risques de l’IA en santé comme une pyramide à trois étages.
Le risque éthique le plus grand est celui de se fermer à l’innovation en numérique et en IA. La qualité de la prise en charge dans le système de soins est aujourd’hui tellement sous-efficiente qu’il ne serait tout simplement pas éthique de ne pas avoir recours à ces outils. Nous l’avons constaté clairement dans la question des maladies chroniques et métaboliques.
Le deuxième risque est celui d’une sur-réglementation. Avec ses règlements nationaux et le RGPD, la France est déjà le pays où les données de santé sont le plus protégées juridiquement. Si l’on ajoute des crans de réglementation, on risque d’accentuer la tendance des professionnels de santé et des patients français à se tourner vers des outils qui auront été développés ailleurs plus rapidement, mais ne seront pas entourés des mêmes champs de régulation éthiques.
Il existe ainsi en France déjà beaucoup de mécanismes de régulation opposables (un droit est opposable quand il engage la puissance publique : celle-ci a des obligations de résultats et les citoyens ont des modes de recours pour exiger sa mise en œuvre effective, ndlr). Plutôt que d’en rajouter, il est plus judicieux de réfléchir à d’autres outils.
Reste enfin l’étage des risques éthiques intrinsèques. Ils sont de deux ordres. Le premier, c’est la tension entre individu et collectif, le risque d’une dérive collectiviste qui minore l’individu et écrase les principes de la médecine personnalisée.
L’autre, c’est celui de la délégation. Délégation de la décision du médecin à l’IA d’abord : l’IA propose des orientations de décision et le médecin appuie sur le bouton sans se poser de questions. Ce risque est celui de la disparition de l’esprit critique. De la même façon, le risque côté patient est celui de la délégation du consentement. C’est la même chose qu’avec l’algorithme de recommandation de Netflix. Plus je regarde des séries, mieux l’IA connaît mes préférences : elle sait avant moi ce que je veux voir, et ajoute à ça la pression du facteur collectif, en me disant que la série est recommandée à 98%... Avec les recommandations, je ne dis plus jamais non, je regarde de plus en plus de séries et je suis de plus en plus heureux — mais au prix d’une délégation de mon consentement à l’IA.

Cette tension entre collectif et individu n’est pas neuve. Et la dimension éthique est au cœur de la médecine depuis toujours, comme en témoigne le serment d’Hippocrate. Les enjeux éthiques soulevés par l’introduction de l’IA en santé ne font-ils que rejouer à nouveaux frais ces tensions anciennes ou créent-ils des risques d’un nouvel ordre ?


Pour moi, il s’agit plutôt de questions anciennes, que l’IA peut porter à des échelles hyperboliques.
Le risque de délégation de la décision du médecin existe déjà aujourd’hui, avec toutes les machines d’aide à la décision médicale (scanners, IRMS...) qui font que le médecin, s’il n’y prend pas garde, peut entrer dans une forme d’automatisme.
De même, la tension entre individu et collectif existe déjà au 19e siècle : l’hygiénisme, ce sont des normes de protection du collectif établies au prix d’éléments de mesure de protection individuelles.
Avec l’interconnexion des systèmes et la puissance de calcul des algorithmes d’IA, il y a une réelle possibilité d’erreur massive — qui apparaîtraient dans la logique du calcul comme de simples dommages collatéraux et rationnels.
Dans mon roman S.A.R.R.A , une IA est chargée de produire un vaccin pour réduire une épidémie d’Ébola dans Paris. Dans l’intérêt du plus grand nombre, elle prend des décisions qui vont l’amener à sacrifier des dizaines de milliers de personnes. Elle le fait en pure rationalité, avec un raisonnement arithmétique puissant et étayé sur toutes les données dont elle dispose. Mais c’est une décision que dans une éthique humaine, on n’aurait sans doute pas prise.
On voit que si les risques auxquels on doit répondre ne sont pas des risques nouveaux, la magnitude potentielle de leur concrétisation implique des méthodes de régulation nouvelle.

« Si les risques auxquels on doit répondre ne sont pas des risques nouveaux, la magnitude potentielle de leur concrétisation implique des méthodes de régulation nouvelle. »


Une crainte qui s’exprime souvent est celle de la « déshumanisation du soin ». Mais vous parlez plutôt de risque de la « délégation de la décision de soin ». Cette crainte de déshumanisation vous semble-t-elle fondée ?


En effet, il est important de qualifier précisément les choses. Car on observe que dans de nombreuses situations, le numérique est au contraire un facteur de ré-humanisation du soin. La crise du Covid19 a bien montré l’usage massif de technologies numériques pour tenter de restaurer du lien humain, via les téléconsultations, par exemple. Je suis directeur du programme santé du groupe Jouve et nous avons mis en place une solution d’IA d’automatisation de l’admission en établissements de santé, qui se développe beaucoup avec la crise du Covid19. Et traiter ce genre de formalité administrative et financière de manière algorithmique, c’est au contraire restituer du temps humain pour la prise en charge elle-même. Contrairement à ce que l’on pense, il ne serait donc pas très « humain » de bloquer le développement d’outils de ce type.
Pour moi, la déshumanisation commence avec le début de boucles de soins complètes où on n’interagit plus à aucun moment avec un professionnel de santé humain.
Quand on a fixé le régime de télémédecine, on a établi le fait que la télémédecine était une interaction à distance par le recours au numérique entre un patient et un système de santé humain. On pourrait imaginer aujourd’hui (on a la capacité technique de le faire), une boucle de téléconsultation avec un algorithme, où votre guidage, vos questions sont entièrement prises en charge par la machine. Là commence la déshumanisation : dans le cadre français, ce n’est plus de la télémédecine.
L’autre risque c’est celui de la « déshumanisation de nos têtes », celui où vous faites tellement confiance à la machine que ça devient un réflexe : ça devient « machinal ».
Cet élément de disparition de l’esprit critique n’est d’ailleurs pas lié à la technologie : dans De la démocratie en Amérique, Tocqueville imagine déjà une foule soumise à une dérive hyper-égalitariste des sociétés contemporaines et au poids de ce que j’appelle « une satisfaction émolliente » : l’idée que le progrès procure tellement de satisfactions qu’on ne recherche plus l’inconfort de l’esprit critique, et au fond l’idée même de liberté.

L’autre question sensible, c’est celle de la protection des données de santé. Au vu des différents groupes de réflexion auxquels vous participez, est-ce qu’il vous semble qu’on a actuellement des garanties suffisantes de protection des données de santé pour pouvoir mettre en œuvre les promesses de l’IA en santé ?


La France est le pays qui offre le cadre de protection juridique des données de santé le plus fort au monde, combinant le RGPD et la réglementation nationale. Est-ce suffisant ? Pour l’essentiel, oui. En ajoutant des couches, on risque d’accélérer le mouvement déjà à l’œuvre dans de nombreux domaines, d’importation d’outils numériques conçus ailleurs, dans des cadres moins protégés.
Cependant, si protecteur soit-il, le cadre juridique français est par certains aspects trop formels et par d’autres insuffisamment protecteur. Trop formel : parce que le RGPD a été forgé à un moment où on raisonnait beaucoup en termes de Big Data. Or cette notion me semble un peu trop simpliste, surtout dans le domaine des données de santé : elle implique l’idée qu’elles seraient toutes équivalentes et devraient être protégées de la même manière. Pourtant, on comprend bien que les données de santé que je peux avoir dans mon iPhone n’ont pas la même valeur que les données de santé qui sont dans mon dossier médical, qui lui-même n’a pas la même valeur que mon génome. On gagnerait à mettre en place une gradation plus fine et plus concrète dans notre échelle de protection des données.
On pourrait ainsi partager beaucoup plus largement les données courantes, dans des cadres d’intérêt général type Health Data Hub, français ou européens, et être le plus protecteur possibles des données sensibles, comme le génome. Car on sent qu’il y a dans ce domaine une compétition mondiale, avec un risque éthique assez fort associé à la non-maîtrise.

De quel type seraient ces risques éthiques ?


Le risque principal, et qui n’est pas théorique, c’est celui de dérives eugénistes, lorsqu’on incorpore un paramétrage génétique en fonction d’orientations de traitement qu’on met en place.
Plus immédiatement, il y a l’idée que quand on met notre patrimoine génomique à disposition d’algorithmes d’IA qui interviennent uniquement sur le plan clinique, on ne sait pas ce qui se passe en réalité. Prenons un algorithme comme celui de DeepMind, forgé pour répondre au risque d’insuffisance rénale sévère. Cet algorithme a été entraîné à partir de données de dossier médical du NHS britannique, et il met en place une arborescence de décisions à partir de données cliniques.
Si l’algorithme a été entraîné à partir de données de santé cliniques, il ira chercher des explications dans un environnement clinique. Mais si vous ajoutez la base de données génomiques, il va chercher à expliquer les récurrences entre patients à partir de facteurs génomiques. Est-ce réellement une amélioration de la finesse d’approche de l’algorithme ou est-ce perturbateur ? C’est un saut dans l’inconnu.
Le troisième risque, enfin, porte sur un enjeu de souveraineté nationale ou européenne : c’est celui de perdre la maîtrise de notre génome. Là encore, le principal facteur de risque n’est pas la technologie, mais nous-mêmes. Fin 2019, au moins 300 000 Français avaient déjà envoyé des cheveux, de la salive hors d’Europe pour faire examiner leurs antécédents génétiques. On est ici autant dans une question d’éducation que de régulation éthique.

Lire la suite de l'entretien


Les commentaires

Pour réagir à cet article, je me connecte Je m’inscris

Soyez le premier à réagir !

S’inscrire et participer

Inscrivez vous sur le Digital Society Forum pour commenter et réagir sur les articles et être informé des événements à venir

DSF