Digital Society Forum Digital Society Forum
Focus 29/10/2019

Un algorithme de santé américain biaisé en faveur des Blancs

Les médecins de la série Scrubs sourient peut-être car ils datent d'avant l'introduction de ces algorithmes, DR
Une équipe de chercheurs américaine s'est penchée sur un algorithme commercial très utilisé dans le secteur du soin. En comparant les données de santé d’un large échantillon de patients et les résultats produits par l’algorithme, elle a montré que celui-ci était biaisé en faveur des Blancs, car il sous-estimait systématiquement l'état de santé des Noirs.
Cette importante étude montre de façon exemplaire comment les biais peuvent survenir dans des programmes malgré les intentions explicites de leurs créateurs, mais aussi comment ceux-ci peuvent être corrigés.

En effet, les chercheurs ont pris contact avec les fabricants de l’algorithme étudié pour partager leurs résultats (dans l’article publié dans la revue Science, les chercheurs ne nomment pas l’algorithme, mais le Washington Post l’a identifié comme le programme Optum). Ils ont ensuite travaillé ensemble pour établir d’autres façons de calculer le risque de santé qui ne soient plus discriminatoires.

Les algorithmes et la réduction des coûts


Depuis l’Affordable Care Act, passé sous Obama en 2016, le système de soin est fortement incité à réduire les coûts. Pour ce faire, les hôpitaux sont incités à identifier les patients ayant des pathologies complexes, pour pouvoir les accueillir dans des programmes spécialisés, où ils bénéficient de soins spécifiques et de ressources supplémentaires. Le principe est de leur éviter une détérioration de leur état, catastrophique pour eux et très coûteuse pour le système de soin. Mais les places dans ces programmes sont limitées et les hôpitaux ont de plus en plus recours à des algorithmes commerciaux pour sélectionner les patients qui y seront admis. Les concepteurs de ces algorithmes doivent alors choisir des indicateurs et des métriques, permettant de quantifier une réponse à la question suivante : « quels patients ont le plus besoin de ces soins ? ». La réponse la plus fréquemment apportée est : « ceux qui utilisent déjà le plus le système de santé. » Côté data science, il suffit alors d’analyser l’historique de l’usage du système de soins des patients pour identifier ceux qui auront le plus besoin de ces programmes de soin spécialisés. L’algorithme va générer un score de risque, et ceux dont les scores seront les plus élevés seront dirigés vers les systèmes d’admission de ces programmes.

L’algorithme sous-estime l’état de santé des Noirs


Or, en comparant les données de santé d’environ 50 000 patients avec les prédicteurs de risque produits par l’algorithme, les chercheurs ont mis en évidence un fait troublant : « à niveau de risque égal, tel qu’évalué par l’algorithme, les patients Noirs étaient nettement plus affectés par des maladies que des patients Blancs. » De même, « nous avons découvert que l’état de santé des Noirs était bien inférieur à celui des Blancs, pour tous les niveaux de prédiction effectués par l’algorithme. » En d’autres termes, l’algorithme sous-estimait systématiquement l’état de détérioration de santé des patients Noirs, par rapport aux patients Blancs. Ceux-ci étaient donc favorisés par le système, qui les orientait plus souvent vers les admissions en soins spéciaux — intensifiant ainsi les inégalités de santé existantes. (Même si, soulignent les chercheurs, les décisions finales d’admission sont prises par des médecins, et pas sur la seule base des scores algorithmiques).

Comment les biais surgissent


Pourtant, l’algorithme n’est pas raciste. Ses concepteurs ont même délibérément exclu la variable « race » des données collectées, et choisi une métrique apparemment « neutre » : celle du coût des soins. L’idée semble logique : plus on est malade, plus on a recours au système de santé. Mais cette conception ignore la réalité des inégalités de santé. Aux États-Unis comme ailleurs, les pauvres n’utilisent pas le système de soins comme les riches, ni les Noirs comme les Blancs. A état de santé égal, les Noirs dépensent environ 1800 dollars de moins par an que des Blancs. De nombreux facteurs l’expliquent : les pauvres ont plus difficilement accès aux soins que les Blancs (faute d’assurance santé, ou parce que les infrastructures de soin sont absentes ou difficilement accessibles là où ils vivent), les Noirs sont discriminés de diverses façons par le système de soin (perceptions biaisées des médecins, orientations moins fréquentes vers des soins préventifs), et les patients noirs ont eux-mêmes une confiance réduite en le système de santé, héritée de l’histoire de discrimination et de violence raciale du pays.
Dans ce contexte socio-culturel, considérer les dépenses de santé comme principal indicateur de l’état de santé des malades conduit l’algorithme à sous-évaluer la gravité de l’état des patients noirs, malgré les bonnes intentions des concepteurs. « Ce mécanisme est particulièrement pernicieux, car il montre que les biais peuvent naître de décisions raisonnable. », expliquent les chercheurs.

Formuler en données des problèmes sociaux


L’enjeu réside donc dans la « formulation du problème » : comment transposer en métrique et en données des questions sociales du type de « Comment savoir quels patients ont le plus besoin de nos soins » (ou, dans d’autres domaines : « comment estimer le risque de la criminalité », « comment engager de bons employés »). Cette phase de « mise en données » de question sociale est centrale dans l’émergence des biais, même si elle est encore peu étudiée .
Dans ce cas précis, les chercheurs ont contacté l’entreprise pour lui communiquer ses résultats. Celle-ci a reproduit leurs tests et abouti aux mêmes conclusions. Elle a alors proposé aux chercheurs une collaboration (à titre gracieux, précisent-ils), pour concevoir des métriques non discriminantes. Plutôt que se concentrer uniquement sur les coûts, le nouvel algorithme prend également en compte l’évolution probable de l’état de santé, selon les maladies chroniques déjà déclarées. Cette « histoire algorithmique », si on veut, finit bien : le biais a été identifié et corrigé. Mais, alertent les chercheurs, de nombreux biais subsistent, dans les algorithmes utilisés en santé et ailleurs.
Il est donc essentiel de bien réfléchir aux métriques que nous utilisons, à la façon dont nous choisissons les données : « nous devons changer les données avec lesquelles nous alimentons les algorithmes — et particulièrement la façon dont nous les identifions. Pour produire de nouvelles catégories, il faut comprendre en profondeur le domaine où on intervient, être capable d’identifier et d’extraire les données pertinentes, et pouvoir procéder de façon itérative, tout en ayant la latitude d’expérimenter. »
Une phrase qui vaut programme à un moment où des algorithmes privés et non audités jouent un rôle croissant dans nombre de pans de la société.


Les commentaires

Pour réagir à cet article, je me connecte Je m’inscris

Soyez le premier à réagir !

S’inscrire et participer

Inscrivez vous sur le Digital Society Forum pour commenter et réagir sur les articles et être informé des événements à venir

DSF