Digital Society Forum Digital Society Forum
Et si... ? 04/10/2018

Et si le design éthique ne restait pas un vœu pieu ?

Fait divers dans la petite ville de Queenstown en Nouvelle-Zélande, le 22 janvier 2016 : un troupeau de moutons arrête des fuyards en cavale. N’écoutant que leur courage, les 150 ovidés bloquent la chaussée et permettent aux policiers de rattraper le véhicule après 90 minutes de course-poursuite. Un journaliste sur place au moment des faits témoigne : « Je ne sais pas si les officiers avait entraîné les moutons, mais ils ont fait du bon boulot en arrêtant cette voiture ». Photo tirée d'un article du Guardian , signée Che Baker/Fairfax Media NZ / Southland Times .
S’est tenue tout début octobre la principale rencontre française dédiée à la conception numérique responsable : Ethic by design . L’événement, organisé par le collectif des designers éthiques (@designethique) proposait deux jours de conférences et ateliers portant notamment sur l'économie de l’attention. Car c’est maintenant un poncif : de nombreux services numériques fonctionnent en avalant plus ou moins honnêtement notre temps, via stratagèmes ergonomiques et autres astuces algorithmiques. Alors que la connaissance du fonctionnement du cerveau s’améliore, il devient possible d’objectiver ces procédés et, pourquoi pas, de penser à les réguler. Cela étant, l'enjeu éthique dépasse de loin les questions techniques, et sa diffusion dans l’entreprise ne va pas sans difficultés. Est-il réellement possible de concilier business et éthique ? Comment adopter une éthique pratique « dans la vraie vie » ? Quelques réponses.

Difficile de revenir de façon exhaustive sur cet événement d’ampleur qui rassemblait une trentaine d’intervenants issus de champs pour le moins variés : designers, philosophes et sociologues partageaient la scène avec autant d’entrepreneurs et associations portés par la thématique. La force de cette pluridisciplinarité : elle offre un regard panoramique sur l’éthique des services numériques. Marc Antoine Pencolé par exemple, Professeur agrégé de philosophie (Sophiapol - Université Paris-Nanterre), a pu lors de son intervention, « De quoi les algorithmes nous dépossèdent-ils ? (Et comment s’en ressaisir ?) », mettre en perspective les grands enjeux liés à la mise en équation de nombreux aspects de nos vies. Le chercheur s’est permis de rappeler que les algorithmes - ces « objets chauds » qui automatisent le traitement de données - ne se contentent pas de numériser le réel : ils changent littéralement le monde et « prennent maintenant des décisions analogues à celles que l’on prend collectivement avec nos lois ». Par leur complexité, ils peuvent rendre difficilement contestables certaines décisions, tout en prétendant à l’objectivité. Les risques sont réels, car ces outils reproduisent ou renforcent parfois des présupposés bien humains (sociaux, raciaux). En 2016 par exemple, une enquête de ProPublica estimait que Compas (Correctional Offender Management Profiling for Alternative Sanctions), un logiciel censé évaluer les risques de récidive de prévenus, surévaluait ceux des Afro-américains. Pencolé rapporte également les travaux de Virginia Eubanks (Automating Inequalities ) qui portent sur l’automatisation des systèmes de demandes d’aides sociales. Ces système se révèlent tout à fait incapables de gérer les cas singuliers (profils atypiques, demandes d’une « seconde chance » ou d’un délai supplémentaire), et de conclure : « Un algorithme peut être incompétent moralement, quand les humains, eux, ont une compétence morale. »

Pour le chercheur, ces mécanismes algorithmiques reposent sur trois piliers : l’inscription du réel dans un système de surveillance, l’exploitation occasionnelle du travail (on parle de « digital Labor ») et la marchandisation de tout ce qui peut d’une manière ou d’une autre se numériser. Pour autant, ces ensembles théoriques ne sont pas des horizons indépassables : en prenant les cas de l’échange de fichiers en pair à pair ou encore de Wikipédia, Pencolé rappelle que la morale n’est pas dans l’absolu incompatible avec le monde des machines. Dans le cas du P2P, un logiciel comme BitTorrent code permet de gérer les règles morales de toute une communauté, avec certains avantages comme la mise en place d’un système bonus / malus pour les individus qui partagent ou non leurs fichiers, ou un gain de temps substantiel dans le traitement quotidien des affaires : aucune communauté humaine n’est capable de gérer un tel volume de petites choses à juger...

De ces déconstructions théoriques, surgissent de redoutables questions éthiques. En coulisse, c’est toujours le même socle d’idées qu’il est bon de rappeler : non, les technologies ne sont jamais neutres, elles sont l’objet de choix humains, elles se diffusent dans la société bien au-delà de ce qu’on aurait pensé. Les technologies sont politiques. Mais de la théorie à la pratique, il y a plusieurs sauts quantiques : comment se (re)donner une conduite éthique ? Comment saisir ces questions dans le monde feutré de l’entreprise, souvent allergique aux sujets qui fâchent ?

Il fallait la clarté d'un Guillaume Champeau (@gchampeau), directeur éthique et affaires juridiques chez Qwant, pour ouvrir ce sujet épineux. L’ancien journaliste fondateur du site Numerama a évacué d’entrée de jeu un dilemme à son sens artificiel : l’incompatibilité supposée entre éthique et business. Qwant est une entreprise capitaliste et est tenue, comme n’importe quelle entreprise, de respecter la Déclaration universelle des droits de l'homme, dont l’article 12 protège la vie privée. Dans le cas du moteur de recherche Qwant, dont la mission première est de donner accès à l’information, cela passe tout d’abord par le non filtrage des contenus. A cela s’ajoutent une multitude de questions : doit-on tomber sur des sites complotistes ou bien des études scientifiques lorsqu’on formule une requête pour connaître la forme de la terre ? Faut-il ou non référencer ces « fake news » dont la définition est d'ailleurs très vague ? Peut-on afficher une publicité comme si c’était un résultat naturel à une requête ? Faut-il cacher certaines images aux enfants ? Chacune de ces questions est traitée avec minutie chez Qwant : le moteur a par exemple choisi de n’afficher des publicités que sur le bandeau droit de sa page d'accueil. Plus sensible encore, la question de la collecte des données personnelles : Champeau a rappelé que « votre moteur de recherche est le premier à savoir que vous avez un cancer. Il est le premier à savoir que vous êtes vegan ou musulman. Quand on log toutes vos recherches pendant des années on sait très précisément qui vous êtes, vos convictions religieuses, votre niveau socio-culturel. » Chez Qwant, la question est tranchée, l’entreprise se refuse à collecter des données : pas de cookies, pas de regard indiscret sur votre historique de recherche, pas de logs, une connexion sécurisée via HTTPS, et puis des infrastructures en propre.

Ces choix sont loin d’être anodins. D’une part, ils dénotent une certaine vision de l’organisation de la société. Qwant ne veut pas savoir ce que ses utilisateurs font ni qui ils sont car l'entreprise ne souhaite pas endosser le rôle plutôt paternaliste de « guide au quotidien » basé sur la connaissance intime de ses clients, comme peut le faire Google, ou encore Amazon avec ses enceintes connectées capables de connaître la composition et le rythme de vie d'un foyer. C’est pour Guillaume Champeau une question de souveraineté individuelle : « personne ne doit exploiter ce que vous faites sur internet, plus vous reprenez la main sur vos données plus vous êtes souverain dans vos choix. » Pour légitimer ces choix au quotidien, Guillaume Champeau, directeur de l’éthique, siège au comité de direction : il est le point de contact de toutes les équipes sur ces sujets. Concrètement, il a un « droit de véto » : toute initiative impliquant un sujet éthique passe par lui. Ce pouvoir contraignant est symboliquement fort. Car dans beaucoup d’endroits, les fonctions éthiques ou relatives à l’environnement n’ont pas leur place au sein de la direction. Ce qui explique pourquoi, bien souvent, elles sont sans effets.

N’est-ce pas là un risque pour le business ? Peut-être, mais se donner une conduite et des règles est aussi différenciateur. Guillaume Champeau parle de « contrainte créatrice » et rappelle que Google ne gagne que 10 à 20% de plus en faisant de la publicité ciblée sur son service de recherche : ils pourraient très bien vivre sans. L’éthique peut donc être autre chose qu’un vœu pieux, autre chose qu’une caution supplémentaire sous forme de [insérer une cause]-washing. Mais elle doit se donner les moyens de ses fins, dans l’entreprise et dans les lois, ce qui demande en fin de compte une qualité pas si fréquente : le courage.


Les commentaires

Pour réagir à cet article, je me connecte Je m’inscris

Soyez le premier à réagir !

S’inscrire et participer

Inscrivez vous sur le Digital Society Forum pour commenter et réagir sur les articles et être informé des événements à venir

DSF