Digital Society Forum Digital Society Forum
IA Dossier
  • Les thèmes
  • Dossier
  • Agenda
  • Le magazine
  • commentaires
  • auteurs de référence
  • Vidéos
  • Sources
Dossier 10/05/2019

Social Fiction: Les robots peuvent-ils faire le mal ?

Le physicien et philosophe Alexei Grinbaum s'inspire de la pensée théologienne des anges et des démons pour penser l'éthique des machines autonomes. (source : Wikimédia Commons )
Si une voiture autonome tue des humains dans un accident, qui sera responsable ? Le conducteur, le concepteur, le manufactureur ? La question n'est (presque) plus théorique, à mesure que se développent les véhicules automatiques. Le magazine Socialter , dont nous sommes partenaires, a imaginé un scénario d'accident, pour le soumettre à Alexei Grinbaum , physicien et philosophe qui travaille sur les enjeux éthiques et sociaux du développement de l’intelligence artificielle, des objets autonomes et des nanotechnologies. Nous republions une version condensée de leur article, à retrouver en intégralité dans le numéro 34 de Socialter .


Et la voiture autonome tua deux collégiens


Voici un scénario fictif.
Le 14 mars 2031, à 17 heures 30, Clotilde M., 36 ans, est au volant de sa Mercène 3000, un modèle de voiture autonome dernière génération. Clotilde a rendez-vous chez son dentiste. C’est l’heure de la sortie des classes à la cité scolaire Michelet ; la Mercène roule au pas. Il est 17 heures 33 quand le véhicule s’engage dans la rue Émile-Zola. La vitesse n’y est plus limitée qu’à 50 km/h et la circulation piétonne se fait plus clairsemée : la Mercène accélère. C’est alors qu’une sexagénaire qui remontait le trottoir de gauche avec sa bicyclette, l’enfourche, contourne une tranchée ouverte pour des travaux sur les conduites de gaz, salue d’un geste l’amie qui l’accompagnait et s’engage sur la chaussée ; un véhicule de chantier en stationnement l’empêche de voir la Mercène. Un signal sonore retentit dans l’habitacle de la voiture, la voix de synthèse prévient : « Je garde le contrôle, n’intervenez pas ! » Clotilde lève son pied de la pédale de frein ; elle est paniquée. Tout se passe en quelques secondes. Contre toute attente, la voiture parvient à éviter la cycliste en braquant sur la droite, monte sur le trottoir et percute trois collégiens qui allaient pénétrer dans une boulangerie. Deux d’entre eux sont écrasés contre la vitrine qui se brise en mille morceaux ; le troisième garçon passe sous une roue. Clotilde, elle, disparaît derrière son airbag qui s’est gonflé automatiquement pour amortir le choc : elle est indemne. La voiture est à peine cabossée au niveau du pare-chocs. (...)
(L'accident devient un sujet de société, des personnes vandalisent la voiture, les média s'emparent de l'affaire, pour débattre de cette question : qui faut-il tenir pour responsable de la mort des collégiens ? )

Ne pas considérer la voiture comme un sujet moral



Alexei Grinbaum est physicien et philosophe au Laboratoire des recherches sur les sciences de la matière (LARSIM) au CEA. Il travaille sur les enjeux éthiques et sociaux du développement de l’intelligence artificielle, des objets autonomes et des nanotechnologies. Membre de la Commission de réflexion sur l’éthique de la recherche en sciences et technologies du numérique d’Allistene (CERNA), il analyse la responsabilité sociale des chercheurs et des scientifiques. Il est l’auteur de Mécanique des étreintes (Encre marine, 2014) et a tout récemment publié http://theconversation.com/les-robots-et-le-mal-110198 (Desclée de Brouwer, 2019), dans lequel il réhabilite la valeur du hasard dans la prise de décision par les machines autonomes en cas de conflit éthique mettant en jeu l’utilisateur

Que vous inspire cette fiction ?
Comme tous les récits, celui-ci contient une interprétation implicite des faits : la sexagénaire en vélo est d’emblée présentée par le narrateur comme étant moins innocente que les collégiens. Or, dans le temps de sa décision, la machine n’a pas ces éléments du contexte narré. La fiction rationalise et justifie donc la faute de la machine en l’expliquant par un récit. Mais si l’on se détache de la logique narrative, le choix aléatoire paraît bien plus justifié. De la même façon, c’est parce que les gens veulent se venger, que la voiture est vandalisée. Or, justement, l’utilisation du hasard vise à sortir la machine autonome du champ des coupables possibles. Ces gens devraient se retourner contre l’entreprise, le programmeur, la conductrice, et non contre la voiture elle-même. Mais pour cela, il faut que la voiture autonome ne soit pas considérée comme un sujet moral.

Peut-être que la colère, dans notre fiction, provient du fait que la voiture est programmée pour protéger son passager, quelles qu’en soient les conséquences ?
En effet, cette idée de protéger le passager ne laisse pas la machine prendre une décision complètement au hasard. Mercedes-Benz a fait une annonce similaire en octobre 2016 en affirmant vouloir protéger ses passagers avant tout. Face à la polémique, la marque a rapidement fait marche arrière. En créant un comité intergouvernemental, l’Allemagne a décidé que ce n’était plus aux entreprises de privilégier, en fonction de critères subjectifs, certaines personnes plutôt que d’autres en cas d’accident. Dans cette fiction, la possibilité de tuer la conductrice aurait donc été dans le champ des choix possibles de la voiture.

Est-ce qu’il ne serait pas possible de procéder à un sondage afin de déterminer le choix de la machine autonome en cas de conflit ?
Le travail de Jean-François Bonnefon dans le cadre du projet « Moral Machine » montre clairement qu’il y a trois types de tendances : en Occident, on préfère minimiser le nombre de morts ; en Amérique du Sud, on préfère protéger les gens avec le statut social le plus élevé ; et en Asie, on préfère protéger les personnes qui mènent une vie conforme à la loi. En suivant ces résultats, est-ce qu’un taxi autonome devrait détecter automatiquement l’origine ethnique de son passager pour changer ses choix ? Est-ce que les industriels devraient fournir des programmations différentes en fonction des régions du monde où leurs voitures sont commercialisées ? C’est totalement irréaliste. Je pense que déléguer la décision au peuple pour se décharger de sa responsabilité de concepteur serait amoral. Et le choix du peuple n’a pas vocation d’être un choix juste.

En cas de dilemme, pourquoi ne pas confier la décision à l’utilisateur ?
Si l’on peut rendre les commandes à l’homme et s’il a le temps nécessaire pour agir, il n’y a tout simplement pas de dilemme pour la machine et c’est le conducteur qui décide.
Le dilemme que je tente d’éclairer, c’est celui qui se présente quand la machine doit impérativement prendre une décision par elle-même et que tous les choix possibles sont négatifs...

Donc, si une machine autonome provoque un accident grave, qui est responsable ?
C’est une responsabilité partagée qui dépend du contexte. On peut identifier divers acteurs humains en fonction des informations contenues dans la boîte noire : entre ceux qui commercialisent le produit, ceux qui écrivent le programme, ceux qui sélectionnent les données pour nourrir la machine apprenante, et aussi l’utilisateur de la machine. Le concepteur qui met au monde une technique en est, d’une certaine manière, responsable ; de même que l’utilisateur, à partir du moment où il a un quelconque choix. Dans la fiction, à partir du moment où Clotilde entend « Je garde le contrôle », elle peut agir, même si elle a peur. Ce n’est donc pas un vrai dilemme pour la machine. Mais ma thèse principale vise à éviter que la machine soit considérée comme un agent moral et à faire en sorte que la responsabilité reste purement humaine.

Vous proposez de vous inspirer du droit romain pour partager les responsabilités. Pourriez-vous nous expliquer votre idée ?
L’enjeu est de savoir en fonction de quels critères la responsabilité peut être partagée. Est-ce que le propriétaire, qui n’est pas un programmeur, doit être considéré comme responsable de ce que fait sa machine autonome ? En réalité, la responsabilité d’un accident ne sera pas attribuée simplement en fonction de l’acte de propriété de la voiture parce que le propriétaire, en tant qu’utilisateur, n’a pas la connaissance de ce qui se passe dans l’algorithme. Une analogie avec le droit romain me permet de constater que ce n’est pas la propriété au sens juridique, mais le degré de connaissance, qui est la relation fondamentale qui nous relie à la machine. Dans le droit romain, le pater était personnellement responsable des actes des individus placés sous son autorité. La relation de connaissance est prépondérante, et c’est là que ce droit ancien peut nous donner des idées quant au développement futur de la justice numérique.

Cette relation de connaissance entre la machine et son concepteur pose à nouveau la question du hasard. Peut-il y avoir un véritable hasard dans le fonctionnement d’une machine ?

Il est possible de recourir à un générateur de nombres quantiques aléatoires, donc à un hasard véritable, mais ce n’est pas nécessaire. Ce qui est impératif, c’est de conserver une frontière d’opacité pour que l’utilisateur considère une décision de la machine comme aléatoire. C’est ce qu’on appelle le « pseudo-hasard informatique ». Aucun être humain ne peut intervenir sur ce pseudo-hasard. Contrairement au hasard quantique, il y a quelque part une chaîne causale qui amène la machine à faire un choix, mais elle ne peut être connue par personne.

Cette utilisation du hasard ne serait-elle pas une manière de déresponsabiliser les concepteurs ?
Que le verdict moral tombe, au moins en partie, sur les concepteurs, c’est bien normal ! Ma thèse est surtout une tentative de protéger l’objet technique du verdict moral qui risque de s’abattre sur lui. Si on ne le fait pas, la voiture autonome sera conduite à la déchetterie…

Votre objectif est donc de préserver les intérêts de la machine ?
Certains ont lu mon livre dans ce sens-là, mais mon souci est exactement inverse : il est humain. L’intérêt des hommes est que l’éthique reste leur affaire exclusive. Comment faire ? J’essaie de trouver un motif qui lie les nouvelles technologies et les enseignements éthiques qui sont les nôtres depuis le début de notre civilisation. Or, il se trouve qu’étudier les homologies entre la machine autonome d’une part, les anges et les démons d’autre part, permettrait de préserver la machine d’un verdict moral qui conduirait potentiellement à sa destruction.

Pouvez-vous nous en dire un peu plus sur cette homologie que vous faites entre les machines et les démons ?
La machine autonome est un être purement fonctionnel qui n’a pas de connaissance du bien et du mal et qui est incapable de se donner ses propres objectifs. Comparer un « individu numérique » autonome à un être humain n’est donc pas judicieux. Alors, comment faire pour établir une continuité entre notre éthique humaine et ces situations techniques nouvelles où les machines doivent prendre des décisions ? Dans le corpus des récits qui forment le socle de notre civilisation, ces êtres fonctionnels existent : ce sont les anges et les démons. Cela ne veut pas dire que la machine est un ange ou un démon, mais en regardant les choix éthiques de ces êtres fonctionnels et fictionnels, on peut en apprendre beaucoup sur l’éthique des machines autonomes.

Les sociétés ou les associations à but non lucratif comme OpenAI qui veulent créer une intelligence artificielle bienveillante travaillent donc en vain ?
Il n’y a pas qu’OpenAI qui envisage cela. La Commission européenne, par exemple, dans sa consultation publique sur le sujet, promet le paradis… En réalité, quand on évoque une intelligence artificielle « bonne », on parle simplement de fonctions utiles. Or, il est complètement illusoire de penser qu’il n’y aura que de bonnes applications. Il y en aura aussi de mauvaises, parce que les conséquences à long terme de cette technologie, comme de toutes les technologies, sont en partie imprévisibles. On crée un logiciel qu’on juge utile et puis, quelque temps plus tard, on découvre qu’il a divulgué des informations privées...

Pourtant, les machines sont « morales » en ce qu’elles impliquent la modification de nos modes de vie, non ?
Soyons lucides : la condition humaine va évoluer avec l’introduction des nouvelles technologies, comme les logiciels auto-apprenants, ou des objets intelligents comme les voitures autonomes. Avant d’être une affaire de jugement, l’éthique exige une réflexion sur le sens qui sera donné à ces changements. Il n’est pas question de sacrifier des valeurs fondamentales : comme nous, nos enfants voudront liberté, égalité et fraternité. Mais quelle sera la signification de ces mots ? Pour moi, l’impératif est d’éviter les ruptures dans l’évolution du sens et la continuité de l’histoire humaine. C’est pourquoi je m’insurge contre les fictions transhumanistes. Il est impératif que nous soyons dans une perspective d’évolution et non de révolution.

Ne devrions-nous pas avoir une exigence de transparence ?
Les systèmes apprenants les plus efficaces sont des logiciels « non explicables » : on ne sait pas pourquoi la machine fait ce qu’elle fait. Comment maintenir cette efficacité tout en préservant nos valeurs ? Pour cela, on peut par exemple ajouter un second réseau de neurones qui produirait un récit dans notre langue naturelle pour « expliquer » ce que fait le premier. C’est une technique parfaitement acceptable que l’on applique, par exemple, dans le secteur médical.

Ne pensez-vous pas qu’introduire un apprentissage du code à l’école serait un moyen de nous approprier ces technologies, comme le défend notamment Éric Bruillard ?
Tout le monde doit apprendre à coder, même un peu, pour appréhender cette manière d’agir sur le monde. L’éducation doit permettre à l’utilisateur de ne pas demeurer dans la magie et de démystifier le numérique. Sans quoi, la plupart des gens ne seront que des ouailles devant un objet technique aux allures d’un totem. Et il y a un risque que, dans ce cas, ils finissent par vouloir sacrifier ce dieu. C’est ce qu’il faut éviter.

Dans cette perspective, l’open source serait-il un moyen de se réapproprier le code ?
Je suis très favorable à l’open source. Quand un programmeur ou une entreprise abandonnent la propriété du code en le mettant en open source, ils gardent la connaissance du code mais en abandonnent la propriété. N’importe qui peut avoir accès au code et le modifier. Par contre, il serait faux de penser que si un programmeur met un logiciel en open source, il n’en est plus responsable. Il en garde la responsabilité car il en a une connaissance parfaite.

Quelles sont les responsabilités sociales des chercheurs dans la mise en circulation de leurs travaux ?
La tension est éternelle et fondamentale entre l’ambition personnelle du chercheur et ce que la société peut ou veut accepter. On ne peut pas supprimer l’ambition du scientifique, sinon il n’y a plus de science. D’un autre côté, on ne peut pas tourner le dos à la société, sinon la science ne sera pas financée. On cherche donc à réconcilier toutes ces exigences. Outre les comités d’éthique, je pense que l’instrument fondamental pour ce faire, c’est la formation des chercheurs à l’éthique. In fine, ce sont eux qui prennent la décision de créer ou de ne pas créer une technologie nouvelle. Au moment où ils auront une idée en tête, quel que soit leur enthousiasme et l’émotion qu’ils sont en train de vivre, il faudra que leur réflexion soit éclairée. Même le plus sage et le plus savant peut se laisser séduire par une technologie nouvelle, mais la réflexion permet d’éviter quelques pièges.

Propos recueillis par Sébastien Claeys et Florent Trocquenet-Lopez

La fiction et l'entretien sont à retrouver dans le numéro 34 de Socialter, en avril et mai 2019.


Les commentaires

Pour réagir à cet article, je me connecte Je m’inscris

Soyez le premier à réagir !

S’inscrire et participer

Inscrivez vous sur le Digital Society Forum pour commenter et réagir sur les articles et être informé des événements à venir

DSF