C’est la machine qui décide

Annie était exaspérée. Elle essaya une dernière fois de faire démarrer sa voiture, en vain, et dut se résoudre à dormir sur la banquette arrière. Cette nouvelle machine était trop sensible, ne fonctionnant pas bien du tout, et personne ne la croyait. Tout le monde, y compris sa famille et ses amis, continuait à penser qu’elle buvait toujours en secret tandis qu’elle avait complètement cessé l’alcool depuis près d’un an. Elle ne pouvait même plus coucher ailleurs, les gens avaient trop peur qu’elle ait bu et fasse la folle toute la nuit, comme dans le passé!

Annie a eu beaucoup de problèmes avec la boisson, au point d’en perdre son permis de conduire et se rendre coupable de plusieurs agressions. Après qu’elle ait purgé deux peines de prison, on l’a contrainte à faire installer une machine dans son véhicule. À l’origine, ce genre de dispositif avait pour but de mesurer le taux d’alcool à partir de l’haleine. L’utilisateur soufflait dans la machine, l’appareil analysait l’air et la voiture ne démarrait que si l’air était exempt d’alcool. Cela fonctionnait relativement bien, sauf un petit problème: certaines personnes en vinrent à penser que la machine permettait de savoir si on peut conduire ou pas. Des gens sobres prirent leur voiture après avoir consommé du cannabis et même d’autres drogues. Certains conducteurs somnolents soufflèrent dans la machine et prirent le volant confiants qu’ils pouvaient conduire, et il y eut des accidents.

Une entreprise pouvait tout régler ça, grâce à l’intelligence artificielle! Il suffisait d’ajouter à la machine à souffler d’origine une petite caméra et un petit micro et grossir un peu le processeur interne. La machine demandait de souffler, prononcer certains mots et regarder la caméra, puis utilisant un modèle mathématique, combinait tous ces signaux pour aboutir à une décision. Laisse-t-on la personne démarrer sa voiture ou pas? Entraîner le modèle nécessita une grappe impressionnante de processeurs graphiques et un énorme effort de collecte de données, mais évaluer si une personne pouvait conduire ou pas, d’après les signaux des capteurs de l’appareil, nécessitait peu de mémoire et un simple petit processeur. En fait, un Raspberry Pi 5 aurait pu le faire, mais ils optèrent pour un processeur dédié deux fois plus coûteux supposément pour la sécurité, mais ça faisait juste taper encore un peu plus sur des gens qui avaient déjà purgé leur peine.

Le pire, c’est qu’Annie a eu le choix. On lui proposait soit la machine ordinaire ou la nouvelle à base d’intelligence artificielle. On lui fit accroire que la nouvelle machine était plus précise et pouvait parfois dire « oui » même si un peu d’alcool avait été détecté. Oui, on pouvait, selon les dires du fabricant, prendre un verre durant la soirée et être correct. C’est très facile de pousser les gens à prendre la nouvelle machine, même si elle est plus coûteuse que l’ancienne. Il suffit d’offrir du financement pour la nouvelle machine et pas pour l’ancienne! Oui oui, un certain montant à payer par mois, qui a l’air petit, mais tu paies pendant trois, voire cinq ans. Si tu veux la vieille machine, il faut que tu la paies d’un coup! Exploiter la vision à court terme des gens trop occupés par des futilités pour analyser et comprendre, telle est la devise de bon nombre de grandes entreprises, malheureusement. Le choix fait, on ne pouvait pas revenir en arrière. Quand Annie a constaté qu’elle était coincée avec ça, il était trop tard; les vieilles machines n’étaient plus disponibles.

Pourquoi est-ce que la nouvelle machine fonctionnait aussi mal? D’abord, les données d’entraînement étaient incomplètes. Le fabricant a choisi beaucoup de sujets fatigués, leur faisant tester le dispositif après leurs longues journées de travail. Les testeurs ne devaient pas avoir pris d’alcool (parce que la machine à souffler d’origine vérifiait bien ça) et pas même de drogues. Plusieurs ne prenaient pas de chance et ne consommaient pas de cannabis les jours avant leur séance de collecte de données. Résultat? La machine avait du mal à discerner une petite fatigue d’une consommation de cannabis.

Lors de la conception de l’intelligence artificielle qui établissait si le sujet peut conduire ou pas, un gros effort a été fait pour que la machine ne fasse preuve d’aucune discrimination. Le modèle s’est adapté aux contraintes mises en place et a établi qu’il suffisait qu’aucune discrimination apparente ne soit faite. Par exemple, l’intelligence artificielle utilisait des modèles différents, juste un peu plus sévères, pour les hommes que pour les femmes. Elle était légèrement plus sévère avec les noirs qu’avec les blancs. On ne s’en rendait pas compte, car c’était un infime biais, un peu comme au casino où la probabilité de gagner est légèrement au-dessous de 50%, toujours en faveur de la maison. Le problème est que les biais infimes (sexe, couleur de peau, âge, etc.) s’additionnaient et devenaient significatifs.

Il faut aussi garder à l’esprit que les voies de la machine étaient impénétrables. La machine dit oui tu peux conduire, ou bien non tu ne le peux pas, mais l’utilisateur n’avait aucun moyen de savoir pourquoi cette décision a été prise! En fait, même le fabricant ne saurait dire! En plus de ça, un programmeur de génie a mis en place une petite règle: ne prends pas de chance, dans le doute dis non! C’est que le modèle ne dit pas oui ou non, il retourne une valeur numérique entre 0 et 1, indiquant la probabilité que la personne soit apte à conduire ou pas. Au début, on avait établi que 0.9 serait un seuil acceptable, mais un petit génie a baissé ça à 0.8, puis à 0.7!

À terme, il ne resta aucune autre solution pour Annie que de délaisser sa voiture et prendre le vélo quand elle pouvait, ou sinon se tourner vers d’inefficaces services de covoiturage qui impliquent de changer de compagnon chaque semaine parce que les gens ont trop de choses dans la tête et changent de plan tout le temps.

Peu importe que Annie soit fautive ou non dans tout ça, il se peut bien qu’elle paie pour le manque de jugement de ses prédécesseurs. Si les gens demeuraient raisonnables et cessaient enfin de conduire les facultés affaiblies, peu importe pourquoi, peu importe qu’ils croient être mieux que les autres et pouvoir conduire sous l’effet de l’alcool ou de la drogue, peut-être cette machine tyrannique à base d’intelligence artificielle n’aurait pas eu à voir le jour. Il faut aussi que tous ceux qui travaillent dans le domaine de l’intelligence artificielle placent la responsabilité au premier plan dans leurs processus de développement, pour que la machine prenne des décisions justes, équitables et explicables. Il n’est pas encore trop tard pour aller dans la bonne direction, beaucoup de réflexion se fait dans ce sens et c’est tant mieux!

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *