fbpx

Alors que les algorithmes colonisent l'administration et la police, leurs biais racistes apparaissent au grand jour

par Denis Hadzovic | 26 juin 2020

La tête en biais

Dans les bureaux de la police de Detroit, un voyant lumi­neux s’agite sur un écran. Il encadre un visage qui vient de passer devant une caméra de vidéo­sur­veillance et que le logi­ciel de recon­nais­sance faciale a iden­ti­fié. Après compa­rai­son avec le permis de Robert Williams, les poli­ciers n’ont aucun doute : les deux visages corres­pondent. Il ne leur reste plus qu’à cueillir l’homme qui se promène tranquille­ment avec sa femme et ses enfants. D’abord surpris par cette inter­ven­tion inopi­née, Robert explique qu’il n’est pas la personne recher­chée. Et il dit vrai : le logi­ciel de recon­nais­sance faciale s’est trompé.

« Une humi­lia­tion » : voilà comment défi­nit cet habi­tant de la banlieue de Detroit l’in­ter­pel­la­tion qu’il a subie en janvier dernier. « Je ne peux même pas défi­nir ce qui s’est passé. C’était une des choses plus choquantes que j’ai vécues », explique l’homme. Mercredi 24 juin 2020, il a demandé des excuses de la part de la police de Detroit ainsi que l’aban­don de la tech­no­lo­gie. La veille, plusieurs centaines de cher­cheurs et d’ex­perts ont signé une lettre publique qui condamne la réali­sa­tion d’une étude menée par l’uni­ver­sité Harris­burg aux États-Unis. Dans ces recherches, publiées au début du mois de mai, deux profes­seurs et un étudiant diplômé déclarent avoir déve­loppé un programme de recon­nais­sance faciale capable de prédire si une personne est crimi­nelle ou non, simple­ment à l’aide de son visage avec « 80 % de préci­sion et sans aucun biais racistes », prétendent les cher­cheurs.

L’étude devait être publiée par Sprin­ger Nature. Mais la lettre adres­sée par près de 1 000 experts, notam­ment issus d’Har­vard, Google ou Micro­soft, a poussé cette grande société d’édi­tion acadé­mique germano-améri­caine à faire marche arrière. Il faut dire que les algo­rithmes derrière la recon­nais­sance faciale ont beau­coup montré leurs défauts ces derniers temps. Des études démontrent que cette tech­no­lo­gie ne fonc­tionne pas de la même manière selon l’objet ou la personne à laquelle on l’ex­pose. Son effi­ca­cité varie selon le genre, l’eth­nie, l’âge et elle semble plus précise lorsqu’il s’agit de recon­naître une personne blanche. Des failles aux consé­quences catas­tro­phiques dans le cadre d’af­faires crimi­nelles.

Le 20 juin dernier, sur Twit­ter, un inter­naute a d’ailleurs rapporté le compor­te­ment dérou­tant de PULSE, une intel­li­gence arti­fi­cielle qui utilise StyleGAN afin de dépixe­li­ser une image. L’objec­tif est de déduire de cette photo pixe­li­sée la photo d’ori­gine. En tentant l’ex­pé­rience avec un portrait de Barack Obama, il a obtenu un résul­tat dérou­tant. L’in­tel­li­gence arti­fi­cielle a reconnu une personne blanche au lieu de l’an­cien président des États-Unis. D’autres tests comme celui-ci ont été menés et à plusieurs reprises et la tech­no­lo­gie semble renvoyer vers le même type de profil. Que ce soit des personnes au teint sombre ou aux yeux bridés, l’al­go­rithme génère plus souvent des visages cauca­siens. « Il semble que PULSE produit des visages blancs beau­coup plus souvent que des visages de personnes noires », constate son créa­teur.

Selon la profes­seure de droit à l’uni­ver­sité d’Ot­tawa Céline Castets-Renard, spécia­liste de l’éthique de l’IA, ce genre d’er­reurs « dépend surtout de la concep­tion de l’al­go­rithme et des données avec lesquelles on le nour­rit, mais aussi des données qu’on va ajou­ter dans son utili­sa­tion. On peut ajou­ter des biais dans plusieurs étapes de l’al­go­rithme et les critères rentrés orientent aussi les résul­tats ». Le créa­teur de PULSE confirme : « Ce biais est hérité de la base de données sur laquelle StyleGAN a été formée, même si d’autres facteurs auxquels nous ne prêtons pas atten­tion pour­raient influer ». Ses algo­rithmes fonc­tionnent ainsi moins bien sur des personnes noires ou sur des visages fémi­nins, car ils ont moins été entraîné avec eux. Ils sont donc moins aptes à les recon­naître. Dit autre­ment, ses créa­teurs ont intro­duit un « biais raciste » en ne leur donnant pas une base de données assez diverse à assi­mi­ler. Et c’est sans doute ce qui a valu à Robert Williams son humi­lia­tion.

Mauvais fruits

Dans le cas de Robert Williams, deux biais ont pu être à l’œuvre. D’abord, les algo­rithmes sont le plus souvent entraî­nés sur des visages d’hommes cauca­siens, et leur effi­ca­cité est donc moins bonne pour les autres. Le déca­lage est tel qu’en 2015, un algo­rithme de Google avait pris des Afro-Améri­cains pour des gorilles. Ensuite, les IA ciblent des caté­go­ries de popu­la­tion avec les mêmes préju­gés que ceux qui les utilisent. « Il n’y a tout simple­ment aucun moyen de déve­lop­per un système qui peut prédire la “crimi­na­lité” sans avoir des biais racistes, car les données de la justice crimi­nelle sont intrin­sèque­ment racistes », juge Audrey Beard, une des signa­taires de la lettre desti­née à Sprin­ger Nature.

En 2017, des scien­ti­fiques avaient déjà commis une étude visant à prédire un futur compor­te­ment crimi­nel en entraî­nant un algo­rithme avec les visages de personnes déjà connues pour crimes. Sauf qu’ils ont remarqué que la méthode était discri­mi­nante : puisque les algo­rithmes tentent de devi­ner un événe­ment à venir en faisant des statis­tiques, c’est-à-dire en géné­ra­li­sant, ils ciblaient parti­cu­liè­re­ment certains groupes ethniques déjà surveillés de manière dispro­por­tion­née par la police. « Ce sont surtout les outils de prise de déci­sion auto­ma­tique qui sont porteurs de biais, comme les outils de police prédic­tive qui ont pour objec­tif de guider la police dans les quar­tiers où il risque de se produire quelque chose. Ces outils sont biai­sés dans le sens où ils obtiennent des données de la police qui sont elles mêmes biai­sées », explique par télé­phone Céline Castets-Renard. Ces racines tordues peuvent donner de mauvais fruits dans de nombreux domaines.

Jusqu’en 2014 Amazon utili­sait une IA qui triait auto­ma­tique­ment les CV, nour­rie par des données récol­tées entre 2004 et 2014. L’al­go­rithme distri­buait systé­ma­tique­ment des mauvaises notes aux candi­da­tures de femmes pour les métiers tech­niques et cela s’ex­plique par le fait que durant ces dix années, l’en­tre­prise ne recru­tait presque que des hommes. L’in­tel­li­gence arti­fi­cielle n’a fait que repro­duire le sexisme passé qui était resté bloqué dans les données. Au début du mois de juin 2020, Amazon a inter­dit l’usage de sa tech­no­lo­gie de recon­nais­sance faciale à la police après que des défen­seurs des droits humains ont souli­gné la présence de failles dans la tech­no­lo­gie qui menacent les personnes noires. « Nous entraî­nons les algo­rithmes avec des données d’un monde profon­dé­ment inéga­li­taire » affirme l’in­for­ma­ti­cienne et socio­logue Isabelle Colet.

En France, une appli­ca­tion de gestion de données utili­sée par l’Édu­ca­tion natio­nale a perturbé les projets et l’ave­nir de centaines de milliers d’élèves et étudiants : Parcour­sup. Selon Céline Castets-Renard, son fonc­tion­ne­ment comporte des biais « par rapport à certains critères, notam­ment géogra­phiques comme le lycée d’où l’on provient ». La France a reconnu ces diffi­cul­tés liées à l’IA dans diffé­rents secteurs et a adopté une Décla­ra­tion commune avec le Canada en juin 2018 qui a pour objec­tif d’œu­vrer pour une IA éthique, centrée sur l’hu­main et respec­tueuse des droits de la personne. L’or­ga­ni­sa­tion de coopé­ra­tion et de déve­lop­pe­ment écono­miques (OCDE) a elle adopté cinq prin­cipes en mai 2019 afin de recréer une intel­li­gence arti­fi­cielle dans le respect des droits de l’homme, des valeurs démo­cra­tiques et de la diver­sité.

Seule­ment, la tâche n’est pas aisée. « Il est diffi­cile de débiai­ser », indique Céline Castets-Renard. « On peut essayer d’iden­ti­fier les données discri­mi­nées pour leur attri­buer une valeur plus impor­tante et les faire ressor­tir. Il vaudrait mieux attri­buer une valeur supé­rieure algo­rith­mique à ces commu­nau­tés et prendre le problème à l’en­vers, faire de la discri­mi­na­tion posi­tive. Cela suppose d’ac­cep­ter quelles sont les données sensibles et de les indiquer, parce que d’ha­bi­tude, elles sont occul­tées. » Pour faire un geste dans cette direc­tion, la police de Detroit pour­rait donc commen­cer par recon­naître non seule­ment son erreur, mais aussi les biais de ses outils.


Couver­ture : John Carr


 

 

Plus de turfu