Je voudrais raconter un exemple, l’histoire de Latanya Sweeney, une brillante informaticienne. Latanya cherchait un jour son propre nom sur Google quand elle a remarqué que toutes les publicités qui apparaissaient proposaient des services de recherche d’antécédents criminels. Elles avaient des titres du genre de : « Latanya Sweeney : a-t-elle déjà été arrêtée ? » qui suggéraient qu’il était bien possible qu’elle ait un casier judiciaire.
Intriguée, Latanya a lancé d’autres recherches sur Google, avec des noms plus blancs. Dans ces cas-là, les publicités proposées étaient bien différentes. Elle a alors lancé un test plus systématique et découvert qu’en effet, si on cherchait des noms noirs sur Google, on avait plus de chance de voir des publicités pour des services et des produits relatifs à la justice pénale.
Ce que le grand public n’a pas compris
L’histoire a été largement relayée par les médias. Mais ce que le grand public n’a pas vu, c’est que Google ne faisait pas de discrimination volontaire et qu’il ne vendait pas non plus ses publicités sur une base raciale. Google n’avait aucune idée du contenu des publicités. Il savait juste que ses utilisateurs cliquaient plus souvent sur ces pubs quand ils faisaient certaines recherches et qu’il valait donc mieux proposer ces pubs en lien avec des recherches statistiquement similaires.
En d’autres termes : comme les utilisateurs racistes étaient plus susceptibles de cliquer sur ces publicités quand ils cherchaient des noms noirs, l’algorithme de Google se transformait pour proposer ces publicités en lien avec des noms identifiés comme noirs.
Pour le dire encore autrement : Google devenait raciste parce que ses utilisateurs racistes l’entraînaient à l’être.
