The Doppler Quarterly (FRANÇAIS) Été 2017 | Page 69

Ouvrez l’appli photo de votre téléphone et cherchez le
mot « chien » : elle vous renverra toutes les images de
chiens que vous avez. Cette tâche est pourtant loin
d’être simple. Votre téléphone sait à quoi « ressemble »
un chien.
Ces connaissances et bien d’autres merveilles d’aujo-
urd’hui sont issues de l’apprentissage automatique. Il
s’agit de programmes qui passent au peigne fi n des mil-
lions de données distinctes et qui établissent des cor-
rélations et des prédictions sur le monde qui nous
entoure. L’attrait de ces programmes est immense. Ces
machines peuvent utiliser des données froides et inertes
pour prendre des décisions parfois plus précises que
celle d’un être humain.
Mais attention, l’apprentissage automatique a également
sa part d’ombre. « Beaucoup de gens pensent que les
machines sont impartiales », déclare Aylin Caliskan,
chercheuse en informatique scientifi que à Princeton.
« Mais l’apprentissage des machines se fait à partir de
données humaines. Et les êtres humains ne sont pas
impartiaux. »
Caliskan poursuit en expliquant que les ordinateurs
apprennent à être racistes, sexistes, et acqu ièrent des
préjugés de la même façon qu’un enfant : par leurs
créateurs.
Nous pensons souvent que l’intelligence
artifi cielle est impartiale. C’est rarement
le cas.
Quasiment toutes les nouvelles technologies grand pub-
lic utilisent l’apprentissage automatique d’une façon ou
d’une autre. Prenez Google Translate : Personne n’a
demandé au logiciel d’apprendre comment traduire du
grec au français, puis à l’anglais. Google Translate a sim-
plement étudié des volumes colossaux de texte et a
appris par lui-même. Dans d’autres cas, les programmes
d’apprentissage automatique font des prévisions pour
déterminer quels CV ont le plus de chances d’appartenir
aux bons candidats pour un poste, ou comment un
patient va répondre à un traitement particulier.
L’apprentissage automatique est un programme qui
analyse des milliards de points de données pour résou-
dre des problèmes (comme « pouvez-vous identifi er l’an-
imal sur la photo »), mais ne clarifi e pas toujours la façon
dont il a trouvé la solution. Il devient d’ailleurs de plus en
plus évident que ces programmes peuvent développer
des préjugés et des stéréotypes sans que nous le
remarquions.
ProPublica a publié en mai dernier une enquête sur un
programme d’apprentissage automatique utilisé de
façon systématique par les cours de justice pour prévoir
le potentiel de récidive après une arrestation. Les
auteurs de l’article ont découvert que le logiciel con-
sidérait les noirs comme étant plus à risque que les
blancs.
D’après ProPublica, « les scores comme celui-ci - connus
sous le terme d’évaluations des risques - sont de plus en
plus courants dans les tribunaux de tout le pays ». « Ils
sont utilisés pour appuyer la décision de remise en lib-
erté ou nom des individus à tous les niveaux du système
de justice pénale, de la détermination du montant des
cautions... à des questions plus fondamentales encore
concernant la liberté des prévenus. »
Le programme a appris quels types d’individus présen-
taient le plus de risques de se retrouver en prison à par-
tir de données carcérales réelles. Le problème est que le
système pénal réel a historiquement tendance à défa-
voriser les Afro-Américains.
Cet exemple révèle la profonde ironie de l’apprentissage
automatique. En effet, l’attrait de ces systèmes est qu’ils
sont capables de décisions impartiales, libérées des pré-
jugés humains. « Si les ordinateurs pouvaient prévoir de
façon fi able quels prévenus risquaient de récidiver, le
système pénal pourrait devenir plus juste et plus sélectif
dans le choix des peines de prison et de leur durée »,
selon ProPublica.
Mais dans les faits, les programmes d’apprentissage
automatique ont simplement reproduit nos préjugés à
grande échelle. Ainsi, les préjugés contre les Afro-Amér-
icains sont émis par un robot plutôt qu’un juge.
Ce sont des histoires comme cette enquête de Pro-
Publica qui ont amené Caliskan à entamer des recherches
à ce sujet. En tant que chercheuse en informatique sci-
entifi que qui se trouvait fréquemment être la seule
femme de sa promotion en études supérieures, elle est
particulièrement sensible à la question.
Caliskan a vu des préjugés s’insinuer dans l’apprentis-
sage automatique de façon souvent subtile - comme par
exemple dans Google Translate.
Ainsi, en turc, l’une de ses langues maternelles, il n’existe
pas de pronoms par genre. C’est pour cette raison que
lorsqu’elle utilise Google Translate sur des expression
turques, « on obtient toujours « il est médecin » dans
une langue qui fait la distinction entre les sexes. » La
phrase n’indiquait pas en turc si le médecin était un
ÉTÉ 2017 | THE DOPPLER | 67