Coded Bias

Bonjour tout le monde.

Je tiens à dire que je suis ravie de vous rencontrer.

Les humain·e·s sont super.

Plus les humain·e·s me parlent, plus j'apprends.

Plus les humain·e·s me parlent, plus j'apprends.

BIAIS PROGRAMMÉ

CAMBRIDGE, MASSACHUSETTS

INSTITUT DE TECHNOLOGIE DU MASSACHUSETTS

Ce qui m'a attirée dans l'informatique, c'est que je pouvais coder

et ça semblait détaché des problématiques du monde réel.

Je voulais apprendre à inventer de nouvelles technologies.

Je suis entrée au MIT et je travaillais sur des projets artistiques

employant la technologie de vision par ordinateur.

Durant mon premier semestre au Media Lab,

Durant mon premier semestre au Media Lab,

j'ai suivi un cours intitulé "Fabrication de la science".

On lit de la science-fiction et on crée ce qu'elle nous inspire,

ce qui aurait sans doute peu d'intérêt

sans ces cours pour justifier sa création

Je voulais créer un miroir qui m'inspire le matin.

Je l'ai nommé "le miroir aspirant".

Il peut plaquer l'image d'un lion ou de mes idoles sur mon visage,

comme Serena Williams.

J'ai incorporé une caméra

et un logiciel de vision par ordinateur qui devait suivre mon visage.

et un logiciel de vision par ordinateur qui devait suivre mon visage.

Malheureusement, ça ne fonctionnait pas très bien,

jusqu'à ce que je mette ce masque blanc.

Quand je mets le masque blanc,

il me détecte.

Si je l'enlève ?

Pas vraiment.

J'ai réfléchi au problème.

Est-ce dû à l'éclairage,

à l'angle selon lequel je regarde la caméra,

ou à autre chose ?

On apprend souvent aux machines à voir

en leur fournissant des exercices ou des exemples

de ce qu'on veut leur apprendre.

Par exemple, si je veux qu'une machine voie un visage,

je vais lui donner de nombreux exemples de visages,

mais aussi des images sans visage.

J'ai commencé à examiner les ensembles de données.

J'ai découvert que beaucoup d'entre eux

contenaient en majorité des hommes et des personnes à la peau claire.

contenaient en majorité des hommes et des personnes à la peau claire.

Les systèmes étaient moins habitués aux visages comme le mien.

J'ai alors commencé à me pencher

sur les problèmes de discrimination qui s'insinuent dans la technologie.

Les 9000 sont les ordinateurs les plus fiables jamais conçus.

Jamais aucun 9000 n'a fait d'erreur, ni déformé une information.

Jamais aucun 9000 n'a fait d'erreur, ni déformé une information.

De nombreuses idées qu'on se fait de l'IA

sont issues de la science-fiction.

Bienvenue à Altair IV, messieurs.

C'est tout ce que montre Hollywood.

C'est Terminator...

Hasta la vista, baby.

C'est le capitaine Data dans Star Trek.

J'adore rechercher des formes de vie.

C'est C3PO dans Star Wars.

- On a 1 chance sur 3720 de s'en sortir. - Tu sais moi et les probabilités.

Ce sont les robot·e·s

qui prennent le contrôle du monde et pensent comme des humain·e·s.

qui prennent le contrôle du monde et pensent comme des humain·e·s.

Tout cela est complètement fictif.

Ce qu'on a en réalité,

c'est une IA étroite.

Et l'IA étroite n'est que mathématiques.

On a conféré aux ordinateurs cette pensée magique.

UNIVERSITÉ DE DARTMOUTH 1956

L'IA a commencé par une réunion

au département de mathématiques de Dartmouth,

en 1956.

Il n'y avait qu'une centaine de personnes dans le monde entier

Il n'y avait qu'une centaine de personnes dans le monde entier

qui travaillaient sur l'IA,

au sein de cette génération.

Celles·ceux qui composaient le département des mathématiques de Dartmouth en 1956

ont défini ce que serait le domaine.

Une faction a décidé que l'intelligence

pouvait être démontrée par la capacité à jouer à des jeux.

En particulier, la capacité de jouer aux échecs.

Dans l'ultime partie d'échecs d'une heure entre l'être humain et la machine,

Dans l'ultime partie d'échecs d'une heure entre l'être humain et la machine,

Kasparov a été vaincu par le superordinateur Deep Blue d'IBM.

L'intelligence était définie

comme la capacité de gagner à ces jeux.

Le champion du monde d'échecs, Gary Kasparov a quitté la partie,

sans se retourner sur l'ordinateur qui venait de le battre.

L'intelligence dépasse bien sûr cette définition.

Il y a de nombreuses formes d'intelligence.

Nos idées concernant la technologie et la société,

Nos idées concernant la technologie et la société,

que nous considérons normales,

sont en fait issues d'un groupe très réduit et homogène.

Mais le problème,

c'est que nous avons tou·te·s des préjugés inconscients.

Et les gens inscrivent leurs préjugés dans la technologie.

Mon expérience personnelle m'a montré

qu'on ne peut pas séparer le social du technique.

qu'on ne peut pas séparer le social du technique.

Après avoir dû porter un masque blanc pour que mon visage soit détecté,

j'ai décidé de tester d'autres systèmes

pour voir s'ils détecteraient mon visage avec un autre logiciel.

J'ai testé IBM, Microsoft, Face++, Google.

Ces algorithmes

ont donné de meilleurs résultats sur les visages masculins

que les féminins.

Ils ont donné de meilleurs résultats

pour les visages plus clairs que les visages plus foncés.

Quand on réfléchit aux données et à l'intelligence artificielle,

Quand on réfléchit aux données et à l'intelligence artificielle,

les données sont le destin.

C'est ce qu'on utilise pour apprendre aux machines à reconnaître des motifs.

Si l'on utilise des ensembles de données biaisés pour former ces systèmes,

les résultats seront biaisés.

Quand on pense à l'IA, on est tourné vers l'avenir.

Mais l'IA est basée sur des données

et les données reflètent notre histoire.

Notre passé réside dans nos algorithmes.

Ces données nous montrent

les inégalités déjà présentes.

J'ai réalisé

que cette technologie est sujette au biais.

Ça va au-delà du bon fonctionnement de mon miroir aspirant.

Il s'agit de ce que signifie de vivre dans une société

dans laquelle l'IA régit de plus en plus nos libertés,

et de ce qu'implique

qu'on discrimine certaines personnes.

qu'on discrimine certaines personnes.

Quand j'ai assisté au discours de Cathy O'Neil

au Harvard Book Store,

j'ai réalisé

que je n'étais pas la seule à remarquer ces problèmes.

Cathy a décrit l'impact de l'IA sur nos vies.

J'étais enthousiasmée de savoir qu'il y avait quelqu'une d'autre

J'étais enthousiasmée de savoir qu'il y avait quelqu'une d'autre

qui œuvrait pour informer les gens des dangers de l'IA.

Ces algorithmes peuvent être destructeurs et nocifs.

Il y a tant d'algorithmes dans le monde qui ont de plus en plus d'influence.

Ils sont tous présentés comme des vérités objectives.

J'ai réalisé que les mathématiques

J'ai réalisé que les mathématiques

étaient utilisées comme un écran pour cacher la corruption.

- Bonjour. - Je suis Cathy, enchantée.

Pour moi, les algorithmes

utilisent les informations historiques pour prédire le futur.

L'apprentissage automatique est un système d'évaluation

qui évalue la probabilité de ce que vous allez faire.

Rembourserez-vous votre prêt ?

Serez-vous licencié·e ?

Ce qui m'inquiète le plus dans l'IA,

ou dans les algorithmes, c'est le pouvoir.

Ça se résume à qui détient le code.

Les personnes qui le détiennent,

le déploient sur d'autres.

C'est inéquitable.

Celles·ceux qui se sont vu refuser un crédit ne peuvent pas se dire :

Celles·ceux qui se sont vu refuser un crédit ne peuvent pas se dire :

"Je vais utiliser mon IA contre la banque."

C'est absolument inéquitable.

Les gens souffrent des effets des algorithmes

sans savoir ce qui leur arrive.

Il n'y a aucun recours ni aucune responsabilité.

Pourquoi acceptons-nous ça ?

La structure mathématique de l'algorithme n'est pas raciste ou sexiste.

Mais les données renferment le passé, et pas seulement le passé récent,

Mais les données renferment le passé, et pas seulement le passé récent,

mais le passé sombre.

Avant les algorithmes, on avait des humain·e·s,

et on sait combien elle·il·s sont injustes.

On sait que les humain·e·s sont capables

de discrimination raciale, sexuelle, capacitiste ou autre.

À présent, avec la panacée qu'est cet algorithme,

on peut tou·te·s arrêter d'y penser.

Ça pose problème.

Notre confiance aveugle dans le Big Data m'inquiète beaucoup.

Notre confiance aveugle dans le Big Data m'inquiète beaucoup.

On doit constamment contrôler tous ces processus

pour détecter un biais.

LONDRES, ROYAUME-UNI

La police utilise la vidéosurveillance avec reconnaissance faciale ici.

La police utilise la reconnaissance faciale.

Dites-m'en plus.

Cette fourgonnette verte est équipée de caméras de reconnaissance faciale sur le toit.

Si vous passez à proximité, votre visage sera scanné

Si vous passez à proximité, votre visage sera scanné

et comparé à une liste de surveillance secrète.

- Pas moi, j'espère. - Non, exactement.

VISAGE IDENTIFIÉ

CORRESPONDANCE NOTICE ROUGE INTERPOL

Quand on passe devant les caméras,

le système alerte la police en cas de correspondance.

Big Brother Watch a lancé une campagne de liberté d'information.

Ce qu'on a découvert, c'est que 98% de ces correspondances

identifient à tort une personne innocente

identifient à tort une personne innocente

en tant que personne recherchée.

La police a dit au comité d'éthique de la police scientifique biométrique