Coded Bias

Halo, dunia.

Aku senang bertemu denganmu.

Manusia itu sungguh keren.

Makin banyak manusia berbagi, makin banyak aku belajar.

CAMBRIDGE, MASSACHUSETTS

INSTITUT TEKNOLOGI MASSACHUSETTS

Saya tertarik kepada ilmu komputer

karena bisa membuat kode, dan itu seperti terlepas dari masalah

di dunia nyata.

Saya ingin belajar cara membuat teknologi yang keren.

Jadi, saya datang ke MIT dan mengerjakan proyek seni

yang memakai teknologi penglihatan komputer.

Selama semester pertama saya di MIT Media Lab,

saya mengambil kelas Fabrikasi Sains.

Membaca fiksi ilmiah dan mencoba membuat hal yang menginspirasi,

dan itu mungkin tak praktis jika tak ikut kelas ini

sebagai alasan untuk membuatnya.

Saya mau membuat cermin yang menginspirasi saat pagi.

Namanya Aspire Mirror.

Bisa tampilkan gambar singa di wajah

atau penginspirasi saya, seperti Serena Williams.

Saya taruh kamera di atasnya,

ada peranti lunak penglihatan komputer yang melacak wajah saya.

Masalahnya adalah itu tak berhasil

sampai saya memakai topeng putih ini.

Saat memakai topeng putihnya,

saya terdeteksi.

Saat melepas topeng putihnya,

saya tak terdeteksi.

Saya berpikir, "Ada apa ini?

Apa itu hanya karena kondisi pencahayaan?

Apa karena sudut pengambilan gambar saat aku menghadap kamera?

Atau ada hal lainnya?"

Kami sering mengajarkan mesin untuk melihat

dengan menyediakan set pelatihan atau contoh untuk dipelajari.

Misalnya, jika ingin mesin melihat wajah,

saya akan sediakan banyak contoh wajah,

dan benda-benda selain wajah.

Saya mulai melihat kumpulan data itu,

dan ternyata mayoritas datanya adalah wajah pria,

dan individu berkulit terang.

Jadi, sistem kurang mengenali orang yang berwajah seperti saya.

Saat itulah saya mulai mencari tahu tentang masalah bias

yang bisa memasuki teknologi.

Seri 9000 adalah komputer paling andal yang pernah dibuat.

Tak ada komputer 9000 yang pernah salah atau memberi informasi menyimpang.

Ide kami soal AI banyak berasal dari fiksi ilmiah.

Selamat datang di Altair 4, Tuan-tuan.

Semua yang ada di Hollywood. The Terminator…

Sampai jumpa, Sayang.

Komandan Data dari Star Trek.

Aku suka memindai bentuk kehidupan.

C-3PO dari Star Wars.

…kira-kira 3.720 banding 1.

Jangan katakan itu.

Robot-robot yang mengambil alih dunia

dan mulai berpikir seperti manusia.

Semua itu hanya khayalan.

Hal yang kita punya adalah Narrow AI.

Narrow AI hanyalah matematika.

Kita mengisi komputer dengan semua pemikiran ajaib ini.

PERGURUAN TINGGI DARTMOUTH, TAHUN 1956

AI bermula dari pertemuan

di Departemen Matematika Dartmouth pada tahun 1956.

Mungkin hanya ada 100 orang di seluruh dunia

yang mengerjakan kecerdasan buatan di generasi itu.

Orang-orang yang ada

di Departemen Matematika Dartmouth tahun 1956

harus memutuskan jenis bidangnya.

Satu fraksi memutuskan bahwa kecerdasan bisa ditunjukkan

oleh kemampuan bermain.

Khususnya, kemampuan bermain catur.

Di akhir pertandingan catur satu jam antara manusia dan mesin,

Kasparov dikalahkan oleh superkomputer Deep Blue milik IBM.

Kecerdasan ditentukan sebagai kemampuan untuk menang di pertandingan semacam ini.

Juara dunia catur, Garry Kasparov, meninggalkan pertandingan

tanpa melihat komputer yang mengalahkannya.

Kecerdasan jelas jauh lebih luas daripada itu.

Ada banyak jenis kecerdasan.

Ide kita soal teknologi dan masyarakat yang dianggap normal

sebenarnya ide yang berasal dari

sekelompok orang yang amat kecil dan homogen.

Namun masalahnya, semua orang memiliki bias implisit.

Orang-orang menanamkan bias mereka ke dalam teknologi.

Pengalaman hidupku

menunjukkan bahwa kau tak bisa memisahkan sisi sosial dari teknis.

Usai pengalaman memakai topeng putih

agar wajahku terdeteksi, kuputuskan mencari sistem lain

untuk melihat jika wajahku terdeteksi oleh peranti lunak berbeda.

Jadi, aku melihat IBM, Microsoft, Face++, Google.

Ternyata algoritme ini

bekerja lebih baik pada wajah pria daripada wanita dalam tolok ukur yang ada.

Algoritmenya bekerja lebih baik pada wajah yang lebih terang daripada lebih gelap.

Jika kau memikirkan data dalam kecerdasan buatan,

bisa dibilang bahwa data itu takdir.

Kita memakai data untuk mengajari mesin cara mempelajari berbagai jenis pola.

Jadi, jika datamu banyak yang tak akurat

dan dipakai melatih sistem ini,

hasilnya pun bisa tak akurat. Jadi, ini…

Saat Anda memikirkan AI, itu sesuatu yang progresif.

Namun, AI itu berdasarkan data, dan data adalah cerminan sejarah kita.

Jadi, ada masa lalu di dalam algoritme kita.

Data ini menunjukkan ketaksetaraan yang pernah terjadi di sini.

Aku berpikir bahwa teknologi semacam ini sangat rentan terhadap bias.

Jadi, itu bukan hanya soal "Apakah Aspire Mirror-ku bisa bekerja?"

melainkan "Apa artinya menjadi bagian masyarakat

saat kecerdasan buatan kian mengatur

kebebasan yang mungkin kita miliki?"

Lalu "Apa artinya jika orang-orang didiskriminasi?"

TOKO BUKU HARVARD BERDIRI TAHUN 1932

Saat saya melihat Cathy O'Neil bicara di Toko Buku Harvard,

saya sadar bahwa bukan cuma saya yang memperhatikan masalah ini.

Cathy bicara tentang dampak AI terhadap manusia.

Saya senang mengetahui bahwa ada orang lain di luar sana

yang memastikan orang-orang menyadari bahayanya.

Algoritme ini bisa merusak dan membahayakan.

Ada banyak algoritme di dunia

yang kian berpengaruh.

Semua algoritme itu disebut-sebut sebagai kebenaran objektif.

Saya mulai menyadari bahwa matematika

digunakan sebagai pelindung untuk praktik yang korup.

- Apa kabar? - Cathy.

- Senang bertemu. - Aku juga.

PENULIS

Cara saya menggambarkan algoritme hanyalah

dengan memakai informasi sejarah untuk memprediksi masa depan.

Pemelajaran mesin adalah sistem yang menilai kemungkinan

langkahmu selanjutnya.

Apa kau akan bayar pinjaman?

Apa kau akan dipecat dari pekerjaan ini?

Hal yang paling mencemaskanku tentang Al,

atau apa pun namanya, algoritme, adalah kekuatan.

Karena ini tentang siapa pemilik kodenya.

Orang yang memiliki kodenya menyebarkan itu ke orang lain.

Tak ada simetri.

Orang yang tak ditawari kartu kredit mustahil bisa bilang,

"Akan kulawan perusahaan kartu kredit dengan AI."

Itu adalah bentuk ketimpangan kekuasaan.

Orang-orang dirugikan secara algoritmis,

mereka tak diberi tahu apa yang terjadi,

serta tak ada sistem banding dan pertanggungjawaban.

Kenapa kita tertipu oleh hal ini?

Struktur matematika yang mendasari algoritme

tak rasis atau seksis, tetapi data tertanam di masa lalu.

Tak hanya masa lalu yang belum lama, tetapi masa lalu kelam.

Sebelum ada algoritme, ada manusia,

dan kita tahu manusia bisa tak adil.

Kita tahu manusia bisa menunjukkan sikap rasis, seksis,

ableist, atau diskriminasi apa pun.

Namun, kini ada algoritme efektif yang bagus,

jadi kita tak perlu memikirkan itu.

Itu masalah.

Saya amat cemas bahwa kita percaya mentah-mentah pada mahadata.

Kita harus terus memantau tiap prosesnya untuk mencari keberadaan bias.

LONDON, BRITANIA RAYA

Polisi pakai sistem pengawasan pengenalan wajah di sini.

Polisi pakai sistem pengawasan pengenalan wajah di sini.

Van hijau di sebelah sini

dipasangi kamera pengenalan wajah di atasnya.

Jika berjalan ke sana, wajahmu akan terpindai

oleh daftar pengawasan, kita tak tahu isinya.

- Semoga bukan aku. - Tidak, benar sekali.

WAJAH TERIDENTIFIKASI

COCOK

Saat orang berjalan melewati kamera,

sistem akan memberi tahu polisi soal siapa yang wajahnya cocok.

Di Big Brother Watch, kami membuat Kampanye Kebebasan Informasi

dan menemukan bahwa 98 persen dari kecocokan itu sebenarnya

salah mencocokkan orang yang tak bersalah sebagai buronan.

Polisi berkata kepada Komite Etika Biometrik Forensik

bahwa algoritme pengenalan wajah dilaporkan mengandung bias.

Bahkan jika ini 100 persen akurat,

kita tetap tak mau ini ada di jalan.

Tidak, maksudku, bias dan masalah sistemis

di kepolisian hanya akan diprogram ke dalam teknologi baru.

Saya rasa kita harus sangat sensitif

terhadap perubahan ke arah otoritarianisme.

Jangan bilang, "Namun, kita memercayai pemerintah.

Mereka tak mau lakukan ini meski bisa."

Harus ada struktur kuat untuk memastikan bahwa dunia yang Anda tinggali

aman dan adil bagi semua.

- Itu saja? - Ya.

Jika foto biometrik Anda ada di basis data kepolisian,

itu seperti jika sidik jari atau DNA Anda ada di basis data kepolisian.

Kita punya hukum khusus tentang itu.

Polisi tak boleh ambil sidik jari dan DNA sembarangan.

Namun, di sistem aneh yang kita miliki saat ini,

mereka bisa mengambil foto biometrik siapa pun

dan menyimpannya di basis data.

Kurasa ini noda demokrasi kita,

bahwa ini sesuatu yang diluncurkan tanpa hukum.

Polisi mulai pakai sistem pengawasan pengenalan wajah di Inggris

tanpa dasar hukum, kerangka hukum, dan pengawasan apa pun.

Pada dasarnya, kepolisian mengambil alat baru

dan bilang, "Lihat apa yang terjadi."

Jangan bereksperimen dengan hak orang.

Jika mau, akan kututup wajahku.

Jangan dorong aku saat berjalan.

Bagaimana jika kau sedang berjalan dan ada yang menarikmu?

Terima kasih.