A pesquisadora Celeste Kidd, postou uma thread sobre viéses em algoritmos e a recente demissão de Timnit Gebru que farão parte de seu discurso de abertura no evento #AIDebate2, resolvi traduzir livremente para trazer esse tema, que é um dos mais importantes que nós enquanto sociedade vamos enfrentar e já estamos lidando com muitas de suas consequências. Todo o discurso abaixo é de Celeste Kidd:

Meu laboratório @BerkeleyPsych estuda como humanos formam crenças e constrõem seu entendimento do mundo. Em particular, nos focamos em como humanos navegam os vastos mares de todas as possíveis informações eles podem acessar e entender a respeito do mundo.

O que gostaria de enfatizar hoje é que algoritmos enviesados não são apenas problemáticos pelos danos diretos que causa, mas também pelos danos em cascata de como impacta as crenças humanas.

Algoritmos enviesados são problemáticos pois são sistemas que fazem interface com as pessoas todos os dias, incorporados em nossas vidas. Estes sistemas dirigem as crenças humanas de formas destrutivas, e muitas vezes, irreparáveis.

O que nossa pesquisa mais recente mostra:

1. Pessoas não aprendem muito aprofundamente sobre a maioria das coisas no mundo.
2. Pessoas necessitam formar crenças rapidamente em ordem para agir.
3. Uma vez que uma pessoa forma uma crença, mecanismos cognitivos os dissuadem de revisitar esses tópicos.

Algoritmos que servem conteúdo de notícias e mídias sociais recomendam o conteúdo baseado na possibilidade de engajamento do usuário – desta forma, levando os usuários a interagirem com conteúdo que demonstram crenças homogêneas (às vezes um tanto selvagens).

Isto é problemático quando os usuários procuram estas fontes para se informarem, para que coletem informação que eles usarão para formar suas crenças; Estes sistemas muito provavelmente irão entregar os usuários crenças incorretas e fortes que – ainda que haja vários esforços – são difíceis de se corrigir.

Aqui vai outro exemplo: Ambos LinkedIn e Amazon foram expostos empregando tecnologias que promoviam homens e filtrando mulheres qualificadas para candidaturas de trabalho. Mas os danos vão além de apenas candidatas mulheres nesses focos em particular.

Inteligência Artificial enviesada de recrutamento certamente impacta as crenças de recrutadores utilizando os sistemas. Se suas buscas não apresentam mulheres qualificadas, muito provavelmente irão concluir que mulheres qualificadas não existem – quando, na verdade, é apenas um viés no sistema de aplicação.

Eu gostaria de encerrar dizer que é um tempo terrível nesse mommento para ética em Inteligência Artificial. A demissão de Timnit Gebru do Google marca uma sombria mudança de rumo.

Mesmo após o #MeToo e os protestos #BlackLivesMatter de 2020, é claro que os interesses privados não irão suportar diversidade, igualdade e inclusão.

Deveria nos horrorizar que o controle de algoritmos que determinam tanto de nossas vidas continuem nas mãos de um minoria homogênea e limitada.

O que Timnit Gebru enfrentou no time de IA do Google é a norma. É ouvir a respeito que não é comum.

Também infelizmente é a norma que as pessoas que falem verdades inconvenientes para o poder sejam descartadas. Estas pessoas são silenciosamente descartadas por instituições como o Google, quando expostos, fingem que pessoas como Timnit fez alguma coisa errada.

Esta resposta manipula a crença de todos em pensar que pessoas não representadas são assim pois causam problemas, não por que as próprias instituições discriminam.

Mas você deve ouvir Timnit Gebru – e muitas outris e outros - sobre o que o ambiente no Google é. Jeff Dean deveria se sentir envergonhado.

O resto de nós tem a responsabilidade de olhar para do que se trata, e insistir que isso tenha um fim.

Estou acompanhando a questão da Timnit Gebru e suas implicações e seu grande trabalho, mas considero estas palavras Celeste Kidd mais embasadas e melhores do que eu conseguiria articular. Também entendo que o inglês pode ser uma barreira algumas vezes e acredito que ao menos traduzir já posso, ainda que modestamente, ajudar a amplificar sua voz e mensagem.

Celeste Kidd usa o termo “Algorithmic bias”, que eu traduzi como “Algoritmos enviesados”. Não sei qual o consenso de tradução para o português, se alguém souber, pode me corrigir :) Inicialmente estava usando viéses em algoritmos, mas passaria, no meu entendimento, a velha desculpa de que o algoritmo em si é neutro, e esse é um dos exemplos do que não é.

Indico a leitura da thread de Real Abril sobre a demissão dela, também do Google. Ela foi a mais bem sucedida recrutadora de diversidade na empresa, com impressivos 30.000% no aumento de contratação de pessoas negras. O relato é chocante, por exemplo, sua superiora uma vez disse a ela que deveria tratar internamente a sua fala como uma deficiência – Real Abril cita que ela possui um acentuado sotaque de baltimore, o que eu descontextualizado da cultura americana a esse respeito só posso pressumir que seja associado a grupos de pessoas negras em particular. Por favor, me corrigam se estiver errado. A thread também já guanhou cobertura na mídia e a resposta ao Business Insider foi um uma evasiva: “We don’t agree with the way April describes her termination, but it’s not appropriate for us to provide a commentary about her claims.”

Em outra thread, Veni Kunche repotou uma situação em que o Google se mostrou interessado em um projeto dela de diversidade em tecnologia, o Diversity Tech e depois acabou lançando uma cópia, sem qualquer crédito.

Uma outra mulher, Jingle Kells, também negra, respondeu sobre o papel do RH da Google em que que relatou assédio sexual de um diretor e que o RH lhe disse que não havia nenhuma outra denúncia a respeito. Duas outras mulheres depois a confidenciaram a mesma situação.

Jeff Dean citado nominalmente, é quem chefia o departamento de IA, ele foi um dos personagens em uma extensa – e elogiosa – matéria da New Yorker em 2018 com o título “The Friendship That Made Google Huge” sobre sua parceria com Sanjay Ghemawat, ambos autores do influente paper MapReduce: Simplified Data Processing on Large Clusters. O CEO do Google, Sundar Pichai pediu descuplas pela controvérsia, mas foi bem evasivo. Para Timnit foi uma “não-desculpa” só para manter a reputação da empresa.

Os dias de don’t be evil definitivamente ficaram para trás.