Se computadores não são racistas, por que reproduzem racismo?

Com a paternidade, Mike Bugembe aprendeu duas coisas importantes: ser bombardeado por perguntas complexas e aceitar que, na maioria das vezes, a resposta mais sincera que pode dar é “eu não sei”. Foi a partir de uma dessas interações com seu filho, em que não se sabe a solução para um problema, que o programador passou a pensar o racismo e o sexismo dos algoritmos.

Sua reflexão o levou, em setembro deste ano, ao palco do TEDx, série de conferências independentes. Em Praga, na República Tcheca, contou aos presentes que, quando se procura por “bebês bonitos” no Google, nenhuma criança negra é exibida nas imagens.

Colocar em xeque o preconceito não é nada muito novo para Bugembe, que é o produto de um lar super acadêmico, com pai economista, mãe matemática e avô psiquiatra. Formado em Engenharia Elétrica, Bugembe tem ainda MBA pela Cranfield University e acumula passagens pela Accenture, pela Expedia e pela JustGiving, plataforma de doação onde o programador teve a oportunidade de empregar seu conhecimento em prol da sociedade, onde atuou até 2018.

Leia também: Três dicas para incluir pessoas com deficiência no trabalho

Hoje o especialista divide sua atenção entre os inúmeros conselhos e comitês de diversidade e igualdade que ocupa nas mais distintas organizações, e a liderança da Decidable Global Ltd, empresa de análise de dados que fundou no começo deste ano.

Autor do livro Cracking the Data Code: Unlock the Hidden Value of Data for Your Organisation (Quebrando o código dos dados: descubra os valores secretos dos dados da sua organização, em tradução livre), Bugembe falou com exclusividade – e sem filtros – ao IT Forum. Na conversa, o engenheiro e programador deixa claro tudo o que sabe e o que não sabe, e reafirma a sua certeza de que, quando o assunto é o fim do racismo tecnológico, não estamos fazendo o suficiente e nunca o faremos se não aceitarmos que é preciso mexer no bolso.

Acompanhe a seguir o bate-papo completo.

 

IT Forum: Temos hoje diversos estudos, livros e conteúdos sobre o racismo e o sexismo dos algoritmos, e as falas em relação a isso muitas vezes soam como surpresa. Recentemente, você mesmo deu uma palestra no TEDx sobre o tema, mas não acha que os dados, que a tecnologia são apenas um reflexo da sociedade?

Mike Bugembe: Essa é uma excelente questão, porque eu adoro perguntar a quem não acredita que o racismo e outros preconceitos estruturais existam para me explicarem como uma máquina pode repetir, então, o mesmo comportamento. Sabe, nada disso me surpreende. Pelo contrário: isso me dá coragem, sobretudo porque nos tira de um lugar de dúvida, já que você teria que explicar. Se um computador não foi desenvolvido de forma racista ou programado para sê-lo, então como ele acaba reproduzindo comportamentos racistas? Você se lembra do caso da Microsoft, né?, que em 2016 lançou um bot no Twitter e em 24h “aprendeu” a ser machista, misógino e extremamente racista. Isso é apenas um exemplo do que acontece se as máquinas operam livremente; é o que os algoritmos se tornam. Isso tudo é uma demonstração dos desequilíbrios da sociedade.

 

IT Forum: Sim, casos semelhantes a esse da Microsoft são muitos, e você acha que o esforço para corrigir essas falhas tem sido suficiente?

Bugembe:  Neste estágio em que estamos, não, eu não acho que estamos fazendo o suficiente e nem o possível. Se você consegue, com tanta facilidade, provar de forma científica, como nós fizemos, que os algoritmos usados pela polícia, pelos tribunais, por instituições financeiras, por hospitais e pela sociedade em geral não são neutros, como é que eu explico que eles ainda estejam ativos? Como eles ainda operam em sua capacidade máxima? Por que nada foi feito? Então a resposta mais honesta seria essa: não fizemos nada para resolver esses problemas.

 

IT Forum: E qual a razão disso, na sua opinião?

Bugembe: São muitas as razões. Esses algoritmos que eu mencionei contribuem para a redução dos custos e aumento da lucratividade – a língua oficial do mercado. O problema maior é que ninguém quer mudar esse idioma, da grana acima de tudo, então qualquer esforço parece em vão. Enquanto mantivermos essa língua, não existe motivação para a mudança, porque até a diversidade, que as empresas abraçaram, o fizeram pensando nos ganhos, uma vez que foi provado que empresas diversas performam X por cento melhor que as não-diversas. É pensando na rentabilidade que as companhias tomam decisões e, infelizmente, até que possamos demonstrar que existe retorno de investimento, não acho que essas questões do racismo ou sexismo serão levadas propriamente a sério.

 

IT Forum: Seria possível usar um algoritmo para arrumar o outro? Quer dizer, seria possível colocar uma espécie de plugin moral em uma máquina, a fim de corrigir seu comportamento antiético ou tendencioso?

Bugembe: Com toda certeza, e eu gosto da forma como você colocou essa ideia. Acho importante termos em mente que todo mundo que está trabalhando com inteligência artificial está tentando replicar a mente humana, mas só uma pequena fração da humanidade está investida nisso. Isso quer dizer que somos 7 bilhões de habitantes, com pensamentos, percepções e experiências próprias, e se não tivermos incluídos nesta construção tecnológica, as narrativas ficam limitadas. Por isso eu gosto da forma como você colocou essa questão: podemos desenvolver um plug in moral, para verificar o algoritmo? Sim, podemos, mas custa dinheiro – e quem vai pagar por isso?

 

IT Forum: Na sua experiência como consultor, qual diria que é o problema mais urgente, quando falamos de tecnologias racistas?

Bugembe: Acho que um dos problemas é que as pessoas mais impactadas por essa injustiça não têm as habilidades e os conhecimentos para desenvolver a tecnologia, por isso sigo insistindo que é urgente que tragamos todos os envolvidos para a mesma sala. Temos que abrir essa conversa para mais vozes, porque quando a gente estrutura um caminho tendo apenas um ponto de vista, é o pior caminho a seguir.

 

IT Forum: É possível mudar isso nesta altura do campeonato?

Bugembe: É possível, sim, mas custa dinheiro, né? Não apenas para o desenvolvimento dessas tecnologias, mas a inserção delas também deve afetar receita e lucratividade. Agora, ao mesmo tempo que é preciso investir para reparar esses erros, temos trabalhado para mostrar que o custo de não fazer nada também existe. Precisamos reconhecer que custa caro não fazer nada, entende? Quer dizer, imagine que você converse com um desenvolvedor, e ele lhe diga que está construindo um algoritmo capaz de identificar quais crianças em idade escolar serão mal-comportadas. Isso significa que todas as decisões a respeito da vida das crianças podem ser baseadas nesse algoritmo, mas os únicos dados que esse desenvolvedor usa para criar esse algoritmo são de crianças de uma única escola em particular. Não me parece algo muito justo ou inteligente de se fazer, né?

 

IT Forum: Você já foi contratado para solucionar esse problema dentro de uma organização?

Bugembe: Sabe, me entristece profundamente, mas nunca uma corporação me procurou para pedir ajuda. Isso é assustador. Algumas empresas já vieram atrás de mim para diagnóstico, dizendo “acho que não percebemos, mas nosso sistema não é justo”. Quando se está construindo um novo programa, sistema ou algoritmo, é mais fácil de encontrar as falhas, porque depois que a tecnologia é lançada, tudo muda e vira uma questão financeira, e aí fica muito mais desafiador alterar qualquer coisa. A moralidade vale menos que o dólar.

 

IT Forum: Teria algum exemplo recente para nos dar, para mostrar o perigo potencial de um algoritmo enviesado?

Bugembe: Durante essa pandemia, tivemos o governo trabalhando com um algoritmo que tentava prever as notas escolares e foi horrível. Se você é parte de uma família de baixa renda, frequentando uma escola em uma área de baixa renda, o algoritmo presumia que sua nota seria ruim. O sistema não o olhava como um indivíduo, apenas entendia que pessoas com aquele arranjo familiar, naquelas escolas, performavam de uma maneira X. A grande questão agora é: quem vai corrigir isso? Não sei de ninguém empenhado em reparar esses problemas. Isso me assusta demais, mas acho que precisamos continuar batendo nessa tecla e insistindo nessa discussão, porque senão a coisa vai ficar ainda pior.

 

IT Forum: Você acha que a solução para o racismo e outros preconceitos estruturais é a mesma tanto para o mundo online, quanto para o offline?

Bugembe: Nunca pensei nisso, e é uma excelente questão. Acho que há elementos que são comuns, porque se você consegue “consertar” as pessoas, você conserta a máquina. Deixe-me lhe dar um exemplo importante aqui. Você sabe que há uma grande discussão sobre os sistemas de piloto automático para carros, né? Existe esse dilema que é repetido à exaustão: se uma criança atravessa a rua inadvertidamente, o motorista deve desviar e matar a vovó que passeia na calçada? Desviar da criança e chocar o veículo contra uma árvore e matar os ocupantes? Ou atropelar a criança? Qual seria a sua resposta?

 

IT Forum: Sinceramente? Eu não sei qual a resposta para esse dilema…

Bugembe: Excelente. Como é, então, que ensinamos as máquinas se nós mesmos não sabemos a respostas? Então, a partir disso, eu diria que precisamos discutir em sociedade como solucionar esses problemas, porque não adianta cobrar isso apenas da máquina. A máquina não é inteligente, é apenas uma sequência de 0 e 1 programada por pessoas, organizada de uma maneira para que aprenda rápido.

 

IT Forum: A forma como colocamos os argumentos dá a entender que é mais fácil mudar uma máquina do que uma pessoa, porque o computador está sempre aberto às possibilidades e edições, certo?

Bugembe: Com certeza. O computador certamente não vai ter seu ego ferido, nem colocar sua vivência como anteparo. É comum ouvirmos pessoas brancas, pobres, dizendo coisas como “eu nunca tive privilégio por ser branco”, e isso por si só já mostra que essa pessoa não está aberta ao diálogo para entender o problema do ponto de vista estrutural. A máquina, obviamente, não tem disso.

 

IT Forum: Você acha que, se corrigirmos a tecnologia, seria um processo natural vermos a sociedade se acertar também?

Bugembe: Acho que sim, porque as máquinas conseguem ganhar escala de forma muito rápida, impactando a vida de muita gente. Acho que, de novo, é preciso insistir na ideia de que a tecnologia em si não é tendenciosa, mas ela não é inteligente. A gente fala de tecnologia inteligente, mas é porque demos à ela a habilidade de aprender e, ainda assim, quando o fizemos, definimos quais seriam os parâmetros de seu aprendizado. Então, por exemplo, um relógio inteligente não pode cozinhar o jantar. Um cortador de grama inteligente não pode cantar uma música. Ou seja, nós ainda temos o controle das máquinas, o que faz disso nosso problema e torna a solução nossa responsabilidade. A tecnologia ajuda no ganho de escala.

 

IT Forum: E se a tecnologia pode nos ajudar a ser melhores, posso presumir que o contrário também é real e ela pode nos “piorar”?

Bugembe: Ela tem o potencial para isso, sim. Acho que aqui podemos resgatar o Experimento de Milgram, que analisou como as pessoas respondem às autoridades. Vi uma versão desse estudo mais moderna que colocava as pessoas para atravessarem a rua. Quando o sinal para os pedestres estava vermelho, e portanto não se podia atravessar a rua, eles queriam saber quantas pessoas cruzariam a avenida ilegalmente. Primeiro eles colocaram um rapaz com moletom e mochila, num perfil bastante estudantil, quebrando a regra – e ninguém o segue. Depois, foi a vez de um homem com terno e gravata cruzar a rua no sinal vermelho para pedestres. Neste segundo caso, um monte de gente seguiu aquele exemplo e atravessou a avenida ilegalmente. Percebemos ali que apenas a vestimenta de uma pessoa pode exercer autoridade, a ponto de as pessoas fazerem as coisas erradas pelo exemplo. Trazendo isso para hoje, eu lhe pergunto: quem está se tornando a maior autoridade de todas? O computador. O Google é um exemplo. Hoje é possível “ganhar” uma discussão dizendo “mas diz aqui no Google que…”, entende? Então se permitimos a reprodução de discursos como “negros têm maior propensão a cometer crimes”, isso é extremamente perigoso. As noções de beleza, de ética etc. estão sendo modeladas pelo Google ou outros mecanismos de busca online. Assim como no experimento de Stanley Milgram, quando uma autoridade nos diz algo, nós aceitamos sem nem questionar.

 

IT Forum: Então você acha que essas empresas de tecnologia…

Bugembe: Desculpa te interromper, mas acho que é importante notar que eu não acho que o Google é perverso. Por favor, não me interpretem mal, eu só acho que precisamos ser mais cautelosos acerca de como tratamos essas tecnologias, por conta da autoridade que elas exercem. O Facebook é um ótimo exemplo, porque eu acho que ele é a maior ferramenta de tomada de decisão que existe no planeta. Ele foi capaz de manipular eleições! Você pode mudar a percepção de uma pessoa sobre um filme graças ao trabalho do algoritmo do Facebook, que promove determinadas coisas, de uma determinada maneira. Entende por que isso pode ser um problema? Isso mexe até com os nossos desejos e sentimentos e uma vez que você coloque a razão e a emoção juntas, é aí que acontece a tomada de decisão. É pura ação. Então o Facebook, o Google e outras empresas similares fazem muito mais do que apenas nos informar. Quando você combina esses dois, o lado esquerdo e direito do cérebro, a emoção e a razão, você dá início a um movimento de transformação. Me dá arrepio de pensar que esse movimento possa vir de visões de mundo muito extremas.

 

IT Forum: Suponhamos que não façamos nada e deixemos que a tecnologia siga seu curso natural, que tende à evolução. Quer dizer, a humanidade, por exemplo, passou pela escravidão e outros fatos históricos horrendos, mas evoluímos a ponto de termos um arranjo mais justo e igualitário. Acha que, se deixarmos, os algoritmos podem evoluir “por si”, aprendendo e se autocorrigindo por conta própria?

Bugembe: Se permitirmos, sim. Com certeza. Podemos desenhar algoritmos para fazer isso. Mas, para mim, é assustador aceitar a lentidão do processo se não interferimos, sobretudo porque as máquinas estão dominando tudo ao nosso redor. E não estou falando aqui de uma visão apocalíptica, mas de uma perspectiva real, que faz sentido.

 

IT Forum: Para fechar essa conversa, acho importante a gente focar em quem programa as máquinas. Muitos engenheiros de softwares e programadores não se entendem racistas, mesmo quando o são, como podemos resolver isso?

Bugembe: Muito obrigado por essa pergunta, porque eu não sei a resposta. Estamos tentando muitas coisas diferentes, e quisera eu saber como mudar isso tudo. Sabe, para algumas pessoas, apenas usar argumentos racionais é suficiente, para outras basta contar a história e lhes apresentar o aspecto emocional da coisa. Olha, falando apenas da minha própria experiência, eu posso garantir que as únicas vezes que vi pessoas mudando de ideia e de atitude em relação a algo, foi quando elas foram impactadas ou afetadas por isso. Se você focar apenas no aspecto racional, não funciona; se focar apenas no emocional, tampouco funciona. É preciso que razão e emoção estejam envolvidas para que as mudanças realmente aconteçam. E isso vale para toda a sociedade, não são só os políticos, as crianças… tem que ser todo mundo, e é preciso que seja algo intencional. Eu estava falando com uma pessoa sobre isso, e ela me perguntou: “por que as pessoas ainda são racistas?”. A verdade é que seremos racistas enquanto aceitarmos que aquele tio engraçadão faça piadas racistas no jantar familiar. Porque você pode até saber que o tio é um bobão, mas as crianças ao redor não sabem, e estão consumindo aquele racismo. Elas ouvem tudo e ouvem o silêncio dos que aceitam calados e coniventes.