Vieses em máquinas. E nós com isso?

A tecnologia atingiu um ponto em que máquinas podem “aprender”. É evidente que elas não aprendem como nós, humanos, que somos capazes de conectar pontos contextuais e não contextuais a partir das nossas experiências. Mas existe um processo – chamado de machine learning – que busca fazer máquinas que aprendam com seus erros e acertos. Mas nós, seres humanos, passamos a vida aprendendo e convivendo com nossos próprios vieses. E com máquinas não é diferente.

Como explica esse artigo, produzido pelo desenvolvedor Burak Aslan, “machine learnings é um subcampo da inteligência artificial que constrói algoritmos, a fim de permitir que computadores aprendam a realizar tarefas a partir de dados ao invés de serem explicitamente programados.” É uma definição, mas não acredito que ajude muito a entender de fato o que é machine learning. Então vamos pensar em um exemplo mais prático: um site de roupas.

Imagine que você possui um e-commerce que vende roupas para o público masculino e feminino. E você tem o objetivo que esse site ofereça a roupa certa para a pessoa certa levando em conta o gênero que aquela pessoa se identifica e o clima de onde essa pessoa está. Uma maneira de programar esse site é a seguinte:

Isso funcionaria, mas existe um problema: cada nova variável que aparece deixa o código muito mais complexo. Se, por exemplo, adicionarmos uma nova etapa, que seja “roupas infantis ou adultas”, a complexidade dessa programação aumenta consideravelmente. A saída pode ser o já citado machine learning.

Nesse caso, em vez de termos que programar de maneira explícita o código do site para que ofereça o produto certo, podemos deixar o site aprender qual é o produto certo a partir das saídas geradas. Em um cenário em que uma pessoa escolhe uma roupa de homem para um clima frio, o próprio site vai saber que esse usuário tem esse comportamento – e quanto maior a base de dados, melhor pode ser o aprendizado.

Um bom exemplo de uso desse processo é o das redes sociais, essas que já estamos acostumados a usar todos os dias. Elas possuem um algoritmo de reconhecimento facial, em que sabem – a partir de machine learning – de quem é aquele rosto a partir de informações anteriores. Com as fotos que você marca ao longo do tempo, a rede entende que aquela pessoa pode ter, por exemplo, cavanhaque, cabelos claros e arrepiados. E assim ela identifica a pessoa automaticamente.

Vieses em pessoas

Saindo um pouco do machine learning e indo para a parte mais humana da história, nós temos os chamados “vieses inconscientes”, que nada mais são do que preconceitos incorporados no nosso dia a dia. Ou seja, estão baseados em estereótipos de gênero, raça, classe, orientação sexual, idade etc. Vieses inconscientes estão na nossa sociedade há muitos anos, e, portanto, hoje são mais regras que exceção. É por isso que existe a necessidade de problematizar as coisas – para tentar sair desses vieses. Vamos pegar, por exemplo, a população carcerária brasileira.

Uma pesquisa realizada em 2012 mostra que quase 61% da população carcerária brasileira é negra ou parda. Há quem sugeriu que isso era um reflexo genético da pele escura, que tinha mais propensão a cometer crimes. Mas isso é um absurdo pseudo-científico.

Como nós somos seres humanos, temos o poder de raciocinar e contextualizar informações além delas próprias. Então podemos dizer que é muito mais provável que existam mais negros e pardos encarcerados por conta de um racismo estrutural sistémico da nossa sociedade, e não uma correlação genética. E é aí que mora o problema: máquinas (ainda) não possuem essa capacidade.

Então quando o algoritmo mostra um porco espinho ao invés de uma pessoa com características parecidas é justamente porque nela falta a capacidade de contextualizar informações além delas próprias. E isso gera um problema.

Vieses em máquinas

Como eu mencionei antes, o machine learning funciona com base em informações anteriores. Então ele depende – em certo ponto – da qualidade dos dados que colocamos ali. E como fica isso em uma sociedade preconceituosa? Como você pode ter imaginado: os dados são preconceituosos.

Vamos imaginar um exemplo prático: um algoritmo que detecta os melhores alunos para uma faculdade pública. Sabemos que, em nosso país, a maioria das pessoas que cursaram faculdades públicas no passado não eram residentes de regiões periféricas. Então esses serão os dados colocados no algoritmo. Pessoas que moram em região periférica não possuem nenhum impeditivo para fazer essas faculdades, mas o algoritmo não vai conseguir entender isso e vai – repetidamente – reforçar essa informação, sugerindo cada vez menos alunos desse perfil.

E existem alguns exemplos reais que podemos usar para ilustrar isso, veja só:

• COMPAS (Correctional Offender Management Profiling for Alternative Sanctions): Um algoritmo usado nos EUA para calcular a possível reincidência de pessoas saindo da prisão. O algoritmo usava dados históricos para fazer o cálculo e dava 2x mais falsos positivos para pessoas negras do que para pessoas brancas;
• Algoritmo de Contratação da Amazon: A gigante de tecnologia usava um algoritmo baseado em dados de contratação dos anos anteriores, e, por conta do histórico, privilegiava a contratação de homens;
• Google Tradutor: Até pouco tempo atrás, o Google Tradutor traduzia nurse para enfermeira e doctor para médico.

Os profissionais da área quebram a cabeça todos os dias pra entender como fugir do famoso “AI bias”, o viés de inteligência artificial que estamos discutindo nesse texto. Usar frameworks específicos de terceiros, questionar e dar multidisciplinaridade para os dados são maneiras boas de evitar esse problema. Mas não podemos nos esquecer do mais importante: as pessoas.

Colocar pessoas diferentes no seu time, que possam trazer visões diferentes de mundo e que possam analisar esses dados de forma crítica é uma excelente maneira de evitar o viés no dado.

E não importa se você é ou não um profissional de data science, data engineering ou qualquer outro dos que lida diariamente com esse assunto, construir uma sociedade menos enviesada é um dever de todos. Afinal, uma sociedade menos enviesada vai gerar dados menos preconceituosos, que por sua vez vai gerar máquinas menos preconceituosas.

*Rafael Bandoni é professor de Mídia Digital e Analytics na ComSchool e analista de Marketing Digital de performance com uso de dados na CI&T, multinacional brasileira especialista digital para grandes marcas globais