Quando a Netflix faz uma recomendação errada de filme, você provavelmente acha que isso não é grande coisa. Da mesma forma, quando seus tênis favoritos não são incluídos na lista de produtos recomendados da Amazon, provavelmente não é o fim do mundo. Mas quando um algoritmo lhe atribui uma pontuação de ameaça de 1 a 500 que é usada para determinar o tempo de prisão, as pessoas podem ter algumas preocupações sobre esse uso da análise preditiva.

Segundo o World Economic Forum, a inteligência artificial (AI) permeou quase todos os aspectos de nossas vidas. Naturalmente, as previsões de máquina nem sempre podem ser 100% precisas. Mas o custo do erro aumenta drasticamente quando a IA é implementada em configurações de alto risco. Isso pode incluir medicamentos para recomendar novos tratamentos contra o câncer ou justiça criminal para ajudar os juízes a avaliar a probabilidade de reincidência do suspeito. De fato, um dos usos mais controversos da AI nos últimos anos tem sido o policiamento preditivo.

Para o público em geral, os métodos de policiamento preditivo são provavelmente mais conhecidos no filme de ficção científica de 2002, Minority Report, estrelado por Tom Cruise. Baseado em um conto de Philip K. Dick, o filme apresenta uma visão do futuro em que os crimes podem ser previstos e evitados.

Isso pode soar como um cenário utópico improvável. No entanto, a justiça previsível já existe hoje. Construído em sistemas avançados de aprendizado de máquina, há uma onda de novas empresas que fornecem serviços preditivos aos tribunais; por exemplo, na forma de algoritmos de avaliação de risco que estimam a probabilidade de reincidência para criminosos.

Máquinas podem identificar criminosos futuros?

Depois de sua prisão em 2013, Eric Loomis foi condenado a seis anos de prisão baseado em parte em uma previsão algorítmica de que ele cometeria mais crimes. A Equivant (ex-Northpointe), a empresa por trás do software proprietário usado no caso dele, afirma ter fornecido uma visão de 360 graus do réu, a fim de fornecer assistência algorítmica detalhada na tomada de decisões judiciais.

A empresa é um dos muitos intervenientes no campo da justiça preventiva nos EUA. Um relatório recente do Centro de Informação de Privacidade Eletrônica descobriu que os algoritmos são cada vez mais usados no tribunal para “estabelecer fiança, determinar sentenças e até mesmo contribuir para determinações sobre culpa ou inocência”. Essa mudança em direção a mais inteligência de máquina nos tribunais, permitindo que a AI aumente o julgamento humano, pode ser extremamente benéfica para o sistema judicial como um todo.

No entanto, um relatório investigativo da ProPublica descobriu que esses algoritmos tendem a reforçar o viés racial nos dados de aplicação da lei. As avaliações algorítmicas tendem a sinalizar falsamente os acusados negros como futuros criminosos com quase o dobro do índice dos réus brancos. Além disso, os juízes que se basearam nessas avaliações de risco normalmente não entenderam como as pontuações foram computadas.

Isso é problemático, porque os modelos de aprendizado de máquina são tão confiáveis quanto os dados em que são treinados. Se os dados subjacentes são tendenciosos sob qualquer forma, existe o risco de que as desigualdades estruturais e os vieses injustos não sejam apenas replicados, mas também amplificados.

“A esse respeito, os engenheiros de AI devem ser especialmente cautelosos com seus pontos cegos e suposições implícitas. Não é apenas a escolha de técnicas de aprendizado de máquina que importa, mas também todas as pequenas decisões sobre encontrar, organizar e rotular dados de treinamento para modelos de AI”, aponta o World Economic Forum.

Dados tendenciosos alimentam algoritmos tendenciosos

Mesmo pequenas irregularidades e vieses podem produzir uma diferença mensurável na avaliação final do risco. A questão crítica é que problemas como preconceito racial e discriminação estrutural são incorporados ao mundo à nossa volta.

Por exemplo, há evidências de que, apesar das taxas similares de uso de drogas, os norte-americanos negros são presos a quatro vezes a taxa de americanos brancos sob acusações relacionadas a drogas. Mesmo se os engenheiros coletassem fielmente esses dados e treinassem um modelo de aprendizado de máquina com ele, a IA ainda pegaria o viés incorporado como parte do modelo.

Padrões sistemáticos de desigualdade estão em toda parte. Ao observar os filmes de maior bilheteria de 2014/2015, é possível ver que os personagens femininos estão imensamente sub-representados, tanto em termos de tempo de tela quanto de conversação. Novos modelos de aprendizado de máquina podem quantificar essas desigualdades, mas há muitas questões abertas sobre como os engenheiros podem mitigá-las proativamente.

O recente experimento “Quick, Draw!”, do Google, demonstra vividamente porque o viés de endereçamento é importante. O experimento convidou usuários da Internet em todo o mundo para participar de um divertido jogo de desenho. Em cada rodada do jogo, os usuários eram desafiados a desenhar um objeto em menos de 20 segundos. O sistema de AI tentaria então adivinhar o que o desenho representa. Mais de 20 milhões de pessoas de cem nações participaram do jogo, resultando em mais de 2 bilhões de desenhos de todos os tipos de objetos, incluindo gatos, cadeiras, cartões postais, borboletas, skylines etc.

Mas quando os pesquisadores examinaram os desenhos de sapatos no conjunto de dados, eles perceberam que estavam lidando com um forte viés cultural. Um grande número de usuários antigos atraiu sapatos que se pareciam com tênis Converse. Isso levou o modelo a captar os atributos visuais típicos dos tênis, como o exemplo prototípico de como um “sapato” deveria ser. Consequentemente, sapatos que não se pareciam com tênis, como saltos altos, bailarinas ou tamancos, não eram reconhecidos como sapatos.

Estudos recentes mostram que, se não forem controlados, os modelos de aprendizado de máquina aprenderão estereótipos de gênero ultrapassados, como “médicos” sendo homens e “recepcionistas” sendo mulheres. De forma semelhante, modelos de AI treinados em imagens de ex-presidentes dos EUA mostraram prever candidatos exclusivamente masculinos como o provável vencedor da corrida presidencial.

Projetando a justiça na AI

Em outubro de 2018, a Conferência Internacional de Proteção de Dados e Comissários de Privacidade divulgou a Declaração sobre Ética e Proteção em Inteligência Artificial, um dos primeiros passos em direção a um conjunto de princípios de governança internacional sobre AI. A declaração diz que “preconceitos ou discriminações ilegais que possam resultar do uso de dados em inteligência artificial devem ser reduzidos e mitigados”. Inerente a essa noção está a afirmação de que a IA precisa ser avaliada em um conjunto mais amplo de critérios éticos e legais; não apenas com base nas matrizes de precisão e confusão de classificação. Expandindo este argumento, alguns princípios ajudam na justiça da AI para fins de justiça preditiva:

1. Representação

Para se proteger contra preconceitos, todos os indivíduos devem ter uma chance igual de serem representados nos dados. Às vezes, isso significa que as populações sub-representadas precisam ser cuidadosamente adicionadas a quaisquer conjuntos de dados de treinamento. Às vezes isso também significa que um modelo tendencioso de aprendizado de máquina precisa ser substancialmente treinado novamente em diversas fontes de dados. No caso do Google, a equipe de engenharia teve que buscar intencionalmente exemplos adicionais de treinamento de outros tipos de calçados, como saltos altos, para compensar as lacunas na representação. Além disso, pesquisas recentes oferecem novas técnicas de algoritmos para medir distorções e ajudar a reduzir o viés indesejado no aprendizado de máquina.

2. Proteção

Os sistemas de aprendizado de máquina precisam evitar efeitos injustos sobre os indivíduos, especialmente os impactos relacionados a vulnerabilidades sociais e físicas e outros atributos sensíveis. Estes podem incluir raça, etnia, gênero, nacionalidade, orientação sexual, religião e crenças políticas. A equidade geral de um algoritmo deve ser julgada pela forma como afeta as pessoas mais vulneráveis afetadas por ele.

Entretanto, simplesmente omitir variáveis sensíveis dos modelos de aprendizado de máquina não resolveria o problema devido à variedade de fatores de confusão que podem estar correlacionados com eles. No que diz respeito à justiça criminal, a pesquisa mostra que omitir a raça de um conjunto de dados de histórias criminais ainda resulta em previsões racialmente díspares. Em vez disso, há evidências iniciais de que as disparidades raciais e outras informações confidenciais podem ser removidas dos conjuntos de dados usando um algoritmo de aprendizado de máquina suplementar. A esperança é que, no futuro, essa abordagem possa ajudar os engenheiros a construir um sistema de IA “neutro em relação à raça” para prever a reincidência.

3. Justiça

A justiça algorítmica significa muito mais que a ausência de injustiça; representa a responsabilidade ativa de continuamente buscar a justiça no projeto de sistemas de aprendizado de máquina. Nesse sentido, o espírito de justiça só pode ser suportado por uma equipe diversificada que desafia as suposições implícitas de cada um.

Em exercícios regulares sobre preconceito, por exemplo, as equipes podem desenvolver uma apreciação da diversidade de perspectivas. Várias ONGs, incluindo a ProPublica e a Privacy International, também começaram a advogar pela administração da diversidade em empresas que construam modelos de IA em larga escala. Assim, apenas criando uma cultura de inclusão as empresas podem criar as condições adequadas para as equipes lidarem com o viés injusto na aprendizagem de máquina.

4. Autenticidade

O princípio final refere-se não apenas à autenticidade dos dados de treinamento, mas também à autenticidade das previsões de IA, uma vez que são usadas para informar a tomada de decisão humana. Por exemplo, apesar dos esforços contínuos para limitar aplicações potencialmente prejudiciais ou abusivas, o aprendizado de máquina tem sido lamentavelmente usado no passado para distorcer a realidade através de falsificações profundas.

Nesse contexto, o uso difundido da IA poderia ajudar os agentes maliciosos a gerar vídeos falsos de pessoas dizendo coisas que nunca disseram antes, ou imagens falsas de situações que nunca aconteceram na vida real. Levado ao extremo, isso pode levar a um mundo em que os juízes não podem mais determinar se alguma mídia ou evidência representada corresponde à verdade. Assim, isso levou alguns analistas de mídia a concluir que a “maior casualidade a IA não será trabalho, mas a erradicação final e completa da confiança em qualquer coisa que você veja ou ouça”. Felizmente, os pesquisadores já estão trabalhando em contra-medidas efetivas e escalonáveis para detectar várias formas de mídia manipulada.

Máquinas contra estereótipos

Esses quatro princípios podem ajudar a iniciar uma conversa sobre a imparcialidade da AI, especialmente quando usados para a justiça preditiva. A imparcialidade nunca é o padrão no aprendizado de máquina. Como tal, os engenheiros precisam tomar medidas proativas para alterar esse padrão. Se não projetarmos ativamente a imparcialidade do AI, corremos o risco de perpetuar vieses e estereótipos prejudiciais.

Uma das coisas mais impressionantes sobre AI, no entanto, é que os algoritmos também podem ser efetivamente usados para medir e mitigar o viés injusto. No futuro, há esperança de que os engenheiros estendam essas técnicas para ajudar significativamente os tomadores de decisão com previsões que serão isentas de preconceitos.