Algoritmo de limite de crédito do Apple Card discrimina clientes mulheres

O final de semana foi movimentado (só que não de maneira positiva) para a equipe responsável pelo Apple Card e a turma do Goldman Sachs, banco que gerencia a operação financeira do plástico da Maçã.   

Uma série de tweets publicados por personalidades do meio tech afirmam que o algoritmo responsável por definir o limite de crédito do serviço oferece, por padrão, um valor muito menor para mulheres do que para homens. 

Toda a história começou na quinta-feira à tarde, quando David Hansson (executivo do Basecamp e criador da linguagem Ruby on Rails) publicou a mensagem abaixo, sobre o fato de que ele e sua mulher, casados há anos e que possuem renda similar, ficaram com uma discrepância de 20 vezes o valor do limite disponível para cada um. 

No fio subsequente, Hansson explica que todos os atendentes que conversaram com a sua mulher afirmaram que era “culpa do algoritmo”, cuja estrutura não poderia ser modificada. Para o executivo, esse tipo de conduta não é aceitável em uma empresa do porte da dona do iPad. 

“O pior é que a fé desses representantes da Apple era completa e inquestionável, na sabedoria do ALGORITMO.” Afirma Hansson em outra postagem “A ponto de essencialmente envergonhar minha esposa, supondo que sua pontuação deva ter sido menor que a minha e nos levando a um caminho tortuoso pelo TransUnion para verificar [a análise de crédito dela].” 

Repercussão

A postagem de Hansson acabou viralizando e várias pessoas entraram em contato via Twitter para afirmar que a mesma diferença de crédito entre homens e mulheres também ocorreu.

Até mesmo Steve Wozniak, co-fundador da Apple, comentou na postagem de Hansson dizendo que sua esposa recebeu um limite dez vezes menor de crédito, apesar de ambos possuírem bens e contas conjuntas 

 

No sábado, o portal de notícias Bloomberg publicou que o Departamento de Serviços Financeiros de Nova York abriu uma investigação para avaliar se a lei do estado (que condena discriminações de quaisquer tipos) foi violada pelo algoritmo do Goldman Sachs. 

Em seu perfil no Twitter, o Goldman Sachs divulgou um comunicado afirmando que as avaliações de crédito são realizadas individualmente e que é possível que dois membros da mesma família receberam limites totalmente diferentes. 

Porém, a empresa ressaltar que “nenhuma decisão foi ou será feita com base em fatores como gênero”. 

Até o momento, a Apple não havia se pronunciado sobre o caso. 

Abrindo a caixa preta

A grande queixa do caso reside no fato de que o algoritmo que faz a análise de crédito provavelmente foi desenvolvido sob o modelo de Black box (caixa preta), que consiste em um sistema fechado no qual a estrutura interna é desconhecida ou não levada em consideração durante sua análise. 

Em poucas palavras: não se entende de forma detalhada o porquê de o algoritmo tomar a decisão que ele toma. 

Linda Lacewell, a Superintendente do Departamento de Serviços Financeiros de Nova York, postou no domingo uma postagem pelo perfil que a instituição possui no Medium. No texto, a representante reforça que o órgão investigará as queixas feitas contra o Apple Card e convida especialistas e membros da comunidade de tecnologia a discutir como o uso de algoritmos pode ser usado de forma igualitária. 

“Para que a inovação ofereça valor duradouro e sustentável, os consumidores que usam novos produtos ou serviços devem poder confiar que estão sendo tratados de maneira justa”, afirma em trecho do post. 

Em reportagem para a CNBC, Lacewell reforçou que é papel das empresas que trabalham com o uso de algoritmos garantir que o sistema não realiza discriminações e que o processo de seleção precisa se tornar mais transparente. 

“Não existe algo como “a companhia não fez isso, foi o algoritmo”. Os desenvolvedores, usuários e vendedores desses algoritmos precisam fazer testes para garantir que uma aplicação esteja agindo de acordo com seu objetivo.”