Algoritmo de limite de crédito do Apple Card discrimina clientes mulheres

O final de semana foi movimentado (só que não de maneira positiva) para a equipe responsável pelo Apple Card e a turma do Goldman Sachs, banco que gerencia a operação financeira do plástico da Maçã.   

Uma série de tweets publicados por personalidades do meio tech afirmam que o algoritmo responsável por definir o limite de crédito do serviço oferece, por padrão, um valor muito menor para mulheres do que para homens. 

Toda a história começou na quinta-feira à tarde, quando David Hansson (executivo do Basecamp e criador da linguagem Ruby on Rails) publicou a mensagem abaixo, sobre o fato de que ele e sua mulher, casados há anos e que possuem renda similar, ficaram com uma discrepância de 20 vezes o valor do limite disponível para cada um. 

The @AppleCard is such a f***ing sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.

— DHH (@dhh) November 7, 2019

No fio subsequente, Hansson explica que todos os atendentes que conversaram com a sua mulher afirmaram que era “culpa do algoritmo”, cuja estrutura não poderia ser modificada. Para o executivo, esse tipo de conduta não é aceitável em uma empresa do porte da dona do iPad. 

“O pior é que a fé desses representantes da Apple era completa e inquestionável, na sabedoria do ALGORITMO.” Afirma Hansson em outra postagem “A ponto de essencialmente envergonhar minha esposa, supondo que sua pontuação deva ter sido menor que a minha e nos levando a um caminho tortuoso pelo TransUnion para verificar [a análise de crédito dela].” 

Repercussão  

A postagem de Hansson acabou viralizando e várias pessoas entraram em contato via Twitter para afirmar que a mesma diferença de crédito entre homens e mulheres também ocorreu.

Até mesmo Steve Wozniak, co-fundador da Apple, comentou na postagem de Hansson dizendo que sua esposa recebeu um limite dez vezes menor de crédito, apesar de ambos possuírem bens e contas conjuntas 

The same thing happened to us. We have no separate bank accounts or credit cards or assets of any kind. We both have the same high limits on our cards, including our AmEx Centurion card. But 10x on the Apple Card.

— Steve Wozniak (@stevewoz) November 10, 2019

No sábado, o portal de notícias Bloomberg publicou que o Departamento de Serviços Financeiros de Nova York abriu uma investigação para avaliar se a lei do estado (que condena discriminações de quaisquer tipos) foi violada pelo algoritmo do Goldman Sachs. 

Em seu perfil no Twitter, o Goldman Sachs divulgou um comunicado afirmando que as avaliações de crédito são realizadas individualmente e que é possível que dois membros da mesma família receberam limites totalmente diferentes. 

Porém, a empresa ressaltar que “nenhuma decisão foi ou será feita com base em fatores como gênero”. 

Até o momento, a Apple não havia se pronunciado sobre o caso. 

Abrindo a caixa preta

A grande queixa do caso reside no fato de que o algoritmo que faz a análise de crédito provavelmente foi desenvolvido sob o modelo de Black box (caixa preta), que consiste em um sistema fechado no qual a estrutura interna é desconhecida ou não levada em consideração durante sua análise. 

Em poucas palavras: não se entende de forma detalhada o porquê de o algoritmo tomar a decisão que ele toma. 

Linda Lacewell, a Superintendente do Departamento de Serviços Financeiros de Nova York, postou no domingo uma postagem pelo perfil que a instituição possui no Medium. No texto, a representante reforça que o órgão investigará as queixas feitas contra o Apple Card e convida especialistas e membros da comunidade de tecnologia a discutir como o uso de algoritmos pode ser usado de forma igualitária. 

“Para que a inovação ofereça valor duradouro e sustentável, os consumidores que usam novos produtos ou serviços devem poder confiar que estão sendo tratados de maneira justa”, afirma em trecho do post. 

Em reportagem para a CNBC, Lacewell reforçou que é papel das empresas que trabalham com o uso de algoritmos garantir que o sistema não realiza discriminações e que o processo de seleção precisa se tornar mais transparente. 

“Não existe algo como “a companhia não fez isso, foi o algoritmo”. Os desenvolvedores, usuários e vendedores desses algoritmos precisam fazer testes para garantir que uma aplicação esteja agindo de acordo com seu objetivo.”