Em 2017, The Economist declarou que os dados, em vez do petróleo, se tornaram o recurso mais valioso do mundo. O refrão foi repetido desde então. As organizações de todos os setores investiram e continuam a investir pesadamente em data e analytics. Mas, como o petróleo, data e analytics têm seu lado obscuro.
De acordo com o relatório State of the CIO 2020 do IDG, 37% dos líderes de TI dizem que data analytics irá gerar a maior parte dos investimentos em TI em sua organização este ano. Os insights obtidos com analytics e ações orientadas por algoritmos de machine learning podem dar às organizações uma vantagem competitiva, mas os erros podem custar caro em termos de reputação, receita ou até mesmo vidas.
Compreender seus dados e o que eles estão dizendo é importante, mas também é importante entender suas ferramentas, conhecer seus dados e manter os valores de sua organização em mente.
Aqui estão algumas casos de alto nível de erros de analytics e Inteligência Artificial da última década para ilustrar o que pode dar errado.
Em outubro de 2020, o Public Health England (PHE), o órgão governamental do Reino Unido responsável por registrar novas infecções por Covid-19, revelou que quase 16.000 casos de coronavírus não foram notificados entre 25 de setembro e 2 de outubro. O culpado? Limitações de dados no Microsoft Excel.
O PHE usa um processo automatizado para transferir resultados de laboratório Covid-19 positivos como um arquivo CSV para modelos do Excel usados por painéis de relatórios e para rastreamento de contato. Infelizmente, as planilhas do Excel podem ter no máximo 1.048.576 linhas e 16.384 colunas por planilha. Além disso, o PHE estava listando os casos em colunas em vez de linhas. Quando os casos excederam o limite de 16.384 colunas, o Excel cortou os 15.841 registros na parte inferior.
A “falha” não impediu os indivíduos que fizeram o teste de receberem seus resultados, mas impediu os esforços de rastreamento de contato, tornando mais difícil para o Serviço Nacional de Saúde (NHS) do Reino Unido identificar e notificar os indivíduos que estavam em contato próximo com pacientes infectados. Em uma declaração, em 4 de outubro, Michael Brodie, Executivo-Chefe Interino da PHE, disse que o NHS Test and Trace e o PHE resolveram o problema rapidamente e transferiram todos os casos pendentes imediatamente para o sistema de rastreamento de contato do NHS Test and Trace.
A PHE implementou uma “mitigação rápida” que divide arquivos grandes e conduziu uma revisão completa de ponta a ponta de todos os sistemas para evitar incidentes semelhantes no futuro.
Em 2019, um estudo publicado na Science revelou que um algoritmo de previsão de saúde, usado por hospitais e seguradoras em todos os Estados Unidos para identificar pacientes que precisam de programas de “gerenciamento de cuidados de alto risco”, tinha muito menos probabilidade de destacar pacientes negros.
Programas de gerenciamento de cuidados de alto risco fornecem equipe de enfermagem treinada e monitoramento de cuidados primários para pacientes crônicos em um esforço para prevenir complicações graves. Mas o algoritmo tinha muito mais probabilidade de recomendar pacientes brancos para esses programas do que pacientes negros.
O estudo descobriu que o algoritmo usou gastos com saúde como um proxy para determinar a necessidade de saúde de um indivíduo. Mas, de acordo com a Scientific American, os custos de saúde de pacientes negros mais doentes eram equivalentes aos custos de pessoas brancas mais saudáveis, o que significava que eles recebiam pontuações de risco mais baixas, mesmo quando sua necessidade era maior.
Os pesquisadores do estudo sugeriram que alguns fatores podem ter contribuído. Em primeiro lugar, as pessoas de cor têm maior probabilidade de ter rendimentos mais baixos, o que, mesmo quando seguradas, pode torná-las menos propensas a ter acesso a cuidados médicos. O preconceito implícito também pode fazer com que as pessoas de cor recebam cuidados de qualidade inferior.
Embora o estudo não forneça o nome do algoritmo ou do desenvolvedor, os pesquisadores disseram à Scientific American que estavam trabalhando com o desenvolvedor para resolver a situação.
Em março de 2016, a Microsoft descobriu que usar as interações do Twitter como dados de treinamento para algoritmos de machine learning pode ter resultados desanimadores.
A Microsoft lançou o Tay, um chatbot AI, na plataforma de mídia social. A empresa descreveu isso como um experimento de “compreensão conversacional”. A ideia era que o chatbot assumisse a personalidade de uma adolescente e interagisse com os indivíduos via Twitter usando uma combinação de machine learning e processamento de linguagem natural. A Microsoft semeou-o com dados públicos anônimos e algum material pré-escrito por comediantes, depois o liberou para aprender e evoluir a partir de suas interações na rede social.
Em 16 horas, o chatbot postou mais de 95.000 tweets, e esses tweets rapidamente se tornaram abertamente racistas, misóginos e antissemitas. A Microsoft suspendeu rapidamente o serviço para ajustes e, por fim, retirou o plugue.
“Sentimos profundamente pelos tweets ofensivos e prejudiciais não intencionais de Tay, que não representam quem somos ou o que defendemos, nem como projetamos Tay”, escreveu Peter Lee, Vice-Presidente Corporativo, Microsoft Research & Incubations (então Vice-Presidente Corporativo da Microsoft Healthcare), em um post no blog oficial da Microsoft após o incidente.
Lee observou que o antecessor de Tay, Xiaoice, lançado pela Microsoft na China em 2014, teve conversas com sucesso com mais de 40 milhões de pessoas nos dois anos anteriores ao lançamento de Tay. O que a Microsoft não levou em consideração foi que um grupo de usuários do Twitter imediatamente começaria a twittar comentários racistas e misóginos para Tay. O bot aprendeu rapidamente com esse material e o incorporou em seus próprios tweets.
“Embora tenhamos nos preparado para muitos tipos de abusos do sistema, fizemos uma supervisão crítica para esse ataque específico. Como resultado, Tay tuitou palavras e imagens totalmente inadequadas e repreensíveis”, escreveu Lee.
Como muitas grandes empresas, a Amazon está ávida por ferramentas que possam ajudar seus aplicativos de seleção de funções de RH para os melhores candidatos. Em 2014, a Amazon começou a trabalhar em um software de recrutamento movido a IA para fazer exatamente isso. Havia apenas um problema: o sistema preferia amplamente candidatos do sexo masculino. Em 2018, a Reuters deu a notícia de que a Amazon descartou o projeto.
O sistema da Amazon deu aos candidatos classificações de 1 a 5. Mas os modelos de machine learning no centro do sistema foram treinados em currículos de 10 anos enviados à Amazon – a maioria deles de homens. Como resultado desses dados de treinamento, o sistema passou a penalizar frases no currículo que incluíam a palavra “mulheres” e até mesmo rebaixou candidatas de faculdades só para mulheres.
Na época, a Amazon disse que a ferramenta nunca foi usada pelos recrutadores da Amazon para avaliar candidatos.
A empresa tentou editar a ferramenta para torná-la neutra, mas acabou decidindo que não poderia garantir que não aprenderia alguma outra forma discriminatória de classificar candidatos e encerrou o projeto.
Em 2012, um projeto de analytics do titã do varejo Target mostrou o quanto as empresas podem aprender sobre os clientes a partir de seus dados. De acordo com o New York Times, em 2002 o departamento de marketing da Target começou a se perguntar como poderia determinar se as clientes estavam grávidas. Essa linha de investigação levou a um projeto de analytics preditiva que levaria o varejista a revelar inadvertidamente à família de uma adolescente que ela estava grávida. Isso, por sua vez, levaria a todos os tipos de artigos e blogs de marketing citando o incidente como parte do conselho para evitar o “fator assustador”.
O departamento de marketing da Target queria identificar mulheres grávidas porque há certos períodos na vida – principalmente a gravidez – quando as pessoas têm maior probabilidade de mudar radicalmente seus hábitos de compra. Se a Target pudesse alcançar os clientes naquele período, poderia, por exemplo, cultivar novos comportamentos nesses clientes, fazendo-os recorrer à Target para comprar mantimentos, roupas ou outros bens.
Como todos os outros grandes varejistas, a Target estava coletando dados sobre seus clientes por meio de códigos de compradores, cartões de crédito, pesquisas e muito mais. Ele misturou esses dados com dados demográficos e dados adquiridos de terceiros. A análise de todos os dados permitiu que a equipe de analytics da Target determinasse que havia cerca de 25 produtos vendidos pela Target que poderiam ser analisados em conjunto para gerar uma pontuação de “previsão de gravidez”. O departamento de marketing poderia então direcionar os clientes de alta pontuação com cupons e mensagens de marketing.
Pesquisas adicionais revelariam que estudar o estado reprodutivo dos clientes pode parecer assustador para alguns desses clientes. De acordo com o Times, a empresa não recuou de seu marketing direcionado, mas começou a misturar anúncios de coisas que sabiam que mulheres grávidas não comprariam – incluindo anúncios de cortadores de grama ao lado de anúncios de fraldas – para fazer o mix de anúncios parecer aleatório para o cliente.
O IT Forum traz, semanalmente, os novos executivos e os principais anúncios de contratações, promoções e…
A Microsoft está enfrentando críticas após um relatório revelar um aumento alarmante em suas emissões…
O Grupo Centroflora é um fabricante de extratos botânicos, óleos essenciais e ativos isolados para…
Toda semana, o IT Forum reúne as oportunidades mais promissoras para quem está buscando expandir…
Um estudo divulgado na segunda-feira (13) pela Serasa Experian mostra que a preocupação com fraudes…
A Honeywell divulgou essa semana a sexta edição de seu Relatório de Ameaças USB de…