Dora Kaufman: diversidade em IA exige esforço de regulamentação

A predominância de desenvolvedores homens e brancos tanto no mercado de tecnologia como entre as equipes desenvolvedoras de inteligência artificial pode resultar em uma tecnologia discriminatória. E a melhor forma de combater o problema é pensar em equipes mais diversas – que contem não só com mulheres, mas também pessoas negras, asiáticas etc – e multidisciplinares – especialistas em ciências exatas e também humanas.

A conclusão, parte de um estudo do britânico The Alan Turing Institute, é relembrada por Dora Kaufman, professora do programa de pós-graduação em Tecnologias da Inteligência e Design Digital da Pontifícia Universidade Católica de São Paulo (PUC-SP) e ehttps://itforum.com.br/wp-content/uploads/2018/07/shutterstock_528397474.webpsa dos impactos éticos da inteligência artificial. Seu último livro, chamado A inteligência artificial irá suplantar a inteligência humana? (Editora Estação das Letras e Cores, 2019), discute os avanços dessa tecnologia.

Para ela, só diversidade humana é capaz de conferir a sensibilidade necessária para evitar o surgimento de uma IA que discrimina.

“Se uma mulher estiver presente, aumenta a probabilidade disso não acontecer”, diz a especialista em entrevista ao IT Forum. Embora a necessidade de se ter equipes mais diversas não seja nova, seja nas empresas ou nas universidades, o avanço ainda é pequeno. Para Dora, é preciso um esforço de regulamentação por parte do poder público para que essa inclusão deslanche.

Leia também: Inteligência Artificial: avanços tecnológicos e regulatórios sem ética e transparência são retrocessos

“Continuo achando muito difícil fazer regulamentação sobre IA. Dada a dificuldade, eu achava que não era premente. Mas hoje acho que não, tem que haver regulamentação e diretrizes impostas pelo setor público”, conta a professora. Para ela, não basta que as empresas estabeleçam as próprias normas sobre diversidade nas equipes uma vez que “iniciativas de autorregulação não deram resultado, não avançaram”.

E a lógica também vale para as universidades, que “ponto de vista ético deveriam ter uma norma que definisse que as equipes deveriam ser multidisciplinares, não só do ponto de vista de gênero, mas de formação”. Para ela, equipes que estudam IA na academia são formadas por uma maioria de homens brancos formados na área de tecnologia, mas a complexidade dos efeitos e impactos da inteligência artificial sobre a sociedade também precisam do envolvimento de quem “pensa ciências sociais e humanas”.

“O que significa eficiência de um sistema para um desenvolvedor é muito diferente do que significa para a área de ciências humanas e sociais. A interdisciplinaridade é fundamental”, reitera.

Confira a seguir os principais momentos da entrevista.

 

IT Forum: A inteligência artificial irá suplantar a humana? E por que essa questão nos preocupa tanto em termos de imaginário?

Dora Kaufman: Essa questão do imaginário nosso tem uma origem, que são os filmes de ficção científica. Se a gente pegar os mais importantes, em geral eles tratam a inteligência artificial numa perspectiva que é uma outra espécie que em algum momento vai subjugar e dominar os humanos. Como é uma tecnologia relativamente nova, praticamente tudo que a gente está vendo hoje e a IA está permeando nosso cotidiano data de 2012 para cá, é muito recente. Está nos primórdios. O público em geral não tem conhecimento, consciência como de fato ela funciona. Em abril estou lançando um novo livro chamado Desmistificando a inteligência artificial. Mas nesse livro que você citou, no final eu mostro que isso hoje é ficção científica. Existem alguns estudos e iniciativas tentando prever o que vai acontecer, mas é tudo muito embrionário ou alguns até extrapolam e na minha opinião entram no campo da ficção. O que temos hoje é uma determina técnica que se chama redes neurais profundas, que são é um modelo estatístico de probabilidade que é limitado. Ele é desenvolvido para determinadas tarefas, e se você vai executar outra tarefa exige outro modelo. Nem tangencia a complexidade do cérebro humano.

 

IT Forum: Onde estão as maiores limitações da inteligência artificial.

Dora Kaufman: Como é um modelo estatístico de probabilidade ela tem uma variável de incerteza intrínseca. É sempre uma probabilidade, não é 100%. Isso já é uma questão. Quando eu trato por exemplo de reconhecer em uma região potenciais criminosos. Eu posso dizer que desenvolvi um modelo que tem uma assertividade de 70%. Eu chefe da polícia posso usar esse modelo, mas existe de 30 a 20% de probabilidade de cometer injustiças. Identificar um potencial criminosos que não seja um potencial criminoso. Quando estamos falando de impacto na vida da pessoa, sistemas que chegam a 80%, mesmo que seja 90%, tem sempre 10% que pode causar danos nas pessoas.

Outra questão é que ao longo de todo desenvolvimento, e eu acho um equívoco atribuir autonomia a esses sistemas, em todo o processo de desenvolvimento está presente a subjetividade humana.  Os humanos tomam decisões importantes em todas as etapas de desenvolvimento, treinamento, implementação, verificação, interpretabilidade e o uso. Aí a gente já tem um conjunto de problemas que podem surgir, porque são seres humanos que estão surgindo.

Tem outro ligado a base de dados. Diferente da programação tradicional, ela “aprende”, entre aspas. Os termos que a gente usa para os seres humanos não são tão adequados pros sistemas. O sistema aprende através dos dados. Faz correlações dos dados. A base de dados é fundamental, e muitos desses cases citados mundialmente como problemáticos, quando as auditorias foram feitas, a primeira constatação é de problemas nas bases de dados. Durante 10 anos os modelos foram desenvolvidos com bases de dados específicas usadas para treinar os modelos. E se viu depois que as bases tinham problemas gravíssimos. Se eu quero identificar por exemplo um sistema de IA em sistemas de vigilância na rua. Se eu treino aquele sistema com uma base de dados predominantemente de brancos, ele vai ter dificuldade de identificar com assertividade uma pessoa negra. Se eu treino com homens, ele não vai identificar uma mulher. Depende como vai usar a base de dados. E mesmo assim é difícil ter perfeição.

 

IT Forum: Aproveitando o tema da discriminação. O mercado de tecnologia atual é formado principalmente por homens. O mesmo acontece nas equipes que desenvolvem inteligência artificial? Como reduzir esse problema?

Dora: Os dados dizem que mais ou menos 80% do mercado de tecnologia é masculino, e 20% são mulheres. É uma defasagem muito grande. Essa questão remete a diversidade das equipes. Essa questão não é nova, dentro da gestão moderna de uma empresa vem sendo falada tem algum tempo. Quanto mais diversificada sua equipe, do ponto de vista de gênero, etnia, formação, repertório, origem, potencialmente se espelha mais a composição da sociedade. Tende a diminuir os vieses. Isso serve para qualquer coisa. No caso da IA também vale. Alguns casos viraram ícones de discriminação de IA. Se [nesses casos] a equipe que tivesse desenvolvido os sistemas fosse mais composta de mulheres, homens, negros, asiáticos, com origens diferentes, provavelmente essas pessoas teriam visto a discriminação.

Existe um trabalho do The Allan Turing Institute que aponta exatamente essa questão. Alerta que a uma predominância de homens brancos entre as equipes desenvolvedoras de IA leva a isso. São pessoa que não tem sensibilidade para pensar que há discriminação em relação às mulheres. Se uma estivesse presente aumenta a probabilidade de isso não acontecer.

Eu acho que duas coisas: primeiro que tem que ter regulamentação. Até um tempo atrás eu achava muito difícil fazer regulamentação sobre IA. Dada a dificuldade não era premente ou mandatório. Hoje acho que não. Tem que ter diretrizes impostas pelo poder público. Algumas regulamentações precisam ser feitas. Se a gente pegar as questões climáticas, tem toda uma regulamentação, procedimentos que as empresas tem que cumprir.

Não é só ter equipes diversificadas e as empresas estarem sensíveis a essas questões, isso não resolve. Isso seria autorregulamentação, que também já se mostrou… já faliu. Iniciativas importantes de IA não deram resultado, não avançaram.

O mínimo que qualquer universidade deveria definir. Se tem uma área que está desenvolvendo sistemas de IA. Do ponto de vista ético a universidade deveria ter normas que estabelecesse que as equipes têm que ser multidisciplinares. Não só diversificado do ponto de vista de gênero, mas de formação. E alguma regra também para as empresas.

Um dos problemas que geram muito algoritmos com vieses é o fato de que, além da predominância de homens brancos, existe também de tecnologia. E a complexidade, os efeitos e o impacto que essa tecnologia tem na sociedade não pode ser decisão apenas do ponto de vista de tecnologia. A lógica de quem trabalha com tecnologia é muito distinta de quem pensa ciências sociais e humanas. O que significa eficiência de um sistema para um desenvolver é muito diferente para a área de ciências humanas e sociais. A interdisciplinaridade é fundamental.

 

IT Forum: Você acha que as empresas estão mais conscientes com relação a essa necessidade? E a academia?

Dora: Eu acho que é muito tênue. Do ponto de vista das empresas a autorregulamentação já me parece que não funcionou. Vai depender de diretrizes e regulamentação pública. Política pública. É uma imposição do Estado e as empresas têm que se enquadrar. Eu acompanhei algumas iniciativas, do Google, do Facebook, e continuo acompanhando. São diretrizes perfeitas quase. Mas na prática o efeito é praticamente nenhum. É um conjunto de diretrizes que as empresas definem e tem mais um papel de mostrar para sociedade que [elas] estão reagindo, mas quando se vê essas diretrizes gerais definidas internamente e se de fato realmente influenciam no desenvolvimento dos produtos é quase nenhum.

Mas do ponto de vista da academia temos um problema histórico. As universidades foram criadas com base na economia industrial, então é tudo segmentado. Antes víamos grandes pensadores, eles eram matemáticos, filósofos, físicos, tinham várias formações. A expansão do conhecimento levou naturalmente à segmentação. É nessa situação que se formaram as universidades. Temos tudo compartimentalizado. Pessoal de tecnologia não se preocupa com questões sociais e éticas e os de humanas e sociais não tem conhecimento sobre tecnologia. Essa separação é problemática. A complexidade não é só da IA, é do mundo atual, que precisa romper essa separação. Precisa ter de fato equipes interdisciplinares. Essas formas diferentes de ver se juntando.

Essa questão é no mundo inteiro. Os principais institutos do que chama de “IA for good”, que pensam em como criar uma IA para proteger as sociedades, são separados dos centros de desenvolvimento da tecnologia. Eu não conheço nenhum exemplo em que o centro de desenvolvimento de tecnologia incorporou iniciativas de pensar de fato questões éticas e sociais.

Outra questão que é muito do Brasil é a separação muito forte entre academia mercado. Isso não é generalizado no mundo. Os sistemas do mundo geralmente estão em integração entre governo, academia, setor privado e investidores, que formam os grandes ecossistemas. As grandes empresas de tecnologia têm parcerias com centros de pesquisa em universidades, e no Brasil temos uma separação muito grande. Um preconceito muito grande de ambas as partes. O que tem de aproximação é muito pontual para vencer alguma tarefa, não é uma tradição.

 

IT Forum: Você recentemente escreveu um artigo para a revista Piauí sobre a lei em discussão no Congresso Nacional e que busca regular a inteligência artificial no Brasil. O que você acha dessa legislação?

Dora: Eu participei inclusive da consulta pública na Câmara e no Senado. Eu acho inócua. Ela não estimula a autorregulação, ela não é nada. Não vai ter efeito. Não é à toa que na véspera 15 instituições ligadas às empresas do mercado lançaram um manifesto apoiando veementemente [o projeto]. É absolutamente generalista, não define pontos nem riscos diferentes. Não define praticamente nada. Isso que eu ia comparar. O projeto para IA da comissão europeia levou de 2018 até 2021 para ser elaborado. Em abril de 2021 foi lançado e a perspectiva é que fique mais três ou quatro anos em discussão. Ela tem 108 páginas. Ela também é ambígua, do jeito que está é impossível se transformar em projeto de lei. PLs não pode ser ambíguo, tem que ser claros, é com base neles que um juiz vai tomar decisão. O PL do Brasil tem 9 páginas. A primeira consulta pública foi em julho, e em setembro foi votada no plenário. A minha impressão, e que não me surpreende, é natural, os parlamentares não tem conhecimento. Não tem muito ideia do que votaram. E eu levantei a questão do “por que a urgência”? E a relatora falou que foi um entendimento errado, não era urgência de aprovação, mas de começar a discussão. Mas não foi isso que aconteceu. Espero que o Senado abra discussões mais amplas na sociedade, porque não tem urgência para aprovar um projeto de lei. O que é importante é que que tenha alguma proteção que faça sentido.

 

IT Forum: Como a IA pode aprimorar nossa sociedade, servindo a um propósito de inclusão?

Dora: IA é a tecnologia de propósito geral do século XXI. Se a gente pegar quais foram as grandes tecnologias, como carvão, eletricidade, computação. Estamos falando de tecnologias que reconfiguram uma era. A grande contribuição dela é o fato de ser a única técnica, não a IA como um todo, mas uma técnica de aprendizado de máquina que permeia praticamente todas as implementações. Ela pode lidar com esse grande conjunto de dados. Ela está sendo usada em tudo, não só aumentar a eficiência das empresas. Ela consegue fazer previsões mais assertivas. Essa é a grande contribuição. Todo funcionamento da nossa vida, principalmente das empresas, depende de previsões com base em informações. Quando a gente compara com a alternativa, qual a alternativa? A decisão humana. E ela é absolutamente preconceituosa e enviesada. Minha aposta para o futuro é: existe muito esforço para mitigar as deficiências dessa técnica, e temos uma probabilidade de no futuro ter decisões menos enviesadas.