A governança de IA atinge muitas áreas funcionais dentro da empresa – privacidade de dados, viés de algoritmo, conformidade, ética e muito mais. Como resultado, abordar a governança do uso de tecnologias de inteligência artificial requer ação em vários níveis.
“Não começa no nível de TI ou no nível de projeto”, diz Kamlesh Mhashilkar, Chefe da Prática de Dados e Analytics da Tata Consultancy Services. A governança da IA também ocorre em nível de governo, conselho de administração e CSO, diz ele.
Na área da saúde, por exemplo, os modelos de IA devem passar por auditorias e inspeções rigorosas, diz ele. Muitos outros setores também possuem regulamentações aplicáveis. “E no nível do conselho, trata-se de comportamentos econômicos”, diz Mhashilkar. “Que tipos de riscos você assume quando introduz a IA?”
Quanto ao C-suite, as agendas de IA são dirigidas a um propósito. Por exemplo, o CFO estará em sintonia com o valor para o acionista e a lucratividade. CIOs e chief data officer também são partes interessadas importantes, assim como os diretores de marketing e compliance. E isso sem falar de clientes e fornecedores.
Nem todas as empresas precisarão agir em todas as frentes na construção de uma estratégia de governança de IA. As empresas menores, em particular, podem ter pouca influência sobre o que os grandes fornecedores ou grupos reguladores fazem. Ainda assim, todas as empresas estão ou estarão usando inteligência artificial e tecnologias relacionadas, mesmo que elas estejam simplesmente incorporadas às ferramentas e serviços de terceiros que usam.
E, quando usada sem supervisão adequada, a IA tem o potencial de cometer erros que prejudicam as operações comerciais, violam os direitos de privacidade, infringem os regulamentos do setor ou criam publicidade negativa para uma empresa.
Veja como as empresas com visão de futuro estão começando a abordar a governança de IA à medida que expandem os projetos de IA de pilotos à produção, com foco na qualidade dos dados, desempenho algorítmico, conformidade e ética.
Poucas áreas são tão repletas de preocupações éticas hoje do que o reconhecimento facial. Há um grande potencial de abuso, e as empresas que oferecem tecnologias de reconhecimento facial estão sofrendo resistência do público e, às vezes, de seus próprios funcionários.
É o caso da Xtract AI, uma subsidiária da Patriot One Technologies, que usa reconhecimento de imagem para identificar pessoas que estão portando armas.
A tecnologia também pode ser usada em outros contextos, como para identificar pessoas que não estão seguindo as diretrizes de máscara ou distanciamento social, diz Justin Granek, Vice-Presidente de Operações da Xtract.
A ética é um grande tópico de conversa, diz ele. “Para nós, vimos muito disso vindo de baixo para cima. Nossa equipe está dizendo ‘O que estamos fazendo sobre isso?’ e forçando a liderança a desenvolver nossa política de governança”.
Os clientes têm seu próprio conjunto de requisitos e há um equilíbrio que precisa ser determinado, diz ele. “Um de nossos clientes é o Departamento de Defesa do Canadá, e alguns de nossos clientes são da área de saúde. Eles estão olhando de perspectivas diferentes”.
A maior questão é para quais clientes trabalhar, diz ele, e que tipo de trabalho a tecnologia deve estar realizando. Essa é uma decisão geral que tem a ver com a missão da empresa. Mas também há questões técnicas que precisam ser tratadas, e elas começam com os dados.
A maior fonte de viés algorítmico está nos conjuntos de dados. Para o reconhecimento facial, por exemplo, os conjuntos de dados não são historicamente representativos da população em geral. “Eles são tendenciosos para os homens brancos”, diz Granek. “Está sendo corrigido, mas ainda há muito trabalho a ser feito”.
Os especialistas podem ajudar a corrigir problemas de enviesamento de dados, e os provedores de dados comerciais estão trabalhando para preencher as lacunas nos dados que fornecem. Também existem maneiras de criar conjuntos de dados sintéticos, mas muitas vezes a solução se resume a sair e obter dados melhores, diz Granek.
Para o algoritmo de detecção de armas do Xtract, isso significava configurar o espaço do laboratório, preenchê-lo com uma ampla variedade de armas de fogo de desativação e trazer muitas pessoas para andar de maneiras diferentes, em locais diferentes.
“Uma abordagem ingênua é apenas olhar para Hollywood em busca de imagens de pessoas andando com armas, mas isso não é representativo do mundo”, diz ele.
Em vez disso, a Xtract fez um esforço para coletar uma ampla gama de indivíduos para seus dados de treinamento. “Não existe receita para quem pode portar uma arma. Nós temos alguns alunos. Temos indivíduos mais velhos; temos um monte de indivíduos diferentes”, diz Granek.
Para algumas aplicações de IA, conjuntos de dados representativos e precisos podem ser a diferença entre a vida e a morte e ter implicações morais e éticas significativas. Mas mesmo quando os efeitos de conjuntos de dados ruins não levam a desastres públicos, eles ainda podem causar danos operacionais ou financeiros às empresas ou resultar em problemas regulatórios ou de conformidade.
Este último era a preocupação da mexicana Cemex, uma das maiores distribuidoras de materiais de construção do mundo. A empresa tem mais de 100 anos, mas está se reinventando por meio do uso de inteligência artificial no gerenciamento e nas operações da cadeia de suprimentos.
A Cemex começou a buscar IA e tecnologias relacionadas para aumentar a participação no mercado, melhorar o atendimento ao cliente e impulsionar os resultados financeiros há cerca de três anos.
“No ano passado e neste ano, estamos realmente vendo o valor da IA em escala global – não apenas em um pequeno piloto aqui ou ali”, disse Nir Kaldero, Diretor de IA da empresa.
Com a IA firmemente incorporada ao DNA da empresa, a Cemex percebeu a necessidade de criar estruturas de governança em torno dela, diz ele.
Tudo começa com dados. “Não há IA boa e confiável sem uma boa arquitetura de informação”, diz Kaldero. “Você não pode ter modelos bons e confiáveis sem boas informações”.
Na Cemex, a governança de dados abrange segurança, monitoramento, privacidade, conformidade e ética. A empresa precisa saber onde os dados estão localizados, onde e como são usados, se atendem aos requisitos regulamentares e se estão livres de preconceitos.
A Cemex, que depende da plataforma de dados em nuvem Snowflake para gerenciar seus dados e da Satori para gerenciar o acesso, tem um executivo sênior focado exclusivamente em dados e outro executivo sênior focado em governança que lidera uma equipe de governança, disse Kaldero.
Além da governança de dados, a Cemex começou a criar governança em torno de modelos e resultados de IA. “Isso é algo novo”, diz Kaldero. “Não apenas para a Cemex, mas para o mundo”.
Esta tarefa é compartilhada entre o grupo de IA e ciência de dados de Kaldero e o grupo de CIO.
A Cemex atualmente usa IA para prever as necessidades de peças para que possa economizar dinheiro negociando melhores acordos com seus fornecedores. Ele também está usando IA para direcionar e programar caminhões, bem como em vendas e preços. Se algum desses cálculos for incorreto, a empresa perderá muito dinheiro.
Portanto, para se proteger contra desvios do modelo e vieses algorítmicos, a Cemex usa a tecnologia da Algorithmia, baseada em Seattle.
KenSci é outra empresa preocupada com as consequências posteriores dos modelos de IA. A empresa com sede em Seattle usa IA para analisar dados de saúde, uma área onde modelos de IA precisos podem ser literalmente uma questão de vida ou morte.
“Sempre começamos revisando os objetivos dos modelos de IA com partes interessadas representativas e diversas”, diz Muhammad Aurangzeb Ahmad, o principal Cientista de Dados da empresa. Para garantir que esses modelos sejam transparentes e responsáveis, a explicabilidade é um componente central.
“Nós até lançamos um pacote Python de código aberto – fairMLHealth – que pode ser usado por qualquer pessoa para medir a imparcialidade dos modelos de machine learning”, diz ele.
Ahmad também recomenda a auditoria de modelos de IA para o desempenho em diferentes grupos, para garantir que as minorias e outros grupos vulneráveis sejam tratados com igualdade.
“A transparência e a explicabilidade dos modelos de IA aumentam a probabilidade de serem usados e confiáveis pelos usuários finais”, diz ele. “E mais fácil de ser auditado – e, portanto, corrigido quando necessário”.
Outra área importante a ser considerada na formulação de uma estratégia de governança é a ética do uso de IA. “A legislação não alcançou a tecnologia”, diz Ahmad. “É responsabilidade dos criadores de sistemas de machine learning valorizá-los e alinhá-los com objetivos éticos. Quando a troca é necessária, deve-se errar por excesso de cautela”.
Joe Tobolski, CTO da consultoria de serviços digitais Nerdery, vê as empresas se tornando cada vez mais conscientes dos possíveis riscos éticos da IA. “Mas eles estão completamente cientes no sentido de quais sistemas estão executando e quais dados de treinamento estão ocultos? Provavelmente, não”, diz ele.
Poucas empresas têm um código claro de ética de IA para aplicar a seus projetos de IA, fontes de dados e usos da tecnologia. “É esse o caminho que eu gostaria que fôssemos – ter essa estrutura forte e codificada de como lidar com essas coisas”, diz ele.
A Cemex é uma empresa que deliberadamente limitou seu uso de IA para minimizar potenciais complicações éticas. Por exemplo, está priorizando projetos que melhoram os serviços e ajudam os clientes em vez daqueles que simplesmente reduziriam o número de funcionários, diz Kaldero.
“Os funcionários estão no centro da organização – não a tecnologia”, diz ele. “Poderíamos automatizar todos os nossos call centers de clientes, mas isso não é do nosso interesse. A Cemex tem muito orgulho de ser um empregador que oferece oportunidades de trabalho às pessoas. Há algo de lindo nisso, ter isso em nossa missão de empresa”.
Os projetos de IA são escolhidos para ter um impacto positivo na força de trabalho. Veja a segurança, por exemplo. “Essa é uma grande iniciativa para a IA”, disse Kaldero. “A Cemex já reduziu drasticamente os acidentes, a quase zero. E a maneira de chegar a zero é por meio do reconhecimento de imagem”.
Para a seguradora de vida MassMutual, com sede em Springfield, Massachusetts, a governança da IA é baseada em um conjunto em constante evolução de princípios de ética de dados que orientam as ações e a tomada de decisões.
“Nós criamos especificamente um conjunto de princípios para usar IA para expandir nossos negócios alinhados com os valores da empresa e os interesses de nossos segurados”, disse Sears Merritt, Chefe de Dados, Estratégia e Arquitetura da empresa. “Também construímos uma equipe para supervisionar o uso de IA por meio da criação de uma estrutura de política”.
O MassMutual começou a examinar a ética e governança da IA há cerca de um ano, quando a empresa percebeu que precisava demonstrar e garantir que estava usando IA para o benefício de seus segurados.
Merritt agora supervisiona uma equipe de seis pessoas, incluindo consultores de ética e governança de IA, que rastreiam se os algoritmos aderem aos princípios de governança e como eles mudam ao longo do tempo, criando uma estrutura formal para as abordagens que a empresa já estava seguindo.
“Acreditamos que nosso trabalho tem um tremendo impacto sobre todos os nossos stakeholders”, diz Merrit, que recomenda começar com princípios básicos alinhados aos valores da empresa e interesses do cliente, e trabalhar com parceiros em leis, conformidade, ética e negócios para implementá-los de forma consistente.
Em seguida, diz ele, o MassMutual planeja promover sua estrutura como uma prática recomendada do setor.
John Larson, Vice-Presidente Sênior da Booz Allen Hamilton, diz que muitas das melhores práticas em torno da governança de IA devem ser familiares.
“Tenho feito isso há 25 anos”, diz ele. “Os mesmos princípios de como você desenvolve o software, os algoritmos, existiam antes. Mas o que não existia era a velocidade dos dados, a potência do processo e os algoritmos de aprendizagem”.
Os sistemas de IA, ávidos por dados de treinamento, normalmente funcionam com conjuntos de dados maiores do que nunca e, graças à digitalização das empresas de hoje, os dados chegam de sites, sensores de rede, dispositivos IoT e outras fontes a taxas sem precedentes.
A capacidade de processar esses dados também é drasticamente maior do que antes, em grande parte graças aos recursos da nuvem que podem ser escalonados de maneira quase ilimitada.
Finalmente, a natureza de feedback de alguns sistemas de IA significa que eles, na verdade, aprendem à medida que avançam, por conta própria, e esse aprendizado pode levá-los em direções inesperadas em um ritmo rápido demais para os humanos reagirem.
“Os modelos de governança de 25 anos atrás – os princípios são os mesmos, mas eles não podem apenas ser dimensionados para os desafios que estamos enfrentando”, diz Larson, acrescentando que a solução é construir proteções automatizadas em sistemas de IA.
Por exemplo, os desenvolvedores podem definir guarda-corpos. Se a precisão de predição de um modelo se desviar para além de um alvo predefinido, ou se o modelo parar de funcionar dentro dos parâmetros de design, então alguma forma de intervenção pode ser necessária. Da mesma forma, se os dados que chegam ao sistema não refletem mais os recursos necessários, isso pode gerar um alerta para reavaliar as fontes de dados ou escolher um modelo diferente que se adapte melhor aos dados de entrada.
Existem outras maneiras de monitorar os sistemas de IA. Testar as recomendações finais para correlações proibidas, como raça, idade ou afiliação religiosa, por exemplo, pode ajudar a detectar problemas antes que eles resultem em multas regulatórias ou desastres de relações públicas.
“Existem ferramentas que foram desenvolvidas – o Google as possui, a Microsoft as possui – que podem avaliar se um modelo é tendencioso contra certas coisas”, diz Larson. “Na Booz Allen, também estamos desenvolvendo alguns desses kits de ferramentas e tentando fornecer ferramentas a todos os nossos cientistas de dados”.
Finalmente, qualquer bom programa de governança de IA precisa de propriedade e responsabilidade, diz Jessica Lee, Sócia e Copresidente da Prática de Privacidade e Segurança do escritório de advocacia Loeb & Loeb. “Quem vai conduzir o programa e como vamos resolver os erros?”
“As empresas que não fazem isso bem correm o risco de ser as empresas sobre as quais lemos”, diz ela.
Não há garantia de que as empresas possam evitar consequências indesejadas de seus algoritmos, preconceitos ou resultados discriminatórios ou outros danos, diz ela. “Mas a boa governança certamente ajuda”.
Com mais de três décadas de experiência em liderança em tecnologia e estratégia de negócios,…
A Engemon IT inaugurou recentemente um novo escritório operacional em Alphaville, SP. A escolha da…
A Inteligência Artificial (IA) tem se consolidado como uma poderosa aliada no ambiente de trabalho.…
A Microsoft lançou uma nova categoria de PCs com Windows projetados para Inteligência Artificial (IA),…
A aquisição da VMware pela Broadcom tem gerado diversas discussões e análises sobre seus impactos…
Durante o Next 24, realizado pela Nutanix, em Barcelona*, na Espanha, o IT Forum ouviu…