Como lançar – e dimensionar – um projeto-piloto de IA bem-sucedido

No Escritório de Patentes e Marcas Registradas dos EUA em Alexandria, Virgínia, os projetos de inteligência artificial (IA) estão acelerando o processo de classificação de patentes, ajudando a detectar fraudes e expandindo as pesquisas dos examinadores por patentes semelhantes, permitindo que eles pesquisem mais documentos na mesma quantidade de tempo. E todo projeto começou com um projeto-piloto. “As provas de conceito (PoCs) são uma abordagem-chave que usamos para aprender sobre novas tecnologias, testar suposições de valor de negócios, reduzir o risco de entrega de projetos e informar decisões completas de implementação de produção”, diz Jamie Holcombe, CIO do USPTO. Assim que o piloto for testado, diz ele, o próximo passo é determinar se ele pode ser escalado. A partir daí, trata-se do dimensionamento real e, em seguida, da produção total.

O fornecedor indiano de comércio eletrônico Flipkart seguiu um processo semelhante antes de implantar projetos que permitem a pesquisa de texto e visual em milhões de itens para clientes que falam 11 idiomas diferentes. Agora, está testando bots de conversação que usam deep learning para criar modelos que incorporam detecção de intenção do usuário, tradução de idiomas e funções de fala para texto e texto para fala. E tanto a Flipkart quanto o USPTO estão expandindo rapidamente a aplicação de visão computacional, processamento de linguagem natural, machine learning (ML) e outras tecnologias de IA para outras partes do negócio.

Mas, apesar de toda a empolgação em torno de IA e ML, muitos projetos-piloto e PoC iniciais não chegam à produção total. Projetos bem-sucedidos precisam fazer parte de um plano estratégico, obter patrocínio executivo, ter acesso aos dados certos, ter as equipes certas, ter as métricas e marcos técnicos e de negócios certos, passar por muitas iterações e falhar rapidamente. “Esse processo pode levar um ano ou dois para chegar a um alto nível de qualidade. Esse é o nível de paciência que você precisa”, diz Ganapathy Krishnan, Vice-Presidente de Engenharia da Flipkart.

Prepare o palco para o sucesso

As empresas estão se movendo rapidamente para encenar projetos-piloto de IA bem-sucedidos, movê-los para produção e produzir resultados. “Vimos projetos de IA entrarem no mainstream”, diz Rowan Curran, Analista de IA, ML e Ciência de Dados na Forrester. “Cinquenta e sete por cento das empresas estão implementando ou ampliando seus projetos de IA e 70 a 75% estão vendo um valor claro nesses projetos”. Além disso, de acordo com uma pesquisa recente da EY, 53% dos CIOs e líderes de TI disseram que dados e analytics, sob os quais a IA se encaixa, serão uma das principais áreas de investimento nos próximos dois anos.

Mas muitos desses projetos-piloto estão fadados ao fracasso antes de serem iniciados por vários motivos, começando pela falta de suporte de cima para baixo. “Você precisa de um executivo campeão e precisa ter o financiamento certo”, diz Holcombe, do USPTO.

Iniciar projetos do meio da organização ou de baixo para cima reduz suas chances de sucesso, dizem os executivos de TI. Os projetos mais bem-sucedidos acontecem quando o CIO tem suporte executivo com o compromisso de financiar o projeto e integra a IA à estratégia geral de transformação digital da organização.

Definir expectativas claras também é fundamental, diz Krishnan, da Flipkart. “Você não deve ter a expectativa de implantar essa coisa e transformar radicalmente o negócio. É um processo demorado que leva tempo”.

Uma PoC também pode ser um exercício de capacitação dentro da organização. Essa é uma abordagem que a Eli Lilly adotou. “A partir de PoCs, experimentamos e aprendemos as dimensões de escala para entrega técnica e de projetos”, diz Tim Coleman, Vice-Presidente e Diretor de Informações para informações e soluções digitais da empresa farmacêutica. A equipe está aplicando recursos de processamento de linguagem natural para descoberta, geração e tradução de linguagem natural em áreas de negócios, desde a autoria de conteúdo clínico e científico até o desenvolvimento de produtos, pesquisa avançada e funções administrativas gerais.

Mas não confunda esses exercícios de capacitação com projetos-piloto que precisam gerar amplo valor transformacional, adverte Dan Diasio, Líder Global de consultoria de IA da EY. “Você quer desenvolver sua capacidade para que ela possa fazer isso, mas quando chegar a hora de causar o tipo de impacto necessário para competir com os disruptores no futuro que seja significativo para os investidores, você terá que adotar uma abordagem de cima para baixo”.

É assim que o Atlantic Health System aborda os projetos de IA e ML. O provedor de serviços de saúde escalou pilotos bem-sucedidos na avaliação de imagens para auxiliar os radiologistas e na automação de pré-autorização, que recebe um pedido de imagem e o move por várias etapas do processo até o agendamento. “A IA deve fazer parte de uma transformação digital, não de uma iniciativa isolada”, diz Sunil Dadlani, Vice-Presidente Sênior e CIO. “Temos uma estrutura de governança formalizada e planos de investimento sobre como lidar com IA e ML”. E na Eli Lilly, as propostas de projeto devem passar por três critérios antes de avançar: oferecer valor comercial em termos de ROI, ter uma probabilidade aceitável de sucesso e o resultado deve estar alinhado com a estratégia e as prioridades de negócios, diz Coleman. Por exemplo, o principal impulsionador do Mosaic PV, um dos primeiros projetos de IA da empresa, focado em relatórios de reações adversas a medicamentos, foi “aumentar a produtividade e reduzir o custo de processamento de eventos adversos, mantendo um alto padrão de qualidade e conformidade”, diz ele.

Qual é a questão?

Um piloto bem-sucedido começa definindo o problema do negócio. “Não acabe com uma resposta procurando por uma pergunta”, diz Sanjay Srivastava, Chefe de Estratégia Digital da Genpact, empresa global de serviços profissionais, que presta consultoria a grandes empresas em projetos baseados em IA. “Projetos focados em resultados de negócios que começam com uma pergunta em vez de uma resposta geralmente se saem bem”, diz ele.

Em seguida, decida se a IA é a melhor resposta. “O projeto se encaixa nessa barra de que é complexo o suficiente para valer a pena fazer?”, questiona Krishnan. “Se você pode fazer isso com uma abordagem simples baseada em regras, faça. Mas quando você tem centenas de milhares ou talvez milhões de regras, não é viável usar uma abordagem baseada em software”.

Você tem as métricas e dados corretos?

De volta ao USPTO, os projetos de IA exigem dois conjuntos de métricas: as técnicas em termos de desempenho do modelo e as métricas que quantificam o valor comercial do seu projeto de IA.

Em seguida, o Atlantic Health System garante o sucesso ao implementar um piloto com KPIs de negócios claros para um pequeno segmento do negócio. Seu sistema de avaliação por imagem, por exemplo, começou com uma pequena implantação-piloto no departamento de neurologia, que rapidamente se expandiu para cardiologia e outras áreas. Em oito semanas, a equipe criou um piloto bem-sucedido para neurologia, demonstrou resultados e obteve adesão da cardiologia e de todas as suas outras linhas de serviço.

E, como o USPTO, o Flipkart primeiro se concentra nas métricas do modelo técnico e, em seguida, executa testes A/B para descobrir qual impacto isso terá nos negócios. Atualmente, a equipe está trabalhando no desenvolvimento e teste de um bot de conversação assistido por IA. Eles começaram com a métrica de “responsabilização”, ou quão bom o bot responde a perguntas. Eles agora estão executando testes A/B para determinar se isso terá um impacto mensurável nos negócios.

Os projetos de IA dependem muito de big data e você precisa da velocidade, volume e variedade certos, diz Dadlani. “Se a qualidade dos seus dados não for boa, você não verá os resultados [esperados]”.

Srivastava, da Genpact, concorda: “A ingestão, harmonização, engenharia e governança de dados são 90% do trabalho envolvido na construção de um sistema de IA. Se você se concentrar nos 10% e deixar de lado os 90%, estará morto desde o início. Portanto, construa essa base de dados”.

Você também precisa fornecer feedback contínuo entre os testes A/B, recuperando os dados em tempo real para que você possa ajustar o modelo. Mas sua organização pode não estar configurada para fornecer os dados de forma rápida e automatizada. Por exemplo, se você está trabalhando em um modelo de previsão e a equipe não está capturando automaticamente informações sobre o que os clientes estão comprando, você não pode fechar esse ciclo. Também é essencial continuar o ciclo de feedback após a implantação completa, pois as preferências do cliente podem mudar com o tempo. Se o seu modelo não levou em conta isso, você não obterá os resultados que espera – um resultado conhecido como “desvio do modelo”.

Será que vai escalar?

Embora as expectativas preliminares possam ser de que um piloto será capaz de escalar para uma implantação completa, a prova está no piloto. Então, você tem os recursos certos para escalar do piloto à implantação completa? “Para dimensionar, você pode precisar simplificar o código, trazer novas tecnologias, levar sua IA ou ML ao limite em vez de ter um repositório de dados, precisar empregar novas equipes e configurar uma fábrica de rotulagem de dados”, diz Diasio, da EY. “Há todo um conjunto de habilidades de engenharia que são necessárias”.

Executar o piloto

A Flipkart aproveita a nuvem e os recursos de MLOps associados para seus pilotos. “Para começar”, diz Krishnan, “os pilotos precisam de muito suporte de engenharia, devem iterar com frequência e falhar rapidamente, e para isso você precisa de uma infraestrutura MLOps, que os grandes provedores de serviços em nuvem oferecem”. Ele recomenda que a equipe do piloto informe com atualizações regulares de progresso sobre o quão perto eles estão de atingir as metas e certifique-se de que as expectativas sejam definidas corretamente durante o piloto.

“Se você mover a agulha em 3% durante o piloto inicial, está indo bem”, acrescenta. E não espere ver ganhos imediatamente. É difícil para um piloto complexo ver um impacto em três meses. Implante, encontre as lacunas, implante novamente e continue subindo de forma incremental.

Uma falha ao longo do caminho não significa necessariamente o fim de um piloto. O sistema de classificação aumentada do USPTO falhou inicialmente. “Começamos com um conjunto de dados que não foi devidamente curado”, diz Holcombe. Mas a equipe conseguiu reajustar e continuou com o piloto até que o sistema teve um desempenho substancialmente melhor do que o processo manual. “Se você falhar, não desista. Descubra por que você falhou”, diz ele.

A avaliação final

Esses CIOs, executivos de TI e consultores usaram vários métodos para avaliar seus projetos-piloto. No Atlantic Health System, uma vez concluído o piloto inicial, é hora de avaliar os resultados e decidir se estende o piloto, avança para a produção ou reduz suas perdas. “Um piloto deve fornecer a medida percebida de sucesso”, diz Dadlani. “Somente quando vemos um resultado promissor, dizemos: ‘O que seria necessário para aumentar isso, quanto tempo levará, qual será o tempo para avaliar, quais investimentos serão necessários para recursos de infraestrutura tecnológica e como nós operacionalizamos”.

Coleman, da Eli Lilly, diz que os pilotos falham por vários motivos: habilidades insuficientes de IA, dados rotulados insuficientes, visão de projeto ou proposta de valor pouco clara, falta de uma mentalidade ágil e rápida e falta de patrocínio executivo e gerenciamento de mudanças organizacionais para impulsionar a adoção de negócios.

Certifique-se de relatar as métricas que importam para o resultado final. Por exemplo, se um algoritmo de precificação for projetado para economizar US$ 50 milhões, pode haver uma lacuna entre o que foi realizado até o momento e o potencial esperado, diz Diasio. “Quando você fala sobre projetos de alto valor, os pilotos geralmente não têm a credibilidade de gerar tanto valor, então faça o trabalho duro para rastrear o valor realizado na medida do possível”, diz ele.

Este também é o momento de reavaliar se o piloto será dimensionado. “Muitos PoCs são muito bem-sucedidos tecnicamente, mas não economicamente quando você o dimensiona”, diz Srivastava, da Genpact. Outras considerações incluem quanto tempo levará para escalar e quais recursos serão necessários.

Mas essa imagem pode mudar quando você olha a longo prazo. “Mesmo em situações em que a escala pode não ser alcançável no curto prazo, um escopo de projeto menor com alta probabilidade de sucesso na entrega ainda pode fornecer valor comercial de curto prazo, enquanto os recursos e habilidades de tecnologia amadurecem para lidar com as barreiras de escala”, diz Coleman.

Então, ali tem infraestrutura. Certifique-se de verificar todas as suas suposições ao dimensionar, incluindo configurações, largura de banda de rede, armazenamento e computação. “Você precisará de muito suporte de engenharia para escalar, e é aí que a infraestrutura MLOps baseada em nuvem pode ajudar”, diz Krishnan.

Por fim, certifique-se de integrar a IA em seus fluxos de trabalho upstream e downstream. Por exemplo, prever falhas não é útil se você não integrou isso ao seu sistema de cadeia de suprimentos upstream para garantir que as peças sobressalentes estejam lá quando e onde você precisar delas. Da mesma forma, essa informação deve ser usada a jusante para ajustar os cronogramas de manutenção.

Comece devagar, falhe rápido, seja paciente

A chave para um piloto de IA/ML bem-sucedido começa com o planejamento inicial. Obtenha a adesão dos principais executivos e suporte financeiro antes de seguir em frente. “Você precisa ter essa capa superior”, diz Holcombe, e certifique-se de ter todos os interessados ​​a bordo desde o início.

Um projeto piloto de IA/ML deve ser realizado como parte de uma estratégia geral de transformação digital, com um caso de uso de negócios atraente, diz Dadlani. Alcançar resultados a partir das expectativas exige paciência. Crie métricas de impacto técnico e de negócios que definam o sucesso e conheçam seus recursos, pois você garante que tem os recursos certos no local. Construa a equipe certa e esteja preparado para falhar rapidamente. Portanto, ter a combinação certa de habilidades e conhecimento de domínio na equipe é a chave para um projeto piloto de IA bem-sucedido. “Você precisa de uma equipe multifuncional, mesmo na fase piloto”, diz ele. “Garantimos que todos estejam envolvidos [no piloto] porque isso se torna parte do fluxo de trabalho clínico. Eles têm que estar envolvidos desde o início”.

As organizações que não têm todo esse talento na equipe devem considerar a construção de uma equipe híbrida com parceiros externos, enquanto as pequenas e médias empresas provavelmente precisarão terceirizar mais funções – se conseguirem encontrar o talento. “Se você não tem os engenheiros de IA/ML e engenheiros de dados certos, é muito difícil terceirizar isso”, diz Srivastava. Além disso, você precisa de pessoas em sua equipe que entendam tanto de ML quanto do seu setor, como a manufatura. Essa não é uma combinação de habilidades fácil de encontrar, portanto, o treinamento cruzado é fundamental.

Por fim, considere um projeto direcionado que possa produzir resultados comerciais reais e, em seguida, dimensione para outras áreas do negócio, como o Atlantic Health System fez com seu sistema de avaliação de imagens baseado em ML.

Quando um piloto passar para a produção total, construa o que você realizou. Mantenha os negócios atualizados sobre o progresso do piloto, mostre os recursos do projeto uma vez totalmente implantados e crie plataformas que outras unidades de negócios possam aproveitar para seus próprios aplicativos. “O ritmo de mudança hoje é o mais lento que jamais será”, diz Srivastava. “As empresas que desejam inovar e crescer precisam mudar a maneira como geram valor, e você não pode fazer isso sem IA. Se você não investir nisso, terá uma mão amarrada nas costas”.