‘ByoLLM’: ServiceNow quer clientes operando modelos próprios de IA generativa

“Bring your own LLM”, algo como “traga seu próprio modelo amplo de linguagem”. Essa é a visão que a ServiceNow, fornecedora de soluções de automação de fluxo de trabalho, tem para sua plataforma como pretende utilizar IA generativa em suas ofertas. A visão foi explicada por Chirantan “CJ” Desai, COO da ServiceNow, durante o Knowledge 23, evento global da companhia realizado nesta semana em Las Vegas, nos Estados Unidos.

Durante o encontro, a empresa anunciou novas ferramentas de IA generativa para sua plataforma de automação de workflow, mas também detalhou sua estratégia com a tendência que tem dominado a indústria da tecnologia nos últimos meses. “Seja OpenAI ou outros LLMs de propósito geral, nós vamos prover conectores com a plataforma da ServiceNow para que você possa alavancá-las para seus casos de uso, como busca”, explicou o executivo.

Na prática, o plano da companhia é permitir que seus clientes desenvolvam seus próprios modelos amplos de linguagem (LLMs) – os motores por trás de ferramentas como o ChatGPT – customizados, contendo parâmetros específicos para os negócios de cada empresa, para dentro da plataforma da ServiceNow.

Leia também: IA generativa é novo passo da ServiceNow para automação de workflow

Isso se dará através dos chamados “LLMs específicos de domínio”. Esses modelos são menores em termos de parâmetros, mas contém dados específicos do domínio do cliente. Com isso, a ideia é gerar aplicações de IA generativa mais seguras – já que os modelos são treinados com dados que não saem do ecossistema do cliente – e com menor possibilidade de erros ou ‘alucinações’, uma vez que os dados usados para treinar parâmetros são específicos à aplicação do cliente.

“Nós não precisamos de 375 milhões de parâmetros. Nós podemos treinar, com os modelos certos de open source, para você e com seus dados. Assim você tem privacidade, confiança e outros parâmetros que importam”, pontuou CJ. Uma das formas dessa operação é o recém-anunciado ServiceNow Assist para Busca, que fornece respostas em linguagem natural aos usuários de plataformas da Service Now – como Portal Search, Next Experience ou Virtual Agent – extraindo informações usando a própria base de dados do cliente. O Assist também pode ser customizável por clientes para ser utilizado com suas próprias identidades visuais.

Para transformar a visão em realidade, a ServiceNow atuou em uma série de frentes ao longo dos últimos anos. Um passo importante foi a aquisição da Element AI, startup canadense adquirida pela ServiceNow em 2020 que ajudou na aquisição de talento e infraestrutura para a companhia californiana acelerar sua atuação em IA. “Nós conquistamos um grupo incrível de cientistas, pesquisadores, cientistas de dados e engenheiros que nos ajudaram a explorar o que nossa plataforma pode fazer com AI”, explicou CJ.

Durante o Knowledge 23, um segundo passo de peso foi revelado na forma de uma parceria com a Nvidia. O acordo permitirá que a empresa empregue software, serviços e infraestrutura acelerada da Nvidia para desenvolver modelos amplos de linguagem (LLMs) personalizados treinados em dados especificamente a plataforma ServiceNow.

Leia mais: Para Wozniak, ChatGPT pode ameaçar a todos nós

Juntas, as empresas desenvolverão assistentes virtuais inteligentes e agentes para ajudar a responder rapidamente à ampla gama de perguntas de usuários e solicitações de suporte com chatbots de IA. A expectativa é que isso gere melhor produtividade em empresas, alta precisão e mais valor à TI.

“Há a necessidade de uma IA geral, que é importante entender as nuances e a imprecisão da forma como as pessoas interagem com computadores”, Jensen Huang, fundador eCEO da Nvidia, durante uma participação especial no Knowledge 23. “Mas o que nós também precisamos fazer, e estamos fazendo na Nvidia, é criar IAs altamente especializadas. É importante termos inteligência, mas há habilidades em tarefas super específicas, informadas por conhecimento de domínio específico, que nós queremos que nossas IAs tenham.”

“Uma das minhas aplicações favoritas é texto para código no contexto de desenvolvedores de ServiceNow”, avaliou CJ durante um encontro com a imprensa. “Atualmente, não há desenvolvedores suficientes no ecossistema para configurar códigos. Então, se tivermos texto para código, qualquer um pode configurar regras de negócios, e customizações dentro de suas organizações.”

IA generativa e infraestrutura

Para entender os investimentos da ServiceNow em infraestrutura para realizar sua estratégia em IA generativa, o IT Forum conversou com Pat Casey, Chief Technology Officer (CTO) da empresa. Segundo Casey, existe ainda um entendimento “errado” na indústria de que modelos amplos de linguagem precisam de grandes quantidades de hardware para serem operados.

Esse é o caso, ele pontuou, de empresas que estão treinando os modelos primários – como a Microsoft, com o ChatGPT, ou a Nvidia, para habilitar parcerias de empresas como a ServiceNow. Na aplicação da ServiceNow, no entanto, que consiste em sub-treinar modelos nos dados específicos de seus negócios e de clientes, a demanda por poder de computação é bem menor.

“Se você estiver usando um modelo de código aberto ou um modelo em parceria e o sub-treinando, não precisará de 10 mil GPUs. Talvez você precise se cem”, avaliou o executivo. No caso da ServiceNow, boa parte da infraestrutura necessária, explicou, veio da aquisição da Element AI, mencionada anteriormente por CJ. “Entre as GPUs que eles tinham quando compramos a empresa e os investimentos que fizemos depois, temos algo na ordem de magnitude de 800 GPUs em nossos laboratórios que podemos usar para treinar os modelos que nós temos. Para treinamento, nós temos o que precisamos.”

Há, no entanto, algumas aplicações destes modelos treinados que a empresa antecipa que devem demandar um volume grande de processamento. De acordo com Casey, operações envolvendo o chatbot Virtual Agent ou envolvendo usuários finais ServiceNow, são alguns exemplos. A empresa já tem um projeto interno em andamento para avaliar qual será o poder computacional adicional necessário para suportar esses casos de uso e não descarta usar recursos de cloud pública caso necessário.

A infraestrutura operada pela empresa no Brasil, por exemplo, ainda não está pronta para algumas dessas operações. “Se fizermos uma solicitação de conclusão de código para um cliente brasileiro, ela iria para uma GPU em outro lugar. Provavelmente na América do Norte”, explicou. “Mas como não posso fazer isso sem sua permissão, você precisaria optar por isso voluntariamente. Não faríamos isso sem que o cliente explicitamente autorize por questões contratuais.”

*o repórter do IT Forum está em Las Vegas a convite da ServiceNow

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!