Small data e inteligência artificial: o caminho para a inovação

“Data is the new oil”, frase cunhada em 2006 pelo matemático Inglês Clive Humb, tornou-se uma metáfora comum para ilustrar o valor dos dados na economia atual. Entretanto, essa frase oculta um outro lado obscuro dos dados: Não pode ser realmente usado se não “refinado”. E, infelizmente, muitas empresas parecem interpretar de maneira unilateral essa frase. Vê-se muitas companhias evoluindo para coletar e armazenar quantidades massivas de dados, big data, porém ainda poucas conseguindo gerar impacto de negócio por meio de seu uso.

Esse contraste é evidenciado por um estudo do Boston Consulting Group, mostrando que em 2020 cerca de 60% das empresas tinham uma estratégia de Inteligência Artificial (IA), porém, somente 10% dessas empresas obtiveram retornos financeiros significativos. De fato, o refinamento de dados tem se mostrado mais difícil de ser alcançado do que aquele para o petróleo.

De acordo com o mesmo estudo, as empresas que obtêm benefícios com os projetos de big data e IA estão indo além das questões básicas de ter os dados, a tecnologia e os talentos corretos, organizados em torno de uma estratégia corporativa. Para atingir retornos financeiros significativos, as empresas precisam fazer mudanças extensas em muitos processos, integrando big data e IA como componentes estratégicos de seus negócios. Além disso, deve ser fomentada uma retroalimentação entre IA e organização, de maneira que a IA aprenda com o feedback humano e que os humanos aprendam com a IA. Isto é, não basta abraçar projetos de big data e IA, é necessário desenvolver uma cultura orientada a dados. Como resultado, as empresas terão 5x mais chances de colher benefícios frente aquelas que realizam pequenas ou nenhuma mudança em seus processos.

O caminho alternativo e progressivo para o sucesso: Small Data

Embora o caminho do sucesso com os projetos de big data e inteligência artificial envolva mudanças extensas nos processos das empresas, tais mudanças não precisam ser abruptas. Uma forma de evoluir de maneira orgânica e progressiva é abraçar as oportunidades de “small data”. Diversos projetos não requerem muitos dados, podem ser realizados em poucos meses por pessoas em dedicação parcial e ainda resultar em benefícios financeiros anuais de até $ 250.000,00, é o que revela um artigo da Havard Business Review. Esses projetos podem incorporar métodos de machine learning/IA ou focar na utilização de métodos básicos de Analytics/Estatística, acessíveis a todos.

 Com efeito, os benefícios vão além dos financeiros, permeando também a alfabetização em dados dos colaboradores, a democratização do uso de dados para tomada de decisão, e a construção de confiança por parte da organização na gestão de projetos de dados. Ou seja, os projetos de small data auxiliam as empresas a criarem a cultura que o big data e a IA exigem para que se obtenha benefícios significativos com as suas implantações. 

Inovação via small data e IA

Optar primeiramente por projetos de small data não significa abandonar ou postergar a busca por inovação. Pelo contrário! No modelo de Corporate Venture, o processo de inovação disruptiva envolve ciclos curtos de aprendizagem por meio de experimentação rápida, visando reduzir a incerteza por meio de pequenas apostas para sistematicamente encontrar um caminho para escalar o produto.

Esses experimentos podem variar amplamente quanto à natureza e à execução, indo desde uma pesquisa qualitativa a uma venda simulada, porém, de modo geral, estão associados à coleta de dados atitudinais ou comportamentais dos consumidores com relação ao produto em desenvolvimento na ordem de centenas/milhares de observações, caracterizando-os como projetos de small data. De fato, as análises de dados realizadas a posteriori costumam envolver somente estatística básica. Entretanto, apesar de small data, a aplicação de IA pode potencializar as descobertas e aprimorar o processo de product/market fit. Vamos nos aprofundar nisso, começando sobre como obter os dados.

No livro The LEAN Product Playbook, o autor Dan Olsen traz que, em pesquisas de mercado, é comum começar com uma pesquisa qualitativa para entender as questões relevantes para os consumidores e, posteriormente, realizar uma pesquisa quantitativa para encontrar o número de consumidores que provê cada resposta. Tal abordagem fornece o “o quê” fazer, porém não o “como” fazer. Essa lacuna pode ser preenchida pelo processo de Inovação Orientada a Resultado (do inglês, Outcome-Driven Innovation – ODI) criado por Anthony Ulwick, que visa tornar a inovação previsível.

Especificamente, o processo ODI dispõe de um instrumento de pesquisa (quantitativa), denominado Opportunity Scoring, para descobrir oportunidades e priorizar esforços no desenvolvimento de produto, que propõe perguntar aos consumidores os graus de importância e de satisfação com cada resultado desejado das soluções que utilizam atualmente (obtidos da pesquisa qualitativa). Então, as notas de todos os entrevistados em ambos quesitos são combinadas para computar um score de oportunidade para cada funcionalidade, permitindo mapear pontos que os consumidores consideram essenciais, mas que estão insatisfeitos.

IA potencializando a análise de dados

Mas seria a melhor abordagem agregar as respostas de todos os entrevistados juntas? Isto é, usar um score médio de uma amostra estatisticamente representativa de consumidores para fazer inferências quantos às preferências da população. Estatisticamente, sim, mas, em desenvolvimento de produto, não, pois um produto é usualmente construído para atender um público-alvo específico e não para o público geral. Ainda mais em tempos de personalização! Além disso, pode-se haver distintos ângulos de entrada para um produto em função do nicho de mercado observado, sendo que a escolha desse ângulo de entrada pode implicar em estratégias diferentes no desenvolvimento do produto.

Uma maneira de verificar esses vieses é realizar uma análise de dados estratificada, tal como para cada tipo de cliente, para cada persona identificada para o seu produto. De fato, poderia-se concluir que, na média, a população está bem servida como as soluções atuais, mas que, por outro lado, um nicho de mercado, um grupo de potenciais consumidores, ou, mais especificamente, uma persona, não está.

Como é possível chegar a conclusões tão diferentes mudando-se apenas o método de análise de dados? Para compreender o porquê, primeiramente, foquemos nossa discussão na média. No livro The Black Swan, o autor Nassim Taleb escreve que a média é burra. De fato, a argumentação de Taleb é mais elaborada, explicando que há classes de grandezas em que o uso da média é adequado, mas que na maioria dos casos da vida real não é. Foge do escopo deste artigo se aprofundar em tais detalhes, mas vejamos um exemplo para ilustrar o conceito.

Suponha que as vendas anuais de um varejista de calçados tenham sido 40% de calçados femininos número 36 e 60% de calçados masculinos número 41. Ao tentar sumarizar tal informação para um eventual relatório executivo, diria-se que, na média, o tamanho de calçado vendido foi 39, um número nem sequer comprado. Portanto, a média não caracteriza a distribuição de tamanho dos calçados vendidos e, consequentemente, alguém de posse somente de tal informação poderia fazer uma estimativa/predição totalmente errônea.

Por outro lado, nota-se que a média se mostra uma métrica adequada para sumarizar o tamanho de calçado vendido por gênero. Neste caso, um único atributo, o gênero, é suficiente para definir perfis em que a média representa o grupo. Entretanto, há casos em que não é ou ainda que, simplesmente, deseja-se obter uma categorização mais granular, incorporando-se outros atributos relevantes para o negócio, tais como o hábito de consumo do cliente, a avaliação da experiência de compra, a finalidade de uso do produto, características sócio-demográficas, etc.

Para esses casos, pode ser muito complexa a criação de personas via estatística básica ou análise combinatória! De fato, a complexidade cresce exponencialmente com o aumento do número de atributos. Portanto, faz-se necessário a utilização de técnicas mais sofisticadas e é aí que entra IA ou, mais especificamente, machine learning.

Criação de personas por meio de IA

O processo de criação de personas baseado em IA é composto, basicamente, por duas macro etapas: Agrupamento por similaridade e identificação de perfil. Agrupamento por similaridade é um tipo de tarefa de machine learning, usualmente conhecida como clustering, que envolve encontrar automaticamente grupos de indivíduos com características similares entre si de maneira a haver homogeneidade entre indivíduos de um mesmo grupo e heterogeneidade entre indivíduos de grupos distintos.

De fato, para algumas aplicações, tal como a seleção de produtos para cross-selling em sistemas de recomendação, essa etapa de clustering seria suficiente. Entretanto, no caso de desenvolvimento de produto, em que se necessita conhecer o nicho de mercado que o produto consegue atingir, é necessário caracterizar esses agrupamentos.

Então, entra a etapa de identificação de perfis, ou também conhecida como customer profiling, que envolve obter as regras de segmentação de cada grupo. Por exemplo, o grupo 2 é formado pelos consumidores entre 30 e 40 anos, que já consumiram ao menos um produto premium e residem em locais com baixa atividade comercial.

Para esse fim, diversos métodos podem ser empregados, sendo que o mais comumente aplicado é a árvore de decisão, que consiste em um algoritmo de machine learning para resolver tarefas de classificação fornecendo como resultado grupos com regras de segmentação bem definidas.

Finalmente…

A criação de personas é um exemplo da possível aplicação de IA na aceleração de projetos de inovação, mas há um amplo leque de oportunidades, mesmo no cenário de small data, e essas oportunidades somente aumentam à medida que crescem a maturidade da organização com projetos de IA e a quantidade (e qualidade) de dados armazenados.

Então, não espere a coleta de anos de dados de inúmeros processos, a estruturação de um vasto data lake e a criação de um ambiente escalável de processamento de dados para começar a se beneficiar de uma tomada de decisão baseada em dados e modelos (IA). Claro, essas etapas são essenciais para a implantação de projetos de big data e devem ser incluídas no destino da empresa a longo prazo. Até lá, aproveite o caminho para amadurecer de maneira progressiva e sistemática por meio dos projetos de small data e IA. O futuro já começou!

* Luis Antonio Rodrigues, Data Scientist na CI&T