O Big Data e o desafio de trabalhar com dados qualitativos

Ouça a maioria dos conselhos que circulam no mercado de tecnologia
hoje e a sua empresa terá que se desculpar pela falsa crença de que
 “Big Data” contém todas as respostas que está procurando. Pena que,
muitas vezes, a maioria das empresas não sobreviva até que essa promessa
se realize – pelo menos, não na forma tradicional do Big Data.

Acontece que o que é comumente referido como Big Data – todas aquelas
vastas “lagoas” de dados numéricas capturados pelos sistemas de gestão e
relacionamento, como o ERP e o CRM, bem como outros sistemas de
negócios, a serem mineradas por ferramentas de análise – equivale
realmente a apenas 10 por cento dos dados que uma empresa média tem ao
seu alcance, de acordo com a IDC.

O resto é composto por dados “desestruturados” ou dados
“qualitativos”, que podem ser bem confusos. Eles incluem informações de
pesquisas de clientes, formulários de resposta, fóruns on-line, mídia
social, documentos, vídeos, reportagens, telefonemas para call centers e
evidências anedóticas recolhidas pela equipe de vendas, para citar
apenas alguns exemplos. São tipicamente textuais, em vez de numéricos, e
difíceis de serem “quantificados” ou transformados em valores
numéricos.

E é aí que reside o problema. Enquanto a maioria das ferramentas de
análise é criada para lidar com informação quantificada, são muitas
vezes os dados não estruturados que fornecem o contexto e o significado
necessário para transformá-los em informação útil.

“Muitas vezes, os dados podem levantar mais perguntas do que dar
respostas, e há sempre uma questão, um porque, por atrás das tendências
de dados quantitativos”, afirma Anjali Lai, analista da Forrester
Research. “Dados qualitativos podem fornecer essa visão contextual.”

Imagine que a sua empresa esteja tentando entender por que as vendas
online não estão tão bem quanto você gostaria que estivessem. Você pode
investir pesadamente em ferramentas de análise e de marketing  que gerem
mais dados baseados nas atividades dos clientes, tais como quanto tempo
gastam na página Web ou as taxas médias de abandono dos carrinhos de
compras, por exemplo. Ainda que volumosos, esses dados, não vão
necessariamente fornecer indícios do “porque” que você tento precisa.

“Você pode saber que você tem 10 mil visitantes únicos no seu site –
que é um dado quantitativo”, explica Collin Sebastian, diretor de
produto para YouEye, que oferece software e serviços projetados
especificamente com dados desestruturados em mente. “Mas só as
ferramentas qualitativas poderão dizer que quatro mil deles vieram atrás
de um tema específico, que esperavam aprender, depois de debaterem a
respeito.”

Dados qualitativos podem ir além da identificação de correlações
entre pontos. Podem revelar, por exemplo, que as pessoas que passam mais
tempo no seu site também tendem a fazer compras. E podem começar a
identificar relações causais, ou que respondam a perguntas específicas.
Por exemplo: será que as pessoas fazem compras porque elas gastaram mais
tempo em seu site, ou ficaram mais tempo simplesmente porque o processo
de compra do site é pesado?

“Um CMO gere hoje, em média, 14 painéis de controle”, diz Sebastian.
“É um caso de paralisia da análise: tenho 10 milhões de pontos de dados
que tentam responder minha perguntas, de 17 maneiras diferentes, mas me
falta algum contexto que lhes dê significado.”

Historicamente, a análise de dados qualitativa tende ser muito manual
e intensiva em recursos humanos. “Você não pode simplesmente enviar uma
consulta de banco de dados para um documento e obter alguns números de
volta.e enviá-los para uma ferramenta de visualização”, explicou Kirk
Borne, principal cientista de dados da Booz Allen Hamilton.

As análises de dados qualitativos têm sido tipicamente limitadas,
como resultado, mas isso está começando a mudar. Não só existem mais
ferramentas e pacotes concebidos especificamente para trabalhar os dados
qualitativos, como também têm surgido “formas cada vez mais
inteligentes de transformar os dados qualitativos em dados
quantitativos, desencadeando assim o poder completo de análises
quantitativas sobre os dados qualitativos também”, diz Borne.

YouEye realiza estudos on-line através de áudio e vídeo para gravar
como os usuários interagem com os sites dos clientes, anúncios ou outros
materiais. Normalmente, entre 50 e 300 usuários são selecionados para
cada estudo, dependendo do que o cliente espera aprender. O vídeo é
transcrito e codificado usando uma combinação de decupagem humanos,
processamento de linguagem natural e aprendizagem de máquina. No final
do processo, os clientes obtêm exemplos para ilustrar os resultados.

No caso de um fornecedor de café, por exemplo, “analisamos interações
com o produto e terminamos com um vídeo que mostrava todos as vezes que
os participantes mencionaram um concorrente”, diz Sebastian. “Essa
análise causal de clientes sobre por que você está perdendo participação
de mercado é algo que os dados quantitativos não vão fornecer.”

A QSR International é outra empresa que faz software adaptado
especificamente para analisar dados qualitativos. Seu produto, NVivo, é
usado pelo Gallup. Embora mais conhecido por suas pesquisas de opinião, o
Gallup também ajuda organizações a compreenderem os aspectos emocionais
de suas relações com os seus clientes, o envolve a análise de lotes de
dados qualitativos.

Como usar dados qualitativos
“Há algumas
questões-chave de pesquisa que não são adequadamente capturadas por
métodos quantitativos sozinhos, incluindo por que um cliente está
ativamente desengajado ou indiferente em relação a um fornecedor ou os
sentimentos, motivações e processos de pensamento de como os clientes
experimentam um serviço”, afirma Ilana Ron- Levey, consultora,
pesquisadora e estrategista do Gallup. “Quando fazemos parceria com uma
organização, dados quantitativos nos permite avaliar a amplitude de
opiniões, mas os dados qualitativos são essenciais para compreendermos o
significado por trás de determinadas frequências e distribuições”, diz
ela.

O Gallup utiliza uma variedade de técnicas para avaliar a percepção
dos clientes. Em um recente projeto B2B, por exemplo, envolvendo 100
clientes de nível sênior entrevistados face-a-face, foram coletados
dados qualitativos e quantitativos sobre temas centrados em torno de
envolvimento do cliente.  A equipe analisou os dados qualitativos
indutivamente usando a NVivo, bem como métodos de codificação manual
usando planilhas Excel.

Nos resultados, o Gallup usou as respostas quantitativas para
explicar estatisticamente os drivers de envolvimento do cliente. E os
dados qualitativos para descrever como esses drivers foram sentidos
pelos clientes. A partir daí, “desenvolvemos estratégias para melhorar o
envolvimento por tipo de cliente”, diz ela.

O trabalhando com dados qualitativos usando software passa muitas
vezes por dar a eles forma numérica, como uma classificação ou pontuação
para as respostas ou os comentários qualitativos específicos. Na
análise de sentimento, por exemplo, o pesquisador normalmente atribui um
valor positivo ou negativo para o sentimento que está sendo expresso
nos dados qualitativos, e, em seguida, atribui um valor numérico para
saber a evolução desse sentimento em dada período de tempo, Borne
observou.

Análise de texto envolve resumos de informações textuais de maneira
quantitativa, via modelos de tópico e mapas de calor, enquanto linguagem
natural e técnicas de processamento semântico ajudam a extrair
significado da linguagem, escrita ou verbal.

Transformar dados qualitativos em forma quantitativa pode envolver
algumas decisões subjetivas. “Isso é um desafio, mas também é uma rica
oportunidade”, observa Borne. “Há muito mais sutilezas e complexidades
na linguagem que podem ser usadas para extrair uma compreensão mais
profunda e mais fina de nuances de significado.”

Uma variedade de algoritmos estão presentes no NVivo, analisando
palavras ou frases comumente usadas, por exemplo. Inúmeras ferramentas
de visualização estão à disposição para tornar a interpretação mais
fácil, incluindo nuvens de palavras e mapas de árvores.

“Isto nos dá formas de visualização de pontos de vista e as razões subjacentes”, afirma John Owen, CEO da empresa.

Onde e como coletar
A coleta de dados
qualitativos tende a ser demorada e requer um alto nível de habilidade
do pesquisador para estabelecer relacionamento com os entrevistados e
mitigar algum viés, explica Ron-Levey, da Gallup.

“Uma das habilidades mais subestimadas e frequentemente esquecida que
o pesquisador qualitativo precisa ter é sentimento de empatia”,
concorda Lai, da Forrester. “Muitas vezes, pesquisadores qualitativos
confiam apenas em codificação. sem pensar criticamente sobre o subtexto
ou contexto dos dados.”

Trabalhar com os dados e validar o modelo de pesquisa também pode ser
mais complicado. O suficiente para normalizar um conjunto de dados
quantitativos em uma escala de zero a um, por exemplo, pode ser
insuficiente com dados qualitativos, Borne observou.

“Testes estatísticos padrão podem funcionar como testes de hipóteses,
Mas dada uma hipótese versus outra não vai funcionar quando há muitas
nuances de significado e muitos graus de entendimento incorporados nos
dados qualitativos”, explica.

Do lado da análise, pode ser tentador a generalização dos resultados
para além da amostragem fixada em estudo, adverte Ron-Levey.

Bem feita, no entanto, a análise dos dados qualitativos pode valer o esforço.

“Em uma época de Big Data, há uma busca contínua de significado
humano por trás dos números”, afirma Ron-Levey. “Entender sentimentos,
motivações e percepções muitas vezes leva à inovação e novas estratégias
que aproxime mais a empresa de seus clientes.”

“Percepções quali e quanti são o yin e o yang da compreensão do
cliente, porque ambos são necessários para contar uma história completa
sobre o comportamento do consumidor”, comenta Lai, da Forrester.