Você saberia enumerar as diferenças básicas entre Big Data e BI tradicional?

Estamos vivendo a era do Big Data, em que a informação pode se tornar obsoleta em segundos, e os processos de comunicação e inovação fogem do nosso controle.

Mas o que exatamente é Big Data? E o que diferencia o Big Data do BI tradicional? Para responder à pergunta, passamos pela definição de Big Data: um conjunto de grande volume de dados, estruturados ou não; complexos ou não; que podem estar armazenados em algum SGBD ou simplesmente em um stream, sendo constantemente transmitidos.

O Big Data é baseado em 5 pilares – Os 5 Vs: velocidade, volume, variedade, veracidade e valor.

A velocidade se refere à grande agilidade com que os dados são produzidos: Para se ter uma ideia, desde 2012, cerca de 2,5 hexabytes de dados (2,5 x 10^18) foram produzidos pela humanidade todos os dias. Se dividirmos este valor por 86400, que é a quantidade de segundos em um dia, pode-se concluir que 29 terabytes de informação são produzidos a cada segundo – um número impressionante, mas que, segundo algumas estimativas, poderá ainda crescer muito com o aumento da IOT.

O volume diz respeito aos grandes volumes de informações: Cada pessoa em suas atividades usuais do dia a dia produz uma infinidade de informações que podem ser muito valiosas para a obtenção de valor, desde suas preferências musicais, sua localização durante os diferentes horários do dia, seu meio de transporte, os aplicativos que acessou, e até o restaurante que almoçou. Multiplique esta grande quantidade de informações por bilhões de pessoas conectadas à rede, e pode-se ter uma ideia do volume astronômico de dados que poderiam ser consumidos em potencial. Estima-se que o volume de informações produzidas dobre a cada 18 meses.

A variedade tem sua origem no grande diversidade de informações que podem ser úteis para a geração de valor: Desde o texto de uma opinião registrada em um site de reclamações, uma “curtida” em uma rede social, coordenadas de um GPS, upload de fotos e gravações em um aplicativo de mensagens instantâneas, até filmagens transmitidas em tempo real por um drone conectado à rede – Um dos maiores desafios de aplicações Big Data é justamente lidar com todos estes tipos diferentes de informações simultaneamente.

A veracidade faz referência à necessidade de se garantir que os dados são autênticos (com relação à fonte da informação) e que são verdadeiros naquele momento.

E o último “V”, de valor, representa o ponto mais importante quando falamos de Big Data. Nada dos conceitos e exemplos citados anteriormente faz sentido, se não for possível extrair valor dos dados – Nos projetos de Big Data, deve-se sempre definir muito bem a estratégia de obtenção de valor à partir das informações analisadas. Deve ser a principal prioridade – Se o projeto não atingir o objetivo de geração de valor esperado, estará fadado ao fracasso.

As diferenças entre Big Data e BI tradicional?

Orientação temporal: De forma geral, o BI tradicional consiste em olhar para o histórico, ou seja, o passado dos dados. Este passado pode se tratar de anos, meses, ou dias, mas raramente mais recente que o dia anterior (D-1). Já quando olhamos para Big Data, os dados podem ser extremamente recentes (segundos, minutos, horas), às vezes até em tempo real.

Orientação analítica: Em projetos de BI, é muito comum tendências serem descobertas através de conceitos conhecidos e pré-estabelecidos, muitas vezes utilizando indicadores padrão de mercado, acompanhando a evolução com o passar do tempo. Decisões são tomadas com base em análises what-if com regras pré-definidas. Projetos de BI são, em geral, implementados para suprir necessidades de relatórios, respondendo a perguntas do tipo: O quê? Quanto? Quando? Onde?

Já no Big Data, apesar de ser possível utilizar indicadores padrão e modelos simples como o BI, na maior parte das vezes os algoritmos analíticos têm orientação preditiva, (preveem o que irá acontecer em cenários onde não é facilmente determinável) e prescritiva (recomendam o que fazer em cenários diversos e não previsíveis).

O Big Data procura responder a perguntas como: Por quê? E se? O que acontecerá? Como otimizar? As técnicas para chegar a estas respostas envolvem data mining, (identificação de padrões e relacionamentos entre variáveis), análises estatísticas, qualitativas e quantitativas, Testes A/B e multivariados, além de análise e modelagem preditiva.

(*) Bruno Mass é arquiteto de Soluções na Iteris Consultoria