Dados In-Memory: o fim do Business Intelligence?

Desde que os
sistemas de Business Intelligence (BI) evoluíram para data warehouses, as
empresas têm conseguido analisar e agir com quantidades cada vez maiores de
informações que possuem em seus bancos de dados. No entanto, a tendência atual
em direção ao Big Data e análises em tempo real faz os sistemas de BI
parecerem dinossauros: os dados de ontem são velhos demais para serem relevantes,
fazendo com que as empresas percam oportunidades quando confrontadas com
concorrentes cada vez mais ágeis.

A tecnologia de dados in-memory está tornando
esse mundo uma realidade, sendo capaz de lidar com dados tradicionais e dados
não estruturados, porém, que mudanças precisam ser feitas? Será possível
integrar sistemas de BI legados no contexto do Big Data?

Como chegamos até aqui
A história do BI
está relacionada com a escala, precisão (descritiva ou preditiva), facilidade e
escopo com os quais tentamos analisar os dados. Antes da chegada dos sistemas
de BI, aplicativos corporativos tinham seus próprios bancos de dados, que
continham todas as informações que eles podiam acessar para realizar suas
funções e era possível obter informações úteis sobre o negócio a partir desses
dados. Por exemplo, um banco de dados de clientes pré-BI continha informações
que poderiam ser usadas para segmentar a base de clientes e orientar o
marketing, as vendas e os investimentos de P&D.

No entanto, esses
sistemas eram ilhados porque não eram ligados a outros sistemas: eles não eram
capazes de compartilhar bancos de dados e, apesar de cada sistema manter dados
importantes, seu valor era limitado. O problema agravou-se conforme as empresas
adquiriam mais sistemas de TI ligados a vários departamentos, tais como CRM,
ERP, RH, finanças e atendimento ao cliente. Fusões e aquisições fizeram as
empresas ficarem com vários sistemas para cumprir os mesmos requisitos
funcionais, mas agindo contra um subconjunto de dados totais da empresa para a
função específica. Nesse ponto, o potencial analítico diminuiu, pois a
complexidade de se obter um único ponto de vista preciso dos dados aumentou com
cada sistema novo.

Foi nesse momento
que o conceito de Data Warehouse de BI surgiu, como um repositório único para
todos os dados da empresa, onde os dados podem ser organizados, analisados ​​e
trabalhados de forma útil pela
empresa. O desafio que as empresas enfrentam hoje decorre da maneira pela qual
essa visão foi implantada e das ferramentas utilizadas.

Ferramentas de
extração, transformação e carregamento (ETL) foram desenvolvidas para lidar com
a movimentação de dados dos sistemas corporativos para Data Warehouses,
inclusive para tornar os dados legíveis e mantê-los atualizados, e os sistemas
de orquestração de processos de negócios também são capazes de conectar dados
com Data Warehouses da mesma forma. Motores de mineração de dados realizavam a
análise dos dados no data warehouse, e ferramentas de relatórios eram ligadas à
mineração de dados para fornecer um resultado de fácil compreensão.

Essas ferramentas
foram capazes de fornecer às empresas dados históricos precisos e completos,
além de certo grau de previsibilidade, com a extrapolação de tendências
passadas. No entanto, o Big Data já começa a ganhar uma aceitação generalizada,
e isso muda completamente a maneira com que usamos o BI.

Por que o Big Data é diferente?
Big Data na verdade
é um termo que pode enganar, já que ao ouvir esse nome imagina-se bancos de dados
maiores e mais complexos, mas a realidade é que Big Data se refere a um tipo
muito diferente de dados: trata-se de dados não estruturados, que não podem ser
mapeados em um banco de dados relacional tradicional. Big Data é caracterizado
pelos “Quatro Vs”: volume, velocidade, variedade e valor.

– Volume refere-se ao fato de que podemos gerar uma enorme quantidade
de dados, gerando quantidades cada vez maiores. Por exemplo, smartphones contêm
um conjunto de sensores que produzem dados, os quais podem ser consultados para
uso em análises, como em sistemas de GPS. Conforme o número, complexidade e
exploração de smartphones aumentam (mais smartphones produzindo mais dados e
usuários que sabem como utilizá-los), o volume de dados produzidos também
aumentará.

– Velocidade 
significa que os dados mudam rapidamente, por isso, em vez de dados de
BI tradicionais sobre pedidos de clientes que podem ser manipulados em lotes,
nós temos dados de localização de smartphones, que ficam desatualizados em
minutos ou mesmo segundos, caso nosso objetivo seja enviar uma oferta
específica a um cliente em uma rua.

– Variedade  refere-se aos vários tipos de dados e
fontes, de bancos de dados a objetos de áudio e vídeo (aos quais podemos anexar
contexto e se tornam parte da análise) e quantidades crescentes de dados móveis
e sociais não estruturados.

– Valor  é exatamente o que o nome diz: quanto mais
obtemos ao analisar o Big Data, mais valor podemos extrair dele.

Isto significa que
estamos saindo de um modelo em que os data warehouses são a “única fonte
da verdade” para uma empresa e nos movendo em direção a uma visão mais
descentralizada, onde os bancos de dados são enriquecidos com informações em
tempo real e não relacionais. Há apenas um problema: como podemos fazer nossas
ferramentas de BI existentes trabalharem nesse novo contexto?

Ferramentas
analíticas e de data warehousing existentes são projetadas para executar
consultas predefinidas ou ad-hoc em grandes bancos de dados, mas a análise
preditiva e os dados em tempo real exigem ferramentas diferentes, portanto nossas
ferramentas existentes teriam de ser reprogramadas para que possam trabalhar
com eles.

Como podemos acolher o Big Data?
Tudo isso leva a
uma questão fundamental: o Big Data e seus dados in-memory associados estão
aposentando as ferramentas de BI tradicionais? Qualquer tentativa de responder
a essa questão só irá trazer mais questões: devemos estender a integração
corporativa existente para as novas ferramentas? A computação In-Memory irá
substituir o ETL e o processamento em lotes? As melhorias do ETL, como a
integração com base em processos, continuam a liderar o caminho nesse novo
contexto? Ou será que precisamos de uma plataforma inteligente que possa
integrar todos estes elementos?

Não quero tentar
responder a estas questões aqui, pois isso é assunto para outro dia. Em vez
disso, eu gostaria de mostrar a diferença que o novo contexto pode trazer e
deixar que vocês pensem sobre o que isso pode trazer para sua empresa.

Imagine uma loja de
rua, como a House of Fraser: no modelo de BI tradicional, eles desejariam
guardar seu histórico de transações e, para isso, iriam oferecer um cartão de
fidelidade. Passar esse cartão toda vez que você fizer uma compra iria
possibilitá-los monitorar o que você comprou e colocar estes dados em um data
warehouse ou cubo, onde os dados poderiam ser cuidadosamente segmentados para
fornecer informações sobre quais promoções poderiam ser oferecidas para você. O
problema é que esta é uma solução reativa, tentando fazer uma extrapolação com
base em uma atividade passada, ela não oferece uma experiência muito
personalizada,  além disso, os clientes
gostam cada vez menos de cartões de fidelidade.

Em um contexto
In-Memory do Big Data, o quadro é muito diferente.  O lojista não precisa
persuadir o cliente a fazer um cartão de fidelidade, pois eles podem rastrear
suas compras pelo seu número de cartão de crédito.  Eles sabem para qual
tipo de compras aquele cartão específico é usado e podem rastrear as diferenças
entre as diversas compras. Por exemplo, se você faz duas compras semanais, mas
comprou um cinto na primeira compra, o sistema poderia, de forma inteligente,
oferecer a você uma oferta em que você possa estar interessado. Não outro cinto
(você já tem um), mas, por exemplo, uma oferta de meias que as pessoas que
também compraram esse cinto usam.

Para criar e personalizar essa promoção,
seria possível utilizar dados sobre as pessoas perto de você, dados
demográficos semelhantes e o que as pessoas que compraram o mesmo item disseram
sobre ele nas mídias sociais. Quem recomendou a marca, ela foi destaque em
algum jornal ou revista?  Não é apenas a quantidade de dados que pode ser
ampliada, eles precisam também abranger dados estruturados e não estruturados,
e o tipo de informação que antes seria difícil de coletar ou analisar agora é exatamente
o que vai convencer o cliente a comprar.

Esta promoção
personalizada é possível, em tempo real, sem cubos de dados ou Data Warehouses,
sem BI e apenas tendo suas compras e as compras de todos os outros clientes na
memória. “Em tempo real” também significa que as ofertas não precisam
esperar até que você esteja no caixa (momento em que o cliente para de pensar
em fazer compras e passa a pensar em ir para casa e fica, portanto, menos
receptivo). Em vez disso, combinando a oferta com aqueles scanners portáteis
que são cada vez mais populares em supermercados, você poderia receber uma
oferta personalizada assim que você pegar um item ou passar em um corredor. Se
você já recebeu suas compras em casa e lembrou depois de outra coisa que você
precisava, imagine como seria útil receber um lembrete rápido sobre seus itens
mais comprados.

(*) David Akka  é CEO da Magic Software UK