Como saber se você está diante de um problema de Big Data

O assunto Big Data está cada vez mais em discussão como diferencial
competitivo para as empresas. A consultoria IDC prevê que o mercado de
Big Data será de US$16,9 bilhões em 2015, partindo de um patamar de
US$3,2 bilhões em 2010. Isto significa crescimento de quase 40% ao ano. A
massificação do uso de Big Data está em parte relacionada com as novas
tecnologias que endereçam o que o mundo tradicional não consegue
interpretar e que são chave no processo.  Mas será que as pessoas
realmente sabem o que é Big Data?

O instituto de pesquisas Gartner define a expressão como dados que
apresentam relevância em quatro aspectos principais: volume, velocidade,
variedade e complexidade. O volume de dados tende a ser utilizado como
sinônimo de Big Data. Esse aspecto tornou-se mais evidente em função do
aumento da troca de dados entre sistemas e novos dispositivos, além do
crescimento da digitalização de mídias antes disponíveis somente em
outros formatos, tais como textos, imagens, vídeos e áudio.

A velocidade está associada à multiplicação de novas fontes de dados e
a necessidade de consumo desses dados de forma mais rápida. Fontes de
dados automatizadas, como sensores, RFIDs e GPSs, são capazes de gerar
dados a cada fração de segundo para diferentes métricas e, se somadas
aos demais equipamentos que fazem parte do parque instalado, provocam um
fluxo constante de dados ao longo do tempo.

Já a variedade é incluída pela organização dos dados que é dividida
em: dados estruturados, semiestruturados e não estruturados. Os dados
estruturados estão presentes em sistemas tradicionais corporativos
(bancos de dados, arquivos sequenciais e hierárquicos etc). Os
semiestruturados estão disponíveis por meio de logs de sistemas (web
servers, CDRs etc.) e os não estruturados são os conteúdos digitalizados
que, anteriormente, eram acessados em forma não digital, como arquivos
de imagens, áudios, textos, entre outros.

O universo de Big Data contempla a possibilidade de uso de todos os
dados disponíveis por meio de e-mails, documentos, messaging, imagens,
gravações de áudio, logs, vídeos etc. Por fim, a complexidade existe
pelo fato de como lidar com todas as características listadas
anteriormente para trazer informação útil de forma eficiente.

Muitos fornecedores exploram sua habilidade tecnológica de armazenar
grandes volumes de dados enfocando na capacidade de suas plataformas de
tratar as características de Big Data isoladamente, mas sem mostrar como
fazer isso de forma integrada e simples. Outros ainda acreditam que Big
Data está relacionado a projetos de data warehouse e Business
Intelligence (BI), mas o maior potencial de Big Data está na
possibilidade de fazer a análise avançada sobre os dados, o que também é
chamado de Big Data Analytics.

Qual a diferença? Um projeto de data warehouse requer um projeto
relativamente longo para desenho e construção de um modelo de dados, dos
processos de ETL (sigla em inglês de Extração, Transformação e Carga de
Dados), dos relatórios, entre outros. É um projeto em que as novas
demandas são constantes e cada interação é lenta. Uma manutenção no
modelo de dados requer alterações no processo de ETL, que, por sua vez,
tende a levar horas para ser concluído.

A proposta do Big Data pode ser traduzida de forma simples por meio
da filosofia de trabalho que possui o acrônimo MAD, que significa:
Magnetic (tradução de magnético, pela “atração” de dados sem a
preocupação da qualidade), Agile (ágil, pela interpretação rápida dos
dados) e Deep (profundo, pela análise detalhada).

Na prática, o Big Data pode ser definido como todos os dados em que
as tecnologias tradicionais, em uso nos dias de hoje, possuem
dificuldade em endereçar. Para saber se você está diante de um problema
de Big Data, pense se possui dificuldade em tratar um dos seguintes
aspectos: armazenamento, proteção, gerenciamento, compartilhamento,
análise e visualização.

Então, surge o questionamento: as empresas já estão utilizando Big
Data? Existem companhias com elevado grau de maturidade analítica. Essas
são as empresas que baseiam suas decisões em fatos e, hoje, tiram
proveito de uma vantagem competitiva estratégica. Alguns analistas
indicam que as empresas que adotarem antecipadamente Big Data terão uma
vantagem competitiva de 20% em todas as métricas financeiras sobre seus
competidores.

Para que os benefícios do Big Data se materializem, surge, também, um
novo profissional no mercado: o cientista de dados. O perfil desse
profissional possui habilidades tais como programação, plataforma
tecnológica, comunicação, domínio de indústria, estatística e matemática
aplicada. Há uma previsão de carência entre 140 mil e 190 mil desses
profissionais somente nos Estados Unidos. A falta de profissionais,
aliada ao investimento previsto nessa área para os próximos anos,
demonstra claramente que a tecnologia está sendo sim adotada pelas
empresas. Cabe agora às demais entenderem o potencial de benefício dessa
nova onda e passarem a fazer uso dela.

(*) Gustavo Tamaki é gerente de vendas da divisão Greenplum da EMC