Planos para big data: você precisa mais de um

Raramente um pequeno problema incendeia o mercado todo, mas no mundo da TI, big data é isso. Big data tem mil definições, deixando o termo de forma eficaz sem sentido, então me permitam trazer o exagero de volta à Terra.
Simplificando, big data se aplica a qualquer grande conjunto de dados que rompe os limites e capacidades convencionais da TI. Uma característica para definir big data poderia ser ?escala? – a capacidade é a coisa mais fácil para o seu cérebro.

Grande volume de conteúdo pode explodir as capacidades existentes do seu centro de dados. Isso poderia ser a quantidade de transações que você precisa fazer. Big data é realmente uma causa. Uma nova abordagem para lidar com isso é o efeito e o efeito vai mudar tudo.

História e Confusão
Big data é muitas vezes equiparada a análise. No entanto, é um bom lugar para começar a entender como chegamos até aqui. Em suma, começamos com o conceito de “Meus Dados” – os dados de uma pessoa, por exemplo.

Minha colega de grupo de estratégias Julie Lockner criou um modelo estruturado de referência de dados, capaz de rastrear a vida do conceito ?Meus Dados?, o que torna mais fácil entender como algo pequeno acaba tão grande. Neste modelo, os dados criam vida dentro de um sistema de processamento de transações. Embora este modelo possa variar de organizações para organizações e aplicação para aplicação, em geral, quatro ciclos de vida de dados são iniciados quando os mesmos são criados: processamento de transações, relatórios e análises de backup, ou de recuperação de desastres, e aplicação de testes e desenvolvimento.

Data, uma vez criado, é replicado para essas quatro funções, apenas dentro do domínio do sistema de processamento de transações. O primeiro nível de análise existe dentro do sistema de processamento de transação em si (operações executadas, falhas, etc). Então, os dados são preparados, transformados e replicados fora do sistema de processamento de transações para serem alojados dentro de um sistema de armazenamento, onde se pode executar uma análise sobre um grupo de registro ?Meus Dados?, olhando para as vendas com base em geografias, por exemplo. Esse data warehouse também vai exigir a proteção de dados e funções de recuperação de desastres e outras cópias serão necessárias para o teste/desenvolvimento.

Então, todos os objetos do conceito ?Meus Dados? serão transformados, processados e replicados para um sistema ?Big Analytics?. Mais uma vez, cópias das cópias são utilizadas para teste /desenvolvimento, backup e DR.
Não leva muito tempo para ver como um pequeno registro de transações pode crescer 100 vezes. Mais cedo ou mais tarde, o crescimento vai quebrar as capacidades da TI convencional.

Diz Julie: “Mais do que apenas volume de dados, estratégias inteligentes de big data também consideram a velocidade, variedade e complexidade das informações.” Fontes de dados não são apenas simples sistemas de processamento de transações. Eles vêm de meios de comunicação social, que incluem dezenas de tipos de conteúdo (vídeo, áudio, etc), eles vêm de todos os dispositivos conhecidos no planeta.

Os avanços vão criar novas oportunidades para a sua empresa vender mais coisas ? e para as empresas venderem mais para você.

Então, o que quebra quando você cruza o ponto de inflexão de big data? Primeiro você acha que todos os fundamentos quebraram. Por exemplo, você não pode processar todos os dados por mais tempo, assim você começa a processar apenas sub-grupos e, então, você espera que os grupos que escolheu sejam representações justas do conjunto de dados em geral (não são). Você está usando os tradicionais sistemas de banco de dados estruturado, que já não funcionam porque seu datasets são 1.000 vezes maior do que o DBMS foi projetado para suportar. Você não pode injetar seus dados em seu sistema de análise (ou qualquer outro). Você não pode alavancar sua infraestrutura de armazenamento rápido o suficiente. Você não pode fazer backup dos dados o suficiente, então o conceito de recuperação é completamente abatido.

Então o que você deve fazer? Pare de tentar fazer a solução do ano passado se encaixar nos problemas do próximo ano.
Toneladas de tecnologias estão sendo desenvolvidas para abordar estas questões através de do conselho. A maioria é simplesmente Band-Aids. Outros, como o Hadoop, são mais radicais e mudarão radicalmente a maneira de fazer as coisas (armazenamento, neste caso). A maioria precisa de mais tempo para se desenvolver alternativas em empresas legítimas, mas eles estão no caminho.

Assim, da próxima vez que alguém perguntar: ?Qual é o seu plano de big data?? responda, ?Qual deles?” Você vai precisar de alguns.