Sucesso com Hadoop cresce com a adoção de cloud computing

Apesar de todo hype, as empresas não parecem tão entusiasmadas em adotar Hadoop, mas isso não tem impedido investimentos cada vez maiores em torno dele.

Estimativas preliminares do Gartner projetam que o mercado de distribuições Hadoop movimentou 800 milhões dólares em 2016, um aumento de 40% em relação à 2015. Mas só 14% das empresas, na verdade, diz ter implantado Hadoop. Em 2015 eram 10%.É importante ressaltar aqui que o Gartner inclui todas as “edições comercialmente empacotadas e suportadas dos projetos relacionados ao Apache Hadoop de código aberto” na sua definição de “Hadoop”.

Em outras palavras, significa que HDFS e MapReduce estão incluídos na definição da consultoria, bem como também o YARN, Pig, Hive, HBase, ZooKeeper, Avro, Flume, Kafka, Oozie, Parquet, Solr, Spark e Sqoop.

“A pesquisa é sobre os projetos de Big Data”, explica o analista Merv Adrian.

Os dados de 2016 revelaram não só um pequeno aumento em implantações Hadoop, mas queda na quantidade de implementações. Na opinião da consultoria, as empresas parecem estar presas em um estado constante de experimentação, com Hadoop fora da produção.

Nuvem é a solução
O ponto positivo? As implantações do Hadoop estão se movendo cada vez mais para a nuvem, onde podem ter uma melhor chance de sucesso.

Prova disso é o desempenho da Hortonworks, por exemplo, que cresceu 39% ano sobre o ano. Em 2016, a empresa fez quase 200 milhões em receita, US $ 126 milhões derivada de assinaturas de sua plataforma Hadoop. Cerca de 25% dos clientes Hortonworks agora executar seu software na nuvem pública. Há dois anos, esse número era 0. A nuvem é onde os desenvolvedores querem executar seu software.

Embora esta mudança para a nuvem provavelmente favoreça o Amazon Web Services eo Microsoft Azure muito mais do que a Hortonworks, Cloudera ou MapR, é uma maré crescente que tenderá a levantar todos os barcos. E que também pode salvá-los de ventos ruins.

Um dos grandes drivers para implantações Hadoop movendo-se para a nuvem é a complexidade do trabalho. Todos os dias há um novo projeto Apache para complementar e acelerar a inovação no Hadoop, em um ritmo quase impossível para as empresas acompanhar, manter-se permanentemente atualizado.

O Gartner afirma que “os modelos de entrega baseados na nuvem também permitem que as organizações absorvam melhor o fluxo constante de mudanças nos componentes (geralmente projetos Apache) do ecossistema Hadoop”. Esse trabalho é deixado para o provedor de nuvem, o que também torna mais fácil gerenciar a separação de armazenamento e computação.

Francamente, é aqui que os grandes projetos de dados pertencem. Como AWS chefe de estratégia de produto Matt Wood me disse : “Aqueles que sair e comprar infra-estrutura cara descobrir que a mudança de escopo problema e domínio muito rapidamente. No momento em que chegar a cerca de responder à pergunta original, o negócio mudou.” Em outras palavras, a nuvem não só torna os dados grandes gerenciáveis, como também os torna produtivos.

O que não pode fazer, como mencionado, é enriquecer os fornecedores tradicionais de Hadoop a longo prazo. Dado que os dados vão crescer cada vez mais em nuvens públicas da Amazon, Microsoft e Google, é muito possível que a assim chamada gravidade dos dados vai empurrar as empresas a usar os serviços Hadoop nativos para essas plataformas.