4 tendências de análise de dados que dominarão 2018

Juntamente com as tecnologias sociais, móveis e de nuvem, Big Data e Analytics emergiram como disruptores principais do negócio na Era Digital. À medida que as empresas começaram a mudar de geração de dados para organizações orientadas a dados em 2017, dados e análises tornaram-se o centro de gravidade de muitas  delas. Em 2018, essas tecnologias precisam começar a fornecer valor.

Aqui estão as abordagens, os papéis e as preocupações que direcionarão as estratégias de análise de dados este ano.

DataLakes precisarão demonstrar valor comercial ou morrer
Os dados foram acumulados na empresa em um ritmo intenso durante anos. A Internet das Coisas (IoT) só acelerará a geração e acumulação de dados à medida que as fontes de dados se movem de Web para sensores presentes nos mais diversos dispositivos e máquinas.

“Isso criou uma necessidade extrema de dimensionar os pipelines de dados de uma forma econômica”, diz Guy Churchward, CEO da DataTorrent.

Para muitas empresas impulsionadas por tecnologias como Hadoop, a resposta foi criar data lakes – plataformas de gerenciamento de dados para armazenar todos os dados de uma organização em formatos nativos.

Os data lakes prometiam quebrar os silos de informações fornecendo um único repositório de dados que a organização inteira poderia usar para tudo, desde análise comercial até mineração de dados. Data lakes crus e não governados, proliferaram como a grande solução para o problema de armazenamento e tratamento dos dados.

Mas embora tenham sido bem sucedidos para armazenar quantidades maciças de dados, a obtenção de informações acionáveis ​​a partir deles provou ser difícil .

“O data lake serviu às empresas fantasticamente bem para dados “em repouso” e “em lote”, diz Churchward. “Em 2015, começou a se tornar claro que essa arquitetura estava sendo usada em demasia. E hoje, ela se tornou o calcanhar de Aquiles para reais análises de dados em tempo real. Quando se trata da obtenção de informações e da tomada de ações rápidas, as empresas que dependem de dados de eventos obsoletos criam um eclipse total de visibilidade, ações e qualquer possível remediação imediata. Esta é uma área onde “o suficiente” é fatal”.

Monte Zweben, CEO da Splice Machine, concorda. “A era da desilusão com o Hadoop chegou, com muitas empresas se afogando em seus data lakes, incapazes de obter  ROI por causa da complexidade dos mecanismos de computação baseados em Hadoop como duto do duto”, diz Zweben .

Para sobreviver em 2018, os data lakes terão que começar a comprovar seu valor comercial, diz Ken Hoang, vice-presidente de estratégia e alianças da Alation.

“O modelo baseado nos data lakes passou por implantações experimentais nos últimos anos, e começará a ser encerrado, a menos que demonstre que pode oferecer valor”, diz Hoang. “A marca registrada para um data lake bem sucedido será um catálogo corporativo capaz de oferecer descoberta de informações, AI e gerenciamento de informações, juntos, para fornecer novos insights para o negócio”.

No entanto, Hoang não acredita que nem tudo está perdido para os data lakes. Ele prediz que eles e outros hubs de Big Data podem vir a ter uma sobrevida a partir dos “superconjuntos” de dados que podem oferecer no modelo “contexto-como-serviço”, através de Machine Learning.

“As implantações de grandes data centers nos últimos 25 anos (por exemplo, armazéns de dados, gerenciamento de dados mestre, data lakes,etc) resultaram em mais silos de dados que não são facilmente compreendidos, relacionados ou compartilhados”, diz Hoang. “Um hub de hubs trará a capacidade de relacionar ativos em todos esses hubs, permitindo o contexto como serviço. Isso, por sua vez, direcionará informações mais relevantes e poderosas para permitir resultados de negócios operacionais mais rápidos e melhores”.

Ted Dunning, arquiteto de aplicações da MapR, prevê uma mudança semelhante: com os grandes sistemas de dados se tornando um centro de gravidade em termos de armazenamento, acesso e operações, as empresas procurarão construir um tecido de dados global que dê acesso abrangente aos dados de muitos fontes e a sistemas verdadeiramente multi-tenant.

“Veremos mais e mais empresas tratar a computação em termos de fluxos de dados em vez de dados que são processados ​​e aterrados em um banco de dados”, diz Dunning. “Esses fluxos de dados capturam os principais eventos empresariais e refletem a estrutura do negócio. Um tecido de dados unificado será a base para a construção desses sistemas baseados em fluxos de dados em larga escala”.

Esses tecidos de dados suportam vários tipos de computação em diferentes contextos, diz Dunning. “A tendência emergente é ter um tecido de dados que forneça dados em movimento e dados em repouso necessários para a computação multi-nuvem fornecida por coisas como Kubernetes”.

Langley Eide, diretor de estratégia da Alteryx, diz que a TI não será deixada em paz quando se trata de tornar os data lakes geradores de valor: analistas de linha de negócios (LOB) e líderes de tecnologia digital ( CDOs) também terão que assumir a responsabilidade em 2018.

“A maioria dos analistas não aproveitou a grande quantidade de recursos não estruturados, como os dados da navegação Webe, dos dispositivos de IoT, dados de registro, etc., que inundaram os seus data lakes – principalmente porque é difícil fazê-lo”, diz Eide. “Mas com sinceridade, os analistas não fizeram o trabalho deles se deixaram esses dados intactos. É amplamente entendido que muitos data lakes estão com desempenho inferior ao dos ativos – as pessoas não sabem o que está lá, como acessá-lo ou como criar insights a partir deles. Esta realidade mudará em 2018, já que mais CDOs e empresas querem melhor ROI para seus lagos de dados “.

Eide prevê que em 2018 veremos analistas substituindo ferramentas de “força bruta”, como Excel e SQL, com mais técnicas e tecnologias programáticas, como a catalogação de dados, para descobrir e obter mais valor dos dados.

O CDO chegará à maturidade

Como parte deste novo impulso para obter melhores informações sobre os dados,  Eide também prevê que o papel CDO encontrará finalmente seu próprio lugar em 2018.

“Os dados são essencialmente o novo petróleo, e o CDO está começando a ser reconhecido como o pêndulo para enfrentar um dos problemas mais importantes nas empresas de hoje: o valor das análises de dados”, diz Eide. “Muitas vezes, com um orçamento de menos de US $ 10 milhões, um dos maiores desafios e oportunidades para os CDOs é a possibilidade do auto-atendimento capaz de levar ativos de dados corporativos aos usuários das áreas de negócio. Em 2018, os CDOs que conseguirem encontrar um equilíbrio entre uma função centralizada e capacidades habilitadoras das áreas de negócio acabarão por propsperar”.

Para isso, diz Eide, plataformas e metodologias ágeis serão fundamentais.

Curadores de dados em alta

Tomer Shiran, CEO e co-fundador da Dremio, prevê que as empresas verão a necessidade de um novo papel: o curador de dados.

O curador de dados, diz Shiran, fica entre consumidores de dados (analistas e cientistas de dados que usam ferramentas como Tableau e Python para responder questões importantes com dados) e engenheiros de dados (as pessoas que se movem e transformam dados entre sistemas usando linguagens de script, Spark, Hive , e MapReduce). Para ser bem sucedido, os curadores de dados devem entender o significado dos dados, bem como as tecnologias que são aplicadas aos dados.

“O curador de dados será responsável por compreender os tipos de análise que precisam ser realizadas por diferentes grupos em toda a organização, quais conjuntos de dados são adequados para este trabalho e as etapas envolvidas para levar os dados do seu estado bruto para a forma necessária para o trabalho que os consumidores de dados irão realizar “, diz Shiran. “O curador de dados usa sistemas como plataformas de dados de autoatendimento para acelerar o processo de ponta a ponta e fornecer aos consumidores de dados acesso a conjuntos de dados essenciais, sem fazer cópias sem fim de dados”.

As estratégias de governança de dados serão temas chave para todos os executivos

O Regulamento Geral de Proteção de Dados da União Européia (GDPR) que deverá entrar em vigor em 25 de maio de 2018 terá impacto em muitas empresas.

O GDPR se aplicará diretamente em todos os Estados membros da UE e mudará radicalmente a forma como as empresas devem buscar o consentimento para coletar e processar os dados dos cidadãos da UE, explicam advogados do Grupo de Segurança de Dados + Segurança de Dados Morrison & Foerster.

“As empresas que dependem do consentimento para todas as suas operações de processamento já não poderão fazê-lo e precisarão de outras bases legais (isto é, necessidade contratual e interesse legítimo)”, explicam. “As empresas precisarão implementar um novo ecossistema para aviso prévio e consentimento”.

Embora as multas da GDPR sejam potencialmente altas – as multas administrativas podem ser até 20 milhões de Euros ou 4 por cento do volume de negócios global anual , o que for mais alto – muitas empresas, particularmente nos EUA, não estão preparadas.

“Quando o boom do Y2K veio, todos estavam se preparando para as chances de que eles podem ou não enfrentar”, diz Scott Gnau, diretor de tecnologia da Hortonworks. “Hoje, parece que quase ninguém está se preparando adequadamente para que o GDPR seja cumprido em maio de 2018. Por que não? Estamos atualmente em uma fase em que cada organização não está apenas tentando lidar com ‘o que é o próximo’, mas lutando para manter e lidar com questões que precisam ser resolvidas agora . Muitas organizações provavelmente dependem de executivos para definir as regras, sistemas, parâmetros, etc., para ajudar seus integradores de sistemas globais a descobrir o melhor curso de ação. Isso não é um expectativa realista de assumir o papel de um indivíduo “.

Para fazer cumprir o GDPR corretamente, as organizações precisarão de um melhor controle sobre a governança geral de seus ativos de dados. E equilibrar o acesso de autoatendimento aos dados para os funcionários, protegendo esses mesmos dados das possíveis ameaças, como o vazamento que vitimou a Equifax no ano passado.

Como resultado, a governança de dados será um ponto de foco para todas as organizações em 2018. “Um objetivo fundamental deve ser o desenvolvimento de um sistema que equilibre a democratização de dados, acesso, análise de autoatendimento e regulação”, diz Gnau. “A forma como arquivamos os dados terá impacto em todos – clientes nos EUA e no exterior, mídia, seus parceiros e muito mais”.

Zachary Bosin, diretor de marketing da Veritas Technologies, prevê que uma empresa dos EUA será uma das primeiras a ser multada sob o GDPR.

“Apesar do prazo iminente, apenas 31% das empresas pesquisadas pela Veritas em todo o mundo acreditam que são compatíveis com GDPR”, diz Bosin.