Conheça a metodologia DataOps, que promete segurança e agilidade

Identificação mais rápida de problemas que podem levar a erros ou atrasos, para poder corrigi-los com maior facilidade. Segurança mais forte. Melhor uso do tempo de sua equipe. São, todos, benefícios dos princípios do DevOps aplicados ao universo do big data: o DataOps.

Como DevOps, a abordagem DataOps aplica a metodologia ágil. A abordagem valoriza a entrega contínua de insights analíticos com o principal objetivo de satisfazer o cliente.

No contexto dos dados, ser ágil significa poder mover dados rapidamente entre diferentes ambientes e permanecer eficiente independentemente da escala dos dados com os quais você deve trabalhar.A agilidade também requer a capacidade de ser flexível com suas ferramentas e frameworks.

As equipes DataOps procuram orquestrar dados, ferramentas, códigos e ambientes do início ao fim. Os resultados reproduzíveis são essenciais.

Onde DataOps se encaixa

Atualmente, as empresas estão cada vez mais injetando machine learning em uma vasta gama de produtos e serviços e DataOps é uma abordagem orientada a apoiar as necessidades de aprendizado de máquina de ponta a ponta.

“Por exemplo, esse estilo torna mais viável que os cientistas de dados tenham o apoio da engenharia de software para fornecer o que é necessário quando os modelos são entregues às operações durante a implantação”, escrevem Ted Dunning, chefe de Arquitetura da MapR Technologies e co-autor do livro Logística de Aprendizado de Máquinas: Gerenciamento de Modelos no Mundo Real e Ellen Friedman, co-autora da ferramenta MapR.

“Mas a abordagem DataOps não se limita ao machine learning”, acrescentam. “É útil para qualquer trabalho orientado a dados, tornando mais fácil aproveitar os benefícios oferecidos pela construção de um tecido de dados global”.

Eles também observam que o DataOps se encaixa perfeitamente nas arquiteturas dos microserviços.

DataOps na prática

À medida que as empresas adotam tecnologias de dados emergentes, Dunning e Friedman afirmam que é imperativo que as empresas desenvolvam sua abordagem para melhorar sua capacidade de trabalhar com dados em escala e responder a eventos do mundo real à medida que acontecem.

“Os papéis tradicionais podem ser muito rígidos e lentos para se adequarem às necessidades de tratamento dos dados para a Transformação Digital”, escrevem. “É aí que um estilo de trabalho do DataOps pode ajudar.”

A abordagem do DevOps reúne especialistas em desenvolvimento e operações para alinhar o desenvolvimento de software com os objetivos de negócios, encurtar os ciclos de desenvolvimento e aumentar a freqüência de implantação. Enfatiza equipes multifuncionais que atravessam “guilds de habilidades” como operações, engenharia de software, arquitetura e planejamento e gerenciamento de produtos. O DataOps adiciona funções de ciência de dados e engenharia de dados ao mix, com o objetivo de aumentar a colaboração e a comunicação entre desenvolvedores, profissionais de operações e especialistas em dados.

Dunning enfatiza que alcançar o alinhamento prometido pelo DataOps requer incorporar cientistas de dados na equipe DataOps.

“A coisa mais importante a fazer aqui é não ficar com a organização mais tradicional da Ivory Tower onde os cientistas de dados vivem separados das equipes de desenvolvimento”, diz Dunning. “O passo mais importante que você pode tomar é incorporar cientistas de dados em uma equipe DevOps. Quando eles moram no mesmo quarto, comem as mesmas refeições, ouvem as mesmas queixas, eles se alinham”.

“Não os separe”, acrescenta. “Eles precisam ouvir os comentários da linha de frente, recomendar as mesmas soluções, passar pela mesma triagem. Essa incorporação é o passo fundamental a seguir”.

Como construir uma equipe do DataOps

Construir uma equipe do DataOps não significa necessariamente que você deve contratar novos especialistas. Friedman observa que muitas empresas já possuem o núcleo de uma equipe DataOps em equipes DevOps existentes. O próximo passo é identificar projetos que precisam de desenvolvimento intensivo de dados e alguém com treinamento de dados. Essa pessoa pode até ser um engenheiro de dados em vez de um cientista de dados completo.

“Quando você está cobrindo habilidades diferentes e juntando-as em torno de um objetivo comum, isso não significa necessariamente que você tenha que contratar um monte de pessoas para preencher esses papéis”, diz Friedman. “Muitas vezes você tem essas pessoas com as habilidades-chave. Isso exige apenas um realinhamento para entender quais são os papéis fundamentais”.

A parte importante, diz ela, é melhorar a colaboração entre conjuntos de habilidades para eficiência e melhor uso do tempo e experiência das pessoas.

“Em projetos de grande escala, um papel particular de DataOps pode ser preenchido por mais de uma pessoa, mas também é comum que algumas pessoas cubram mais de um papel”, escrevem Dunning em seu livro. “As habilidades de operações e engenharia de software podem se sobrepor, os membros da equipe com experiência em engenharia de software também podem ser qualificados como engenheiros de dados. Muitas vezes, os cientistas de dados possuem habilidades de engenharia de dados. No entanto, é raro ver a sobreposição entre ciência de dados e operações”.

Dunning e Friedman também consideram fundamental que as equipes DataOps compartilhem um objetivo comum.

“Com equipes de engenharia, bons engenheiros, o que você precisa fazer é definir bem as metas”, diz Dunning. “Uma vez que há um objetivo comum, resolvendo um problema, a equipe se organiza muito frequentemente para resolver esse problema. A dificuldade vem quando diferentes pessoas vêem diferentes aspectos do problema”.