O que é ciência de dados? Transformar dados em valor

O que é ciência de dados?

A ciência de dados é um método para coletar insights de dados estruturados e não estruturados usando abordagens que variam de análise estatística a machine learning. Para a maioria das organizações, ele é empregado para transformar dados em valor na forma de receita aprimorada, custos reduzidos, agilidade nos negócios, experiência aprimorada do cliente, desenvolvimento de novos produtos e afins. A ciência de dados dá um propósito aos dados coletados por uma organização.

Ciência de dados versus data analytics

Embora intimamente relacionado, o data analytics é um componente da ciência de dados, usado para entender como são os dados de uma organização. A ciência de dados usa a produção de analytics para resolver problemas. Os cientistas de dados dizem que investigar algo com dados é simplesmente análise. A ciência de dados leva a análise a outro passo para explicar e resolver problemas. A diferença entre data analytics e ciência de dados também é de escala de tempo. O data analytics descreve o estado atual da realidade, enquanto a ciência de dados usa esses dados para prever e/ou entender o futuro.

Os benefícios da ciência de dados

O valor comercial da ciência de dados depende das necessidades organizacionais. A ciência de dados pode ajudar uma organização a criar ferramentas para prever falhas de hardware, permitindo que a organização realize manutenção e evite paralisações não planejadas. Isso pode ajudar a prever o que colocar nas prateleiras dos supermercados ou a popularidade de um produto com base em seus atributos.

Trabalhos de ciência de dados

Embora o número de programas de graduação em ciência de dados esteja aumentando rapidamente, eles não são necessariamente o que as organizações procuram quando procuram cientistas de dados. Os candidatos com experiência em estatística são populares, especialmente se puderem demonstrar que sabem se estão olhando para resultados reais; se têm conhecimento de domínio para contextualizar os resultados; e habilidades de comunicação que lhes permitem transmitir resultados aos usuários de negócios.

Muitas organizações procuram candidatos com doutorado, especialmente em física, matemática, ciência da computação, economia ou mesmo ciências sociais. Um PhD prova que um candidato é capaz de fazer uma pesquisa profunda sobre um tópico e divulgar informações para outras pessoas.

Alguns dos melhores cientistas de dados ou líderes em grupos de ciência de dados têm formação não tradicional, mesmo aqueles com muito pouco treinamento formal em computação. Em muitos casos, a habilidade chave é ser capaz de olhar para algo de uma perspectiva não tradicional e entendê-lo.

Salários de ciência de dados

Aqui estão alguns dos cargos mais populares relacionados à ciência de dados e o salário médio para cada cargo, de acordo com dados da PayScale:

Analytics manager: $71K-$131K
Associate data scientist: $61K-$101K
Business intelligence analyst: $52K-$97K
Data analyst: $45K-$87K
Data architect: $79K-$159K
Data engineer: $66K-$132K
Data scientist: $60K-$159K
Data scientist, IT: $$60K-$159K
Lead data scientist: $98K-$178K
Research analyst: $43K-$82K
Research scientist: $52K-$123K
Senior data scientist: $96K-$162K
Statistician: $55K-$117K

Graduações em ciência de dados

De acordo com a Fortune, estes são os principais programas de pós-graduação em ciência de dados nos Estados Unidos:

University of Illinois at Urbana-Champaign
University of California – Berkeley
Texas Tech University
Bay Path University
Worcester Polytechnic Institute
Loyola University Maryland
University of Missouri – Columbia
New Jersey Institute of Technology
CUNY School of Professional Studies
Syracuse University

Treinamento e bootcamps em ciência de dados

Dada a atual escassez de talentos em ciência de dados, muitas organizações estão criando programas para desenvolver talentos internos em ciência de dados.

Os bootcamps são outra avenida em rápido crescimento para treinar trabalhadores para assumir funções de ciência de dados.

Certificações em ciência de dados

As organizações precisam de cientistas e analistas de dados com experiência em técnicas de data analytics. Eles também precisam de arquitetos de big data para traduzir requisitos em sistemas, engenheiros de dados para construir e manter pipelines de dados, desenvolvedores que conheçam clusters Hadoop e outras tecnologias e administradores e gerentes de sistema para unir tudo. As certificações são uma maneira de os candidatos mostrarem que têm o conjunto de habilidades certo.

Algumas das principais certificações de big data e data analytics incluem:

Certified Analytics Professional (CAP)
Cloudera Data Platform Generalist Certification
Data Science Council of America (DASCA) Senior Data Scientist (SDS)
Data Science Council of America (DASCA) Principal Data Scientist (PDS)
IBM Data Science Professional Certificate
Microsoft Certified: Azure Data Scientist Associate
Open Certified Data Scientist (Open CDS)
SAS Certified Data Scientist

Equipes de ciência de dados

A ciência de dados geralmente é uma disciplina de equipe. Os cientistas de dados são o núcleo da maioria das equipes de ciência de dados, mas passar de dados para analytics e valor de produção requer uma variedade de habilidades e funções. Por exemplo, os analistas de dados devem estar a bordo para investigar os dados antes de apresentá-los à equipe e manter os modelos de dados. Os engenheiros de dados são necessários para construir pipelines de dados para enriquecer os conjuntos de dados e disponibilizá-los para o restante da empresa.

Objetivos e entregas da ciência de dados

O objetivo da ciência de dados é construir os meios para extrair insights focados nos negócios dos dados. Isso requer uma compreensão de como o valor e as informações fluem em uma empresa e a capacidade de usar essa compreensão para identificar oportunidades de negócios. Embora isso possa envolver projetos pontuais, mais tipicamente as equipes de ciência de dados procuram identificar os principais ativos de dados que podem ser transformados em pipelines de dados que alimentam ferramentas e soluções sustentáveis. Exemplos incluem soluções de monitoramento de fraude de cartão de crédito usadas por bancos ou ferramentas usadas para otimizar a colocação de turbinas eólicas em parques eólicos.

Incrementalmente, apresentações que comunicam o que a equipe está fazendo também são entregas importantes.

Processos e metodologias de ciência de dados

As equipes de engenharia de produção trabalham em ciclos de sprint, com cronogramas projetados. Isso geralmente é difícil para as equipes de ciência de dados, porque muito tempo inicial pode ser gasto apenas para determinar se um projeto é viável. Os dados devem ser coletados e limpos. Em seguida, a equipe deve determinar se pode responder à pergunta com eficiência.

A ciência de dados idealmente deve seguir o método científico, embora isso nem sempre seja o caso, ou mesmo viável. A verdadeira ciência leva tempo. Você gasta um pouco de tempo confirmando sua hipótese e, depois, muito tempo tentando refutar a si mesmo. Nos negócios, o tempo de resposta é importante. Como resultado, a ciência de dados muitas vezes pode significar ir com a resposta “boa o suficiente” em vez da melhor resposta. O perigo, porém, é que os resultados podem ser vítimas de viés de confirmação ou overfitting.

Ferramentas de ciência de dados

As equipes de ciência de dados usam uma ampla variedade de ferramentas, incluindo SQL, Python, R, Java e uma infinidade de projetos de código aberto, como Hive, oozie e TensorFlow. Essas ferramentas são usadas para uma variedade de tarefas relacionadas a dados, desde a extração e limpeza de dados até a submissão de dados à análise algorítmica por meio de métodos estatísticos ou machine learning. Algumas ferramentas comuns incluem:

SAS: Esta ferramenta estatística proprietária é usada para mineração de dados, análise estatística, inteligência de negócios, análise de ensaios clínicos e análise de séries temporais.
Tableau: Agora de propriedade da Salesforce, o Tableau é uma ferramenta de visualização de dados.
TensorFlow: Desenvolvido pelo Google e licenciado sob Apache License 2.0, o TensorFlow é uma biblioteca de software para machine learning usada para treinamento e inferência de redes neurais profundas.
DataRobot: Esta plataforma automatizada de machine learning é usada para criar, implantar e manter a IA.
BigML: Uma plataforma de machine learning focada em simplificar a construção e o compartilhamento de conjuntos de dados e modelos.
Knime: Uma plataforma de analytics, relatórios e integração de dados de código aberto.
Apache Spark: Esse mecanismo de análise unificado foi projetado para processar dados em grande escala, com suporte para limpeza, transformação, construção de modelos e avaliação de dados.
RapidMiner: Esta plataforma de ciência de dados é voltada para equipes de suporte, com suporte para preparação de dados, machine learning e implantação de modelo preditivo.
Matplotlib: Esta biblioteca de plotagem de código aberto para Python oferece ferramentas para criar visualizações estáticas, animadas e interativas.
Excel: O software de planilhas da Microsoft é talvez a ferramenta de BI mais amplamente usada. Também é útil para cientistas de dados, trabalhando com conjuntos de dados menores.
js: Esta biblioteca JavaScript é usada para fazer visualizações interativas em navegadores da web.
ggplot2: Este pacote avançado de visualização de dados para R permite que os cientistas de dados criem visualizações a partir dos dados analisados.
Jupyter: Esta ferramenta de código aberto baseada em Python é usada para escrever código ao vivo, visualizações e apresentações.