Sistema de banco de dados processa Big Data espacial

Quando falamos em Big Data, o mais convencional é pensar em data mining, Hadoop e outras tecnologias para lidar com o imenso volume de informações a serem analisadas. Por isso, a escolha do sistema de banco de dados de alta performance InterSystems Caché para processar os dados do satélite Gaia, lançado pela Agência Espacial Europeia (ESA, na sigla em inglês), chamou atenção quando foi anunciado no ano passado.

O satélite decolou em dezembro, e começa a colher os resultados. São 1 bilhão de estrelas monitoradas, cujo volume armazenado é o equivalente a 50 anos de filmes em HD. Com base no registro de movimento e brilho dos corpos celestiais observados, os cientistas começam a desenhar o cenário histórico da Via Láctea – por meio de comparação com padrões anteriores.

A escolha do sistema permite também corrigir em tempo real a posição do satélite para a captura de dados. “Não podemos esperar o download dos dados para corrigir a rota e a captura – em média, três semanas é o tempo que isso levaria com base nos dados, e é muito dinheiro para se desperdiçar dessa maneira”, explica o gerente de produto da Intersystems, Vik Nagjee, em apresentação durante o Intersystems Global Summit 2014, em Orlando, nos Estados Unidos*.

O executivo revelou os detalhes da arquitetura construída para rodar o sistema, que curiosamente não é tão “parruda” quanto muitos possam imaginar, levando em consideração que o projeto se trata de uma missão espacial. A arquitetura é baseada em duas 16CPUs, uma para a database principal e outra para o espelhamento. A primeira conta, para armazenamento, com um NetApp FAS3160, 160 discos SATA e 16 SSDs internos. Já a segunda é composta de um NetApp FAZ3250 com 35 discos SATA.

“Não é nada diferente do que você, CIO, pode ter internamente. A Agência Espacial deu prioridade para o investimento em recursos humanos, em cientistas para analisar esses dados”, enfatiza Nagjee. O sistema descompacta e processa os dados, conta com um sistema de recuperação de desastres e 95% de SLA. Além disso, vai corrigindo a rota do satélite periodicamente.

No processamento core, já foram observadas aproximadamente 1,2 bilhão de estrelas. Ao fim de cinco anos, duração da iniciativa, cada uma delas será vista 80 vezes. Os padrões de crescimento mostram coleta de 0,28 Terabytes diários, limpos a cada cinco meses, quando a análise já está completa.

“É empolgante saber que, com a tecnologia, é capaz de dar um ‘rewind’ na história do universo e tentar entender o que ocorreu no Big Bang. Se é que ocorreu um Big Bang, mas melhor não entrar no mérito dessa discussão agora”, brinca o executivo.