Como a eBay gerencia seus 3 petabytes de dados

O caminho para a automação de data centers tem sido longo e árduo, e até mesmo companhias inovadoras, como a eBay, ainda não a concluíram totalmente. Mas a pontocom está mais perto dessa conquista do que a maioria das empresas.

A companhia percorreu um terço do caminho da iniciativa direcionada a grid computing, está trabalhando intensivamente no desenvolvimento de software e empregando tecnologias que podem descrever as relações inter e entre hardware e software em seus data centers, com o eventual objetivo de possibilitar que as operações sejam gerenciadas mais facilmente, atualizadas mais rapidamente, e se tornem escalonáveis ?além da imaginação?.

Considerando as proporções da eBay, o uso de software comercial geralmente está fora de questão. Afinal, existem mais de três petabytes de dados para serem gerenciados em seis data centers. Mesmo com um ambiente tão complexo, a companhia está apta a controlar todas essas informações armazenadas, recorrendo a menos de uma dúzia de administradores. À medida que mais ferramentas e métodos de organização surgem no mercado, a empresa espera dar um passo em direção ao gerenciamento automático de níveis de serviço, em grande escala.

Na eBay, existem informações demais para serem classificadas. O website da companhia enumera 106 milhões de leilões em andamento, em qualquer momento, que podem ser acessados por qualquer um de seus 243 milhões de usuários registrados. Considerando tudo isso, a organização precisa gerenciar mais de três petabytes de dados espalhados por cerca de 600 instâncias de bancos de dados referentes à produção, muitas das quais são executadas dentro de máquinas virtuais, instaladas em mais de 100 clusters de computação, em seis data centers diferentes. Uma das razões porque toda esta complexidade ? a parte de armazenamento, pelo menos ? pode ser gerenciada com tão poucas pessoas deve-se à limitação da quantidade de meios pelos quais os dados são armazenados.

Muitas companhias já fazem isso em menor escala. Por exemplo, uma empresa pode armazenar informações corporativas vitais em SANs (Storage Area Network, ou redes de armazenamento local) redundantes e de alto desempenho, e manter as informações mais antigas em sistemas de backup. Para a eBay, isso significa ter menos fabricantes envolvidos e menos produtos para gerenciar, e também menos processos simultâneos relacionados ao armazenamento que devem ser gerenciados.

Página