Situações extremas exigem redes extremas

Author Photo
9:09 pm - 28 de abril de 2014

Esta história começou a ser contada quase um ano atrás quando analisei a implantação de uma rede WiFi diferenciada. Tratava-se do caso do Gillete Stadium do New England Patriots que proporcionou acesso WiFi para 68 mil pessoas. Mas mais do que isso. Criativas aplicações e serviços foram viabilizados por esta grandiosa realização. Na ocasião pude estudar o caso e compará-lo com situações mais próximas das pessoas comuns e das empresas. Mas o motivador para este novo texto é que pude conhecer um pouco mais a empresa que está por trás desta e de muitas outras realizações. Conhecer um pouco mais a tecnologia e suas aplicações me fez ver o quanto a demanda por redes mais e mais sofisticadas e complexas têm crescido e que recursos estão disponíveis para que possam ser criadas.
A empresa citada é a Extreme Networks detentora de um extenso portfólio de produtos de rede tanto para soluções sem fio como redes tradicionais cabeadas (Ethernet, fibra, etc.). Este é um mercado desafiador, pois há um seleto grupo de competentes fornecedores constantemente desenvolvendo e aprimorando seus produtos. Mas engana-se quem pensa que apenas a vertiginosa escalada de velocidade de transmissão (por cabo ou via ar) é que importa para os clientes. Claro que no mundo que vivemos no qual o Big Data é cada vez mais presente, intenso e o volume de informações criados praticamente dobra a cada 5 anos a velocidade é essencial. Mas repito, não é tudo.
Não posso deixar de citar que a primeira rede que usei tinha a assombrosa velocidade de 0.256 Mbps (256 Kbps). O rumo da evolução foi 1, 2, 10, 100, 1000 Mbps e nos dias de hoje redes de 10 Gbps são comuns em grandes empresas e 40 Gbps já pode também desfrutado, especialmente em grandes corporações e Data Centers.
O caso mais intenso de necessidade de banda em altíssima escala sem dúvida se encontra na infraestrutura de um grande Data Center de um provedor de serviços de nuvem. Uma quantidade inimaginável de servidores físicos e virtualizados existem neste ambiente e seus milhares de ?sub-ambientes? como grupos de servidores virtuais de empresas. Não posso me esquecer da incrível demanda de serviços como armazenamento, aplicações, bancos de dados ou serviços web todos hospedados na nuvem.
Este mundo de redes de alta capacidade e desempenho se desenvolveu havendo hoje em dia tipos de switches diferentes para cada segmento da rede. São pelo menos 3 segmentos:

  • switch departamental ? usados para levar conexão aos usuários finais nos escritórios das empresas. Normalmente trafegam dados em 100/1000 Mbps e alguns modelos têm PoE (power over Ethernet), ou seja, podem alimentar com energia alguns dispositivos como Access Points, câmeras de segurança e telefones IP.
  • switch core ? usados para concentrar e distribuir o tráfego entre os diversos departamentos da empresa e onde são conectados os servidores. São dispositivos de alto desempenho e baixa latência para otimizar o tráfego. Trafegam dados até 10 Gbps.
  • switch ?top-of-the-rack?- para grandes corporações, grandes datacenters e provedores de nuvem. São os switches principais destes ambiente, baixa latência, podem trabalhar agregados e trafegam dados até 40 Gbps.

Os fabricantes têm seus modelos, famílias, recomendações, etc. Não é o escopo deste texto, mas não posso deixar de ilustrar estes elementos que são fundamentais para as ?redes extremas? que quero comentar. Seguem alguns exemplos da família da Extreme Networks. São apenas alguns exemplos da diversidade de dispositivos. A própria empresa dispõe de vários outros tipos e modelos de switches.

Figura 01 ? Summit X440 ? switch departamental 10/100/1000

Figura 02 ? Summit X670 ? switch core até 10 Gbps

Figura 03 ? Summit X770 ? switch alta densidade e baixa latência 40 Gbps
Purview ? domando a rede
Parafraseando recente slogan publicitário: ?rede não é nada sem controle?. A Extreme Networks apresentou há pouco tempo uma ferramenta que melhora a experiência de uso das aplicações, pois permite conhecer o uso que é feito por parte dos usuários, otimiza o rendimento das mesmas e protege os sistemas de informação de usos inadequados ou potencialmente perigosos.
O Purview aproveita a informação em cada contexto que viaja pela rede a partir dos usuários, dispositivos, aplicações e locais de utilização. Captura os dados da rede e os agrega, analisa, correlaciona e os apresenta, proporcionando assim a visibilidade sobre o rendimento e uso que faz dos diferentes recursos de TI da organização. Pode ser utilizado tanto em redes baseadas em switches da Extreme Networks como em redes de outros fabricantes Ethernet. Essencialmente ele analisa o tráfego do ponto de vista de aplicações e não pacotes TPC/IP. Por exemplo, pode-se descobrir quais aplicações geram maior tráfego de rede e quem são seus usuários e quando são usadas. Tudo mostrado graficamente com possibilidade de aprofundar a informação (?drill-down?). Trabalha na camada 7 do modelo de referência OSI de conectividade. Minha curiosidade foi bastante estimulada ao saber deste tipo de solução. Oportunamente posso vir a testá-la. Assim eu desejo.

Figura 04 ? Purview analisando tipo de tráfego e aplicações

Figura 05 ? Purview modelo conceitual e arquitetura
Mas o mundo está mudando ainda mais. A tecnologia de rede sem fio abriu a possibilidade para que novos paradigmas de rede fossem criados. Mas isso tudo foi além. Quando se começou a falar em ?Internet da coisas? francamente eu não levei muito a sério. Não via como tão fantástico nem tão útil minha geladeira estar conectada com outros dispositivos de minha casa e todos ligados à Internet. Mas meu pensamento era ?pequeno?. Por meio da Extreme Networks eu tive acesso a um caso de uso de rede sem fio tão ou mais interessante do que o WiFi no Gillete Stadium.
Uso de WiFi no Henry Ford Health System (HFHS)
Se prover conexão no estádio foi um imenso desafio, principalmente pelo volume, o que não dizer de um ambiente extremamente crítico como um hospital, ou melhor, um grupo de hospitais. Se o nome Henry Ford Health System lhe soou familiar, é o mesmo (e único) Henry Ford, criador do Ford T e da linha de produção em série que está por trás de tudo isso. Trata-se de uma instituição privada de saúde sem fins lucrativos fundada em Detroit em 1915 junto com o hospital de mesmo nome cuja história pode ser aprofundada nestes dois links: história e fatos.

Figura 06 ? Henry Ford Hospital em Detroit
Atualmente são 7 hospitais no estado de Michigan que atendem mais de 2.2 milhões de pessoas por ano. O volume de funcionários é próximo de 24 mil empregados, e conta com diversos centros de excelência em várias áreas que vão de tratamento de câncer, transplantes, etc.
Mas qual o uso que se faz de WiFi no HFHS (Henry Ford Health System)? Desde prover acesso aos pacientes e familiares (?convidados?), entregar acesso sem fio em aplicações críticas para pacientes, médicos, enfermagem e equipamentos usados para monitoração que salvam vidas em regime 24x7x365. São os aparelhos médicos e sistemas de monitoração, seja em leitos como nas UTIs. Todos se valem da conectividade sem fio para intercâmbio de informações.

Figura 07 ? aparelhos médicos conectados
Segundo as estatísticas do HFHS cerca de 12000 se conectam todos os meses e aproximadamente mais de 5000 pessoas acessam como ?convidadas? e usam os recursos de conectividade e Internet todos os dias. Os números são grandiosos. Há mais de 650 mil metros quadrados de cobertura de sinal de WiFi nas várias unidades (atualmente presente em 5 unidades). Segundo dados atualizados em março de 2014 existem cerca de 4500 access points distribuídos que são geridos por 16 ?Wireless Controllers? e 8 Engenheiros de rede sem fio se alternam nas diversas funções de prover a estabilidade e o crescimento da rede no HFHS.
Há uma interessante entrevista com Doug McDonald que é ?Wireless Network Manager? do HFHS e que pode ser ouvida aqui. Resumidamente Doug conta que iniciaram o projeto da rede em 2006 visando obter alguns registros médicos via WiFi. Ainda assim achavam que a maior parte da rede seria cabeada no futuro, que dispositivos móveis não teriam condições de suportar aplicações tão críticas. Mas mesmo assim investiram nesta visão e desde então a rede vem crescendo de forma muito acelerada. Ampliaram a capacidade 100% (dobrando) seu tamanho nos últimos 7 anos consecutivos.
Segundo Doug ainda estamos começado apenas no uso de WiFi na área de saúde. Aparelhos ?wearable? (do tipo do Google glass), análise de Big Data, aplicações móveis ainda mais sofisticadas são apenas mais alguns pontos que estão por vir.
O desafio é conseguir no dia a dia prover o serviço necessário para usuários e dispositivos médicos. Estabelecer o número correto de access points para o nível de qualidade necessária. Ter a essencial separação de tráfego por níveis de prioridade. Um sensor de dados em uma UTI não pode ser prejudicado por uso de Internet pelos convidados bem como a exibição de uma imagem obtida em um exame diagnóstico. A necessidade é de comunicação em tempo real entre pacientes, sensores, médicos e dispositivos!
Uma rede grande assim não pode prescindir de um sistema de IPS (prevenção contra intrusão) especializado para WiFi. Investimentos e evolução devem ser constantes. Bem como preocupar-se com o tipo encriptação do sinal pois não importa quão forte ela seja hoje. É apenas questão de tempo e dinheiro para uma encriptação ser quebrada (como já aconteceu com o protocolo WEP). No HFHS existem 1200 sensores dedicados especialmente a esta finalidade, ou seja, análise de segurança, capturar tentativas de acesso indevido ou tentativas de invasão.
Tudo isso são preocupações novas pois com cabos os dados fluem circunscritos à edificação da empresa (neste caso dos hospitais) enquanto sinal wireless vaza para fora de seus limites. Sofisticados equipamentos de ?wireless sniffer? podem avaliar e monitorar os sinais a partir de uma distância muito grande. Não haverá aquela ?van suspeita? parada na porta a espionar. É bem mais complicado desconfiar de quem possa estar espionando.
Desafios importantes a serem superados
O prédio da sede em Detroit foi reformado e ampliado nos anos 70 do século passado, em plena época da Guerra fria entre EUA e URSS. Por isso há muitas paredes de concreto de grande espessura (180 cm) que não são nada propícias a propagação de sinais de WiFi. Além disso existem átrios no interior dos prédios nos quais alta vegetação cresce e vai interferindo nas características de propagação de sinal de rádio. Também existem sites de variados tamanhos dentro dos hospitais e um número grande de locais pequenos a serem suportados pelo WiFi.
A velocidade de acesso é fator crítico! Principalmente dos equipamentos mais sensíveis e de grande responsabilidade como sensores de UTI, etc. Por tudo isso a distribuição dos access points teve que ser feita após extensa pesquisa dos locais e planejamento de sensibilidade de sinal para que os acessos mais importantes fossem privilegiados.
Também não poderia faltar cobertura de sinal nos elevadores e nas escadas para haver continuidade de uso dos sistemas médicos e aplicações de voz. Passar fiação em fosso de elevador é algo bem complicado porque vistorias de segurança por parte dos bombeiros é feita e nada pode comprometer a segurança. Nos fossos de elevador fibras óticas foram usadas para prover a conectividade aos access points cuidadosamente instalados nestes lugares.
Como foi resolvido o problema?
Foi descartado o uso de tecnologia de 2.4 Ghz, a mais popular em favor de equipamentos que funcionam a 5 Ghz. Estes são muito menos sujeitos à interferência, mas via de regra têm alcance menor. As opções para 5 Ghz seriam os padrões 802.11a, 802.11n e 802.11ac. Como dois dos requisitos eram cobertura plena e velocidade de acesso privilegiada foram usados equipamentos com suporte ao recente padrão 802.11ac, ou seja, com velocidade nominal de até 1300 Mbps. O diagrama abaixo mostra as diferenças entre estas soluções.

Figura 08 ? diferentes padrões de WiFi
Como em muitas situações práticas na vida corporativa no âmbito da tecnologia precisa existir um equilíbrio entre largura de banda e alcance do sinal. Isso é refletido na densidade de access points a serem utilizados (mais para as soluções de 5 Ghz). Mas o ganho em velocidade é bastante expressivo. Não só isso, a robustez do sinal é outro aspecto muito importante. A tecnologia 802.11ac dispõe de um recurso chamado DFS (Dynamic Frequency Selection). Na prática funciona com sistema que ?dribla? as interferências entre os canais de rádio (e as frequências) alternando-as de uma forma dinâmica na medida que haja conflito de sinais. Isso é bem engenhoso e resulta em um benefício muito grande.

Figura 09 ? equilibrando largura de banda e densidade de access points
Outra característica que foi explorada na solução do HFHS foi o uso de múltiplos canais do protocolo 802.11ac. Em função da capacidade do dispositivo conectado na rede WiFi, da necessidade de largura de banda (velocidade de acesso) e da proximidade do access point mais canais podem ser usados simultaneamente para maximizar a velocidade de acesso. Isso tem como consequência a diminuição da quantidade de canais úteis que não têm conflito de frequência e por isso mesmo é um recurso que deve ser usado e explorado com bastante planejamento.

Figura 10 ? como acontece o aproveitamento de múltiplos canais no WiFi 802.11ac
Por fim ao usar a tecnologia WiFi 802.11ac como fez o HFHS deve ser feito o planejamento de necessidades de largura de banda em função da distância. Todo sistema de WiFi apresenta diferença de velocidade em função de maior ou menor proximidade dos access points. Mas na tecnologia 802.11ac isso é mais dramático por conta da possibilidade de uso de múltiplos canais. Assim ao planejar o acesso dos dispositivos que requerem maior fluxo de dados estes devem estar mais próximos ao access point usufruindo de velocidades compatíveis aos serviços executados.

Figura 11 ? como acontece o aproveitamento de múltiplos canais no WiFi 802.11ac
Individualmente estas premissas básicas não são complicadas. Mas conciliar 4500 access points em função das distâncias necessárias aos dispositivos, uso de mais ou menos canais, visando atender da melhor forma possível aos usuários, dispositivos e sensores, este sim é um grande desafio. Para isso foram usados os access points IdentiFi 3600 da Extreme Networks. Destes 4500 IdentiFi 3600, 1200 estão sendo usados exclusivamente como sensores para identificar e permitir bloquear intrusões, ou seja, como elementos de segurança.
Para gerenciar este parque todo e controlá-los foram usados 14 equipamentos IdentiFi WiFi Controllers modelos c5110a e c4110 montados em pares redundantes a falhas de tal forma que se um deles apresentar falha ou for desligado o outro assume a função mantendo a operação. Da mesma forma access points também foram instalados em redundância para que na falha de um deles seu par possa assumir seu papel e possa manter os usuários conectados.

Figura 12 ? IdentiFi WiFi Controller e Identifi 3600 access point (imagens fora de escala)
Orquestrando toda a solução
O caso que me foi apresentado tem as informações focadas no formidável sistema de rede sem fio com este número imenso de equipamentos, controladores, etc. Porém a interligação de todos estes milhares de access points com seus gerenciadores, links de Internet, servidores e outros sistemas de informação dos hospitais deve ser implementado via rede cabeada. Até conheço solução 100% baseada em WiFi, mas não haveria largura de banda suficiente e haveria latência bem mais alta se tudo fosse sem fio.
Por isso o arquiteto da solução do HFHS teve que pensar, pensar, pensar e fazer a melhor distribuição possível de recursos visando atender todos os pontos. Mesmo na solução do estádio do New England Patriots foi desafiador levar os cabos Ethernet ou fibra para todos os pontos necessários para prover conectividade aos access points. Da mesma forma no HFHS, pois até fibra teve que ser levada aos fossos de elevador para que também houvesse conectividade nestes lugares. Quais switches devem ser usados e em que quantidade, que velocidades… Tudo isso está nos bastidores desta solução, deste lindo projeto realizado pelo Henry Ford Health System. Planejamento, excelência técnica, robustez, confiabilidade e muita engenharia de rede, tudo isso somado permite que um cenário como este seja especificado, realizado e esteja em operação dobrando de tamanho a cada ano. Definitivamente situações extremas exigem redes extremas. E cada vez mais neste mundo super conectado que vivemos!!

Newsletter de tecnologia para você

Os melhores conteúdos do IT Forum na sua caixa de entrada.