Como a edge analytics conduzirá uma computação mais inteligente

Muitos casos de uso de analytics e machine learning se conectam a dados armazenados em data warehouses ou data lakes, executam algoritmos em conjuntos de dados completos ou em subconjunto dos dados e computam os resultados em arquiteturas de nuvem. Essa abordagem funciona bem quando os dados não mudam com frequência. Mas e se os dados mudarem com frequência?

Hoje, mais empresas precisam processar dados e computar analytics em tempo real. A IoT conduz grande parte dessa mudança de paradigma, já que o fluxo de dados dos sensores exige processamento e analytics imediatos para controlar os sistemas downstream. A analytics em tempo real também é importante em muitos setores, incluindo saúde, serviços financeiros, manufatura e publicidade, onde pequenas alterações nos dados podem ter impactos financeiros, de saúde, segurança e outros negócios significativos.

Se você estiver interessado em habilitar analytics em tempo real – e em tecnologias emergentes que alavancam uma combinação de edge computing, AR/VR, sensores de IoT em escala e machine learning em escala – então é importante entender as considerações de design para edge analytics. Casos de uso de edge computing, como drones autônomos, cidades inteligentes, gerenciamento de rede de varejo e redes de jogos de realidade aumentada, todos visam a implantação de edge analytics altamente confiáveis em grande escala.

Edge analytics, streaming analytics e edge computing

Vários diferentes paradigmas de analytics, machine learning e edge computing estão relacionados à edge analytics:

• Edge analytics se refere a analytics e algoritmos de machine learning implantados na infraestrutura fora da infraestrutura de nuvem e “na borda” na infraestrutura localizada geograficamente.
• Streaming analytics refere-se à computing analytics em tempo real à medida que os dados são processados. A streaming analytics pode ser feita na nuvem ou na borda, dependendo do caso de uso.
• O processamento de eventos é uma forma de processar dados e conduzir decisões em tempo real. Esse processamento é um subconjunto de streaming analytics e os desenvolvedores usam arquiteturas orientadas a eventos para identificar eventos e acionar ações downstream.
• A edge computing se refere à implantação de computação em dispositivos de borda e infraestrutura de rede.
• A fog computing é uma arquitetura mais generalizada que divide a computação entre ambientes de borda, near edge e computação em nuvem.
• Ao projetar soluções que requerem edge analytics, os arquitetos devem considerar as restrições físicas e de energia, os custos e a confiabilidade da rede, as considerações de segurança e os requisitos de processamento.

Razões para implantar analytics na borda

Você pode perguntar por que você implantaria a infraestrutura de borda para analytics? Existem considerações técnicas, de custo e de conformidade que influenciam essas decisões.

Os aplicativos que afetam a segurança humana e exigem resiliência na arquitetura de computação são um caso de uso para edge analytics. Os aplicativos que exigem baixa latência entre as fontes de dados, como sensores de IoT e infraestrutura de analytics computing, são um segundo caso de uso que geralmente requer edge analytics. Exemplos desses casos de uso incluem:

• Carros autônomos, máquinas automatizadas ou qualquer transporte em que os sistemas de controle automatizem toda ou parte da navegação.
• Edifícios inteligentes que têm controles de segurança em tempo real e desejam evitar dependências de infraestrutura de rede e nuvem para permitir que as pessoas entrem e saiam do prédio com segurança.
• Cidades inteligentes que rastreiam o transporte público, implantam medidores inteligentes para faturamento de serviços públicos e soluções inteligentes de gerenciamento de resíduos.

As considerações de custo são um fator significativo no uso de edge analytics em sistemas de manufatura. Considere um conjunto de câmeras que examinam os produtos manufaturados em busca de defeitos enquanto estão em correias transportadoras de movimento rápido. Pode ser mais econômico implantar dispositivos de edge computing na fábrica para realizar o processamento de imagem, em vez de ter redes de alta velocidade instaladas para transmitir imagens de vídeo para a nuvem.

Falei com Achal Prabhakar, VP de Engenharia da Landing AI, uma empresa de IA industrial com soluções que enfocam a visão computacional. “As fábricas são bastante diferentes das aplicações de analytics convencionais e, portanto, exigem repensar a IA, incluindo a implantação”, disse Prabhakar. “Uma grande área de foco para nós é a implantação de modelos complexos de deep learning vision com aprendizagem contínua diretamente nas linhas de produção, usando dispositivos de borda capazes, mas commodity”.

A implantação de analytics em áreas remotas, como locais de construção e perfuração, também se beneficia do uso de analytics e edge computing. Em vez de depender de redes de longa distância caras e potencialmente não confiáveis, os engenheiros implantam uma infraestrutura edge analytics no local para dar suporte aos dados necessários e ao processamento analítico. Por exemplo, uma empresa de petróleo e gás implantou uma solução de streaming analytics com uma plataforma de computação distribuída em memória até o limite e reduziu o tempo de perfuração em até 20%, de 15 dias a 12 dias.

Conformidade e governança de dados é outro motivo para edge analytics. A implantação de uma infraestrutura localizada pode ajudar a cumprir a conformidade com o GDPR (o regulamento de proteção de dados da União Europeia) e outros regulamentos de soberania de dados, armazenando e processando dados restritos nos países onde os dados são coletados.

Projetando analytics para a borda

Infelizmente, pegar modelos e outras analytics e implantá-los na infraestrutura de edge computing nem sempre é trivial. Os requisitos de computação para processar grandes conjuntos de dados por meio de modelos de dados de computação intensiva podem exigir uma reengenharia antes de executá-los e implantá-los na infraestrutura de edge computing.

Por um lado, muitos desenvolvedores e cientistas de dados agora tiram proveito das plataformas de analytics de alto nível que estão disponíveis em nuvens públicas e privadas. A IoT e os sensores costumam utilizar aplicativos integrados escritos em C/C++, o que pode ser um terreno desconhecido e desafiador para cientistas e engenheiros de dados nativos da nuvem.

Outro problema pode ser os próprios modelos. Quando os cientistas de dados trabalham na nuvem e escalam recursos de computação sob demanda a custos relativamente baixos, eles são capazes de desenvolver modelos complexos de machine learning, com muitos recursos e parâmetros, para otimizar totalmente os resultados. Mas ao implantar modelos para infraestrutura de edge computing, um algoritmo excessivamente complexo pode aumentar drasticamente o custo da infraestrutura, o tamanho dos dispositivos e os requisitos de energia.

Falei sobre os desafios de implantar modelos de IA até o limite com Marshall Choy, Vice-Presidente de Produto da SambaNova Systems. “Os desenvolvedores de modelos para aplicativos de IA de borda estão cada vez mais se concentrando em modelos altamente detalhados para obter melhorias na redução de parâmetros e requisitos de computação”, observou ele. “Os requisitos de treinamento para esses modelos menores e altamente detalhados continuam assustadores”.

Outra consideração é que a implantação de um sistema de edge analytics altamente confiável e seguro requer o projeto e a implementação de arquiteturas, sistemas, redes, software e modelos altamente tolerantes a falhas.

Já Dale Kim, Diretor Sênior de Marketing de Produto da Hazelcast, falou sobre casos de uso e restrições ao processar dados na borda. Ele comentou que, embora otimizações de equipamento, manutenção preventiva, verificações de garantia de qualidade e alertas críticos estejam todos disponíveis no perímetro, há novos desafios como espaço de hardware limitado, acessibilidade física limitada, largura de banda limitada e maiores preocupações com segurança.

“Isso significa que a infraestrutura que você está acostumado em seu data center não funcionará necessariamente”, disse Kim. “Portanto, você precisa explorar novas tecnologias projetadas com arquiteturas de edge computing em mente”.

A próxima fronteira em analytics

Os casos de uso mais convencionais para edge analytics hoje são funções de processamento de dados, incluindo filtragem e agregações de dados. Porém, à medida que mais empresas implantam sensores de IoT em escala, a necessidade de aplicar algoritmos de analytics, machine learning e inteligência artificial em tempo real exigirá mais implantações de borda.

As possibilidades na borda criam um futuro muito empolgante para a computação inteligente à medida que os sensores se tornam mais baratos, os aplicativos exigem mais analytics em tempo real e o desenvolvimento de algoritmos otimizados e econômicos para a borda se torna mais fácil.