API de Machine Learning do Google reconhece objetos em vídeos

O Google apresentou nesta quarta-feira, 8/3, durante a sua conferência Next Cloud, nos EUA, uma nova API de machine learning que consegue reconhecer objetos em vídeos.

Chamada de Google Cloud Video Intelligence API, a novidade foi demonstrada no palco do evento realizado em San Francisco, na Califórnia, quando o Google reproduziu um comercial curto e a API conseguiu reconhecer um cão da raça dachshund no vídeo.

Na prática, permite que que videos possam ser pesquisados e descobertos extraindo individualidades com uso simples de um REST API.

“Estamos começando a jogar luz na matéria negra do universo digital”, afirmou a cientista chefe de IA e machine learning do Google Cloud, Fei-Fei Li.

O Google vai disponibilizar a nova API para desenvolvedores através da Google Cloud. O produto já está em private beta.

Esta nova API coleta informações de vídeos armazenados no Google Cloud
Storage, com informações técnicas, como número de frames, e informações
contextuais do vídeo. Assim, é possível procurar em cada gravação ou frame de
cada arquivo de vídeo catalogado. A lista de funções inclui:

– Detecção de rótulos – identifica objetos do dia a dia, lugares e coisas,
como elefantes.

– Anotações temporais – busca por unidades relevantes em todo vídeo
catalogado e automaticamente agrega a pesquisa em cada posição do
frame.

– Detecção na mudança de captura – detecta as mudanças de cena dentro
do vídeo

Entre os exemplos de uso estão também:

Arquivos de mídia: organizações de mídia possuem anos de conteúdo arquivado com poucos metadados em seus conteúdos. Essas empresas agora podem usar o Video Intelligence API para entender as informações chave e identificar quando e onde eles aparecem em seus conteúdos de vídeo. Este nível de metadados cria novas propósitos para materiais de vídeo existentes e possibilita de novas formas de monetização.

Plataformas de publicação: muitas destas plataformas precisam recomendar conteúdo digital ou oferecer um portal de mídia online para
consumidores de vídeos. O Video Intelligence API oferece metadados valiosos para direcionar a recomendação de conteúdo e classificação para seus clientes com uma segmentação de anúncios mais precisa, com base no conteúdo e perfis de usuário.

Descoberta de conteúdo: o Video Intelligence API simplifica a busca e descoberta de conteúdo nos vídeos. Sua precisão indica o quadro mais próximo do que está sendo pesquisado, para que os usuários possam encontrar seu trecho favorito dentro do vídeo.

Em outra demonstração no Next, uma simples busca por “praias” na API
conseguiu encontrar vídeos que continham cenas de praias. Conforme
apontado pelo The Verge, essa é uma abordagem parecida com um recurso do
Google Photos que te permite buscar por um assunto/objeto nas suas
imagens.