Aprenda como formar um bom programa de métricas

Para contar porque um bom programa de métrica é essencial, Andrew Jaquith, diretor de tecnologia da Perimeter e-Security, contou sobre uma recente reunião com um grande – e não revelado – cliente.

Segundo Jaquith, esse cliente gasta milhões de dólares em serviços de e-mail da empresa. Sem boas métricas para mostrar a contribuição de valor do provedor de serviço de segurança, dificilmente eles continuariam com o serviço da empresa.

“Nosso cliente foi bastante direto ao dizer: ‘nosso CFO assina um cheque com o valor bem alto todo ano. Você precisa mostrar que o que compramos justifica o investimento’. Não que o desejo dele fosse ver o investimento de US$2 milhões com base na limpeza de e-mail… ele queria ter certeza que a solução faz diferença para seu negócio”.

Um bom programa de métricas mostra o valor de certas escolhas de segurança para a pessoa que toma as decisões. Obviamente, não é apenas sobre o cliente. As equipes de segurança também têm que satisfazer “clientes internos” – ou seja, os executivos que assinam os orçamentos. “O que temos que ter em mente é que elas precisam ser motivadoras”.

Há três tipos de métricas: as táticas, que devem agir quase em tempo real; as táticas que não precisam agir em tempo real; e as estratégicas, que devem impactar diretamente no lucro da empresa, afirmou Alex Hutton, membro do painel RSA e diretor de operações de ricos para uma instituição financeira não identificada.

“A principal estratégia métrica, é claro, é o dinheiro. Se você não expressa sua estratégia métrica em termos de dinheiro, terá problemas”, afirmou Hutton. A seguir, quatro recomendações sugeridas pelos palestrantes da RSA Conference.

1. Comece a coleta de dados – agora: quando pensarem em começar um programa de ou expandir um existente, muitos profissionais de segurança começarão a pensar demais e iniciar uma análise paralela, afirmou Arian Evans, vice-presidente de operações para a empresa de segurança de rede White Hat Security. “Métricas de segurança não são como planos de dietas. A maioria das pessoas passa mais tempo preparando a dieta ou coletando do que realmente as realizando”. Muitos empresários querem usá-las para tomar decisões qualitativas. Acham que para isso, são necessários ótimos dados, mas é difícil determinar quais dados são bons antes que a empresa colete as informações e as analise. Então, comece a coleta agora. “Não é possível saber o que encontrar, então comece com pouco e mantenha tudo simples”.
2. Desenvolva e refine seus modelos: quando questionados sobre os programas de métricas, poucos participantes afirmaram estar contentes. A razão disso é que ela só é boa se as perguntas feitas forem boas. “Suas insatisfação com os dados não tem nada a ver com o programa, e sim com o modelo”, afirmou Hutton. Em vez disso, as empresas devem observar suas normas e suposições usadas para análise de dados. Provavelmente descobrirão que seus modelos são ruins. Até que saibam mais sobre as perguntas que estão fazendo e porque estão buscando naquele conjunto particular de dados, as respostas não têm sentido. As empresas deveriam criar hipóteses e coletar dados para comprová-las ou negá-las. “Faça uma pergunta e tente responde-la”, afirmou Evans, da White Hat.
3. Vá além da comparação: apesar da comparação com outras empresas do mesmo setor permitir que se tenha uma ideia de como, digamos, um montante de receita em segurança é gasta, levar seu programa de segurança com base no dos outros não é um bom uso de métricas, afirmou Hutton.“Se sua gerência quer comparar você com outra empresa, ela não é boa. A observação é sobre tolerância de risco. Há limite para esse tipo de análise”. Ainda assim, Evans e Jaquith falam que saber sua posição pode ser bom, especialmente se ela mostra que a empresa gasta pouco em segurança. Tal revelação pode conduzir a gestão, especialmente se a alegação for que o baixo custo significa que o serviço não está sendo feito corretamente.
4. A apresentação importa: finalmente, desenvolver boas métricas não é importante a não ser que os dados sejam apresentados corretamente em um contexto para a audiência. Parte disso é a comparação com dados de desempenhos anteriores. “A apresentação e a narrativa importam. Há sempre dados que explicam porque algo está acontecendo”, afirmou Jaquith, da Perimeter.

Tradução: Aba Milena, especial para o IT Web | Revisão: Thaís Sabatini