Push notification: qual a importância de testes A/B e o uso correto das métricas

Há uma ampla discussão sobre push notifications em aplicativos móveis e os impactos que podem causar nos usuários. É consenso que boas estratégias de push podem melhorar as taxas de retenção e manter os usuários mais engajados com aplicativos… mas estamos preparados para entender o impacto real de cada mensagem?

É comum esperar um aumento na taxa de conversão, retenção ou sessões por usuário, mas existem outros números, não tão bons de ouvir, que podem indicar uma estratégia incorreta de push. É muito importante identificar as métricas corretas para cada caso e criar um modelo de acompanhamento eficaz no dia a dia.

O primeiro passo é definir objetivos principais, como impulsionar mais conversões, manter o aplicativo relevante para o usuário, aumentar o volume de sessões e assim por diante. Depois disso, temos que pensar sobre a melhor forma de estruturar a mensagem, assim como o melhor momento para enviá-la. Somente após essas etapas, enviar e fazer o acompanhamento com base nas métricas definidas anteriormente.

O problema com as métricas gerais é: se você não define os aspectos corretos, acabará apenas com números bonitos para mostrar em uma apresentação. Esses números provavelmente serão um reflexo de métricas de vaidade, termo usado por Eric Ries para identificar as métricas que não ajudam a tomar decisões. Por exemplo, é importante ter uma taxa de abertura alta, mas e se não tivermos uma boa taxa de conversão? E se a taxa de conversão for boa, mas a taxa de desinstalação for mais alta, a estratégia de push é uma boa ferramenta de marketing?

Essa é a razão pela qual devemos definir cuidadosamente nossas métricas e a forma como iremos acompanhá-las.

Quais métricas devemos acompanhar?

Existem algumas métricas comuns para push notifications:

Taxa de Abertura (Open Rate): Altas taxas de abertura podem pressupor mensagens atraentes. Rich pushes com emojis, dados personalizados e análise de comportamento podem ajudar muito. A taxa de abertura pode variar entre sistemas operacionais e aplicativos.

É apenas o topo do funil, dependendo dos seus objetivos principais com as mensagens. Por exemplo, se você está esperando um aumento na taxa de inscrição, a abertura do push sozinha não ajuda.

Taxa de Conversão (Conversion Rate): Aqui estamos falando de usuários que receberam um push e realizaram alguma ação de conversão, como uma inscrição, compra ou qualquer outro evento importante para o negócio.

Um bom ponto sobre a taxa de conversão é: se você recebeu uma mensagem e não abriu, a conversão realmente foi influenciada pela mensagem recebida? Algumas pessoas podem argumentar que não é resultado da mensagem.

Dito isso, vamos pensar em outro cenário: você não usou o aplicativo nos últimos 7 dias e viu a mensagem enquanto estava em uma reunião. Após a reunião, você se lembrou dessa mensagem, abriu o aplicativo (organicamente, não pelo push) e fez uma compra. Talvez as mesmas pessoas do exemplo anterior possam argumentar agora que a compra foi, sim, influenciada pela mensagem.

Se considerarmos que muitos usuários checam seus smartphones toda vez que surge algo novo, mas não necessariamente o desbloqueiam para usá-lo, talvez seja correto atribuir esta futura conversão a uma notificação.

Taxa de Conversão por Clique (Click Through Conversion Rate): Nesse caso, as taxas de conversão por clique apenas contam as conversões de usuários que abriram a mensagem, representando toda a jornada de conversão. É um número mais preciso, mas certamente será menor que a métrica anterior (a taxa de conversão).

Considerando que estamos usando as métricas acima, vamos analisar o seguinte cenário:

Podemos rapidamente assumir que o push 2 é melhor que o push 1. No entanto, talvez não seja bem assim.

Trabalhando com testes A/B

O exemplo acima é bastante simples, e não estamos entrando em problemas como a receita de conversões e o custo para enviar cada mensagem (muito importante para calcular o ROI).

Podemos fornecer mais uma informação sobre esses cenários:

O push 1 foi enviado na segunda-feira de manhã, um momento muito ruim para o aplicativo em questão.

O push 2 foi enviado na sexta-feira à noite, o dia e horário de melhor conversão para o mesmo aplicativo.

Agora, não está claro que o push 2 é o verdadeiro vencedor. Então, como melhorar nossa análise e conclusão sobre os resultados? A resposta é: testes A/B.

Existem muitas ferramentas disponíveis no mercado que nos permitem criar testes A/B, fornecendo praticamente o mesmo ambiente para as variações. Assim, podemos configurar um teste para validar os números. Depois disso, imagine que recebemos os seguintes resultados:

Métrica/Variação

Vemos agora que a variação A é a vencedora.

Em alguns casos, é simplesmente impossível comparar diferentes mensagens sem as mesmas condições de cenário. É preciso considerar a variação no comportamento do usuário em cada faixa de horário e dia da semana, assim como a sazonalidade do consumo ao longo do ano. Para resolver essa questão, use sempre as ferramentas de teste A/B para avaliar corretamente os resultados de cada mensagem.

Depois de ter as métricas corretas e a estrutura de teste A/B aplicada, é hora de validar cada hipótese e manter as melhorias nas mensagens em andamento como um ciclo PDCA (do inglês: Plan, Do, Check, Act). Se promoções especiais estão gerando taxas de abertura mais altas, mas não conversões, faça o teste com ofertas mais baratas ou descontos mais elevados. Se a taxa de abertura de mensagens simples não for tão boa, tente com rich push notifications… e assim por diante. Você sempre poderá criar um teste A/B para descobrir novas oportunidades, com as métricas corretas.

*Marcelo Zeferino é Gerente de Produto Mobile no Peixe Urbano