Como o time de Produto pode atuar junto à equipe de Business Analytics para analisar dados do produto e obter os melhores insights para a solução na qual estão trabalhando?
Esse foi o tema do nosso papo com a Fernanda Monsó no 3º episódio da nossa série Mestres de Produto, no YouTube. Fernanda atualmente é Associate Manager Business Analytics no Nubank, com passagem por empresas como Safra, Santander e Odebrecht, para falar sobre análise de dados na gestão de produtos.
Além disso, ela também é é coordenadora do nosso Curso de Product Analytics, que está em pré-venda e que tem como proposta ir muito além das métricas de Produto.
Confira aqui os principais aprendizados que ela compartilhou durante a conversa!
Os desafios de trabalhar dados junto aos times
Por atuar no contexto de Growth, que une pessoas de Marketing e Produto, Fernanda compartilhou que o trabalho costuma ser bastante intenso. Isso porque é preciso encontrar um equilíbrio entre os interesses, pensando que, no final das contas, os objetivos caminham juntos.
Em meio a tudo isso, é preciso considerar que nem todo mundo tem domínio dos dados, o que pode dificultar um pouco o processo. Nesse sentido, ela destacou que realmente o trabalho flui muito melhor quando a pessoa Product Manager sabe ao menos apontar os melhores KPIs e o que de fato estão buscando mensurar, identificando o que está funcionando e o que não está.
Como Product Manager podem abordar Business Analysts?
Em relação aos primeiros passos para iniciar uma conversa com o time de BA, Fernanda destacou que é importante ter uma visão de trabalho em conjunto, pensando que o profissional de Analytics está ali para dar suporte ao PM.
Mas ajuda bastante se o PM já apontar com clareza seus objetivos, por exemplo: “eu sei que com métrica X eu vou conseguir ter a visualização que eu quero” ou “estou lançando um produto e quero medir minha taxa de conversão nesse step aqui”.
Quando há isso bem definido, o Business Analyst pode se preocupar em calcular essas métricas e apresentá-las de forma que seja de fácil entendimento.
No entanto, nem sempre isso vai acontecer. Mesmo que a pessoa encarregada do produto entenda de métricas e KPIs, pode ser que ela ainda não tenha contexto suficiente para apontar esses objetivos.
Nesses casos, Fernanda destaca que a pessoa Business Analyst precisa ter uma certa flexibilidade, sabendo também que muitas vezes será preciso guiar os colegas a esse nível de clareza. Documentar processos é algo que pode ajustar bastante nessa contextualização, pois é possível consultar esse material e aprender mais sobre o que está sendo construído.
Quando não fazer um teste A/B?
“São raras as ocasiões nas quais você pode dizer que não deve fazer um teste A/B”, destacou Fernanda. O principal é não fazer disso um vício que leva a um esforço desnecessário, principalmente porque existem situações que realmente não exigem esse experimento.
A troca de uma logo na página do site é um exemplo disso. Por mais que, de fato, a alteração possa provocar algum tipo de reação no usuário, não é como se a logo e todo o trabalho de identidade visual da empresa pudessem ser alterados por conta de uma experiência na página do site. “Dependendo do esforço aplicado para executar o teste e analisar os resultados, não vale a pena”.
Como fazer um teste A/B em sites com pouco tráfego?
“Se você tem um tráfego muito baixo, você vai ter que mirar muito alto”. Com isso, Fernanda quis dizer que a incerteza é maior, porque você vai ter poucos usuários no teste.
Se mesmo assim o teste A/B ainda for a melhor solução, a indicação é optar por um experimento mais disruptivo e com grandes mudanças, que possa gerar um resultado de +50% ou +100%, por exemplo. Assim, mesmo com uma amostra menor, será possível tirar algum aprendizado da experiência.
Vale lembrar que a proposta do teste A/B é avaliar alterações pequenas e aprender de pouco em pouco com cada uma delas. Porém, é preciso saber que com um tráfego muito baixo isso não é possível. “Se você precisar alterar apenas um botão, por exemplo, nesse caso talvez você não consiga fazer isso por teste A/B, porque vai ser muito difícil que algo tão pequeno te proporcione resultados expressivos”.
Dessa forma, uma solução pode ser partir diretamente para as entrevistas com usuários. Isso porque selecionando algumas pessoas da base para uma conversa mais direta você pode coletar insights mais específicos, ainda que com uma amostragem bem menor.
Quando optar por uma pesquisa qualitativa?
“A gente tem que entender que quando temos o dado puramente cru, nem sempre vamos ter insights”, apontou Fernanda Monsó. Ou seja, você pode testar várias métricas e, ainda assim, não saber o motivo real dos usuários não estarem convertendo no seu site.
Sendo assim, quando os dados por si só não estão indicando o que precisa ser alterado, é preciso ir até o usuário e questionar diretamente o que não está funcionando.
Como lidar com a sazonalidade?
O primeiro ponto debatido nesse trecho da conversa é que a sazonalidade nem sempre é algo ruim. No caso da Black Friday, por exemplo, o pico de alteração nas vendas e no tráfego tende a ser positivo. Em cenários como esse, o ideal é que o time já esteja preparado, em termos de performance, para dar conta de toda a demanda.
“O segundo ponto é: se você quiser isolar totalmente os efeitos de sazonalidade, você pode rodar um teste A/B que vai te ajudar a comparar métricas e comportamentos em meses diferentes. Outra coisa é você simplesmente assumir que a sazonalidade existe e entender os impactos dela na sua campanha ou no produto, tirando aprendizados disso.” – Fernanda Monsó.
Marcell Almeida, CEO da PM3, compartilhou uma experiência própria, na qual a diversidade do público dificultava a execução do teste A/B (porque ora a segmentação dava muito certo, ora dava muito errado). Em relação a isso, Fernanda Monsó mencionou o conceito de Análise Cohort pensando em segmentação de canais e estratégias, entendendo como cada uma delas é impactada. Além disso, filtrar por campanha também é uma forma de neutralizar a sazonalidade, porque, independentemente da taxa de conversão, todos os usuários vieram da mesma origem.
Confira o conteúdo completo
Quer conferir na íntegra o nosso papo com a Fernanda Monsó? Ele faz parte da nossa série Mestres de Produto, disponível no YouTube. Para assistir, basta dar o play no vídeo:
Domine Product Analytics
Quer saber como definir e analisar dados de produto? O Curso de Product Analytics conta com mais de 20 horas de conteúdo gravado e já está em pré-venda por um valor promocional. Baixe agora a ementa completa e confira detalhes!
Leia também:
