Diversas pessoas me perguntam como medir o sucesso de um produto interno, afinal é bastante escasso o conteúdo de Product Management para produtos internos. Normalmente os conteúdos espalhados pela internet são sobre startups ou produtos que têm ciclos de feedback muito claros, como os B2C ou B2B.
O problema é que as pessoas ficam perdidas nos pequenos detalhes que produtos internos possuem e, apesar de ter uma aula no Curso de Product Discovery da PM3 focada neles, sinto que o mercado inteiro pode se beneficiar de um artigo falando sobre como medi-los.
Esse artigo é baseado nas minhas experiências na VivaReal, Seek/Catho, EasyTaxi. Já cuidei de diversos produtos internos – desde produtos que integravam com clientes externos e tinha uma parte interna para log e captura de erros, bem como produtos que eram utilizados pela área comercial e atendimento. Juntei nesse artigo essas experiências, adicionando pesquisa e feedbacks de colegas da área. Espero que consiga ajudar você a fazer um melhor trabalho com seu produto interno.
Não esqueça, mesmo sendo um produto interno você tem que pensar no usuário final – mesmo que indiretamente. Sua missão como PM é ser customer-centric e seu usuário final nunca vai ser somente uma área interna, afinal até mesmo essa área deve possuir algum objetivo que está conectado com o usuário final da empresa.
“Um bom Product Manager de produtos internos será um bom Product Manager de qualquer outro tipo de produto. A grande diferença é que você precisa não só focar no problema, mas também entender de uma maneira holística os processos e fluxos de trabalho de quem usa o seu produto internamente – algo que acaba demandando umas habilidades levemente diferentes“
O grande foco de quem gerencia produtos internos
Enquanto produtos de uso externo geralmente focam em retenção, satisfação, receita e tudo mais; um produto interno deve focar em otimização de processos, sucesso nas tarefas, taxa de uso, entre outros. Sempre que me perguntam como medir o sucesso de produtos internos eu recomendo estudar sobre o framework HEART. Mas comecei a perceber que isso não é suficiente – o próprio HEART é muito focado em produtos “externos” e métricas de UX, e eu via que as pessoas continuavam perdidas.
Por causa disso resolvi desenvolver uma adaptação do HEART focada em produtos internos – estou batizando de “HEART interno”. Assim como um produto novo, esse framework é um experimento e conto com você para me dar feedbacks para que eu possa melhorá-lo ao longo do tempo. Nesta proposta de framework existem duas mudanças – sai “Engajamento” e entra “Enabling capacities’‘. Sai “Retenção“, entra “Retorno sobre investimento“. A ideia foi remover essas métricas por serem muito orientadas a produtos externos e substituir por algo mais próximo da realidade do produto interno.
Mas e se o seu produto interno for focado em redução de custos? E se for uma ferramenta interna focada em aumentar alguma métrica de receita?
Conversando com o Renato Cairo, ele me lembrou que dependendo da situação o produto interno poderia não ser focado em economia de custo. Ele deu, como exemplo, um produto que cuidou durante seu período na Creditas. Ele me contou que tinha um monte de ferramenta de apoio a consultores comerciais e que a ferramenta interna estava diretamente alinhada com o resultado de negócio da Business Unit – que, no caso, era aumentar o número de conversões das vendas. Por se tratar de “ROI – Return of Investment”, você começa a ter duas alavancas, fazer mais com o mesmo investimento, ou fazer o mesmo com menos investimento. Dentro de objetivos você pode incluir Revenue Increase ou Reduction of Spending.
Ao ser PM de um produto interno a parte mais importante é conseguir superar o desafio de vincular ele à meta real de negócios. Frequentemente, vejo os PMs internos escolhendo coisas como downtime ou bugs como métricas principais. Esses KPIs são péssimos e você nunca conseguirá mostrar a importância do seu produto. O produto interno precisa causar um grande impacto no negócio, caso contrário talvez ele nem precisasse existir.
Abaixo vou demonstrar através de três exemplos para ilustrar como aplicá-lo em ferramentas internas e ajudar você no dia a dia. Quero seguir o mesmo padrão dos cursos da PM3 – teoria e exemplos sempre! Afinal, casa de ferreiro, espeto de ferro ⚒️.
Reforço que esse framework é um “work in progress” e eu adoraria receber feedbacks de quem tentou usá-lo. Ele pode sofrer melhorias ao longo do tempo. Estou experimentando com essa proposta e quero que você fique à vontade para me enviar feedbacks.
Exemplo 1 – Easy Taxi
Sistema de backoffice dos taxistas
Contexto do produto: Pessoas usavam para cadastrar taxistas bem como rastrear corridas, verificar incidentes, emitir reembolsos etc.
Exemplo 2 – VivaReal
Produto de suporte para a integração via Feed (XML) com os anunciantes (imobiliárias e grandes corretores)
Contexto do produto: Apesar do produto como um todo ter a parte externa, que era a integração com outros softwares, existia um grande pedaço que era um backoffice onde a equipe de suporte verificava todos os logs, antecipava correções antes do cliente notar e também fazia cadastro de novos clientes e integrações. É desta parte interna que me baseei para montar o exemplo abaixo,.
Abaixo explico a definição de cada tipo de métrica:
- Happiness (Felicidade): uma medida de satisfação e / ou sucesso do usuário. Isso pode ser atitudinal ou comportamental.
- Enabling capacity (Habilitando capacidade): quanto o seu produto consegue melhorar a capacidade de entrega de quem o usa.
- Aqui vale refletir o que seu produto está proporcionando para os usuários internos fazerem que antes eles não conseguiam fazer sozinhos.
- Importante ressaltar que é algo diferente do Task Success – pois essa parte do framework é focada em medir quão mais fácil fazer uma tarefa ficou, tipo quando você automatiza alguma parte do processo ou reduz a quantidade de ferramentas usadas para alcançar algo.
- Adoption (Adoção): ela é essencial para ver qual o seu nível de sucesso em fazer usuários internos usarem novos fluxos ou até mesmo novos produtos internos pois isso tem impacto direto no seu trabalho e no que estão acostumados a fazer.
- ROI – Return of Investment – Aqui você pode usar duas alavancas – Redução de gastos ou Aumento de receita: O quanto de economia o seu produto gera ou o quanto de receita ele consegue aumentar.
- Calcular o custo das equipes em tarefas repetitivas é o mínimo. Não é algo que você deve acompanhar diariamente e sim um KPI útil para conseguir buy-in e justificar um racional. Você também pode incluir o custo de oportunidade em não ter a equipe fazendo outras coisas. Esse artigo fala como calcular custos do customer support e serve como ponto de partida.
- Outro ponto importante é ver como o seu produto está aumentando a receita ou taxa de conversão já que ele está tornando os usuários internos mais eficientes no seu trabalho diário.
- Task Success (Sucesso da tarefa): foco em usabilidade. Quão eficiente e rápido o usuário consegue completar suas tarefas.
- Essa métrica junto com adoption são as que você deve acompanhar mais no dia a dia.
- Importante ressaltar a diferença dessa mérica com o Enabling Capacity – o foco da “Task success” é quantas vezes você consegue fazer um processo ponta a ponta com sucesso.
Como conseguir encontrar a minha métrica ideal
Só jogar os frameworks, dar dois exemplos e falar “faz aí” pode não ser o suficiente para todos. Até mesmo porque algumas métricas podem ser parecidas como a Enabling Capacity versus a Task Success. Então vou tentar dar mais uma mãozinha.
Tenha em mente que cada empresa e produto possuem contextos diferentes. Use esses exemplos para se inspirar e adapte-os para sua realidade!
No próximo exemplo, trago um pouco do contexto do Nubank com uma árvore de métricas para você usar como base para identificar as métricas do seu produto interno que impactam o negócio.
Exemplo 3 – Nubank
Tribo de Customer Experience
A tribo de plataforma de Customer Experience (CX) tinha um grande objetivo no ano de 2020: aumentar a eficiência sem diminuir a satisfação dos clientes com o atendimento do Nubank. O primeiro passo foi representar estes dois conceitos (eficiência e satisfação) em termos de métricas:
- Eficiência: custo médio de atendimento por cliente do Nubank
- Satisfação: CSAT (% de clientes com nota máxima [encantado], na pesquisa de satisfação sobre o atendimento)
Com estas duas definições, foi possível começar a quebrar estas métricas em sub métricas mais detalhadas:
Olhando o pilar de eficiência, por exemplo, podemos definir 3 métricas complementares que influenciam na métrica principal de custo de atendimento por cliente:
- Quantidade média de atendimentos por cliente: Quanto menor esta métrica, maior a eficiência.
- Quantidade média de atendimentos por slot (de atendimento): onde este slot representa 1 hora de trabalho de um atendente (um Xpeer no caso do Nubank). Quanto maior esta métrica, maior a eficiência.
- Custo médio por slot (de atendimento): Quanto menor esta métrica, maior a eficiência.
Cada uma destas métricas, pode ser ainda quebrada em várias outras métricas e a árvore vai tomando forma. Como PM, para aumentar a eficiência, você precisa priorizar em qual dos itens da árvore você vai focar, mas sabendo que se mover esta métrica vai impactar na principal.
Com uma árvore parecida com esta você poderá justificar a razão pela qual algo deve ser priorizado. Ainda assim, nem todo o produto interno vai ser fácil de correlacionar com tanta facilidade as métricas. Seja porque você não tem dados confiáveis, seja porque você ainda precisa entender mais sobre o negócio ou seja porque você está só começando. O importante é estar em constante busca destes KPIs – experimente várias métricas e tente ver quais delas você consegue, de fato, mexer o ponteiro. A partir da mexida no ponteiro você começa a encaixá-las na árvore de métricas.
A maneira mais fácil de começar a medir o seu produto interno é através das métricas de adoção e satisfação (happiness). Com essas informações, você conseguirá decidir os próximos passos do seu produto e até traçar uma estratégia com bastante embasamento. Não desanime se estiver faltando dados ou informação, comece dessa maneira e vá iterando deixando o seu produto interno cada vez mais “produtizado”.
Para obter essas métricas iniciais você precisará ter fortes relacionamentos com as equipes que usam (ou que deveriam) usar o seu produto interno. Caso você ainda não esteja coletando esses dados, marque uma conversa para vocês pensarem juntos numa forma de iniciar essa coleta. Satisfação, adoção e task success são fáceis de medir e depois de um tempo você conseguirá prevê-las com mais eficiência.
Confesso não ser um grande fã de frameworks pois as pessoas possuem a tendência de tratá-los como “bala de prata” para solucionar problemas complexos. Como disse no início do texto, esse framework é um “Work in progress” e ele está longe de ser essa tal bala de prata. Tente usá-lo, pense nas métricas, correlacione com a árvore de métricas da sua empresa e faça o seu trabalho de PM onde você precisa experimentar, iterar e melhorar na próxima. Use este framework como qualquer outro, apenas para ser um pontapé inicial. Eventualmente você não precisará de algo assim para mandar super bem em produtos internos!
Pense focado no objetivo e vá além do escopo pré-definido
Para finalizar, eu deixo uma provocação. Se você cuida de algum produto interno, tente pensar nele sem uma visão limitada do escopo atual, foque apenas no objetivo.
Por exemplo, se você cuida de um produto interno para a área comercial, o seu foco é ajudar os clientes a contratarem o seu serviço, certo? Fazer com que as equipes comerciais vendam mais é somente uma forma disso – em tese, você teria outras diversas formas de fazer o cliente contratar o serviço (talvez até mesmo sem a equipe comercial).
O que vejo acontecer muito é que as pessoas que atuam com produtos internos se limitam ao seu escopo e não pensam em nada além da própria ferramenta. Muitas vezes a criação de um squad de ferramenta interna foi algo que simplesmente aconteceu por necessidade e ficou lá. Uma pessoa de produto pode ser quem ajuda a resolver este problema ao trazer um olhar customer-centric. Tal olhar pode permitir novas apostas que não precisam atuar diretamente no produto interno, mas simplesmente em qualquer outra iniciativa alinhada com o objetivo principal da empresa ou unidade de negócio.
Já vi algumas empresas conseguirem se organizar de uma maneira genuinamente inteligente onde os squads não olhavam para a ferramenta e sim para o objetivo. Dessa maneira as equipes não tinham uma forte distinção de interno e externo e então cada squad tinha autonomia para decidir como melhor alcançar seus objetivos. Se você conseguir realizar esse tipo de mudança na sua organização, o framework que eu propus provavelmente deixará de fazer sentido, pois você estará muito mais focado no usuário final do que numa ferramenta. Mas, até lá, espero que o framework ajude você de alguma forma.
Agradecimento especial ao Renato Cairo que, além do exemplo da Creditas, fez esse artigo evoluir muito desde o primeiro rascunho. Priscilla Lugão por ajudar na revisão do texto e no design do modelo do framework, e também outro especial ao Rodrigo Iannuzzi que me ajudou a relatar a estrutura de CX do Nubank.
Também agradeço pessoas que deram feedbacks e sugestões ao longo da escrita: Artur Motta, Bruno Coutinho, Camila Duarte, Efrem Filho, Gabriel Werlich, Khyani Miranda, Renata de Lima, Priscilla Lugão, Zalan Lima.
Referências:
- An Introduction to Internal Product Management
- Internal Product Management
- Internal Product Management Can Stop Your Growth
- Como utilizar o Framework HEART para melhorar suas métricas
- We’re Evolving Our Product’s North Star Metric. Here’s Why.
Para saber mais sobre as melhores métricas para o seu negócio, confira estes conteúdos gratuitos: