Apdex é um padrão da indústria de software para medir a satisfação dos usuários com o tempo de resposta de aplicativos e serviços da web por meio de métricas simplificadas e que podem ser entendidas por qualquer pessoa. Ele é medido através da análise do tempo de resposta de uma requisição com base em um limite definido, convertendo muitas medidas em um único número em uma escala uniforme de 0 a 1.
Como o Apdex funciona
O Apdex mede a proporção de requisições com tempos de resposta satisfatórios para tempos de resposta insatisfatórios. O tempo de resposta de uma requisição é medido desde o momento em que a ação é realizada pelo usuário até a sua entrega de volta ao solicitante.
Por exemplo, o tempo de respostas do acesso à um site é medido desde o tempo no qual o usuário pressiona “Enter” na barra de endereços do navegador, até o momento em que a página é exibida para o usuário.
Para que o Apdex seja calculado, categorizamos o tempo de resposta de uma requisição em uma dentre três possibilidades:
- Satisfatório: tempos de resposta rápidos o suficiente para satisfazer o usuário, que pode se concentrar totalmente no trabalho em questão com um impacto negativo mínimo em seu processo de pensamento;
- Tolerável: tempos de resposta mais longos que os satisfatórios, excedendo o limite em que o usuário percebe quanto tempo leva para interagir com o sistema e potencialmente prejudicando sua produtividade. As respostas nesta zona são menos do que ideais, mas por si só não ameaçam a usabilidade do aplicativo;
- Frustrante: tempos de resposta tão longos que um usuário casual provavelmente abandonará um curso de ação e desistirá da tarefa que está tentando executar.
A partir destas definições e um conjunto de amostras coletadas do ponto no qual se quer medir, calculamos o Apdex através da fórmula:
Um exemplo prático
Vamos dizer que você tem um aplicativo que recebe 400 requisições em 3 minutos, e que o limite para satisfatório é definido como 500ms. Das 400 requisições, 270 solicitações foram tratadas em até 500ms, o que as qualifica como satisfatórias; 70 solicitações foram tratadas entre 500ms e 2 segundos, o que as coloca na faixa das toleráveis; por fim, as 60 solicitações restantes não foram tratadas adequadamente ou levaram mais do que 2 segundos e, portanto, são consideradas frustradas. Com isso, temos:
Interpretando o Apdex
Como dito no início, o Apdex é representado como um número uniforme entre 0 e 1. Mas o que isso significa? Bem, novamente isso depende: da sua indústria, público-alvo e o problema que você está resolvendo, e de vários de outros fatores. Mas de maneira geral, a classificação padrão do Apdex por boa parte dos softwares de monitoramento da indústria segue a tabela abaixo:
No exemplo anterior, o Apdex de 0,76 seria apenas razoável: um grande ponto de atenção para investigações sobre o motivo de tantas requisições serem atendidas em um tempo fora do ideal.
Utilizando o Apdex
A primeira coisa que é preciso fazer para calcular o Apdex é decidir onde ele será medido. E isso pode ser feito em vários pontos (mais de um, muitas vezes) dependendo da sua intenção — ter uma noção mais geral da experiência do usuário, ou mais específica em algum fluxo do seu produto.
Digamos que você desenvolva uma grande atualização para o seu fluxo de cadastro que exija uma validação no back-end. Você pode medir o Apdex nesse ponto para monitorar a experiência com o novo fluxo (e eventualmente descobrir que, apesar de não ter implantado nenhuma alteração funcional em sua atualização, ela está causando atrito entre seus usuários devido ao tempo de resposta da validação no back-end).
Em seguida, é preciso definir o que “satisfatório” significa. A escolha de um bom limiar te dará fidelidade na sua pontuação do Apdex, e refletirá com uma boa precisão a experiência do usuário. Mas como definir esta valor? Bem:
- Se você tem um aplicativo que acabou de lançar e ainda não tem dados sobre o seu tempo de resposta, na realidade você pode usar qualquer valor como limiar para satisfatório. Esse tempo deve ser coerente com as expectativas que os seus usuários têm para completar a ação no seu produto;
- Se você tem um aplicativo que está funcionando há um tempo em um estado estável e sente que ele tem um desempenho aceitável, você pode começar definindo seu limiar de satisfatório para de maneira a produzir um Apdex de 0,95 (o que é bastante ambicioso). Quer ter mais espaço para melhorias? Use uma linha de base de 0,92 ou 0,90.
Derivados dessa definição, obtém-se automaticamente o limiar de tolerável, que é, por definição, 4 vezes o valor escolhido como o limiar de satisfatório. Isso pode parecer arbitrário, mas este valor provém na verdade de inúmeros estudos com usuários em diversos contextos.
Finalmente, o último passo é implantar uma forma de medir o tempo de resposta das suas requisições e coletar as suas amostras. E embora teoricamente você possa fazer isso manualmente, na prática, isso dificilmente irá acontecer: o Apdex está presente na maioria das principais ferramentas de monitoração de aplicações (ou APMs) como o Dynatrace, Datadog e, claro, o NewRelic, além de várias bibliotecas que podem ser implantadas no código da sua aplicação. Aqui vale a conversa com o seu time de Engenharia, pois com certeza eles encontrarão a melhor solução.
Conclusão: uma métrica a ser monitorada
O Apdex é muito valioso por traduzir em uma perspectiva de Produto uma métrica tipicamente do universo de Engenharia e, com isso chamar a atenção para aspectos que afetam a experiência dos usuários antes que eles virem um problema.
Além disso, vale dizer que o valor do Apdex não é obtido somente avaliando esta métrica ocasionalmente, mas principalmente quando acompanhando-a em tempo real. Por fim, o Apdex também te permite acompanhar a evolução da sua aplicação enquanto ela se torna mais complexa, preservando a qualidade da experiência do seu produto na forma de objetivos de performance do sistema.
Para saber mais sobre Apdex:
- A guide to Apdex score: Calculations, improvements, and more · Raygun Blog
- How to choose Apdex T: the final word | New Relic
- The Apdex Users Group
Domine Product Analytics
Quer ir além das métricas com o seu produto? A PM3, escola referência em Produto no Brasil, te convida a conhecer o Curso de Product Analytics. Essa é sua chance de aprender a lidar com todos os tipos de dados de Produto, por meio de aulas aprofundadas com profissionais qualificados e cases reais de empresas brasileiras.
Você vai saber como acompanhar dados de forma eficiente para embasar as suas decisões e gerenciar stakeholders, conquistando mais confiança para sua carreira. E claro, você terá mais segurança para conversar com especialistas, orientando análises cada vez mais direcionadas.
Leia também:
