Um dos valores da PM3 que seguimos para cada decisão que vamos tomar é “Casa de ferreiro, espeto é de ferro”, nós ensinamos aos nossos alunos e alunas através dos nossos cursos, as melhores práticas de produto e dentro da Equipe PM3 não seria diferente, nós aplicamos no nosso dia a dia as mesmas práticas.
Uma das experiências que proporcionamos a nossos alunos e alunas é realizar a postagem de dúvidas e exercícios propostos nas aulas e o local que reunia essas informações era o Slack da PM3 porém, havia um problema: as mensagens eram apagadas pela própria plataforma após um período de tempo. Essa é uma experiência que consideramos muito importante na jornada dos alunos e alunas que estudam com a gente, ter um lugar onde é possível tirar suas dúvidas e compartilhar seu conhecimento com as demais pessoas que estão nesse espaço e com isso decidimos mudar.
Após muita pesquisa, encontramos a plataforma perfeita para hospedar a nova Comunidade PM3 e em fevereiro de 2021 lançamos oficialmente esse espaço, com o objetivo de ter um local de troca entre nossos alunos, alunas e alumni, conectando nosso propósito de tornar o Brasil referência em Product Management. E melhor ainda, com a nova comunidade, conseguimos resolver o problema que tínhamos de comentários apagados sendo agora, todas as postagens vitalícias.
Como uma nova plataforma que proporciona inúmeros benefícios, nós tínhamos os seguintes questionamentos:
- Como podemos conectar a experiência de assistir uma aula com a nova comunidade, que reúne todo o compartilhamento de comentários e tem maior espaço de troca?
- Como facilitar o acesso dos nossos alunos e alunas a essa comunidade, para realizar comentários quando estiver assistindo uma aula?
Para solucionar nossos questionamentos, realizamos o seguintes passos:
- Começar nosso processo de discovery para entender como seria realizada a integração.
- Com as informações do discovery, realizar um teste de usabilidade para compreender qual seria a melhor solução.
Processo de descoberta
Após finalizar o discovery, descobrimos que haviam dois tipos de integrações que conectam os comentários realizados em cada aula à plataforma de player das aulas e sua implementação era de baixa complexidade. Com essas duas possibilidades nós optamos pela realização de um teste de usabilidade para testar a interação nas duas opções, para entender qual delas traria a experiência mais fluida para comentar as aulas.
Estruturando o teste de usabilidade
Para começar o planejamento, assisti algumas aulas que apresentam as melhores práticas sobre teste de usabilidade abordadas no Curso de Product Discovery e comecei a idealizar como seria todo o processo, para isso estabeleci as seguintes etapas:
Definir os objetivos do teste e as perguntas que queríamos responder:
- Identificar qual o melhor local para inserir a área de comentários da nova comunidade para que os alunos consigam expor suas dúvidas e sugestões sobre a aula.
- Compreender como os alunos realizarão o fluxo de comentar em uma aula e quais as considerações deles, a fim de identificar se o fluxo é compreensível e intuitivo.
- Realizar o mapeamento de dúvidas e percepções sobre os comentários das aulas, com o objetivo de entender quais oportunidades de melhoria na experiência podemos ter.
Definir como seria o formato do teste:
- O teste de usabilidade foi realizado por vídeo-chamada com duração de 20 minutos e 14 alunos e alunas participantes.
- Para metade dos participantes foi exibido um tópico de comentário abaixo do vídeo player e para a outra metade foi apresentado um botão que abre a caixa de comentários dentro da Comunidade PM3.
Estruturar as missões que seriam apresentadas aos alunos e alunas:
- Selecionar uma aula dentro de um dos cursos da PM3.
- Como você faria para postar uma dúvida, quando está vendo o curso?
- Mostre o lugar onde você vai realizar a postagem de sua dúvida
Elaborar as perguntas finais para aprofundar nas percepções dos participantes:
- De forma geral, o que você achou da solução?
- O que você achou fácil e difícil no processo?
- Qual foi a sua percepção de realizar o login na plataforma?
- Na sua opinião, você conseguiu encontrar e entender o processo de postar uma dúvida/sugestão?
Compilação e análise de resultados
Após a realização do teste, realizamos uma sintetização sobre as percepções dos alunos e alunas que participaram do teste para definir qual dos dois cenários apresentados seria o ideal e para ajudar nessa definição utilizamos os seguintes critérios:
- Findability: Usuários conseguem encontrar facilmente o conteúdo ou funcionalidade que eles assumem que está presente no site.
- Discoverability: Usuários conseguem encontrar novos conteúdos ou funcionalidades que eles não estavam cientes antes de acessar o site.
- Effectiveness: A precisão e integridade com que os participantes alcançam os objetivos especificados.
Para cada cenário, os critérios foram aplicados e reunidos em um gráfico ilustrando o quanto cada missão tinha sido bem sucedida ou não.
Cenário 1: Tópico de comentários
⚠ Findability: Foi possível encontrar o espaço de comentários da aula, com muitos pontos de atenção.
❌ Discoverability: Encontraram com muita dificuldade a caixa para escrever seu comentário.
⚠ Effectiveness: As missões em sua maioria foram concluídas com pontos de atenção ou falhas.
Realizamos o teste desse cenário internamente e percebemos que esse cenário tinha muitos pontos de atenção. Optamos mesmo assim, realizar o teste de usabilidade para entender se nossas suposições eram válidas ou não. Durante a execução, de fato que nesse cenário, os participantes tiveram mais dificuldade em encontrar o local para realizar seu comentário, sendo esse passo fundamental na experiência que queríamos proporcionar.
Cenário 2: Botão para nova comunidade
✅ Findability: Foi possível encontrar o espaço de comentários da aula, com facilidade.
⚠ Discoverability: Encontraram com pouca dificuldade a caixa para realizar os comentários.
✅ Effectiveness: As missões em sua maioria foram concluídas com pontos de atenção sem nenhuma falha.
Para esse cenário estávamos mais confiantes já que em testes anteriores realizados pela equipe de produto, apresentou um fluxo mais fluido. Realizamos o teste desse cenário com os participantes e o resultado confirmou o que tínhamos como suposição, o processo de encontrar o local para realizar um comentário foi facilmente encontrado comparado com o cenário anterior.
Resultado Final
Com base nos testes que realizamos com nossos alunos e alunas, percebemos que a solução ideal seria o botão de comentar na Comunidade PM3 e as percepções dos participantes foram as seguintes:
- Ter a comunidade integrada é bom pois, aproveita pra tirar a dúvida e ir olhando os outros materiais enquanto escuta a aula;
- Ter a opção de dar like para mostrar que mais pessoas tem uma dúvida em especifico;
- Tópicos estão bem organizados e ajudam a encontrar onde comentar.
Compartilhando resultados com a empresa
Antes de disponibilizarmos a nova versão na plataforma de vídeos, escrevi um documento com a para ser compartilhado com toda a empresa. É muito importante alinhar e envolver outras áreas no que está acontecendo no seu produto ou serviço, uma sugestão de pontos importantes a se abordar em seu documento ou apresentação:
- Defina o objetivo que você tem ao compartilhar o resultado com as outras pessoas da sua empresa.
- Explique o processo que você realizou no teste, desde a definição dos participantes até como o teste foi conduzido.
- Apresente suas descobertas e aprendizados para que o conhecimento que você adquiriu ao conversar com seu usuário.
- Mostre os resultados do teste realizado e quais serão ou foram os próximos passos, sinalizando se precisará do suporte de algum dos participantes na execução da solução definida.
Gostou do conteúdo? Tem muito mais esperando por você!
Aula gratuita – O que é um teste de usabilidade?
Você sempre quis saber como são nossas aulas na prática? Com esta aula gratuita do nosso Curso de Product Discovery, você vai aprender os conceitos fundamentais de usabilidade e como analisá-la em seu Produto segundo as avaliações heurísticas (técnicas) e testes de usabilidade. Assista agora essa super aula da Elisa Volpato!
