1) O documento discute a importância de definir métricas para medir o desempenho de produtos digitais. 2) É apresentado um guia de 4 perguntas para ajudar a definir as métricas certas, cobrindo aspectos como o objetivo do produto, estágio de vida e jornada do usuário. 3) A métrica-guia ou "North Star Metric" é destacada como a métrica principal que orienta o produto em direção à sua visão.

1. Definindo métricas
para seu produto
Augusto Rückert | augusto@ruckert.com.br
Agosto 2020

2. Olá! Tudo bem?

3. Olá! Tudo bem?
Espero que todas
as pessoas estejam bem
#fiquem_em_casa

4. Augusto Rückert
Coordenador de Canais Móveis @ Sicredi
Aegro, Grupo Zap, OpServices TI
Foco em Gestão de Produtos Digitais
E com experiência em UX e Desenvolvimento Web
Organizador do Meetup de Produto
Comunidade de pessoas interessadas em gestão de
produtos digitais

5. http://bit.ly/mproduto

6. 1 uma rápida discussão
sobre produto
2 vamos entender um
pouco sobre métricas
3 alguns passos para definir
as métricas do seu produto
Nossa agenda

7. Do que estamos falando
quando falamos de
produto?
Talvez estejamos falando de coisas diferentes.
Parte 1

8. Entendo que existe uma
confusão semântica
quando falamos de
produto no contexto de
software/digital.

9. Entendo que existe uma
confusão semântica
quando falamos de
produto no contexto de
software/digital.
É o software? Mas não vendo isso… tecnologia é só suporte…
E-commerce é produto? Mas só uso ele para distribuição…
É o que vendemos? Mas os clientes não entendem isso…

10. Tendemos a ver o produto de modo
simplista e disciplinar.

11. somente aquilo que foi construído para resolver um
problema ou necessidade
(ex. software em funcionamento)
somente aquilo que é/pode ser vendido
somente o conjunto de benefícios percebidos por
usuários e clientes
Tendemos a ver o produto como

12. Não limite produto a ser
abordagem
tecnológica
abordagem
comercial ou
de negócios
abordagem de
marketing
somente aquilo que foi construído para resolver um
problema ou necessidade
(ex. software em funcionamento)
somente aquilo que é/pode ser vendido
somente o conjunto de benefícios percebidos por
usuários e clientes

13. Produto pode ser entendido como
abordagem
tecnológica
abordagem
comercial ou
de negócios
abordagem de
marketing
aquilo que foi construído para resolver um problema ou
necessidade
(ex. software em funcionamento)
aquilo que é/pode ser vendido
o conjunto de benefícios percebidos por usuários e
clientes

14. Por isso...
The Product Triangle
Dan Schmidt
PRODUTO
USUÁRIO NEGÓCIO
TECH

15. é contextual
não depende somente do cliente
é um meio de articular relações, tensões, vontades,
necessidades dentro da organização
é um modo de empacotar e orientar os objetivos
Nesse entendimento, produto

16. é contextual
não depende somente do cliente
é um meio de articular relações, tensões, vontades,
necessidades dentro da organização
é um modo de empacotar e orientar os objetivos
Nesse entendimento, produto
já temos esse
entendimento com
relação a produtos
de terceiros, só
estamos extrapolando
internamente essa
abordagem

17. um software on premise…
um app mobile…
uma colher…
uma funcionalidade…
um SaaS (Software as a Service), IaaS, PaaS…
um serviço…
um pacote de serviços/produtos…
um e-commerce…
um site institucional…
um blog de conteúdo…
um sistema interno (ERP, CRM, Service Desk da empresa)…
uma API…
Sendo assim, seu produto pode ser

18. Pensando no que foi dito,
você consegue definir
quais são os possíveis
produtos que existem
na sua empresa?

19. Pensando no que foi dito,
você consegue definir
quais são os possíveis
produtos que existem
na sua empresa? Ou o que
poderia ser tratado
como produto?

21. Vamos falar um pouco
sobre métricas
E onde queremos chegar com isso tudo.
Parte 2

22. Métrica é um sistema
ou padrão de medição.

23. Métricas
são ferramentas para medir algo
são um conjunto de números ou estatísticas que
medem resultados
são medidas ou utilizadas para medir algo

24. Métricas
servem para compor indicadores-chave (KPIs)
servem para compor resultados-chave (KRs)
não são um fim em si mesmas

25. Métricas
servem para compor indicadores-chave (KPIs)
servem para compor resultados-chave (KRs)
não são um fim em si mesmas
métricas são um
meio para algo
guarde isso na mente

26. Atributos da métrica
racional/regra
como funciona a métrica
valor resultante
o resultado da aplicação do racional
tempo de sensibilização/resposta
tempo para eu perceber o resultado de uma ação
distância do resultado do negócio
quanto o impacto na métrica afeta o negócio
🚦
🔢
⏳
⛓

27. Usuários ativos por mês (a.k.a. MAU)
Usuário que acessou o produto ao menos uma vez no
mês e executou pelo menos uma ação (CRUD)
100 mil usuários ativos em janeiro
tempo de sensibilização é curto pois consigo perceber o
resultado de ações executadas com relativa celeridade
bastante distante uma possível correlação com o
resultado do negócio como um todo ($$$)
Exemplo 1
🚦
🔢
⏳
⛓

28. Churn
Número de clientes que cancelaram no mês / número
de clientes no final do mês
0.5%
tempo de sensibilização é médio a longo, pois muitos
dos reflexos de ações somente são sentidos após meses
bastante próximo do resultado do negócio como um
todo ($$$)
Exemplo 2
🚦
🔢
⏳
⛓

29. Atributos da métrica
racional/regra
como funciona a métrica
valor resultante
o resultado da aplicação do racional
tempo de sensibilização/resposta
tempo para eu perceber o resultado de uma ação
distância do resultado do negócio
quanto o impacto na métrica afeta o negócio
🚦
🔢
⏳
⛓
há padrões, mas
devem fazer sentido
para o seu produto
alguns cuidados
devem ser tomados
capturar/gerar
continuamente é
crucial

30. Vamos tomar alguns cuidados
1) Tempo de sensibilização
2) Distância do resultado do negócio

31. Tempo de sensibilização
tempo

32. Tempo de sensibilização
métrica de tendência métrica de resultado
sensibilização
rápida
tempo
sensibilização
lenta
"leading"
mais simples
inferências ou suposições
fazemos proativamente
"lagging"
mais complexas
deduções
reagimos ao resultado

33. se afetarmos a métrica positivamente, a diferença é
percebida no resultado do negócio?
é importante mapear possíveis correlações entre
métricas mais distantes e métricas mais próximas
se eu aumento o número de leads qualificados gerados,
tendo a fechar mais vendas
Distância do resultado do negócio

34. se afetarmos a métrica positivamente, a diferença é
percebida no resultado do negócio?
é importante mapear possíveis correlações entre
métricas mais distantes e métricas mais próximas
se eu aumento o número de leads qualificados gerados,
tendo a fechar mais vendas
Distância do resultado do negócio
métricas que não tem correlação
mapeada com o resultado de negócio
tendem a tornar-se
métricas de vaidade

35. Quais métricas hoje você já olha na
sua empresa?

36. Quais métricas hoje você já olha na
sua empresa?
Há métricas de tendência
e de resultado?
Há métricas próximas e distantes?
Há causalidade entre elas?

38. Finalmente!
Vamos pensar em como
medir nosso produto
Não é fácil, mas é importante
Parte 3

39. Para definir boas métricas para um
produto, precisamos responder a
quatro perguntas.

40. Qual jogo você quer jogar?
Pergunta 1

41. Qual jogo você quer jogar?
Há três jogos principais
no qual seu produto
pode participar.
Pergunta 1

42. Três jogos
������
engajamento produtividade transação

43. Três jogos
������
engajamento produtividade transação
redes sociais, notícias, serviços de relacionamento

44. Três jogos
������
engajamento produtividade transação
gerenciadores de tarefas, CRMs, ERPs, app de anotações

45. Três jogos
������
engajamento produtividade transação
e-commerce, plataforma de pagamentos, marketplace

46. 🔧 🤑💖
engajamento produtividade transação
Três jogos
# de ações
# de usuários
frequência de uso
índice de resolução
espaço de disco ocupado
tempo economizado
# de amigos
# de likes
tempo de permanência
frequência de uso
tamanho da rede
# de postagens lidas
# de compras
volume de transações
conversões intermediárias
tempo até a compra
# de itens por compra
índice de recompra

47. Pode escolher mais de um jogo,
mas defina o mais importante.

48. Pode escolher mais de um jogo,
mas defina o mais importante.
Ele será o ponto de partida para as
métricas do produto.

49. Em qual etapa do ciclo de vida
está o seu produto?
Pergunta 2

50. Em qual etapa do ciclo de vida?
Pergunta 2
ciclo de vida do produto
introdução crescimento maturidade declínio

51. Em qual etapa do ciclo de vida?
Pergunta 2
ciclo de vida do produto
introdução crescimento maturidade declínio
frequência
frequência
+
amplitude frequência
+
amplitude
+
profundidade

52. Defina métricas que cubram
todas as dimensões
de utilização do produto

53. Dimensões a medir
amplitude
profundidade
frequência

54. Medir conforme a dimensão
frequência
os usuários usam nosso produto com que frequência?
amplitude
os usuários usam muitas coisas no nosso produto?
profundidade
os usuários usam as coisas de "ponta-a-ponta"?

55. Ferramenta de gestão de tarefas
frequência
# Usuários Ativos Diários (DAU - Daily Active Users)
amplitude
# Usuários/mês que cadastram tarefas, listas e alarmes
profundidade
# Usuários/semana que registraram alarmes customizados
Exemplo

56. Defina métricas que cubram
todas as dimensões
de utilização do produto

57. Defina métricas que cubram
todas as dimensões
de utilização do produto
Mas tenha um panorama mais amplo

58. Quais etapas da jornada do cliente
seu produto alcança?
Pergunta 3

59. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação

60. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação
há outras métricas importantes
para além da utilização

61. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação

62. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação

63. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação

64. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação

65. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação

66. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação
e mesmo que o produto não afete diretamente
uma etapa, é importante medí-la

67. Visualize o funil completo
funil pirata (AARRR)
Aquisição Ativação Receita Retenção Recomendação
esse é um funil SaaS,
adapte para a realidade
do seu produto

68. Onde o produto quer chegar?
Pergunta 4

69. Onde o produto quer chegar?
Para responder essa pergunta
consistentemente, é importante
termos uma visão do produto.
Pergunta 4

70. Onde o produto quer chegar?
a visão serve de apoio
inspiracional, clara, quantificável, gera resultado no entorno
encontre/defina uma métrica que sirva como guia
difícil, muito difícil
Pergunta 4

71. Métrica-guia

72. Métrica-guia
ou
Métrica foco

73. Métrica-guia
ou
Métrica foco
ou
North Star Metric

74. nos impulsiona para a visão
é um auxílio para chegarmos no destino
é uma métrica de tendência
conseguimos atuar e ver resultados rapidamente
um pouco distante do resultado de negócio
mas há um racional de como ela se relaciona
North Star Metric
🌟
🌟
🌟

75. Netflix: tempo de tela
Uber: número de corridas por semana
WhatsApp: número de mensagens enviadas
Amplitude: número de usuários que fazem query por semana
North Star Metric: casos famosos
🌟
🌟
🌟
🌟

76. Retomando as quatro perguntas:

77. Retomando as quatro perguntas:
1) Qual jogo você quer jogar?

78. Retomando as quatro perguntas:
1) Qual jogo você quer jogar?
2) Em qual etapa do ciclo de vida
está o seu produto?

79. Retomando as quatro perguntas:
1) Qual jogo você quer jogar?
2) Em qual etapa do ciclo de vida
está o seu produto?
3) Quais etapas da jornada do cliente
seu produto alcança?

80. Retomando as quatro perguntas:
1) Qual jogo você quer jogar?
2) Em qual etapa do ciclo de vida
está o seu produto?
3) Quais etapas da jornada do cliente
seu produto alcança?
4) Onde o produto quer chegar?

81. Importante observar,
não falamos de…

82. Não falamos de
pontos entregues sprint
número de funcionalidades/projetos entregues
lead time, cycle time
número de bugs resolvidos

83. pontos entregues sprint
número de funcionalidades/projetos entregues
lead time, cycle time
número de bugs resolvidos
Não falamos de
medir a produtividade da
equipe é importante!
Mas não são
métricas de produto

84. sobre eficácia
fazer as coisas certas para gerar resultado
sobre comportamentos do usuários
e como impulsionamos eles a resolverem seus
problemas e perceber valor nisso
sobre como o uso do produto impacta o
resultado de negócio
Métricas de produto são

85. Mas Augusto,
Então minha métrica é faturamento,
lucro, receita…
dinheiro ganho é minha métrica!

86. Mas Augusto,
Então minha métrica é faturamento,
lucro, receita…
dinheiro ganho é minha métrica!
Ok, mas também é pra todo mundo
(a não ser que você seja uma ONG)

87. As métricas de produto devem refletir
as alavancas que existem no seu
produto para impactar positivamente
o resultado do negócio.

88. E o time responsável,
deve ser capaz de atuar ativamente
na métrica de produto,
senão ela não serve.

90. Pensaram que tinha
acabado, né?
Serei rápido, prometo.
Parte 4

91. Algumas dicas
e pontos de atenção
Serei rápido, prometo.
Parte 4

92. Medir pode ser difícil
ter a métrica exige trabalho
o valor precisa ser capturado, às vezes processado, com
cadência e precisão suficiente
precisamos de estrutura e conhecimento para isso
bases de dados, analytics, BIs, etc.
escolha algo factível
comece com o que você consegue construir no seu time

93. Medir não é a resposta para tudo
medir é muito importante
mas a métrica só retrata a situação, não diz para onde ir
busque informações qualitativas também
resultados quantitativos falam muito sobre o que está
acontecendo, e pouco sobre por que acontece
métricas devem ser úteis
se uma métrica não tem serventia aparente, questione
por que medimos dessa forma

94. Medir é trabalho contínuo
métricas mudam
adeque as métricas com o passar do tempo
tenha guardado o racional da métrica
para reavaliar quando necessário
olhem continuamente para suas métricas
só assim conseguimos extrair o valor delas

95. Alguns livros sugeridos
Esse é gratuito!

96. E alguns artigos e vídeos
Using Data to Set Product Strategy
Justin Bauer
https://youtu.be/S8tuwvIi518
15 Metrics Every Software Product Manager Should Know
Brian de Haaff
https://blog.aha.io/software-product-management-metrics/
Empower Product Teams with Product Outcomes, Not Business Outcomes
Hope Gurion
https://www.producttalk.org/2020/05/product-outcomes/

97. Obrigado!
Augusto Rückert
e-mail: augusto@ruckert.com.br
twitter: @ruckert
linkedin: augustoruckert
Agosto 2020