Nesta palestra, vamos propor diversos caminhos para os times de produtos repensar estratégias para validar hipóteses frente aos desafios diários do negócio. Mostraremos também um compilado de diversas possibilidades simples para seu time começar a praticar hoje a aproximação mais empírica de problemas nos seus produtos/serviços.
3. Tentativa de oferecer uma solução possível mediante
uma proposição, ou seja, uma expressão verbal
suscetível de ser declarada verdadeira ou falsa.
Hipóteses
• fonte: GIL, A.C. 2002
6. Níveis de HipótesesHipótese de Ocorrência
Hipótese Empírica
Hipótese Plausível
Hipótese Convalidada
“Nosso produto pode vender mais se ele for verde.”
“Nosso produto pode vender mais se for verde,
porque é a cor da tendência da estação.”
“Nosso produto pode vender mais se for verde,
porque pelos últimos dados dos nossos clientes,
boa parte segue a tendência da estação.”
“Nosso produto que segue a tendência da estação
(atualmente verde), possui vendas acima da média
segundo os dados históricos (período consistente).
Os clientes entrevistados esperam que lancemos
um produto nessa linha de atuação.”
7. • LAKATOS e MARCONI, 1995.
Atributos básicos
Ter um enunciado, ser uma sentença declarativa.
Ter uma relação entre duas ou
mais variáveis (parâmetros).
Ser passível de comprovação por processos
de observação e/ou experimentação
9. O que vamos testar?
Fonte adap.: Learning Loop
Quero validar
o problema
O problema vale a pena resolver?
Quero validar
o produto
O produto resolve o problema?
Quero validar
o mercado
Construímos algo que alguém quer?
Quero validar a
intenção de pagar
Estão dispostos a pagar por isso?
10. O que vamos testar?
Validar Problema
• Cold Calling
• Comprehension Test
• Contextual Inquiry
• Customer Service Logs
• Closed-Ended surveys
• Crowdsourcing
• Family Tree
• Fake Door Testing
• Five People who are in
• Five Second Test
• Find the Watering Hole
• Focus Groups
• Move in With the Customer
• Read App Reviews
• Write Down you Concept
Validar Produto
#uxresearch #totAgile
• A/B Testing
• Beta Launch
• Clickable Prototype
• Micro Surveys
• Min. Marketable Product
• Multivariate Testing
• First Click Testing
• User Testing
• Offer a Sample
• Paper Prototype
• Pretend to Own
• Remote User Testing
• Single-feature Product
• Spoof Landing Pages
• Takeaway Test
• Try it Yourself
• Working Prototype
• Wizard of Oz
Validar Mercado
• Concierge
• Conjoint Analysis
• Dry Wallet
• Feature Stub
• High Hurdle
• Physical Before Digital
• Product-Market Fit Survey
• Provencial
• Run Test Ads
• Sales Pitch
• Trends Analysis
Validar Intenção
• Classified Posting
• Collect Pre-orders
• Contract
• Crowdfunding
• One Night Stand
• Premium Feature
• Sales Pitch
• Sell the Future
11. Test Card
fonte adapt.: Strategyzer
TEST CARD
Nome do produto/serviço
Pessoa responsável
Data
Dias/Semanas
PASSO 01: HIPÓTESE
Acreditamos que
PASSO 02: TESTE
Para aferir isso, nós vamos
PASSO 03: MÉTRICA
E vamos medir
PASSO 04: CRITÉRIO
Nós estaremos certos se
Experimento que
será montado para
validar/invalidar a
hipótese.
Descrever os
pontos da hipótese
que será testada.
O que vai ser
medido no teste
(quali-quanti).
Definir os critérios
de sucesso para
validar/invalidar
a hipótese
12. Exemplo [Produto Financeiro]
Os clientes estão apresentando baixa recorrência na
transferência de valores. Acreditamos que as taxas para valores
baixos estão contribuindo para esse cenário e reduzindo nosso
engajamento de uso da plataforma.
#SGRio2019 #totAgile
13. TEST CARD 01
Plataforma Financeira
PASSO 01: HIPÓTESE
Acreditamos que
PASSO 02: TESTE
Para aferir isso, nós vamos
PASSO 03: MÉTRICA
E vamos medir
PASSO 04: CRITÉRIO
Nós estaremos certos se
27/06/2019
as taxas para valores baixos
estão contribuindo para o cenário de baixa
recorrência de uso reduzindo o engajamento
fazer uma observação
contextual com clientes no ato de transferência
para checar a percepção das taxas no ato.
Flávio Nazário 3 dias
o número de vezes que são citadas
as taxas de transferência como parte do problema.
70% dos nossos
12 participantes citarem as taxas como empecilhos.
TEST CARD 02
Plataforma Financeira
PASSO 01: HIPÓTESE
Acreditamos que
PASSO 02: TESTE
Para aferir isso, nós vamos
PASSO 03: MÉTRICA
E vamos medir
PASSO 04: CRITÉRIO
Nós estaremos certos se
27/06/2019
as taxas para valores baixos
estão contribuindo para o cenário de baixa
recorrência de uso reduzindo o engajamento
prototipar uma nova
interface de transferência com e sem evidência das
taxas na plataforma e mostrar aos participantes.
Flávio Nazário 5 dias
A quantidade de comentários
sobre as taxas e/ou sua ênfase no ato ao transferir.
70% dos nossos
12 participantes citarem as taxas como empecilhos.
14. Exemplo [SaaS]
As novas features lançadas têm alto potencial pelas pesquisas
recentes. Estimamos que é possível aumentar em 20% o preço
da plataforma que os nossos clientes estarão dispostos a pagar.
#SGRio2019 #totAgile
15. TEST CARD 01
Plataforma SaaS
PASSO 01: HIPÓTESE
Acreditamos que
PASSO 02: TESTE
Para aferir isso, nós vamos
PASSO 03: MÉTRICA
E vamos medir
PASSO 04: CRITÉRIO
Nós estaremos certos se
27/06/2019
podemos aumentar em 20%
o preço da nova seção na plataforma que os clientes
estarão dispostos a pagar.
elaborar e disparar
um e-mail para um recorte da base onde os
clientes vão poder contratar a “feature exclusiva”.
Flávio Nazário 3 dias
o desempenho de abertura e adesão
da campanha em termos de cliques.
Conseguirmos uma taxa
de cliques (CTR) de pelo menos 2% (número de
cliques dividido pelo total de impressões do e-mail).
16. Exemplo [E-Commerce]
Nosso funil de conversão cai bruscamente nas páginas internas,
mesmo com o tempo de permanência alto. A página de produto
será mais eficiente se as informações principais forem mais
claras e objetivas.
#SGRio2019 #totAgile
17. TEST CARD 01
E-Commerce
PASSO 01: HIPÓTESE
Acreditamos que
PASSO 02: TESTE
Para aferir isso, nós vamos
PASSO 03: MÉTRICA
E vamos medir
PASSO 04: CRITÉRIO
Nós estaremos certos se
27/06/2019
tornando as informações da
página de produto mais claras e objetivas o funil
de conversão aumentará
Efetuar testes A/B
na página de produto mudando diferentes
elementos em sequência.
Flávio Nazário 15 / 30 dias
o número de pessoas que passam
para o próximo passo após cada uma das mudanças.
alcançarmos 90% de
confiança no resultado (cortando desvio padrão).
TEST CARD 02
E-Commerce
PASSO 01: HIPÓTESE
Acreditamos que
PASSO 02: TESTE
Para aferir isso, nós vamos
PASSO 03: MÉTRICA
E vamos medir
PASSO 04: CRITÉRIO
Nós estaremos certos se
27/06/2019
tornando as informações da
página de produto mais claras e objetivas o funil
de conversão aumentará
testar a usabilidade
da página de produto para investigar o que
dificulta a eficiência e a eficácia da compra
Flávio Nazário 7 dias
a quantidade de erros (eficácia) e
o tempo para encontrar informações (eficiência).
boa parte dos participantes
(5 a 8) demonstrarem dificuldades ao navegar.
19. Learning Card
fonte adapt.: Strategyzer
LEARNING CARD
Nome do produto/serviço
Pessoa responsável
Data
Dias/Semanas
PASSO 01: HIPÓTESE
Acreditamos que
PASSO 02: APRENDIZADOS E INSIGHTS
Nós observamos que
PASSO 03: DECISÕES E NOVAS AÇÕES
Portanto, nós iremos
Os principais
resultados que
foram recolhidos.
Um Learning Card
pode agregar vários
testes para uma
mesma hipótese.
Descrever os
pontos da hipótese
que foi testada.
Quais ações serão
tomadas após os
aprendizados dos
testes feitos
20. Learning Card
LEARNING CARD
E-commerce
Flávio Nazário
01/08/2019
40 dias no total
PASSO 01: HIPÓTESE
Acreditamos que
PASSO 02: APRENDIZADOS E INSIGHTS
Nós observamos que
PASSO 03: DECISÕES E NOVAS AÇÕES
Portanto, nós iremos
tornando as informações da
página de produto mais claras e objetivas o funil de
conversão aumentará
Após efetuar ambos os testes
As pequenas mudança via teste A/B foram
inconclusivas estatisticamente.
Os testes de usabilidade indicaram que descrição,
opções e medidas dos produtos estão escondidos e os
textos da política de troca deixa os usuários confusos.
Redesenhar o layout da pag.
enfatizando as descrições e opções, além reescrever os
textos de políticas, acrescentando resumos e tópicos.
21. Aprenda rápido!
#SGRio2019 #totAgile
devagar rápido
Prototipagem
de papel
Implantação
de piloto
Plano de
Negócio
Estudo de
Mercado
Entrevistas
com usuários
Experimentos
controlados
22. EXCEPCIONAL
“Isso mudou a minha vida!”
ALMEJADO
“Eu quero mais disso com frequência!”
FUNCIONAL
“Isso simplesmente funciona!”
RELEVANTE
“Eu preciso disso!”
VALOR • NEGÓCIO
VALOR•USUÁRIO
#fnazario #totAgile
23. Resumindo...
Testar hipóteses faz parte da responsabilidade
do time e dos Stakeholders.
Formular hipóteses é uma ótima oportunidade para equipes
de produtos por em prática o foco em resultados.
Produtos não têm fim, porém é importante manter alinhados
o valor e o propósito do que está sendo construído.
#SGRio2019 #totAgile
25. Quer ouvir mais sobre?
Business Model Innovation
Alex Osterwalder | Podcast • Innovation Leader
48min.
You Need to Do More Testing
Laura Klein | Podcast • engsplaining.com
30min.
Discover Everything
Teresa Torres | Podcast • The Product Experience
45min.
#productpodcast #totAgile