O documento discute os principais elementos e classificações de pesquisas experimentais em marketing, incluindo a manipulação de variáveis independentes, controle de variáveis estranhas, e testes de hipóteses. Além disso, aborda conceitos como mediação, moderação e ameaças à validade de experimentos.
2. PESQUISA EXPERIMENTAL EM
MARKETING
ReMark – Revista Brasileira de Marketing
Publicação: Maio/2014
Autores:
José Mauro da Costa Hernandez
Doutor em Administração pela FGV / Professor da USP e Centro universitário da FEI
Kenny Basso
Doutor em Administração pelo UFRGS / Professor da Faculdade Meridional - IMED
Marcelo Moll Brandão
Doutor em Administração pela FGV / Professor de Marketing do PPGA da Universidade
Nove de Julho - UNINOVE
3. OBJETIVOS DO ARTIGO:
Discutir os principais elementos para a realização de um estudo
experimental.
Estimular os pesquisadores a adotarem o estudo experimental como
método de pesquisa.
Fornece um guia de experimentos para pesquisadores iniciantes e
oferece novas perspectivas para pesquisadores mais experientes.
4. INTRODUÇÃO
O crescimento de estudos científicos na área de Marketing mostra que o uso
de experimentos é cada vez mais pertinente, pois como a área já possui
teorias bem desenvolvidas, pesquisas com a identificação e a mensuração de
relações causais passam a ser significativas.
Características dos Experimentos:
Manipulação de uma ou mais variáveis independentes
Controle sobre as variáveis externas por meio de diversas estratégias como
a atribuição aleatória dos sujeitos às condições experimentais.
Busca compreender a relação de causa e efeito em fenômenos
mercadológicos.
5. O CONCEITO DE CAUSALIDADE
Pesquisa Causal: relação de causa e efeito entre duas ou mais
variáveis
Hunt (2010) mostra que quatro condições são necessárias e
suficientes para que se possa inferir uma relação de causalidade:
Sequência temporal
Variação concomitante
Associação não espúria
Suporte teórico
6. SEQUÊNCIA TEMPORAL
Variável
Independente
e Explicativa
Variável
responsável pela
“causa” antecede
a variável
responsável pelo
“efeito”
Obs.: apesar de
comum o
entendimento de que
a mudança de atitude
precede as mudanças
de comportamento,
algumas pesquisas
mostram o contrário.
Ex.: ambientes
complexos
Variável
Dependente
ou Critério
7. VARIAÇÃO CONCOMITANTE
Correlação entre duas varáveis (estatística) mostra que há evidência
em favor da causalidade.
A ausência de correlação, em geral é suficiente para excluir a
hipótese de causalidade.
8. ASSOCIAÇÃO NÃO ESPÚRIA
É necessário que não haja uma variável qualquer, que adicionada
como explicativa, faça desaparecer a associação entre as variáveis de
causa e efeito.
X Y
1º Exemplo:
Regressão e verifica a
relação entre X “causa” e Y
“efeito”
X YZ
2ª Exemplo:
Faz nova regressão e se
verificar que o coeficiente
relacionado a X continuar
significativo, pode se
afirmar que a relação entre
X e Y não é espúria
Questão filósofos da
ciência:
Necessidade de mostrar
uma relação não espúria
é de fato inferir uma
relação de causalidade?
9. SUPORTE TEÓRICO
A teoria de marketing é suficiente para explicar o fenômeno
pesquisado?
A teoria resolve estas questões “filosóficas” se é possível ou não
inferir uma relação de causalidade.
Estes quatro critérios em conjunto reforçam o valor científico do
desenho de pesquisa experimental.
Pesquisa causal e experimento como sinônimos.
10. ELEMENTOS DE UM EXPERIMENTO
Elementos são importantes para entender o experimento como único
método que garante as condições necessárias e suficientes para se
inferir uma relação de causalidade:
Hipótese
Manipulaçã
o das
Variáveis
Independen
tes
Mensuração
da Variável
Dependent
e
Coleta de
Dados
Resultados
Amostrais
Teste de
Hipótese
Controle
das
Variáveis
Estranhas
População
11. ELEMENTOS DE UM EXPERIMENTO
Hipótese: existência de hipótese com suporte teórico é fundamental
Manipulação das variáveis independentes:
É o que difere o experimento dos outros métodos e garante a sequência temporal,
pois garante que a variável dependente seja sempre mensurada após o estímulo na
variável independente.
Em geral é manipulada em dois níveis de análise, mas pode ter mais conforme a
necessidade. Manipulando a variável independente, o pesquisador terá controle
preciso sobre a natureza de cada nível do tratamento.
Pode ter variáveis independentes manipuladas (discretas “contagem”) e variáveis
independentes mensuradas (discretas ou intervalares). Para ser considerado um
experimento deve ter pelo menos uma variável independente manipulada. Quando só
tem variáveis mensuradas o estudo é observacional.
Para assegurar a manipulação pode ter variáveis de conferência de manipulação.
Variáveis podem ser manipuladas de forma direta, quando observáveis (ex. preço, tipo
de promoção, cores em propaganda...) e indiretamente, quando não observáveis
(cognitivas, ex. autoestima – medidas através de escalas).
12. ELEMENTOS DE UM EXPERIMENTO
Variáveis Estranhas:
São aquelas que podem influenciar o resultado de um experimento ou fornecer
explicações alternativas. Controle destas variáveis assegura que o que muda
durante o experimento é o nível de tratamento. Controle difícil em ciências sociais.
Três maneiras de controlar o efeito de variáveis estranhas:
Manter constante as variáveis que podem alterar o experimento (ex. laboratório ao controlar
variáveis ambientais, no caso por exemplo de “auto-estima” podem ser controladas pela
aleatoriedade dos indivíduos participantes.
Contrabalançando as condições experimentais (ex. três propagandas – ordem).
Controle estatístico: inserindo variáveis estranhas no modelo analisado como se fossem uma
variável independente, para que seu efeito sobre a variável dependente seja isolado.
Algumas observações:
A variável estranha também ser chamada de covariável, em livros e manuais de
análise de dados.
Evitar que os envolvidos tenham conhecimento do experimento, “duplo-cego” (ex.
placebo).
No uso de histórias fictícias, no ponto de vista ético, é sempre bom esclarecer aos
13. ELEMENTOS DE UM EXPERIMENTO
Mensuração de variáveis dependentes: amplamente utilizado em
outras pesquisas de marketing, pode ter várias naturezas (atitudes,
emoções, comportamentos, escolhas...)
Coleta de dados: verificar se a amostra é aleatória, pode-se testar
diferenças demográficas e outras características para verificar se há
alguma associação entre as características e grupos.
Teste de hipótese: em experimento sempre há o teste de uma
hipótese que possa inferir algo sobre a população representada pela
amostra.
14. ELEMENTOS DE UM EXPERIMENTO
“Concluindo, se existe teoria suficiente para esperar uma
associação entre uma variável independente e uma dependente;
se os sujeitos forem alocados às condições experimentais
aleatoriamente, de tal forma que não exista associação entre as
características individuais e a variável independente; se o
pesquisador tem controle sobre todas as variáveis ambientais
do experimento; se o pesquisador tem controle do momento
em que o estímulo é apresentado e do momento em que a
variável dependente é mensurada; então diferenças na variável
dependente são naturalmente atribuídas às diferenças nos
níveis dos tratamentos, já que não existe nenhuma outra
explicação para a variação sistemática na variável dependente.
Por isso diz-se que o experimento é a única forma de se
demonstrar uma relação de causa-e-efeito.” (pág. 103)
16. CLASSIFICAÇÕES DE
EXPERIMENTOS: TIPOS
Experiment
ais
•Atribuição aleatória
dos sujeitos aos
tratamentos
•Reduz explicações
alternativas
Quase-
experiment
ais
•Ocorre quando não
há controle da
amostra aleatória,
ex. em pesquisas de
campo
•Exemplo na
classificação de dois
grupos (ex. anúncio
- alto e baixo
conhecimento)
Pré-
experiment
ais
•Não há grupo de
controle.
•Apenas um grupo
estudado.
•Exemplo: verificar o
efeito de desconto de
preços na venda do
varejo
17. CLASSIFICAÇÕES DE
EXPERIMENTOS: AMBIENTE DE
REALIZAÇÃO
Campo
•Ambiente real
•Proporciona maior realismo, pois é
o ambiente “correto” da ocorrência
do fenômeno.
Laboratório
•Ambiente artificial
•Sucesso depende da análise do
pesquisador: ao ser retirado do
ambiente real pode haver
distorções e estas são
significativas?
•Vantagens: maior controle de
variáveis, possibilita a atribuição
aleatória, flexibilidade na
verificação de medidas, determina
18. CLASSIFICAÇÕES DE
EXPERIMENTOS: DESENHOS
Entre-
sujeitos
•Expõe cada sujeito a
um tratamento
experimental e
compara as medidas
entre os sujeitos
expostos a diferentes
tratamentos
•Recomendados no
efeito da demanda
Dentre-
sujeitos
•Expõe cada sujeito a
todos os tratamentos
experimentais e
compara as medidas
entre eles
•Utilizados para:
eliminar o viés das
respostas; quando há
poucos sujeitos;
contexto envolve
muitas decisões;
busca aumentar a
validade interna,
Mistos
•Utiliza as duas
opções anteriores
•Possível alinhar os
benefícios dos dois
desenhos
experimentais
19. CLASSIFICAÇÕES DE
EXPERIMENTOS: DESENHOS
FATORIAIS
Teste de duas ou mais variáveis independentes sobre as variáveis
dependentes
Vantagem é que permite explorar todas as combinações dos fatores
envolvidos e analisar os efeitos principais de cada um dos fatores e
as interações.
Recomenda-se este tipo de experimento quando a análise de
interação é necessária para o teste de hipóteses.
20. MEDIAÇÃO X MODERAÇÃO
Muitas vezes o pesquisador quer saber como e quando X exerce
influência sobre Y:
X Y
Como?
Mediação
M
X Y
Quando?
Moderação
W
21. MEDIAÇÃO
Ocorre quando o pesquisador quer verificar o processo pelo qual
(como) a variável independente X exerce efeito sobre a variável Y e
por isso insere no modelo uma ou mais variáveis intervenientes: M1,
M2, M3...
X Y
M
a b
c
a, b e c são os caminhos
22. MEDIAÇÃO
Método de Baron e Kenny (1986):
Uma variável M serve como moderadora entre X e Y quando:
Variações em X são responsáveis por variações em M: caminho a
Variações em M são responsáveis por variações em Y: caminho b
Quando se controla o efeito de M, a relação entre X e Y deixa de ser
significativa, a evidência mais forte de mediação é quando c = 0 ou
não significativo, significa que a mediação é total, caso contrário é
uma mediação parcial
Este modelo pressupõe que necessariamente haja uma relação causal
X Y
M
a b
c
23. MEDIAÇÃO
Bollen (1989) falta de correlação (entre duas variáveis) não invalida a
causalidade.
Para que a variável M seja um dos mediadores da relação X e Y é
necessário apenas que o caminho a*b seja diferente de zero.
Teste de Sobel (1982) permite o cálculo do intervalo de confiança para
o produto a*b. Uma limitação é que o teste supõe que é uma
distribuição normal, mas esta distribuição geralmente é irregular para
pequenas amostras.
Método bootstrap permite inferências sobre um valor cuja distribuição
é desconhecida.
Amostra original n é tratada como uma pequena representação da população original
Re-amostras, com reposição e estatísticas diferentes (a*b), para construir uma
distribuição hipotética e o intervalo de confiança – resultados analisados na prática, se
24. MODERAÇÃO
Ocorre quando se deseja descobrir as condições de fronteiras de um
fenômeno.
Uma associação é moderada quando a natureza (grandeza e sinal) da
relação entre duas variáveis X e Y depende de uma terceira variável W.
X Y
W
O efeito da moderação é conhecido
pela interação e pode ser verificada
por meio:
• Regressão: X e W intervalares
• ANOVA: X e W nominais ou ordinais
• Se interação ocorre, testa-se como a
moderação ocorre verificando-se
qual o efeito de X sobre Y – nome
deste processo probing
25. MODERAÇÃO
Análise é feita pela variância, mas ne sempre a solução é tão fácil
quando as variáveis independentes ou moderadora são contínuas.
Dicotomizar a variável contínua pela média e mediana: perda de
informação, pois na dicotomização uma variável mensurada por cinco
ou mais pontos, baixa para dois níveis.
Porém é uma solução simples, que pode ser utilizada por exemplo
quando X tenha sido manipulada em 2 níveis, no qual tanto W e Y
tenham sido mensuradas em escalas intervalares. Aplica-se a
regressão para verificar o coeficiente da interação.
Análise Spotlight: existindo a moderação, faz-se duas novas
regressões similares à anterior, mas o valor da variável moderadora
em valores conveninentes, geralmente desvio-padrão abaixo e acima
da média da variável moderadora. Mudanças na significância e no
coeficiente associados a variável X - indicariam a natureza da
moderação.
26. AMEAÇAS AOS EXPERIMENTOS
Diversos fatores podem prejudicar os resultados de experimentos:
Validade dos Experimentos
Poder da Análise
Seleção da Amostra
27. VALIDADE EM EXPERIMENTOS
Validade refere-se a aproximação entre inferência e a verdade.
Quatro tipos de validade:
Validade estatística: validade da relação entre tratamentos e
resultados.
Validade de construto: quanto da mensuração ou manipulação
representa o conceito teórico.
Validade Interna: mostra quanto as inferências do modelo causal são
seguras.
Validade externa: capacidade da generalização do relacionamento
causal encontrado para outros contextos.
28. VALIDADE EM EXPERIMENTOS:
VALIDADE ESTATÍSTICA
Dois erros podem interferir na validade estatística:
Erro Tipo I: quando o pesquisador erra ao rejeitar H0, inferindo uma
relação causal inexistente. Valor p igual ou menor que 0,05 (nível de
significância) H0 deve ser rejeitada.
Erro Tipo II: quando o pesquisador não rejeita uma H0 que é falsa,
infere que a relação causal não existe, enquanto ela existe. Menor
nível de significância maior a probabilidade de erros deste tipo.
Pequenas amostras podem aumentar erro Tipo II.
29. VALIDADE EM EXPERIMENTOS:
VALIDADE DE CONSTRUTO
Refere-se a como o construto é compreendido e avaliado, seja ele
uma variável independente ou dependente.
Construto variável independente: pesquisador avalia a validade pela
análise de validade de conteúdo – verificando os itens da escala.
Verifica se o construto está sendo manipulado.
Construto variável dependente: pesquisador avalia com uma análise
de validade de conteúdo (escala) + testes estatísticos.
Sugere: análise de consistência interna, de validade convergente e de validade
discriminante. Apesar das sugestões a maioria das pesquisas experimentais de
marketing faz uso da medida de consistência interna – alpha de Cronbach.
30. VALIDADE EM EXPERIMENTOS:
VALIDADE INTERNA
Foco dos estudos experimentais, pois refere-se as inferências de
causalidade.
Se o estudo concluiu que a variável independente X causou
mudanças na variável dependente Y, pode-se afirmar que há validade
interna.
Se o estudo deixa espaço para explicações alternativas, então tem-
se baixa validade interna. Para reduzir estas explicações pode-se
usar processo de mediação, explicando o processo.
Observações:
Estudo de campo tem menor validade interna x estudos em laboratório que tem
maior validade externa (controle + distribuição aleatória)
Trade-off: maior validade interna – menor validade externa
31. VALIDADE EM EXPERIMENTOS:
VALIDADE EXTERNA
Três perspectivas que interferem na validade externa:
Generalização estatística: amostra – população
Sugestão: amostragem por quotas (escolha dos sujeitos com as características
desejadas) pode aumentar a validade externa
Robustez dos efeitos encontrados: expandir ou não para outros
conceitos
Sugestão: alternar os contextos utilizados nos experimentos
Realismo: tarefas, estímulos e tratamentos podem tornar difícil a
transposição dos resultados para o mundo real
Sugestão: não confundir a realização dos estudos de campo ou laboratório, mas
verificar a realidade envolvida no estudo e do contexto.
32. VALIDADE EM EXPERIMENTOS
Concluindo sugestões para a validade:
Múltiplos estudos: diferentes manipulações, sujeitos e
procedimentos.
Identificar condições que causam alguma limitação.
Verificar a motivação dos participantes.
Atenção para a realidade da tarefa experimental.
Utilização de covariáveis para controlar o efeito de características
individuais e situacionais sobre as variáveis dependentes do estudo.
33. PODER DE ANÁLISE
Poder de um teste estatístico é a probabilidade de que o teste irá
rejeitar H0 – falsa, reduzindo erros Tipo II.
Poder dependente: probabilidade do erro Tipo I escolhido, tamanho
da amostra e tamanho do efeito para a hipótese a ser testada.
Segundo Sawyer e Ball (1981) os estudos de marketing devem
procurar responder a duas questões:
O estudo é sensível o suficiente para permitir a identificação de
covariação?
Se há evidência de covariação, qual é a força da covariação entre a
causa e efeito?
34. PODER DE ANÁLISE
Para medir a força de um efeito:
D de Cohen: verifica o tamanho do efeito, calculado pela diferença
de média de dois grupos dividida pelo desvio padrão de ambos
Até 0,20 pequenos
0,50 é o valor desejado
Entre 0,20 e 0,80 médios
Acima 0,80 grandes
Eta quadrado parcial: mede a intensidade de associação das variáveis
(X e Y), calculado soma dos quadrados do efeito deve ser dividida
pela soma dos quadrados do efeito + soma dos quadrados dos erros.
Em torno de 0,01 efeito pequeno
0,06 – médios
0,08 - grandes
35. SELEÇÃO DE AMOSTRA
Recomenda-se amostras homogêneas, exceto com outros objetivos:
Minimizar a ocorrência de fatores que podem interferir nos
resultados
Quando a é amostra heterogênea o erro de variância pode aumentar
Sugestões:
Experimentos com estudantes na composição da amostra, replicar
em amostras mais heterêgeneas (generalização)
Ao menos 30 casos para possibilitar uma distribuição normal.
36. PERSPECTIVAS DO USO DE
EXPERIMENTOS EM MARKETING:
TENDÊNCIAS
Tendências do uso de experimentos em Marketing:
Aumento do número de estudos experimentais publicados em um
mesmo artigo:
No mínimo 3 experimentos, pois os pesquisadores começam a acreditar que existe
uma relação causal entre duas variáveis quando o estudo é repetido e resultados
similares são encontrados.
Experimentos mais simples:
Para ser aceito em um periódico conceituado, são necessários vários estudos com
diferentes níveis de complexidade, relatados de forma minuciosa para que possam
ser replicados.
Mais experimentos de campo:
Número de experimentos em laboratório é muito maior, sugestão de combinar
ambos para um complementar o outro.
Embora difíceis de serem executados, aumentam o realismo e a validade externa.
37. PERSPECTIVAS DO USO DE
EXPERIMENTOS EM MARKETING:
DESAFIOS
Desafios para o uso de experimentos em Marketing:
Uso de amostras mais representativas:
Com consumidores reais, com ampla variedade de condições socioeconômicas e
vivendo em lugares diferentes. Desafio: o custo e a dificuldade de se obter as
amostras.
Estudo com observação de comportamentos:
Relatos de pensamentos, sentimentos, memórias e atitudes x Real “medidas” de
comportamentos possíveis com observações.
38. CONCLUSÃO
Expectativa dos autores e da academia de Marketing é que os
estudos experimentais ganhem relevância. Por isso incentivam que os
artigos sobre experimentos abordem diferentes percepções e outras
lacunas não abordadas neste trabalho.
Esperam discussões mais profundas sobre os testes de moderação e
mediação, bem como o processo envolvido na construção de uma
pesquisa com desenho experimental.
Importante ressaltar a importância dos pesquisadores utilizarem
metodologia apropriada para compreender os fenômenos
mercadológicos.
Notes de l'éditeur
Exemplo genérico que um aumento de propaganda de um produto gera um aumento de vendas
Ex. níveis – manipular a similaridade percebida da extensão de marca