O documento discute vários modelos de regressão linear, incluindo regressão múltipla, modelos log-log, log-lin e lin-log. Também aborda propriedades desses modelos como colinearidade e interpretação dos coeficientes.

1. Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Análise de Regressão:
Extensões
Extensões e regressão múltipla
Regressão
múltipla -
estimação
Regressão
múltipla -
Rodrigo de Sá
inferência
Fundação de Economia e Estatística, 2011

2. Livro texto
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Damodar Gujarati
Extensões
Regressão
múltipla - Econometria Básica
3ª ed. 2005.
estimação
Regressão
múltipla -
inferência

3. Regressão pela origem
Análise de
Regressão:
Extensões e
regressão
Há ocasiões que a Teoria Econômica diz que o melhor
múltipla
Rodrigo de
Sá modelo a ser utilizado é Yi = β1 Xi + ui .
Extensões
Nesse modelo, o intercepto é igual a zero, ou seja, a
Regressão
regressão passa pela origem.
múltipla -
estimação
Regressão
múltipla -
inferência

4. Regressão pela origem
Análise de
Regressão:
Extensões e
regressão
Há ocasiões que a Teoria Econômica diz que o melhor
múltipla
Rodrigo de
Sá modelo a ser utilizado é Yi = β1 Xi + ui .
Extensões
Nesse modelo, o intercepto é igual a zero, ou seja, a
Regressão
regressão passa pela origem.
múltipla -
estimação
Regressão
Por exemplo, temos o Capital Asset Pricing Model
múltipla -
inferência
(CAPM).
No CAPM, o retorno de um ativo i e o retorno da carteira
de mercado são relacionados pela fórmula
(ERi − rf ) = βi (ERm − rf ).

5. Regressão pela origem: visualização
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: CAPM

6. Regressão pela origem: propriedades
Análise de
Regressão:
Extensões e
regressão
múltipla Estimador da inclinação
Rodrigo de
Sá ˆ XY
i i
β1 =
X2 i
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência

7. Regressão pela origem: propriedades
Análise de
Regressão:
Extensões e
regressão
múltipla Estimador da inclinação
Rodrigo de
Sá ˆ XY
i i
β1 =
X2 i
Extensões
Regressão
múltipla -
estimação
A soma dos resíduos não é necessariamente igual a zero,
Regressão como no caso com intercepto.
O r 2 não precisa ser positivo.
múltipla -
inferência
Usa-se o r 2 ajustado.
Pode ser mais interessante utilizar a regressão
convencional, com intercepto.

8. Modelo log-linear (log-log)
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Linearização
Sá
Considere o modelo de regressão exponencial
Extensões
Regressão
múltipla -
estimação Y = β0 X β e
i i
1 ui
Regressão
múltipla -
ln Y = ln β0 + β1 ln X + u
i i i
inferência
Y ∗ = α + β1 X ∗ + u
i i i
onde Yi∗ = ln Yi , Xi∗ = ln Xi e α = ln β0 .

9. log-log: propriedades
Análise de
Regressão:
Extensões e No modelo log-log, a inclinação β1 meda a
regressão
múltipla
ELASTICIDADE de Y em relação a X .
Rodrigo de Elasticidade é a variação percentual em Y dada uma
Sá
variação percentual em X (variação pequena, assim como
Extensões no conceito de derivada).
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência

10. log-log: propriedades
Análise de
Regressão:
Extensões e No modelo log-log, a inclinação β1 meda a
regressão
múltipla
ELASTICIDADE de Y em relação a X .
Rodrigo de Elasticidade é a variação percentual em Y dada uma
Sá
variação percentual em X (variação pequena, assim como
Extensões no conceito de derivada).
Regressão
Elasticidade
múltipla -
estimação
Regressão
múltipla -
inferência variação % em Y
β1 =
variação % em X
∆Y /Y
β1 =
∆X /X
∆Y X
=
∆X Y

11. log-log: exemplo
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Considere um modelo de demanda de um certo produto:
Extensões
Regressão
Y é a quantidade demandada;
múltipla -
estimação
X é o preço.
Regressão Regredindo as duas variáveis em log, β1 será a
múltipla -
inferência elasticidade-preço do produto.

12. log-log: visualização
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Elasticidade

13. Modelo log-lin
Análise de
Regressão:
Extensões e
regressão
múltipla
Linearização
Rodrigo de
Sá Considera a equação do crescimento (ou juros compostos)
Extensões
Y = Y0 (1 + r )t
Regressão
múltipla - t
estimação
Regressão
ln Yt = ln Y0 + t ln (1 + r )
ln Y = β0 + β1 t + ut
múltipla -
inferência t
onde β0 = ln Y0 , β1 = ln (1 + r ) e r é a taxa de crescimento ou
taxa de juros.

14. log-lin: propriedades
Análise de
Regressão:
Extensões e
No modelo log-lin, a inclinação β1 mede a variação
regressão
múltipla
proporcional (ou relativa) constante em Y para uma dada
Rodrigo de
variação absoluta do regressor.
Sá
variação % em Y
Extensões
Regressão β1 =
múltipla -
estimação
variação absoluta em X
Regressão
∆Y /Y
=
múltipla -
inferência
∆X

15. log-lin: propriedades
Análise de
Regressão:
Extensões e
No modelo log-lin, a inclinação β1 mede a variação
regressão
múltipla
proporcional (ou relativa) constante em Y para uma dada
Rodrigo de
variação absoluta do regressor.
Sá
variação % em Y
Extensões
Regressão β1 =
múltipla -
estimação
variação absoluta em X
Regressão
∆Y /Y
=
múltipla -
inferência
∆X
Caso o regressor seja o tempo, t , a inclinação mede a taxa
de crescimento da variável Y .
Note que a taxa de crescimento é constante neste modelo.
Para o cálculo desse modelo, a variável deve ser
estacionária.

16. log-lin: exemplo
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Exemplo - taxa de crescimento

17. Modelo lin-log
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
lin-log
Sá
Extensões
Y i = β0 + β1 ln Xi + ui
Regressão
múltipla - variação absoluta em Y
β1 =
variação % em X
estimação
∆Y
Regressão
múltipla -
inferência =
∆X /X
Assim, se X crescer 1%, Y crescerá β1 unidades.

18. Modelos recíprocos
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá Modelo recíproco
1
Extensões
Y = β0 + β1 + ui
Regressão
i
X i
múltipla -
estimação
Regressão
múltipla -
inferência

19. Modelos recíprocos
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá Modelo recíproco
1
Extensões
Y = β0 + β1 + ui
Regressão
i
X i
múltipla -
estimação
Regressão
múltipla -
Propriedade: conforme X aumenta indenidamente
inferência
o termo β1 (1/X ) se aproxima de zero.
i
Y se aproxima do valor-limite ou assintótico β0 .

20. Modelos recíprocos: grácos
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Modelo recíproco

21. Modelos recíprocos: curva de Phillips
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Curva de Phillips

22. Síntese das formas funcionais
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Modelos, inclinações e elasticidades

23. Regressão múltipla
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
Regressão de três variáveis
múltipla -
estimação
Y = β0 + β1 X1 + β2 X2 + u
i i i i
Regressão
múltipla -
inferência

24. Hipótese - ausência de colinearidade
Análise de
Regressão:
Extensões e
regressão
múltipla
Dentre as 10 hipóteses do modelo clássico de regressão
Rodrigo de
Sá linear, é importante ressaltar a hipótese da AUSÊNCIA DE
Extensões
COLINEARIDADE (exata) entre as variáveis X .
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência

25. Hipótese - ausência de colinearidade
Análise de
Regressão:
Extensões e
regressão
múltipla
Dentre as 10 hipóteses do modelo clássico de regressão
Rodrigo de
Sá linear, é importante ressaltar a hipótese da AUSÊNCIA DE
Extensões
COLINEARIDADE (exata) entre as variáveis X .
Regressão
múltipla - Quando uma variável explicativa tem correlação com outra,
estimação
Regressão
dizemos que elas são COLINEARES ou LINEARMENTE
múltipla -
inferência
DEPENDENTES.
Colinearidade perfeita existe quando HÁ RELAÇÃO
LINEAR EXATA ENTRE as variáveis explicativas,
X3 = a + bX2 .

26. Colinearidade perfeita
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá Efeito da colinearidade perfeita
Extensões
Regressão
múltipla -
X2i = 2X1i
estimação
Yi = β0 + β1 X1i + β2 X2i + ui
Regressão
múltipla -
inferência
= β0 + (β1 + 2β2 ) X1i + ui
= β0 + αX1i + ui

27. Interpretação
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de Tomando a esperança em ambos os lados
Sá
Extensões
E (Y |X1 , X2 ) = β0 + β1 X1 + β2 X2
i i i i i
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência

28. Interpretação
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de Tomando a esperança em ambos os lados
Sá
Extensões
E (Y |X1 , X2 ) = β0 + β1 X1 + β2 X2
i i i i i
Regressão
β1 mede a mudança no valor médio de Y , E (Yi |X1i , X2i ),
múltipla -
estimação
Regressão por variação unitária em X1 , mantendo constante todas as
outras variáveis explicativas (X2 ).
múltipla -
inferência
Isto é, fornece o efeito DIRETO ou LÍQUIDO da mudança
em X1 .

29. Propriedades dos estimadores de MQO
Análise de
Regressão:
Extensões e
regressão
múltipla
A reta (superfície) de regressão passa pelas médias Y , X 1
Rodrigo de
Sá
Extensões
e X 2.
Regressão O valor médio do Yi estimado é igual ao valor médio do Yi
múltipla -
estimação verdadeiro.
Regressão
múltipla -
A soma dos resíduos é igual a zero.
inferência
Os resíduos não tem correlação com nenhuma das variáveis
explicativas.

30. Propriedades dos estimadores de MQO
Análise de
Regressão:
Extensões e
regressão
múltipla
As variâncias dos estimadores de MQO são diretamente
Rodrigo de
proporcionais a σ 2 .
Os estimadores são MELNV (não viesados e de variância
Sá
Extensões mínima).
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência

31. Propriedades dos estimadores de MQO
Análise de
Regressão:
Extensões e
regressão
múltipla
As variâncias dos estimadores de MQO são diretamente
Rodrigo de
proporcionais a σ 2 .
Os estimadores são MELNV (não viesados e de variância
Sá
Extensões mínima).
Regressão
Conforme aumenta r12 (o coeciente de correlação entre
múltipla -
estimação
Regressão
múltipla -
X1 e X2 ), as variâncias de β1 e β2 aumentam.
ˆ ˆ
inferência
No limite, quando r12 = 1, as variâncias de β1 e β2 se
ˆ ˆ
tornam innitas.
Quanto mais correlacionadas forem as variáveis
explicativas, mais difícil ca fazermos testes sobre os seus
efeitos (isolados).

32. R 2 e R 2 ajustado
Análise de
Regressão:
Extensões e
regressão
múltipla
Chamamos de R 2 o COEFICIENTE MÚLTIPLO DE
Rodrigo de
DETERMINAÇÃO, semelhante ao r 2 do caso univariado.
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência

33. R 2 e R 2 ajustado
Análise de
Regressão:
Extensões e
regressão
múltipla
Chamamos de R 2 o COEFICIENTE MÚLTIPLO DE
Rodrigo de
DETERMINAÇÃO, semelhante ao r 2 do caso univariado.
Sá
Extensões
Uma propriedade do R 2 é que ele é uma função não
Regressão
decrescente do número de variáveis explicativas.
Quando o número de regressores aumento, o R 2 quase
múltipla -
estimação
Regressão invariavelmente aumenta, e nunca diminui.
múltipla -
inferência
Uma variável adicional X não diminuirá o R 2 .

34. R 2 e R 2 ajustado
Análise de
Regressão:
Extensões e
regressão
múltipla
Chamamos de R 2 o COEFICIENTE MÚLTIPLO DE
Rodrigo de
DETERMINAÇÃO, semelhante ao r 2 do caso univariado.
Sá
Extensões
Uma propriedade do R 2 é que ele é uma função não
Regressão
decrescente do número de variáveis explicativas.
Quando o número de regressores aumento, o R 2 quase
múltipla -
estimação
Regressão invariavelmente aumenta, e nunca diminui.
múltipla -
inferência
Uma variável adicional X não diminuirá o R 2 .
Assim devemos ser cautelosos ao usar o R 2 para
compararmos modelos com um número diferente de
variáveis.

35. R 2 e R 2 ajustado
Análise de
Regressão:
Extensões e
regressão
2
múltipla O R 2 ajustado R leva em conta o número de variáveis
Rodrigo de
Sá
para melhorar a comparação.
Extensões
2 u 2 / (n − k )
ˆ
R =1− i
y 2 / (n − 1)
Regressão
múltipla -
i
estimação
Regressão
múltipla -
inferência

36. R 2 e R 2 ajustado
Análise de
Regressão:
Extensões e
regressão
2
múltipla O R 2 ajustado R leva em conta o número de variáveis
Rodrigo de
Sá
para melhorar a comparação.
Extensões
2 u 2 / (n − k )
ˆ
R =1− i
y 2 / (n − 1)
Regressão
múltipla -
i
estimação
O R 2 ajustado pode ser menor do que um e é menor do
Regressão
múltipla -
que o O R 2 não ajustado quando k 1.
inferência

37. R 2 e R 2 ajustado
Análise de
Regressão:
Extensões e
regressão
2
múltipla O R 2 ajustado R leva em conta o número de variáveis
Rodrigo de
Sá
para melhorar a comparação.
Extensões
2 u 2 / (n − k )
ˆ
R =1− i
y 2 / (n − 1)
Regressão
múltipla -
i
estimação
O R 2 ajustado pode ser menor do que um e é menor do
Regressão
múltipla -
que o O R 2 não ajustado quando k 1.
inferência
Mesmo com o O R 2 ajustado deve-se tomar cuidado ao
usá-lo para comparar dois ou mais modelos concorrentes.

38. Exemplo: função de produção Cobb-Douglas
Análise de
Regressão: Linearização
Seja a seguinte função de produção, onde Y é o produto, X1 é
Extensões e
regressão
o trabalho e X2 é o capital.
múltipla
Rodrigo de
Sá
Extensões
Y i = β0 X1i1 X2i2 e u
β β i
Regressão
múltipla -
estimação
ln Y i = ln β0 + β1 ln X1i + β2 ln X2i + ui
Regressão
múltipla -
inferência

39. Exemplo: função de produção Cobb-Douglas
Análise de
Regressão: Linearização
Seja a seguinte função de produção, onde Y é o produto, X1 é
Extensões e
regressão
o trabalho e X2 é o capital.
múltipla
Rodrigo de
Sá
Extensões
Y i = β0 X1i1 X2i2 e u
β β i
Regressão
múltipla -
estimação
ln Y i = ln β0 + β1 ln X1i + β2 ln X2i + ui
Regressão
múltipla - Esse é um modelo log-log.
inferência
β1 é a elasticidade parcial do produto em relação ao insumo
trabalho, isto é, mede a variação percentual no produto para
uma variação de 1% na quantidade de trabalho, mantendo
contante o capital.
Analogamente, β2 é a elasticidade parcial do produto em
relação ao insumo capital.
A soma β1 + β2 nos informa sobre os RETORNOS DE ESCALA.

40. Exemplo: função de produção
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Produto real, dias-trabalho e capital no setor agrícola de
Taiwan

41. Exemplo: função de produção
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Produto real, dias-trabalho e capital no setor agrícola de
Taiwan

42. Modelo de regressão polinomial
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Regressão polinomial de k -ésimo grau
Sá
Extensões
Y = β0 + β1 X + β2 X 2 + . . . + β X + u
i i i k i
k
i
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência

43. Modelo de regressão polinomial
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Regressão polinomial de k -ésimo grau
Sá
Extensões
Y = β0 + β1 X + β2 X 2 + . . . + β X + u
i i i k i
k
i
Regressão
múltipla -
estimação
Polinômios aproximam bem funções contínuas
Regressão (aumentando k ).
Há apenas uma variável explicativa (X ).
múltipla -
inferência
X , X 2 , X 3 , . . . são correlacionados, mas não apresentam
correlação perfeita.

44. Exemplo: função custo total
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Função custo total

45. Exemplo: função custo total
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Função custo total

46. Exemplo: função custo total
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão Figura: Função custo total
múltipla -
inferência

47. Outra vez a hipótese da normalidade
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Assim como na regressão simples, supondo a normalidade
dos resíduos, os estimadores de MQO da regressão
Extensões
múltipla são os melhores estimadores não viesados.
Regressão
múltipla - Os estimadores dos betas são normalmente distribuídos
estimação
Regressão
com esperança igual ao valor verdadeiro do parâmetro
múltipla -
inferência
populacional.
Para cada um dos estimadores, pode-se aplicar o teste t,
como no caso simples.

48. Teste de hipótese individuais
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Pode-se testar uma certa hipótese sobre um estimador de
regressão parcial INDIVIDUALMENTE.
Regressão
múltipla -
estimação
Regressão
Funciona de maneira idêntica à regressão simples.
múltipla -
inferência

49. Teste de signicância global
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de Consideremos a hipótese H0 : β1 = β2 = 0.
Sá
A hipótese nula é uma hipótese conjunta de que β1 e β2
Extensões
são conjunta ou simultaneamente iguais a zero.
Regressão
múltipla -
estimação
Este teste é um teste de SIGNIFICÂNCIA GLOBAL da reta
Regressão
de regressão observada ou estimada, isto é, se Y tem
múltipla -
inferência
relação linear tanto com X1 quanto com X2 .
Testar esta hipótese não é o mesmo que testar a
signicância de cada um dos parâmetros individualmente!

50. Teste de signicância global: teste F
Análise de
Regressão:
Extensões e
regressão
múltipla
Dada a impossibilidade de testar a signicância dos
parâmetros isoladamente, outra abordagem é necessária.
Rodrigo de
Sá
Extensões
A alternativa é o teste F.
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência

51. Teste de signicância global: teste F
Análise de
Regressão:
Extensões e
regressão
múltipla
Dada a impossibilidade de testar a signicância dos
parâmetros isoladamente, outra abordagem é necessária.
Rodrigo de
Sá
Extensões
A alternativa é o teste F.
Regressão
múltipla -
estimação
Pode-se mostrar que, sob a hipótese nula β1 = β2 = 0, a
Regressão
variável F tem distribuição F com 2 e n − 3 graus de
múltipla -
inferência
liberdade.
SQE / (k − 1)
F=
SQR / (n − k )

52. ANOVA
Análise de
Regressão:
Extensões e
regressão
múltipla
Rodrigo de
Sá
Extensões
Regressão
múltipla -
estimação
Regressão
múltipla -
inferência
Figura: Tabela de análise de variância (ANOVA)