1. Backtesting
Análise de Risco (7)
R.Vicente
1

2. Resumo
Basle Traffic Light
Teste de Proporção de Falhas (Kupiec POF)
Tempo até Primeira Falha (Kupiec TUFF)
Ponderação por tamanho de perda (Lopez)
Tempo entre Falhas
Bibliografia
2

3. Basle Traffic Light
⎛N⎞ n
P(n N = 250; q = 1%) = ⎜ ⎟ q (1 − q) N −n
⎝n⎠
30%
25%
P(n|N,q)
20%
15%
10%
5%
0%
0 1 2 3 4 5 6 7 8 9 10 11 12
n
3

4. Basle Traffic Light
Para intervalo de confiança = 99%
# Exceções Prob. Cumulativa
100%
0 8,11%
1 28,58% 80%
SUM(P(k|N,q);k<n)
2 54,32%
60%
3 75,81%
4 89,22% 40%
5 95,88%
20%
6 98,63%
7 99,60% 0%
8 99,89% 0 1 2 3 4 5 6 7 8 9 10 11 12
9 99,97% n
10 99,99%
11 100,00%
12 100,00%
13 100,00%
4

5. Basle Traffic Light
PETR4
EWMA Lambda=0,99
12%
8%
4%
0%
-4%
-8%
-12%
nov-01
fev-02
set-01
jul-02
ago-01
out-01
dez-01
jan-02
mar-02
mai-02
jun-02
ago-02
abr-02
EWMA Backtest
9%
n=4
8%
7%
6%
P&L
5%
4%
3%
2%
1%
1% 2% 3% 4% 5% 6% 7% 8%
Previsão com 99% (unicaudal) 5

6. Basle Traffic Light
EWMA Lambda=0,96
PETR4
12%
8%
4%
0%
-4%
-8%
-12%
nov-01
fev-02
set-01
mar-02
abr-02
ago-01
out-01
mai-02
dez-01
jan-02
jun-02
jul-02
ago-02
EWMA Backtest
9% n=6
8%
7%
6%
P&L
5%
4%
3%
2%
1%
1% 2% 3% 4% 5% 6% 7% 8% 9%
Previsão com 99% (unicaudal) 6

7. Basle Traffic Light
EWMA Lambda=0,5 PETR4
12%
8%
4%
0%
-4%
-8%
-12%
nov-01
fev-02
ago-01
set-01
out-01
dez-01
jan-02
mar-02
abr-02
mai-02
jun-02
jul-02
ago-02
EWMA Backtest
9% n=10
8%
7%
6%
P&L
5%
4%
3%
2%
1%
1% 3% 5% 7% 9% 11% 13% 15% 17%
Previsão com 99% (unicaudal)
7

8. Basle Traffic Light
Medida paliativa para corrigir modelos rejeitados: aumentar
coeficiente de confiança.
EWMA Lambda=0,5
# Exceções Prob. Cumulativa Confiança
0 8,11% 2,33
1 28,58% 2,33 12%
2 54,32% 2,33 8%
4%
3 75,81% 2,33 0%
4 89,22% 2,33 -4%
-8%
5 95,88% 2,73 -12%
nov-01
fev-02
ago-01
set-01
out-01
jan-02
mai-02
jun-02
ago-02
dez-01
mar-02
abr-02
jul-02
6 98,63% 2,83
7 99,60% 2,98
8 99,89% 3,08 EWMA Backtest
9 99,97% 3,18
19%
10 99,99% 3,33 17%
11 100,00% 3,33 15%
12 100,00% 3,33 P&L
13%
11%
13 100,00% 3,33 9%
7%
5%
3%
1%
1% 6% 11% 16%
8
Previsão com 99% (unicaudal)

9. Proporção de Falhas
Hipótese nula: Probabilidade estimada na amostra = 1% .
n
H 0 : p = p = = 0,01
ˆ
N
N= # de pontos e n=# de falhas observadas. Teste de razão de
verossimilhança:
⎛ ⎞ 14
⎜ 1% n (1 − 1%) N −n ⎟
( )
12
LR = −2 ln ⎜ N −n
⎟ 10
⎜⎛ n ⎞ ⎛
n
n⎞ ⎟ 8
LR
⎜ ⎜ ⎟ ⎜1 − ⎟ ⎟ 6
⎝⎝ N ⎠ ⎝ N⎠ ⎠ 4
LR tem distribuição χ2 com 1 grau 2
0
de liberdade quando N →∞ 1 2 3 4 5 6 7 8 9 10
9
n

10. Proporção de Falhas
Com 95 % de confiança não rejeitamos a hipótese nula de p=1% se
LR < LRMAX
P( LR < LRmax ) = 95%
100% 14
90%
80% 12
Chi 2 Acumulado
70% 10
60%
8
LR
50%
40% 6
30% 4
20%
10% 2
0% 0
0 2 4 6 8 10 1 2 3 4 5 6 7 8 9 10
LRMAX = 3,84 → n < 7
LR n
10

11. Proporção de Falhas
EWMA Lambda=0,96
12%
8%
4%
0%
-4%
-8%
-12%
fev-02
nov-01
ago-01
set-01
jan-02
mar-02
abr-02
jun-02
jul-02
out-01
dez-01
mai-02
ago-02
n=6
Não Rejeita Hipótese Nula.
11

12. Tempo até a Primeira Falha
Hipótese nula: Para q=1%, 1 falha a cada 100 dias.
Alternativamente, o tempo médio para a primeira falha na
amostra é de 100 dias. 1
H0 : p = p =
ˆ = 0,01
1 ν
probabilidade de falha em um dia.
ν
⎛ ⎞
⎜ ⎟
0,01(1 − 0,01)ν −1 ⎟
LRTUFF = −2 ln ⎜
⎜ ⎛ 1 ⎞⎛ 1 ⎞ν −1 ⎟
⎜ ⎜ ⎟⎜ 1 − ⎟ ⎟
⎝ ⎝ ν ⎠⎝ ν ⎠ ⎠
LR tem distribuição χ2 com 1 grau
de liberdade quando N →∞ 12

13. Tempo até a Primeira Falha
Com 95% de confiança ν > ν MIN e ν < ν MAX
P ( LR < LRMAX ) = 95%
8
6
LR
4
2
0
2 42 82 122 162 202 242 282 322 362 402
ν
LRMAX = 3,84 → 7 < ν < 438 13

14. Tempo até a Primeira Falha
EWMA Lambda=0,96
Lambda=0,96
12%
8%
4%
0%
-4%
-8%
-12%
fev-02
nov-01
set-01
ago-01
out-01
ago-02
dez-01
mar-02
abr-02
mai-02
jul-02
jan-02
jun-02
ν = 18 Não rejeita Hipótese Nula.
14

15. Função de Magnitude de Perda
Hipótese Nula: Os log-retornos de 1 dia têm distribuição
condicional normal com média nula.
⎧ R − VaR
⎪ j
⎪
⎪ j
⎪ VaR , R j > VaR j
Cj = ⎨
⎪
⎪
j
⎪
⎪ 0, c.c.
⎩
250
C250 = ∑ C j
j =1
15

16. Função de Magnitude de Perda
Dada a hipótese nula C 250
pode ser obtido via simulação
utilizando am=ostras i.i.d. de uma distribuição Normal N(0,1):
150
100
50
0
0 0. 5 1 1. 5 2 2. 5 3
Com 95% de confiança C250 < 1, 2
16

17. Função de Magnitude de Perda
EWMA Lambda=0,96
12%
8%
4%
0%
-4%
-8%
-12%
fev-02
nov-01
set-01
ago-01
out-01
mai-02
ago-02
dez-01
mar-02
abr-02
jul-02
jan-02
jun-02
1% 35%
35% 28%
52% e 79%
C250 = 2,31 Rejeita Hipótese Nula com 95 % de 17
confiança

18. Tempo Entre Falhas
Hipótese nula: As falhas são independentes e para q=1%, o
tempo médio entre falhas na amostra é de 100 dias.
⎛ ⎞ ⎛ ⎞
⎜ ν k −1
⎟ ⎜ ν1 −1
⎟
n
⎜ 0,01(1 − 0,01) ⎟ ⎜ 0,01(1 − 0,01) ⎟
LR = −∑ 2 ln ⎜ ν k −1 ⎟ − 2 ln ⎜ ν1 −1 ⎟
k =2
⎜ ⎛ 1 ⎞⎛ 1 − 1 ⎞ ⎟ ⎜ ⎛ 1 ⎞⎛ 1 − 1 ⎞ ⎟
⎜ ⎜ ν ⎟⎜ ν ⎟ ⎟ ⎜ ⎜ ν ⎟⎜ ν ⎟ ⎟
⎝ ⎝ k ⎠⎝ k ⎠ ⎠ ⎝ ⎝ 1 ⎠⎝ 1⎠ ⎠
νk é o tempo entre as falhas k-1 e k.
LR tem distribuição χ2 com n+1 graus de liberdade quando N →∞
18

19. Tempo Entre Falhas
100%
80%
Chi 2 Acumulado
60%
40%
20%
0%
0 5 10 15
LR
Com 95% de confiança LR<12,6.
19

20. Tempo Entre Falhas
EWMA Lambda=0,96
12%
8%
4%
0%
-4%
-8%
-12%
fev-02
nov-01
set-01
ago-01
out-01
ago-02
dez-01
mar-02
abr-02
mai-02
jul-02
jan-02
jun-02
17
17 43 143
dias
dias dias dias
1 dia
4
dias
LR >18 Rejeita a Hipótese nula com 95% de confiança 20

21. Sumário
S S S
Proporção de Tempo Magnitude
Falhas entre falhas ? OK
? ?
N N N
VaR Correlação entre
Caudas pesadas
subestimado Falhas
21

22. Bibliografia
• Jorion P., Value at Risk, Irwin, 1997.
• RiskMetrics Technical Document (www.riskmetrics.com).
• Basle Committee on Banking Supervision, “Supervisory Framework for the use of
Backtesting in Conjunction with the Internal Models Approach to Market Risk
Capital Requirements”, Jan/96, www.bis.org
Leituras Complementares
Haas, Marcus, New Methods in Backtesting, 2001, www.gloriamundi.org
Blanco, C. e Ihle, G., How Good is Your VaR ? Using Backtesting to Assess
System Performance, Financial Engineering News nr. 11, http://fenews.com
22