Comment valider une prévision en loi ?

1. Méthodes de validation
et d'évaluation de
prévision en loi
21 janvier 2011

2. Plan de l’exposé
Introduction
Les méthodes connues
Discussion sur les objectifs de l’évaluation
Quelques difficultés techniques
2 - Validation d'une prévision en loi - 21 janvier 2011

3. Introduction
3 - Validation d'une prévision en loi - 21 janvier 2011

4. Exemple : courbe de croissance
4 - Validation d'une prévision en loi - 21 janvier 2011

5. Exemple : prévision présentée par M. Cornec
5 - Validation d'une prévision en loi - 21 janvier 2011

6. Aspects institutionnels
Prévision en loi : EaR, eEaR, VaR
Validation par autorités de marché
6 - Validation d'une prévision en loi - 21 janvier 2011

7. Les méthodes connues
7 - Validation d'une prévision en loi - 21 janvier 2011

8. Validité d’une prévision en loi
Chaque jour j, on prévoit Fj, on observe Xj.
Une propriété simple et importante (Probability Integral
Transform, ou transformation de Rosenblatt) :
si les Fj sont continues et strictement croissantes,
Fj(Xj)=Uj est de loi uniforme sur [0,1]
Peut être adapté à la prévision par intervalle : on doit avoir α%
des observations dans un intervalle de probabilité α%.
Permet de tester la validité des prévisions.
Néanmoins, problème si on prévoit plusieurs pas de temps à la
fois : pas d’indépendance des Uj, difficultés pour définir une
région de test.
8 - Validation d'une prévision en loi - 21 janvier 2011

9. Cas de prévisions remises à jour à chaque pas
de temps
Dans ce cas, on a en plus l’indépendance des Uj.
9 - Validation d'une prévision en loi - 21 janvier 2011

10. Objectifs de l’évaluation
10 - Validation d'une prévision en loi - 21 janvier 2011

11. Choisir une méthode de prévision en loi ?
D e p . p r e v . C o n d i t i o n n e lle 1 p a s
D e p . p r e v . In c o n d i t i o n n e lle
2
1
0
s
-1
-2
0 5 10 15 20 25 30
T im e
Largeur de l’intervalle, si réserves : évident.
Mais sinon ?
11 - Validation d'une prévision en loi - 21 janvier 2011

12. Scores météo
pour une prévision F et une réalisation x, le Continuous Ranked
Probability Score
CRPS ( F , x) = − ∫ [F (u ) − H (u − x)] du
2
Dans le cas d’un échantillon homogène :
Fe (u ) = ∑ H (u − xi )
i∈e
Alors :
CRPS = R + U F
H
R = ∫ [ F (u ) − Fe (u ) ] du
2
U = ∫ Fe (u ) [1 − Fe (u ) ] du
12 - Validation d'une prévision en loi - 21 janvier 2011

13. Fonction de perte
Si, pour toute prévision F et réalisation x,
on sait calculer la perte L(F,x),
on peut évaluer la perte liée à une méthode de prévision.
13 - Validation d'une prévision en loi - 21 janvier 2011

14. Exemple récent :
Transfert de risque climatique entre entités du groupe EDF
Pas d’objectif unique au niveau du groupe
Choix du niveau de transfert après construction de la
représentation du risque climatique
Obligation d’absence de transfert de marge en moyenne
Obligation de validité sur la représentation du risque climatique.
Pas de compromis possible entre fiabilité et autre notion de
qualité, pas de L évident.
14 - Validation d'une prévision en loi - 21 janvier 2011

15. Quelques problèmes techniques
15 - Validation d'une prévision en loi - 21 janvier 2011

16. Prise en compte de l’erreur d’estimation
En fait, les Fj sont connus à une erreur d’estimation près. Donc, la
question de la validité devient :
dans l’ensemble des Fj appartenant à l’intervalle de confiance
d’estimation, y en a-t-il qui sont valides?
16 - Validation d'une prévision en loi - 21 janvier 2011

17. Cas d’une prévision par intervalle, et par
régression quantile :
Particularités du problème
Monotonie du critère de validité,
Estimation de l’erreur d’estimation sur les paramètres
Solution possible
Construire les intervalles les plus grands possible, les plus petits,
Si les plus grands surestiment α, et les plus petits le sous-estiment, prévision valide.
17 - Validation d'une prévision en loi - 21 janvier 2011

18. Largeur moyenne de l’intervalle de prévision
Si FX|Y=U[0,Y]
Prévision conditionnelle par intervalles :
[0.05×Y,0.95×Y]
Largeur : 0.9 × Y
Largeur moyenne : 0.9 × E(Y)
Estimation de l’erreur d’estimation sur les paramètres
Prévision inconditionnelle par intervalles :
[F-1Y(0.05), F-1Y(0.95)]
Largeur moyenne : F-1Y(0.95) - F-1Y(0.05)
Comparaison ?
Sur quelques cas, prévision inconditionnelle plus large.
Pourquoi ?
18 - Validation d'une prévision en loi - 21 janvier 2011