Arbres de régression et modèles de durée

1 334 vues

Publié le

Arbres de régression et modèles de durée

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
1 334
Sur SlideShare
0
Issues des intégrations
0
Intégrations
623
Actions
Partages
0
Téléchargements
18
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Arbres de régression et modèles de durée

  1. 1. Arbres de régression et modèles de durée Université d’été (Paris, le 7 juillet 2014) ISUP, IA et ENSAE ParisTech O. Lopez1,2 , X. Milhaud1 et P. Thérond3,4 1 ENSAE ParisTech et CREST (LFA) 2 Université Pierre et Marie Curie 3 ISFA, Laboratoire SAF 4 Galéa & Associés 1 / 47
  2. 2. Plan de l’exposé 1 Introduction à la problématique 2 Exemples d’utilisation 3 Construction de l’arbre 4 Procédure d’élagage de l’arbre 5 Robustesse de la méthode CART 6 Retour au problème de données censurées et extension 2 / 47
  3. 3. Contexte classique d’étude des risques en assurance L’analyse des engagements d’un assureur nécessite de comprendre l’impact de caractéristiques sur le risque. Les bases de données des assureurs comportent un ensemble d’informations sur les caractéristiques de l’assuré, les options du contrat, les conditions de marché. Ces informations jouent un rôle crucial dans les prévisions de sinistralité ⇒ il faut tenir compte de ces caractéristiques indiv. 3 / 47
  4. 4. Deux problèmes de données censurées On cherche à estimer la durée de vie d’un individu T ayant un ensemble de caractéristiques X ∈ Rd . On sait que l’individu a déjà vécu une durée Y avant de cesser d’être observé : observation censurée. 4 / 47
  5. 5. Deux problèmes de données censurées On cherche à estimer la durée de vie d’un individu T ayant un ensemble de caractéristiques X ∈ Rd . On sait que l’individu a déjà vécu une durée Y avant de cesser d’être observé : observation censurée. Un sinistre a été ouvert depuis une durée Y (non clos). Le montant total du sinistre M n’est pas connu, on n’a payé jusqu’à présent que N ≤ M au titre de ce sinistre. On cherche à prédire M (éventuellement la durée totale de développement T) à partir des caractéristiques X ∈ Rd du sinistre. 4 / 47
  6. 6. Observations (dans le second exemple) Observations On observe des réalisations i.i.d. de variables (Yi, Ni, δi, Xi)1≤i≤n de même loi que (Y, N, δ, X), où Y = inf(T, C), N = inf(M, D), et δ = 1T≤C = 1M≤D. C et D sont des variables de censures. Exemple : C = temps entre aujourd’hui et la date d’ouverture du sinistre ; D = montant réglé jusqu’à présent au titre du sinistre. 5 / 47
  7. 7. Formalisation du problème Le sinistre est ouvert depuis une durée Y, pour un montant réglé jusqu’à présent de N. Il n’est pas clos, donc δ = 0. La meilleure prédiction de M à partir des données disponibles sur le sinistre est M∗ = E [M | δ = 0, N, Y, X] . But : déterminer un estimateur du prédicteur idéal M∗ à partir des observations. Difficultés : on n’observe pas des réalisations i.i.d. de M, donc les méthodes "standards" ne marchent pas. 6 / 47
  8. 8. Objectif : construction d’une classification fine des individus et analyse du risque sur ces classes Regrouper des indiv. hétérogènes en classes de risque homogènes... ∃ de nombreuses techniques de classification (création de groupes d’assurés homogènes), parmi lesquelles : pour la classification non-supervisée : → les algorithmes dits des k-plus proches voisins ; → les techniques ascendantes d’arbre de classification (CAH) ; → la classification par model-based clustering (mélanges finis). pour la classification supervisée : → les modèles de choix (LOGIT) ; → les réseaux de neurones ; → les méthodes descendantes d’arbre (CART, CHAID, ...) ; 7 / 47
  9. 9. Quelques références sur l’utilisation des arbres en actuariat (non exhaustif) 1) Assurance vie : Prévision de taux de mortalité par tranche d’âge : [Olb12]. Prévision des comportements de rachat : [MMDL11] 2) Assurance non vie : R.A. DERRIG et L. FRANCIS, Casualty Actuarial Society (CAS), Variance, vol. 2 issue 2. [PPG11] (BFA), mais aussi [Bel14] (mémoire d’actuariat). Lien entre scoring d’assurés par arbre et pertes : GUSZCZA, WU et CHENG-SHENG (CAS Forum, 2003). 8 / 47
  10. 10. Arbre et clustering : quelques premiers éléments Pour estimer notre quantité d’intérêt, on choisit d’utiliser un arbre... Mais qu’est-ce qu’un arbre ? 1 Une racine : contient l’ensemble de la population à segmenter (le portefeuille global) ⇒ c’est le point de départ ; 2 Un tronc et des branches : contiennent les règles de division qui permettent de segmenter la population ; 3 Des feuilles : contiennent les sous-populations homogènes créées, fournissent l’estimation de la quantité d’intérêt. 9 / 47
  11. 11. 2 Exemples d’utilisation Une méthode populaire : un premier exemple Application à la classification du statut propriétaire 10 / 47
  12. 12. Aparté sur la lecture d’un arbre Un arbre de classification / régression se lit de la racine vers les feuilles. A chaque ramification, une règle de division apparait : dans CART, cette règle ( question) admet une réponse binaire, elle n’est basée que sur un facteur de risque. Un noeud est l’intersection d’un ensemble de règles. L’estimation de la quantité d’intérêt se lit dans les noeuds terminaux (feuilles). N’importe quel individu de la population initiale appartient à une unique feuille : les sous-populations créées sont disjointes. 11 / 47
  13. 13. Exemple 1 : prévisions des résultats des primaires aux US Il s’agit de déterminer les facteurs clefs qui ont joué sur les résultats des primaires de 2008 aux USA : Qui de H. Clinton ou B. Obama remportera tel ou tel état ? Entre Clinton et Obama, deux critères de population de votants apparaissent comme essentiels : 1 la couleur de peau des votants, 2 leur niveau d’éducation. On peut visualiser ces résultats sur la publication suivante du NY Times... 12 / 47
  14. 14. Exemple 2 : prévisions propriétaire | salaire et surface ! )*'+,-./01,*2'3#'456/71&#8',/$#.,/2'2.914#.' 1*'$9:#*'3#'7&,88#.'&#8'+,$/&&#8'3,*8'1*#' 4/&&#'01/'89*2';'$<$#'3=,76#2#.'1*'456/71&#' #2'7#&&#8'01/'*#'89*2'%,8'%.<2#*2';'#*',76#2#.>' )*'576,*2/&&9*'3#'(?'%.9%./52,/.#8'#2'(?'*9*@ %.9%./52,/.#8'#82'769/8/>'A#8'3#1"'4,./,-&#8' /*35%#*3,*2#8'89*2'B'"('C!"#$%&'91'.#4#*18D' #2'"?'C'$()*!+&'91'81.+,7#'#*'%/#38'%,.'$?D 13 / 47
  15. 15. Partitionnement et arbre correspondant Partitionnement qui maximise l’homogénéité dans chq rectangle. 14 / 47
  16. 16. Voici l'arbre complet. On a représenté par des cercles les noeuds qui ont des successeurs. nombres à l'intérieur des cercles sont les valeurs de division et le nom de la variable cho 15 / 47
  17. 17. 3 Construction de l’arbre Croissance de l’arbre pour estimer une moyenne Lien avec le problème de régression classique Arrêt de la ramification Généralisation et extensions 16 / 47
  18. 18. Notations lorsque la v.a. réponse n’est pas censurée → i ∈ 1, n : identifiant de l’individu / l’assuré ; → j ∈ 1, k : identifiant du facteur de risque (continu ou discret) ; → Yi : réponse OBSERVEE du ième individu (continue/discrète) ; → Xi = (Xi1, ..., Xik ) : vecteur des facteurs de risque de l’indiv. i ; → X : espace des covariables (facteurs de risque) ; → l ∈ 1, L : identifiant des feuilles de l’arbre ; → Xl : ensemble de la partition correspondant à la feuille l. 17 / 47
  19. 19. Arbre de régression : cas classique avec Y continue Dans le cas d’une régression classique, la quantité d’intérêt est π0(x) = E0[Y | X = x] (1) En supposant une relation linéaire (dc se restreignant à une classe d’estimateurs), on estime les paramètres de régression par MCO. En toute généralité, on ne peut pas considérer ts les estimateurs potentiels de π0(x) ⇒ arbres sont 1 autre classe d’estimateurs : ce sont des fonct. constantes par morceaux pour le problème (1). Construire un arbre génére une suite d’estimateurs selon une procédure spécifique : divisions successives de l’espace X. 18 / 47
  20. 20. Construction de l’arbre : critère de division La ramification de l’arbre est basée sur la définition d’un critère de division cohérent avec l’estimation de la quantité d’intérêt. Dans l’estimation de (1), les MCO sont utilisés car la solution est donnée par π0(x) = arg min π(x) E0[Φ(Y, π(x)) | X = x], (2) où Φ(Y, π(x)) = (Y − π(x))2 . La fonction de perte Φ correspond donc à l’erreur quadratique, et le critère est la minimisation de l’EQM. 19 / 47
  21. 21. Lien entre régression et arbre : la notion de “règles” Tout arbre de régression est un ensemble de règles. Pour chaque noeud m, une règle Rm est associée à un ss-ensemble Xm ⊆ X. Notation : dans la suite, En[Y] désigne la moyenne empirique de Y, et Xpa(m) est le sous-ensemble associé au noeud parent de m. L’arbre est associé à la fonction de régression ˆπ(x) = M m=1 ˆβtree m Rm(x) (3) où ˆβtree m = En[Y | x ∈ Xm] − En[Y | x ∈ Xpa(m)] si m racine, ˆβtree m = En[Y] sinon. 20 / 47
  22. 22. Cela équivaut en régression classique à chercher ˆβtree = arg min βtree En Y − βtree m Rm(x) 2 . A partir de (3) et en sommant sur ts les noeuds : ˆπ(x) := ˆπL (x) = L l=1 ˆγl Rl(x) (4) L est le nombre de feuilles de l’arbre, l leur indice, Rl(x) = 11(x ∈ Xl) : une “règle” de division, ˆγl = En[Y | x ∈ Xl] : moyenne empirique de Y dans la feuille l, les sous-ensembles Xl ⊆ X de la partition sont disjoints (Xl ∩ Xl = ∅, l l ), exhaustifs (X = ∪l Xl). 21 / 47
  23. 23. (4) généralisable qlq soit la quantité d’intérêt. Ainsi, tout arbre peut être vu comme un estimateur par morceaux. Interprétation : chaque morceau est une feuille, dont la valeur est la moyenne empirique des valeurs de Y de cette feuille, chaque division vise à minimiser la somme des variances intra-noeuds résultantes. Idée : maximiser l’homogénéité... La construction étant récursive, on génère une suite d’estimateurs depuis le nd racine : soit une suite {ΠK } de ss-espaces t.q. ΠK ⊆ Π, ΠK = πL (.) = L l=1 γl Rl(.) : L ∈ N∗ , L ≤ K . (5) 22 / 47
  24. 24. A K fixé, on cherche πK 0 tq πK 0 (x) = arg min π(x)∈ΠK E0[Φ(Y, π(x)) | X = x]. En pratique on cherche la version empirique, ˆπK , telle que ˆπK (x) = arg min π(x)∈ΠK En[ Φ(Y, π(x)) ]. ou encore ˆπK (x) = arg min γ=(γ1,...,γL ) En[ Φ(Y, πL (x)) ]. (6) Les estimateurs par arbre ne cherchent pas tous les estimateurs possibles avec L ≤ K : ils approchent ce minimum récursivement. 23 / 47
  25. 25. Arrêt de la procédure de division Le principe de l’algorithme CART est de ne pas fixer de règle d’arrêt arbitraire pour la procédure. L’algorithme arrête ainsi de diviser les feuilles quand : il n’y a qu’une observation dans la feuille, ou les individus de la feuille ont les mêmes valeurs de facteurs de risque. On construit ainsi l’arbre “maximal”, qui sera ensuite élagué. Arbre maximal = estimateur par morceaux final le plus complexe de la suite d’estimateurs construits → CV garantie ([BFOS84]). 24 / 47
  26. 26. Généralisation et extensions avec Φ fonction de perte π0(x) = arg min π(x) E0[Φ(Y, π(x)) | X = x] Estimation de moyenne : π0(x) = E0[Y | X = x] → critère de division (MCO) : Φ(Y, π(x)) = (Y − π(x))2 . Quantile : π0(x) = QY (α | X = x) = inf{y : F(y|X = x) ≥ α} Φα(y, π(x)) = α|y −π(x)|11(y > π(x)) + (1−α)|y −π(x)|11(y ≤ π(x)) Estimation de densité de la loi de Y → Φ(Y, π(x)) = − log π(Y, x), avec π la densité jointe de (Y, X). 25 / 47
  27. 27. 4 Procédure d’élagage de l’arbre Critère d’élagage de l’arbre Algorithme d’élagage de l’arbre 26 / 47
  28. 28. Elagage : critère coût-complexité Une fois l’arbre maximal construit (de taille K(n)), on obtient une suite d’estimateurs (ˆπK (x))K=1,...,K(n). Eviter estimateur trop complexe ⇒ trouver le meilleur sous-arbre de l’arbre maximal selon un critère “adéquation - complexité” : Rα(ˆπK (x)) = En[ Φ(Y, ˆπK (x)) ] + α (K/n). Pour α fixé, l’estimateur retenu satisfait ˆπK α (x) = arg min (ˆπK )K=1,...,K(n) Rα(ˆπK (x)). (7) 27 / 47
  29. 29. Elagage : procédure de sélection de modèle et estimateur final On fait croître itérativement α : 0 = α1 < ... < αz < ... < αZ−1 < αZ , et on choisit pour chaque αz le meilleur estimateur donné par (7). Par construction, on a une suite décroissante de sous-arbres optimaux de l’arbre maximal vers la racine. Dans cette liste d’estimateurs, on choisit finalement ˆα tel que ˆπK ˆα (x) = arg min (ˆπK αz )α=α1,...,αZ Rαz (ˆπK αz (x)). (8) Consistance : voir [GN05] et [MDvdL04] (V-fold). 28 / 47
  30. 30. 5 Robustesse de la méthode CART 29 / 47
  31. 31. Un mot sur la robustesse de la méthode CART Certaines techniques ont été développées afin de stabiliser la prévision donnée par un estimateur arbre. En effet, la construction d’un arbre optimal peut varier fortement quand bien même le jeu de données initial varie peu. D’où l’idée de proposer des procédures avec 1 choix aléatoire des facteurs de risque considérés lors d’une division (random forests). 2 tirage aléatoire de sous-jeux de données (bagging : boostrap aggregating). 30 / 47
  32. 32. Exemple le plus connu : les forêts aléatoires L’objectif des forêts aléatoires est de proposer un estimateur de type “bootstrap” afin d’améliorer la robustesse de l’estimation de la quantité d’intérêt. Il s’agit de moyenner les prévisions obtenues. Cette approche est intéressante pour deux raisons principales : on peut dégager un classement robuste du pouvoir explicatif de chacun des facteurs de risque, sa consistance a été démontrée récemment dans plusieurs articles récents : [IK10], [Mei09], [Mei06]. 31 / 47
  33. 33. 6 Retour au problème de données censurées et extension 32 / 47
  34. 34. Rappel sur les données Observations On observe des réalisations i.i.d. de variables (Yi, Ni, δi, Xi)1≤i≤n de même loi que (Y, N, δ, X), où Y = inf(T, C), N = inf(M, D), et δ = 1T≤C = 1M≤D. C et D sont des variables de censures. 33 / 47
  35. 35. Retour au problème initial Le sinistre est ouvert depuis une durée Y, pour un montant réglé jusqu’à présent de N. Il n’est pas clos, donc δ = 0. La meilleure prédiction de M à partir des données disponibles sur le sinistre est M∗ = E [M|δ = 0, N, Y, X] . But : déterminer un estimateur du prédicteur idéal M∗ à partir des observations. 34 / 47
  36. 36. Illustration des problèmes causés par la censure Considérons le problème plus simple d’estimer m = E[M]. Si j’observe (M1, ..., Mn) i.i.d., je peux estimer m par ˜m = 1 n n i=1 Mi →p.s. m. Que se passe-t-il si je n’observe que (N1, δ1, ..., Nn, δn) ? Mauvaise idée 1 : ˜m1 = 1 n n i=1 Ni. Mauvaise idée 2 : ˜m2 = 1 n j=1 δj n i=1 δiNi. 35 / 47
  37. 37. Illustration des problèmes causés par la censure Exemple naif : M ∼ E(λ), et D ∼ E(µ), avec M et D indépendants. Dans ce cas, ˜m1 tend vers E [inf(M, D)] = 1 λ + µ . De plus, ˜m2 tend vers E [δM] E[δ] = 1 λ + µ Dans les deux cas, on sous-estime la valeur moyenne de M. Solution : corriger la présence de la censure en essayant de compenser cette sous-estimation. 36 / 47
  38. 38. Premier ingrédient : l’estimateur de Kaplan-Meier On suppose que T est indépendant de C. On définit : ˆF(t) = 1 − Yi≤t  1 − δi n j=1 1Yj≥Yi   . Cet estimateur converge vers F(t) = P(T ≤ t). Ecriture additive : ˆF(t) = n i=1 Wi,n1Yi≤t , avec Wi,n = δi n[1 − ˆG(Yi−)] , et ˆG(t) estimateur de Kaplan-Meier de G(t) = P(C ≤ t). 37 / 47
  39. 39. Comment utiliser Kaplan-Meier pour estimer une moyenne ? Supposons que je veuille estimer E[T]. On peut estimer E[T] par l’espérance de la distribution associée Ã˘a ˆF, i.e. td ˆF(t) = n i=1 Wi,nYi, i.e. une somme pondérée des Yi observés. Plus généralement, θ = E[φ(T)] s’estime par n i=1 Wi,nφ(Yi). 38 / 47
  40. 40. Pourquoi cela fonctionne ? On rappelle que Wi,n = 1 n δi 1−ˆG(Yi−) . Wi,n est "proche" de W∗ i,n = 1 n δi 1−G(Yi−) . De plus, n i=1 W∗ i,nφ(Yi) = 1 n n i=1 δiφ(Yi) 1 − G(Yi−) →p.s. E δφ(Y) 1 − G(Y−) . Proposition Pour toute fonction φ telle que E[φ(T)] < ∞, E δφ(Y) 1 − G(Y−) = E[φ(T)]. 39 / 47
  41. 41. 2ème ingrédient : Inverse Prob. of Censoring Weights Dans l’exemple qui nous intéresse, on va vouloir déterminer des quantités du type E[φ(T, M, X)]. Proposition On suppose que : C indépendant de (T, M, X); {N < M} = {T < C}. Alors E δφ(Y, N, X) n(1 − G(Y−)) = E[φ(T, M, X)], et E δφ(Y, N, X) n(1 − G(Y−)) |X = E[φ(T, M, X)|X]. 40 / 47
  42. 42. 2ème ingrédient : Inverse Prob. of Censoring Weights Donc pour estimer une quantité du type E[φ(T, M, X)], on utilisera 1 n n i=1 δiφ(Yi, Ni, Xi) 1 − ˆG(Yi−) = n i=1 Wi,nφ(Yi, Ni, Xi). Donc pour estimer, par exemple, des quantités du type E (φ(Ti, Mi) − a)2 1Xi∈X , où X est un ensemble, on calculera n i=1 Wi,n(φ(Yi, Ni) − a)2 1Xi∈X. 41 / 47
  43. 43. Décomposition de notre problème On rappelle qu’on cherche à estimer E [M | δ = 0, X, Y, N] . On a E [M|δ = 0, X = x, Y = y, N = n] = E [M|M ≥ n, T ≥ y, X = x] = E M1M≥n,T≥y|X = x P(T ≥ y, M ≥ n|X = x) . On définit φ1(t, m) = m1m≥n,T≥y, et φ2(t, m) = 1t≥y,m≥n. On doit donc estimer E[φ1(T, M)|X = x], et E[φ2(T, M)|X = x]. 42 / 47
  44. 44. Quelques idées d’application pratique en assurance Ce type de données est largement utilisé en assurance (vie et IARD). Nous pourrions par exemple utiliser ces techniques pour... Provisionnement ligne à ligne et estimation du montant final du sinistre (en évitant les hyp. de type Merz & Wuthrich). Détermination de plafond de garantie. Risque incapacité - invalidité. Portefeuille de plusieurs entités. Evaluation de mesure de risque (quantile) à des fins règlementaires. 43 / 47
  45. 45. Conclusion Pourquoi cette technique est-elle intéressante pour le big data ? → Algorithme naturellement adapté à la gestion de grandes bases de données ; → Technique non-paramétrique : pas d’hypothèses sur le lien entre quantité d’intérêt et facteurs de risque ; → Simplicité de l’estimateur final : faible dimension, interprétation de l’arbre et visionnage des résultats ; → Consistance de la procédure théoriquement prouvée ; → Classement naturel du pouvoir discriminant des covariables ; 44 / 47
  46. 46. → Multiples extensions possibles en travaillant sur les propriétés de la fonction de perte. Quels en sont les points faibles ? → Hypothèses sous-jacentes pouvant parfois être remises en cause ; → Manque de résultats théoriques (étape élagage) dans des cas moins classiques ; → Instabilité : nécessité de la compléter avec des techniques de type forêts aléatoires. 45 / 47
  47. 47. Bibliographie R. Bellina. Méthodes d’apprentissage appliquées à la tarification non-vie. Mémoire d’actuariat, 2014. L. Breiman, J. Friedman, R. A. Olshen, and C. J. Stone. Classification and Regression Trees. Chapman and Hall, 1984. Servane Gey and Elodie Nedelec. Model selection for cart regression trees. IEEE Transactions on Information Theory, 51(2) :658–670, 2005. Hemant Ishwaran and Udaya B. Kogalur. Consistency of random survival forests. Statistics and Probability Letters, 80(13-14) :1056–1064, 2010. Annette M. Molinaro, Sandrine Dudoit, and Mark J. van der Laan. Tree-based multivariate regression and density estimation with right-censored data. JMVA, 90(1) :154–177, 2004. 46 / 47
  48. 48. Nicolai Meinshausen. Quantile regression forests. Journal of Machine Learning Research, 7 :983–999, 2006. Nicolai Meinshausen. Forest garrote. Electronic Journal of Statistics, 3 :1288–1304, 2009. X. Milhaud, V. Maume-Deschamps, and S. Loisel. Surrender triggers in life insurance : what main features affect the surrender behavior in a classical economic context ? Bulletin Français d’Actuariat, 22 :5–48, 2011. Walter Olbricht. Tree-based methods : a useful tool for life insurance. European Actuarial Journal, 2(1) :129–147, 2012. A. Paglia and M.V. Phelippe-Guinvarc’h. Tarification des risques en assurance non-vie, une approche par modèle d’apprentissage statistique. Bulletin français d’Actuariat, 11(22) :49–81, 2011. 47 / 47

×