Presented by Colas Chervier, CIRAD/CIFOR-ICRAF, at "Measuring deforestation in community forests in the DRC" (31 May - 02 June 2022)

1. Analyse d’impact quantitative
« contrefactuelle »
Mise en oeuvre
Colas Chervier
CIRAD/CIFOR
colas.chervier@cirad.fr

2. Plan de la présentation
Jour 1.
• A quelles questions ces méthodes peuvent-elles répondre?
• vaste éventail de questions relatives à l’efficacité des politiques en vue de leur
amélioration/réplication
• Les grands traits de ces méthodes et pourquoi les utiliser?
• permettent d’avoir une mesure chiffrée précise, exempt de biais et à large échelle de
l’impact.
Jour 2.
• Aller plus dans le détail des méthodes
• En pratique: quelles étapes pour les mettre en œuvre?
• Applicabilité de ces méthodes pour les forêts communautaires

3. Description des méthodes
(plus en détail)

4. Permet de réduire les biais associés aux
méthodes « simples »
Comparaison avant / après
• Ex. crédits carbones basés sur les tendances
historiques.
• Facteurs contemporains qui influencent le
résultat cible (ex. changement dans le prix des
produits agricoles)
Comparaison intervention / contrôle aléatoire
• Biais de sélection, il existe des différences
initiales entre groupe de contrôle et intervention
(placement non aléatoire) qui influencent les
résultats
Avant-Après
intervention
Contrôle
Intervention (PSE)

5. Retour sur le matching (1/2)
Le principe
• On affecte à chaque agent un « contrefactuel » avec
des probabilités semblables d’être sélectionné dans
le programme et de subir des changements de la
variable de résultat d’intérêt
o En moyenne il n’y a pas de différence entre les deux
groupes pour les caractéristiques observables (variables
de contrôle)
o Le biais de sélection est contrôlé.
• La valeur de résultat moyenne des contrôles
correspond en théorie à la valeur moyenne du
groupe traité s’il n’avait pas participé au programme.
o La comparaison des moyennes des deux groupes nous
donne en théorie l’impact débarrassé du biais de
sélection.

6. Retour sur le matching (2/2)
Les conditions
• Si on dispose de données pour un
nombre important d’agents n’ayant pas
reçu le programme
• Si on a une bonne compréhension de
ce qui a influencé la localisation du
programme et de ce qui influence le
paramètre d’intérêt
• Si on a des données pré-intervention
Hypothèse très forte
• Il n’y a pas de différence non observée
corrélée aux résultats entre le groupe
de traitement et le groupe de
comparaison (e.g. gouvernance)

7. Retour sur la double différence (1/2)
Le principe
• Avant-après – avec-sans →
• La différence dans les résultats avant-
après pour le groupe participant
contrôle pour les facteurs invariables
dans le temps qui affectent ce groupe
(observé: année de naissance, etc. ; non
observée : l’intelligence).
• Comparer la différence de résultats
avant-après pour un groupe qui n’a pas
participé au programme, mais qui a été
exposé aux mêmes conditions externes
permet de de prendre en compte les
facteurs externes variables dans le
temps.

8. Retour sur la double différence (2/2)
Les conditions
• Des données avant et après pour
la variable de résultat
• Possibilité de contrôler les
facteurs variables dans le temps
et qui change selon les individus
si on a ces données
Hypothèse
• Ne permet pas de contrôler les
différences entre les deux
groupes qui changent dans le
temps

9. Les étapes pour mettre en œuvre ces
méthodes

10. Cadrage conceptuel
• Définir la question qui répond à
un besoin opérationnel
• Travailler avec les parties
prenantes
• A raisonner en fonction aussi de
l’accès aux données.
• Construire une théorie du
changement détaillant les
chemins d’impact et les
conditions de réalisation de ceux-
ci et les possibles explications
alternatives (ex. autres causes de
déforestation).
• Travailler avec les experts et les
parties prenantes

11. Développement de la stratégie d’estimation
• Définir son unité d’analyse (ménage,
pixel…), son groupe d’unités traitées et
surtout d’unités de contrôles sur la base
d’une compréhension d’où la politique
pourrait être mise en œuvre dans le futur.
• Travailler avec des experts et les parties
prenantes
• Choisir la stratégie d’estimation d’impact en
fonction des données auxquelles on pense
avoir accès et le nombre d’unités traitées et
contrôles
• ex. matching + DID ou seulement matching si
pas de données pour la variable de résultat
avant la mise en œuvre du programme
• Travailler avec des spécialistes de l’évaluation
d’impact
2000: 285 concessions 2003: 122 concessions

12. Collecte des données
• Identifier les variables spécifiques dont on
aura besoin sur la base de la ToC (variable
de résultat et de contrôle notamment) et les
sources de données.
• Rappel, matching : variables pré-interventions
ou invariantes qui influencent le résultat
d’intérêt et la probabilité d’être sélectionné
dans le programme.
• Collecter/rassembler les données
nécessaires à l’analyse et les compiler dans
une base de données.
• Mise en place d’un système de suivi.
• Compétences SIG nécessaires
• Compétences pour le design et la mise en
œuvre d’enquêtes visant évaluer l’impact
socio-économique (particularité de
l’échantillonnage).
Variable
name
Variable
description
Data source File name
Attribute and
category
name
Year
Settlements
Euclydian
distance to
closest
settlement
Forest Atlas
2009
shp file:
RDC_localité_
2009
All points
2009 (only
year
available)
Roads
including
logging roads
- OLD OPEN
Euclydian
distance to
an "old" open
road
https://www.
research-
collection.eth
z.ch/handle/
20.500.11850
/342221
shp:
Kleinshcroth
et al
old_open
2003 and
before

13. Analyse des données, etc.
• Analyse
• Compétences en économétrie
• Interprétation
• Travailler avec des experts et les
parties prenantes.
• Valorisation
• Scientifique
• Produits adaptés aux parties
prenantes

14. Applicabilité de cette méthode pour
les forêts communautaires

15. Quelques éléments de réflexion
• Il semble y avoir un intérêt politique (cf. ce groupe de travail)
• Il faut pouvoir s’attendre à mesurer un impact / que la politique soit réellement
mise en œuvre ou bien le sera
• Permet d’avoir une double stratégie – évaluer les sites ‘pilotes’ et mettre en place un
système de suivi pour les prochains.
• Techniquement, cela semble faisable
• Le fait qu’il s’agisse d’une politique qui est en train de se mettre en œuvre permet assez
facilement de définir des contrôles (candidats), d’avoir des données pré-intervention et de
limiter les risques éthiques associés à l’enquête en zone contrôle.
• Est-ce qu’on a accès aux shp des FC en RDC, y-compris des FC candidates?
• Papier en cours sur l’impact sur la déforestation des concessions forestières en RDC…nous
avons donc une base solide pour l’impact environnemental
• Et scientifiquement…
• peu d’évaluation d’impact de CF avec un fort accent mis sur les aspects commerciaux.

16. Ce que nous avons déjà à disposition
✓Un réseau de chercheurs CIFOR à la pointe sur ces questions pour
nous appuyer sur les aspects techniques/méthodologiques
✓Des données géo-référencées avant /après /avec /sans en RDC pour
une évaluation de l’impact environnemental (base de données en
cours de construction)
✓L’expérience CIFOR et plus particulièrement de l’équipe du projet
GCS REDD+ pour le design d’enquêtes pour estimer les impacts
socio-économiques
✓Un petit budget (terrain, organisation d’ateliers, contrats courts sur
de l’évaluation d’impact, etc.)

17. Ce qu’il nous manque
❑ Des éléments fondamentaux
• Shp. des CF en RDC
• La ToC et les variables à suivre
❑Si l’objectif est d’évaluer / de suivre les impacts socio-économiques
• Données socioéconomiques: avant après avec sans, le plus « handicapant » étant
l’absence de données pré-intervention
• Budget complet pour une enquête ménage
❑Plus de collaborations
• Des collaborations avec des politiques et académiques en RDC avec un intérêt sur
ces questions pour pouvoir faire en sorte que la recherche soit co-construite.
• Identification d’un groupe d’experts sur les CF en RDC pour développer une théorie
du changement
• Potentiellement : une personne académique (doctorant, post doc congolais) avec
des connaissances en évaluation d’impact pour prendre le (co-)lead

18. Conclusion jour 2
• J’espère vous avoir convaincu sur la faisabilité de mettre
en œuvre cette méthode sur les CF en RDC:
• Relativement aisé pour l’impact sur la déforestation
• Un peu plus difficile pour les impacts sociaux (budget, manque
de données)
• Besoin de développer des partenariats avec des parties
prenantes et académiques en RDC.