Support de présentation pour la zéance XML TEI du séminaire Digital Humanities EHESS 2009-2010

1. XML TEI : un outil méthodologique
pour la recherche en SHS
Introduction à XML-TEI. Enjeux et perspectives
EHESS – 3 février 2010
Nicole Dufournaud
Ingénieure de recherche - CESR Tours
Chercheuse en Histoire

2. Une expérimentation
personnelle et collective :
vers une communauté !
● En 1996-1997 : projet Emma
● De 1998 à 2007 : maîtrise, DEA et thèse
– Edition et analyse des textes en SGML/TEI puis
XML/TEI
● A partir de 2004/2005 : CESR Tours, cours de
Master Pro (½ journée puis 2 jours)
● 2006/2007 : projet Millefeuille, mise en place du
projet
● De mai 2007 à mars 2010 : CESR univ. Tours,
projet BVH

3. Plan
● Notions de base :
– Les éditeurs
– La structuration de données
– L'encodage
● Un meta-langage : XML
● Un outil d'édition, de diffusion et d'analyse : TEI
(Text Encoding Initiative ou Text Encoding for
Interchange ! ) : expérimentations personnelles
● Les enjeux et les perspectives : la visualisation
exploratoire

4. Editeur de textes graphiques et
structuration des données
● Différences entre un éditeur, un traitement et
un formateur de textes
– Aspect graphique : Word
● Anciennement « traitement de textes »
● « Editeur de textes graphiques »
● « WYSIWYG »
– Aspect structurel hiérarchique : Latex
● Anciennement « formateur de textes »
● « Editeur de documents structurés »
puis HTML et XML

5. Editeur graphique et
structuration des données
● Pour diffuser un texte, pourquoi NE PAS
utiliser Word fait pour la publication papier ?
– Est-ce un langage compréhensible pour la
machine ?
● Pour échanger un texte, pourquoi NE PAS
utiliser Word fait pour la publication papier ?
– Peux-t-on y distinguer les modifications
d'origine, les interventions diverses ?

6. Structurer des données
● C'est convertir des données (textuelles) dans un
format exploitable par un ordinateur
● Dans le contexte des documents numériques,
c’est :
– Utiliser un langage formel de marquage pour décrire
un texte sous la forme d’une suite de phénomènes
textuels et paratextuels qualifiant et structurant le
texte.
● Le document numérique est alors exploitable par
l'humain ET par la machine.
● Exemple d'un format compris par la machine :
HTML : site de l'EHESS !

7. Un document

8. Almanachs Royaux / Nationaux / Impériaux
EHESS - 3 février 2010 8

9. Structure du document
Exemple d'un livre imprimé
● La page de titre
– Le titre
– Les pièces liminaires
● Privilège
● Dédicace
● Préface...
● Le texte
– Le corps du texte
– Un groupe de textes : recueils
● Les pièces annexes

10. Structure du document
● Le corps du texte
– Les divisions avec leur en-tête ou titre
● Les chapitres
● Les paragraphes
● Les strophes...
– La mise en valeur typographique : le rendu
● Les notes
● Les marges
● Les tableaux et les listes
● Les illustrations

11. En histoire
Pourquoi structurer ses données ?
Comment structurer ses données ?

12. En histoire
● Pourquoi structurer ?
– Méthode traditionnelle :
● Hypothèse
● Sources
● Vérification de l'hypothèse
– Méthode à l'ère du numérique
● Données numériques en nombre croissant
● Exploitation difficile par la machine
● Voir article de Ben Shneiderman « Science
2.0 » http://www.cs.umd.edu/~ben/Science
%202%200-AAAS-3-7-2008.pdf

13. Comment structurer ?
● « Un format d'échange s'exprime dans un
encodage qui explicite une théorie
concernant un aspect quelconque d'un
document » Lou Burnard, Oxford University
● Les limites de l'encodage
– Tout encodage est une interprétation
– Aucun langage d'encodage ne peut
prétendre être complet
● Les atouts de l'encodage
– Permet l'exploration
– Donne des idées

14. XML/TEI
● TEI est un projet pluridisciplinaire pour
uniformiser le codage de documents en vue
de leur échange : recommandations pour un
standard d'échange
● TEI a besoin d'un environnement : XML,
Eclipse, HTML, XSLT, etc.
● XML est un meta-langage pour aider à la
saisie d'un texte en le structurant.
● XML/TEI : outil d'édition, de diffusion et
d'analyse

15. XML
● XML représente :
– les données structurées hiérarchiquement
– une arborescence composée de parents et
d'enfants
● XML est « indépendant »
● XML a une syntaxe qui doit être respectée

16. http://www.tei-c.org/
● Les enjeux :
– « Faciliter la création, l'échange et
l'intégration des données textuelles
informatisées » (Lou Burnard)
● Les buts :
– « Préférer les solutions générales à celles
spécifiques à une discipline » (Lou
Burnard)
● mais système modulaire !
http:www.tei-c.org

17. http://www.tei-c.org/
● Pour structurer, il faut baliser !
● Pour baliser, il faut utiliser des éléments et
des attributs

18. Principes de balisage
● L'élément est la structure de base marquée par
une balise de début et une balise de fin
– La balise ouvrante se marque avec des chevrons :
<...> ; pour la balise fermante une barre
oblique est ajoutée </...> :
● exemple <...>...</...> ;
si le contenu est vide, les balises se raccourcissent :
● Exemple <.../>
soit une barre oblique APRES le contenu
–Exemple :
<title>Le Tiers Livre</title><lb/>

19. Principes de balisage
● Deux règles essentielles dans XML :
●la syntaxe des balises
● Règle d'imbrication stricte : il est interdit de faire
chevaucher les éléments, par exemple :
<title><p>Le Tiers Livre</title></p>
● Hierarchie : une certaine catégorie d'éléments est
imbriquée dans une autre catégorie :
● <addrLine> est toujours imbriqué dans <address>
● <date> est parfois utilisé seul ou parfois imbriqué dans
d'autres éléments comme <bibl>

20. Principe de balisage
● Balisage formel et typographique qui permet :
– une transcription structurelle :
● <div> et <head>
● <p>
– Un respect de la mise en forme :
● <lb>
● <fw> pour Forme Work pour les en-tête et pied
de page
● Balisage sémantique : éléments analytiques
succincts
● <persName><date> <geogName><address>

21. Principe de balisage
● L'attribut est un paramètre associé à un élément
– Il fournit une description de l'élément
● Exemple : @n
● <pb n="1"/> 1 étant la valeur de l'attribut
– Autres attributs :
● @type
● @rend
● Certains éléments sont également des attributs:
– Exemple : <hand> et @hand

22. Présentation du fichier
<teiHeader>
...
</teiHeader>
<text>
<body>
<div>
...
</div>
</body>
</text>

23. Transformation
● La feuille de style
– XSLT : transforme du XML en HTML
– Elle est documentée
● Elle est générée automatiquement avec les
schéma
● Elle permet :
– D'afficher en html avec un ou plusieurs rendu
possibles
– Des traitements par les ordinateurs

24. Les enjeux
● TEI: un outil d'édition, de diffusion et
d'échange
● TEI: un apport pour la Recherche en SHS
– Analyses
– Visualisation

25. Expérimentation personnelle :
travaux universitaires en histoire
● Thèse : « Rôles et pouvoirs des femmes au XVIe
siècle dans la France de l'Ouest »
– Un sujet à controverse
– Pas de données sérielles
– Sources difficiles : à lire et à comprendre
● Maîtrise : « Comportements et relations sociales en
Bretagne vers 1530, d'après les lettres de pardon »
– Source difficile
– Étude qualitative et quantitative : analyse sérielle
● Projet Emma

26. Projet Emma : 1995-1998

27. Expérimentation personnelle en
histoire
● Maîtrise et DEA : 150 lettres de pardon.
– Volonté de :
● Diffuser et échanger
● Dépouiller par un moyen informatique
● D'analyser des données informatiquement
pour une exploitation informatique
des résultats
– Recherche d'un format de codage de texte
dit « structuré » comme support

28. Expérimentation personnelle en
histoire
● TEI semble idéal !
– Convention commune pour diffuser et échanger
– Langage compréhensible pour la machine en vue
de traitements informatiques
– Rend la transcription exhaustive exploitable,
analysable et réutilisable
– Garde la diplomatique à l'inverse des BDD
– Peut mettre en relation des données
– Lie les analyses aux sources pour vérification

29. Expérimentation personnelle en
histoire avec un informaticien
● Méthodologie : trois étapes
– Saisie de la transcription exhaustive avec encodage
typographique et formel en SGML/TEI P3
● Affichage grâce à une feuille de style élaborée
– Enrichissement en TEI (noms, dates, lieux,
typologies)
● Production d'index
– Encodage analytique en TEI avec liaison d'une grille
de dépouillement

30. Etape 0-Transcription diplomatique
[11] en la compagnie de il et Jehanne Serance, lors sa femme, Jehan
[12] durandiere et sa femme, mere dudit Leserclier, et pareillement
[13] André Serance, oncle paternel de ladite Jehanne Serance, durant
[14] lequel soupper ilz firent assemblement bonne chere et aprés
[15] iceluy soupper et que iceulx Durandiere, sa femme, André Serance
[16] et autres s'en furent allez et retirez chacun en sa maison sans
[17] avoir noyse ne parolles de rigueur, arriva oudit villaige de
[18] Bonhardy prés la maison desdits Leserclier et sa femme ung nommé
[19] Mace Chassé qu'il dist a ladite femme Leserclier par celles
[20] parolles : « Voz beuffs sont en mes naveaulx et y ont esté
[21] par troys foiz ; vous n'en couvrirez voz bledz de troys jours ». A quoy
[22] ladite Jehanne Serance, femme dudit Leserclier, luy respondit
[23] et dist que les luy eust renduz et que elle eust baillé
[24] a iceluy Chassé ung grant pain sans que ledit Leserclier, son
[25] mary en eust eu congnoissance, quelles parolles ledit
[26] Leserclier entendit et dist lors a ladite Jehanne Serance
[27] par semblables parolles : « Jehanne, prenon ses porcs qui sont
[28] a rompre noz pailliers et les mectons en parc », esperant celuy
[29] Leserclier que les porcs qui estoint prés le paillier dudit
[30] Leserclier apartenseissent audit Chassé. A quoy ladite
[31] Jehanne respondit : « Ilz ne sont pas a luy, ilz sont a nous ».
[32] En l'endroit de quoy ledit Leserclier en courant aprés
[33] lesdits pourceaux, dist a icelle Jehanne Serance sa femme :
[34] « je vous avoys dit que votre chambriere et vous, eussiez mené
[35] les beuffs en la close du pommier dessur ». Et ainsi courant
[36] et disant celles parolles desplaisant de la prinse et
[37] emparchement de ses dits beuffs, print iceluy Leserclier
[38] une pierre qu'il trouva ou chemyn et la gecta rudement
EHESS - 3 février 2010 30

31. Etape 1-Codage diplomatique
● Annotations éditoriales:
– <sic> pour des erreurs manifestes
– <abbr> pour les abréviations
– <unclear> pour les mots incertains
– <del> pour les ratures
– <add> pour les ajouts
– <note> pour des notes
– etc.

32. Codage et balisage
diplomatique TEI
[11] en la compagnie de il et Jehanne Serance, lors sa femme, Jehan
[12] durandiere et sa femme, mere dudit Leserclier, et pareillement
[13] André Serance, oncle paternel de ladite Jehanne Serance, durant
[14] lequel soupper ilz firent assemblement bonne chere et aprés
[15] iceluy soupper et que iceulx Durandiere, sa femme, André Serance
[16] et autres s'en furent allez et retirez chacun en sa maison sans
[17] avoir noyse ne parolles de rigueur, arriva oudit villaige de
[18] Bonhardy prés la maison desdits Leserclier et sa femme ung nommé
[19] Mace Chassé qu'il dist a ladite femme Leserclier par celles
[20] parolles : « Voz beuffs sont en mes naveaulx et y ont esté
[21] par troys foiz ; vous n'en couvrirez voz bledz de troys jours ». A quoy
[22] ladite Jehanne Serance, femme dudit Leserclier, luy respondit
[23] et dist que les luy eust renduz et que elle eust baillé
[24] a iceluy Chassé ung grant pain sans que ledit Leserclier, son
[25] mary en eust eu congnoissance, quelles parolles ledit
[26] Leserclier entendit et dist lors a ladite Jehanne Serance
[27] par semblables parolles : « Jehanne, prenon ses porcs qui sont
[28] a rompre noz pailliers et les mectons en parc », esperant celuy
[29] Leserclier que les porcs qui estoint prés le paillier dudit
[30] Leserclier apartenseissent audit Chassé. A quoy ladite
[31] Jehanne respondit : « Ilz ne sont pas a luy, ilz sont a nous ».
[32] En l'endroit de quoy ledit Leserclier en courant aprés
[33] lesdits pourceaux, dist a icelle Jehanne Serance sa femme :
[34] « je vous avoys dit que votre chambriere et vous, eussiez mené
[35] les beuffs en la close du pommier dessur ». Et ainsi courant
[36] et disant celles parolles desplaisant de la prinse et
[37] emparchement de ses dits beuffs, print iceluy Leserclier
[38] une pierre qu'il trouva ou chemyn et la gecta rudement
EHESS - 3 février 2010 32

33. Etape 2 - les annotations
sémantiques
● <date> pour les dates
● <name> pour les noms
● <rs type="…">
– Toponyme pour les lieux
– Arme pour les armes
– Meubles, architecture, etc. suivant les
centres d’intérêts
● <signed>

34. Balisage sémantique TEI
EHESS - 3 février 2010 34

35. Etape 3-l'encodage analytique
● Encodage analytique
– TEI permet une liaison explicite entre le texte et une
grille de dépouillement (inspirée de la thèse de C.
Gauvard) :
● Diplomatique
● Identité
● Sort du coupable après le crime : prison, pilori, relax
● Participants au crime
● Déroulement du crime
● Octroi du pardon royal
– Cette grille pouvait être enrichie incrémentalement
● à mesure de l’évolution du travail de transcription, et
● de l’évolution de la réflexion.

36. Analyse à l’aide de mécanismes TEI
Interprétation
Intercesseur (Personnage)
parens et amys
Victime (Personnage)
Jehanne Serance
Relation criminel/intercesseur (Personnage)
consanguins de notre povre subgect
Nom du criminel (Personnage)
Pierre Leserclier
Statut social du criminel (Statut)
homme de labeur
Statut social de la victime (Statut)
lors sa femme
Moment du crime (Date)
aprés iceluy soupper
Motif du crime (Motif)
parolles desplaisant
Lieu du crime (Lieu)
Bonhardy
Circonstance atténuante (Circonstance)
qui est chargé de petiz enfans orphelins avoit
auparavant bien et honnestement vescu et entretenu
icelle sadite femme et enfans sans jamais avoir esté
accusé ni convancu dautre cas reprouchable
Date du crime (Date)
dimanche, dernier jour de septembre dernier
Date du jugement (Date)
moys d'octobre l'an mil cinq cens vingt
Type du crime (Crime)
de vie a trespas
Elément volé (Objet)
None
EHESS - 3 février 2010 36

37. Expérimentation personnelle :
maîtrise en histoire
● Le fichier TEI :
<lb n="19">et ce pour raison de labourer et recrue<index
level1="recrue"> que faisoit...
● Le fichier glossaire :
<div type="glossaire">
<list type="gloss">
<label id="abrevier"><term>Abrévier</term></label>
<item><gloss>abréger, raccourcir, résumer.</gloss></item>...
<label id="recrue"><term>Recrue</term></label>
<item><gloss>aménagement d'une parcelle cultivée conquise sur
un terrain inculte</gloss></item>
...</list>
</div>

38. Expérimentation personnelle :
maîtrise en histoire
● Les outils : Jean-Daniel Fekete (Ecole des mines de
Nantes puis INRIA)
– Editeur : Emacs
– Encodage TEI : SGML/TEI Lite et P3
– Traducteur avec Perl pour la mise en page, et vers
HTML pour lier automatiquement les lettres à leurs
images.
– Puis XSL (devenu XSLT), et surtout XML.
● Les traitements :
– Un testeur d'intégrité sémantique
– un indexeur, un générateur de table, des filtres pour

39. Expérimentation personnelle :
maîtrise en histoire
● Les résultats en 1999
– Production automatique de tables d'analyses sous un
tableur ; elles deviennent des instruments de travail :
réalisation d'études statistiques
– Production de multiples index qui croisés permettent
● Un travail d'écriture facilité
● De tester l'intégrité de l'encodage : une lettre de
pardon comprend toujours un crime !
– L'exploitation historique en est simplifiée et corroborée
; les analyses sont vérifiables et réutilisables
C'est une méthode scientifique !

41. Expérimentation personnelle :
thèse en histoire
● En 2007 :
– Thèse sur les « Rôles et pouvoirs des
femmes au XVIe siècle dans la France de
l'Ouest »
● Un sujet à controverse
● Pas de données sérielles
● Sources difficiles : à lire et à comprendre
Méthode de science dure : accumulation de
cas.

42. Expérimentation personnelle :
thèse en histoire
● Variantes :
– Diversité des sources
– Nombre plus élevé : 1000 textes saisis et
encodés
● Trop de données numériques
– Grille de dépouillement refaite complètement
– Mise en relation directe entre le texte de la
thèse et les références (voir la thèse en
ligne)
– De la visualisation pour l'analyse et
l'exploration

43. Exploration des données :
Infozoom

44. Liaison texte/référence en ligne
http://nicole.dufournaud. net
EHESS - 3 février 2010 44

45. Expérimentation personnelle :
thèse en histoire
● Utiliser TEI :
– a permis de référencer les analyses et de les vérifier
– c'est aller au-delà d'une simple publication :
● pour faciliter :
– le dépouillement
– l'analyse
– la production de résultats
● pour réutiliser le processus pour d'autres analyses
ultérieures (maîtrise puis thèse)
Cette méthode est une véritable aide pour l'historien à établir des
interprétations qui se vérifient par les textes de sources primaires

46. Visualisation
http://www.aviz.fr/
● Lorsqu’on a des données et qu’on cherche des
questions intéressantes, on doit explorer.
● Principe de l’analyse exploratoire :
– utiliser nos capacités visuelles pour détecter des
phénomènes inattendus
● Spécialité ancienne, la visualisation est une aide à
l'analyse (voir les travaux de J. Bertin).
– L'interactivité l'enrichit énormément.
● Inconvénient : difficile à utiliser sur des données
non ou semi structurées.
● Objectifs : vue d'ensemble, construction
d'hypothèses et analyses.

48. http://xkcd.com/657/

49. Cooccurrences de personnes
49
dans la bible
http://manyeyes.alphaworks.ibm.com/
manyeyes/users/crossway
Histoire sociale des pouvoirs
EHESS - 3 février 2010
politiques 2008-2009
23 janvier 2009

50. Co-publication INRIA Saclay (04-08)
EHESS - 3 février 2010
Histoire sociale des pouvoirs 50
politiques 2008-2009

51. Visualisation de la visite d’hôtels
EHESS - 3 février 2010 51

53. Visualisation et TEI
● Text Encoding Initiative
– TEI est une norme qui structure du contenu
d'un document
– TEI ne permet pas de montrer
graphiquement des analyses
– TEI ne s'intéresse qu'au caractère
● La Visualisation est une autre technologie
● Associer TEI avec la visualisation permet de
faire une édition graphique des analyses
structurelles d'un texte

54. Extraction de données /
calculs et graphiques
● Quelques exemples :
– Nombre de lettres de grâce par année
– Délais entre le crime et la rémission au 16e
siècle en Bretagne
– Compus et la visualisation XML
– Réseaux sociaux
– Arbres généalogiques
– Carte des lieux mentionnés
– Diagrammes de flux liés à la généalogie

55. Visualisation statique
Graphique n° 3 : Nombre de lettres de grâce par année
100
90
80
70
60
Nombre de lettres
Nbre de lettres
50 Nbre de mois en compte
Lettre par an
40
30
20
10
0
1525 1526 1527 1530 1531 1532 1533 1534 1535 1538 1550 1556 1559 1562 1563 1573 1574
Anné e
EHESS - 3 février 2010 55

56. Graphique n° 4 : Délais entre le crime et la rémission
300
250
200
Délais en mois
150
100
50
0
04/01/31
18/01/31
01/02/31
30/08/31
13/09/31
27/09/31
25/10/31
08/11/31
05/06/32
15/02/31
01/03/31
15/03/31
29/03/31
12/04/31
26/04/31
10/05/31
24/05/31
07/06/31
21/06/31
05/07/31
19/07/31
02/08/31
16/08/31
11/10/31
22/11/31
06/12/31
20/12/31
03/01/32
17/01/32
31/01/32
14/02/32
28/02/32
13/03/32
27/03/32
10/04/32
24/04/32
08/05/32
22/05/32
Date d e la r é m is s ion
• Délais entre le crime et la rémission:
<docdate ana="diplomatique-date-signature-chancellerie"
value="04/01/1531">4 janvier 1530</docdate>
<date ana="crime-date" value="24/10/1529">vingt quatriesme
<abbr>jour</abbr> d'octobre dernier</date>
EHESS - 3 février 2010 56

57. Compus et la visualisation XML

58. Arbres généalogiques
23 janvier 2009 EHESS - 3 février 2010
Histoire sociale des pouvoirs 58
politiques 2008-2009

59. EHESS - 3 février 2010 59

60. Aide à la
narration
EHESS - 3 février 2010 60

61. Réseau social

62. Carte des lieux mentionnés

64. Conclusion
● Après l'ère de la mise en page, celle
du contenu :
– structurer un texte rend explicite le
sens du texte !
● TEI est aussi :
– un instrument d'analyse
– un outil qui permettra l'exploration
d'une quantité de données en
augmentation constante

65. 4 grandes idées – Lou Burnard
● Il faut maîtriser l'ordinateur car c'est notre
manière de nous exprimer maintenant ! TEI y
nous aide.
● Le texte a une structure et une signification
● Le « balisage explicite » s'intéresse plus au
contenu qu'à la mise en page !
● Le texte est quelque chose d'abstrait :
– La construction du texte vient des lecteurs :
● Gardez le texte original !

66. Perspectives
● Problèmes récurrents :
– Réseaux sociaux
– Arbres généalogiques
– Analyses textuelles : textométrie
– Variantes
● Des outils d'analyse et d'exploration sont
mûrs mais il manque la connexion entre les
données et les outils
– Avec une seule convention commune : TEI

67. Les références Internet
● http://nicole.dufournaud.net
● http://www.aviz.fr
● http://xkcd.com/657/large/
● http://tei-c.org/
● http://www.cn-telma.fr/
● http://www.bvh.univ-tours.fr/
● http://www.cs.umd.edu/~ben/Science%202%200-AAAS-3-7-2008.pdf

68. Publications
● N. Dufournaud. Manuel d’encodage XML-TEI Renaissance et temps modernes Imprimés –
manuscrits : Recommandations pour une application TEI. Projet BVH, Bibliothèques Virtuelles
Humanistes : http://www.bvh.univ-tours.fr/XML-TEI. Juillet 2009.
● N. Dufournaud and J-D. Fekete. Comparaison d'outils pour la visualisation de sources
historiques codées en XML/TEI. Document Numérique, 9(2):37–57, 2006, Hermès – Lavoisier.
● J-D. Fekete and N. Dufournaud. Compus: visualization and analysis of structured documents for
understanding social life in the 16th century. In Proceedings of the fifth ACM conference on
Digital libraries, pages 47–55, 2000. ACM Press.
● J-D. Fekete and N. Dufournaud. Analyse historique de sources manuscrites : application de TEI
à un corpus de lettres de rémission du XVIe siècle. Document Numérique, numéro spécial “Les
documents anciens”,, 3(1–2):117–134, 1999, Hermès – Lavoisier.
● J-D. Fekete and N. Dufournaud. Utilisation de TEI comme support méthodologique au
dépouillement de sources manuscrites. In Actes du Vième Colloque National de L'Association
Française pour l'Histoire et l'Informatique (AHI), November 1998.
● J-D. Fekete. Expérience de codage de document à intérêt graphique à l'aide de TEI. In Actes du
congrès Eurotex 98, pages 131–142, Saint Malo, March 1998.
EHESS - 3 février 2010 68