Le document traite du développement de ressources en swahili pour un système de reconnaissance vocale. Il souligne l'importance du swahili en tant que langue largement parlée en Afrique de l'Est, ainsi que les défis liés à la création de corpus audio et à la transcription. Des méthodes variées ont été utilisées pour collecter des données, incluant le crowdsourcing et la transcription collaborative.

1. Développement de ressources en
swahili pour un système de RAP
Hadrien Gelas1,2, Laurent Besacier2, François Pellegrino1
1Laboratoire DDL, CNRS - Université de Lyon, France
2LIG, CNRS - Université Joseph Fourier Grenoble, France

2. Introduction Résultats
du Swahili du système
1 2 3
Ressources
pour la RAP

3. Swahili ?
1

4. Grande
partie
d’Afrique
de l’Est
9
Parlée dans plus de pays

5. Grande
partie
d’Afrique
de l’Est
Langue officielle de 5
nations

6. Grande
partie
d’Afrique
de l’Est
Langue
swahili

7. 2% seulement de locuteurs natifs
(entre 800k et 5M)
98% sont
non-natifs
entre 40M et 100M de locuteurs

8. Services numériques
en swahili

9. Services numériques
en swahili

10. Services numériques
en swahili

11. Services numériques
en swahili

12. Services numériques
en swahili

13. Services numériques

14. Services numériques

15. Services numériques

16. Services numériques

17. Services numériques

18. Services numériques
Mais pas encore

19. Famille
Bantu
333

20. Swahili et RAP
Ressources Non tonale
Morphologie riche Orthographe
Classes nominales
système d’accord
verbes complexes

21. Ressources en RAP
"
Dictionnaire
Modèles
r prononciation r Modèles
acoustiques
l l de langage
2 J Sorties
texte

22. Ressources en RAP
"
Dictionnaire
Modèles
r prononciation r Modèles
acoustiques
l l de langage
Nécessite un corpus
de texte J Sorties
texte

23. Corpus texte (M mots)
28
12
5
2
Sawa corpus [Getao and Miriti] Helsinki corpus Our corpus

24. Corpus texte (M mots)
28
Collecté depuis 16
sites de news
12
5
2
Sawa corpus [Getao and Miriti] Helsinki corpus Our corpus

25. Morphologie Riche
en swahili

26. Morphologie Riche
en swahili
English They will not tell you

27. Morphologie Riche
en swahili
English They will not tell you
Swahili hawatakuambieni

28. Morphologie Riche
en swahili
English They will not tell you
Swahili hawatakuambieni
Segm. ha-wa-ta-ku-ambi-e-ni
Gloss NEG-SM2-FUT-OM2-tell-FIN-PL

29. Morphologie Riche
et RAP [Creutz et al., 2007]

30. Morphologie riche
en RAP (Type OOV %)
19.17
OOV % élevé
12.46
10.28
Word-65k Word-200k Word-400k

31. Morphologie riche
en RAP (Type OOV %)
Afin d’obtenir une
19.17 couverture lexicale
plus large, nous
avons utilisé une
12.46 approche non-
10.28 supervisée
(Morfessor) pour
segmenter les
mots en unités
sub-lexicales
Word-65k Word-200k Word-400k

32. Morphologie riche
en RAP (Type OOV %)
19.17
12.46
10.28 11.36
1.61
Word-65k Word-200k Word-400k Morf-65k Morf-200k

33. Ressources en RAP
"
Dictionnaire
Modèles
r prononciation r Modèles
acoustiques
l l de langage
Nécessite la prononciation
des unités
J Sorties
texte

34. Dictionnaire de
prononciation
65k unités les plus fréquentes
+
Un script Grapheme-to-phoneme tirant
bénéfice de la regularité de l’orthographe swahili

35. Dictionnaire de
prononciation
65k unités les plus fréquentes
+
Un script Grapheme-to-phoneme tirant
bénéfice de la regularité de l’orthographe swahili
MAIS…
Problèmes avec tout les mots anglais, noms
propres et acronymes !

36. Dictionnaire de
prononciation
Près de 9% des unités dans le
lexique de 65k mots apparaissent
dans le dictionnaire anglais du CMU

37. Dictionnaire de
prononciation
Mots dans dict. 65k
Mots dans dict. CMU
… …
games g a m e s games G EY M Z
… …

38. Dictionnaire de
prononciation
Mots dans dict. 65k
Mots dans dict. CMU
… 1 …
Mot identique
games g a m e s games G EY M Z
… …

39. Dictionnaire de
prononciation
Mots dans dict. 65k
Mots dans dict. CMU
… 1 …
Mot identique
games g a m e s games G EY M Z
… …
2 Conversion vers les phones
du swahili

40. Dictionnaire de
prononciation
Mots dans dict. 65k
Mots dans dict. CMU
… 1 …
Mot identique
games g a m e s games G EY M Z
games(2) g e y m z …
…
Ajout
3 comme
variante 2 Conversion vers les phones
du swahili

41. Ressources en RAP
"
Dictionnaire
Modèles
r prononciation r Modèles
acoustiques
l l de langage
Nécessite des données audio
ainsi que les transcriptions
correspondantes
J Sorties
texte

42. Corpus Audio
Contrainte principale pour nous !
Une tâche longue et coûteuse.

43. Corpus de parole
lue (1ère solution)
Transcriptions directement disponibles et
tâche simple à préparer

44. Corpus de parole
lue (1ère solution)
Transcriptions directement disponibles et
tâche simple à préparer
MAIS…
Données peu naturelles et nécessite tout de
même de trouver des locuteurs

45. Corpus de parole
lue (1ère solution)
Transcriptions directement disponibles et
tâche simple à préparer
MAIS…
Données peu naturelles et nécessite tout de
même de trouver des locuteurs
3h30 collectées

46. Transcriptions via
Crowdsourcing(2èmesolution)
Amazon’s Mechanical Turk:
Plateforme de travail en ligne. Tâches disponibles
aux utilisateurs contre paiement.

47. Transcriptions via
Crowdsourcing(2èmesolution)
Amazon’s Mechanical Turk:
Plateforme de travail en ligne. Tâches disponibles
aux utilisateurs contre paiement.
Qualité assez bonne Durée bien plus longue
pour des modèles que pour l’anglais
acoustiques Problèmes éthiques
Possibilité de trouver
des transcripteurs

48. Transcriptions via
Crowdsourcing(2èmesolution)
Amazon’s Mechanical Turk:
Plateforme de travail en ligne. Tâches disponibles
aux utilisateurs contre paiement.
Qualité assez bonne Durée bien plus longue
pour des modèles que pour l’anglais
acoustiques Problèmes éthiques
Possibilité de trouver
des transcripteurs
Seulement un test,
1h30 de parole lue transcrite

49. Transcription
collaborative (3ème solution)
Corpus à transcrire : web broadcast news
(disponible en ligne avec une qualité suffisante)
Collaboration avec un institut kenyan :

50. Transcription
collaborative (3ème solution)
Un 1er model acoustique
(MA) est appris à partir
du corpus de parole lue
MA 1er set

51. Transcription
collaborative (3ème solution)
Préparation
Set de 2h
Un set de 2h est
segmenté et filtré
MA 1er set automatiquement

52. Transcription
collaborative (3ème solution)
Préparation
Set de 2h
Set de 2h
MA 1er set transcrit
Le set de 2h est transcrit
avec notre 1er MA

53. Transcription
collaborative (3ème solution)
Préparation
Set de 2h
Set de 2h
MA 1er set Le set de 2h est envoyé transcrit
au Ta ji Institute pour
correction
Set de 2h
corrigé

54. Transcription
collaborative (3ème solution)
Préparation
Set de 2h
Après correction, les
données sont
Set de 2h
MA 2ème set a joutées au corpus
transcrit
d’entrainement et un
nouveau MA est
appris
Set de 2h
corrigé

55. Transcription
collaborative (3ème solution)
Préparation
Set de 2h
12h sont ainsi Set de 2h
MA 6ème set transcrit
transcrites
Set de 2h
corrigé

56. Transcription collaborative
1er set
40
40
35
Temps
Time Spent (hours)
30
(heures) 3ème set
5ème set
25 2ème set
25
4ème set
20
6ème set
15
15
60
60 65 70
70 75 80 85
85
Caractères corrects (%)
Character Accuracy Rate (%)

57. Résultats (WER)
"
Dictionnaire
Modèles
r prononciation r Modèles
acoustiques
l l de langage
3 J Sorties
texte

59. Asante! (Merci!)
hadrien.gelas@univ-lyon2.fr
laurent.besacier@imag.fr
francois.pellegrino@univ-lyon2.fr

60. Taux de pénétration
d’Internet (%) 78.6
67.5
61.3
39.5
35.6
32.7
26.2
13.5
Africa Asia World Middle East Latin Europe Oceania / North
Average America / Australia America
Caribbean

61. Internet – croissance de
la population (%)
2988.4 2244.8
2000-2011
1205.1
789.6
528.1
376.4
214 152.6
Africa Asia World Middle East Latin Europe Oceania / North
Average America / Australia America
Caribbean

62. Ressources en ligne