Dans cette presentation je montre comment appliquer des techniques de topic modeling a un fil twitter en utilisant gensim, python et en comparant certains algorithmes: LSA, LSA ...

1. TOPIC MODELING
APPLIQUÉ AUX FILS TWITTERS.
Alexis Perrier
Data & Software, Berklee College of Music, Boston
Data Science contributor
@alexip
@BerkleeOnline
@ODSC

2. Part I: Topic Modeling
Nature et application
Algos et Librairies
Part II: Projet: followers sur twitter
Methodes
Problemes
Viz

3. Sôrry pour les accents et anglicismes

4. Vue générale et rapide sur un large ensemble de
documents
Technique non-supervisée
1 document plusieurs topics
1 topic un ensemble de mots
La proportion des topics varie entre les documents
⇔
⇔

5. ANALYSE SÉMANTIQUE DE COLLECTIONS DE DOCUMENTS
Divers Corpus
Littérature
Journaux
Documents o ciels
Contenu en ligne
Réseaux sociaux, forums, ....
Couplé a des variables externes
Evolution dans le temps
Auteurs, locuteurs

6. ALGORITHMES

7. PRINCIPAUX ALGORITHMES
Approche vectorielle
Latent Semantic Analysis (LSA)
Approche probabiliste, Bayésienne
Latent Dirichlet Allocation (LDA)
Structural Topic Modeling (STM), pLSA, hLDA, ...
Approche Neural Networks
convnets, ...

8. LATENT SEMANTIC ANALYSIS - LSA
TF-IDF: Fréquence relative des mots => Vectorisation
Matrice document / fréquence des mots
Réduction de dimension
Décomposition en Valeur Singulière (SVD)
aka Latent Semantic Indexing (LSI)

9. LATENT DIRICHLET ALLOCATION
Un topic est une liste des probabilités des mots dans un
vocabulaire donné.
LDA: La distribution des topics suit une loi de Dirichlet.
K: Nombre de topics
: Nombre de topics par document
: Nombre de mots par topic
α
β
Details:
https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation
Inférence bayésienne, Gibbs sampling, Chinese
restaurant process

10. LIBRAIRIES

11. LIBRAIRIES
Python libraries
- Topic Modelling for Humans
LDA Python library
R packages
a. lsa package
b. lda package
c. topicmodels package
d.
Java libraries: S-Space Package, MALLET
C/C++ libraries: lda-c, hlda c, ctm-c d, hdp
Gensim
stm package

12. LE PROJET
3 articles
Topic Modeling of twitter followers
Segmentation of Twitter Timelines via Topic Modeling
NLP Analysis of the 2015 presidential candidate
debates

13. ETAPES:
1. Construire le corpus
2. Appliquer les modeles
3. Interpreter => Perplexité!

14. CONSTRUIRE LE CORPUS
1. Obtenir les timelines des 700 followers de :
Un document correspond a une timeline
2. Vectoriser le document
bag-of-words
Timeline en anglais: lang = 'en' +
: tokenize, stopwords, stemming, POS
3. TF-IDF
Creer un dictionnaire de mots
Vectoriser les documents TF-IDF
Gensim, NLTK, Scikit, ....
@alexip
Twython
langid
NLTK

15. 1) APPLIQUER LSA
Résultats pour le moins di ciles a interpreter

16. 2) APPLIQUER LDA
Franchement mieux
u'0.055*app + 0.045*team + 0.043*contact + 0.043*idea + 0.029*quote + 0.022*free
u'0.033*socialmedia + 0.022*python + 0.015*collaborative + 0.014*economy + 0.010*
u'0.053*week + 0.041*followers + 0.033*community + 0.030*insight + 0.010*follow +
u'0.014*thx + 0.010*event + 0.008*app + 0.007*travel + 0.006*social + 0.006*check
u'0.044*docker + 0.036*prodmgmt + 0.029*product + 0.018*productmanagement + 0.017
u'0.089*love + 0.035*john + 0.026*update + 0.022*heart + 0.015*peace + 0.014*beau
u'0.033*geek + 0.009*architecture + 0.007*code + 0.007*products + 0.007*parts + 0
u'0.049*stories + 0.046*network + 0.044*virginia + 0.044*entrepreneur + 0.039*etm
u'0.056*slots + 0.053*bonus + 0.052*fsiug + 0.039*casino + 0.031*slot + 0.024*onl
u'0.056*video + 0.043*add + 0.042*message + 0.032*blog + 0.027*posts + 0.027*medi
Quels sont les topics?
Combien de topics?

17. BACK TO THE CORPUS
Nettoyage des documents
Completer la liste des stopwords a la main
Identi er les anomalies: Robots, retweets, hastag, ...
Ne garder que les ls qui ont twitté récemment.
245 timelines
Visualization - LDAvis

18. 3) STRUCTURAL TOPIC MODELING
NLP: Tokenization, stemming, stop-words, ...
Nommer les topics: plusieurs groupes de mots par
topic exclusivité, fréquence
Nombre de topic optimum: grid search + scoring
In uence des variables externes

20. STM: PRESIDENTIAL DEBATES
Primaires US
6 debats: 2 democrates, 4 republicains
1 document = un intervenant pendant un debat
Visualization - stmBrowser

21. MERCI
@alexip
Slides: alexperrier.github.io
alexis.perrier@gmail.com

22. Code & Data & Viz:
- https://github.com/alexperrier/datatalks/tree/master/twitter
- https://github.com/alexperrier/datatalks/tree/master/debates
- http://nbviewer.jupyter.org/github/alexperrier/datatalks/blob/master/twitter/LD
- http://alexperrier.github.io/stm-visualization/index.html
Ref:
- topic modeling http://thesai.org/Downloads/Volume6No1/Paper_21-A_Survey_of_Topi
- lda: http://ai.stanford.edu/~ang/papers/nips01-lda.pdf
- pyLDAvis: https://github.com/bmabey/pyLDAvis
- stm: http://scholar.princeton.edu/files/bstewart/files/stmnips2013.pdf
- stm R: http://structuraltopicmodel.com/
- stmBrowser: https://github.com/mroberts/stmBrowser