SlideShare une entreprise Scribd logo
1  sur  17
+
Absorber les webs pour constituer un corpus internet : My
Web intelligence
20 novembre 2019 – Séminaire 2 :
IUT Bordeaux Montaigne, place Renaudel. Amphi 2
Amar LAKEL – Equipe E3D-MICA
+
My Web Intelligence
+ Liste urls de départs
 Oracle :
 Moteurs de recherche généraux : Google(simpleresults)
 Moteurs de recherche specialisés : Isidor (API)
+ Installer les Prérequis
 Pour assurer l’installation, votre ordinateur à besoin
 Installer python 3.74
(Win https://www.python.org/downloads/release/python-374/)
 et pip (windows https://pip.pypa.io/en/stable/installing/)
 Installer virtualenv (https://virtualenv.pypa.io/en/stable/userguide/)
 Installer le git My Web intelligence (windows https://git-
scm.com/ AND https://www.atlassian.com/git/tutorials/install-
git#windows)
 Installer DB Browser for SQLite
+ Installer de My Web Intelligence
 Installer par GIT : git clone
https://github.com/MyWebIntelligence/MyWebIntelligencePython.git
 ALLER dans le répertoire MyWebIntelligencePython qui vient d’etre créer
 Installer un venv [MAC} virtualenv venv [WIN] python -m venv
C:Userssome_userproject_foldervenv
 Activer son (venv) : source venv/bin/activate OU venvScriptsactivate
 Installer les dépendances : pip install -r requirements.txt
 Installer la base de données : python mywi.py db setup
+ Créer un land
 si nécessaire , retourner dans son répertoire MyWebIntelligencePython
et activer son (venv) : source venv/bin/activate OU venvScriptsactivate
 Créer un land : python mywi.py land create --name=« lenomdemonland » --desc=« une longue
description »
 Ajouter des mots au dictionnaire : python mywi.py land addterm --land=LAND_NAME --
terms=« mot, mot2, mot composé »
 Ajouter des URLs : python mywi.py land addurl --land=LAND_NAME --urls=
"https://domain1.com/page1.html, https://domain2.com/page2.html"
 OU --path= data/url_list.txt
 Lister ou supprimer des Lands
 python mywi.py land list
 python mywi.py land delete --name=LAND_NAME
+ Lancer les crawls
 Pour les URLS :
python mywi.py land crawl --name=LAND_NAME
--limit=n # n est le nombre d'urls à crawler
--http=HTTP_STATUS #relancer les http échoué 000|404|403
 Pour crawler les DOMAINS :
python mywi.py domain crawl [--limit=LIMIT, --http=HTTP_STATUS]
 SI les heuristics change ?
python mywi.py heuristic update
 Propriétés du land
python mywi.py land properties --name=LAND_NAME
+ Exporter fichiers My Web Intelligence
Pages Domaines Media
pagescsv pagesgexf fullpage domaincsv domaingexf mediacsv
id
url
title
description
keywords
relevance
depth
domain_id
domain_name
domain_descriptiondomain
_keywords
Idem pagecsv +
Source
Destination
Type
Id
idem pagecsv +
readable
id
name
title
description
keywords
expressions
average_relevance
idem nodecsv +
Source
Destination
Type
Id
Weight
id
expression_id
url
type
+
Enrichissement des données
Recherche d'autorité et d'audience
+ Autorité et Audience: enrichissement externe
 Intégration dans un système de données central (ex: google spreadsheet)
 Au-delà du descriptif quel potentiel global
 Alexa Rank
 Moz Rank
 DA (Domain Authority)
 les seo moz alexa bulk cheker (http://bulkmozchecker.com/)
 Les social count
 fbshares
 fbcomment
 fbreaction
  les social count (https://www.sharedcount.com/)
+ Autorité et Hub : Recodage interne et SNA
 [degree] Eccentricity ou HarmonicCloseness : l’isolement ou la centralité d’un noeud
dans le réseau (basé sur la somme des distance à tous les nœuds)
 [clustering] : degré d’intégration dans une communauté dense du style « small world ».
Effet membre d’une secte.
 [indegree] Eigencentrality or Page Rank Or Authority : l‘autorité base sur le calcul des
liens entrants
 [outdegree] Hub = La qualité de vigie d’un noeud
 (Strong)Component Number OR Modularity Class : groupe de nœud autonome et
Groupe de nœud par clustérisation de proximité
 Composante connexe/Coefficient de clustering
+ Autorité et Hub : Recodage interne et SNA
 Deux tables : Des nœuds et des
relations
 Des qualifications du réseau et de
ses sous réseau
 Des qualifications structurales des
nœuds
 Analyse du comportement relationnel
comme facteurs expliquant ou
expliquer
 Des visualisations de réseaux
heuristiques
 Analyser les réseaux
(comparaison ou longitudinal)
 Sum Nœud, Sum Degré,
Statistiques des degrés
(Moyenne, Quartiles, Déciles,
etc.), Statistiques des propriétés
qualité et qu’anti
 Plus court Chemin, Diamètre,
Chemin Moyen, Coefficient de
clustering, Densité
 Composante connexe;
Modularity (w Resolution), NB
Communautés
+ Autorité et Hub : Recodage interne et SNA
 Rôles : Similarités des comportements envers les autres
[équivalence structurale]
 Effet Saint Mathieu: ce qui attirent beaucoup attirent encore plus
 6 degrés de connexions
 La limite des 148 contacts actifs (690 max)
 La taille compte (pour l’accès aux ressources)
 Relation influence / sélection dans la Network théorie
+ Recoder un corpus de texte
 Formatage d'un corpus (meta et contenus)
 Simplification lexicale de contenus (tolower, stopwords, remove,
lemmatisation)
 Simplification externe de contenus (GAIA) par API (SentimentAnalysis,
AnalyseSynthaxique, AnalyseEntities, ClassificationThematique)
 Décomposition matricielle d'un texte et analyse multidimensionnelle
+ Recoder de l'image et de la vidéo
+
Analyse mono et bivarié
Recherche d'autorité et d'audience
+ Recoder un corpus de texte

Contenu connexe

Similaire à Absorber les web pour constituer un corpus internet : My Web intelligence.

Java dans Windows Azure: l'exemple de Jonas
Java dans Windows Azure: l'exemple de JonasJava dans Windows Azure: l'exemple de Jonas
Java dans Windows Azure: l'exemple de JonasMicrosoft
 
What's Next Replay! Lyon 2011 - A. Cogoluegnes
What's Next Replay! Lyon 2011 - A. CogoluegnesWhat's Next Replay! Lyon 2011 - A. Cogoluegnes
What's Next Replay! Lyon 2011 - A. CogoluegnesZenika
 
Rich Desktop Applications
Rich Desktop ApplicationsRich Desktop Applications
Rich Desktop Applicationsgoldoraf
 
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020SEO CAMP
 
#WLS17 / We Love SEO 2017 : Data & Digital Analytics
#WLS17 / We Love SEO 2017 :  Data & Digital Analytics #WLS17 / We Love SEO 2017 :  Data & Digital Analytics
#WLS17 / We Love SEO 2017 : Data & Digital Analytics Michael Vuillaume
 
Resource Oriented Architecture
Resource Oriented ArchitectureResource Oriented Architecture
Resource Oriented ArchitectureDNG Consulting
 
La mobilité dans Drupal
La mobilité dans DrupalLa mobilité dans Drupal
La mobilité dans DrupalAdyax
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Alexandre Touret
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Alexandre Touret
 
3 Microsoft Advanced Threat Analytics - Genève
3   Microsoft Advanced Threat Analytics - Genève3   Microsoft Advanced Threat Analytics - Genève
3 Microsoft Advanced Threat Analytics - GenèveaOS Community
 
Formation Play! framework
Formation Play! frameworkFormation Play! framework
Formation Play! frameworkBenoît Simard
 
Soutenance Zend Framework vs Symfony
Soutenance Zend Framework vs SymfonySoutenance Zend Framework vs Symfony
Soutenance Zend Framework vs SymfonyVincent Composieux
 
Core Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEO
Core Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEOCore Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEO
Core Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEOWeLoveSEO
 
E4 : Conception et maintenance de solutions informatiques
E4 : Conception et maintenance de solutions informatiquesE4 : Conception et maintenance de solutions informatiques
E4 : Conception et maintenance de solutions informatiquesChristopherHANOT
 
Présentation welcom la webperf by object23
Présentation welcom la webperf by object23Présentation welcom la webperf by object23
Présentation welcom la webperf by object23Brigitte Marandon
 
Symfony2 - Un Framework PHP 5 Performant
Symfony2 - Un Framework PHP 5 PerformantSymfony2 - Un Framework PHP 5 Performant
Symfony2 - Un Framework PHP 5 PerformantHugo Hamon
 

Similaire à Absorber les web pour constituer un corpus internet : My Web intelligence. (20)

Java dans Windows Azure: l'exemple de Jonas
Java dans Windows Azure: l'exemple de JonasJava dans Windows Azure: l'exemple de Jonas
Java dans Windows Azure: l'exemple de Jonas
 
What's Next Replay! Lyon 2011 - A. Cogoluegnes
What's Next Replay! Lyon 2011 - A. CogoluegnesWhat's Next Replay! Lyon 2011 - A. Cogoluegnes
What's Next Replay! Lyon 2011 - A. Cogoluegnes
 
Rich Desktop Applications
Rich Desktop ApplicationsRich Desktop Applications
Rich Desktop Applications
 
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020
 
#WLS17 / We Love SEO 2017 : Data & Digital Analytics
#WLS17 / We Love SEO 2017 :  Data & Digital Analytics #WLS17 / We Love SEO 2017 :  Data & Digital Analytics
#WLS17 / We Love SEO 2017 : Data & Digital Analytics
 
Resource Oriented Architecture
Resource Oriented ArchitectureResource Oriented Architecture
Resource Oriented Architecture
 
Paris RailsCamp 2009
Paris RailsCamp 2009Paris RailsCamp 2009
Paris RailsCamp 2009
 
La mobilité dans Drupal
La mobilité dans DrupalLa mobilité dans Drupal
La mobilité dans Drupal
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
 
3 Microsoft Advanced Threat Analytics - Genève
3   Microsoft Advanced Threat Analytics - Genève3   Microsoft Advanced Threat Analytics - Genève
3 Microsoft Advanced Threat Analytics - Genève
 
Formation Play! framework
Formation Play! frameworkFormation Play! framework
Formation Play! framework
 
Soutenance Zend Framework vs Symfony
Soutenance Zend Framework vs SymfonySoutenance Zend Framework vs Symfony
Soutenance Zend Framework vs Symfony
 
Core Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEO
Core Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEOCore Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEO
Core Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEO
 
Pgbackrest meetup
Pgbackrest meetupPgbackrest meetup
Pgbackrest meetup
 
E4 : Conception et maintenance de solutions informatiques
E4 : Conception et maintenance de solutions informatiquesE4 : Conception et maintenance de solutions informatiques
E4 : Conception et maintenance de solutions informatiques
 
iTunes Stats
iTunes StatsiTunes Stats
iTunes Stats
 
Adopte une BDD
Adopte une BDDAdopte une BDD
Adopte une BDD
 
Présentation welcom la webperf by object23
Présentation welcom la webperf by object23Présentation welcom la webperf by object23
Présentation welcom la webperf by object23
 
Symfony2 - Un Framework PHP 5 Performant
Symfony2 - Un Framework PHP 5 PerformantSymfony2 - Un Framework PHP 5 Performant
Symfony2 - Un Framework PHP 5 Performant
 

Plus de Amar LAKEL, PhD

Aux origines de la sociologie : du XIXème au début XX ème siècle
Aux origines de la sociologie : du XIXème au début XX ème siècleAux origines de la sociologie : du XIXème au début XX ème siècle
Aux origines de la sociologie : du XIXème au début XX ème siècleAmar LAKEL, PhD
 
Introduction au Data Marketing
Introduction au Data MarketingIntroduction au Data Marketing
Introduction au Data MarketingAmar LAKEL, PhD
 
Paradigme Structiro - Fonctionnaliste - Le paradigme linguisitique, Introduct...
Paradigme Structiro - Fonctionnaliste - Le paradigme linguisitique, Introduct...Paradigme Structiro - Fonctionnaliste - Le paradigme linguisitique, Introduct...
Paradigme Structiro - Fonctionnaliste - Le paradigme linguisitique, Introduct...Amar LAKEL, PhD
 
[Update 2022] Elaborer la stratégie de communication - tout ce qu'il faut savoir
[Update 2022] Elaborer la stratégie de communication - tout ce qu'il faut savoir[Update 2022] Elaborer la stratégie de communication - tout ce qu'il faut savoir
[Update 2022] Elaborer la stratégie de communication - tout ce qu'il faut savoirAmar LAKEL, PhD
 
Enjeux de la recherche en SHS à l'ère des digital studies
Enjeux de la recherche en SHS à l'ère des digital studiesEnjeux de la recherche en SHS à l'ère des digital studies
Enjeux de la recherche en SHS à l'ère des digital studiesAmar LAKEL, PhD
 
Nouveaux régimes de vérité à l'heure des réseaux sociaux
Nouveaux régimes de vérité à l'heure des réseaux sociauxNouveaux régimes de vérité à l'heure des réseaux sociaux
Nouveaux régimes de vérité à l'heure des réseaux sociauxAmar LAKEL, PhD
 
Stratégie marketing digitale de A à Z
Stratégie marketing digitale de A à ZStratégie marketing digitale de A à Z
Stratégie marketing digitale de A à ZAmar LAKEL, PhD
 
L1 Cours Numérique & Société
 L1 Cours Numérique & Société L1 Cours Numérique & Société
L1 Cours Numérique & SociétéAmar LAKEL, PhD
 
L1 TD Numérique et Société
L1 TD Numérique et SociétéL1 TD Numérique et Société
L1 TD Numérique et SociétéAmar LAKEL, PhD
 
Data Analyse pas à pas avec R
Data Analyse pas à pas avec RData Analyse pas à pas avec R
Data Analyse pas à pas avec RAmar LAKEL, PhD
 
Approches méthodologique d’analyse du web : en finir avec la division quali ...
Approches méthodologique d’analyse du web :  en finir avec la division quali ...Approches méthodologique d’analyse du web :  en finir avec la division quali ...
Approches méthodologique d’analyse du web : en finir avec la division quali ...Amar LAKEL, PhD
 
Juan Branco, une stratégie marketing d'un nouvel intellectuel numérique
Juan Branco, une stratégie marketing d'un nouvel intellectuel numériqueJuan Branco, une stratégie marketing d'un nouvel intellectuel numérique
Juan Branco, une stratégie marketing d'un nouvel intellectuel numériqueAmar LAKEL, PhD
 
Pour une documentologie digitale : La vie numérique de Robert Escarpit de 200...
Pour une documentologie digitale : La vie numérique de Robert Escarpit de 200...Pour une documentologie digitale : La vie numérique de Robert Escarpit de 200...
Pour une documentologie digitale : La vie numérique de Robert Escarpit de 200...Amar LAKEL, PhD
 
Amar Lakel - Patrimonialisation numérique et avenir digital du document.
Amar Lakel - Patrimonialisation numérique et avenir digital du document.Amar Lakel - Patrimonialisation numérique et avenir digital du document.
Amar Lakel - Patrimonialisation numérique et avenir digital du document.Amar LAKEL, PhD
 
Du néolithique à la smart city : généalogie de l'espace public au coeur des p...
Du néolithique à la smart city : généalogie de l'espace public au coeur des p...Du néolithique à la smart city : généalogie de l'espace public au coeur des p...
Du néolithique à la smart city : généalogie de l'espace public au coeur des p...Amar LAKEL, PhD
 
Data Analysis pas à pas avec R
Data Analysis pas à pas avec RData Analysis pas à pas avec R
Data Analysis pas à pas avec RAmar LAKEL, PhD
 
La méthode Foucault : De l’énoncé à l’archive, enjeux du pouvoir dans la comm...
La méthode Foucault : De l’énoncé à l’archive, enjeux du pouvoir dans la comm...La méthode Foucault : De l’énoncé à l’archive, enjeux du pouvoir dans la comm...
La méthode Foucault : De l’énoncé à l’archive, enjeux du pouvoir dans la comm...Amar LAKEL, PhD
 
Transition digitale et Espaces publics numérics
Transition digitale et Espaces publics numéricsTransition digitale et Espaces publics numérics
Transition digitale et Espaces publics numéricsAmar LAKEL, PhD
 
Stratégie marketing digitale
Stratégie marketing digitaleStratégie marketing digitale
Stratégie marketing digitaleAmar LAKEL, PhD
 

Plus de Amar LAKEL, PhD (20)

Aux origines de la sociologie : du XIXème au début XX ème siècle
Aux origines de la sociologie : du XIXème au début XX ème siècleAux origines de la sociologie : du XIXème au début XX ème siècle
Aux origines de la sociologie : du XIXème au début XX ème siècle
 
Introduction au Data Marketing
Introduction au Data MarketingIntroduction au Data Marketing
Introduction au Data Marketing
 
Paradigme Structiro - Fonctionnaliste - Le paradigme linguisitique, Introduct...
Paradigme Structiro - Fonctionnaliste - Le paradigme linguisitique, Introduct...Paradigme Structiro - Fonctionnaliste - Le paradigme linguisitique, Introduct...
Paradigme Structiro - Fonctionnaliste - Le paradigme linguisitique, Introduct...
 
[Update 2022] Elaborer la stratégie de communication - tout ce qu'il faut savoir
[Update 2022] Elaborer la stratégie de communication - tout ce qu'il faut savoir[Update 2022] Elaborer la stratégie de communication - tout ce qu'il faut savoir
[Update 2022] Elaborer la stratégie de communication - tout ce qu'il faut savoir
 
Enjeux de la recherche en SHS à l'ère des digital studies
Enjeux de la recherche en SHS à l'ère des digital studiesEnjeux de la recherche en SHS à l'ère des digital studies
Enjeux de la recherche en SHS à l'ère des digital studies
 
Nouveaux régimes de vérité à l'heure des réseaux sociaux
Nouveaux régimes de vérité à l'heure des réseaux sociauxNouveaux régimes de vérité à l'heure des réseaux sociaux
Nouveaux régimes de vérité à l'heure des réseaux sociaux
 
Stratégie marketing digitale de A à Z
Stratégie marketing digitale de A à ZStratégie marketing digitale de A à Z
Stratégie marketing digitale de A à Z
 
L1 Cours Numérique & Société
 L1 Cours Numérique & Société L1 Cours Numérique & Société
L1 Cours Numérique & Société
 
L1 TD Numérique et Société
L1 TD Numérique et SociétéL1 TD Numérique et Société
L1 TD Numérique et Société
 
Data Analyse
Data AnalyseData Analyse
Data Analyse
 
Data Analyse pas à pas avec R
Data Analyse pas à pas avec RData Analyse pas à pas avec R
Data Analyse pas à pas avec R
 
Approches méthodologique d’analyse du web : en finir avec la division quali ...
Approches méthodologique d’analyse du web :  en finir avec la division quali ...Approches méthodologique d’analyse du web :  en finir avec la division quali ...
Approches méthodologique d’analyse du web : en finir avec la division quali ...
 
Juan Branco, une stratégie marketing d'un nouvel intellectuel numérique
Juan Branco, une stratégie marketing d'un nouvel intellectuel numériqueJuan Branco, une stratégie marketing d'un nouvel intellectuel numérique
Juan Branco, une stratégie marketing d'un nouvel intellectuel numérique
 
Pour une documentologie digitale : La vie numérique de Robert Escarpit de 200...
Pour une documentologie digitale : La vie numérique de Robert Escarpit de 200...Pour une documentologie digitale : La vie numérique de Robert Escarpit de 200...
Pour une documentologie digitale : La vie numérique de Robert Escarpit de 200...
 
Amar Lakel - Patrimonialisation numérique et avenir digital du document.
Amar Lakel - Patrimonialisation numérique et avenir digital du document.Amar Lakel - Patrimonialisation numérique et avenir digital du document.
Amar Lakel - Patrimonialisation numérique et avenir digital du document.
 
Du néolithique à la smart city : généalogie de l'espace public au coeur des p...
Du néolithique à la smart city : généalogie de l'espace public au coeur des p...Du néolithique à la smart city : généalogie de l'espace public au coeur des p...
Du néolithique à la smart city : généalogie de l'espace public au coeur des p...
 
Data Analysis pas à pas avec R
Data Analysis pas à pas avec RData Analysis pas à pas avec R
Data Analysis pas à pas avec R
 
La méthode Foucault : De l’énoncé à l’archive, enjeux du pouvoir dans la comm...
La méthode Foucault : De l’énoncé à l’archive, enjeux du pouvoir dans la comm...La méthode Foucault : De l’énoncé à l’archive, enjeux du pouvoir dans la comm...
La méthode Foucault : De l’énoncé à l’archive, enjeux du pouvoir dans la comm...
 
Transition digitale et Espaces publics numérics
Transition digitale et Espaces publics numéricsTransition digitale et Espaces publics numérics
Transition digitale et Espaces publics numérics
 
Stratégie marketing digitale
Stratégie marketing digitaleStratégie marketing digitale
Stratégie marketing digitale
 

Dernier

Le Lean sur une ligne de production : Formation et mise en application directe
Le Lean sur une ligne de production : Formation et mise en application directeLe Lean sur une ligne de production : Formation et mise en application directe
Le Lean sur une ligne de production : Formation et mise en application directeXL Groupe
 
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdfSKennel
 
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...Faga1939
 
Annie Ernaux Extérieurs. pptx. Exposition basée sur un livre .
Annie   Ernaux  Extérieurs. pptx. Exposition basée sur un livre .Annie   Ernaux  Extérieurs. pptx. Exposition basée sur un livre .
Annie Ernaux Extérieurs. pptx. Exposition basée sur un livre .Txaruka
 
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdfSciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdfSKennel
 
PIE-A2-P4-support stagiaires sept 22-validé.pdf
PIE-A2-P4-support stagiaires sept 22-validé.pdfPIE-A2-P4-support stagiaires sept 22-validé.pdf
PIE-A2-P4-support stagiaires sept 22-validé.pdfRiDaHAziz
 
Cours SE Gestion des périphériques - IG IPSET
Cours SE Gestion des périphériques - IG IPSETCours SE Gestion des périphériques - IG IPSET
Cours SE Gestion des périphériques - IG IPSETMedBechir
 
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdfSKennel
 
PIE-A2-P 5- Supports stagiaires.pptx.pdf
PIE-A2-P 5- Supports stagiaires.pptx.pdfPIE-A2-P 5- Supports stagiaires.pptx.pdf
PIE-A2-P 5- Supports stagiaires.pptx.pdfRiDaHAziz
 
Zotero avancé - support de formation doctorants SHS 2024
Zotero avancé - support de formation doctorants SHS 2024Zotero avancé - support de formation doctorants SHS 2024
Zotero avancé - support de formation doctorants SHS 2024Alain Marois
 
SciencesPo_Aix_InnovationPédagogique_Bilan.pdf
SciencesPo_Aix_InnovationPédagogique_Bilan.pdfSciencesPo_Aix_InnovationPédagogique_Bilan.pdf
SciencesPo_Aix_InnovationPédagogique_Bilan.pdfSKennel
 
Bernard Réquichot.pptx Peintre français
Bernard Réquichot.pptx   Peintre françaisBernard Réquichot.pptx   Peintre français
Bernard Réquichot.pptx Peintre françaisTxaruka
 
Presentation de la plateforme Moodle - avril 2024
Presentation de la plateforme Moodle - avril 2024Presentation de la plateforme Moodle - avril 2024
Presentation de la plateforme Moodle - avril 2024Gilles Le Page
 
Bibdoc 2024 - Ecologie du livre et creation de badge.pdf
Bibdoc 2024 - Ecologie du livre et creation de badge.pdfBibdoc 2024 - Ecologie du livre et creation de badge.pdf
Bibdoc 2024 - Ecologie du livre et creation de badge.pdfBibdoc 37
 
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdfBibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdfBibdoc 37
 
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdfSKennel
 
Principe de fonctionnement d'un moteur 4 temps
Principe de fonctionnement d'un moteur 4 tempsPrincipe de fonctionnement d'un moteur 4 temps
Principe de fonctionnement d'un moteur 4 tempsRajiAbdelghani
 
Cours SE Le système Linux : La ligne de commande bash - IG IPSET
Cours SE Le système Linux : La ligne de commande bash - IG IPSETCours SE Le système Linux : La ligne de commande bash - IG IPSET
Cours SE Le système Linux : La ligne de commande bash - IG IPSETMedBechir
 

Dernier (19)

Le Lean sur une ligne de production : Formation et mise en application directe
Le Lean sur une ligne de production : Formation et mise en application directeLe Lean sur une ligne de production : Formation et mise en application directe
Le Lean sur une ligne de production : Formation et mise en application directe
 
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
 
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
 
Annie Ernaux Extérieurs. pptx. Exposition basée sur un livre .
Annie   Ernaux  Extérieurs. pptx. Exposition basée sur un livre .Annie   Ernaux  Extérieurs. pptx. Exposition basée sur un livre .
Annie Ernaux Extérieurs. pptx. Exposition basée sur un livre .
 
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdfSciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
 
PIE-A2-P4-support stagiaires sept 22-validé.pdf
PIE-A2-P4-support stagiaires sept 22-validé.pdfPIE-A2-P4-support stagiaires sept 22-validé.pdf
PIE-A2-P4-support stagiaires sept 22-validé.pdf
 
Cours SE Gestion des périphériques - IG IPSET
Cours SE Gestion des périphériques - IG IPSETCours SE Gestion des périphériques - IG IPSET
Cours SE Gestion des périphériques - IG IPSET
 
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
 
PIE-A2-P 5- Supports stagiaires.pptx.pdf
PIE-A2-P 5- Supports stagiaires.pptx.pdfPIE-A2-P 5- Supports stagiaires.pptx.pdf
PIE-A2-P 5- Supports stagiaires.pptx.pdf
 
Zotero avancé - support de formation doctorants SHS 2024
Zotero avancé - support de formation doctorants SHS 2024Zotero avancé - support de formation doctorants SHS 2024
Zotero avancé - support de formation doctorants SHS 2024
 
SciencesPo_Aix_InnovationPédagogique_Bilan.pdf
SciencesPo_Aix_InnovationPédagogique_Bilan.pdfSciencesPo_Aix_InnovationPédagogique_Bilan.pdf
SciencesPo_Aix_InnovationPédagogique_Bilan.pdf
 
Bernard Réquichot.pptx Peintre français
Bernard Réquichot.pptx   Peintre françaisBernard Réquichot.pptx   Peintre français
Bernard Réquichot.pptx Peintre français
 
Presentation de la plateforme Moodle - avril 2024
Presentation de la plateforme Moodle - avril 2024Presentation de la plateforme Moodle - avril 2024
Presentation de la plateforme Moodle - avril 2024
 
Bibdoc 2024 - Ecologie du livre et creation de badge.pdf
Bibdoc 2024 - Ecologie du livre et creation de badge.pdfBibdoc 2024 - Ecologie du livre et creation de badge.pdf
Bibdoc 2024 - Ecologie du livre et creation de badge.pdf
 
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdfBibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
 
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
 
Principe de fonctionnement d'un moteur 4 temps
Principe de fonctionnement d'un moteur 4 tempsPrincipe de fonctionnement d'un moteur 4 temps
Principe de fonctionnement d'un moteur 4 temps
 
Cours SE Le système Linux : La ligne de commande bash - IG IPSET
Cours SE Le système Linux : La ligne de commande bash - IG IPSETCours SE Le système Linux : La ligne de commande bash - IG IPSET
Cours SE Le système Linux : La ligne de commande bash - IG IPSET
 
DO PALÁCIO À ASSEMBLEIA .
DO PALÁCIO À ASSEMBLEIA                 .DO PALÁCIO À ASSEMBLEIA                 .
DO PALÁCIO À ASSEMBLEIA .
 

Absorber les web pour constituer un corpus internet : My Web intelligence.

  • 1. + Absorber les webs pour constituer un corpus internet : My Web intelligence 20 novembre 2019 – Séminaire 2 : IUT Bordeaux Montaigne, place Renaudel. Amphi 2 Amar LAKEL – Equipe E3D-MICA
  • 3. + Liste urls de départs  Oracle :  Moteurs de recherche généraux : Google(simpleresults)  Moteurs de recherche specialisés : Isidor (API)
  • 4. + Installer les Prérequis  Pour assurer l’installation, votre ordinateur à besoin  Installer python 3.74 (Win https://www.python.org/downloads/release/python-374/)  et pip (windows https://pip.pypa.io/en/stable/installing/)  Installer virtualenv (https://virtualenv.pypa.io/en/stable/userguide/)  Installer le git My Web intelligence (windows https://git- scm.com/ AND https://www.atlassian.com/git/tutorials/install- git#windows)  Installer DB Browser for SQLite
  • 5. + Installer de My Web Intelligence  Installer par GIT : git clone https://github.com/MyWebIntelligence/MyWebIntelligencePython.git  ALLER dans le répertoire MyWebIntelligencePython qui vient d’etre créer  Installer un venv [MAC} virtualenv venv [WIN] python -m venv C:Userssome_userproject_foldervenv  Activer son (venv) : source venv/bin/activate OU venvScriptsactivate  Installer les dépendances : pip install -r requirements.txt  Installer la base de données : python mywi.py db setup
  • 6. + Créer un land  si nécessaire , retourner dans son répertoire MyWebIntelligencePython et activer son (venv) : source venv/bin/activate OU venvScriptsactivate  Créer un land : python mywi.py land create --name=« lenomdemonland » --desc=« une longue description »  Ajouter des mots au dictionnaire : python mywi.py land addterm --land=LAND_NAME -- terms=« mot, mot2, mot composé »  Ajouter des URLs : python mywi.py land addurl --land=LAND_NAME --urls= "https://domain1.com/page1.html, https://domain2.com/page2.html"  OU --path= data/url_list.txt  Lister ou supprimer des Lands  python mywi.py land list  python mywi.py land delete --name=LAND_NAME
  • 7. + Lancer les crawls  Pour les URLS : python mywi.py land crawl --name=LAND_NAME --limit=n # n est le nombre d'urls à crawler --http=HTTP_STATUS #relancer les http échoué 000|404|403  Pour crawler les DOMAINS : python mywi.py domain crawl [--limit=LIMIT, --http=HTTP_STATUS]  SI les heuristics change ? python mywi.py heuristic update  Propriétés du land python mywi.py land properties --name=LAND_NAME
  • 8. + Exporter fichiers My Web Intelligence Pages Domaines Media pagescsv pagesgexf fullpage domaincsv domaingexf mediacsv id url title description keywords relevance depth domain_id domain_name domain_descriptiondomain _keywords Idem pagecsv + Source Destination Type Id idem pagecsv + readable id name title description keywords expressions average_relevance idem nodecsv + Source Destination Type Id Weight id expression_id url type
  • 9. + Enrichissement des données Recherche d'autorité et d'audience
  • 10. + Autorité et Audience: enrichissement externe  Intégration dans un système de données central (ex: google spreadsheet)  Au-delà du descriptif quel potentiel global  Alexa Rank  Moz Rank  DA (Domain Authority)  les seo moz alexa bulk cheker (http://bulkmozchecker.com/)  Les social count  fbshares  fbcomment  fbreaction   les social count (https://www.sharedcount.com/)
  • 11. + Autorité et Hub : Recodage interne et SNA  [degree] Eccentricity ou HarmonicCloseness : l’isolement ou la centralité d’un noeud dans le réseau (basé sur la somme des distance à tous les nœuds)  [clustering] : degré d’intégration dans une communauté dense du style « small world ». Effet membre d’une secte.  [indegree] Eigencentrality or Page Rank Or Authority : l‘autorité base sur le calcul des liens entrants  [outdegree] Hub = La qualité de vigie d’un noeud  (Strong)Component Number OR Modularity Class : groupe de nœud autonome et Groupe de nœud par clustérisation de proximité  Composante connexe/Coefficient de clustering
  • 12. + Autorité et Hub : Recodage interne et SNA  Deux tables : Des nœuds et des relations  Des qualifications du réseau et de ses sous réseau  Des qualifications structurales des nœuds  Analyse du comportement relationnel comme facteurs expliquant ou expliquer  Des visualisations de réseaux heuristiques  Analyser les réseaux (comparaison ou longitudinal)  Sum Nœud, Sum Degré, Statistiques des degrés (Moyenne, Quartiles, Déciles, etc.), Statistiques des propriétés qualité et qu’anti  Plus court Chemin, Diamètre, Chemin Moyen, Coefficient de clustering, Densité  Composante connexe; Modularity (w Resolution), NB Communautés
  • 13. + Autorité et Hub : Recodage interne et SNA  Rôles : Similarités des comportements envers les autres [équivalence structurale]  Effet Saint Mathieu: ce qui attirent beaucoup attirent encore plus  6 degrés de connexions  La limite des 148 contacts actifs (690 max)  La taille compte (pour l’accès aux ressources)  Relation influence / sélection dans la Network théorie
  • 14. + Recoder un corpus de texte  Formatage d'un corpus (meta et contenus)  Simplification lexicale de contenus (tolower, stopwords, remove, lemmatisation)  Simplification externe de contenus (GAIA) par API (SentimentAnalysis, AnalyseSynthaxique, AnalyseEntities, ClassificationThematique)  Décomposition matricielle d'un texte et analyse multidimensionnelle
  • 15. + Recoder de l'image et de la vidéo
  • 16. + Analyse mono et bivarié Recherche d'autorité et d'audience
  • 17. + Recoder un corpus de texte