L'intelligence artificielle devrait être guidée non seulement par des normes techniques solides, mais aussi par des normes éthiques solides. Le contexte est un principe clé qui se recoupe dans ces deux domaines. L'information contextuelle permet non seulement d'obtenir des systèmes d'IA plus performants et plus précis, mais aussi d'offrir une perspective éthique plus claire à ceux qui la créent et la façonnent.
Les systèmes d'IA et d'apprentissage machine sont plus efficaces, fiables et robustes lorsqu'ils sont étayés par des informations contextuelles fournies par des plateformes de graphes. Nicolas vous expliquera pourquoi et comment le contexte doit être intégré dans les systèmes d'IA afin de s'assurer qu'ils sont vraiment fiables, robustes et dignes de confiance.
Neo4j Jesus Barrasa The Art of the Possible with Graph
Comment le contexte rend l’IA plus fiable et plus efficace ? - Webinaire 11 février 2020
1. Neo4j webinar
Comment le contexte rend l’IA plus
fiable et plus efficace ?
Nicolas ROUYER
11 février 2020
I haven’t fallen in love with any of the titles for this talk.
• Emil likes the simple ”Make better Predictions”
3. Evénéments Neo4j 2020
● Big Data Paris 9-10 mars 2020
● GraphTour Paris 26 mars 2020
● formations gratuites 1 / trimestre
● webinaires
● meetups
(Paris / Toulouse / Lyon / Bordeaux)
4. Flexible
4
Neo4j Aura
Fiable Conçu pour les
développeurs
● Zéro Maintenance
● Scalable à la demande
● Tarification simple,
basé sur la capacité
● Haute disponibilité et auto-
réparation, configuration en
mode cluster
● Intégrité & durabilité des
données
● Sécurité avec cryptage de
bout en bout
● Performance graphe native
● Le langage de requête de
graphes le plus populaire au
monde
● Prise en charge de nombreux
langages - pilotes pour Java,
.NET, JavaScript, Python, Go,
Spring, etc.
6. 6
Neo4j 4.0 :
Le + gros investissement jamais vu dans les
bases de données graphes
Construit sur les solides fondations natives de Neo4j, Neo4j 4.0 apporte :
● Une évolutivité illimitée avec le sharding et la fédération
● Une architecture 100% réactive pour des applications modernes
● Des contrôles de sécurité granulaires pour la sécurité et la vie privée
● Souplesse de déploiement grâce au multi-database
8. Un contexte se représente par un graphe
Exemple : réalité augmentée
9. Pouvez-vous prédire si une personne va voter
en fonction de son entourage ?
Les graphes peuvent le faire.
10. Les relations et la structure réseau
Sont les plus puissants prédicteurs de comportement &
de résultats complexes
“Research into networks reveal that,
surprisingly, the most connected
people inside a tight group within a
single industry are less valuable than
the people who span the gaps ...”
10
“…jumping from ladder to ladder is a
more effective strategy, and that lateral
or even downward moves across an
organization are more promising in the
longer run . . .”
11. Photo by Helena Lopes on Unsplash
La structure réseau
a un pouvoir prédictif élevé sur la
rémunération, les promotions et les
appréciations
• Personnes proches des trous
structurels
• Défaillances organisationnelles
“Organizational Misfits and the Origins of Brokerage in Intrafirm Networks” A. Kleinbaum
“Structural Holes and Good Ideas” R. Burt
16. Structure réseau et prédictions
Neo4j et la science des données orientée graphe
Les étapes de la science des données orientée graphe
Vue d’ensemble
17. Les plates-formes de graphe natives sont spécialement
conçues pour les données connectées
PLATES-FORMES
TRADITIONNELLES
TECHNOLOGIE
BIG DATA
Stocker et récupérer des données Agréger et filtrer les données Connections dans les données
Stockage et extraction
en temps réel
Connaissances connectées en
temps réel
Agrégation et filtrage
des requêtes longues
“Our Neo4j solution is literally thousands of times
faster than the prior MySQL solution, with queries
that require 10-100 times less code”
Volker Pacher, Senior Developer
# maxi de sauts ~3
Millions
17
21. De Meilleures Prédictions Avec Les Graphes
Utilisez les Données Dont Vous Disposez Déjà
• Les modèles actuels en science des données négligent la structure réseau
• Les Graphes apportent des caractéristiques fortement prédictibles aux modèles ML,
améliorant leur précision
• Les prédictions basées sur les relations sont irréalisables sans le contexte graphe
Pipeline d’Apprentissage Automatisé
21
23. Construction d’un modèle ML orienté graphe
Graph
Transactions
Graph
Analytics
Agrégation & nettoyage
de données hétérogènes
Création de modèles
prédictifs
Unification des graphes
Ingénierie des caractéristiques
SQL
Parquet
JSON
CSV
FILE
and more...
23
Sources de
Données
Plate-forme de Graphe
native
Apprentissage
automatisé
24. Exploration des
graphes
Construire une solution
graphe
Passage à l’échelle
Pipelines de données performants
Bibliothèques robustes de ML
Graphes non persistants, non-natifs
Graphes persistants et dynamiques
Requêtes graphe natives et algorithmes
performants
Liste croissante d’algorithmes de graphe
et de graphes embarqués
24
26. Les apports de la science des données orientée
graphe
Meilleures
décisions
Graphes de
connaissance
Précision
accrue
Ingénierie des
caractéristiques
connectées
Plus de confiance et
de pertinence
Apprentissage
orienté graphe
nativement
26
27. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de
graphe
Projections de
graphes
Réseaux de neurones
orientés graphe
Graphes de
connaissance
Ingénierie des
caractéristiques
orientée graphe
Apprentissage
nativement
orienté graphe
27
28. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée avec les
algorithmes de
graphe
Projections de
graphe
Réseaux de neurones
orientés graphes
28
29. Interroger les graphes de connaissance
“Relier les points” devenue...
29
Plusieurs couches de graphes d'informations financières
Données d’entreprises croisées avec des informations externes
30. Interroger les graphes de connaissance
“Relier les points”
Plusieurs graphes d’information
financière superposés
Inclut des données d’entreprise avec
relations internes, des fils d’information
externes, et une pondération
personnalisable
Tableaux de bord et outils
• Risques de crédit
• Risques liés aux placements
• Recommandations portefeuille
personnalisées
devenue...
30
31. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Graph
Algorithm
Feature
Engineering
Projections de
graphes
Réseaux de neurones
orientés graphe
31
32. Les réseaux de télécommunications sont facilement représentés sous forme de
graphes.
Ingénierie des caractéristiques axée recherche
Prédiction d’attrition - Telecom
33. Requêtes performantes dans un graphe
natif
Ingénierie des caractéristiques axée recherche
Prédiction d’attrition - Telecom
Prédiction d’attrition.
La recherche a montré que des
caractéristiques simples conçues à la
main sont fortement prédictives
• Combien d'appels ou de SMS un
compte a-t-il effectués ?
• Combien parmi ses contacts ont
résilié leur contrat ?
34. 34
Ingénierie des caractéristiques axée recherche
Prédiction d’attrition - Telecom
Ajout aux données tabulaires de caractéristiques connectées
Ces caractéristiques sont les résultats de requêtes dans le graphe
Raw Data:
Call Detail Records
Input Data:
CDR Sample
Call Stats by:
Incoming
Outgoing
Per day
Short durations
In-network
Centrality
SMS’s
…
Test/Training Data
Caller ID
Receiver ID
Time
Duration
Location
…
Caller ID
Receiver ID
Time
Duration
Location
…
Identification des facteurs
prédictifs:
Sélection de mesures simples et
compréhensibles fortement
corrélées avec le taux de churn
Score de Churn :
Apprentissage supervisé pour
prédire des mesures discrètes et
continues de churn
Output/Results
Random
Sample
Selection
Feature
Engineering
Sélection de
caractéristiques
Apprentissage
35. 35
Ingénierie des caractéristiques axée recherche
Prédiction d’attrition - Telecom
Précision de 89.4% dans la prédiction
d’attrition d’un abonné !
Raw Data:
Call Detail Records
Input Data:
CDR Sample
Call Stats by:
Incoming
Outgoing
Per day
Short durations
In-network
Centrality
SMS’s
…
Test/Training
Data
Caller ID
Receiver ID
Time
Duration
Location
…
Caller ID
Receiver ID
Time
Duration
Location
…
Identify Early Predictors:
Select simple, interpretable metrics
that are highly correlated w/churn
Churn Score:
Supervised learning to predict
binary & continuous measures of
churn
Output/Results
Random
Sample
Selection
Feature
Engineering
Feature
Selection
Machine
Learning
Source: Behavioral Modeling for Churn Prediction by Khan et al, 2015
36. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par
les algorithmes
de graphe
Projections de
graphes
Réseaux de
neurones orientés
graphe
36
37. Algorithmes de graphe, kézako ?
• Un sous-ensemble d’algorithmes de science des données provenant de la science des
réseaux ; les algorithmes de graphe permettent d’analyser la structure des réseaux
• Les algorithmes de graphe sont très demandés, neo4j est la 1ère solution pour les
exécuter de façon industrielle
• Des recherches approfondies montrent que les algorithmes de graphe rendent les
modèles de machine learning plus précis dans des cas d'utilisation clés
• Les algorithmes de graphe sont généralement non supervisés et divisés en catégories
:
Recherche de
chemins
Centralité
Détection de
communautés
Prédiction de lien Similarité
38. 38
Algorithmes de graphe - utilisation
Explorer, Planifier, Mesurer
Déterminer des modèles significatifs et
planifier des structures optimales
Évaluer les résultats et fixer un seuil
pour une prédiction
Sélection de variables pour
le Machine Learning
Les mesures deviennent des
variables à entraîner
1st
Node
2nd
Node
Common
Neighbors
Preferential
Attachment
Label
1 2 4 15 1
3 4 7 12 1
5 6 1 1 0
39. Ingénierie des caractéristiques
orientée graphe
L’ingénierie des caractéristiques est la façon dont nous combinons et
traitons les données pour créer de nouvelles caractéristiques plus
significatives, comme des agrégats ou des mesures de connectivité
Apport de caractéristiques +descriptives
Influence, Relations, Communautés
EXTRACTION
39
40. Ingénierie des caractéristiques orientée graphe
Catégories et Algorithmes
Recherche de
chemin
Trouve les chemins optimaux ou
évalue la disponibilité” et la qualité
des itinéraires
Centralité /
Importance
Détermine l’importance de
noeuds spécifiques du graphe
Détection de
communauté
Détecte les possibilités de
partition ou d’agrégation de
groupes
Prediction heuristique
de lien
Estime la probabilité que des
noeuds forgent une relation
Évalue à quel point les
noeuds se ressemblent
Similarité
40
42. Des questions d'une simplicité
trompeuse
Combien de comptes signalés se trouvent
dans le réseau du demandeur à +4 sauts
dans le graphe ?
Combien de variables de connexion / de
compte en commun ?
Ajoutez ces paramètres à votre processus
d'approbation
Difficile pour les RDBMS au-delà de 3
jointures
Ingénierie des caractéristiques augmentée par les
algorithmes de graphe
Détection de la fraude financière
Les grandes institutions financières disposent de mécanismes pour identifier
la fraude par le biais d’heuristiques et de modèles
42
43. Ingénierie des caractéristiques augmentée par les
algorithmes de graphe
Détection de la fraude financière
Les caractéristiques “graphe”
améliorent la précision
Connected components pour identifier les
graphes disjoints qui partagent des
identifiants
PageRank pour mesurer l’influence et le
volume des transactions
Louvain pour identifier les communautés
qui interagissent fréquemment
Jaccard pour mesurer la similarité des
comptes
44. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de
graphe
Projections de
graphes
Réseaux de neurones
orientés graphe
44
45. Les projections transforment les graphes en vecteurs de caractéristiques, ou
ensemble de vecteurs, qui décrivent la topologie, la connectivité ou les
propriétés des noeuds et des relations dans le graphe
Projections de graphes
• Projection Vertex/node : décrit la connectivité de chaque noeud
• Projection Path: traversées dans le graphe
• Projections Graph : encoder un graphe entier en un unique vecteur
Phases of Deep Walk Approach
45
46. Projections de graphe RECOMMANDATIONS
Raisonnement explicite utilisant les graphes de
connaissance pour la recommandation de musique
46
Pop
Folk
Castle on the Hill
÷ Album
Ed Sheeran
I See FireTony
Shape of You
SungBy IsSingerOf
ContainSongIsSongOf
Interact
IsSingerOf
Genre
Genre
Genre
InteractedBy
Produce
WrittenBy
ListenedTo
Derek
Recommendations
for Derek
0.06
0.24
0.24
0.26
0.03
0.30
.63
47. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de
graphe
Projections de
graphes
Réseaux de neurones
orientés graphe
47
48. “The idea is that graph networks are bigger than any
one machine-learning approach.
Graphs bring an ability to generalize about structure
that the individual neural nets don't have.”
"La cognition humaine part
du principe que le monde
est composé d’objets et de
relations”
48
"Les calculs sur les graphes
offrent un potentiel inductif
bien supérieur aux couches
convolutives et
récurrentes”
49. Apprentissage nativement orienté graphe:
La prochaine révolution de l’IA
49
Implémenter l’apprentissage automatisé dans un environnement de
graphes permet de créer des solutions d’IA +précises, +flexibles et
+fiables
Relational inductive biases, deep learning, and graph networks
L’apprentissage nativement orienté graphe fait sortir l’IA de ses boîtes noires
rigides pour créer des modèles extrêmement flexibles et transparents.
Permet aux utilisateurs
d’ingérer des données
connectées
Apprend tout en
sauvegardant les
états transitoires
Produit les
résultats sous
forme de graphes
Permet aux experts de
suivre, comprendre et
valider les chemins de
prise de décision de l’IA
Apprentissage + précis
avec - de données basé
sur les caractéristiques
importantes
50. Science des données orientée graphe -
trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de
graphe
Projections de
graphes
Réseaux de neurones
orientés graphe
Graphes de
connaissance
Ingénierie des
caractéristiques
orientée graphe
50
Apprentissage
nativement
orienté graphe
61. Query-Based Knowledge Graphs
Connecting the Dots at NASA
MISSION TO
MARS
“Using Neo4j, someone from our
Orion project found information from
the Apollo project that prevented an
issue, saving well over two years of
work and one million dollars of
taxpayer funds.”
David Meza
Chief Knowledge Architect
NASA
61
63. het.io - HetioNet
Knowledge graph integrating
50+ years of biomedical data
Leveraged to predict new
uses for drugs by using the
graph topology to create
features to predict new links
Query-Based Feature Engineering
Mining Data for Drug Discovery
63
64. Query-Based Feature Engineering
Mining Data for Drug Discovery
het.io - HetioNet
Knowledge graph integrating
50+ years of biomedical data
Leveraged to predict new
uses for drugs by using the
graph topology to create
features to predict new links
64
66. Example: electron path prediction
Bradshaw et al, 2019
Graph Native Learning
Given reactants and reagents, what will the
products be?
Given reactants and reagents, what will the
products be?
66