Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

XebiCon'18 - Spark NLP, un an après

1 604 vues

Publié le

Spark NLP (Natural Language Processing) permet depuis son lancement en open source, il y a un an et quelques mois, d'avoir une solution de traitement du langage directement développé pour Apache Spark et Spark ML (Machine Learning). Apache Spark avec son module ML permet de lancer des tâches de data science, avec du machine learning et du deep learning, tout en profitant de l'aspect distribué de son architecture. Avec Spark NLP, on peut le faire maintenant avec des tâches de NLP spécialisé.

Depuis sa sortie, que peux-t-on faire avec Spark NLP ? Quels cas sont à tester avec Spark NLP, et ceux à éviter ? Est-ce facile pour les équipes d'entraîner un modèle et de l'utiliser dans son pipeline ?

Nous verrons ces questions à travers un exemple rapide d'entraînement de détection d'entités nommées (NER) avec Spark NLP.

Par Aurore De Amaral, Data Engineer chez Xebia

Toutes les informations sur xebicon.fr

Publié dans : Technologie
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

XebiCon'18 - Spark NLP, un an après

  1. 1. @Xebiconfr #Xebicon18 @auroredea Spark NLP, 1 an après Aurore de Amaral, Ingénieur Data 1
  2. 2. @Xebiconfr #Xebicon18 @auroredea Aurore de Amaral Ingénieur Data (passionnée par le TAL :D) 2
  3. 3. @Xebiconfr #Xebicon18 @auroredea 3
  4. 4. @Xebiconfr #Xebicon18 @auroredea 4
  5. 5. @Xebiconfr #Xebicon18 @auroredea Dernière version : 1.7.3 Utilise Spark/Spark ML 2.X.X Scala 2.11.X Java 7+ Développé et Open Sourcé depuis 1 an par : 5
  6. 6. @Xebiconfr #Xebicon18 @auroredea 6
  7. 7. @Xebiconfr #Xebicon18 @auroredea 7
  8. 8. @Xebiconfr #Xebicon18 @auroredea 8 Corpus annoté sur https://github.com/YoannDupont/WiNER-fr À l’extérieur, d’autres élus comme Philippe Goujon , député-maire Les Républicains du 15 e arrondissement de Paris , et Frédéric Lefebvre , député LR, tentaient de faire barrage. Ce dernier en appelle au Pape François « pour sauvegarder ce lieu de culte » [1] .
  9. 9. @Xebiconfr #Xebicon18 @auroredea 9
  10. 10. @Xebiconfr #Xebicon18 @auroredea 10
  11. 11. @Xebiconfr #Xebicon18 @auroredea 11 Phrases Tokenizer POS Maître Corbeau, ... [“Maître”, “Corbeau”, ”,”] [“Maître”,”N”], [“Corbeau”,”N”] Maître Renard, ... [“Maître”, “Renard”, ”,” ] [“Maître”,”N”], [“Renard”,”N”]
  12. 12. @Xebiconfr #Xebicon18 @auroredea Pré-entraîné sur l’anglais Pas de pré-entraînement BasicPipeline Pipeline AdvancedPipeline LightPipeline SentimentPipeline RecursivePipeline 12
  13. 13. @Xebiconfr #Xebicon18 @auroredea
  14. 14. @Xebiconfr #Xebicon18 @auroredea 14
  15. 15. @Xebiconfr #Xebicon18 @auroredea 15
  16. 16. @Xebiconfr #Xebicon18 @auroredea

×