Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-

2015/01/15に東北大学大学院で行った講義の資料です

  • Soyez le premier à commenter

大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-

  1. 1. - -
  2. 2. !  : 2006 3 !  : !  : 40 !  :
  3. 3. !  TopCoder’s Red Coder : 3 !  ICPC : 7 !  ICFP !  : 5 !  Publications: ACL, SIGKDD, NAACL, ALENEX, SODA, FOCS, STOC, DCC, SDM, ICDM, SPIRE, ESA, ICPR, MLJ, JMLR, NIPS, ECML/PKDD, Bioinformatics, Nucleic Acids Research !  Ex. SONY, IBM Research, Yahoo! Japan, Sun, Accenture, Microsoft, mixi, FAST Search&Transfer, TOPPAN Printing, NOMURA Security, GREE, KUMON, Google interns
  4. 4. !  !  !  !  ! 
  5. 5. !  -2008 !  !  2008-2011 !  !  2011- !  !  NLP 2014-
  6. 6. NLP YANS !  YANS 9 !  40 !  !  !  YANS 3 !  !  "
  7. 7. !  1 !  !  !  !  2 ! 
  8. 8. !  ! 
  9. 9. 3 1.  2.  3. 
  10. 10. 1.
  11. 11. !  !  !  !  !  !  WWW !  Blog !  SNS
  12. 12. !  !  !  !  !  !  SNS !  ! 
  13. 13. !  !  !  !  !  !  ! 
  14. 14. EC !  !  !  !  !  !  !  ! 
  15. 15. !  !  !  !  !  ! 
  16. 16. !  !  !  !  Google !  
 
 (
  17. 17. Intimate Merger !  2013/06/19 ! 
  18. 18. !  !  !  !  !  1 !  etc. !  UI
  19. 19. (1/2) !  SNS !  Twitter : 2.3 active user *1 !  Facebook : 11.9 active user *2 !  LINE : 2.0 user*3 !  !  Peer reviewed Journal 135 article / *4 !  4 10% , 15 2 !  conference proceedings *1 http://weekly.ascii.jp/elem/000/000/084/84331/ *2 http://www.prnewswire.com/news-releases/facebook-reports-third- quarter-2013-results-229923821.html *3 http://en.lineblog.naver.jp/archives/30767259.html *4 http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2909426/
  20. 20. (2/2) !  !  !  SNS, !  !  !  !  SNS !  ,
  21. 21. !  !  Google !  !  pull push twitter
  22. 22. tweet
  23. 23. http://gunosy.com https://www.smartnews.be/
  24. 24. !  !  !  !  !  !  ! 
  25. 25. 2.
  26. 26. 24 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/html/nc122310.html
  27. 27. !  ! 
  28. 28. : Siri https://www.apple.com/jp/ios/siri/ http://v-assist.yahoo.co.jp/ https://www.nttdocomo.co.jp/service/information/shabette_concier/
  29. 29. Gunosy, SmartNews http://gunosy.com https://www.smartnews.be/
  30. 30. 1/2 !  !  1970 PC !  !  !  2000 ! 
  31. 31. 2/2 !  !  RSS 2000 !  !  !  2000 ! 
  32. 32. !  !  !  !  !  ! 
  33. 33. !  !  !  !  !  !  !  !  !  ! 
  34. 34. IoT
  35. 35. !  !  !  Google Now
  36. 36. !  !  <12:00 :25
  37. 37. !  !  !  !  !  !  ! 
  38. 38. !  !  !  !  !  !  ! 
  39. 39. 3.
  40. 40. !  !  1993: [Brown+93] !  1996: [Berger+96] !  2001: [Lafferty+01] !  !  2003: Latent Dirichlet Allocation [Blei+03] !  2006: Pitman-Yor language model [Teh06] !  !  2006: [Clarke+06][Riedel+06] !  2010: [Koo+10][Rush+10] !  !  2003: Neural language model [Bengio+03] !  2010: Recurrent Neural Network [Mikolov+10] !  2012: Skipgram Model (word2vec) [Mikolov+13]
  41. 41. !  !  !  ! 
  42. 42. 1. !  2011: 30% # 20% !  2012: 26% # 16% !  2013: 11% # 2014: 6.7% http://image-net.org/challenges/LSVRC/2012/ilsvrc2012.pdf
  43. 43. 2. !  2012/3: Google Hinton DNNresearch !  2012/4: Baidu Institute of Deep Learning !  2012/8, 10: Yahoo! IQ Engines LookFlow !  2012/12: Facebook AI Lab LeCun !  2014/1: Google DeepMind !  2014/5: Andrew Ng Baidu !  2014/8: IBM SyNAPSE
  44. 44. 3. !  2014/1 !  2014/10
  45. 45. !  !  !  !  !  !  ! 
  46. 46. !  !  !  Google !  !  ! 
  47. 47. Neural Network Language Model (NNLM) [Bengio +03] !  N NN !  N-1
  48. 48. Recurrent Neural Network Language Model (RNNLM) [Mikolov+10] !  t-1 t !  NNLM N !  !  http://rnnlm.org
  49. 49. Skip-gram (word2vec) [Mikolov+13] !  !  CBOW !  Analogical reasoning !  word2vec
  50. 50. (MV-RNN) [Socher +12] !  !  f !  Root
  51. 51. Dynamic Convolutional Neural Network [Kalchbrenner+14] !  CNN ! 
  52. 52. Long Short-Term Memory (LSTM) !  RNN !  !  tanh sigmoid sigmoid sigmoid
  53. 53. !  !  1 ! 
  54. 54. !  libsvm, liblinear !  !  JUMAN, Chasen, MeCab !  !  Moses (GIZA++) !  !  Stanford CoreNLP !  !  word2vec !  Skipgram !  Theano, Caffe, cuda-convnet !  ! 
  55. 55. Caffe (http://caffe.berkeleyvision.org/) !  !  !  Convolutional Neural Network !  CPU GPU !  1
  56. 56. !  !  1 !  !  !  ! 
  57. 57. PFI 2010 Xappy 2012 !  2012 Gunosy !  !  ! 
  58. 58. Xappy !  !  Blog !  Twitter Facebook SNS !  !  4G !  !  !  etc. !  GUI
  59. 59. !  !  !  !  !  PC !  !  !  !  !  10 ! 
  60. 60. 40 vs 40
  61. 61. 2008-2011 !  !  : 40 !  : R&D !  : B2B !  : 2011- !  PFI !  : 40 !  : R&D !  : B2B !  :
  62. 62. !  !  !  !  !  !  ! 
  63. 63. !  !  !  IBM PFI
  64. 64. !  !  ! 
  65. 65. !  !  !  !  !  !  ! 
  66. 66. !  !  !  !  !  !  ! 
  67. 67. !  90 ! 
  68. 68. !  !  !  !  95 !  5 !  ! 
  69. 69. !  !  ! 
  70. 70. 1 12
  71. 71. 503i 1 10KB iPhone6 1 10MB 12
  72. 72. CPU Pentium III 500MHz PC Apple A8 1.4GHz iPhone6 12
  73. 73. MD: 1 60 iPod shuffle: 500 30 12 wikipedia
  74. 74. !  !  !  ! 
  75. 75. 12 !  !  !  DVD Blue-ray
  76. 76. !  !  ! 
  77. 77. !  I T π 

  78. 78. 1 !  !  !  ! 
  79. 79. !  !  !  !  !  ! 
  80. 80. !  !  !  !  !  ! 
  81. 81. (1/4) !  [Brown+93] Peter F. Brown, Vincent J. Della Pietra, Stephen A. Della Pietra, Robert L. Mercer. The mathematics of statistical machine translation: parameter estimation. Computational Linguistics Vol. 19 (2), 1993. !  [Berger+96] Adam L. Berger, Vincent J. Della Pietra, Stephen A. Della Pietra. A Maximum Entropy Approach to Natural Language Processing. Computational Linguistics, Vol. 22 (1), 1996. !  [Lafferty+01] John Lafferty, Andrew McCallum, Fernando C. N. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. ICML2001.
  82. 82. (2/4) !  [Blei+03] David M. Blei, Andrew Y. Ng, Michael I. Jordan. Latent Dirichlet Allocation. JMLR Vol. 3, 2003. !  [Teh06] Yee Whye Teh. A Hierarchical Bayesian Language Model based on Pitman-Yor Processes. ACL 2006. !  [Clarke+06] James Clarke, Mirella Lapata. Constraint-Based Sentence Compression: An Integer Programming Approach. COLING/ACL 2006. !  [Riedel+06] Sebastian Riedel, James Clarke. Incremental Integer Linear Programming for Non-projective Dependency Parsing. COLING/ACL 2006.
  83. 83. (3/4) !  [Koo+10] Terry Koo, Alexander M. Rush, Michael Collins, Tommi Jaakkola, David Sontag. Dual Decomposition for Parsing with Non-Projective Head Automata. EMNLP 2010. !  [Rush+10] Alexander M. Rush, David Sontag, Michael Collins, Tommi Jaakkola. On Dual Decomposition and Linear Programming Relaxations for Natural Language Processing. EMNLP 2010. !  [Bengio+03] Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin. A Neural Probabilistic Language Model. JMLR, 2003.
  84. 84. (4/4) !  [Mikolov+10] Tomas Mikolov, Martin Karafiat, Lukas Burget, Jan "Honza" Cernocky, Sanjeev Khudanpur. Recurrent neural network based language model. Interspeech, 2010. !  [Mikolov+13] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. CoRR, 2013. !  [Socher+12] Richard Socher, Brody Huval, Christopher D. Manning, Andrew Y. Ng. Semantic Compositionality through Recursive Matrix-Vector Spaces. EMNLP2012. !  [Kalchbrenner+14] Nal Kalchbrenner, Edward Grefenstette, Phil Blunsom. A Convolutional Neural Network for Modelling Sentences. ACL2014.

    Soyez le premier à commenter

    Identifiez-vous pour voir les commentaires

  • KanSakamoto

    Jan. 25, 2015
  • ganden

    Jan. 26, 2015
  • f2forest

    Feb. 7, 2015
  • osamuuchida1

    Feb. 27, 2015
  • lewuathe

    Feb. 27, 2015
  • Tyee

    Mar. 25, 2015
  • ssuserd02206

    Apr. 9, 2015
  • TsuyoshiNakajima1

    May. 11, 2015
  • K2ICE

    May. 11, 2015
  • LimeStreem

    May. 24, 2015
  • tchikuba

    Jun. 8, 2015
  • hidenaoabe

    Jul. 9, 2015
  • ShigeruKuroyanagi

    Jul. 28, 2015
  • bios0000

    Dec. 31, 2015
  • ww24jp

    Feb. 9, 2016
  • RyoShimada

    Jan. 14, 2017
  • MasayukiOkamoto1

    Mar. 30, 2017
  • HarukiTanaka1

    Dec. 27, 2017
  • TakatoNakatani

    Dec. 28, 2017
  • ShioriHayakawa

    Nov. 2, 2019

2015/01/15に東北大学大学院で行った講義の資料です

Vues

Nombre de vues

7 935

Sur Slideshare

0

À partir des intégrations

0

Nombre d'intégrations

478

Actions

Téléchargements

82

Partages

0

Commentaires

0

Mentions J'aime

47

×