42. 42
#ANPI-NLP (ANPI=安否)
• Right after earthquake, RIT aggregated ANPI information from web and
twitter.
• We collaborated together with over 70 people outside of Rakuten.
http://trans-aid.jp/ANPI_NLP/
•Analyze ANPI tweet
•Aggregate ANPI info
•Classify ANPI tweet
•Matching location
•Translate information
Named “Rakuten SuperDB”. … for the growth of e-commerce.
… , we deploy it in many services of Rakuten, as you can see.
This is a graph drawn by Information Explosion project in Japan, showing the amount of digital data human kind has. You know, … . Along with this, … That is called “…”.
ビッグデータというのは違う概念である
The 3 rd is …. from RIT. Recently, ….. real world and net service everywhere, especially by using new device technologies . In this presentation, we will show some …… …. enjoy it.
わかりやすい例。
わかりやすい例。
2005 年にアメリカ国立標準技術研究所( NIST )後援で開催された、米国立標準技術研究所後援の機械翻訳コンテスト 難解かつ独特なアラビア語の大量の記事を、いかに正確に英文記事へと翻訳できるか、その翻訳精度の高さを競う大会このコンテストは、アラビア語を英語に。 アルゴリズムの精度を測るもので、「そこに初めて Google が参戦し圧倒的勝利を収めたのだが、 グーグルチームは、アラビア語がわかるメンバーが一人もいなかったそうです。 「彼らは、自然言語処理モデルもアルゴリズムもつくることもしなかった。何をしたかというと、単に web 上でグーグルの検索にあてただけ。大量のデータを適用したことにより、精度の高い翻訳分析ができてしまった。大量データを使えば使うほど価値を生み出し、できなかったことができるようになることが証明された結果、ビッグデータという概念が生まれ世界が注目するようになった」。そう説明するのは、楽天技術研究所の森正弥所長だ。 彼らは自然言語処理技術を使用せず、 Web 上にあるデータから言葉と言葉の関連性の距離を計算し、距離の近いものを当てはめて翻訳していくという手法をとった。これはつまり、理論がなくともデータが大量にあれば、精度の高い分析ができてしまうという世界がくることを意味した。これがビッグデータの本質であろう。」(森氏)。
わかりやすい例。
ワトソンは、アメリカ合衆国のクイズ番組「ジェパディ ! 」( Jeopardy! )で人間と対戦するためのコンピュータ・システムで、 2009 年 4 月に IBM により発表された [1] 。 これは 1997 年に、当時のチェス世界チャンピオンのガルリ・カスパロフに勝利した IBM のコンピュータ・システムであるディープ・ブルーに次ぐプロジェクトである。しかし、クイズ番組では自然言語で問われた質問を理解して、文脈を含めて質問の趣旨を理解し、人工知能として大量の情報の中から適切な回答を選択し、回答する必要がある。 IBM はこの技術を、将来的には医療、オンラインのヘルプデスク、コールセンターでの顧客サービスなどに活用できるとしている。 2011 年 1 月 13 日にはトーマス・ J ・ワトソン研究所でワトソンの公開と対戦デモが行われた。ワトソンは、 10 台のラックに搭載された Power Systems 750 で構成され、 2880 個の POWER7 プロセッサ・コアを搭載し、オペレーティングシステムは Linux 、処理性能は 80 テラ FLOPS(TFLOPS) で、インターネットには接続されておらず、本・台本・百科事典( Wikipedia を含む)などの 2 億ページ分のテキストデータ( 70GB 程度、約 100 万冊の書籍に相当)をスキャンして取り込んだ [2][3] 。 2011 年 2 月 14 日からの本対戦では、 15 日と 16 日に試合が行われ、初日は引き分け、総合ではワトソンが勝利して賞金 100 万ドルを獲得した。賞金は全額が慈善事業に寄付される [4] 。 IBM の事実上の創立者、トーマス・ワトソンより。