Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 仮想脳「NeuroAI」の裏側 ＆ 企画発表（NTTデータ テクノロジーカンファレンス 2020 発表資料）
Similaire à 仮想脳「NeuroAI」の裏側 ＆ 企画発表（NTTデータ テクノロジーカンファレンス 2020 発表資料） (20)
Plus de NTT DATA Technology & Innovation
Plus de NTT DATA Technology & Innovation (20)
Dernier
仮想脳「NeuroAI」の裏側 ＆ 企画発表（NTTデータ テクノロジーカンファレンス 2020 発表資料）
- 1. © 2020 NTT DATA Corporation NTTデータ テクノロジーカンファレンス 2020 仮想脳「NeuroAI」の裏側 ＆ 企画発表 2020年10月16日 株式会社NTTデータ 社会基盤ソリューション事業本部 ソーシャルイノベーション事業部 前田 直哉
- 2. © 2020 NTT DATA Corporation 2 1. 脳情報とAIの融合（NeuroAI研究のご紹介） 2. 従来のAIと比較したNeuroAI優位性 3. 「NeuroAI」フォトコンテスト結果発表
- 3. © 2020 NTT DATA Corporation 脳情報とAIの融合 （NeuroAI研究のご紹介） 3
- 4. 4 © 2020 NTT DATA Corporation 深層学習の登場とAIの進化 0% 5% 10% 15% 20% 25% 30% NEC-UIUC XRCE SuperVision Clarifai GoogLeNet MSRA 2010 2011 2012 2013 2014 2015 Human ILSVRC Top-5 classificationerror (%) 深層学習 認識エラー率 深層学習の物体認識能力は人間を凌駕する！ 深層学習ネットワークの例 [Simonyan & Zisserman 2015 ICLR] 脳のアーキテクチャーを インスパイアして誕生したAI技術 視覚物体の認識率を競う世界的AIコンペ 人間
- 5. 5 © 2020 NTT DATA Corporation 高度化したAIは人間の脳と同じ振る舞いをするのか？ 日常的なシーン 親子 サラダ キッチン パプリカ ズッキーニ ︙ 親子、料理 キッチン 人間 AI 幸せ 楽しそう 好き 客観情報 客観情報 主観情報 従来のAIは、客観情報の認識が得意だが、主観情報の認識は不得意 映像などが人に与える感性・情動の評価には不向き 脳の計算処理をAIに取り入れることが必要
- 6. 6 © 2020 NTT DATA Corporation AIと脳の対比から脳情報処理を理解 脳活動 デジタル データ fMRI 出力 （認識内容） 家族、料理 キッチン 入力 （感覚入力） 内部情報 符号化 復号化 観測可 観測可 観測不可 観測不可 観測可能なAIの情報処理を利用して、観測不可能な脳の情報処理を推定
- 7. 7 © 2020 NTT DATA Corporation 観測不能な脳の情報処理をシミュレートして可視化： AIを用いた符号化・復号化モデリング 脳活動 fMRI 認識内容 家族、料理 キッチン 幸せ 楽しそう 符号化 モデル 復号化 モデル AIの情報処理 利用 感覚入力から脳活動を予測する符号化モデル 脳活動から認識内容を解読する復号化モデル 利用 感覚入力
- 8. 8 © 2020 NTT DATA Corporation 符号化モデリングの研究例： 深層学習を用いた視聴覚情報処理のモデル化 Supplementary figures Supplementary Figure 3: Localization o each cnn2vox model. Thecortex of each 左半球 右半球 前部 後部 前部 深層学習の 情報処理 [Nishida et al. 2020 AAAI] 視覚の認識を行う 深層ネットワーク （視覚DNN） 聴覚の認識を行う 深層ネットワーク （聴覚DNN） 感覚入力 脳活動 深層学習と脳には一部共通の情報表現 共通性と差異から脳の情報処理を理解 視覚DNNで活動が 予測できる領域 聴覚DNNで活動が 予測できる領域
- 9. 9 © 2020 NTT DATA Corporation 復号化モデリングの研究例： 自然言語処理を用いた知覚意味・印象内容の解読 [Nishida & Nishimoto. 2018 Neuroimage] 10万単語の中から知覚内容に近いと推定された単語 感覚入力 知覚意味・印象内容 脳活動 自然言語処理 モデルの情報処理 意味情報処理をモデル化 家族、料理、笑顔 幸せ、楽しそう 単語を数値で表現
- 10. 10 © 2020 NTT DATA Corporation 脳解読は主観情報の評価に最適だが高コスト 幸せ 楽しそう 好き fMRI 動画像・音声 AIのようにコストをかけず、脳解読のように主観情報の認識を可能にするには？ 解読 金銭的、時間的、 人的コストが大きい 主観情報 脳活動 動画像・音声の感性評価に 利用可能
- 11. 11 © 2020 NTT DATA Corporation 脳融合型AI： 脳情報をAIに組み込んで、AIの振る舞いを脳に近づける 動画像・音声 深層学習 ネットワーク 認識内容 家族、料理 キッチン 楽しそう 好き 復号化 モデル 符号化 モデル 予測脳活動 従来のAIによる認識 脳融合型AIによる認識 符号化・復号化モデルを一旦作成すれば、新たな脳計測は不要 脳計測コストをかけずに、任意の入力から主観情報を認識するAIとして機能 「NeuroAI®」の基盤技術 + 客観+主観 [Nishida et al. 2020 AAAI] 脳情報で強化
- 12. © 2020 NTT DATA Corporation 従来のAIと比較した NeuroAI優位性
- 13. © 2020 NTT DATA Corporation 13 【問題】 主観情報の認識ができるNeuroAIですが、 それ以外に従来のAIに比べて優位な点は何でしょうか？ A. 学習データが少なくて済む B. 高精度になる C. AとBの両方
- 14. 14 © 2020 NTT DATA Corporation NeuroAI技術の世界的実績 ～AI最高峰学会で論文採択＆発表～
- 15. 15 © 2020 NTT DATA Corporation 【参考】NeuroAI API 企業内システム NeuroAI API Mobile App等 NeuroAI API クローン（仮） コンテンツ 脳活動情報 知覚 感性 Web効果 ： 直接連携 内部連携
- 16. 16 © 2020 NTT DATA Corporation NeuroAI優位性 ①学習データがより少なくて済む ②従来のAIより高精度になる CM好感度 【答え】C [Nishida et al. 2020 AAAI]
- 17. 17 © 2020 NTT DATA Corporation NeuroAI優位性 ①学習データがより少なくて済む ①脳の情報表現を加えることで、学習データ数を減らすことができる可能性がある ・従来のAIの情報表現に比べ、脳の情報表現は非常に洗練されている（→脳は無駄が少ない） ・洗練された情報表現を使うことで汎化性能が上がり、過学習を起こしにくくなるため、少ない学習データ数でも 精度が上がり易い（→好感度予測において、従来のAIに比べると、NeuroAIの学習データ数は少ない） ■従来AIの３分の１のデータ量で同精度を達成 同じ0.3の精度を出すにも、BTL（NeuroAI）は5000弱で 済むが、TL（従来AI）は15000以上必要 （左は、CM総研の好感度を予測対象としたときのグラフ） 既存AIソリューションの特徴抽出部分にて NeuroAI（BTL）を利用することで 学習効率を上げられる可能性あり 訓練用データ 推定精度 約３分の１の訓練データ量で同精度
- 18. 18 © 2020 NTT DATA Corporation NeuroAI優位性 ②従来のAIより高精度になる より人間らしい表現の予測において精度向上の可能性あり 精度比較 シーン記述 （ND独自） 印象評定 （ND独自） 好き嫌い評価 （ND独自） 好感度 （CM総研） クリック率 （A社指標） BTL：NeuroAI 0.546 0.517 0.247 0.387 0.505 TL：従来AI 0.537 0.501 0.224 0.365 0.510 精度向上率 1.7% 3.2% 10.3% 6.0% -1.0% CM好感度
- 19. © 2020 NTT DATA Corporation 「NeuroAI」フォトコンテスト結果発表 19
- 20. © 2020 NTT DATA Corporation 20 【テーマ】 ※『Innovative-Tech』：「技術」「先進性」「信頼」「未来」「オープン」 の５つのキーワードにより近い印象を持った合計スコアが計算され、 そのスコア数値が高い結果を発表します。
- 21. © 2020 NTT DATA Corporation 21 まずは、、、「エモい」結果１位
- 22. © 2020 NTT DATA Corporation 22 『Innovative-Tech』結果１位
- 23. © 2020 NTT DATA Corporation 23 面白い気づき 1986年PC 1991年PC 2020年NOW
- 24. © 2020 NTT DATA Corporation 24 入賞されたみなさま、おめでとうございます NeuroAIにご興味いただけましたら ぜひお問い合わせください
- 25. © 2020 NTT DATA Corporation
Notes de l'éditeur
- NTTデータの前田です。 私共は、6年ほど前から脳科学をベースにおいたビジネス化に取り組んでおります。 脳情報を使い、「様々なマルチモーダルなコンテンツ」を評価・予測する技術「NeuroAI」を、 国の研究機関である「情報通信研究機構」、通称NICT、と共に確立してきました。
- 本日は、まず最初に、我々が取り組んでおります、 AI技術を使って脳の中の情報を可視化する技術、 更にその逆として、脳の情報をAIに取り込んでAIをより良いものにする技術、 脳融合型AIと我々は呼んでますが、その技術について紹介させていただきます。 そして、従来のAIと比較したNeuroAI優位性について事例を紹介させていただき、 最後は、初日に案内させていただいた、 NeuroAIを使ったフォトコンテストの結果発表をさせていただきます。
- それでは、少しアカデミックな話になってしまいますが、 脳情報とAIの融合ということで、研究の背景から説明していきます。
- 最近、AI技術の発展が著しいかと思います。 皆さん、よくご存じだと思いますが、その火種となったのが深層学習と呼ばれるAI技術です。 こちらは元々、画像認識、その中でも特に、一般物体認識と呼ばれる問題において、 開発されたモデルです。 このスライドで示しました、深層学習ネットワークの例、というのも、 このような画像認識のためのネットワークです。 どのような構造をしているかと言いますと、一つ一つのレイヤーが、 人間の脳の中のニューロン、神経細胞に近い組織をもっていまして、それが大量に含まれております。 単純化してますが、脳のアーキテクチャをインスパイアして誕生したAIです。 で、この深層学習が出てきて、画像認識という分野において、飛躍的にAIのレベルが高くなり、 2015年には人間を超えて、一躍、話題になりました。
- このように、AIというのはどんどん、この画像認識の文脈においても進化しております。 で、そこで疑問が出てくるわけです。 そういった高度化したAIというのは、本当に人間の脳の振る舞いに、近づいてきているのか？と、 我々の答えはノーです。 確かにAIというのは、物体の認識といった客観的な情報、ここではそれを客観情報と呼びますが、 その認識においては非常に長けています。 例えば、このスライドのような日常的なシーンを入力としても、 そこに含まれている様々な物体を、正確に、詳細に、認識することができるわけです。 しかし、人間というのは、同じものを見ても、もっと違った認識をするわけです。 もちろん客観情報も認識しますが、もっと大雑把な見方をするわけです。 で、更にそれだけではなく、そのシーンを見たときに、見た人の内的に生じる、 例えば情動であったり、感性であったり、印象であったりというような、主観的な情報、 ここでは主観情報と呼びますが、そのようなものも同時に認識されるわけです。 従来のAIは、客観情報の認識は得意なのですが、主観情報の認識は、実は不得意なのです。 で、どうしたら良いかというと、やぱり脳の計算原理、人間が主観情報を処理する、 脳の計算原理を理解して、それをAIに取り入れて、AIの計算を、より人間に近いものにしないと、 おそらくそのGAPは埋まらないと、我々は考えました。
- では、このような脳の情報処理を理解するためにはどうしたらいいか、実はそこにもAIが使えます。 我々の研究アプローチでは、AIと脳を対比することで、脳の情報処理を理解しよう、 という試みを行っております。 大雑把にいうと、抽象的なレベルでは、AIも脳も同じような計算処理をしています。 例えば、スライド左にあるような、自然な感覚情報が入力されると、 AIではデジタルデータとして内部的に表現されます。 一方で、脳については、例えば、目や耳というような感覚器から情報が入ってきて、 脳の中で脳活動として、情報が表現されるわけです。 続いて、デジタルデータや脳活動のような内部情報を使い、それぞれ計算して、 最終的には何かしらの認識結果が出力されます。 この２つの計算の流れについて、 感覚入力の情報から、AIや脳の内部情報への変換を符号化と、ここでは呼ぶことにします。 一方で、内部情報から認識内容への情報の変換を、複号化と呼ぶことにしますが、 符号化、複号化という考え方をすると、AIも脳もよく似たことをしていることが分かります。 ただ、大きく違う点が一点あります。 何かというと、AIにおける、この符号化、複号化という計算処理は観測可能なのですが、 人間の脳の情報処理というのは全然わかっていなくて、観測不可能だということです。
- で、我々の研究では、観測可能なAIの情報処理を利用して、そういった観測不可能な 脳の情報処理を推定してしまおう、ということをしております。 このような研究アプローチは、符号化・復号化モデリングと呼ばれています。 どういった研究アプローチかというと、感覚入力が人の目から入ってきて 脳活動として出てくるのですが、この符号化の計算処理を、 AIの計算処理でシミュレートしてやることで可視化すると、いうことをするわけです。 この感覚入力から脳活動を予測するモデルを、符号化モデルと呼びます。 で、この符号化モデル、つまりAIでシミュレーションされた情報処理が、 人間の情報処理に近ければ近いほど、任意の感覚入力から脳活動を、 より高い精度で推定することができるというわけで、その予測の精度を測ることで、 シミュレーションの妥当性が評価できると、いうことになります。 一方で、脳活動から認識内容への情報変換、復号化の情報変換も、 同じように別のAIの情報処理でシミュレートしてやると、 脳活動から、その人が感じたこと、考えたこと、のような認識内容を、 何かしらの定量的なカタチで、解読することができるわけです。 これを我々は、復号化モデルと呼んでいます。 この符号化・復号化モデルを使ったアプローチで、AIを使って脳の情報処理を理解する、 そして、脳の活動から、その人がどのようなことを考えたか、 というような認識内容を推定する、解読する、というような技術開発をしております。
- では、符号化・復号化モデルの研究例を簡単に説明します。 まずは符号化モデルの研究例です。 これは、深層学習を用いた、脳内の視聴覚情報処理のモデル化の話です。 先程お話しした符号化モデリングの枠組みの中で、感覚入力から脳活動が生成される 情報処理を、深層学習を使ってシミュレーションします。 使うネットワークは、視覚と聴覚の認識を行う深層ネットワークの２つで、 それぞれ脳活動の予測をしました。 スライドの右側が、その脳活動の予測結果を示しており、脳の左半球と右半球が 可視化されてます。 で、赤色が付いていますが、この赤色が濃ければ濃いほど、 視覚DNNで脳活動が予測できる領域を表してます。 青色は、青色が濃ければ濃いほど、聴覚DNNで脳活動が予測できる領域を表してます。 見てもらうと分かるように、脳の後頭葉部分に赤色が集中しています。 ご存じの方もいるとは思いますが、人間の脳の後頭葉の部分に、 視覚情報を処理する視覚野というものがあります。 実際、その視覚野の脳活動がうまく予測できているのが分かります。 一方、側頭葉の部分には、聴覚情報を処理する聴覚野という場所があります。 この聴覚野の脳活動もうまく予測できているのが分かります。 この結果が何を示しているのかというと、深層学習を使った視覚処理、聴覚処理と、 脳の間には、一部共通の情報表現がある、ということが言えるわけです。
- 続いて、復号化モデルの研究例です。 こちらは自然言語処理と言われるAIの一種を用いております。 この自然言語処理のモデルの情報処理を、この復号化モデルに用いることで、 脳活動から、その人が感じた意味とか印象を解読する技術を開発しました。 スライドの下がその解読結果です。 この結果が何を表しているかというと、左側の絵が被験者がファンクショナルMRIという 装置の中で見た映像のワンシーンです。 このシーンを見たときの脳活動から、復号化モデルを使って、 知覚、意味、印象内容を解読しました。それが右側の表の結果です。 実際には単語の候補が10万単語ありますが、 その中から、その人が知覚した、感じた、考えたという内容に最も近いと推定された、 上位6個だけを示してます。 名詞、動詞、形容詞に分けて表しているのですが、 これは物体、動作、印象の知覚にそれぞれ対応していると、いうように考えることができます。 見ていただくと、このシーンをうまく表現できていることが分かります。
- このように、脳解読は主観情報の評価に向いているため、 複数の企業にCMを評価するサービスを使っていただいていたのですが、 コストがものすごくかかる問題が露呈しました。 人がCMを見たときの評価をしたいとなると、 実際に被験者にファンクショナルMRIに入ってもらって脳活動を計測し、 そこから先程のモデルで解読し、その人の主観情報を推定する必要があります。 ただ、ファンクショナルMRIという装置がとても高価でして、 また、被験者のアサインしてから計測するため、人的、時間的コストもかかりました。 そのコスト面の問題を解決する次のステップとして、 AIのようにコストをかけず、脳解読のように主観情報の認識を可能にするにはどうしたら良いか？ ということを考え、我々が発明したのが、脳融合型のAIです。
- これは脳情報をAIに組み込んで、 AIの振る舞いを脳に、人間に、近づけることを目的とした技術です。 このスライドの図の上の流れに示しましたのは、従来のAIによる認識のスキームです。 動画像や音声を、例えば深層学習のネットワークに入力すると、 最終的に何かしらの認識内容が出てきます。 それに対して、脳融合型AIは、図の下の流れのような感じです。 深層学習ネットワークを使った符号化モデルで一旦、脳活動を予測します。 その予測した脳活動に、復号化モデルを適用して、解読して、 右側にあるような認識内容を推定します。 この符号化・復号化モデルを作成するためには、 大体２時間分くらいの脳を計測する必要がありますが、 一旦モデルを作成すれば、どんな入力を入れても、新たな脳計測をすることなく、 認識結果が計算できる、というモデルになっているというのが特徴です。 すなわち、脳計測コストをかけずに、任意の入力から主観情報を認識するAIとして機能する、 これがまさに、NeuroAIの基盤技術となっているわけです。
- それではここからは、既存AIと比較したNeuroAIの優位性についてご説明しますが、
- ここで１つ問題を出させていただきます。 主観情報の認識ができるNeuroAIですが、それ以外に従来のAIに比べて優位な点は何だと思いますか？ という問題でして、選択肢が３つあります。 Aは、学習データが少なくて済む、 Bは、高精度になる、 Cは、AとBの両方となります。 皆さま、どれが正解かと思いますか？AとBとCの選択肢からお選びください。 回答結果が出るまで少し時間がかかりますので、2点ほど宣伝させていただきます。
- 1つ目は、NeuroAIの学術成果についてです。 NeuroAIの基盤技術の論文は、学術成果としても認められておりまして、 AIに関する世界最高峰の学会である米国の人工知能学会、AAAIで採択され、 数少ない口頭発表にも選ばれため、今年の2月にニューヨークで発表させていただきました。
- 2つ目は、NeuroAIは誰でも簡単に使えますよ、という話です。 NeuroAIは、様々な企業や、研究者・開発者の方が、自由に使えるように、API化しており、 我々が提供しているD-Plannerというサービスや、 また、今回のカンファレンスで提供させていただいたフォトコンテストのモバイルアプリも、 このNeuroAI APIを使って開発されております。 ご興味がある方はお問い合わせください。 そろそろ、回答が出揃ったようです。皆さま、ご回答ありがとうございました。
- 答えはC、AとBの両方になります。 脳媒介型の転移学習、BTLと我々は呼んでますが、 脳を媒介することによる優位性について、２つの優位性を紹介いたします。
- 1つ目は、脳の情報表現を加えることで、学習データ数を減らすことができるという優位性です。 従来のAIの情報表現に比べ、脳の情報表現は非常に洗練されています。 この洗練された情報表現を使うことで汎化性能が上がり、過学習を起こしにくくなり、 少ない学習データ数でも精度が上がり易いためです。 こちらのグラフは、AAAIの論文にも記載されている内容なのですが、同じ推定精度を出すにも、 TLだけを使った従来AIに比べると、NeuroAIは約３分の１の学習データ量で済むことが分かります。
- 2つ目は、脳の情報表現を加えることで、従来のAIよりも精度を上げることができる という優位性です。 こちらの表も、論文にも記載されている内容なのですが、 TLだけを使った従来AIに比べると、NeuroAIの方が精度が高いことが分かります。 ただし、全てのタスクで精度が高くなっているわけではなく、印象、好き嫌い、好感度など、 より人間らしい表現を推定するタスクに強いことが分かります。 これは、人間の脳情報に変換しているためだと考えられます。 このように、従来のAIに比べ、学習面や精度面で優位性がみられるNeuroAIを ぜひお試しください。
- 最後に、フォトコンテストの結果発表で締めさせていただきます。
- フォトコンテストのテーマは、Innovative-Tech、ということで、 「技術」「先進性」「信頼」「未来」「オープン」の５つのキーワードに より近い印象であった作品が選ばれました。
- 本テーマの一位の作品の前に、 お遊びテーマとして用意してた「エモい」コンテストの結果発表から。 こちらが「エモさ」一位の作品になります。 紅葉の写真ですかね。 シロさん、おめでとうございます！
- そして、Innovative-Techのテーマの一位の作品です。 ご自宅のテレワークの環境でしょうか？非常に今どきな作品ですね。 技術、先進性などがとても高評価な作品となっております。 ヒジリさん、おめでとうございます！
- さて、このヒジリさんが投稿してくれた作品で面白い気づきがありました。 1986年代のPC、1991年代のMac、そして、2020年現在のPCと、 徐々に、Innovative-Tech度が上がっておりまして、 NeuroAIが、ちゃんと評価してくれている、ということが分かる作品でした。
- 入賞された皆さま、おめでとうございます。 また投稿していただいた皆さま、ありがとうございました。 NeuroAIにご興味がある方は、ぜひお問い合わせください。 ありがとうございました。