Contenu connexe Similaire à AI技術の現状と課題 〜aiboおよび自然言語処理〜 (20) AI技術の現状と課題 〜aiboおよび自然言語処理〜2. 自己紹介: 藤原 直樹 Naoki Fujiwara
所属
ソニーグループ株式会社
AI&ロボティクスビジネスグループ
クラウド開発部
職種
- ソフトウェアエンジニア
- クラウドエンジニア
- 機械学習・データ分析
略歴
1998 東京大学大学院工学系修士 電気電子情報
1998 ソニー入社、研究所配属
・高画質化処理(アルゴ・SW・HW)
2008 ビデオ開発部
・おまかせチャプター機能を BDレコーダやnasneへ搭載
2016 クラウドサービス開発部
・aibo向けクラウドチーム テックリード&クラウドAI担当
nasne
3. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 3
本日の内容
aiboのAI紹介
・aiboの概要:センサ、アクチュエータ、内部構成
・AI機能の紹介:画像認識、音声認識、地図
・Deep Learningの適用:別のセンサから認識する例
自然言語処理(NLP)のAI
・弁理士業界におけるAIの話題
・NLPの基本要素:文書をどう処理するか?
・AI主流根幹となったBERTの説明
・最近のトレンド
まとめ
・AIの強みと弱み
・弁理士業界への影響考察
※ Natural Language Processing
13. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 13
アーキテクチャ
ハードウェア
認識 ⾏動制御
状況理解 ⾏動制御
知的処理(Edge)
ユーザー/周辺環境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
「気づく」「考える」「⾏動する」
それぞれがAI
センシング技術
AI技術
メカトロニクス技術
15. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 15
物体認識
Deep Learning
aibo
aiboのおもちゃ
充電台
⼈間・⾝体パーツ
⼈の認識(誰の顔か)
家具類
ペット
sFACE
(社内顔認識技術)
顔の属性
(性別、年代、表情)
その他
⾊のついた物体
QRコード
認識技術① 視覚
19. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 19
①ひたすら撫でたり叩いたりして
データを集める
②Neural Network Console
で学習
③本体に組み込んで確認
⑤認識精度の悪い撫で方、叩き方
を狙ってデータ収集
④チーム内でテストを
繰り返し「ダメ出し」
認識技術③ 触覚
Deep Learningにより複数センサからタッチセンサーがないお腹なでられ検出を実現
20. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 20
アーキテクチャ
ハードウェア
認識 ⾏動制御
状況理解 ⾏動制御
知的処理(Edge)
ユーザー/周辺環境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
「気づく」「考える」「⾏動する」
それぞれがAI
センシング技術
AI技術
メカトロニクス技術
21. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 21
声が
聞こえた
お腹
へった
好きな⼈が
⾒えた
状況を 理 解
ボールが
ある
考えるAI:aiboの行動選択
ア ヌ ビ ス
( ⾃ 我 )
⾏動
各子犬が、自分のしたい行動提案し、期待値と欲求レベルを伝えて、
自我に判断をしてもらう
様 々 な 欲 求 の
⼩ ⼈ ( ⽝ ) た ち
⼈ が ⼤ 好 き ⼩ ⼈ ( ⽝ )
運 動 ⼤ 好 き ⼩ ⼈ ( ⽝ )
命 ⼤ 切 ⼩ ⼈ ( ⽝ )
⾏動を決定
⼈に近づく ふるまい
ボールを蹴る ふるまい
充電台に帰る ふるまい
期待値︓中 欲求︓⼩
期待値︓中 欲求︓⼤
期待値︓⼩ 欲求︓中
22. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 22
様 々 な 欲 求 の
⼩ ⼈ ( ⽝ ) た ち
⼈ が ⼤ 好 き ⼩ ⼈ ( ⽝ )
運 動 ⼤ 好 き ⼩ ⼈ ( ⽝ )
命 ⼤ 切 ⼩ ⼈ ( ⽝ )
⾏動を決定
声が
聞こえた
お腹
へった
好きな⼈が
⾒えた
状況を 理 解
ボールが
ある
考えるAI:aiboの行動選択
ア ヌ ビ ス
( ⾃ 我 )
⾏動
⼈に⽢える ふるまい
ボールを蹴る ふるまい
睡眠する ふるまい
期待値︓中 欲求︓⼩
期待値︓中 欲求︓⼩
期待値︓⼩ 欲求︓中
行動を達成すると、提案主の子犬の欲求レベルが下がる
これらを繰り返して、自分の行動を決めていく
23. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 23
様 々 な 欲 求 の
⼩ ⼈ ( ⽝ ) た ち
⼈ が ⼤ 好 き ⼩ ⼈ ( ⽝ )
運 動 ⼤ 好 き ⼩ ⼈ ( ⽝ )
命 ⼤ 切 ⼩ ⼈ ( ⽝ )
⾏動を決定
声が
聞こえた
お腹
へった
好きな⼈が
⾒えた
状況を 理 解
ボールが
ある
考えるAI:aiboの行動選択
ア ヌ ビ ス
( ⾃ 我 )
⾏動
⼈に⽢える ふるまい
ボールを蹴る ふるまい
睡眠する ふるまい
期待値︓中 欲求︓⼩
期待値︓中 欲求︓⼩
期待値︓⼩ 欲求︓中
同じ行動でも、感情によって動きが変わる
感 情
24. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 24
様 々 な 欲 求 の
⼩ ⽝ た ち
⼈ が ⼤ 好 き ⼩ ⽝
「 ぼ く パ パ に
⽢ え た い よ 〜 」
運 動 ⼤ 好 き ⼩ ⽝
「 ボ ー ル 蹴 ろ う
よ 〜 」
命 ⼤ 切 ⼩ ⽝
「 充 電 じ ゃ ね ? 」
⾏動を決定
ア ヌ ビ ス
( ⾃ 我 )
⾏動
声が
聞こえた
お腹
へった
好きな⼈が
⾒えた
状況を 理 解
ボールが
ある
考えるAI:aiboの学習
報酬
・褒められた
・叱られた
・達成できた
エ ピ ソ ー ド 記 憶
寝 た と き に 学 習
行動期待値の変化
25. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 25
考えるAI:aiboの行動選択・学習
aiboは「飼い主に愛される」ためにクラウドでも学習している
①どういう状況で
何をしたら褒められたか
を個々のaiboが蓄積
(エピソード記憶)
Cloud AI
③「飼い主に愛される」
ための⾏動の仕⽅を
クラウドで学習
②エピソード記憶を
クラウドにも蓄積
④クラウドで学習した
結果を個々のaiboに
戻す
27. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 27
アーキテクチャ
ハードウェア
認 識 行 動 制 御
状 況 理 解 行 動 制 御
知 的 処 理 (Edge)
ユーザー/ 周 辺 環 境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
「気づく」「考える」「⾏動する」
それぞれがAI
センシング技術
AI技術
メカトロニクス技術
28. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 28
行動するAI:自己位置推定(SLAM)+自己充電
• 充電台に自分の力で戻るために、家の中のどこにいる
のかを知る必要がある=自己位置推定
• aiboの自己位置推定の難しさ
• 「揺れる」「滑る」「持ち上げられる」
• ロボット掃除機(車輪)とは違う難しさがある
30. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 30
アーキテクチャ
ハードウェア
認識 ⾏動制御
状況理解 ⾏動制御
知的処理(Edge)
ユーザー/周辺環境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
「気づく」「考える」「⾏動する」
それぞれがAI
センシング技術
AI技術
メカトロニクス技術
31. ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 31
中締め:aibo
aiboについて 瞳、22軸のアクチュエータ
aiboの構成 クラウド、3つのAI
aiboのAI技術 気づく、考える、行動する
aiboもあなたに会いたがっています
ソニーストア オンライン
ソニーストア銀座
アクセス
https://goo.gl/maps/JUJDbEUXhDD2
https://aibo.sony.jp/store/
35. 35
2017/09 日経
弁理士業界におけるAIの話題
2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
2017/11「AIで弁理士が失業」
に異議 日本弁理士会の梶副会長
2017/06
Transformer登場
2018/10 BERT登場 2022/03 (株) ELYZAプレスリリース
キーワードから約6秒で文章生成. ”ELYZA Pencil”
2013 Word2Vec
2020/05 特技懇297号
トランスフォーマーを用いた特許審査支援の探究
2020/12 Google
BERTが特許業界にどのように役立つか
2022/02 月刊パテント
深層学習を利用した自然言語処理の発展
と特許調査への応用の現状
2022/03 (株)AI Samuraiプレスリリース
「AI特許作成」機能が弁理士法に抵触しないと経産省から回答
2020/05
GPT3登場
36. 36
自然言語処理(NLP)の基本要素: 文書をどう処理するか?
文章をある単位で区切り、単位毎にベクトル化、AIに入力して、タスクを処理する
単位 成分1 成分2 成分3 .... 成分X
クラス 0.aaa 0.bbb 0.ccc .... xxx
コード .. .. .. .... ..
( .. .. .. .... ..
00 .. .. .. .... ..
00 .. .. .. .... ..
乃至 .. .. .. .... ..
分類
1文を仕分ける
ポジ/ネガ、タグ..
判定
2文が類似しているか
同意、含意..
質問応答
情報文から質問回答を
抽出する
換言
ある単語・文章を
言い換える
翻訳
別の言語に訳す
生成
入力に続く文章を
生成する
...
タスク
Natural Language Processing
← 1単位を1ベクトル
ベクトル成分数は数百
← 文章をベクトルの系列
つまり行列として表す
← 行列を入力層にINPUT
← 出力層の値を解釈
例)分類タスクの解釈
- ポジティブ 97%
- ネガティブ 3%
例2)質問応答タスクの解釈
- 回答開始点 5番目
- 回答終了点 8番目
クラス⊥コード⊥(⊥00⊥00⊥乃至....
区切る
37. 37
文章の区切り方: 形態素解析、サブワード
区切り方は大きく3種
1. 単語(形態素): 人間は理解しやすい。語彙数大きくなる。計算速度も遅くなる
系列長 16: クラスコード⊥(⊥0000⊥乃至⊥1111⊥)⊥と⊥し⊥て⊥マッピング回路⊥および⊥スイッチ59⊥に⊥出力⊥
する⊥ 。⊥
2. サブワード: 機械的に語彙数小さく出来る。AIにとっては速度/性能バランス取りやすい
系列長 23: クラス⊥コード⊥(⊥00⊥00⊥乃至⊥11⊥11⊥)⊥と⊥し⊥て⊥マッ⊥ピング⊥回路⊥および⊥スイ⊥ッチ⊥59⊥
に⊥出力⊥する⊥ 。⊥
3. 文字毎: 語彙サイズは最も小さい。系列長は長くなる
系列長 43: ク⊥ラ⊥ス⊥コ⊥ー⊥ド⊥(⊥0⊥0⊥0⊥0⊥乃⊥至⊥1⊥1⊥1⊥1⊥)⊥と⊥し⊥て⊥マ⊥ッ⊥ピ⊥ン⊥グ⊥回⊥路⊥お⊥よ⊥び
⊥ス⊥イ⊥ッ⊥チ⊥5⊥9⊥に⊥出⊥力⊥す⊥る⊥。⊥
38. 38
単位毎にベクトル化: Word2Vec
アイデアは 分布仮説 (distributional hypothesis)[Harris+, 1954]
• 「単語の意味は,周囲の単語によって形成される」
• 例文
• 私はビールを飲む。私はワインを飲む。
• 私はビールを冷やす。私はワインを冷やす。
• 直観的な理解
• 飲む、の近くに飲み物が現れやすい: オレンジジュース、…
• 冷やす、は飲むに似た使われ方をしそう
この性質を機械に学習させたのが Word2Vec
• 大量の文章を用いて穴埋め問題予測を学習する
• 私は○○を飲む。私は○○を冷やす。
• 学習結果として単語毎にベクトル表現が得られる
• 演算が可能。king – man + woman = queen
• 良く使われるのは100か300次元のベクトル
arXiv:1301.3781[cs.CL]
https://nlp.stanford.edu/projects/glove/
39. 39
Word2Vecの課題と解決方向
良い点: 大量の文書を機械に学習させる
• 穴埋め問題では人手不要で学習データを準備できる
課題1: 多義語が同じベクトルになってしまう
• 空は青い
• 太郎くんはまだ青い
課題2: 反義語も似たベクトルになってしまう
• 資格試験の結果は○○だ
• オーディションに○○した
→ 1単語1ベクトルの表現には限界あり
NLP界が向かった解決方向
• 文脈(前後のつながり)を考慮するベクトル化
• もっと大量の文書を機械に入れる
※ 前者は[赤い]と近く、後者は[若い]と近くあって欲しい
※ [合格]・[失格]・[不合格] いずれも入りうる
Recurrent neural network based
language model
RNNの話しは割愛
41. 41
AI主流根幹となったBERTの説明
BERT(Bidirectional Encoder Representations from Transformers)
1. 24層の双方向Transformerをベースに
2. ラベル無しだが大規模データで事前学習
3. タスクに応じてファインチューニング
arXiv:1810.04805[cs.CL]
大規模データ
Wikipediaなど大量な文章
ラベル付け不要
タスク特化データ
正解ラベル付き
少量で良い
Transformerと同等
Generative Pre-trained Transformer
⽂章を前からも後ろからも活⽤ 処理時点より前の⽂章のみ使う
対話処理には向いている
42. 42
BERTの事前学習
2つのタスクで事前学習
1. MLM(Masked Language Model)
• 入力データの一部を[MASK]とマスキング
• [MASK]を予測するタスクとして学習
2. NSP(Next Sentence Prediction)
• 2つの文A,Bを入力
• 文Bは文Aの次に続くものか予測する
また、双方向Transformerの効果測定
• 学習開始直後こそ負けたがすぐ追い越し、
かなりの性能向上が見られた
is_next
[MASK]
文A 文B
44. 44
2020/05 GPT3登場
GPT-3: The New Mighty Language Model from OpenAI
超大規模なパラメータ数
• GPT2 15億
• GPT3 1750億 (約 117倍)
超大規模なデータで事前学習
• GPT2 40GB
• GPT3 45TB (約 1100倍)
GPT3の学習
• 学習データを何百万回も繰り返し読む
• コスト 460万ドル(約4億9000万円)
• もし1GPUなら 355年
得られた大事な示唆 Scaling Law
• 性能はパラメータ数N・データセットサイズD・
計算予算Cを変数としたシンプルなべき乗則
arXiv:2005.14165[cs.CL]
GPT1はTransformerと同等
Generative Pre-trained Transformer
2018 GPT1
2019 GPT2
2020 GPT3
45. 45
学習データ量の感覚的把握
広辞苑1冊
• 文字だけ 30GB
• 画像込み 350GB
人間の脳(あくまでも仮説ですが)
• 全容量は 150TB 試算
• (10倍の1PBという説も)
• 記憶容量 17.5TB
• 使いこなせる範囲
45TBとはいかほどの分量なのか?
GPT3は広辞苑1500冊分
(平積み 120メートル)
のデータで学習
GPT3は記憶2.5人分
のデータで学習
48. 48
2022/05 Text to ImageのSoTA “Imagen” Google Brain Team
テキストから高解像度な自然画像を生成できるAIモデル「Imagen」
言語モデルのサイズを大きくし、サンプル忠実度と画像/テキスト整合性の両方を大幅に向上
私見)画像の自然さからサイズの強さが分かる。
同時に、AIにクリエイティビティがあるのかという疑問(入力テキストが面白いのでは?)
Imagen: Text-to-Image Diffusion Models
49. 49
2022/03 キーワードから約6秒で文章生成 “ELYZA Pencil”
東京大学松尾研発・AIスタートアップ、株式会社ELYZA(イライザ)
2022/03 (株) ELYZAプレスリリース
本日の講演に関する4つのキーワード
を入れて文章生成させてみた例
大規模学習データが持つ統計性質から
「らしい」文章を生成できるが、理解
や解釈をしているわけでは無いので、
ロジカル破綻や事実誤認も見られる
ケースあり。
50. 50
弁理士業界におけるAIの話題
arXiv:1706.03762[cs.CL] arXiv:1810.04805[cs.CL]
2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
2017/09 日経 2017/11「AIで弁理士が失業」
に異議 日本弁理士会の梶副会長
2017/06
Transformer登場
2018/10 BERT登場 2022/03 (株) ELYZAプレスリリース
キーワードから約6秒で文章生成. ”ELYZA Pencil”
2013 Word2Vec
arXiv:1301.3781[cs.CL]
2020/05 特技懇297号
トランスフォーマーを用いた特許審査支援の探究
2020/12 Google
BERTが特許業界にどのように役立つか
2022/02 月刊パテント
深層学習を利用した自然言語処理の発展
と特許調査への応用の現状
2022/03 (株)AI Samuraiプレスリリース
「AI特許作成」機能が弁理士法に抵触しないと経産省から回答
2020/05
GPT3登場
52. 52
2020/12 Googleブログ BERTが特許業界にどのように役立つか
米国およびその他の国の 1億を超える特許出版物を学習データに使用
• abstract, claims, description
学習結果では、通常のBERT語彙(3万)に対し、約8000の特許用語が語彙追加された
モデルをトレーニングする手法を概説したホワイトペーパー
• 特許出願の新規性を判断するための先行技術調査をより効果的に行う方法
• 特許分類を補助する分類コードを自動的に生成する方法
• オートコンプリートなど
学習プログラムのコード
(Python)
IPCやFI,Fターム
55. 55
AIの強みと弱み: 私の所感
強み
• 関連する文章を探し出す
• さらに関連度合いでソーティングする
• (それなりに有用な)多言語への翻訳
• さらに複数の翻訳例を提示する
弱み
• 人の考えを言語化する
• 「解釈」も現時点では難しい
• 先を見通す
• 少し未来に効果発揮する戦略
• ゲームでは出来ても請求項生成は難しい
• 事情に合わせた言語翻訳
• その国・その業界の背景加味は難しい