SlideShare une entreprise Scribd logo
1  sur  58
Télécharger pour lire hors ligne
AI技術の現状と課題
~aiboおよび自然言語処理~
ソニーグループ株式会社
藤原直樹
Copyright 2022 Sony Group Corporation
2022年6月14日
自己紹介: 藤原 直樹 Naoki Fujiwara
所属
ソニーグループ株式会社
AI&ロボティクスビジネスグループ
クラウド開発部
職種
- ソフトウェアエンジニア
- クラウドエンジニア
- 機械学習・データ分析
略歴
1998 東京大学大学院工学系修士 電気電子情報
1998 ソニー入社、研究所配属
・高画質化処理(アルゴ・SW・HW)
2008 ビデオ開発部
・おまかせチャプター機能を BDレコーダやnasneへ搭載
2016 クラウドサービス開発部
・aibo向けクラウドチーム テックリード&クラウドAI担当
nasne
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 3
本日の内容
aiboのAI紹介
・aiboの概要:センサ、アクチュエータ、内部構成
・AI機能の紹介:画像認識、音声認識、地図
・Deep Learningの適用:別のセンサから認識する例
自然言語処理(NLP)のAI
・弁理士業界におけるAIの話題
・NLPの基本要素:文書をどう処理するか?
・AI主流根幹となったBERTの説明
・最近のトレンド
まとめ
・AIの強みと弱み
・弁理士業界への影響考察
※ Natural Language Processing
ソニーで唯⼀、
⾃律的に⼈に近づき、
⼈に寄り添うプロダクト
愛らしさ 知的認識
表現⼒ 学習・育成
デ ザイン センシング
メ カトロ ニクス A I
思わず触れたくなる
愛らしさ
温もりを感じる丸み
⽣命感に満ちたフォルム
6
表情豊かな瞳
OLEDを採⽤し、多彩な感情を繊細に表現する
7
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 8
計22軸のアクチュエーター
しなやかで躍動感のある⾝のこなしを可能とする
部品点数
約4,000点
9
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 10
aibo全体構成
Cloud AI
aibo My aibo
ストア
LTE/Wi-Fi
ハードウェア
認識 ⾏動制御
状況理解 ⾏動計画
知的処理
(Edge)
ユーザー/周辺環境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
アーキテクチャ
aibo
アーキテクチャ
ハードウェア
認識 ⾏動制御
状況理解 ⾏動制御
知的処理(Edge)
ユーザー/周辺環境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
センシング技術 メカトロニクス技術
AI技術
「気づく」「考える」「⾏動する」
それぞれがAI
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 13
アーキテクチャ
ハードウェア
認識 ⾏動制御
状況理解 ⾏動制御
知的処理(Edge)
ユーザー/周辺環境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
「気づく」「考える」「⾏動する」
それぞれがAI
センシング技術
AI技術
メカトロニクス技術
ToFセンサ
⼈感センサ
測距センサ
照度センサ
SLAMカメラ
パワーボタン
6軸検出システム
(3軸ジャイロ・3軸加速度)
マイク x4
タッチセンサ
(感圧・静電容量⽅式)
センシング技術
周囲の状況を把握し、次の⾏動にフィードバックする
タッチセンサ
(静電容量⽅式)
タッチセンサ
(静電容量⽅式)
前⽅カメラ
(画像認識)
⾁球
(スイッチ)
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 15
物体認識
Deep Learning
aibo
aiboのおもちゃ
充電台
⼈間・⾝体パーツ
⼈の認識(誰の顔か)
家具類
ペット
sFACE
(社内顔認識技術)
顔の属性
(性別、年代、表情)
その他
⾊のついた物体
QRコード
認識技術① 視覚
認識技術② 聴覚
照度センサ
SLAMカメラ
パワーボタン
6軸検出システム
(3軸ジャイロ・3軸加速度)
マイク x4
タッチセンサ
(感圧・静電容量⽅式)
タッチセンサ
(静電容量⽅式)
タッチセンサ
(静電容量⽅式)
4つのマイクを3次元に配置することで
どの⽅向から何を⾔われたか分かる
⾳声認識
⾳声⽅位検出
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 17
撫でられたり叩かれたりを検出
タッチセンサーがないお腹もDeep Learningで学習
認識技術③ 触覚
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 18
認識技術③ 触覚
お腹を触るとよろこぶ
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 19
①ひたすら撫でたり叩いたりして
データを集める
②Neural Network Console
で学習
③本体に組み込んで確認
⑤認識精度の悪い撫で方、叩き方
を狙ってデータ収集
④チーム内でテストを
繰り返し「ダメ出し」
認識技術③ 触覚
Deep Learningにより複数センサからタッチセンサーがないお腹なでられ検出を実現
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 20
アーキテクチャ
ハードウェア
認識 ⾏動制御
状況理解 ⾏動制御
知的処理(Edge)
ユーザー/周辺環境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
「気づく」「考える」「⾏動する」
それぞれがAI
センシング技術
AI技術
メカトロニクス技術
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 21
声が
聞こえた
お腹
へった
好きな⼈が
⾒えた
状況を 理 解
ボールが
ある
考えるAI:aiboの行動選択
ア ヌ ビ ス
( ⾃ 我 )
⾏動
各子犬が、自分のしたい行動提案し、期待値と欲求レベルを伝えて、
自我に判断をしてもらう
様 々 な 欲 求 の
⼩ ⼈ ( ⽝ ) た ち
⼈ が ⼤ 好 き ⼩ ⼈ ( ⽝ )
運 動 ⼤ 好 き ⼩ ⼈ ( ⽝ )
命 ⼤ 切 ⼩ ⼈ ( ⽝ )
⾏動を決定
⼈に近づく ふるまい
ボールを蹴る ふるまい
充電台に帰る ふるまい
期待値︓中 欲求︓⼩
期待値︓中 欲求︓⼤
期待値︓⼩ 欲求︓中
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 22
様 々 な 欲 求 の
⼩ ⼈ ( ⽝ ) た ち
⼈ が ⼤ 好 き ⼩ ⼈ ( ⽝ )
運 動 ⼤ 好 き ⼩ ⼈ ( ⽝ )
命 ⼤ 切 ⼩ ⼈ ( ⽝ )
⾏動を決定
声が
聞こえた
お腹
へった
好きな⼈が
⾒えた
状況を 理 解
ボールが
ある
考えるAI:aiboの行動選択
ア ヌ ビ ス
( ⾃ 我 )
⾏動
⼈に⽢える ふるまい
ボールを蹴る ふるまい
睡眠する ふるまい
期待値︓中 欲求︓⼩
期待値︓中 欲求︓⼩
期待値︓⼩ 欲求︓中
行動を達成すると、提案主の子犬の欲求レベルが下がる
これらを繰り返して、自分の行動を決めていく
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 23
様 々 な 欲 求 の
⼩ ⼈ ( ⽝ ) た ち
⼈ が ⼤ 好 き ⼩ ⼈ ( ⽝ )
運 動 ⼤ 好 き ⼩ ⼈ ( ⽝ )
命 ⼤ 切 ⼩ ⼈ ( ⽝ )
⾏動を決定
声が
聞こえた
お腹
へった
好きな⼈が
⾒えた
状況を 理 解
ボールが
ある
考えるAI:aiboの行動選択
ア ヌ ビ ス
( ⾃ 我 )
⾏動
⼈に⽢える ふるまい
ボールを蹴る ふるまい
睡眠する ふるまい
期待値︓中 欲求︓⼩
期待値︓中 欲求︓⼩
期待値︓⼩ 欲求︓中
同じ行動でも、感情によって動きが変わる
感 情
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 24
様 々 な 欲 求 の
⼩ ⽝ た ち
⼈ が ⼤ 好 き ⼩ ⽝
「 ぼ く パ パ に
⽢ え た い よ 〜 」
運 動 ⼤ 好 き ⼩ ⽝
「 ボ ー ル 蹴 ろ う
よ 〜 」
命 ⼤ 切 ⼩ ⽝
「 充 電 じ ゃ ね ? 」
⾏動を決定
ア ヌ ビ ス
( ⾃ 我 )
⾏動
声が
聞こえた
お腹
へった
好きな⼈が
⾒えた
状況を 理 解
ボールが
ある
考えるAI:aiboの学習
報酬
・褒められた
・叱られた
・達成できた
エ ピ ソ ー ド 記 憶
寝 た と き に 学 習
行動期待値の変化
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 25
考えるAI:aiboの行動選択・学習
aiboは「飼い主に愛される」ためにクラウドでも学習している
①どういう状況で
何をしたら褒められたか
を個々のaiboが蓄積
(エピソード記憶)
Cloud AI
③「飼い主に愛される」
ための⾏動の仕⽅を
クラウドで学習
②エピソード記憶を
クラウドにも蓄積
④クラウドで学習した
結果を個々のaiboに
戻す
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 26
考えるAI:aiboの学習
エ ピ ソ ー ド 記 憶
シャイ?
⽢えん坊? キュート?
ワイルド?
aiboがとる行動や報酬は、
各aiboによって、環境、触れ合い方が
違うため、個別の記憶となっていく
そこから学習される
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 27
アーキテクチャ
ハードウェア
認 識 行 動 制 御
状 況 理 解 行 動 制 御
知 的 処 理 (Edge)
ユーザー/ 周 辺 環 境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
「気づく」「考える」「⾏動する」
それぞれがAI
センシング技術
AI技術
メカトロニクス技術
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 28
行動するAI:自己位置推定(SLAM)+自己充電
• 充電台に自分の力で戻るために、家の中のどこにいる
のかを知る必要がある=自己位置推定
• aiboの自己位置推定の難しさ
• 「揺れる」「滑る」「持ち上げられる」
• ロボット掃除機(車輪)とは違う難しさがある
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 29
②2点間で撮影した画像の特
徴点マッチングを行い相対位
置を求める
行動するAI:自己位置推定(SLAM)+自己充電
①おしりのSLAMカメラで天井
の画像を撮影しながら歩く
③たくさんの点同士の関係を
使って地図を作る
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 30
アーキテクチャ
ハードウェア
認識 ⾏動制御
状況理解 ⾏動制御
知的処理(Edge)
ユーザー/周辺環境
知的処理
(Cloud)
センシング メカトロニクス
IN
OUT
エッジコンピューティングシステム
気づく
知的認識
⾏動する
表現⼒
考える
学習・育成
「気づく」「考える」「⾏動する」
それぞれがAI
センシング技術
AI技術
メカトロニクス技術
ソニーグループ株式会社 AIロボティクスビジネスグループ| Copyright 2022 Sony Group Corporation 31
中締め:aibo
aiboについて 瞳、22軸のアクチュエータ
aiboの構成 クラウド、3つのAI
aiboのAI技術 気づく、考える、行動する
aiboもあなたに会いたがっています
ソニーストア オンライン
ソニーストア銀座
アクセス
https://goo.gl/maps/JUJDbEUXhDD2
https://aibo.sony.jp/store/
32
この後の発表
aiboのAI紹介
・aiboの概要:センサ、アクチュエータ、内部構成
・AI機能の紹介:画像認識、音声認識、地図
・Deep Learningの適用:別のセンサから認識する例
自然言語処理(NLP)のAI
・弁理士業界におけるAIの話題
・NLPの基本要素:文書をどう処理するか?
・AI主流根幹となったBERTの説明
・最近のトレンド
まとめ
・AIの強みと弱み
・弁理士業界への影響考察
※ Natural Language Processing
33
特許公報の例
特許4200403
【特許請求の範囲】
【請求項1】 複数の画素からなる原画像を、より少ない画素からなる第1の画像に変換す
る画像符号化装置において、
…(snip)
【0097】クラスコードカウンタ58は、4ビットのカウンタを有し、その値をクラスコード
(0000乃至1111)としてマッピング回路およびスイッチ59に出力する。なお、
…(snip)
読めますが一般的には難解な文体ですよね。
ちなみにこの特許は私が入社後1(or2)番目の発明報告書が大元
他の発明報告書→特許明細 を読み込みスタイル真似たところほぼそのまま明細になりました
「〜」→「乃至」の置換が印象的でした
34
https://poiq.sony.jp/
最近発表した新プロダクト
自然言語処理により対話するロボット
注)本講演と直接関係はありません
35
2017/09 日経
弁理士業界におけるAIの話題
2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
2017/11「AIで弁理士が失業」
に異議 日本弁理士会の梶副会長
2017/06
Transformer登場
2018/10 BERT登場 2022/03 (株) ELYZAプレスリリース
キーワードから約6秒で文章生成. ”ELYZA Pencil”
2013 Word2Vec
2020/05 特技懇297号
トランスフォーマーを用いた特許審査支援の探究
2020/12 Google
BERTが特許業界にどのように役立つか
2022/02 月刊パテント
深層学習を利用した自然言語処理の発展
と特許調査への応用の現状
2022/03 (株)AI Samuraiプレスリリース
「AI特許作成」機能が弁理士法に抵触しないと経産省から回答
2020/05
GPT3登場
36
自然言語処理(NLP)の基本要素: 文書をどう処理するか?
文章をある単位で区切り、単位毎にベクトル化、AIに入力して、タスクを処理する
単位 成分1 成分2 成分3 .... 成分X
クラス 0.aaa 0.bbb 0.ccc .... xxx
コード .. .. .. .... ..
( .. .. .. .... ..
00 .. .. .. .... ..
00 .. .. .. .... ..
乃至 .. .. .. .... ..
分類
1文を仕分ける
ポジ/ネガ、タグ..
判定
2文が類似しているか
同意、含意..
質問応答
情報文から質問回答を
抽出する
換言
ある単語・文章を
言い換える
翻訳
別の言語に訳す
生成
入力に続く文章を
生成する
...
タスク
Natural Language Processing
← 1単位を1ベクトル
ベクトル成分数は数百
← 文章をベクトルの系列
つまり行列として表す
← 行列を入力層にINPUT
← 出力層の値を解釈
例)分類タスクの解釈
- ポジティブ 97%
- ネガティブ 3%
例2)質問応答タスクの解釈
- 回答開始点 5番目
- 回答終了点 8番目
クラス⊥コード⊥(⊥00⊥00⊥乃至....
区切る
37
文章の区切り方: 形態素解析、サブワード
区切り方は大きく3種
1. 単語(形態素): 人間は理解しやすい。語彙数大きくなる。計算速度も遅くなる
系列長 16: クラスコード⊥(⊥0000⊥乃至⊥1111⊥)⊥と⊥し⊥て⊥マッピング回路⊥および⊥スイッチ59⊥に⊥出力⊥
する⊥ 。⊥
2. サブワード: 機械的に語彙数小さく出来る。AIにとっては速度/性能バランス取りやすい
系列長 23: クラス⊥コード⊥(⊥00⊥00⊥乃至⊥11⊥11⊥)⊥と⊥し⊥て⊥マッ⊥ピング⊥回路⊥および⊥スイ⊥ッチ⊥59⊥
に⊥出力⊥する⊥ 。⊥
3. 文字毎: 語彙サイズは最も小さい。系列長は長くなる
系列長 43: ク⊥ラ⊥ス⊥コ⊥ー⊥ド⊥(⊥0⊥0⊥0⊥0⊥乃⊥至⊥1⊥1⊥1⊥1⊥)⊥と⊥し⊥て⊥マ⊥ッ⊥ピ⊥ン⊥グ⊥回⊥路⊥お⊥よ⊥び
⊥ス⊥イ⊥ッ⊥チ⊥5⊥9⊥に⊥出⊥力⊥す⊥る⊥。⊥
38
単位毎にベクトル化: Word2Vec
アイデアは 分布仮説 (distributional hypothesis)[Harris+, 1954]
• 「単語の意味は,周囲の単語によって形成される」
• 例文
• 私はビールを飲む。私はワインを飲む。
• 私はビールを冷やす。私はワインを冷やす。
• 直観的な理解
• 飲む、の近くに飲み物が現れやすい: オレンジジュース、…
• 冷やす、は飲むに似た使われ方をしそう
この性質を機械に学習させたのが Word2Vec
• 大量の文章を用いて穴埋め問題予測を学習する
• 私は○○を飲む。私は○○を冷やす。
• 学習結果として単語毎にベクトル表現が得られる
• 演算が可能。king – man + woman = queen
• 良く使われるのは100か300次元のベクトル
arXiv:1301.3781[cs.CL]
https://nlp.stanford.edu/projects/glove/
39
Word2Vecの課題と解決方向
良い点: 大量の文書を機械に学習させる
• 穴埋め問題では人手不要で学習データを準備できる
課題1: 多義語が同じベクトルになってしまう
• 空は青い
• 太郎くんはまだ青い
課題2: 反義語も似たベクトルになってしまう
• 資格試験の結果は○○だ
• オーディションに○○した
→ 1単語1ベクトルの表現には限界あり
NLP界が向かった解決方向
• 文脈(前後のつながり)を考慮するベクトル化
• もっと大量の文書を機械に入れる
※ 前者は[赤い]と近く、後者は[若い]と近くあって欲しい
※ [合格]・[失格]・[不合格] いずれも入りうる
Recurrent neural network based
language model
RNNの話しは割愛
40
文脈を考慮するTransformerという手法について
下記の3点がポイント
1. 翻訳タスクでよく使われるEncoder/Decoderモデル(左半分がEnc)
2. Attention(モジュール)がメイン
3. 単語位置を埋め込む
arXiv:1706.03762[cs.CL]
Attentionの動作結果例
例文1: tired
memory input memory input
例文2: wide
同じ[it]でも計算された重みが異なる
→ 文脈を考慮した照応関係を獲得できている
googleblog
Token→ベクトル化
(Word2Vecなど)
41
AI主流根幹となったBERTの説明
BERT(Bidirectional Encoder Representations from Transformers)
1. 24層の双方向Transformerをベースに
2. ラベル無しだが大規模データで事前学習
3. タスクに応じてファインチューニング
arXiv:1810.04805[cs.CL]
大規模データ
Wikipediaなど大量な文章
ラベル付け不要
タスク特化データ
正解ラベル付き
少量で良い
Transformerと同等
Generative Pre-trained Transformer
⽂章を前からも後ろからも活⽤ 処理時点より前の⽂章のみ使う
対話処理には向いている
42
BERTの事前学習
2つのタスクで事前学習
1. MLM(Masked Language Model)
• 入力データの一部を[MASK]とマスキング
• [MASK]を予測するタスクとして学習
2. NSP(Next Sentence Prediction)
• 2つの文A,Bを入力
• 文Bは文Aの次に続くものか予測する
また、双方向Transformerの効果測定
• 学習開始直後こそ負けたがすぐ追い越し、
かなりの性能向上が見られた
is_next
[MASK]
文A 文B
43
最近のトレンド: BERT以降に多くのNLPモデルが発展
Must-Read Papers on Pre-trained Language Models (PLMs)
44
2020/05 GPT3登場
GPT-3: The New Mighty Language Model from OpenAI
超大規模なパラメータ数
• GPT2 15億
• GPT3 1750億 (約 117倍)
超大規模なデータで事前学習
• GPT2 40GB
• GPT3 45TB (約 1100倍)
GPT3の学習
• 学習データを何百万回も繰り返し読む
• コスト 460万ドル(約4億9000万円)
• もし1GPUなら 355年
得られた大事な示唆 Scaling Law
• 性能はパラメータ数N・データセットサイズD・
計算予算Cを変数としたシンプルなべき乗則
arXiv:2005.14165[cs.CL]
GPT1はTransformerと同等
Generative Pre-trained Transformer
2018 GPT1
2019 GPT2
2020 GPT3
45
学習データ量の感覚的把握
広辞苑1冊
• 文字だけ 30GB
• 画像込み 350GB
人間の脳(あくまでも仮説ですが)
• 全容量は 150TB 試算
• (10倍の1PBという説も)
• 記憶容量 17.5TB
• 使いこなせる範囲
45TBとはいかほどの分量なのか?
GPT3は広辞苑1500冊分
(平積み 120メートル)
のデータで学習
GPT3は記憶2.5人分
のデータで学習
46
日本語に特化した公開モデル
• 日本語Wikipediaなどを学習データに使用
• パラメータ数 13億
• 2018 BERT 1.1億
• 2018 GPT 3.3億
• 2019 GPT2 15億
• 2020 GPT3 1750億
https://prtimes.jp/main/html/rd/p/000000025.000070041.html
47
生成モデルへの応用
• 日本語文章を入れると、「らしい」画像を生成してく
れる
• 雰囲気は充分出ているが人工生成した感じは払拭でき
ていないのが正直なところ
https://prtimes.jp/main/html/rd/p/000000031.000070041.html
48
2022/05 Text to ImageのSoTA “Imagen” Google Brain Team
テキストから高解像度な自然画像を生成できるAIモデル「Imagen」
言語モデルのサイズを大きくし、サンプル忠実度と画像/テキスト整合性の両方を大幅に向上
私見)画像の自然さからサイズの強さが分かる。
同時に、AIにクリエイティビティがあるのかという疑問(入力テキストが面白いのでは?)
Imagen: Text-to-Image Diffusion Models
49
2022/03 キーワードから約6秒で文章生成 “ELYZA Pencil”
東京大学松尾研発・AIスタートアップ、株式会社ELYZA(イライザ)
2022/03 (株) ELYZAプレスリリース
本日の講演に関する4つのキーワード
を入れて文章生成させてみた例
大規模学習データが持つ統計性質から
「らしい」文章を生成できるが、理解
や解釈をしているわけでは無いので、
ロジカル破綻や事実誤認も見られる
ケースあり。
50
弁理士業界におけるAIの話題
arXiv:1706.03762[cs.CL] arXiv:1810.04805[cs.CL]
2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
2017/09 日経 2017/11「AIで弁理士が失業」
に異議 日本弁理士会の梶副会長
2017/06
Transformer登場
2018/10 BERT登場 2022/03 (株) ELYZAプレスリリース
キーワードから約6秒で文章生成. ”ELYZA Pencil”
2013 Word2Vec
arXiv:1301.3781[cs.CL]
2020/05 特技懇297号
トランスフォーマーを用いた特許審査支援の探究
2020/12 Google
BERTが特許業界にどのように役立つか
2022/02 月刊パテント
深層学習を利用した自然言語処理の発展
と特許調査への応用の現状
2022/03 (株)AI Samuraiプレスリリース
「AI特許作成」機能が弁理士法に抵触しないと経産省から回答
2020/05
GPT3登場
51
2020/05 特技懇297号
前記所定の接近条件が成立していると判定された場合
に、第1補正を実行するステップと
前記所定の接近条件が成立したと判定された第1の特定
時点の直後のトルク制御量が、前記第1の特定時点の直
後のトルク制御量となるように補正する第1の補正制御
と
前記所定の接近条件が成立したと判定された第1の特定
時点の直後のトルク制御量が、前記第1の特定時点の直
前のトルク制御量を変化させたときの値となるように、
前記トルク制御量を補正する第1の補正制御を実行し
前記第1の特定時点の直前のトルク制御量を、前記第1
の特定時点の直前のトルク成分だけ変化させた値とする
第1の補正制御と
自車両が目標走行ラインに接近する方向のトルク成分だ
け、前記第1の特定時点の直前のトルク制御量を変化さ
せた値となるように、前記トルク制御量を補正すること
を特徴とする。
(c) 自車両の前方に操舵追従型の先行車両が存在し、
かつ、自車両の近傍に左右の白線が認識されている場合
自車両の近傍に左右の白線が認識されている場合、運転
支援ECU10は、目標走行ラインTLとして、操舵追従先行
車を補正して得られる補正先行車軌道L2を設定する。
を補正して得られる補正先行車軌道L2を目標走行ライン
TLとして設定する。
を目標走行ラインTLとして設定し、白線を用いて操舵追
従先行車の先行車軌跡L1を補正して得られる補正先行車
軌跡L2を目標走行ラインTLとして設定する。
を設定し、レーントレース制御を実行する。
3、運転支援ECU10は、先行車軌跡L1の生成対象である
先行車110を特定し、先行車軌跡L1を生成する。
先行車両軌跡L1を生成する対象である先行車両110を特
定し、先行車両軌跡L1を生成する。
に対する先行車両110の位置情報を含む物体情報に基づ
いて、先行車両軌跡L1を生成する。
所定期間ごとの自車両100の位置を示す位置情報を含む
物体情報に基づいて、先行車軌道L1を生成する。
そして、走行支援ECU10は、絶対速度が所定の閾値以上
である場合に、3Dオブジェクトが移動体であると判断し
絶対速度が所定の閾値より大きい場合には、3Dオブジェ
クトは移動体であると判定し、絶対速度が閾値より小さ
い場合には、3Dオブジェクトは固定体であると判定する。
絶対速度が閾値よりも低い場合には、3次元物体が固定
物であると判定する。
請求項(上位概念)に対応する明細書(下位概念)文章抽出はある程度成功
これだけの結果から、BERTの実力を知ることは困難ではある
類似度
0.533
類似度
0.540
類似度
0.549
DeepL 翻訳
入力
52
2020/12 Googleブログ BERTが特許業界にどのように役立つか
米国およびその他の国の 1億を超える特許出版物を学習データに使用
• abstract, claims, description
学習結果では、通常のBERT語彙(3万)に対し、約8000の特許用語が語彙追加された
モデルをトレーニングする手法を概説したホワイトペーパー
• 特許出願の新規性を判断するための先行技術調査をより効果的に行う方法
• 特許分類を補助する分類コードを自動的に生成する方法
• オートコンプリートなど
学習プログラムのコード
(Python)
IPCやFI,Fターム
53
2022/03「AI特許作成」機能が弁理士法に抵触しないと経産省から回答
■グレーゾーン解消制度照会の回答
経済産業省の回答では、「書類作成行為に弁理士が関与する
ことが確実に担保されるよう、十分かつ客観的な制度的・運
用的手当を講じている限りにおいて、当該書類作成行為は弁
理士法違反に該当しないと考えられる。(一部抜粋)」とさ
れ、弁理士の監督下である限り弁理士法75条の非弁行為に
は当たらないとされました。
URL:
https://www.meti.go.jp/policy/jigyou_saisei/kyousouryok
u_kyouka/shinjigyo-
kaitakuseidosuishin/press/220218_yoshiki.pdf
2022/03 (株)AI Samuraiプレスリリース
私見)
• AI化への外堀が埋まり始めている
• 生成モデルがまだ精度不足の今現在で起こったのは意外
54
2022/02 月刊パテント
• 特許調査における人工知能応用は実用に達している
• 調査主題のクエリ化 → 人工知能による類似評価
• 手動タグ付け → 自動タグ付け
• 人工知能には困難
• 文章解釈
• 特許情報に関わる人材の役割変化
• 属人的な知識やアイデアを言語化する事へシフト
余談:この講演骨子を決めた後に本資料を見つけました。
類似した構成で、困ると同時に特許業界向けに妥当と自信にも。
55
AIの強みと弱み: 私の所感
強み
• 関連する文章を探し出す
• さらに関連度合いでソーティングする
• (それなりに有用な)多言語への翻訳
• さらに複数の翻訳例を提示する
弱み
• 人の考えを言語化する
• 「解釈」も現時点では難しい
• 先を見通す
• 少し未来に効果発揮する戦略
• ゲームでは出来ても請求項生成は難しい
• 事情に合わせた言語翻訳
• その国・その業界の背景加味は難しい
56
弁理士業界への影響考察
AIが発展しても人は必要と思います
• 使用ツールは変わるでしょう
• 辞書を引く → 電子辞書 → AI翻訳
• 目で探す → キーワード検索 → AI類似探索
• 手書き → ワープロ → PCソフト → AIアシスト
• 日本語圏ならではの必要性あり
• 英語でのAI精度に及ばない
• ギャップあるところ仕事あり
• AIを道具とし人ならではの領域に集中
• 考え/アイデアをキーワードとして言語化
• 戦略立案、暗黙知な背景知識、なども
• 新AIサービス見たら気軽にお試しするのをオススメ
Q&A
ご清聴ありがとうございました
SONYはソニーグループ株式会社の登録商標または商標です。
各ソニー製品の商品名・サービス名はソニーグループ株式会社またはグループ各社の登録商標または商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。

Contenu connexe

Tendances

強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
 

Tendances (20)

全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!Transformer
 
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
 
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
 
Semantic segmentation
Semantic segmentationSemantic segmentation
Semantic segmentation
 
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
 
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
 
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
 
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
 
Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
 
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
 
[DL輪読会]SlowFast Networks for Video Recognition
[DL輪読会]SlowFast Networks for Video Recognition[DL輪読会]SlowFast Networks for Video Recognition
[DL輪読会]SlowFast Networks for Video Recognition
 
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
 
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
 
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
 
【DL輪読会】Segment Anything
【DL輪読会】Segment Anything【DL輪読会】Segment Anything
【DL輪読会】Segment Anything
 
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
 

Similaire à AI技術の現状と課題 〜aiboおよび自然言語処理〜

100714 iocj情報交換会 冒頭
100714 iocj情報交換会 冒頭100714 iocj情報交換会 冒頭
100714 iocj情報交換会 冒頭
Takaaki Yano
 
Android & Nui & Physical Computing
Android & Nui & Physical ComputingAndroid & Nui & Physical Computing
Android & Nui & Physical Computing
Takahiro KUREBAYASHI
 

Similaire à AI技術の現状と課題 〜aiboおよび自然言語処理〜 (20)

Obniz and cloud vision api
Obniz and cloud vision apiObniz and cloud vision api
Obniz and cloud vision api
 
エヌビディアのディープラーニング戦略
エヌビディアのディープラーニング戦略エヌビディアのディープラーニング戦略
エヌビディアのディープラーニング戦略
 
次世代QAとAI 〜ゲーム開発におけるAI活用に正しく向き合うために〜
次世代QAとAI 〜ゲーム開発におけるAI活用に正しく向き合うために〜次世代QAとAI 〜ゲーム開発におけるAI活用に正しく向き合うために〜
次世代QAとAI 〜ゲーム開発におけるAI活用に正しく向き合うために〜
 
シンギュラリティ大学 x SONY x WBA若手の会 講演資料
シンギュラリティ大学 x SONY x WBA若手の会 講演資料シンギュラリティ大学 x SONY x WBA若手の会 講演資料
シンギュラリティ大学 x SONY x WBA若手の会 講演資料
 
可視化法学(Found it project#9)
可視化法学(Found it project#9)可視化法学(Found it project#9)
可視化法学(Found it project#9)
 
東方ゲームAIとその歴史
東方ゲームAIとその歴史東方ゲームAIとその歴史
東方ゲームAIとその歴史
 
100714 iocj情報交換会 冒頭
100714 iocj情報交換会 冒頭100714 iocj情報交換会 冒頭
100714 iocj情報交換会 冒頭
 
What is tmcn for isit
What is tmcn for isitWhat is tmcn for isit
What is tmcn for isit
 
Pokelabo android web
Pokelabo android webPokelabo android web
Pokelabo android web
 
20190316_Deep learning brings game change and manufacturing
20190316_Deep learning brings game change and manufacturing20190316_Deep learning brings game change and manufacturing
20190316_Deep learning brings game change and manufacturing
 
Watsonで画像認識!お米を炊くレベル
Watsonで画像認識!お米を炊くレベルWatsonで画像認識!お米を炊くレベル
Watsonで画像認識!お米を炊くレベル
 
動画を理解するAIエンジン及びAI学習シミュレーター
動画を理解するAIエンジン及びAI学習シミュレーター動画を理解するAIエンジン及びAI学習シミュレーター
動画を理解するAIエンジン及びAI学習シミュレーター
 
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティングxR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
 
生成AIが切り拓く新しいゲームの創り方・遊び方
生成AIが切り拓く新しいゲームの創り方・遊び方生成AIが切り拓く新しいゲームの創り方・遊び方
生成AIが切り拓く新しいゲームの創り方・遊び方
 
ソニーのディープラーニングツールで簡単エッジコンピューティング
ソニーのディープラーニングツールで簡単エッジコンピューティングソニーのディープラーニングツールで簡単エッジコンピューティング
ソニーのディープラーニングツールで簡単エッジコンピューティング
 
Firebase update from io'17
Firebase update from io'17Firebase update from io'17
Firebase update from io'17
 
Android & Nui & Physical Computing
Android & Nui & Physical ComputingAndroid & Nui & Physical Computing
Android & Nui & Physical Computing
 
手と目と声の最先端コンピュータ技術入門
手と目と声の最先端コンピュータ技術入門手と目と声の最先端コンピュータ技術入門
手と目と声の最先端コンピュータ技術入門
 
ITフォーラム2024 AITCセッション(2)
ITフォーラム2024 AITCセッション(2)ITフォーラム2024 AITCセッション(2)
ITフォーラム2024 AITCセッション(2)
 
Azure による AI on Edge 解説
Azure による AI on Edge 解説Azure による AI on Edge 解説
Azure による AI on Edge 解説
 

AI技術の現状と課題 〜aiboおよび自然言語処理〜