Contenu connexe Similaire à クラウドの進化とメディア理解の発展 (20) Plus de Osaka University (16) クラウドの進化とメディア理解の発展1. All night stars & Galaxy pictures are courtesy of Nori Yuasa except my own
クラウドの進化とメディア理解の発展
栄藤 稔(えとう みのる)
⼤阪⼤学 先導的学際研究機構 教授
株式会社 みらい翻訳 社⻑
6/14/2018 本書に記載の会社名・製品名・ロゴは各社の商標または登録商標です1
4. COPYRIGHT MiraiTranslate, Inc. 2018
4
モバイル×サービス基盤
翻訳サービス × 翻訳データ企業向け翻訳システム×
多⾔語翻訳
⾃然⾔語処理技術,企業向けソリューション 多⾔語翻訳技術 × 翻訳データ
技術⽀援
翻訳システムソリューション
機械翻訳を事業とする合弁会社(2014-) in 2018
6. Language is a means of communication. ⾔語はコミュニケーションの道具である.
意味
抽象化された⾔葉
⾔葉
表象的な⾔葉区切りの対応関係
抽象化された⽂章の対応
状況による⽂意
(前後の⽂脈,
置かれて居る状況
五感)
単語分割 単語列⽣成
抽象化 具象化
概念理解 意味⽣成
概念
翻訳ピラミッド(栄藤バージョン)
Vauquois Triangleを今⾵に栄藤が解釈
6
7. COPYRIGHT MiraiTranslate, Inc. 2018
7
【700〜795】
•会議の案内等の社内⽂書・通達を、読
んで理解できる。
•⾃分の仕事に関連した⽇常業務のやり
かたについての説明を理解できる
【600〜695】
•⾃分宛てに書かれた簡単な仕事上のメ
モを読んで理解できる。
•ゆっくりと配慮して話してもらえば、
⽬的地までの順路を理解できる
2014年 2016年 2019年
現在の性能(600点)
700点
800点
TOEIC 目指すスコアと到達年度
年度
社会⼈平均:602点
⽬標スコア
????
新会社が実現する翻訳精度レベル(Oct. 2014)
8. Language is a means of communication. ⾔語はコミュニケーションの道具である.
意味
抽象化された⾔葉
⾔葉
表象的な⾔葉区切りの対応関係
抽象化された⽂章の対応
状況による⽂意
(前後の⽂脈,
置かれて居る状況
五感)
単語分割 単語列⽣成
抽象化 具象化
概念理解 意味⽣成
概念
⽂章を語句に区切って,
最適化した並び替えをする.
第2世代統計機械翻訳の理解
8
9. COPYRIGHT MiraiTranslate, Inc. 2018
9
私は 彼⼥ その 映画 に を⾒た
私は を⾒た 彼⼥ に その 映画
I saw her in the screen
私は を⾒た?
私が を理解した?
を⾒た 彼⼥?
⾒た 彼⼥の?
で その スクリーン?
に その 映画?
翻訳モデル:
フレーズ単位の置換
並び替えモデル:
⾃然な⽂に近づくよう並
び替え
SMT:フレーズ単位で翻訳の並び替え
12. COPYRIGHT MiraiTranslate, Inc. 2018
Greg Corrado, senior scientist at Google Research
August 20, 2015
LSTM,
hard to progress…
The Factory Five Mk4 Roadster 12
14. Language is a means of communication. ⾔語はコミュニケーションの道具である.
意味
抽象化された⾔葉
⾔葉
表象的な⾔葉区切りの対応関係
抽象化された⽂章の対応
状況による⽂意
(前後の⽂脈,
置かれて居る状況
五感)
単語分割 単語列⽣成
抽象化 具象化
概念理解 意味⽣成
概念
Vauquois Triangleを今⾵に栄藤が解釈
第3世代ニューラル機械翻訳の理解
⽂章をそのまま抽象化したベクトル表現
に置き換え,そこから単語列を⽣成する.
14
17. COPYRIGHT MiraiTranslate, Inc. 2018
17
⽇→英
1.00
2.00
3.00
4.00
5.00
SMT NMT 人手翻訳1 人手翻訳2
4.16
4.31334.3
3.207
3.73333.843.743
3.14
伝達レベル 流暢さ
英→⽇
1.00
2.00
3.00
4.00
5.00
SMT NMT 人手翻訳1 人手翻訳2
4.14
4.2933
3.81
3.247
4.02334.01
3.413
2.973
伝達レベル 流暢さ
・⼈⼿翻訳は⽇→英、英→⽇共にTOEIC900点以上の⽇本⼈が実施
・SMT に⽐べて NMT は伝達レベル、流暢さ共に⼤きく精度向上
・特に、⽇本⼈があまり得意ではない英訳については、TOEIC900点相当
と同等レベル
(⼈⼿でも5点満点を取れているわけではない)
• 分野:ビジネスコミュニケーション
• 評価者:3名(外部翻訳会社)
• 評価⽂:100⽂
• 評価基準:伝達レベル(Adequacy)、流暢さ
(Fluency)各5段階
SMT と NMT の精度⽐較
性能に関する諸データは公開できません.
18. http://lotus.kuee.kyoto-u.ac.jp/~nakazawa/ NLP2017-NMT-Tutorial.pdf
Word Embedding
22
(local representation)
(distributed representation)
(0, …, 0, 0, 1, 0, 0, 0, …, 0)
(0.05, …, -0.32, 1.83, …, 0.49)
word2vec
GloVe
king - man + woman queen
Paris - France + Italy Rome
NMT embedding 1
18
25. COPYRIGHT MiraiTranslate, Inc. 2018
25
• WMT: 世界トップの機械翻訳精度を競うコンペティション
– 毎年開催されており、5⽉22⽇が今年のシステム提出締め切りだった
– 世界中の機械翻訳研究者が注⽬しており、
ここで良いスコアを出した⼿法は世界的に使われる傾向がある
• トップスコアを達成した機械翻訳システム
– 2015年: フレーズベースSMT
– 2016年: Attentional NMT
– 2017年: Attentional NMT
– 2018年: Transformer (トップスコアのシステムは14⾔語対全てでTransformer)
• 世界の主流は完全にTransformerに移った
機械翻訳シェアードタスクWMTでの傾向
26. COPYRIGHT MiraiTranslate, Inc. 2018
Encoder
I am the alpha
Decoder
<s> 私 は アルファ
私 は アルファ であり
Attention
Self-attention
Masked
Self-attention
26
Transformerモデルの概要
27. COPYRIGHT MiraiTranslate, Inc. 2018
27
• RNNと違い、全トークンとの依存関係を直接参照し
ている
– globalな依存関係を考慮した埋め込みベクトルが学習できる (e.g. 代名詞の解決など)
– RNNはあくまで⼀期先のマルコフ依存関係しかないし、⻑期記憶も限界がある
• レイヤ内での依存関係がないので、並列計算が容易
– 巨⼤な⾏列積の形で⼀括計算可能, GPUに有利
– GNMTのようなレイヤごとのGPU割当などのハックがいらない
• シーケンスに対する計算複雑度が下がる
Why Self-Attention
29. COPYRIGHT MiraiTranslate, Inc. 2018
V.S.
29
• メガプラットフォーマーとは競争しない.
• 特定の事業領域を垂直に深耕する.
• 業界,コミュニティのデータ商流を形成する.
• AWS,Azure, GCP は⾼セキュリティの下で使ってます.
みらい翻訳の⽴ち位置
30. COPYRIGHT MiraiTranslate, Inc. 2018
30
⼀般IT分野
1.00
1.68
2.35
3.03
3.70
特化モデル 他社エンジン
特定企業分野
1.00
1.71
2.41
3.12
3.82
特化モデル 他社エンジン
特殊解が汎⽤分野では性能が出ない例
• 4段階評価の平均値例:IT分野における特定企業特化モデル
分野モデル → 特化モデル
特殊解が特定分野では成功する例.
38. 38
ほとんどがクラウド
で揃う
分析保存
Amazon
Glacier
Amazon
S3
Amazon DynamoDB
Amazon RDS/ Aurora
AWS Glue
Amazon CloudSearch
Amazon EMR Amazon EC2
Amazon Redshift Amazon Machine
Learning
AWS IoT
AWS Direct Connect
収集
Amazon Kinesis
Amazon Kinesis
Firehose
Amazon Elasticsearch
Amazon
Kinesis Analytics
Amazon
QuickSight
AWS DMS
Snowball
可視化
Amazon EC2
Amazon
Athena
AWSマネージドサービス:ビッグデータ領域
42. • プラットフォーム⾰命 (サイバーX 実空間の統合最適化)
• アマゾンの⼩売:ネットで注⽂(サイバー空間)ロボットで梱包,ドロー
ンで配送(実空間).
• Uberの貨客混載物流:スマホで注⽂(サイバー空間),⾞で⽣鮮⾷品も
配送(実空間)
• 農⽔産物の商流が劇的に変化する前兆がある.
• 定型業務の置換:医療・農作業・投資信託の⾃動化が進展
42
AIで今,起きようとしていること
43. National Robotics Engineering Center, CMUの
⾃律⾃動化のケーススタディ (2014)
時給$15x10週間
=$6000/⼈年
x500⼈=$3M
時給$50x52週間
=$104,000/⼈年
x75⼈=$7.8M
時給$25x52週間
=$52,000/⼈年
x5000⼈=$260M
時給$62x52週間
=$124,800/⼈年
x500⼈=$62M
43
46. • IoTの費⽤対効果:儲からない.
✦GE PREDIXの成功例は?
• ICTリソースとOTリソースの乖離:まともな会社がない.
• プラットフォーム志向の⽋如:エコシステム設計者がいない.
✦結果と⼿段・コストの相克:鶏と卵問題 だからPoC&ROIが⼤事
✦セキュリティは発展途上
✦ベストプラクティスがまだ共有されていない.
46
IoT+AIに関する議論
51. • Google のインフラを活⽤したクラウドサービス
• 主なサービスは コンピューティング、ストレージ、ビックデータ、機械学習等
✦ コンピューティング
✓Compute Engine, App Engine, Kubernetes Engine, Cloud Functions(β)
✦ ストレージ
✓Cloud Storage, Cloud SQL, Cloud Bigtable, Cloud Spanner, Cloud Datastore
✦ ビッグデータ
✓BigQuery, Cloud Dataflow, Cloud Dataproc, Cloud Datalab, Clopud Pub/Sub …etc
✦ 機械学習
✓Cloud Machine Learning Engine, Cloud Natural Language API, Cloud Translation API, Cloud Vision API …etc
Google Cloud Platformとは
51
57. • Python – beautifulsoup ライブラリを使ってスクレイピング
• URLを指定し、beautiful soupでlxmlパース
• パースした結果からfind_allメソッドを使い、フィルタ条件にimgタグ, classなどを指
定することで簡単に画像収集可能
• ⼆郎の三⽥本店、横浜関内店、⽬⿊店、品川店、中⼭店のページを対象に収集
• 収集した結果を⽬視でざっくりチェックし、ラーメン以外の画像を削除(なぜか⽔を
写したものや、スープを全部飲み⼲した写真などが結構ある)
ラーメン⼆郎分類器の作成 – 画像収集
書いたコードこれだけ 57
58. • Google Cloud Storageに格納し(もしくはブラウザでアップロード)、CSVで画像のパスとラベルをまとめる
• 画像に対し、⼀つ以上のラベルを付与可能.画像の中の位置などは指定できない
• 最低限ラベルは2つ、画像はラベルあたり10枚あればモデルを作ることはできるが精度は低い.推奨は
ラベルあたり50枚から100枚
• 認識するラベル以外の画像も対象外として登録することが推奨される
ラーメン⼆郎分類器の作成 – ラベリング
58
61. • AUC(PRC)
• 5店舗全体
•Area Under the
Precision(適合率)/Recall(再現率)
Curve - 0.9559
• 各店舗AUC(PRC):
• 三⽥本店 - 0.9709
• 関内店 – 0.9701
• ⽬⿊店 – 0.9470
• 中⼭店 – 0.7983
• 品川店 – 0.9263
モデルの評価
61
65. • Google Cloud Platformの概要
• Google AutoML Vision(alpha版)の概要
• ラーメン⼆郎分類器の作成
• 画像収集(5店舗)
• ラベリング
• トレーニング
• 構築したモデルの評価
• デプロイ
• 機械学習の素⼈でも、画像収集からカスタムモデルのデプロイまで2〜3時間程
度で完了できた.ラーメン⼆郎三⽥本店にもの凄く⾏きたくなった
Lessons Learned
65
69. AWS Kinesis Video と REKOGNITION
で実時間顔認識システムを作ってみた.
by Mick Etoh,Osaka University with DAIKIN & COGNIZANT
好きなもの:みらいのオフィス設計
69
74. 74
Auto Scaling Group
Producer SDK
Kinesis
Video Streams
動画像のキャッシュ
REKOGNITION
認識 Kinesis
Data Streams
認識結果のキャッシュ
Dynamo
DB
RedShift
Producer SDK
Producer SDK
Lambda
データ保存
Kinesis
Fire horse
認識結果の整形
Lambda
実時間フロー
蓄積・解析フロー
S3 Bucket
80. Courtesy of DOCOMO Innovations
AI分野での動き
Ready to useIn-House Development
Edge
Cloud
「AIを構築するツール」
→ 「AIサービス」
「Cloud」
↓
「Edge」
AIを⾃社構築して
事業導⼊
AIの⺠主化を加速
制約条件の克服
(通信コスト・遅延
セキュリティ)
AI Everywhere
80