日経コンピュータ主催：さわってわかる機械学習 Azure Machine Learning 実践セミナー

ゼロから分かる「機械学習」
実践講座《演習付き》
日経コンピュータ主催
2016年11月30日
株式会社FIXER

千賀大司
ジェネラルマネージャー（研究開発部）
Microsoft MVP for Data Platform
MCSD：Azure Solutions Architect
twitter：@hiroshi1000
最新情報はこちらで発信中

© COPYRIGHT 2016 FIXER inc. 3
世界で9人、日本で2人のみの Microsoft MVP for Data Platform

Who am I?
4
 千賀大司（Senga Hiroshi）
• クラウドアーキテクト
• AI / Cognitive Services / データ分析
• ベンチャー企業、東証一部上場企業でのCTO/CIO、R&D責任者
 これまでに携わった業務
• 国内外の銀行・証券会社様の基幹システム
• 確定拠出年金（日本版401k）システム
• 株式データ分析、並列分散分析システム
• Web、アクセス解析システム、マーケティングオートメーション
• 自動車アフターマーケット、コネクティッドカー向けサービス
ビッグデータの分析とクラウドアーキテクチャが専門
twitter：@hiroshi1000
最新情報はこちらで発信中

出版・講演活動
Azure Machine Learning
実践ガイド
日経BP社 2016年6月7日発行
【近著】
「機械学習」実践講座
【セミナー】
日経コンピュータ主催セミナーに
て講師を担当。2015年10月に
初回開催、好評・満員御礼の
ため 2016 年 1 月に第2 回以
降、開催継続中。
機械学習と Azure Machine
Learningの実践ガイド。マイクロ
ソフト社のエバンジェリスト及びグ
ローバルブラックベルトに監修のご
協力を頂いて、日経BP社より出
版。
ビジネス開発にどう機械学習を活か
したらよいか分からない、新規事業
開発や業務改革担当者向け、新
しい機械学習セミナー。
第1回を7月21日に開催後、継続
開催中。
AI&機械学習「超」入門講
座
AI&ロボティクス / de:code 2016
日本マイクロソフト主催
【講演】
マイクロソフトの日本最大の技術者向けイベント
「 de:code 2016 」にて、 AI と Cognitive
Services、ロボティクス、Bot、機械学習など先
端のテクノロジーをふんだんに盛り込んだソリュー
ションを講演。

本日のアジェンダ
8
 クラウドとは、Azureとは
 機械学習とは、Azure Machine Learningとは
 演習：サンプルデータとサンプルモデルを使って
 演習：サンプルデータを使って
 まとめ・Q&A

演習資料について
9
 お手許にお配りした演習資料は、お持ち帰り頂いた後の
自習教材としてもご利用頂けます。

機械学習とは
11
統計的手法とコンピュータの計算能力を用いて未来を予測する手
紀元前3,000年には
エジプトで人口統計
DBMSから10年遅れて
1989年ごろ登場
仮説を立て、それが正しいかどうか検証する。主に人間が行う。
⇒ 気温とビールの売れ方の関係を発見し、販売計画を立てる
仮説なしにデータを処理し、過去の知見を得る。
⇒ ビールとおむつの売れ方の関係を発見し、レイアウトを変える
未来に起こることを機械が予測する。
⇒ 様々な商品と個人の属性・行動との関係を発見し、レコメンドする
⇒ 行動パターンなどから翌月退会しそうな会員を抽出する
統計
ﾃﾞｰﾀ
ﾏｲﾆﾝｸﾞ
機械
学習
クラウドの登場で
急速に進化

© COPYRIGHT 2016 FIXER inc.
Cloud AI on Azure
Artificial Intelligence
AI/Machine Learning (機械学習)のトレンド
12
第3次AIブーム
Machine
Learning
Cognitive
Services
Graph
API
顔認証
音声認識
意図解釈
O365
API
Azure
REST API
Other
APIs
Classification
Regression
Deep
Learning
Clustering
ニューラル
ネット
エキスパート
システム
第1次AIブーム
第2次AIブーム

なぜいま、機械学習なのか
13
物理サーバ
IAサーバ
SPARCサーバ
汎用機
など
仮想サーバ
VMWare
Xen
Hyper-V
など
クラウド
Azure
AWS
GCP
Force.com
Heroku
などオンプレミス
処理性能の向上とともに仮想化技術が進展し、
さらに発展したものがクラウド

なぜいま、機械学習なのか
14
Cloud Design Pattern
cloud.config 運用・監視
cloud.config IoT PGM Library
cloud.config for M2M
Azure
Document DB
Data Lake BLOB
TABLE
SQL
Database

機械学習を実現可能な様々なツール
15
Apache Spark MLlib
Mahout
SPSS
Jubatus TensorFlow
Azure Machine
Learning
サーバ構築が
必要で手間
今すぐ
利用可能

IT各社がAI製品/サービスをこぞって開発、提供
日経コンピュータ
2016年4月号

機械学習サービス（Amazon Machine Learning）
17
http://itpro.nikkeibp.co.jp/atcl/column/15/091600220/091700007/?ST=bigdata&P=4

機械学習サービス（IBM Watson）
18

機械学習を実現可能な様々なツール
19
日経コンピュータ 2015年8月15日号より

Cognitive
Services
ソリューションに
人間味を

Cogsによる画像認識技術～Object Recognition～
「レオナルド・ダ・ヴィンチが鏡の
前に座っていて、彼女は無表情の
ように見えます」
「牛の群れが乾燥した草原にいる
ところだと思います」
Caption Bot
https://www.captionbot.ai/

Cogsによる画像認識技術～顔認識・感情認識～
写真から年齢を推測

Cogsによる画像認識技術～顔認識・感情認識～
表情から感情を識別

Deep Learning による画像認識精度の飛躍的向上
東京大学松尾研究室: https://www.ipa.go.jp/files/000048577.pdf

東京大学松尾研究室: https://www.ipa.go.jp/files/000048577.pdf
F. Schroff et. al: FaceNet: A Unified Embedding for Face Recognition and Clustering, 2015
認識精度の実例

Cognitive Servicesの精度向上
https://arxiv.org/pdf/1610.05256v1.pdf
Microsoftが音声認識で
人間並みの精度を実現

ディープラーニングを活用したFIXERのクラウド顔認証
通路を通り抜けるだけで顔を識別、クラウドで認
証する
AIのBotが自動で行き先経路を案内
ロボットから音声でクラウドを操
作、
機械学習で対応方法を学習

スマホ上の仮想キャラクター
実店舗のロボット
言語認識エンジン
音声合成エンジン
Microsoft Azureクラウド
Machine Learning
パーソナライズ
お客様動向などの可視化
属性情報
行動ログ
近づいたり
話しかけると
答えてくれる
クラウド連携
モジュール
強化学習
業務マニュアルに基づく応答エンジン
テキストでも
音声でも
答えてくれる
自宅、
職場から
店頭で
アウトバウンドへの
フィードバック
情報を取得
WEBサイト
フィードバックを基に改善
最適なサービス
を提案してくれる
来店/Appダウンロード増
Bot Framework

Machine Learningの２つの方向性
30
すべてはクラウドの中に
データ分析 AI
（人工知能）

何に着目するか
31
要件定義設計開発テスト
【問い】よくあるプロセスですが、もっとも重要なものは何ですか？
設計書
要件定
義書
プログ
ラム
検証結
果

機械学習
32
インプット
データ
分析した
結果

33
Bayes分析
カーネル法
サポートベクターマシン
モンテカルロ法
次元の呪い
Markov連鎖
過学習ディープラーニング
オンライン学習機械学習やデータ分析の罠
＝難解な理論や言葉
に惑わされないように！

34
統計手法や機械学習のアルゴリズムはややこしい
でも
それらの仕組みを覚える必要があるのでしょうか
データ分析と予兆・予測をビジネスに活用するために
装置・プラットフォームとしての Azure ML の使い方を
覚えて、使い倒して下さい
SQLさえ覚えれば、Oracleの内部構造を知らなくても使えます。
Machine Learningで重要なこと

機械学習の種類
35
メール
メール
メール
通常メール
迷惑メール
教師あり学習
メール
メール
メール
メール群1
メール
メール
メール
メール群2
メール
メール
メール
メール群3
メール
教師なし学習
人間の判断結果をもとにデータを分類
⇒ 人間の判断基準を機械が学習し、
機械が人間をマネできる（AIに応用）
機械が自動的にデータを分類
⇒ 人間では見出せない知見を見つける
ことができる（リコメンドに応用）

教師あり学習そのほかの例
36
銀行の与信判定
不動産資産借金判定結果
3,000万円 0万円 OK
0万円 3,000万円 NG
1,000万円 3,000万円？？？
・・・

37
銀行の与信判定
不動産資産借金判定結果
3,000万円 0万円 OK
0万円 3,000万円 NG
1,000万円 3,000万円？？？
・・・
ここまでは
人間が判定する
(訓練例)
ここの判定を
機械にさせる
(判定式を算出)

38
・株価の予測
© Copyright 2014 FIXER inc.
・遺伝子情報から将来の発病の予測
過去の株価の変動パターンを教え、これから株価が上がるのか下がる
のか、あるいは横ばいになるのかといった未来の動きを予測させる。
病気を発症した方の遺伝子情報を解析し、共通パターンを見つけ、ま
だ発症していない人の発病の可能性を予測する。

39
・システムへの不正アクセスの検知
教師なし学習そのほかの例
・クレジットカードの不正使用の検知
ともに、事前に不正のパターンを教えて学習させるのではなく、
通常と異なるパターン（アノマリ）を検知する。

41
機械学習をクラウドで行うメリット

クラウドでは
42
 物理リソースを意識することがない
 機器の発注やキッティング不要
空きリソースの確保不要
物理障害に対応する必要がない、障害があっても気付か
ない
ミニマムスタートし、いつでもリソースを追加可能・いつでも、どこからでも、利用開始も、規模拡大もでき、
世界中にある無限に近いクラウド事業者のリソースを利用できる
・利用を止めたいときにはいつでも止められる
・ハードやデータセンターのために担当者を置かなくてもよい
・海外進出、海外向けサービスの構築も容易

5つの基本的な特徴
43
 オンデマンド・セルフサービス
 サービス提供者に連絡することなく、使いたいときに勝手に使える
 幅広いネットワークアクセス
 ネットワーク経由でサービスを利用できる
(ネットワーク＝インターネット、社内ネットワーク、閉域ネットワーク、など)
 リソースの共有
 物理リソースを仮想化して複数の利用者で利用する (マルチテナントモデル)
 スピーディな拡張性
 需要に応じて即座にスケールイン/スケールアウトできる
 サービスが計測可能であること
 使用した分が目に見える、使用した分だけ課金される(従量課金制)

マネージメントポータル
【管理ポータル】【新しいポータル】
・Web画面での操作には、２つのUIが用意されています。1つは以前か
ら利用されている「管理ポータル」、もう1つは今後移行されていく
「新しいポータル」です。

スクリプト
https://azure.microsoft.com/ja-jp/documentation/articles/xplat-cli/
Mac やLinux からでも大丈夫

世界最大のインフラストラクチャー
●CDN設置データセンター（CDN 32 ヶ所）
東日本: 東京
西日本: 大阪
東南アジア太平洋地域: メルボルン、シドニー
アジア太平洋東部: バタム、香港、ジャカルタ、高雄、ソウル、シンガポール
米国東部: アトランタ、フィラデルフィア、マイアミ、ニューヨーク、ワシントン D.C.、ボストン
米国中北部: シカゴ
米国中南部: ダラス
米国西部: ロサンゼルス、サンホセ、シアトル
北ヨーロッパ: コペンハーゲン、ヘルシンキ、ストックホルム、ウィーン、ワルシャワ
西ヨーロッパ: アムステルダム、フランクフルト、ミラノ、ロンドン、マドリッド、パリ
Azureデータセンター:３４ヶ所＋地球上でTop３規模のネットワークを所有＋マイクロソフトDC:１００ヶ所超
(2016年7月現在)
47

ディザスタ対策 (ストレージの冗長化)
48
 各リージョン内では3重のレプリカを
異なるラックにそれぞれ配置
 対向のリージョンの中に
３重のレプリカを常時保持する
６重化地理的冗長も標準機能として提供
 東日本リージョンに環境を構築すると、
自動的に西日本リージョンに３重化の構成が用意される
 西日本リージョンに環境を構築すると、
自動的に東日本リージョンに３重化の構成が用意される

■クラウドでのデータ保護の実例
Microsoft Azure
セキュリティ・コンプライアンス

国内の金融機関への適応
50
FISC（財団法人金融情報システムセンター）安全対策基準の第8版追補の各項目に
対する対応状況を調査。FISC安全対策基準の各項目（137の設備基準、108の運用
基準、51の技術基準）のそれぞれについて確認・整理。
※株式会社三菱総合研究所、日本ビジネスシステムズ株式会社、トレンドマイクロ株式会社、株式会社電通国際情報サービ
スおよび三菱総研ＤＣＳ株式会社が実施。
金融機関向け『Microsoft Azure』対応セキュリティリファレンス（2015年1月）
➡ すべての項目について『適合可能』

世界のコンプライアンスに準拠http://azure.microsoft.com/ja-jp/support/trust-center/compliance/
51

Wall Street Journal 2016/07/15
オンライン版

Azure Machine Learningとは
53
Azure上の無尽蔵なコンピューティングリソースを
活用して作られている、マイクロソフト提供の
機械学習クラウドプラットフォーム

Azure Machine Learningとは
54
 WebブラウザのGUIから簡単に使える機械学習サービス
 メジャーな分析アルゴリズムが予め用意されている
 ドラッグ&ドロップというマウス操作で機械学習を利用可能

Machine Learning
機械学習の代表的カテゴリ
統計分類回帰分析クラスタリング
アノマリ検知
(異常検知)
リコメンド
エンジン作成
その他
多種多様な分析

アノマリ検知
(異常検知)
リコメンド
エンジン作成
その他
Machine Learning
機械学習の代表的カテゴリ

統計分類とは
57
 与えられたデータに適切なラベルをつける
 適切なラベルが付けられた訓練データから、
推測のためのモデルを作成する
 教師あり学習

統計分類の例
5
 男女の分類
年齢身長体重性別
17歳 171cm 63kg 男
14歳 157cm 50kg 女
12歳 151cm 43kg ？？？・・・
判定させる項目
訓
練
デ
ー
タ

回帰分析とは
© Copyright 2014 FIXER inc. 60
 未知の数値予測ができる
 正解とする正しい数値の訓練データから、
予測値を出すためのモデルを作成
 教師あり学習

回帰分析とは
http://www.tkfd.or.jp/files/doc/nakatani_figure2.jpg
http://www.statsoft.kitamura-next.jp/images/softImage/ls/lsMultiGraph.JPG
複数のデータの相関関係から傾向を
捉えて関数化することで未来を予測

回帰分析の例
62
6
 身長の予測
年齢体重性別身長
17歳 63kg 男 171cm
14歳 50kg 女 157cm
12歳 43kg 女？？？・・・
判定させる項目
訓
練
デ
ー
タ

クラスタリングとは
64
 値の類似性をもとに、データを複数のグループに分ける
 教師なし学習

クラスタリングの例
65
 実例でご覧下さい (K-means法)
http://tech.nitoyon.com/ja/blog/2009/04/13/kmeans-visualize-3d/
http://tech.nitoyon.com/ja/blog/2013/11/07/k-means/

Machine Learning
機械学習プラットフォーム
アノマリ検知
(異常検知)
リコメンド
エンジン作成
その他

アノマリ検知とは
異常なデータ、ポイントを
機械学習で検知する
普段国内のみで利用されて
クレジットカードが突然、
中国で利用された

機械学習と深層学習
68
Azure MLにおいて、分析モジュールとして Neural Network Regression (回帰分
析) または Multi-Class Neural Network (クラス分類) を使って、プロパティ
"Hidden layer specification (隠れ層定義)" に"Custom definition script" を設定す
ると、隠れ層をNet#という言語で定義できます。
Net#はMicrosoftが開発した「ニューラルネットワーク仕様言語」であり、
ニューラルネットワークのアーキテクチャを実現・利用するための言語です。
Net#では複数の隠れ層が定義可能＝Deep Neural Networkとなるので、これは
深層学習となります。

Azure Machine Learningの世界へディープダイブ！
実際に触れてみましょう

 MSアカウントが必要
Microsoftのサービスを利用する
際に使う、シングルサインオン
(SSO)のアカウントです。
Microsoft Azureも、
MSアカウントを使ってサイン
インして利用します。

 Azureは、MSアカウントにサブスクリプション(課金単位)を紐付けて利用
アカウント(MSアカウント)
サブスクリプション１ (従量課金)
サブスクリプション２ (EA)
サブスクリプション２ (CSP)

 MSアカウントを作成しましょう。
https://www.microsoft.com/ja-jp/msaccount/default.aspx
 Azureの無料サブスクリプションを作成する。(要クレジットカード)
https://azure.microsoft.com/ja-jp/free/

 Azure Machine Learning でサンプルを実行①
Azureへのログイン
演習資料の演習1(p6 ～ p7)を実施してください
※共有サブスクリプション/シートでAzure ML行く場合は下記へ
https://azure.microsoft.com/ja-jp/services/machine-learning/

Azure ML 環境作成
演習資料の演習2・タスク１(p8)を実施してください

Azure ML サンプル読み込み
演習資料の演習2・タスク2(p12)を実施します

Azure ML サンプル①実行!

 CSVを取り出して確認する
0
1000
2000
3000
4000
5000
6000
1
5
9
13
17
21
25
29
33
37
41
45
49
53
57
61
65
69
73
77
81
85
89
93
97
101
105
109
113
117
121
125
予想と実際の比較（AVG seasonal ETS and ARIMA）
data forecast

データを準備する
演習資料の演習3・タスク1～2(p20)を実施します
 Azure Machine Learning で分析モデルの作成

Experimentを新規作成
分類器を配置

処理するデータ項目を選定

Project Columnとは
 使用する行を選択する
 学習に不要そうなパラメータの排除
年齢体重性別趣味身長
17歳 63kg 男読書 171cm
14歳 50kg 女手芸 156cm
17歳 70kg 男音楽 171cm
14歳 50kg 女無し 157cm
身長と関係の薄そうな行

Project Columnとは
 使用する行を選択する
 学習に不要そうなパラメータの排除
趣味の行を排除
17歳 63kg 男 171cm
14歳 50kg 女 156cm
17歳 70kg 男 171cm
14歳 50kg 女 157cm

欠損データを補正する

Clean Missing Dataとは
 値の入っていない場所(欠損値)に代わりのデータを入れる
 代わりのデータには[0] [平均値] [中央値]などを入れる
17歳 63kg 男 171cm
14歳 50kg 女欠損値
17歳欠損値男 171cm
14歳 50kg 女 157cm

Clean Missing Dataとは
 値の入っていない場所(欠損値)に代わりのデータを入れる
 代わりのデータには[0] [平均値] [中央値]などを入れる
17歳 63kg 男 171cm
14歳 50kg 女 166cm
17歳 0kg 男 171cm
14歳 50kg 女 157cm
欠損値に0を代入
平均値を代入

訓練と評価用にデータを分ける

Splitとは
 データを学習用データと訓練用データに分ける
 学習用データで予測のための関数を作成し、訓練用データを用いて、
作成した関数を評価する
17歳 63kg 男 171cm
14歳 50kg 女 156cm
17歳 70kg 男 171cm
14歳 50kg 女 157cm
訓練用データ
訓練用データ
学習用データ
学習用データ
ランダムに分ける

Splitとは
 データを学習用データと訓練用データに分ける
 学習用データで予測のための関数を作成し、訓練用データを用いて、
作成した関数を評価する
17歳 63kg 男 171cm
14歳 50kg 女 157cm
訓練用データ
17歳 70kg 男 171cm
14歳 50kg 女 156cm
学習用データ

分析モデルを作成し、実行、確認

結果の説明
分析の結果
○ ×
正解
○ A件 ➡️ OK C件 ➡️ NG
× B件 ➡️ NG D件 ➡️ OK
教師あり学習 ➡ 分析結果と正解との一致を確認する

結果の説明
適合度 : T/Tを導く割合：A/(A+B)
正確度 : 真値にどの程度近いか：(A+D)/(A+B+C+D)
再現度 : どの程度正解を見つけられたか：A/(A+C)
モデルの総合的な性能

予測精度の向上について
チートシート
過学習

 過学習とは
日経平均株価での例
このまま推移？
http://stocks.finance.yahoo.co.jp/stocks/chart/

 過学習とは

WebAPI化
 複数の分析モデルで比較する

統計分類（年収の推定）
演習資料の演習4 (p58)を実施します

クラスタリング（花の分類）

リコメンド（映画、レストラン）

テキスト分析（企業分類）

Cortana Analytics Gallery
http://gallery.cortanaanalytics.com

機械学習とディープラーニングの違い

機械学習と深層学習の違いは特徴量の抽出
結果デー
タ
予備的分析
・データクレンジ
ング
・特徴抽出
・ベクトル表現
分類器
（識別器）
入力デー
タ
どんな画像だとネコと
言えるのだろう？
その基準に
従って分類

Googleの猫の認識（2012年、ディープラーニングの再燃）
インターネット上のランダムな画像1,000万枚を
1,000台のコンピュータで3日間計算した結果、
人間の顔、人間の体、猫の顔に反応するニューロンができた
105
http://static.googleusercontent.com/media/research.google.com/ja//archive/unsupervised_icml2
012.pdf

Googleの猫の認識（2012年、ディープラーニングの再燃）
106

108
・データをできるだけ大量に用意する
まとめ：分析を成功させるために
・量と期間 ⇒ 重み付け
・大量のデータによる学習は優秀なアルゴリズムを凌駕する。

109
・最新のデータを用意する
・1年前のデータではもう古い
直近の現実をよりリアルに表すデータを用意する
古ければ古いほど、現実と予測が乖離していく

110
・データを実際に【見る】
ロジックはブラックボックスでOK
しかし入力データと出力結果をかならず【目で見る】こと
⇒ 大量データを可視化させる
・グラフ化してみる、分布図を見てみる、異常値を分離してみる
・ExcelとExcelVBA、PowerBIは最良のパートナー

まとめ
 統計、機械学習そのものは小難しい
 では、皆さんが小難しいことを覚える必要があるのか
 Azure Machine Learningを使ってみると
 データサイエンスとビジネスとの距離

質疑応答
 疑問点、分からなかった点などをご質問下さい。

日経コンピュータ主催：さわってわかる機械学習 Azure Machine Learning 実践セミナー

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 日経コンピュータ主催：さわってわかる機械学習 Azure Machine Learning 実践セミナー

Similaire à 日経コンピュータ主催：さわってわかる機械学習 Azure Machine Learning 実践セミナー (20)

日経コンピュータ主催：さわってわかる機械学習 Azure Machine Learning 実践セミナー

Notes de l'éditeur