JAWS DAYS 2022
•
0 j'aime•87 vues
2022年10月8日(土)にハイブリッド形式（オンライン会場＋日本各地のサテライト会場）で開催されたイベント「JAWS DAYS 2022 – Satellites」のセッション「AIの専門家がオススメするデータレイクとパイプラインの定石」に用いた資料です。 AI/ML のためのベーシックなデータレイクを実現するなら Amazon Athena + AWS Batch on Fargate / EC2 が便利だよという内容です。
Recommandé
Contenu connexe
Similaire à JAWS DAYS 2022
Similaire à JAWS DAYS 2022 (20)
Plus de 陽平 山口
Plus de 陽平 山口 (20)
Dernier
Dernier (8)
JAWS DAYS 2022
- 1. A I / M L の 専 門 家 が オ ス ス メ す る データレイクとパイプラインの定石 2 0 2 2 . 1 0 . 0 7 ハ イ ブ リ ッ ド 開 催 来 栖 川 電 算 山 口 陽 平 JAWS DAYS 2022 - Satellites #jawsdays2022_b #jawsdays2022 #jawsdays #jawsug
- 2. アジェンダ 1. 自己紹介 ＆ 会社紹介 2. データレイクとパイプラインの定石 3. 付録 2
- 3. 自己紹介 ＆ 会社紹介 名古屋の AI ベンチャー 3
- 4. 山口陽平 何でも学び何でもやる人 4 有限会社来栖川電算 創業者・取締役・最高技術責任者 職務 全体 ビジョン・ビジネス・資金・設備・人員・制 度・文化・パートナーシップの計画・遂行 個別 企画，調査，研究，開発，運用，指導，教育， 広報，採用，… 略歴 2001 名古屋工業大学 知能情報システム 卒業 2003 名古屋工業大学 電気情報工学 修士課程 修了 有限会社来栖川電算 設立 IPA 未踏ソフトウェア創造事業 採択 2012 名古屋工業大学 情報工学 博士課程 退学 2013 Mashup Awards 9 優秀賞 受賞
- 5. 仕事 ＝ 趣味 何にでも面白みを見出す人 5 休日も論文読み・プログラミング・コミュニティ活動・講演・執筆 興味 ロボット，AI，UI，UX 専門 機械学習，信号処理，記号処理，プログラミング言 語，コンパイラ，データベース，ソフトウェアアー キテクチャ，ソフトウェアプロセス 得意 分析，抽象化，高速化，省資源化，並列化，分散化 @melleo1978
- 6. 来栖川電算 • 様々な領域の顧客とともに彼らが抱える課題を解決 – AI・ML を応用した認識技術・自動化技術の研究開発 – ソフトウェア・アノテーションの製造・販売 – 研究開発を加速する基盤サービスの提供 6 設立 2003 年 名古屋工業大学発ベンチャー企業 従業員 97 人 急成長中
- 7. 7 AR付箋 書籍の中身を検索するアプリ Cellars ワインラベルで情報検索するアプリ 画像認識API 商品パッケージで情報検索するAPI 生活情報調査 道路沿いの視覚情報を収集し、活用 交通情報調査 道路沿いの視覚情報を収集し、活用 研究開発支援 タンゴチュウ 写真に写る単語を抽出するサービス 走行データ解析 周辺環境を認識し、様々な解析に活用 地図生成 オルソ画像から地物・交通規則を抽出 動作推定API 加速度センサで人の行動を推定 毎朝体操 腕の動きで体操採点するアプリ ヒーローの動きでゲームを制御 なりきり2.0 ー シ ョ ン 認 識 研究開発支援 研究開発支援 AHAB 大量の実験と計算資源を効率的に管理 ANNOFAB 高品質なアノテーションを大量に生産可能 DNN compiler DNNの推論を10～1000倍も効率化 GameControllerizer プログラマブル・ゲームコントローラ 研究開発支援 類似検索 類似検索 類似検索 文字認識 物体認識 物体認識 物体認識 物体認識 モーション認識 モーション認識 モーション認識 物体認識 瞳孔位置推定 眼球運動を監視し、眠気の推定に活用
- 8. 顧客中心のワンストップ体制 8 AI・ML に関わる全工程を扱うため、適した工程で課題解決可能 AI・ML アプリ SI 基盤サービス AI・ML 基盤サービス データ モデル アノテータ デザイナ 研究者 開発者 顧客 全体 把握 最適 戦略
- 9. ハイレベルな人材 • 最先端の AI・ML 技術 – 文字認識，物体認識，行動認識，空間復元 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベースなどのアルゴリズムやバ イナリハックを駆使した高精度化・高速化・省資源化・並列 化・分散化 • 高品質なソフトウェアを実現する技術 – アーキテクチャ・プロセスへの深い理解に基づく設計と計画 9 未踏採択者，コンテスト受賞者，MVP 受賞者，OSS 貢献者，…
- 10. PyCon JP JuliaTokai FP in Scala Nagoya Frontend User Group 若手 Web 名古屋 名古屋 合同懇親会 TFUG Tokyo 社会貢献：コミュニティ活動 10 勉強会の主催，スタッフ・会場の提供，スポンサー・寄付，… 機械学習名古屋 勉強会＆研究会 JAWS-UG HEROES LEAGUE OthloHack NUPSC
- 11. 機械学習 名古屋 • 勉強会 開催：隔月 対象：初心者（非技術者も含む） – アルゴリズム紹介・事例紹介・ハンズオン • 研究会 開催：毎月 対象：研究者，技術者 – 機械学習関連の論文紹介・記事紹介 – 来栖川電算の研究者だけでなく日本各地の大学院生も参加 11 https://machine-learning.connpass.com/ 宣伝
- 13. AI/ML 開発の真実 • AI/ML コードの周辺に取り扱うべきものが山ほどある 13 ソフトウェアエンジニアリングが下手だとスグに立ち行かなくなる Sculley et al., “Hidden Technical Debt in Machine Learning Systems”, NIPS 2015
- 14. データレイクとその上での データ処理を見てみよう 典型的な AI × IoT システムを題材に、まずは 14
- 15. 典型的な AI × IoT システム • エッジ側で発生するセンサデータをエッジ側 or クラウ ド側 or 両方の AI で分析し、結果をユーザへ提示する。 15 センサデータをデータレイクへ保存して AI 開発に活用する。 センサデータ or 特徴量 分析結果 データレイク
- 16. 典型的なデータ処理 1. データ収集 – AI の学習・評価に用いるデータを調達し、格納する。 2. データ変換 – 後の工程に都合がよいようにデータを変換・生成する。 3. サンプリング – データ変換やデータ分析の対象を定める。 4. データ分析 – データ変換やサンプリングの結果を用いて AI を学習・評価する。 16 データレイク内のデータ処理（分析以外）は頻繁には発生しない。
- 17. 1. 典型的なデータ収集 • データ収集アプリによる収集 – 模擬環境で発生するセンサデータを保存する。望むものを収集 しやすいが、本番環境とは異なる質や分布になる場合がある。 • データ収集クエリによる収集 – 本番環境で発生するセンサデータのうちクエリで選別されたも のだけを保存する。容量や数量の上限を設けることも多い。 – 運用時に発生するデータが手に入るが、望むものを収集できる とは限らない。偏りも非常に大きい。 17 収集目的ごとにラベル付けしてデータレイクへ保存する。
- 18. 2. 典型的なデータ変換 • 形式変換 – mp4 ⇒ m3u8：ストリーミングできるようにすることで、手作 業によるアノテーションの効率を高める。 – csv ⇒ parquet：列指向形式にすることで IO の効率を高める。 – partitioning：値域ごとのファイル分割により IO の効率を高める。 • アノテーション（自動 or 手作業） – データから推測できる情報を属性として付与する。具体的には データセットからアノテーションツール用のジョブを生成する。 18 後工程にとって都合がよいようにデータを変換・変換する。
- 19. 3. 典型的なサンプリング • データセット ＝ キーの集合 – センサデータは、収集目的・収集単位・時刻・センサ種類など をキーとして特定できるファイルに格納されている。キーやそ のファイルのパスを要素とする集合を csv ファイルなどで表す。 データ変換やデータ分析の対象や範囲を定めるのに役立つ。 • サンプリング ＝ キーの部分集合の抽出 – SQL などを用いてキーの集合から部分集合を抽出する。ランダ ムに抽出したり、時刻や位置に関して等間隔に抽出したりする。 19 データ変換やデータ分析の対象を定める。
- 20. 4. 典型的な分析 • AI の学習・評価 – データセットを順に走査しながら、同じキーが割り当てられた データ（センサデータやアノテーションなど）を組み合わせて 教師を生成し、モデルへ入力するだけなので、データアクセス の複雑さは（主）キーによるものだけである（複雑な IO が発生 することはない）。 – 分析結果の可視化やレポート化も同時に行うが、出力の粒度が 細かすぎない限り、IO が問題になることはない。 20 データ変換やサンプリングの結果を用いて AI を学習・評価する。
- 21. まとめると • センサデータに対する AI 開発なら次でおおよそ OK – データレイク • S3 – パイプライン • Amazon Athena • AWS Batch on EC2 / Fargate 21 単純な SQL か、プログラミング言語による処理が扱えればいい。
- 22. Amazon Athena S3 にあるファイルに SQL で問い合わせできる 22
- 23. Amazon Athena S3 にあるファイルに SQL で問い合わせできる • 様々なファイル形式・圧縮形式に対応 – CSV, TSV, JSON, ORC, Parquet ※Prestoのおかげ • パーティショニング・列指向に対応 – 不要な行・列をスキャンせずに済む • 頻繁に問い合わせしないなら安い – 5 $/TB + S3 費用 • クエリのスキャン量に比例する • 10MB 以下のクエリは 10MB 扱いになる – ※機械学習のデータレイクに適している 23
- 24. 使い方は簡単 S3 条のデータをインポートし、SQL で問い合わせるだけ 1. ワークグループの作成 2. データのインポート 3. データへの問い合わせ 4. テーブルのパーティション 5. データへの問い合わせ（パーティション 版） 24
- 26. 1. ワークグループの一覧 上段の「Workgroup : ～」でいつでもこの画面に来れる 26
- 38. 1. データへの問い合わせ 問い合わせ（今回はフルスキャン）を SQL で記述実行する 38
- 45. 1. データへの問い合わせ パーティションに使ったカラムで絞り込む必要がある 45 パーティション（272 分割）と列指向 （Parquet 形式）の適用でスキャン量 が 1/100 になった。スキャン量が下 限を下回ったため費用は 1/10 だった。
- 47. まとめ 初心者はだまって Amazon Athena • とりあえず S3 に入れておけばいい – 頻繁に問い合わせしないデータはとありあえず S3 に入れて、Athena で処理すればいい。 • 例：機械学習のデータレイク • コスト（スキャン量）を抑えるには – パーティショニングと列指向を活用する。 – 問い合わせのデバッグ中は LIMIT 句を付ける。 – ワークグループにスキャン量の上限を設定する。 • 何気ない問い合わせによる膨大なスキャンへの対策 47
- 50. AI 開発者の仕事 仮説検証を回し、どうやればいいかを明らかにすること • たくさんの実験の実施 ⇒ 良い結果 • 絡み合う実験の管理 ⇒ 信頼性 50
- 52. AI 研究者の悩み たくさんの絡み合うデカい実験を扱えるツールがない！ • こんな実験が “めっちゃ” たくさんある – 複数の工程からなる微妙に設定が異なる実験 – デカくて時間がかかる実験 • こんなことが ”よく” 起きる – 手作業が挟まると取り違える。 – 後で確認（やり直し）したくなる。 – たまに死ぬので途中から再開したくなる。 • ⇒ 実験パイプラインのコード化が重要 52
- 53. 計算環境の制約 いろいろな環境の GPU を必要な時に必要なだけ使いたい • 各人が占有するやり方はしたくない – 費用・電源が足りない。調達運用したくない。 – そもそも GPU 1 枚/人程度じゃ全然足りない。 • お客様が貸してくれる環境も活用したい – 大規模なオンプレ環境を用意してくれる。 • よく不足するのでクラウドも活用したい – 突発的に百枚単位でいることがある。 • ⇒ 計算環境の抽象化・共有が重要 53
- 55. 計算環境の抽象化 計算環境を替えても同じコードで OK ハードの隠蔽 55 WebAPI・CLI WebAPI・CLI WebAPI・CLI 実験パイプライン ・実験コードの Docker 化 ・実験の依存関係のコード化 ※二段階のコード化
- 58. まとめ AHAB は AI 研究にまつわる課題を解決 • 実験の自動化と計算環境の隔離 ※Docker – 他の実験の計算環境・コード・データとの干 渉による不正計算や異常停止が起きない。 • 計算環境の抽象化 ※Web API，CLI，Docker – 計算環境（自社・お客様・クラウドなど）が 変わっても同じコード・データが使える。 • 効率的な計算資源の割当と伸縮 – 個人で計算資源を占有せず、全員で共有 58
- 59. 全体のまとめ 要するに S3 & Amazon Athena & AWS Batch on EC2 59
- 60. 全体のまとめ • センサデータに対する AI 開発なら次でおおよそ OK – データレイク • S3 – パイプライン • Amazon Athena • AWS Batch on EC2 / Fargate 60 S3 & Amazon Athena & AWS Batch on EC2
- 63. 走行データの解析 周辺環境を認識し、様々な解析に活用 膨大な走行データから歩行者・車両・白線・標識など を検出・追跡し、索引化＆シミュレータ学習。必要に 応じて、CAN や Lidar なども活用し、高品質化。 63
- 64. ニアミス DB 商品企画と仕様策定に活用 センサフュージョン＆マルチタスクな深層学習手法と Human-in-the-Loop を活用して大量のドラレコデー タからニアミス（事故予備群）シーンを効率的に収集。 64 予算の範囲内で優先度が高いシーンから順に人が最終判断を下す。 序盤：学習効率優先（多様性順・苦手順）⇒ 終盤：生産効率優先（ニアミスらしさ順） シーン優先度付けアルゴリズム ニアミスアノテーション作業 ドラレコデータ 優先度 ニアミスアノテーション結果 学習 参照 推論 参照 参照 生産
- 67. 交通情報調査 道路沿いの視覚情報を収集し、活用 首都圏を走行する大量の車両のドラレコを解析し、視 覚情報（天候，路面状態，レーン別交通量，危険シー ン，…）を DB 化。顧客との研究事例。 67
- 68. 生活情報調査 道路沿いの視覚情報を収集し、活用 アスクル株式会社様の営業車のドラレコを解析し、視 覚情報（ガソリン価格，駐車場満空，渋滞，事故，行 列，…）を DB 化。ヤフー様との共同研究。 68
- 74. 画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大 な DB から瞬時に種類を特定。クロールした画像から 直接構築した DB を利用。 74
- 75. Cellars ワインラベルで情報検索するアプリ ワインラベルにスマホをかざすだけで、18 万件から 瞬時に種類を特定。国内外のコンテストで入賞。 Cellars 様による弊社技術の応用事例。 75
- 76. AR 付箋 書籍の中身を検索するアプリ 書籍を開いてスマホをかざすだけで、膨大な DB から 瞬時にページを特定し、貼られている付箋を表示。お 客様による弊社技術の応用事例。 76
- 79. 眼球運動推定２ 眼球運動を監視し、眠気の推定に活用 スマートグラスで撮影した映像から虹彩位置・瞳孔位 置・瞼間距離・開眼率を高精度に推定。個人差・外乱 に頑健。名古屋大学様との共同研究。 79
- 80. DZ Auth 顔追跡 隠れ・フレームアウトに対して頑健 スマートフォン上でリアルタイム動作＆低消費電力。 バックグラウンド多要素認証のユーザ体験と消費電力 を改善。AnchorZ 様との共同研究。 80
- 82. 動作推定 API 加速度センサで人の行動を推定 スマホやウォッチの動きから静止・歩行・走行・食 事・睡眠などを推定。同じ仕組みで撮影時の手振れ検 出も可能。NTT ドコモ様との共同研究。 82
- 83. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人超のセンサデータを日々学習するこ とで体操採点の正確さを自動改善。JFE スチール様， トヨタシステムズ様，パナホーム様でご活用。 83
- 88. DNN compiler DNNの推論を 10 ～ 1000 倍も高速化 重みや活性の量子化・スパース化、計算の共有などの 様々な手法で DNN を近似し、高速化・省資源化され た実行形式（Linux・Android・iOS）へ変換。 88
- 91. 体制・設備・働き方 付録② 91
- 92. 役職 研究者 開発者 デザイナ アノテータ その他 合計 役員・正社員 11.3 % 11.7 % 0.5 % 3.5 % 1.6 % 28.6 % アルバイト／即戦力枠 8.7 % 5.6 % 1.6 % 28.6 % 1.6 % 46.0 % アルバイト／育成枠 0.8 % 0.8 % 0.0 % 0.0 % 0.0 % 1.6 % アルバイト／試用枠 0.0 % 0.0 % 0.0 % 0.0 % 0.8 % 0.8 % パートナー 0.4 % 2.8 % 0.0 % 19.0 % 0.8 % 23.0 % 合計 21.3 % 20.8 % 2.1 % 51.1 % 4.8 % 100.0 % 柔軟な体制 92 ワンストップ体制を支えるために様々な技術者がバランスよく在籍
- 93. 豊富な資源 • 理想的な個人設備 – PC，椅子，モニタ，キーボード，マウス，… • スグに使える計算資源とアノテータ – AHAB：実験用ハイブリッドクラウド – ANNOFAB：アノテーションサービス • 世界中から集まるデータ – ロボットサービス用データ，自動運転用データ，商品認識用 データ，文字認識用データ，体操採点用データ，… 93 研究開発を円滑にするためにあらゆる手を尽くす
- 94. 創造的な働き方 • 様々な働き方 – 自由な時間帯・場所，エージェント・冒険者（実力のある学生向けの 時短勤務制度），JEDI（優秀な同僚によるメンタリング制度），… • 優秀な同僚 – 未踏採択者，コンテスト入賞者，OSS 貢献者，MVP，… • その他 ※全て会社負担 – 自己研鑽のための書籍・機材の購入，勉強会・懇親会の開催・ 参加・移動・宿泊，会社の昼会・夕会・飲み会で出る飲食物 94 技術を磨きやすくするためにあらゆる手を尽くす