AIシステムの要求とプロジェクトマネジメント-前半：機械学習工学概論

AIシステムの要求とプロジェクトマネジメント-前半：機械学習工学概論
AIシステムの要求とプロジェクトマネジメント前半：機械学習工学概論吉岡信和（早稲田大学／国立情報学研究所）２０２３年３月１４日 @ プロジェクトマネジメント学会 1
概論の主なトピック機械学習を組み込んだAIソフトウェアシステムを開発するときの難しさとそれに対する研究の取り組みを学ぶ 機械学習システム普及の背景 機械学習システムの開発と運用 機械学習システムの開発の難しさ 機械学習工学の国内外の動向 2
機械学習システムと機械学習工学機械学習システム普及の背景 3
機械学習を応用したシステム例 1. 売上向上：  タクシー配車予測、店舗来客分析、生産量予測・生育予測（農業）、需要予測（アパレル/小売） 2. コスト削減：  コールセンターの自動化、点検の自動化など 3. 信頼性担保：  がんの検出による診断支援、原油の備蓄量分析など 4. 監視/管理：  電力の需要・発電量の予測、ドライバーの安全管理など 5. 人員不足解消：  配達ルートの最適化、レジでの商品自動識別など 4 引用：【保存版】課題から探すAI・機械学習の最新事例52選, https://sorabatake.jp/11124/
従来型プログラミングと機械学習機械学習はデータからルールを抽出丸山宏, 情報処理学会第81回全国大会「機械学習システムのセキュリティ」, 3/14/2019 正確な関数を導出するためには、十分な数、品質の訓練データが必要従来は、ルール・アルゴリズムを記述モデル・アルゴリズムが不明だと記述できない 5
なぜ、機械学習が急速に発展しているのか？  データの普及  オープンサイエンスとオープンデータ  IoT・センサーの普及  Crowed Sourcing: データの収集、ラベル付け  マシンパワー  クラウド・GPUの普及  研究者・技術者の急増  産業の発展高性能なアプリケーション・新たなアプリケーションの発掘 6
オープンサイエンスとオープンデータ  ImageNet: http://www.image-net.org/  1,400万枚を超える画像,物体名（クラス名）は2万種類以上  14,197,122 images, 21841 synsets indexed  画像に写っている物体名（クラス名）を付与  http://starpentagon.net/analytics/imagenet_ilsvrc2012_dataset/  Berkeley DeepDrive BDD100k: http://bdd-data.berkeley.edu/  Currently the largest dataset for self-driving AI. Contains over 100,000 videos of over 1,100-hour driving experiences across different times of the day and weather conditions. The annotated images come from New York and San Francisco areas.  訓練済みモデルの公開と集合知による改良 https://modelzoo.co/ 7
機械学習による画像の認識率の向上１位になった深層学習アーキテクチャと階層年 AlexNet (8層) ResNet (152層) GoogLeNet (22層) 25.8 15.3 11.2 7.4 3.6 3 0 5 10 15 20 25 30 2011 2012 2013 2014 2015 2016 誤分類率(%) 人の精度:5.1% 8
ニューラルネットワーク https://externaltable.blogspot.com/2016/07/a-neural-network-scoring-engine-in-plsql.html https://en.wikipedia.org/wiki/Artificial_neural_network 9
http://image-net.org/challenges/talks_2017/imagenet_ilsvrc2017_v1.0.pdf ディープニューラルネットワーク 10
敵対的生成ネットワーク(Generative Adversarial Networks: GAN) https://products.sint.co.jp/aisia/blog/vol1-19 11
スタイル（概念）と抽出と演算！ GANの応用 https://www.imagazine.co.jp/gan%EF%BC%9A%E6%95%B5%E5%AF%BE %E7%9A%84%E7%94%9F%E6%88%90%E3%83%8D%E3%83%83%E3%8 3%88%E3%83%AF%E3%83%BC%E3%82%AF%E3%81%A8%E3%81%AF% E4%BD%95%E3%81%8B%E3%80%80%EF%BD%9E%E3%80%8C%E6%95 %99%E5%B8%AB/ https://products.sint.co.jp/aisia/blog/vol1-19 12
特徴から絵を出力 Stable Diffusion 13 https://openart.ai/discovery/sd-1005665846510764052 a real life version of a Pablo picasso painting, photorealistic https://openart.ai/discovery/sd-1006039916695781426 art by Claude Monet AIの作画の著作権は？訓練データに使われた作者に利益を還元しなくてよいのか？
自然言語処理のための機械学習の発展 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805, 2019. 汎用的な学習済みモデル Tom B. Brown他, Kristina Toutanova, Language Models are Few-Shot Learners, arXiv:2005.14165, 2020 Generative Pre-trained Transformer (GTP) - 3 14
そして今 ChatGPT  従来の大規模言語モデルよりも高度な意味理解と（人間と区別できないぐらいのレベルで）会話ができる！  OpenAIが2022年11月30日に公開、マイクロソフトが100億ドル（約1.3兆円）の投資、Bingに搭載  海外ではChatGPTを使った学習も始まる 15 Bingとの会話
機械学習のアルゴリズム機械学習教師あり学習サポートベクタマシンニューラルネットワーク深層学習 • 畳み込みニューラルネットワーク • 回帰型ニューラルネットワーク決定木教師なし学習強化学習クラスタリング相関ルール学習 • k平均法次元削減 • Q学習 • 主成分分析 • ランダムフォレスト https://ja.wikipedia.org/wiki/決定木 16
従来システムと機械学習を応用したAIシステムの違い  プログラミングが難しい処理  アルゴリズムに書き下すことができない  人が行っていた処理  訓練済みモデルの解釈は困難  計算に膨大な時間・リソース・情報が必要な処理  リアルタイム処理が困難な計算  特定の状況におけるショートカットルールを機械学習により抽出  例）気象シミュレーション 17 サポートベクタマシン深層学習決定木予測性能解釈可能性ランダムフォレスト妥当性確認が難しい
分析シナリオ類型：ビックデータのビジネス活用分析シナリオ類型概要 ① 予兆発見型行動変化や状態変化の監視による予兆の発見 ② 異常検出型不正検出型不正・異常の定義と合致／類似する行動・状態の検出外れ値検出型標準的な行動・状態の定義と逸脱の検出 ③ 予測・制御型収益ｼﾐｭﾚｰｼｮﾝ型業務改善による増収効果の試算ﾘｽｸ･ｼﾐｭﾚｰｼｮﾝ型業務のモデル化と不確実要素によるリスクの試算最適化型業務のモデル化と最適化手法を用いた意思決定策の提示リスク・ヘッジ型業務のモデル化とリスク分散手法を用いたリスク低減策の提示 ④ ターゲティング型見込み顧客など重点アプローチすべきターゲットの抽出 ⑤ 与信管理型顧客・企業の滞納・倒産リスクの試算 ⑥ 評価・要因分析型さまざまな対象の比較評価と改善要因の特定 ⑦ マーチャンダイジング型さまざまな視点での売れ筋ランクの作成と品揃えの決定 ⑧ コンテクスト・アウェアネス型行動履歴・嗜好の分析から一歩先回りしたサービスの提示 ⑨ プロセス・トレース型成長・発展プロセスの抽出と促進・阻害の特定引用：BI(ビジネスインテリジェンス)革命, NTT出版, 2009 18
機械学習システムの開発 19
機械学習はシステムの一部の機能として埋め込まれる AIシステム訓練済みモデル機械学習コンポーネント訓練プログラム訓練データセットハイパーパラメータテストデータセットテストプログラム検証データセット訓練済みモデル機械学習コンポーネント訓練済みモデル機械学習コンポーネント AIシステムには複数の機械学習コンポーネントが埋め込まれている 20
機械学習に関するコードはシステム全体のコードのごく一部でしかないコンフィグレーションデータの収集特徴量の抽出機械学習データの検証計算機リソースの管理分析ツールプロセス管理ツール基盤のサービングモニタリング D. Sculley, et al., Hidden technical debt in Machine learning 23 systems. In Proceedings of the 28th International Conference on Neural 24 Information Processing Systems -Volume 2 (NIPS' 15) 21
機械学習を応用した AIソフトウェアシステムの開発訓練パイプラインの構築 AIシステムの要求 AIシステムの設計 AIシステムの実装単体検査結合検査受け入れ検査運用 AIサービスの企画推論パイプラインの構築とデプロイ本講座が扱う主な範囲機械学習コンポーネントの構築機械学習の要求データ収集・整理・加工訓練推論結果分析システムの改善実現可能性検証 (PoC) ＡＩシステムのライフサイクル機械学習のライフサイクル機械学習の改善組み込み 22
AIシステムのステークホルダＡＩシステムの開発と運用発注者ビジネス領域ＳＥ領域機械学習領域問題領域の専門家機械学習エンジニアデータサイエンティストソフトウェア技術者システム運用者エンドユーザデータエンジニア要求分析者ラベラー 23
機械学習の構築・運用のプロセス機械学習モデルの要求データ収集特徴量エンジニアリング正解データ作成訓練訓練済みモデルの評価訓練済みモデルのデプロイ訓練済みモデルのモニタリング訓練データセット生データ検証データセット評価データセット訓練済みモデル機械学習の運用機械学習の構築 24
訓練パイプラインと推論パイプライン機械学習モデルの要求データ収集データクリーニング正解データ作成前処理訓練訓練済みモデルの評価訓練済みモデルのデプロイ訓練済みモデルのモニタリング外れ値を削除欠損値を埋めるラベリング推論パイプライン訓練データセット生データ検証データセット評価データセットスケーリング、形式変換、データ拡張生データデータ収集前処理推論訓練済みモデル訓練済みモデル特徴量エンジニアリング訓練パイプライン訓練のためのプログラム推論のためのプログラム 25
機械学習システムの開発と通常のシステム開発の違い  機械学習システムの仕様を事前に決めることができない  推論モデルのパラメータ（振る舞い）を訓練データから計算  試行錯誤（トライ＆エラー）が必須  システムの品質低下への対処  訓練済みモデルの品質低下、コンセプトドリフト  データの傾向が時間とともに変化  データの収集・加工に膨大なコストが必要  データの管理が重要  利用データと訓練済みモデルのパラメータのバージョン管理が必要  効率の良い試行錯誤、再現性の確保  機械学習モジュール間での影響が大きい  複数の訓練済みモデルを用いる場合注意が必要 Wan, Z., Xia, X., Lo, D., & Murphy, G. C. (2019). How does Machine Learning Change Software Development Practices? IEEE Transactions on Software Engineering, 1–14. https://doi.org/10.1109/tse.2019.2937083 26
機械学習システム開発の難しさ 27
機械学習システムの開発の難しさ機械学習を応用したシステム確率・統計的な精度訓練データに依存従来型システムの開発演繹的にアルゴリズム・論理の組み合わせ • 適切なシステムの構築が困難 • 品質の担保が困難 0 20 40 60 80 100 120 プロジェクト管理更新問題の把握と修正（デバッグ）運用テスト，品質の評価・保証アーキテクチャ設計訓練データの収集・選択・生成やその管理開発運用に関し顧客と行う意思決定開発者へのギャップアンケート (278回答）要求定義、テスト・品質保証が最もギャップが大きい根本的に異なる考え方が必要手法が未成熟特化したツールが存在従来どおりギャップ MLSE2018アンケート調査結果より https://sites.google.com/view/sig-mlse/%E7%99%BA%E8%A1%8C%E6%96%87%E7%8C%AE 28
機械学習工学とは？機械学習のための工学的アプローチ：機械学習工学  機械学習を利用したソフトウェア（機械学習システム、機械学習アプリケーション）の開発、運用、保守に対する系統的で規律化された、定量化可能なアプローチの適用およびアプローチに関する研究  機械学習システムへのエンジニアリングの適用機械学習システムにはこれまでのソフトウェア工学のアプローチが通用しないビジネス企画 AIサービスを使って達成したいビジネスの目標 AIサービスの構築・運用機械学習機能の構築・運用ビジネス目標を達成するために必要なAIサービスの要求 AIサービスの要求を満たすために必要な機械学習への要求例：部品検査のコスト削減例：汎用カメラで人と同等以上の精度で部品の欠品を見つける例：深さ3mm以上の傷を90%の精度で識別する。典型的な傷のサンプルを1,000事例以上収集する。 29
機械学習システムの開発・運用の難しさ  要求抽出の難しさ  実現可能な要求の抽出と整理の難しさ  機械学習への期待が大きい  そもそもどこまでできるのかが不明  AIシステムとしての新たな要求への対応  公平性、プライバシー、低い説明可能性の考慮  テスト・品質保証の難しさ  訓練プログラム・訓練済みモデルの妥当性の確認の難しさ  振る舞いを完全に把握できない 30 機械学習の特徴 • データから予測・推論機能(関数)を自動導出 • アルゴリズムで記述できない複雑な推論を導出可能 • 関数の意味付けが困難 • 試行錯誤により適切な関数を発見 AIシステムの課題 • 妥当性の確認が困難 • 要求が不明確 • 実現可能性が不明確 • 試行錯誤の効率化が難しい • テストが困難  機械学習特有の脆弱性への対応  意図的に判断を狂わせる攻撃  訓練パイプラインの難しさ  発見的なプロセス、工数の予測が困難  コードの再利用の難しさ  データ処理に関するマネジメントの難しさ  ツールの未成熟  機械学習のためのバージョン管理
開発の難しさ・ベストプラクティスの整理  Bernardi, L., Mavridis, T., & Estevez, P. (2019). 150 successful machine learning models: 6 lessons learned at Booking.com. In Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1743–1751).  booking.comにおけるベストプラクティスを整理  Vogelsang, A., & Borg, M. (2019). Requirements engineering for machine learning: Perspectives from data scientists. In Proceedings - 2019 IEEE 27th International Requirements Engineering Conference Workshops, REW 2019 (pp. 245–251). IEEE.  データサイエンティストの観点での要求工学を整理  Wan, Z., Xia, X., Lo, D., & Murphy, G. C. (2019). How does Machine Learning Change Software Development Practices? IEEE Transactions on Software Engineering, 1–14.  ソフトウェア工学の観点での課題を整理  Amershi, S., Begel, A., Bird, C., Deline, R., Gall, H., Kamar, E., … Zimmermann, T. (2019). Software Engineering for Machine Learning: A Case Study. 41st ACM/IEEE International Conference on Software Engineering (ICSE 2019).  マイクロソフトの機械学習プロジェクトにおけるプラクティスを整理 31
MLSE研究会でアンケート実施概要  アンケート集計方法：Webのフォームによる記入  アンケート配布方法：MLSEコミュニティ、ソフトウェア工学関連の研究会、人工知能学会、データサイエンティスト関連のメーリングリスト、SNSで案内を通知  アンケート実施期間：  第1期: 2018年6月11日-6月24日  第2期: 2018年7月5日-7月22日  有効回答数：第1期:109回答, 第2期:169回答  https://sites.google.com/view/sig-mlse/発行文献?authuser=0 32
課題意識：フェーズ毎の意識の違いこれまでの考え方がほとんど通用しなくなるので，根本的に異なる新たな考え方を用いる必要がある（「新たな」とは，真に未知のものなどである必要はなく，提唱はされていたが主流となっていなかったものなど）考え方としてはそのまま適用でき，時間の問題であろうが，手法やフレームワーク，ツールなどの整備が未成熟である特化した手法やフレームワーク，ツールなどがある程度すでに活用できる段階であるこれまで通りの手法やフレームワーク，ツールなどを用いればよい不明・分からない（％） 0 20 40 60 80 100 120 プロジェクト管理更新問題の把握と修正（デバッグ）運⽤テスト，品質の評価・保証アーキテクチャ設計訓練データの収集・選択・⽣成やその管理開発運⽤に関し顧客と⾏う意思決定 33
71 37.6 29 27.3 16.3 11.4 10.2 64.7 39 32 43.9 26.4 23 17.5 0 10 20 30 40 50 60 70 80 かかわったプロジェクトで重要になった品質特性今後のプロジェクトで重要になる品質特性品質特性の重要性に関する現在と将来の見通し（％） 34
自由記述  機械学習も理解できておらず、特に成果への期待が高すぎると感じます。  不確実性が問題となる  どの部分が不確実であるかを把握し、どのようにコントロールして品質を担保すべきかがよく分かっていないため。  なぜ上手くいくのかが説明しにくいため、挙動の安全性の担保が難しいため  出力の根拠を明確にすることが難しいため、見逃しがあったときの原因と対策について、顧客への説明が難しい。 35
企業調査 POCの時と異なるデータセットが運用時に利用されることがある。本番時にPOCのときに想定していなかったデータが入ってきた場合に、ベンダーとしての対応が難しい。精度が違った場合の対応についても運用の契約に盛り込むようにしている。データの入れ替えによって以前の挙動が変わっていることもあるということを理解してもらうように努めている。 A社 B社インプットデータとアウトプットデータが1:1に対応していないものなので、どのような設計方針で作っていけば良いのかという指針が欲しい。現時点では人のスキルに任せて問題解決をしている傾向にある。もっと、科学的なアプローチが必要と考えている。 B社ドキュメント、技術移転、引き継ぎ。システムの場合はUMLなど言語レベルのサポートがあるが、MLではまだそういうものがない。何をすればこうなるか、作られた過程が残っていない。作った意図が後世に残せないことは大きな課題である。 A社 AIシステムの安全の考え方に関する体系的なものが欲しい。たとえば、フレームワークがあると良い。また，品質につながるデータの分布がどうあるべきなのか、また、データをどういう観点で評価すれば良いのかなど、指標が欲しい。 C社学習に必要なデータの取り方に関するガイドラインを策定している。ただし、社外秘である。最先端の研究成果を取り入れる場合もあるが、現時点では量産チームの経験則を積み上げた形のものである。 C社品質保証効率と生産性我々が実施した企業調査より抜粋 A社：大手AI提供者，B社：大手SI提供者，C社：大手メーカー 2019年2月にインタービューを実施 36
その他のコメント  説明性・解釈性  作成した機械学習アルゴリズムが誤った答えを出す場合もある。そうした場合、原因の把握は容易ではないと各社は語っている。多くの機械学習アルゴリズムは、教師データを使って学習し、仮想の“ブラックボックス”内で予測を行うため、その過程をたどることが難しい。この説明性・解釈性に関する科学的なアプローチを強く求めていた。  ルールベースと機械学習の融合  説明性・解釈性の観点から、ルールベースシステムと機械学習を融合するというアプローチを取るケースもあるという。それぞれの特徴を活かしつつどのように融合、組み合わせていくかは一つの研究課題と言える。 37
訓練結果のモデルの妥当性確認の難しさ https://twitter.com/_gyochan_/status/938240168078622720 HONDAの標識認識機能の注意点 https://www.honda.co.jp/hondasensing/feature/srf/ 38
あなたは自動運転システムを開発中です DNNで歩行者を認識して、ブレーキ操作するシステムが安全に止まるかどうかテスト 39
結構良い性能が出てていて信頼性は確保できそう Yolo v3をMS COCOで訓練したモデルを利用 BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/ Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/ 40
交差点のシーンで確認目標通り横断する歩行者の識別率は９０％以上達成！ 41
えっ、なんで？？？ 42
認識しても良さそうな人を認識できてないこのシステム、本当に安全なんだろうか？歩行者の識別率は９０％以上達成しているが、、、 43
AIソフトウェアの開発とセーフティの課題訓練パイプラインの構築 AIシステムの要求 AIシステムの設計 AIシステムの実装単体検査結合検査受け入れ検査運用 AIサービスの企画推論パイプラインの構築とデプロイ機械学習コンポーネントの構築機械学習の要求データ収集・整理・加工訓練推論結果分析システムの改善実現可能性検証 (PoC) ＡＩシステムのライフサイクル機械学習の改善組み込み保証範囲が不明確要件重要な場面での動作を担保できない原因分析と対策ができない修正時学習データの妥当性が不明学習データが不足学習データの収集コストが大きい学習データ収集時モデルのアップデート不要動作を保証できない安全な停止を保証できない製品確認時テストの妥当性が不明セキュリティを担保できない保証のコストが大きい 44
品質保証の難しさシステムに組み込む訓練済みモデルの品質は様々な要素に影響される  訓練アルゴリズムの保証の難しさ  データ品質の保証の難しさ訓練済みモデル訓練プログラム訓練用データセットハイパーパラメータテスト用データセットテストプログラムの正しさの確認が困難推論の正しさの確認が困難データの妥当性が不明 45
DNNだと何が難しいのか？対象世界の広がり：実行環境・状況の複雑さ、不確かさ実現に関する難しさ： 1. DNNで訓練されたモデルの複雑さ、意味付けの難しさ 2. 訓練済みモデルの制御した変更の難しさ 3. DNN特有の脆弱性複雑なルールの組み合わせを自動で導出どのような対象世界か不明、可能性が膨大やってほしいこと（仕様）自動運転システム DNN DNNの脆弱性に起因したリスク実行環境・状況に起因したリスク 46
不確かな状況への対応 Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445. 開発時運用時状況やシナリオの規定概念定義センサーデータセンサーのチャネル部分的な意味（事例）訓練とテストデータへのラベリング要因１要因２要因３要因４要因５状況やシナリオの規定概念定義センサーデータセンサーのチャネル認知結果推論推論結果要因１要因２要因３要因４ドリフト訓練済みモデル要因７要因６モデルの選択、訓練とテスト 47
DNNで訓練されたモデルの複雑さ、意味付けの難しさ今泉, 深層学習の汎化誤差のための近似性能と複雑性解析, IBIS2019 どこが境目なの？どういう場合分け？どこでどういう特徴を捉えているの？ 48
DNNの脆弱性：Adversarial Examples (敵対的標本) Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D. Robust Physical-World Attacks on Deep Learning Models, CVPR 2018 Carlini, N., & Wagner, D. (2017). Towards Evaluating the Robustness of Neural Networks. Proceedings - IEEE Symposium on Security and Privacy, 39–57. 49
50 https://www.technologyreview.jp/nl/hackers-trick-a-tesla-into-veering-into-the-wrong-lane/ 50
アプリケーション事例と脅威例アプリケーション事例脅威例自動運転車故意に交通事故を起こし、人命を奪うチャットボット人権侵害を侵害するなどの不適切な発言を起こさせ、サービスを停止に追い込む製品・サービスの異常や故障の検知異常や故障を見逃すようにし、損害を与えるパーソナルアシスタント誤認識によるなりすましや登録した個人情報の流出顔認証を使ったサービス誤認識させ、サービス利用を阻害する。なりすましによる不正なサービス利用。メールフィルタリングフィルタリングの誤判断によりメールの利便性が落ちる 51
プライバシー・機密情報の問題  個人情報・機密情報を使って訓練  訓練に使った元データを推測顔を認識する訓練済みモデル訓練データ Fredrikson, M., Jha, S., & Ristenpart, T. (2015). Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures. Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security - CCS ’15, 1322–1333. 52
ユーザから人種差別の会話を学習数時間でサービスを停止 https://gigazine.net/news/20160325-tay-microsoft-flaming-twitter/ 53
機械学習工学の動向 54
2018年度に設立 3000人以上のコミュニティメルシー https://sites.google.com/view/sig-mlse https://mlxse.connpass.com/ 55
機械学習工学に関連するその他の活動  機械学習品質マネジメントガイドライン  https://www.cpsec.aist.go.jp/achievements/aiqm/  AIプロダクト品質保証ガイドライン（QA4AI）  http://www.qa4ai.jp/download/ 研究プロジェクト  NEDO 「人と共に進化する次世代人工知能に関する技術開発事業／実世界で信頼できるAIの評価・管理手法の確立／機械学習システムの品質評価指標・測定テストベッドの研究開発」  JST 未来社会創造事業「機械学習を用いたシステムの高品質化・実用化を加速する“Engineerable AI”技術の開発」  JST CREST「信頼されるAIシステムを支える基盤技術」 56
データの品質ガイドライン例  (a) 学習データの量の十分性  (a.i) 想定する学習手法の適用前提や統計的観点から十分な量のデータがあるか．  (a.ii) 想定する要求・適用環境において，希少な状況や分類クラスの偏りがある場合であっても，それらに対して十分な量のデータがあるか．  (a.iii) データ量が少ない場合，「かさ増し」（人工的なデータ生成など）で補完が可能か．  (b) 学習データの妥当性  (b.i) 想定する要求・適用環境に意味の観点から対応した適切なデータとなっているか．  (b.ii) 要求・適用環境の想定にそぐわないデータが入っていないか．  (b.iii) 人工的に作成・加工したデータについても，要求・適用環境を適切に表現しているといえるか．  (b.iv) データの収集等の費用対効果の観点からも適切であるか．  (c) 学習データの要件適合性  (c.i) データに関するステークホルダーの要求事項を満たしているか．  (c.ii) データが満たすべき不変条件や整合性条件，学習対象となる判断の公平性，個人情報の有無など，データに対する制約を満たしているか．  (d) 学習データの適正性 AIプロダクト品質保証コンソーシアム. (2021). AI プロダクト品質保証ガイドライン 2021.09版. 57  (e) 学習データの複雑性  (e.i) 学習させたい推論機能に対して，必要以上の情報量や傾向を含む複雑なデータとなっていないか．  (e.ii) データを単純化しすぎて，必要な情報が入っていないことはないか．  (f) 学習データの性質の考慮  (f.i) 想定する学習手法の適用前提となるようなデータの性質（多重共線性など）は適切に考慮されているか．  (g) 学習データの値域の妥当性  (g.i) データに含まれている値は，対象ドメインの知識などと照らし合わせて現実的に発生する妥当な値となっているか．  (g.ii) 外れ値と欠損値と判断した値は，真に現実的な値ではなく取り除くべきであることを確認したか．データを取り除くための前処理は適切であったか．  (h) 学習データの法的適合性  (h.i) データの利用が契約や第三者の知的財産権により制限されないか、データの利用に法令上、倫理上の問題はないか、プライバシー等への配慮が必要ないか．  (i) 検証用データの妥当性  (i.i) 学習用データと検証用データは独立しているか．
研究動向 58
0 50 100 150 200 250 300 350 論文発表年論文数品質リスク XAI QAI 平成30年度成果報告書産業分野における人工知能及びその内の機械学習の活用状況及び人工知能技術の安全性に関する調査, 新エネルギー・産業技術創業開発機構 (2019) https://www.nedo.go.jp/library/seika/shosai_201907/20190000000685.html AI研究における品質リスクの研究 59
品質リスクに関する論文分類キーワード出現数出現率 QAI safety 228 12.3% responsible 114 6.2% trustworthiness 17 0.9% reliability 383 20.7% reliable 528 28.5% XAI transparency 49 2.6% transparent 53 2.9% black box 83 4.5% interpretable 208 11.2% interpretablity 168 9.1% explainable 23 1.2% expainability 5 0.3% accountability 5 0.3% comprehensible 57 3.1% 公平性 fairness 81 4.1% 平成30年度成果報告書産業分野における人工知能及びその内の機械学習の活用状況及び人工知能技術の安全性に関する調査, 新エネルギー・産業技術創業開発機構 (2019) https://www.nedo.go.jp/library/seika/shosai_201907/2 0190000000685.html 60
機械学習工学関連の研究  2018年（MLSE設立時）から急激に研究が増えてきている 61
機械学習のテストに関する論文数の推移 0 20 40 60 80 100 120 140 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 機械学習のテストの論文数論文発表年論文数 Zhang, J. M., Harman, M., Ma, L., & Liu, Y. (2018). Machine Learning Testing : Survey , Landscapes and Horizons, IEEE Transactions on Software Engineering (2022), pp. 1-36, vol. 48 62
機械学習工学研究の動向新しく立ち上がった国際会議  The AAAI's Workshop on Artificial Intelligence Safety (SafeAI), AIコミュニティ(AAAI), 2019-: https://safeai.webs.upv.es/  International Workshop on Artificial Intelligence Safety Engineering (WAISE), 信頼性コミュニティ(SAFECOMP), 2018-: https://www.waise.org/  AISafety Workshop@IJCAI, AIコミュニティ, 2019-: https://www.aisafetyw.org/  2020 USENIX Conference on Operational Machine Learning, エンジニアコミュニティ: https://www.usenix.org/conference/opml20  １回だけ開催？  The Conference on Systems and Machine Learning (SysML), 機械学習コミュニティ, 2018-: https://mlsys.org/  International Workshop on Machine Learning Systems Engineering (iMLSE)@APSEC, 機械学習工学研究会, 2018, 2020, 2021: https://sites.google.com/view/sig-mlse/  Workshop on Explainable Artificial Intelligence (XAI), AIコミュニティ, 2017-: https://sites.google.com/view/xai2022 Safe AIに関するセンター  Center for AI Safety (Stanford University, USA): http://aisafety.stanford.edu/  PRECISE Center of Safe AI (University of Pennsylvania, USA): https://precise.seas.upenn.edu/safe-autonomy コミュニティ  The Software Engineering for Machine Learning Applications (Polytechnique Montreal, Canada) 63
最近のソフトウェア工学系の研究 1. テストの自動化の研究が多い 2. WSレベルではテストの妥当性の議論もされている 3. 原因追求に関してはサーベイ・ガイドラインレベルが出てきた 4. DNNの自動修正が出てきた ML系の研究ではセキュリティ・ロバストネス・フェアネス（公平性）の観点での妥当性検証が多い 64
保証範囲の明確化 65 Rahimi, M., & Chechik, M. (2019). Toward Requirements Specification for Machine-Learned Components. In 27th International Requirements Engineering Conference (pp. 241–244). 65
訓練済みモデルのさまざまな確認方法 Ribeiro, M. T., & Guestrin, C. (2016). “Why Should I Trust You?” Explaining the Predictions of Any Classifier. In the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining - KDD ’16 (pp. 1135– 1144). 出力に寄与している入力を抽出出力に寄与している訓練データを抽出 Pang Wei Koh, Percy Liang, Understanding Black-box Predictions via Influence Functions, Proceedings of the 34th International Conference on Machine Learning, PMLR 70:1885- 1894, 2017. XAI(Explainable AI)の研究として盛ん 66
解析可能なモデルを変換・抽出 67 WFAでモデル抽出 Takamasa Okudono, Masaki Waga, Taro Sekiyama, Ichiro Hasuo: Weighted Automata Extraction from Recurrent Neural Networks via Regression, AAAI 2020 Satoshi Hara, Kohei Hayashi, Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach, Proceedings of the Twenty-First International Conference on Artificial Intelligence and Statistics, PMLR 84:77-85, 2018. 場合分けを大まかに理解する 67
DNNの中身を調べ理解する研究 http://shixialiu.com/publications/cnnvis/demo/ 68
DNNの怪しそうなパラメータの発見、再学習 Hao Zhang, W.K. Chan, Apricot: A Weight-Adaptation Approach to Fixing Deep Learning Models. (ASE2019) 69
訓練済みモデルをテストする技術課題：  テストの必要性・十分性が不明、従来のカバレッジが通用しない  誤判断がバグとは言えない！正解率をどう扱うのか？有望な技術：  メタモルフィックテスティング  「入力に対して特定の変換をしたときに出力がそれに応じてこう変化するはず」というルールを利用  サーチベースドテスト  最適化技術を使って「特定の条件に近いテストケース・テストスイート」を探す  例）最も車が人に近づく（危険性が高くなる）状況のテスト 70
メタモルフィックテスティング 71 詳しくは情報処理2019年1月号「機械学習工学」特集 71 訓練済みモデル入力推論結果 x g(x) 犬犬 f(x) f(g(x)) (例)gは画像の回転の時 R関係は f(x)=f(g(x)) (同じ推論結果となる) R 入力をgで変換した場合推論結果はR関係となる = 犬という正解を知らなくてもテスト可能
原因追求：原因、不都合の分類 72 Nargiz Humbatova, Gunel Jahangirova, Gabriele Bavota, Vincenzo Riccio, Andrea Stocco, Paolo Tonella, Taxonomy of Real Faults in Deep Learning Systems, ICSE 2020 Md Johirul Islam, Rangeet Pan, Giang Nguyen, Hridesh Rajan, Repairing Deep Neural, Networks: Fix Patterns and Challenges, ICSE 2020 72
原因追求：意味を考えて何を間違いやすいか分析 73 Cynthia C. S. Liem and Annibale Panichella, Oracle Issues in Machine Learning and Where to Find Them, 8th International Workshop on Realizing Artificial Intelligence Synergies in Software Engineering, 2020
機械学習応用システムのビジネス戦略 https://www.mitsubishichem-hd.co.jp/news_release/00837.html
今後有望な研究 75
今後有望な研究  DNNの訓練の理解：リバースエンジニアリング  シナリオベースの影響分析 ⇒ 説明性（XAI）の研究抽象化  DNNからの解析可能なモデルを生成・変換微調整  訓練済みモデルの解析と修正  セマンティクスを考慮したDNN（知識融合型訓練）  解析しやすい・分割しやすい・解釈性が高いDNNアーキテクチャ  不正解のリスク、正解の価値を考慮した訓練  機械学習の最新セキュリティ研究が実際のAIシステムにどこまで有用かの評価と整理  敵対的標本がAIシステム上どれくらいリスクとなり得るかを整理 76 DNN（関数）と意味モデル（セマンティクス）とのギャップを埋める
エンジニアリングの高度化エンジニアリングのレベル安全性、再利用性、メンテナンス性などが高い自動化の度合いガイドラインデザインパターン技術者の活動を補助事例一部の活動を自動化工学技術多くの活動を自動化レビューツール検証ツールコンフィグレーションツール自動生成ツールリコメンドツールモデリングツール技術者向けXAI技術の活用 DNNモデル抽出手法 DNN検証手法制約を満たすDNN構築自動修正ツール機械学習工学技術ライブラリフレームワーク 77
機械学習と形式知の組み合わせ 78 Logic 学術的特徴・普遍性機械による知識獲得人による知識獲得 ML Model Art Logic あらたなプログラミングパラダイム
ソフトウェア工学と機械学習の融合ソフトウェア工学機械学習演繹的パラダイム（トップダウン）活動活動帰納的パラダイム（ボトムアップ）活動統計的性質・理論機械学習理論の組込み演繹と帰納を統合した安全性分析・保証、再利用安全性を分析しやすい機械学習再利用しやすい機械学習活動活動活動工学的観点からの機械学習の再整理、構築制約範囲内の学習知識獲得エンジニアリング可能な機械学習！ ML特有の不確実性を克服 79
エンジニアリング可能な機械学習性能工学的観点(安全性、再利用性、メンテナンス性など) (D)NN エンジニアリング可能な (D)NN アンサンブルエンジニアリング可能なアンサンブル学習 SVMs エンジニアリング可能な SVMs 決定木（DT）エンジニアリング可能なDT プログラミング価値を出せる最低性能運用可能なシステムエンジニアリング可能な機械学習高安全な機械学習 80 機械学習を用いたシステムの高品質化・実用化を加速する "Engineerable AI”(eAI)技術の開発
まとめ  機械学習システムと機械学習工学  機械学習システムの開発の従来との違い  データに関するプロセス、試行錯誤のプロセス  機械学習システムの開発の難しさ  要求の難しさ  実現可能性  安全性確保の難しさ  テスト・品質保証の難しさ  新たなセキュリティ・プライバシーの問題  機械学習工学の動向と今後の方向性  演繹と帰納のパラダイム融合  決定的モデルと確率・統計的モデルの融合  機械学習とシステムのライフサイクルの融合 81 AIプロジェクトマネージャのための機械学習工学吉岡信和,鷲崎弘宜,内平直志,竹内広宜, 科学情報出版株式会社, 2023年1月
お断り  推論に使った訓練済みモデルは、Yolo v3をCOCOで訓練させたモデルです。  そのため、現実的でない訓練モデル・訓練データの可能性があります  例に出した写真は以下のオープンデータセットに含まれているものです。研究目的以外には使えません。利用制限に関しては各オープンデータのサイトを御覧ください。  BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/  Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/ 82

AIシステムの要求とプロジェクトマネジメント-前半：機械学習工学概論

Check these out next

AIシステムの要求とプロジェクトマネジメント-前半：機械学習工学概論

Recommandé

Contenu connexe

Présentations pour vous(20)

Similaire à AIシステムの要求とプロジェクトマネジメント-前半：機械学習工学概論(20)

Plus de Nobukazu Yoshioka(11)

Dernier(20)

AIシステムの要求とプロジェクトマネジメント-前半：機械学習工学概論