AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための要求工学と安全性

AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための要求工学と安全性
AIシステムの要求とプロジェクトマネジメント後半：機械学習応用システムのための要求工学と安全性吉岡信和（早稲田大学／国立情報学研究所）２０２３年３月１５日 @ プロジェクトマネジメント学会 1
機械学習工学要求工学に関するトピック機械学習応用システムのための要求工学  公平性、プライバシー  説明可能性、透明性  ドメインドリフト  安全性担保の難しさ  セーフティとセキュリティ  データセットの品質 2
機械学習応用システムの要求分析、安全性の難しさ  機械学習への期待が大きい  どんな振る舞いでも自動導出できる？？  訓練データセットが十分にないと正確な判断ができない  そもそもどこまでできるのか、やりたいか、判断していいのかが不明  実現可能性の予測の難しさ  動作環境、対応範囲の不確実性がある難しさ  AIシステムとしての新たな要求への対応  公平性、プライバシー、低い説明可能性の考慮  実現・保証可能な安全性を見極めるのが難しい  機械学習特有の脆弱性  ハザード分析の難しさ  品質がデータセットに大きく依存  データセットの品質担保の難しさ 3
機械学習応用システムの要求工学要求の抽出要求の規定妥当性の確認（規定時の確認、実行時の確認）実現したいこと（要求）の集合コンピュータで実現できることの集合妥当な要求の集合実現できない要求機械学習応用システムの特徴 • どこまでできるかが明確になっていない • できることが急速に多くなっている無意味なシステムこの領域を要求としてしまうリスクをできるだけ早期に軽減したい ⇒ 事前実験、ステージゲート 4 概念検証による実現性の確認と要求の修正
機械学習システム要求の種類 AIシステム訓練済みモデル MLコンポーネント訓練プログラム訓練用データセットハイパーパラメータテスト用データセットテストビジネス要求システム要求訓練済みモデルの要求（モデル要求）データへの要求訓練への要求データへの要求 5
ソフトウェアの要求と機械学習特有の要求【要求を規定する目的】  構築すべきソフトウェアは何かを規定する  適切なソフトウェアを構築・運用するために必要な情報を明記する【要求に含まれる項目】  開発プロジェクトに対する要求  プロジェクトの制約  目的、利害関係者、利用者  前提、辞書  システム上の制約  プロジェクト上の課題  プロジェクト推進の課題、リスクコストなど  システムに対する要求  機能要求  スコープ  機能、データの要求  非機能要求  ユーザビリティ、パフォーマンス、運用要求、メンテナンス性、セキュリティ、文化・政治的な要求、法律上の要求機械学習エンジニア、AI倫理・公平性の専門家、ラベル付けする問題領域の専門家など機械学習に関する制約:GPU/TPUの必要性など倫理・公平性要求、説明可能性や頑健性の考慮、ドリフトへの考慮など機械学習で用いるデータセットの要求など 6
AIシステムと機械学習の要求ビジネス要求 AIシステムの要求機械学習機能の要求仕様 • 推論機能の要求 • 推論機能のタスク • 入力の特徴・範囲 • 推論機能とデータの品質要求 • 外部品質：正確性、安全性、公平性 • 内部品質： • 推論機能：頑健性、性能維持性 • データセット：網羅性、均一性、ラベルの正確性・妥当性 • サービスの機能要求、説明可能性 • 品質要求：安全性・リスク回避性、有効性、プライバシー、公平性など • 問題領域の定義 • 品質のモニタリング要求関連する品質プログラムの信頼度問題領域（入力）分析の十分性と網羅性実現依存機械学習品質マネジメントガイドライン第2版[8]を参考に作成実現可能な要求を規定することが困難十分性と網羅性の担保が困難目的・目標・KPI(重要業績評価指標,Key Performance Indicator) ソフトウェア人デバイス他システムデータテストデータセット、訓練データセットのあるべき特徴を規定する WHY? WHAT? WHO? 7
品質に関する要求とその実現 AIサービスの要求訓練済みモデルの要求仕様機械学習の開発への要求仕様 8 機械学習品質マネジメントガイドライン第３版 . 産業技術総合研究所人工知能研究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月
AIシステムの要求例：製品欠陥検知システム  AIサービスの機能要求  欠陥製品の検知  検知したい欠陥の定義：深さが深いキズ、大きい残油  範囲・前提状況  特定の部品で想定するラインで起こり得る欠陥の発見  今後、他のライン・部品の欠陥検知に展開したい  説明可能性  正解率が低くなった場合の解析にあると望ましい  品質要求：安全性・リスク回避性、有効性、プライバシー、公平性など  パフォーマンスの指標：検査コスト削減（２名体制から１名体制に削減）、人の確認作業と同様の精度  安全性：特に考慮なし  有効性：ラインが動いている間  プライバシ・公平性：特に考慮なし  機密性：欠陥データは機密情報、クラウドで処理できない  問題領域の定義  利用可能なデータ：工場で撮影されたカメラ映像（システムの一部）  データ収集の制約・リスク：  状況の列挙（対応すべき範囲）  考慮すべき欠陥の種類：傷、残油  欠陥と紛らわしい状況：影  欠陥とわかりにくい状況：凹凸部分の傷  欠陥の数：3,000個に１個程度  考慮すべき外乱：照明が変化する  バイアスの可能性  ラインにより欠陥の種類・数が異なる  カメラの性能、工場の照明により見え方が異なる  状況の判断：正解の定義方法  検査員が発見した欠陥部品の写真を正解データとする  正解データを作る人：検査員（現場の人）  性能・前提条件のモニタリング要求  コンセプトドリフト：製造機器・ラインが変わると新たな傷の種類が増える  データドリフト：製造機器・ラインが変わると傷の種類・分散が変化する、半年に一回定期点検と機器の調整  モニタリング：データドリフト・コンセプトドリフトの検知  欠陥の発見率の低下  検知の正解率：検査員のチェック結果と比較  利用可能なリソース  開発時（訓練時）の計算リソース：GPU、ストレージ、パーソナル用途の GPU  運用時（推論時）の計算リソース：安価なカメラで撮影、ミリオーダーで推論、工場のWGで推論すべての要求がトップダウンに決まるわけではない！ライフサイクルを通じた要求の詳細化・更新が必要ドメイン知識が必要運用時に変化 9
AIシステム要求工学のプロセス要求獲得・分析要求記述要求のモニタリングと保守要求の妥当性・一貫性検証データソース抽出ビジネス要求問題領域分析訓練済みモデル、データのモニタリング機械学習機能の要求記述データに基づく問題領域の分析 ML要求の実現可能性検証( フィージビリティ・スタディ) 要保護情報の識別データ分析 10
ＡＩシステムの要求に関するベストプラクティス（１／２）従来にない機械学習応用システム特有の要求  公平性、コンプライアンス、倫理への考慮が必要  差別やデータのバイアスについて考慮する  説明可能性の低さへの対応  利用者の観点で説明可能性の要求を抽出する  データドリフト・コンセプトドリフトへの対応  リリース後の精度が想定ほどでない、時間がたつにつれ精度が低下することを考慮する必要あり  データドリフト：入力データの分散・平均が変化する。例）スリ傷の不良品が多くなる  コンセプトドリフト：入力の意味付けが変化する。例）不良品の判断基準が変わる  実現可能性の不確実性への対応  事前実験（概念実証：POC）が必要ビジネス・システム要求との関係  推論時間・スループットの制約を明確にする  ビジネス目標と推論・予測の性能の関係を明確にする  必ずしも性能と目標は比例しない  機械学習を使った場合の効果を測定する  A/Bテストが行える場合 11
ＡＩシステムの要求に関するベストプラクティス（２／２）データへの要求管理  データの可視化が重要  データの量と品質について検討する  データを増やすために利用できるデータを検討する  データの十分性（網羅性）、一貫性、正しさについて考慮する  データの識別と要求が重要  データの収集、形式、値の範囲  データの出どころ・素性を理解することが重要  データ拡張の可能性を検討する  データの収集・利用時に対する取り扱いに注意する  個人情報・GDPR・ライセンスなどへの考慮その他  ドメイン知識が重要  要求エンジニア、データサイエンティスト、法律者の参加が必要参考文献： 1. Bernardi, L., Mavridis, T., & Estevez, P. (2019). 150 successful machine learning models: 6 lessons learned at Booking.com. In Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1743–1751). 2. Vogelsang, A., & Borg, M. (2019). Requirements engineering for machine learning: Perspectives from data scientists. In Proceedings - 2019 IEEE 27th International Requirements Engineering Conference Workshops, REW 2019 (pp. 245–251). IEEE. 3. Wan, Z., Xia, X., Lo, D., & Murphy, G. C. (2019). How does Machine Learning Change Software Development Practices? IEEE Transactions on Software Engineering, 1–14. 4. Amershi, S., Begel, A., Bird, C., Deline, R., Gall, H., Kamar, E., … Zimmermann, T. (2019). Software Engineering for Machine Learning: A Case Study. 41st ACM/IEEE International Conference on Software Engineering (ICSE 2019). 12
AIシステムの利害関係者（ステークホルダ） AIシステムの開発プロジェクト問題領域専門家サービスが公平性を保つ必要があるか、差別的な振る舞いをしないか、個人情報の扱いが適切をチェック法律家データサイエンティスト・機械学習エンジニア利用者データを分析し、機械学習を実施問題領域の知見を提供分析者開発者運用者品質管理チーム発注者訓練データ作成者教師データを作成 13 より多くの異分野協同が必要
AI利活用の原則 AI利活用ガイドライン, 総務省, 2019年8月9日 AIシステムへの要求 14
機械学習応用システム特有の要求  公平性とバイアス  人の判断をソフトウェアで置き換える際の問題  説明可能性、透明性  訓練済みモデルの説明性・透明性が低いことに起因する考慮  プライバシー  データ収集に関するプライバシー要求  システムに関するプライバシー要求  データドリフト・コンセプトドリフトへの対応  安全性  訓練済みモデルの頑健性（ロバスト性）  理想とやや異なっていても同様に推論できる  外れ値・欠損値、外部環境の違い、センサー性能の違い  どのような変化が起こりうるかの定義  推論性能の評価基準・誤認識に関するリスク  ハザードが起こるまれな状況とその回避に必要な精度  機械学習のセキュリティ脆弱性への考慮  データに対する要求  安全性担保に必要なデータ 15
公平性に関する要求 16 機械学習品質マネジメントガイドライン第３版 . 産業技術総合研究所人工知能研究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月
ユーザから人種差別の会話を学習数時間でサービスを停止 https://gigazine.net/news/20160325-tay-microsoft-flaming-twitter/ 入力の可能性の網羅が難しい https://wired.jp/2016/03/28/tay-gets-autopsied/ 17 https://www.rinna.jp/ ユーザからの入力（訓練データ）をフィルタリングする必要があった完全にフィルタリングできるのか？ ChatGPT 女子高生の会話秘書エージェントの実現？強化学習により適切な会話を学習！
雇用時の人種差別アマゾンの採用AIツール、女性差別でシャットダウン  アマゾンは、採用AIツールの開発に取り組んでいた。だが、AIツールは女性に対する偏見を示したとロイターは伝えた。  エンジニアは、AIが女性に対して好意的ではない評価を行ったのは、採用すべき人材の学習に使用した履歴書の大半が男性の履歴書だったことが原因と突き止めた。  だが、修正がうまくいかず、同社は2017年初めにこのプロジェクトを中止したようだ。 https://www.businessinsider.jp/post-177193 18
公平性が問題となる例  チャットボット・スマートスピーカが差別的な発言をする  女性が雇用・採用されくくなる  画像認識で、女性の医者が看護婦に分類されてしまう  自動翻訳で、男女の性別が自動判定される  医者は男性として、看護婦は女性として翻訳される  特定人種・地域・特定地域由来の名前の人が  累犯リスクが高く計算される  犯罪に関する情報・広告が表示される確率が高くなる  ローンの与信が通りにくくなる  保険料が高く計算される現在のgoogleの自動翻訳は、男性、女性の２パターンを出力 19
機械学習における公平性とは？推論結果により差別（不平等）を生む可能性を排除・軽減する要求  公平性の種類：  集団公平性：人種などのセンシティブ属性によるグループ間で判断に差異がない  男性が採用されやすい、有色人種の再犯リスク予測が高い  個人公平性：人種などのセンシティブ属性以外が似ている個人間で差異がない  性別・名前が異なるだけで採用されるかどうかが変化する法的な要求  公平性の法的概念  機会の平等：手続きの公平性  結果の平等：配分の公正  人種，肌の色，宗教，性別，出身国による雇用差別の禁止  男女雇用機会均等法  職場における男女差別の禁止  GDPR: 20 留意点  雇用に関するサービス・個人情報を扱うサービスは、公平性を考慮する必要がある  差別の原因となるセンシティブな情報から判断・予測・推薦するサービスも公平性がリスクにならないか分析する必要がある • 肌の色などDNNが自動的に特徴量として抽出、判断に利用する場合がある
AIシステム公平性に関する要求  公平性の評価指標集団公平性†  Equalized Odds: P(𝑌=1∣A=0,Y=y)=P(𝑌 =1∣A=1,Y=y), 𝑌:推論結果, Y:真の値  センシティブ属性(A)によらず、True PositiveとFalse Positive率が等しい  Demographic Parity: P(𝑌 ∣A=0)=P(𝑌 ∣A=1)  センシティブ属性(A)によらず、同じ予測分布  Equal Opportunity: P(𝑌 =1∣A=0,Y=1)=P(𝑌 =1∣A=1,Y=1)  センシティブ属性(A)によらず、True Positive率が等しい。（FP率は問わない）個人公平性の評価指標：認識を通した公平（Fairness Through Awareness）など ※公平性指標を考慮した訓練ライブラリ: Fairlearnがある。  公平性の観点で保護されるべき属性  個人・集団に関するセンシティブ情報例）性別、年齢、国籍、人種、肌の色、マイノリティ、信仰、経歴（病歴、犯罪歴）  社会や時代によって考慮すべき範囲が異なる  法令・規則・社会的に合意されたセンシティブ情報  不公平・差別のリスク要因  バイアス  センシティブ情報を持つ集団・個人のバイアス  不公平・差別的な推論・予測規則 † 公平性に配慮した機械学習, https://engineering.mercari.com/blog/entry/20211217-3286689d87/ 21
法律で定められたセンシティブ情報の例  男女雇用機会均等法  性別、思想、信条および宗教、人種、民族、門地、本籍地、身体・精神障害、犯罪歴など  米国の公正住宅法（FHA）  人種、肌の色、国籍、宗教、性別、家計の地位、障害の有無  米国のクレジットカード差別撤廃法（ECOA）  人種、肌の色、国籍、宗教、性別、既婚かどうか、公的補助の有無、年齢 22
公平性が保てない原因（リスク要因）はバイアス収集したデータに偏り（バイアス）があるラベルの付け方に偏り（バイアス）がある少数グループ（マイノリティ）を無視した学習アルゴリズム差別を含んでいるデータへの要求訓練済みモデルへの要求 • センシティブ属性の考慮 • バイアスの考慮、排除センシティブ属性を特徴量とするセンシティブ属性を使った推論 • どのような公平性を満たすべきか？ • 公平性の評価指標サンプリングバイアス学習バイアスラベリングバイアス 23
公平性を保つための対策収集したデータに偏り（バイアス）の確認ラベルの付け方に偏り（バイアス）がある少数グループ（マイノリティ）を無視した学習アルゴリズム差別を含んでいるデータへの要求訓練済みモデルへの要求特徴量の選び方が不公平な学習につながる事前チェック事後チェック評価指標を用いた機械学習事前処理センシティブ属性の除去 24
参考情報  AI論理影響評価手順書、富士通、2022年2月22日  システム図からAI倫理リスクの要因を分析  チャットボット、採用AI、再犯リスク予測など７つの適用事例  https://www.fujitsu.com/jp/about/research/technology/aiethics/  AIサービスとリスクコーディネーション研究会（東京大学）  １１のケース事例  https://ifi.u-tokyo.ac.jp/projects/ai-service-and-risk- coordination/overview/  機械学習工学研究会 AI倫理と公平性ＷＧ  https://sites.google.com/view/sig-mlse/wg 25
参考：公平性以外のAIシステムへの倫理的な要求  尊厳・自立の原則  他社の尊厳と自律の尊重  AIによる意思決定・感情の操作等への留意  AIと人間の脳・身体を連携する際の生命倫理等の議論の参照  AIを利用したプロファイリングを行う場合における不利益への配慮  透明性の原則  説明可能性の確保倫理の専門家とともにAIシステムの要求を抽出欧州では働き方を直接指導・評価するAIシステムはN.G. 管理者の指導を補助するAIシステムはOK！ 26
実行時に精度が低下するリスク：コンセプトドリフト AIシステム訓練済みモデル MLコンポーネント訓練プログラム訓練用データセットハイパーパラメータテスト用データセットテスト実際の入力データ将来の入力データ変化コンセプトドリフトドメインドリフト想定と異なり精度が低下把握しきれない複雑・膨大なデータを扱う不変部分と可変部分の切り分けが困難過去と異なる新しい状況 27
想定と実際とのギャップを生むリスク要因 28 開発時運用時状況やシナリオの規定概念定義センサーデータセンサーのチャネル部分的な意味（事例）訓練とテストデータへのラベリング要因１要因２要因３要因４要因５状況やシナリオの規定概念定義センサーデータセンサーのチャネル認知結果推論推論結果要因１要因２要因３要因４ドリフト訓練済みモデル要因７要因６モデルの選択、訓練とテスト Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445.
実行環境に関する要求：ドメインの把握コンセプトドリフト・データドリフトの例  自然言語、会話の変化  スパムメールの変化  人の好みの変化  需要の予測要因の変化ドメイン分析  コンセプトドリフトの変化要因の整理  コンセプトドリフトの変化速度  変化に対する対応速度 ⇒ 運用時のモニタリング・対応に対する要求機械学習による影響 29
コンセプトドリフト対策 1. Forgetting  定期的に学習し、訓練済みモデルをアップデート 2. Detectors  ドメインドリフトを検出し、再学習 3. Dynamic Ensemble  複数のモデルを合成したアンサンブルモデルの重みを動的に調整 4. Contextual  複数の訓練済みモデルを状況により切り替え ⇒ ドメインの特徴によって適切な運用方法を選択引用：https://recruit.gmo.jp/engineer/jisedai/blog/concept-drift-detection-and-handling/ 30
安全性に関する要求 31
安全性に関する要求 32 機械学習品質マネジメントガイドライン第３版 . 産業技術総合研究所人工知能研究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月
DNNだと何が難しいのか？（再掲）対象世界の広がり：実行環境・状況の複雑さ、不確かさ実現に関する難しさ： 1. DNNで訓練されたモデルの複雑さ、意味付けの難しさ 2. 訓練済みモデルの制御した変更の難しさ 3. DNN特有の脆弱性複雑なルールの組み合わせを自動で導出どのような対象世界か不明、可能性が膨大やってほしいこと（仕様）自動運転システム DNN DNNの脆弱性に起因したリスク実行環境・状況に起因したリスク 33
想定するユースケース現実世界 ① 現実世界からモデル化対象データの検出ユースケースやパターンの網羅（環境、地域など）入力データ ② 抽出データからモデル入力用に加工・クレンジング前処理訓練無数のユースケース観測対象の母集団機械学習ドメイン知識母集団はどのような特徴をもっているか？バリエーションがあるか？データの収集・加工のためにドメイン分析が必要収集・加工 AIプロダクト品質保証コンソーシアム. (2022). AIプロダクト品質保証ガイドライン 2022.07版. をもと https://www.qa4ai.jp/download/ AIシステムのドメイン分析と要求の抽出 34
実行環境・状況の複雑さ、不確かさ（再掲） 35 開発時運用時状況やシナリオの規定概念定義センサーデータセンサーのチャネル部分的な意味（事例）訓練とテストデータへのラベリング要因１要因３要因４要因５状況やシナリオの規定概念定義センサーデータセンサーのチャネル認知結果推論推論結果要因１要因２要因３要因４ドリフト訓練済みモデル要因７要因６モデルの選択、訓練とテスト Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445. 要因２
実行環境・状況の複雑さ、不確かさ（再掲） 36 開発時運用時状況やシナリオの規定概念定義センサーデータセンサーのチャネル部分的な意味（事例）訓練とテストデータへのラベリング要因１要因３要因４要因５状況やシナリオの規定概念定義センサーデータセンサーのチャネル認知結果推論推論結果要因１要因２要因３要因４ドリフト訓練済みモデル要因７要因６モデルの選択、訓練とテスト Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445. 要因２
AIソフトウェアの開発とセーフティの課題訓練パイプラインの構築 AIシステムの要求 AIシステムの設計 AIシステムの実装単体検査結合検査受け入れ検査運用 AIサービスの企画推論パイプラインの構築とデプロイ機械学習コンポーネントの構築機械学習の要求データ収集・整理・加工訓練推論結果分析システムの改善実現可能性検証 (PoC) ＡＩシステムのライフサイクル機械学習のライフサイクル機械学習の改善組み込み保証範囲が不明確要件重要な場面での動作を担保できない原因分析と対策ができない修正時学習データの妥当性が不明学習データが不学習データの収集コストが学習データ収集時モデルのアップデート不要動作を保証できない安全な停止を保証できない製品確認時テストの妥当性が不明セキュリティを担保できない保証のコストが大きい 37
機械学習システム（特に自動運転）における重要課題保証範囲が不明確要件定義現状の難しさ ODD （運行設計領域）を明確にしたいが、扱う環境のバリエーションが多すぎて条件を明確にできない。 ① （DNNの複雑性）DNN （ディープニューラルネットワーク）でどこまで扱えるのかが明確にならないため、保証できる範囲を決定できない。 ② （環境の複雑性）まれなケースや入力のヴァリエーションが多すぎて考慮すべき範囲を整理できない。実現したい機能 ① ディープラーニングを用いた場合の安全性保証 ② どのような特徴を見て判断しているか、意図しない特徴で判断していないかを明確に説明できる ③ リスクが高くなることがあるかを検証す C：安全性保証範囲は現状、明確にできないのでこれを定義する技術がいる。 Q:明確にしたい範囲とは？ A：技術的に保証範囲にいるのかいないのかをあらわすDNNの場合の保証範囲の定義方法をだすべき。 Q: DNNを使わずに実現しようとしているときは簡単か？コンベンショナルなソナーで距離を測る場合はできると思うがなぜDNNではできないのか？ A：DNN固有の問題ではない、外部環境が複雑で高機能を実現するから。ただアルゴリズム、ブラックボックスの課題があるのでDNNを使うと難しいという問題もある。夜間の暗さで人を認識しない 38
雨天時、映像の条件が悪い遠方で横切る人が小さすぎる正面の車が逆光が強く認識できないどこまでの気象条件で望ましい性能が出るか知りたい 60Km/hで走っている場合は認識が必須（ODDの決定のため性能限界が知りたい）速度条件：夜間の暗さで人を認識できない環境条件：照明条件： 39
頑健性（ロバストネス）への要求ロバストネスとは？  入力が想定と少しぐらい変わっても想定と同様の判断をする訓練済みモデルへのロバストネス要求  ノイズや外乱に対する影響が少ない推論  気象条件、照明条件、センサーノイズの多少の変化に対しても想定と同じ判断をさせてほしい  どのようなノイズ・外乱が起こりうるべきかを整理する  ロバストネスを高めるための訓練データ  ロバストネスを確認するためのテストデータ 40
機械学習システム（特に自動運転）における重要課題訓練データ・テストデータの妥当性が不明具体的には？訓練データ収集現状の難しさ ①訓練データの妥当性がわからない・安全性を担保できる訓練ができるかわからない ←事故がつながるシーンの学習・信頼性を担保できる訓練ができるかわからない ←起こりうるバリエーションへの対応 ②テストデータの妥当性がわからない・事故につながるシーンをテストできているのか、起こりうるバリエーションをテストできているのかわからない。 C:安全性観点での訓練データがないといけない。 • どういうデータをくわせれば意図したことになるのかわからない。 • 不具合データもバリエーションがない、数も集められないので困っている。 • シュミレーションはトライとしてはやっているが微妙なところ。実現したい機能 ① 訓練データ・テストデータの必要十分性を把握する ② 訓練データ・テストデータと実際の運用データとの整合性を把握する ③ テストデータと訓練データのバイアスを把握する自転車を認識せず →学習データが起こりうるバリエーションに対処できていない？ 41
訓練データの妥当性の具体的観点・製品のユースケースを反映したデータになっているか？例）夜間での歩行者認識・歩行者や自動車など狙った認識対象に対するラベルの量は十分か？・収集因子は十分に網羅的か？例）天候、時間、地域、歩行者の特徴、車両との距離など・データ分布の致命的な偏りはないか？例）大人は十分収集したが子供がほとんど収集されていない等・バウンディングボックスやセグメンテーションなどラベルの精度は十分か？例）雨天時の傘をさした歩行者に対するバウンディングボック 42
機械学習システム（特に自動運転）における重要課題原因分析と対策ができない具体的コメント修正・対策時現状の難しさ DNNはどのような特徴量を捉えているかわからないので分析できない ① 以下のような状況の課題が発見できてもその理由や対策方針が定まらない。 • 影を歩行者だと誤認識する • 逆光で認識率が下がる • 交差点での対向車等の認識が不完全実現したい機能 ① 原因分析のガイドライン ② 対策のガイドライン ③ 自動原因分析 ④ 自動対策 Q:不具合対策用のデータを増やすのは難しいか？ A:無理なシーンもあり、結構難しい。例えばデータのために子供をひくことは絶対にできないので、ダミー人形をつくる映像、画像をつくるなどで対処している。 Q:5年後のセンサーに新しいセンサーを足すなどセンサーの後付け対策は検討しているか？ A：カメラ以外を足すが、コストの問題あり。〇 ✗ 原因不明の未認識 43
原因不明の未認識 44
DNNはデバック自体が難しい！大きく隠すと上半身だけで認識認識されないケースで身体が隠れているから？背景が違えば認識する！！ 45 認識されないスカートをはいているから？バックをもっているから？ 45
機械学習システム（特に自動運転）における重要課題４．重要な場面での動作を担保できない具体的には？現状の難しさクリティカルな（重要な）シーンの認識を保証できない。新たな訓練データで（うまくいっていたシーンの）認識率が下がり事故につながる可能性がある。 ① 以下のような状況の課題が発見できてもそれら一度に修正できない。 • 影を歩行者だと誤認識する • 逆光で認識率が下がり、人を未認識する • 交差点での対向車等の認識が不完全実現したい機能 ① ハザードが起こる重要なシーン（ラベル）の認識率を保証する学習 ② 特定のラベルの認識率と全体性能をバランスさせる学習 ③ リスクが高くなるシーンを見つけ出すリスク分析 Q:制御の部分でもIＦ文を重ね認識するようにするのはどうか？Ａ：認識系はこれからどんどんふえていくので機械学習に頼らざるを得ない。ハイブリッドで使ってはいる。課題設定としては、安易にルールベースに頼ると、機械学習の流れと逆行する。Ｃ：ＩＦ文を使わない部分はルールベース。ＤＮＮを訓練させるというのが重要になる。データに関して、シュミレーションとか、ＣＧではまだ研究開発段階。修正・対策時 46 目の前の歩行者を認識できない 46
赤いスカートの女性の認識 47
別なシーンを直せば、他がダメになる。 1か所を修正しようとすると、全部のやり直しに・・・重要な物体が認識されていない例：公開できないデータセットで推論させると、、、 • ストライプ柄のスカートの女性が目の前を横切る場合も認識されず • 逆光で交差点に侵入すると横断する歩行者が認識されず 48
機械学習システム（特に自動運転）における重要課題不要作動を保証できない具体的には？製品確認現状の難しさ不要作動（動いてはいけないときに動いてしまう）を回避できることを保証できない例）前に障害物がない状況でブレーキをかけてしまうなど ① 製品保証の範囲で仕様通りの作動をするかを確認できない実現したい機能 ① 不要作動しないことを保証する設計検証 ② 不要作動するかどうか確認するハザード分析Ｃ：デｨープラーニングの特徴的なところだが、部分的テストができないので制御のディープトレーニングテストに工数がかかる。バックボーンを共有している限り、全部評価するのは変わらないのでいかに低コストで評価するかは課題である。不要作動しないことを保証したい。Ｃ：ルールベースで従来のソナーだけを使って動かすこともできるはず。Ｃ：モデル修正したいが、識別改善してくれない。 1台の車をCARとTruckと認識していて不要作動の可能性あり。（Truckは車間距離をとるため急ブレーキをかける） 49
不要作動例）天下一品の看板を一時停止の標識と誤認識する →停止すべきでないところで停止例）人が描かれた看板やトラックを歩行者と認識し自動ブレーキ https://www.honda.co.jp/hondasensi ng/feature/srf/ https://soranews24.com/2018/09/17/ major-japanese-ramen-chains-logo- confuses-honda-cars-ai3 50
未認識と誤認識は一般的にトレードオフの関係 →自動ブレーキにおける誤認識(False Positive)とは不要作動、ブレーキをかける場面ではないのに誤認識により自動ブレーキがかかること →自動ブレーキにおける未認識(False Negative)とは必要なシーンでブレーキをかけないことどちらを優先させるかはアプリケーションに依存安全性担保に必要な誤認識・未認識率の上限を決定（基本性能とトレードオフをとる） 51
機械学習システム（特に自動運転）におけるその他の課題セキュリティを担保できない製品確認現状の難しさ（セキュリティへの対応）悪意を持ったユーザへの対応（セキュリティ攻撃による制御のっとり、画像の誤認識、学習データの改ざん等）実現したい機能１．攻撃に対する対処の作りこみ２．脅威分析３．非安全な制御の洗い出し４．データの安全性検証保証のコストが大きい製品確認現状の難しさ安全性・信頼性の検証・テストのコストが大きい・非常に多くのケースを考慮する必要があるシステムを変更したときの安全性・信頼性の再検証・再テストのコストが大きい（システムを変更したら何万キロものテストをやり直す必要がある）実現したい機能 1. 効率の良い検証・テスト方法 2. 効率の良い再検証・回帰テスト方法 3. 差分学習の品質確保ができる安全な停止を保証できない製品確認現状の難しさ・保証範囲内でシステムが安全に停止させられることを保証できない例）・危険な状況になりそうになった場合：物体に衝突しそうになったとき・保証範囲外に入った時：突然の大雨で自動運転機能の動作を継続できなくなった場合実現したい機能１．安全側に倒した動作保証（安全な場所への自動退避） →自動退避アプリが必ず成功することを保証？２．特定の状況下での安全性の担保 52
機械学習システム（特に自動運転）におけるその他の課題学習データが不足学習データ収集現状の難しさ (学習のためのデータ量が不十分) 訓練データを収集ができない・ＧＤＰＲ等：プライバシー保護法の厳格化により訓練データをEUから持ち出せない（訓練済みモデルであればOK）実現したい機能プライバシー保護や規制（ＧＤＰＲ等）で保護されたデータを，保護や規制を守りながらモデル構築に利用する．学習データの収集コストが大きい学習データ収集現状の難しさ信頼性を保証するために大量の訓練データ・テストデータを必要とする・事故につながる稀な状況のテストデータのバリエーションを収集できない。（リアルでは再現しにくい。シミュレーションではテストの有用性が不明確）実現したい機能 1. 効率の良い学習 2. 効率的なアノテーション・訓練データ生成 3. 少ない訓練データでの学習 4. 学習済みモデルの再利用 5. 知識を組み合わせた訓練アルゴリズムモデルのアップデート運用時現状の難しさ学習モデルを運用時に変更する際に、変更のタイムラグの発生時に旧モデル・システム全体の保証が難しい実現したい機能安全・ロバストに学習モデルをアップデートできる。 53
重要性と短期/長期的課題一覧表工程課題重要度短期/中期要件定義１．保証範囲が不明確５短期学習データ収集２．テスト/学習データの妥当性が不明５短期修正・対策時３．原因分析と対策ができない５短期修正・対策時４．重要な場面での動作を担保できない５短期製品確認５．不要作動を保証できない５短期製品確認６．セキュリティを担保できない２中期製品確認７．保証のコストが大きい３中期製品確認８．安全な停止を保証できない３中期学習データ収集９．学習データが不足３中期学習データ収集１０．学習データの収集コストが大きい３中期運用時１１．モデルのアップデート２中期 54
センサーハードウェアとの違い  センサーは物理現象を利用した単機能なものが多く、性能に影響する要素（光・電波などの物理現象）を特定可能（分析しやすい）  ハードウェアの性能限界はその要素と線形な関数モデルによって表現可能  性能限界を見極めやすい  DNNは、膨大な特徴から複雑な場合分けにより判断しており、性能限界は単純に求まらない 55
機械学習に関するセキュリティ  敵対的標本（Adversarial Example、Evasion）  入力にノイズを入れ、意図的に誤判断  データ有毒化（Poisoning）  特定の入力時に誤動作させるバックドア  訓練データ推測（Inversion）  プライバシー情報、個人情報を推測  訓練済みモデル奪取（Extraction）  パラメータを盗み、モデルを不当に再利用 56
機械学習の脆弱性： Adversarial Examples (敵対的標本) Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D. Robust Physical-World Attacks on Deep Learning Models, CVPR 2018 Carlini, N., & Wagner, D. (2017). Towards Evaluating the Robustness of Neural Networks. Proceedings - IEEE Symposium on Security and Privacy, 39–57. 57
特定の特徴をもたせた敵対的標本 Sharif, M., Bhagavatula, S., Bauer, L., & Reiter, M. K. (2019). A general framework for adversarial examples with objectives. ACM Transactions on Privacy and Security, 22(3). https://doi.org/10.1145/3317611 Xu, K., Zhang, G., Liu, S., Fan, Q., Sun, M., Chen, H., … Lin, X. (2020). Adversarial T- Shirt! Evading Person Detectors in a Physical World. arXiv. https://doi.org/10.1007/978-3-030- 58558-7_39 58
敵対的標本（攻撃）の発見オリジナル画像 STOPの標識と判断する入力領域速度制限の標識と判断する入力領域少しの書き換えで判断が変わる変更を探索 Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D. Robust Physical-World Attacks on Deep Learning Models, CVPR 2018 59
機械学習応用システムへの攻撃と脅威入力データへの攻撃訓練パイプラインへの攻撃推論パイプラインへの攻撃推論結果の誤動作・意図しない結果の誘発訓練データの書き換え（Poisoning Attack) 入力データの書き換えバックドア誤動作モデルの書き換え入力データの推測モデル（パラメータ）の漏洩訓練データの漏洩アルゴリズムの書き換え 60
セキュリティ担保の難しさ対象世界の広がり：  ビックデータの活用、膨大なデータのバリエーション（実行環境・状況の複雑さ、不確かさ）  データ管理が困難  書き換えのバリエーションが豊富  妥当な訓練データセットの把握が困難  故意の書き換えを検知しにくい DNNで訓練されたモデルの複雑さ：  容易に判断を変更する入力（敵対的標本）を作ることができる  判断の境界が不明：脆弱性を容易に発見できない、容易に取り除けない 61
機械学習システムセキュリティガイドライン, 機械学習工学研究会, https://sites.google.com/view/sig-mlse/発行文献影響分析脅威分析リスク評価対策保護資産の種類脅威の種類機械学習への攻撃の種類機械学習システムが扱う資産機械学習モデル訓練データ訓練データの搾取モデルの搾取モデル・システムの誤動作回避攻撃対策の種類ポイズニング攻撃モデル抽出攻撃モデルインバージョン攻撃メンバーシップ攻撃検知調査応急対策（制限・停止、緩和など）恒久対策（敵対的訓練、データ除去など）受け入れない大きさのリスク受け入れられる程度のリスク機械学習システムのセキュリティリスク分析 62
攻撃者が知り得る情報・可能な操作と攻撃推論パイプライン  推論結果の入出力・信頼度  正解の信頼度を下げ、意図したラベルの信頼度を上げる入力を発見する  訓練済みモデルのアーキテクチャ  同じアーキテクチャの敵対的標本を利用  訓練済みモデルのパラメータ  オフラインで敵対的標本を検索  オフラインで訓練データを推測訓練パイプライン  訓練データの追加、書き換え  特定の入力に対して誤動作させるバックドアを埋め込む攻撃敵対的標本 63
様々な種類の脅威が研究されている特定のラベルに推論させるデータセット全体に有効な書き換え複数のDNNに有効な書き換え十分小さい書き換えを計算人間にとって同じに見える書き換え Yuan, X., He, P., Zhu, Q., & Li, X. (2019). Adversarial Examples: Attacks and Defenses for Deep Learning. IEEE Transactions on Neural Networks and Learning Systems, 30(9), 2805–2824. 検知させなくする間違った検知 64
敵対的標本への対策訓練の工夫  敵対的標本で訓練  さまざまな敵対的標本を生成  起こりうる敵対的標本を優先的に発見  ロバストネスを担保した訓練済みモデルの構築  入力が想定と少しぐらい変わっても想定と同様の判断をする  訓練済みモデルの弱点を発見する研究  訓練済みモデルを蒸留や書き換えによって軽量化  ロバストネスに関する論理的保証  特定の大きさ以下のノイズに対して予測が不変であることを証明システム上の工夫  入力データを書き換えて誤判断しないようにする  ノイズを加える。訓練データと同じ特徴（分散）をもつデータに書き換える。  アタックの検知  通常とは異なる入力、振る舞いを検知  （出力の信頼度など）不要な情報を公開しないシステムへのセキュリティ要求データセットの要求訓練に関する要求 65
データに対する要求と品質 66
機械学習品質マネジメントガイドライン第３版 . 産業技術総合研究所人工知能研究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月データに関する品質と要求データ品質訓練済みモデルの品質 67
データの品質の重要性  訓練済みモデルの品質＝  学習プログラムの品質  前処理方法  アルゴリズム・アーキテクチャ選択  プログラムの品質  データセットの品質訓練済みモデル訓練プログラム訓練用データセットハイパーパラメータテスト用データセットテスト訓練プログラムの品質・選択も重要データの品質が訓練済みモデルの精度に大きく影響 68
データに関する要求の分析（再掲）動作範囲の規定 ⇒ どのような入力がありえるか？対応すべき（レアな）状況 ⇒ テストデータに含めるリバランスパターンの適用 69 機械学習品質マネジメントガイドライン第３版 . 産業技術総合研究所人工知能研究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月
データセットへの要求機械学習への品質要求  推論精度（パフォーマンス）の担保  公平性の担保  安全性の担保要求を満たすためのデータセットへの要求  データセットの被覆性（網羅性）  対応すべき状況をすべて網羅している  データセットの均一性  実際の発生頻度に一致している品質要求を満たすためのデータセットの特徴を規定稀だけど重要なケース例)異常検知、誤認識が事故に直結品質要求を考慮し、リバランスパターンの検討 70 機械学習品質マネジメントガイドライン第２版 . 産業技術総合研究所人工知能研究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2021
訓練/テストデータに対する要求  訓練データ量に対する要求  想定する学習手法・アルゴリズムで学習させるために必要な訓練データ量  システムが取り扱う入力の種類からみた統計的観点から必要な訓練データ量  想定する要求・適用環境において，希少な状況や分類クラスの偏りがある場合であっても，必要とする精度を実現するために必要となる訓練データ量  訓練データの内容に対する要求  データが満たすべき不変条件や整合性条件  データの集合（分散など）に対する条件  前提とする入力データ集合の特徴  公平性：不適切なバイアスの定義  含むべきデータの種類  処理対象となるデータの種類  安全性の確認のために必要となるデータの種類  頑健性を確認するために必要となるデータ  データ拡張（Data Augmentation ）に関する要求：人工的に作成・可能なデータの定義  妥当なデータの領域、外れ値と欠損値に対する扱い  ラベルに関する要求  データの収集に対する制約  プライバシーに関する法律・ポリシーの考慮  利用ライセンス（知的財産）の扱い  テスト用データの要求  訓練データとの区別の方法 AIプロダクト品質保証コンソーシアム. (2022). AIプロダクト品質保証ガイドライン 2022.07版. をも https://www.qa4ai.jp/download/ 71
データ拡張に関する要求  学習できるデータを人工的に増やす  バリデーションを増やすことで過学習を防ぐ、ロバスト性を向上させる  考慮すべきまれな状況を作り出す  まれな状況で精度を担保する  安全性の担保のためハザードを軽減する拡張手法：  単純な画像操作  輝度、色合いの変更  画像の回転・反転  複数の画像の合成  機械学習を使った自動生成  オートエンコーダ、GANの利用  シミュレータの利用データ拡張に関する要求：  データ拡張が必要か？  バリエーションが存在するか？  まれな状況に対してデータを収集困難か？  どのようなバリエーション、状況がありうるか？実際の実行環境に即したデータ拡張を規定する 72
訓練済みモデルの正確性に関する要求実際は正 (Positive) 実際は負 (Negative) 予測が正 (Positive) TP(真陽性) True Positive FP(偽陽性) False Positive 第1種の誤り予測が負 (Negative) FN(偽陰性) False Negative 第2種の誤り TN(真陰性) True Negative 混合行列(Confusion Matrix) 正解率(Accuracy) 全予測正答率 TP+TN TP+FP+FN+ TN 適合率(Precision) 正予測の正答率 TP TP+FP 再現率(Recall) 正に対する正答率 TP TP+FN 特異率(Specificity) 負に対する正答率 TN FP+TN F値(F-measure) 適合率と再現率の調和平均 2PrecisionR ecall Precision+Re call 評価基準どのような評価基準を重視するかは機械学習をどのように利用するかに依存（判断に人が介在するかなど）不正検知の場合、この精度が重要評価目標を設定できない場合は、経験的ベンチマーク（人との比較、単純ルールとの比較など）を検討 AIシステムの価値と安全性の観点から目標を設定人が判断するならFNが多少あっても大丈夫 73
(工程Ａ)問題領域のベンチマーキング (工程Ｂ)データセットを使って問題領域を解釈重要な特徴量や値を識別する収集した知識の概念整理要求として規定する対象領域の概念辞書に関して合意するデータセットの収集 Vision API を利用特徴量のラベリング概念辞書に基づいてデータセットを理解 (工程Ｃ) 機械学習モデルによって問題領域を解釈する訓練済みモデルルールマイニングの利用モデルからの抽出技術（XAI技術）の利用）概念辞書に基づいて構築したモデルを理解特徴量の抽出特徴量の抽出得られた知識の整理要求として記述できていない概念の発見品質に関するリスク要因の特定データセットの品質確認曖昧な要求仕様の認識要求とデータ、訓練済みモデルのギャップ認識機械学習コンポーネントの検証 (工程Ｄ)ギャップを埋める研究：機械学習システムのための要求工学 Rahimi, M., & Chechik, M. (2019). Toward Requirements Specification for Machine-Learned Components. In 27th International Requirements Engineering Conference (pp. 241–244). をもとに作図 74
参考文献： AI/MLの要求工学に関する研究動向  Ahmad, K., Bano, M., Abdelrazek, M., Arora, C., & Grundy, J. (2021). What’s up with Requirements Engineering for Artificial Intelligence Systems? In IEEE 29th International Requirements Engineering Conference (RE 2021) (pp. 1–12). IEEE.  Villamizar, H., Escovedo, T., & Kalinowski, M. (2021). Requirements Engineering for Machine Learning: A Systematic Mapping Study. 47th Euromicro Conference on Software Engineering and Advanced Applications (SEAA 2021), 29–36.  Vogelsang, A., & Borg, M. (2019). Requirements engineering for machine learning: Perspectives from data scientists. In Proceedings - 2019 IEEE 27th International Requirements Engineering Conference Workshops, REW 2019 (pp. 245–251). IEEE. 75
まとめ  機械学習応用システムのための要求工学  機械学習・AI特有の要求：  公平性、プライバシー  説明可能性、透明性  ドメインドリフト  安全性担保の難しさ  セーフティとセキュリティ  データセットの品質  データセットの被覆性（網羅性）と均一性を考慮した訓練データセット、テストデータセットの規定 76 AIプロジェクトマネージャのための機械学習工学, 吉岡信和,鷲崎弘宜, 内平直志,竹内広宜,科学情報出版株式会社, 2023年1月
お断り  推論に使った訓練済みモデルは、Yolo v3をCOCOで訓練させたモデルです。  そのため、現実的でない訓練モデル・訓練データの可能性があります  例に出した写真は以下のオープンデータセットに含まれているものです。研究目的以外には使えません。利用制限に関しては各オープンデータのサイトを御覧ください。  BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/  Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/ 77

Check these out next

AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための要求工学と安全性

Recommandé

Contenu connexe

Présentations pour vous(20)

Similaire à AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための要求工学と安全性(20)

Plus de Nobukazu Yoshioka(10)

Dernier(20)