SlideShare une entreprise Scribd logo
1  sur  60
Télécharger pour lire hors ligne
⾃動⾞システムの安全性保証への
ソフトウェア科学的アプローチ
論理的アカウンタビリティと適⽤コスト軽減の両⽴
1
国⽴情報学研究所 アーキテクチャ科学研究系 准教授
同 システム設計数理国際研究センター⻑
総合研究⼤学院⼤学 情報学専攻
JST ERATO 蓮尾メタ数理システムデザインプロジェクト 研究総括
蓮尾 ⼀郎
• PhD in computer science,
Radboud U. Nijmegen (オランダ)
• 京⼤数理解析研究所 助教
➜ 東⼤情報理⼯ 講師・准教授
➜ 国⽴情報研(NII) 准教授
• 専⾨: ソフトウェア科学と数学
• 共著書:
圏論の歩き⽅
(⽇本評論社,
2015)
蓮尾 ⼀郎(国⽴情報学研究所)
アウトライン
• ERATO 蓮尾プロジェクトの(簡単な)紹介
• 学術背景: ソフトウェア科学
• 形式検証とは?
• 形式検証の限界?
• 基本アイデア「不確かさの論理的封じ込め」
• 取り組み1: 時相論理ベースのシステム解析ツールスイート
• 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム
• 取り組み3: ⾃動運転安全ルール策定技術
2
蓮尾 ⼀郎(国⽴情報学研究所)
研究課題:
ソフトウェア品質保証のペイン
3
特に⾃動運転では…
• 安全性の説明ができない
➜ 社会受容・実⽤化の遅れ
• 製造者責任の範囲が特定できない
➜ 訴訟リスク,企業の参⼊障壁
⾃動⾞産業でも
課題は同じ…
(ソフトウェアの⽐重が
年々拡⼤)
ソフトウェアは
年々複雑に…
バグがあったら
製造者責任は莫⼤…
現在は
何とか品質保証
できているがコスト⼤…
将来は
品質保証できるのか不安…
2018年の事故以降 hype が急速にしぼむ
ERATO 蓮尾 PJ の成果概要
4
• JST ERATO: 国内最⼤級の公的研究費スキーム
全学術領域から毎年3件程度が採択
• ERATO 蓮尾プロジェクト: 2016/10-2022/03.
研究員10-20名,総勢50名超の体制で研究推進
• ⽬標: ソフトウェア品質保証のペインを解消すべく,
理論から実践までの包括的ソフトウェア研究.
⾃動⾞・⾃動運転に戦略的フォーカス
• 学際的研究体制
4つの学術分野が
共通の理論基盤と応用目標を通じて密接に協働
• 成果概要
• トップ国際会議論⽂50件超を含む,200件超の論⽂出版.
• 例: 理論計算機科学の最⾼峰国際会議 LICSʼ19 では全60件のうち6件を発表
• 企業と協働10社以上.企業向けシンポジウム,セミナーシリーズ開催
• 成果が⾼く評価され,
ERATO 追加⽀援(機関継承型)に採択.2022/04-2025/03
• 国際的研究体制
• グループの1つをカナダ Waterloo ⼤学に設置.
実際の⾃動運転⾞を運⽤
• 研究員の半数以上を海外から雇⽤
アウトライン
• ERATO 蓮尾プロジェクトの(簡単な)紹介
• 学術背景: ソフトウェア科学
• 形式検証とは?
• 形式検証の限界?
• 基本アイデア「不確かさの論理的封じ込め」
• 取り組み1: 時相論理ベースのシステム解析ツールスイート
• 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム
• 取り組み3: ⾃動運転安全ルール策定技術
5
形式検証とは
• プロジェクトの主背景:
ソフトウェア科学とその数学的理論
• ソフトウェアに関わる諸現象の
数学的解析
• 応⽤数学の⼀分野
• ソフトウェア科学の実応⽤は,
伝統的に形式検証による
• 形式検証=「バグなし証明」
6
応⽤数学分野 「XXを数学的に研究」
数理物理学 物理現象
(数理)経済学 経済現象
… …
ソフトウェア科学 ソフトウェアにまつわる
諸現象
「検証」の意味は⽂脈によっていろいろですが,
「形式検証」は数学的証明を指します
7
8
9
10
11
12
13
14
15
16
17
18
19
Hasuo (NII, Tokyo)
形式手法 formal methods
(もともとは)ソフトウェアの
品質保証のための,
数学的・記号論理的手法の総体
記号的であるため計算機実装が可能
形式手法の例
形式検証 verification 

Input: 

a system model M

a specification 𝛗 

Output: if M ⊨ 𝛗 or not

w/ a proof, if yes

w/ a counterexample,
if not
自動生成 synthesis 

Input: 

a specification 𝛗 

Output: a system M
such that M ⊨ 𝛗

or: a parameter of
a given (partial)
model
形式仕様記述
specification
Expressing a
property desired in
a formal language

machine-
representable

basis for verif. &
synthesis
• プログラムにバグがないかどうか
確かめる
• テスト:
いくつか入力を試してみて確認.
「おそらく他の入力でも大丈夫」
• 形式検証:
「すべての入力に対して安全であ
ること」を数学的に証明
20
Hasuo (NII, Tokyo)
hoge
形式検証の例1: 定理証明
例: Hoare 論理による定理証明
イメージ: 紙とペンで証明を書くのと同じ
しかし,人力だと間違えるので,計算機上で.
記号列で証明を表現 ➜ 各ステップの正当性をプログラム(証明支援系)がチェック
できれば証明の自動探索(定理証明器)
(原理上は)無限の入力空間をすべてカバーできる
証明では「i を入力の自然数とする」とかけますね
数学的証明という,強い品質保証
k = N! 
after 
execution
Proof 
search
specification
program
proof
Theorem forall_exists : (forall P : Set->Prop, 

(forall x, ~(P x)) -> ~(exists x, P x)).
Proof.
  intros P.
  intros forall_x_not_Px.
  unfold not.
  intros exists_x_Px.
  destruct exists_x_Px as [ witness proof_of_Pwitness].
  pose (not_Pwitness := forall_x_not_Px witness).
  unfold not in not_Pwitness.
  pose (proof_of_False := not_Pwitness proof_of_Pwitness).
  case proof_of_False.
Qed.
A Coq proof of ∀x. ¬P(x) → ¬ ∃x. P(x)
21
Hasuo (NII, Tokyo)
形式検証の例2: モデル検査
オートマトンのアルゴリズムによる「自動証明」
主にグラフの到達可能性判定に帰着
オートマトンは有限 ➜ 数え上げによる自動証明が可能
例: 以下のオートマトンにて, !
に至ることはない (*)
!
a
a,b
b
a, b
(不正解)
仕様 (*) をすべての入力につい
て確かめる
(入力は無限個あるので無理)
(正解)
到達可能な領域を計算し(グラ
フ探索,有限時間で飽和), !
が含まれないことを確かめる
a
b
詳細は蓮尾の
NII 市民講座スライドで
https://bit.ly/2selPnn
少しテクニカルですが
お付き合いください.
ポイントは 有限 vs 無限
22
形式検証の例2:モデル検査
全状態を総当りで
チェック
SPIN, PRISM,
Uppaal, MCRL2, ...
+ 全自動
­ 状態数爆発
­「 サイズ」の検証
M. Ben-Ari, ACM Inroads, 2010
アウトライン
• ERATO 蓮尾プロジェクトの(簡単な)紹介
• 学術背景: ソフトウェア科学,論理学,…
• 形式検証とは?
• 形式検証の限界?
• 基本アイデア「不確かさの論理的封じ込め」
• 取り組み1: 時相論理ベースのシステム解析ツールスイート
• 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム
• 取り組み3: ⾃動運転安全ルール策定技術
23
蓮尾 ⼀郎(国⽴情報学研究所)
⾃動⾞産業における形式検証?
24
Mcarone1, Simulink model of a wind turbine, CC BY-SA 3.0
• ⽬標をうまく設定する必要がある
• それでもモデリング・証明の⼯数⼤
適⽤は容易ではない
実⾞を形式検証?
• 証明のためには,
対象システムの振る舞いの
「定義」=モデルが必要
• モデルがない
➜ 形式検証不能
Simulink モデルを形式検証?
• Simulink モデルは数値シミュレー
ション⽤.形式検証⽤でない
• 形式検証⼿法は現在限定的.
また,⼤きなモデルに
スケールしない
Event-B モデル?
• Event-B: 形式検証⽤モ
デリング⾔語.
鉄道システム等に実績
• ⾃動⾞システムのモデリ
ングは未開の領域
数学的証明
➜ 夢の安全性保証…?
蓮尾 ⼀郎(国⽴情報学研究所)
学術的潮流: 論理知と統計知の両⽴
25
蓮尾 ⼀郎(国⽴情報学研究所)
論理 統計
形式検証
✔ すべての⼊⼒・状況における
バグ不在を数学的に証明
✘ 数理モデリングが必要
(時に困難)
テスト・統計
・「これくらい試して OK でした」
「⾛⾏XXマイルあたり事故1件」
✔ 適⽤が容易.⾃動
✘ 保証度合が弱い.説明可能性が低い
人工知能
AI
ソフトウェア
・ICT システ
ムの
信頼性保証
論理的AI
・ エキスパートシステム,第5世代コンピュータ,…
・ 所与の知識ベース(ルール)から結論を論理的に導出
✔ 結論の正当性を論理的に追跡できる
✘ 知識ベース(ルール)構築のコストが莫⼤(⼈⼒).
フレーム問題
統計的AI
・ ⼤量の(ノイジーな)データから判断ルールを⾃動学習
・ 数理最適化による効率的ルール学習
✔ ルール学習は⾃動 ➜ 予測に使える
✘ 学習したルールは⼤量の重みベクトル
➜ ⼈間への理解・説明には使えない
両⽴が必要
⼤量のデータを⾃動で集めて
⾃動で処理 ➜ 予測エンジン
⼈間のコミュニケーションは
ビッグデータでなく論理
8TB
蓮尾 ⼀郎(国⽴情報学研究所)
アウトライン
• ERATO 蓮尾プロジェクトの(簡単な)紹介
• 学術背景: ソフトウェア科学,論理学,…
• 形式検証とは?
• 形式検証の限界?
• 基本アイデア「不確かさの論理的封じ込め」
• 取り組み1: 時相論理ベースのシステム解析ツールスイート
• 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム
• 取り組み3: ⾃動運転安全ルール策定技術
26
論理だけでもダメ,
統計だけでもダメ…
蓮尾 ⼀郎(国⽴情報学研究所)
ソフトウェア科学の新地平: モデルありからモデルなしへ
27
(従来の)
ソフトウェア科学
不確かさに対応する
ソフトウェア科学
制御理論
ソフトウェア
⼯学
テストと論理的証明の
融合
連続ダイナミクスと
離散ダイナミクスの
数学的統⼀
• 巨⼤なソフトウェアの安全性をテストにより解析
➜ 経験論的(弱い)品質保証,
⼀⽅ 適⽤可能性は⾼い
統計知と論理知の
融合
統計知と論理知の対⽐と融合
機械学習時代の科学の⼀⼤課題
統計的推論
統計的機械学習
論理的推論
演繹的形式推論
データのノイズを許容
入力の
誤り
公理は絶対
誤りは想定せず
保証されない
結論の正
しさ
論理的に保証
(cf. 数学的証明)
高い
データから自動で特徴量発見
スケーラ
ビリティ
低い
公理の準備は人力
(cf. エキスパートシステム)
低い
判断の理由はパラメータ(重み)
説明
可能性
高い
推論過程が証明として明示的
Safe AI,
Explainable AI (XAI)
統計的機械学習
・AI
• システムの安全性(バグ不在)を論理的に証明
➜ 強い品質保証
• システムの完全な数学的記述が必要
➜ 近年の多様なシステムには適⽤困難
Safe AI,Explainable AI (XAI) 機械学習の実社会応⽤に必須 (cf. JST戦略⽬標)
アプローチ1:
機械学習の判断過程の可視化
(XAI の主流.LIME等)
アプローチ2:
統計的不確かさの論理的封じ込め
(システムレベル安全保証,本PJ)
蓮尾 ⼀郎(国⽴情報学研究所)
我々の基本アイデア:
不確かさの論理的封じ込め
28
• システム全体がブラックボックス
• その統計的・経験論的解析
• (例)⾃動運転:
「⾛⾏XXマイルあたり事故1件」
➜ 「この交差点では⼣刻必ず事故が起きる」
を排除できない
system
安全性
subsystem
安全性
component
安全性
module
安全性
module
安全性
subsystem
安全性
component
安全性
component
安全性
不確
かさ
不確
かさ
• 安全性論証の論理的組み上げ
• 不確かなコンポーネントにはルール・契約を要請
➜ 実⾏時検証,説明責任,原因究明の容易化
• 論理的構造の切り⼝をうまく⾒つけることがカギ
• System of systems: 多種多様なシステムの
階層的統合,巨⼤なシステムの体系的構築
観察
(システム出力)
不確かな
システム
刺激
(テスト入力)
蓮尾 ⼀郎(国⽴情報学研究所)
(純粋に)論理ベースの
システム安全性保証
• ソフトウェア科学で伝統的な
形式検証のアプローチ
• システム詳細の数学的モデリングからはじめ
て,論理的結論を積み上げ
✓ 議論のすべてを論理的にトレース可能.
説明可能性,信頼
✘ 現代のICTシステムは複雑
➜ システム全体の安全性という
最終結論まで届かない
✘ しかも,最終結論に届くまでは
システム品質保証の度合いはゼロ.
効⽤が⾮ゼロになるまでの労⼒が巨⼤
system
安全性
テストやデータ
による
統計的保証
(純粋に)データ駆動型の
システム安全性保証
(例)⾃動運転:
「⾛⾏XXマイルあたり事故1件」
✓ スケーラビリティ.
ビッグデータを⾃動で統計的処理
✘ 安全性(及び,安全性保証のため
に必要な⼿を尽くしたこと)を
顧客・社会に説明することが困難
system
安全性
subsystem
安全性
component
安全性
module
安全性
module
安全性
subsystem
安全性
component
安全性
component
安全性
ボトムアップな
論理的議論の
積み上げ
system
安全性
subsystem
安全性
component
安全性
module
安全性
module
安全性
subsystem
安全性
component
安全性
component
安全性
テスト・
データ
テスト・
データ
テスト・
データ
トップダウンな
論理的議論の
切り出し
(我々の戦略)不確かさの論理的封じ込め
• 結論(システム全体の安全性)から始めて,
論理的議論を切り出していく
• 論理的議論の届かない詳細は,データ駆動型
で統計的に対処
✓ ベストエフォート型の論理的論証.
✓ かけられる労⼒が少なくても,
それなりのシステム安全性保証が得られる.
(トップダウン型のため.
論理的議論の度合いは少なくなるが)
✓ 論理的論証の説明能⼒.
⾃動運転などの新技術の信頼樹⽴・社会受容
のため必須
蓮尾 ⼀郎(国⽴情報学研究所)
アウトライン
• ERATO 蓮尾プロジェクトの(簡単な)紹介
• 学術背景: ソフトウェア科学,論理学,…
• 形式検証とは?
• 形式検証の限界?
• 基本アイデア「不確かさの論理的封じ込め」
• 取り組み1: 時相論理ベースのシステム解析ツールスイート
• 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム
• 取り組み3: ⾃動運転安全ルール策定技術
30
「不確かさの論理的封じ込め」
の具体例を3つ紹介します
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み1(時相論理ベースのシステム解析ツールスイート)
社会背景
31
ICT技術の進歩
➜ 新応⽤,新産業!
“Google Self-Driving Car” by smoothgroover22 is
licensed under CC BY-SA 2.0.
"Heart Rate Monitor on an Apple Watch" (CC
BY 2.0) by integratedchange
しかし…
システム安全性の課題
https://www.ft.com/content/89692fee-1181-11e7-80f4-
13e067d5072c
ソフトウェアバグは永遠の課題ですが,
cyber-physical, IoT の時代には特に重要です
蓮尾 ⼀郎(国⽴情報学研究所)
システム設計の現場①
データを持て余す
システム設計の現場②
モデルを持て余す
システム設計の現場③
データ・モデル解析の工数大
• ハードウェア性能向上によりデータはとれるようになった
• しかし,現場のニーズに応えるデータ利⽤法は未確⽴.ノウハウが分散
取り組み1(時相論理ベースのシステム解析ツールスイート)
課題背景
32
安全性確認の必要 データ収集
8TB
役⽴てるハードルが⾼い
蓮尾 ⼀郎(国⽴情報学研究所)
システム設計の現場①
データを持て余す
システム設計の現場②
モデルを持て余す
システム設計の現場③
データ・モデル解析の工数大
• モデル構築がトレンド.「モデルベース開発」「デジタルツイン」
• ⼯数⼤(数⼈⽉〜数⼗⼈年)
• しかし,しばしば「モデル解析のやり⽅」「モデルの活⽤法」は未確⽴
33
安全性確認の必要 モデル構築
Mcarone1, Simulink model of a wind turbine, CC BY-SA 3.0
モデルの解析のハードル
取り組み1(時相論理ベースのシステム解析ツールスイート)
課題背景
蓮尾 ⼀郎(国⽴情報学研究所)
システム設計の現場①
データを持て余す
システム設計の現場②
モデルを持て余す
システム設計の現場③
データ・モデル解析の工数大
• データ解析・モデル解析の汎⽤ツールは未整備
• ⼈⼿で解析 ➜ 専⾨家を週・⽉単位で拘束
• 専⽤解析プログラム作成 ➜ ⼯数⼤,しばしば低効率
34
専⽤解析プログラム作成
(ゼロから)
⼯数⼤,しばしば低効率
データ・モデル解析
の必要
取り組み1(時相論理ベースのシステム解析ツールスイート)
課題背景
蓮尾 ⼀郎(国⽴情報学研究所) 35
データ・モデル解析アルゴリズム群を
共通インターフェイスのもとバンドル
時相論理式による
共通インターフェイス
• プロジェクト成果たる
データ解析・モデル解析
全⾃動アルゴリズム群
ログ絞込み:
トップ国際会議論⽂[Waga, Andre, Hasuo, CAVʼ19]他
関連特許出願3件
システム最適化,危険⼊⼒発⾒:
トップ国際会議論⽂ [Zhang, Hasuo, Arcaini, CAVʼ19]他
関連特許出願2件
• ユーザーは,
⽬標を時相論理式で表現するだけで
これらアルゴリズム群を利⽤できる
…
…
取り組み1(時相論理ベースのシステム解析ツールスイート)
解決策
蓮尾 ⼀郎(国⽴情報学研究所) 36
時相論理式による
共通インターフェイス
• 最先端の解析アルゴリズムを
全ての技術者の⼿に届ける
(含,⾃動⾞産業)
…
…
時相論理式とは何か,次に説明します
Los Angeles, Ca, Usa — June 7th,
2020: Woman Holding “power To
The People” Sign At Protest by
Suzanne Strong from
NounProject.com
データ・モデル解析アルゴリズム群を
共通インターフェイスのもとバンドル
取り組み1(時相論理ベースのシステム解析ツールスイート)
解決策
蓮尾 ⼀郎(国⽴情報学研究所)
例
G(gear = 1 ∧ rpm > 3500 ⇒ F[0,1] gear = 2)
「ギアが1速でかつエンジン回転数が > 3500 になったら,そのあと1秒以内にギアが2速になる」
• 時系列データの性質を表現する⾔語
Pnueli が1996年にチューリング賞を受賞
• データ解析・モデル解析の
⽬標の記述に適している.
「この性質が成り⽴つかどうか調べたい」
「この性質が成り⽴つように
システムを最適化したい」
• ⾼々数⾏ ➜ 書くのは容易
(vs. 数百〜数千⾏のCコード)
37
「アルゴリズム的に都合が良い」と
「技術者にとって容易」のバランスがポイント
取り組み1(時相論理ベースのシステム解析ツールスイート)
技術背景: 時相論理式とは
蓮尾 ⼀郎(国⽴情報学研究所)
さらに開発中: 時相論理式デバッガ
38
時相論理式デバッガの必要性は
企業との共同研究から得た知⾒です
インタラクティブな
「時相論理式デバッガ」.
利⽤の敷居をさらに下げる
時相論理式による
共通インターフェイス
…
…
蓮尾 ⼀郎(国⽴情報学研究所) 39
危険な追い越しが
起こっている部分
を⾒つけたい…
「危険な追い越し」
を時相論理式で
表現
• 現状,共同研究・
学術指導での
コンサル⽅式で実施
• 時相論理式デバッガの利⽤
も試⾏中
⾼速データ解析
アルゴリズム
cf. トップ国際会議論⽂
[Waga, Andre, Hasuo,
CAVʼ19]他
関連特許出願3件
解析結果
• BEFORE:
技術者が⽬の⼦で探す or
⽬標事象ごとにイチからCコーディング
• AFTER:
技術者は時相論理式を書くだけ,
⾼速(毎秒100Kイベントを処理)
3:45:23-
3:45:30,
5:12:58-
5:13:05,
9:02:32-
9:03:15,
…
取り組み1(時相論理ベースのシステム解析ツールスイート)
ユースケース1: ログ絞込み
CAV はソフトウェア科学・形式検証の
トップ国際会議.AWS, TRI, MS 等がスポンサー
「危険度合いの強さを⾒る」などの実⽤上の
柔軟性の⾼さも我々のアルゴリズムの強みです
蓮尾 ⼀郎(国⽴情報学研究所) 40
三菱重⼯さんとのケーススタディを
トップ国際会議で発表しました
[佐藤・⻄⾯・和賀・⾼尾・蓮尾,FMʼ21]
基盤となる学術成果も [佐藤・和賀・蓮尾,ADHSʼ21]
安全かつ⾼効率な
パラメータ値は?
「安全性」
「効率性」
を時相論理式で
表現
• 本ケーススタディでは
コンサル⽅式で
• 時相論理式の拡張により
性能向上
(カスタマイズ)
⾼速モデル
解析アルゴリズム
Cf. トップ国際会議論⽂
[Zhang, Hasuo, Arcaini, CAVʼ19]
他.関連特許出願2件
システムモデルはブラックボック
ス ➜ 何でも良い
(Simulink, Modelica, バイナリ,
実機HW,…)
解析結果
• BEFORE:
専⾨家が⼈⼿で7⼈⽇
• AFTER:
ユーザーは時相論理式を書くだけ.
全⾃動で3時間,安全性・効率も改良
発電⽤ガスタービン
p1 = 12.8
p2 = -6.2
p3 = 1084.2
…
取り組み1(時相論理ベースのシステム解析ツールスイート)
ユースケース2: システム最適化
蓮尾 ⼀郎(国⽴情報学研究所)
時系列データ解析
アルゴリズム群
共通
インターフェイス
取り組み1(時相論理ベースのシステム解析ツールスイート)
機能概要・特徴
41
「ログ絞込み」「システム最適化」「危険⼊⼒発⾒」の3機能.
時相論理による共通インターフェイス,
時相論理式デバッガがユーザビリティのカギ
機能1
ログ絞込み
8TB
⾛⾏ログ
危険な追い越しが
起こっている部分を
⾒つけたい…
機能2
システム最適化
安全かつ⾼効率
なパラメータ値
は?
機能3
危険⼊⼒発⾒
機⾸が激しく
上下するような
⼊⼒は?
⽬的イベント・⽬
的関数を表現する
時相論理式を
ユーザーが記述
モデリング・
コーディングより
はるかに簡単(数⾏)
だが最初は敷居が⾼い
➜
時相論理式記述
デバッガ
を⽤いて対話的に
発⾒・修正
時相論理式
時相論理式
時間オートマトンに
よる⾼速パターンマ
ッチング
トップ国際会議論⽂[Waga,
Andre, Hasuo, CAVʼ19]他
関連特許出願3件
時相論理+進化計算
・機械学習による
最適化アルゴリズム
トップ国際会議論⽂
[Zhang, Hasuo, Arcaini,
CAVʼ19]他
関連特許出願2件
システムモデルは
ブラックボックスモデ
ルだけで⼗分
(Simulink等)
最適化とバグ発⾒は
論理的に表裏の関係
➜ 同じアルゴリズム
3:45:23-
3:45:30,
5:12:58-
5:13:05,
9:02:32-
9:03:15,
…
p1 = 12.8
p2 = -6.2
p3 = 1084.2
…
向かい⾵⾵速
• BEFORE:
⽬の⼦で探す or
問題毎にゼロから
Cコーディング
• AFTER: 全⾃動,
毎秒100Kイベント
を処理
• 事後のログ解析にも,
実⾏時監視にも
• BEFORE: 専⾨家が
⼈⼿で7⼈⽇
• AFTER:
全⾃動で3時間,
解も改良
(三菱重⼯事例)
• BEFORE: 専⾨家が
⼈⼿で試⾏錯誤
• AFTER: 全⾃動で新
しい危険⼊⼒発⾒
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み1(時相論理ベースのシステム解析ツールスイート)
技術のポジショニング
42
モデル・コード 要 モデル・コード 不要
対象産業領域:
⾃動⾞,製造業,IoT
(時系列データ処理)
対象産業領域:
IT全般,特に web アプリ
取り組み1
• モデル・コード不要
➜ 最短数分で解析結果が
得られる.⼯数ニアゼロ
• ⼯業製品のデータ
(時系列データ)
を⾼速に処理・解析
時系列データは IT ⼀般でも重要.
特にセキュリティ,ゲーム
他ツール
で作成し
たモデル
の解析に
も有効
モデルベース開発
• Simulink, Modelica 等
• 「デジタルツイン」
• モデル構築の⼯数⼤
(数ヶ⽉〜数年・⼈)
• モデル解析アルゴリズムは
まだ掘れるs
競合でなく補完
ソフトウェアテスト
• 多くの技術.
しかしその多くは,⼯業製品の時系列
データには対応せず
• 静的解析技術も⽤いられる
(Facebook の Infer など)
ソフトウェア形式検証
• frama-c など
• スケーラビリティは限定的.
⾃動⾞応⽤は対象をうまく選ばないと
厳しい
ソフトウェア ノーコードテスト
• 技術・事業が出てきている
• webアプリのインタラクションのテストな
ど.
• ⼯業製品の設計⽀援とは,
スコープも技術も異なる
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み1(時相論理ベースのシステム解析ツールスイート)
まとめ
43
最先端解析アルゴリズム群を⾃動⾞産業のあらゆる設計現場に
時相論理式による
共通インターフェイス
• データ解析・モデル解析のニーズは
設計のあらゆる段階にある
• 時相論理式を書くだけで,
全⾃動・⾼効率の
最先端解析アルゴリズムにアクセス
…
…
⼯数ニアゼロの
データ・モデル解析
• アルゴリズム群+インターフェイス
+ 時相論理式デバッガ
をツールスイート化(進⾏中)
• 共同研究による導⼊⽀援も
蓮尾 ⼀郎(国⽴情報学研究所)
アウトライン
• ERATO 蓮尾プロジェクトの(簡単な)紹介
• 学術背景: ソフトウェア科学,論理学,…
• 形式検証とは?
• 形式検証の限界?
• 基本アイデア「不確かさの論理的封じ込め」
• 取り組み1: 時相論理ベースのシステム解析ツールスイート
• 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム
• 取り組み3: ⾃動運転安全ルール策定技術
44
「不確かさの論理的封じ込め」
の具体例を3つ紹介します
蓮尾 ⼀郎(国⽴情報学研究所)
⾃動運転研究開発における
我々のポジショニング
45
45
⾃動運転
⾃動運転シス
テムの構築
地図インフラ
交通インフラ
HMI
⾃動運転シス
テムの 安全
性・信頼性
統計データに
よる安全性保
証
テストによる
安全性保証
論理的論証に
よる安全性保
証
• www.pegasusprojekt.de
• V&V startups
(Fortellix, five.ai, cognata, …)
• 「⾛⾏XXマイルあたり事故1件」
• 「この交差点では⼣刻必ず事故が
起きる」を排除できない
• 与えられた⾃動運転⾞の安全性保証が⽬標
(⾃分で作る必要はない)
• 製品に直結しないが,製品を売る上で必須 ➜ ⾃動⾞業界
(+政府,保険業界,…)の包括的取り組み
• 多くの企業が採⽤することで⼿法への信頼性アップ.
よって競争領域になりにくい
• 製品設計時に⽤いるソフトウェア・システムを開発
• RSS (Mobileye/Intel)
• IEEE 2846
• 制御理論的研究
(TU Munich など)
• ⾃動運転ベンチャーのほとんど.
Waymo, Tesla, pony.ai, plus.ai,
Oxbotica, Tier IV, …
• 実動作する⾃動運転⾞を
作ることがが⽬標
• 製品に直結 ➜ 各社が競争
• ⾛⾏時に動作するハードウェア・
ソフトウェアを開発
取り組み2
取り組み3
技術・サービスを提供
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み2(⾃動運転危険シナリオ探索アルゴリズム)
課題背景
46
⾃動運転の社会受容の遅れ
• 2018年の事故以降,⾃動運転事
業化の機運が停滞気味
• 安全性を実現するのみならず,
社会に説明して受容してもらわな
いと公道は⾛れない
• 何をもって「⼗分に安全とするか
」の合意が不在
➜ アプローチ,企業,規格への
取り組みが多数
⾃動運転システムの
安全性解析のチャレンジ
• 機械学習コンポーネント・最適化
アルゴリズム・制御器の集合体
➜ 実質上ブラックボックス,
系統的解析が困難
• 運転シナリオは膨⼤,多様
➜ 全てのシナリオで安全性を
チェックするわけにはいかない
テストシナリオDBの活⽤法
• このシナリオを確かめれば⼗分,
というテストシナリオデータベース
づくりの取り組みが進んでいる.
PEGASUS projekt (独) SAKURA project (⽇) など
• また,テストシナリオDBのための
プラットフォームも
ASAM OpenSCENARIO, いくつかの企業
• しかし「膨⼤なテストシナリオを
設計の現場でどう使うか」はオープン
• 多数のシナリオの中から,役に⽴つも
のをすぐにみつけたい
➜ ⾃動運転システムの危険シナリオの⾼速探索を,
ソフトウェア⼯学と最適化の融合による先端的研究成果により実現,
本格化する⾃動運転開発に必須の技術を提供
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み2(⾃動運転危険シナリオ探索アルゴリズム)
機能概要・特徴
47
開発者がほしい
「役に⽴つ」危険シナリオを
⾼速で探索
ソフトウェア⼯学と
最適化理論の融合による
全⾃動探索アルゴリズム
• 進化計算によってシナリオを
逐次改良
• 「役に⽴つ危険度合い」を
ソフトウェア⼯学により⽬的
関数化
トップ国際会議論⽂
[Calo+, ICSTʼ20] [Luo+,
ASEʼ21]他.
関連特許出願2件
BEFORE:
⼈⼒探索 ➜ ⾒つからない,⼯数莫⼤
ランダム探索 ➜ 危険は稀,⾒つからない
単なる最適化
➜ ⾃⾞に責任のない危険を多数⽣成
AFTER: 役⽴つシナリオを
全⾃動,~数時間で探索
(帰宅前に仕掛けて次の⽇にできている)
システムを組
んでみたが,
⼤ポカをやら
かしていない
だろうか…
パラメータ値
を決めてみた
が,⾒当違い
の値になって
いないだろう
か…
現実的な
危険シナリオでの
振る舞いを⾒て,
リーズナブルだと
確認したい
テストシナリオDB
➜ 探索のタネとして活⽤
プロトタイプADS
& simulator
シミュレーションの繰り返し試⾏により
危険度測定 ➜ 改良
汎⽤アルゴリズム,
複数のシステム・シミュレータに適⽤可
⽣成した危険シナ
リオにおける
シミュレーション
(事故発⽣)
同シナリオで,
⾃⾞設定を変えた
シミュレーション
(事故なし)
➜
「避け得た」危険
であった証拠,
システム改修を
suggest
蓮尾 ⼀郎(国⽴情報学研究所)
• ERATO プロジェクト グループ3を中⼼にした成果,
NII ⽯川冬樹准教授 Paolo Arcaini 特任准教授 Xiaoyi Zhang 特任助教
• MIRAI eAI プロジェクトと協働
(研究代表者:⽯川冬樹,AI安全性にフォーカス)
• 主に開発序盤・中盤のニーズに応える (shift-left)
• 「役に⽴つ危険シナリオが⼀つ,すぐにほしい!」
• 対して,多くの⾃動運転テスト研究・事業は,
開発終盤のカバレッジ主導型テストに注⼒.
「時間をかけて,漏れのないテスト」
• ソフトウェア⼯学+最適化 の先端的研究成果.
トップ国際会議論⽂発表: ICECCSʼ19, ICSTʼ20, ICSTʼ21, ASEʼ21 他
取り組み2(⾃動運転危険シナリオ探索アルゴリズム)
特徴
⽇刊⾃動⾞新聞
⽇刊⼯業新聞
科学新聞
蓮尾 ⼀郎(国⽴情報学研究所)
アウトライン
• ERATO 蓮尾プロジェクトの(簡単な)紹介
• 学術背景: ソフトウェア科学,論理学,…
• 形式検証とは?
• 形式検証の限界?
• 基本アイデア「不確かさの論理的封じ込め」
• 取り組み1: 時相論理ベースのシステム解析ツールスイート
• 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム
• 取り組み3: ⾃動運転安全ルール策定技術
49
「不確かさの論理的封じ込め」
の具体例を3つ紹介します
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み3(⾃動運転安全ルール導出技術)
課題背景
50
⾃動運転の社会受容の遅れ
• 2018年の事故以降,⾃動運転事業化の
機運が停滞気味
• 安全性を実現するのみならず,
社会に説明して受容してもらわないと
公道は⾛れない
• 何をもって「⼗分に安全とするか」の
合意が不在
➜ アプローチ,企業,規格が多数
未知・過剰な製造物責任のリスク
• ⾃動運転の製造物責任の範囲は
未確定.
(社会的合意,規格,法律等)
• 製造者は将来,想定外の⼤きな製造物責任を
負わされる可能性がある
➜ 参⼊・産業発展の⼤きな障壁
• 安全ルール(「これを満たせば安全」)
の策定が待たれる
➜ 正当性が数学的に保証された安全ルールを提供,
社会への説明と製造物責任の明確化
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み3の既存技術:
Responsibility-Sensitive Safety (RSS)
51
⽬標:安全ルール策定
「この安全ルールをみたす限り安全」
(と証明できるような)
安全ルールを策定
SV (subject vehicle) POV (principal other vehicle)
In a single-lane same-direction scenario,
maintain the safety distance
from the preceding car
我々は RSS の実⽤化を⽀える
数学的基盤の研究を推進中.
関連: [Kolcak+, TACASʼ20]
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み3の既存技術:
Responsibility-Sensitive Safety (RSS)
52
⽬標:安全ルール策定
「この安全ルールをみたす限り安全」
(と証明できるような)
安全ルールを策定
⽤途:
• 事故の責任所在の特定
(このルールを破ったあなたが悪い)
• ⾃動運転⾞の安全性証明
(このルールを守っている,よって安全)
• ⾃動運転⾞の実⾏時監視
(ルールを破りそうになったら介⼊)
• ⾃動運転の安全性規準・規格
(ルール遵守を認証しないと販売不可)
• 保険料率計算
(ルールを守っているので保険料を安く)
➜ ⾃動運転の社会受容の基礎
(ルールを守っている⾞は安全,公道を⾛っても安⼼できる)
➜ 製造者責任の範囲を特定
(ルールを守っている限り,それ以上の責任を追求されない)
SV (subject vehicle) POV (principal other vehicle)
In a single-lane same-direction scenario,
maintain the safety distance
from the preceding car
Responsibility-Sensitive Safety (RSS)
• Intel/Mobileye の研究者が論⽂発表 (arXiv preprint, 2017)
Shai Shalev-Shwartz, Shaked Shammah, and Amnon Shashua. On a formal model of safe and
scalable self-driving cars. CoRR, abs/1708.06374, 2017.
• 多数の学術研究で利⽤されている (cited by 451, 2021-12-07)
• Intel/Mobileye がビジネス展開.US特許20件超
• IEEE 2846 等,国際規格への反映の取り組み
Scenario S1
RSS safety rule
R1 = (C1, P1)
RSS safety condition C1:
Distance is no smaller than
⌅ RSS principles to limit allowed behaviors.
1.4.3 Example of an RSS Rule: the Single-Lane Same-
Direction Scenario
Figure 1.13: The one-way traffic scenario
Consider the one-way traffic scenario shown in Fig. 1.13, where the subject
vehicle (carrear) drives behind another car (carfront). The RSS rule for this simple
scenario, presented in [38], consists of the following.
⌅ The RSS condition that requires
xf xr >
max 0, vrr +
1
2
amaxr2
+
(vr +amaxr)2
2abrake,min
v2
f
2abrake,max
!
.
(1.11)
Here xf ,xr are the positions of the two cars, and vf ,vr are their veloci-
ties (their dynamics are modeled in the 1-dimensional lane coordinate).
The other parameters are as follows: r is the maximum response time
that carrear might take to initiate the required braking; amax is the maxi-
mum (forward) acceleration rate of carrear; abrake,min is the maximum com-
fortable braking rate for carrear; and abrake,max is the maximum emergency
braking rate for carfront.
⌅ The (RSS) proper response that dictates the SV (carrear) to engage the max-
imum comfortable braking when condition Eq. (1.11) is about to be vio-
lated.
It is not hard to see that the RSS condition Eq. (1.11) is preserved by the proper
response, and that the truth of the condition Eq. (1.11) ensures xf > xr, i.e. no
collision.
1.4.4 Usages of RSS Rules
We can easily imagine that “rules that AV must follow for safety” are important
and useful. The following are concrete ways in which they can be used.
©2001 by CRC Press LLC
Proper response P1:
Full (non-emergency) braking
Theorem (safety).
No collision, if P1 is engaged
at a state satisfying C1
Theorem (responsibility).
P1, engaged at a state
satisfying C1, respects the
RSS responsibility principles
Scenario S2
RSS safety rule
R2 = (C2, P2)
RSS safety condition C2:
Distance is no smaller than …
Proper response P2:
Cut in
Theorem (safety).
No collision, if P2 is engaged
at a state satisfying C2
Theorem (responsibility).
P2, engaged at a state
satisfying C2, respects the
RSS responsibility principles
SV
…
RSS responsibility principles
1. Don’t hit the car in front of you
2. Don’t cut in recklessly
3. Right of way is given, not taken
4. Be cautious in areas with limited visibility
5. If you can avoid a crash without causing
another one, you must
guarantee
assume
Usages
• Attribution of liability
• Safety metric
• Formal safety verification
• Safety architecture
• …
SV
⇐ RSS
概念⾒取り図
Mobileye による
RSS ウェブページ
我々は RSS の実⽤化を⽀える
数学的基盤の研究を推進中.
関連: [Kolcak+, TACASʼ20]
蓮尾 ⼀郎(国⽴情報学研究所)
Responsibility-Sensitive Safety (RSS)
概要
53
ルール導出技術者が
各運転シナリオに対し
個別にルール導出
• 同時に,ルールCの
安全性証明も書き出す
「現時点でこのルール C
を守っていれば,
先⾏⾞が急ブレーキをかけ
ても安全に停⽌できる」
…というような
安全ルール C を求めたい
安全ルール C
+
安全ルールC
の安全性証明
規制当局他,誰もが
正当性を
チェックできる
保険料率計算
ルール C を守っているので保険料を安く
⾃動運転⾞の実⾏時監視
ルール C を破りそうになったら安全系が介⼊
➜ 安全性保証,通常系設計の⾃由度向上
事故の責任所在の特定
ルールCを破ったあなたが悪い
⾃動運転の安全性規準・規格
(ルール遵守を認証しないと販売不可)
IEEE P2846 など
⾃動運転⾞の安全性証明・アピール
ルール C の遵守を⽰せば⼗分
受益者:
規制当局
規格化団体
業界団体
受益者:
⾃動運転
システム
ベンダー
受益者:
損害保険
SV (subject vehicle) POV (principal other vehicle)
我々は RSS の実⽤化を⽀える
数学的基盤の研究を推進中.
関連: [Kolcak+, TACASʼ20]
蓮尾 ⼀郎(国⽴情報学研究所)
(純粋に)論理ベースの
システム安全性保証
• ソフトウェア科学で伝統的な
形式検証のアプローチ
• システム詳細の数学的モデリングからはじめ
て,論理的結論を積み上げ
✓ 議論のすべてを論理的にトレース可能.
説明可能性,信頼
✘ 現代のICTシステムは複雑
➜ システム全体の安全性という
最終結論まで届かない
✘ しかも,最終結論に届くまでは
システム品質保証の度合いはゼロ.
効⽤が⾮ゼロになるまでの労⼒が巨⼤
system
安全性
テストやデータ
による
統計的保証
(純粋に)データ駆動型の
システム安全性保証
(例)⾃動運転:
「⾛⾏XXマイルあたり事故1件」
✓ スケーラビリティ.
ビッグデータを⾃動で統計的処理
✘ 安全性(及び,安全性保証のため
に必要な⼿を尽くしたこと)を
顧客・社会に説明することが困難
system
安全性
subsystem
安全性
component
安全性
module
安全性
module
安全性
subsystem
安全性
component
安全性
component
安全性
ボトムアップな
論理的議論の
積み上げ
system
安全性
subsystem
安全性
component
安全性
module
安全性
module
安全性
subsystem
安全性
component
安全性
component
安全性
テスト・
データ
テスト・
データ
テスト・
データ
トップダウンな
論理的議論の
切り出し
(我々の戦略)不確かさの論理的封じ込め
• 結論(システム全体の安全性)から始めて,
論理的議論を切り出していく
• 論理的議論の届かない詳細は,データ駆動型
で統計的に対処
✓ ベストエフォート型の論理的論証.
✓ かけられる労⼒が少なくても,
それなりのシステム安全性保証が得られる.
(トップダウン型のため.
論理的議論の度合いは少なくなるが)
✓ 論理的論証の説明能⼒.
⾃動運転などの新技術の信頼樹⽴・社会受容
のため必須
蓮尾 ⼀郎(国⽴情報学研究所)
(純粋に)論理ベースの
システム安全性保証
• ソフトウェア科学で伝統的な
形式検証のアプローチ
• システム詳細の数学的モデリングからはじめ
て,論理的結論を積み上げ
✓ 議論のすべてを論理的にトレース可能.
説明可能性,信頼
✘ 現代のICTシステムは複雑
➜ システム全体の安全性という
最終結論まで届かない
✘ しかも,最終結論に届くまでは
システム品質保証の度合いはゼロ.
効⽤が⾮ゼロになるまでの労⼒が巨⼤
system
安全性
テストやデータ
による
統計的保証
(純粋に)データ駆動型の
システム安全性保証
(例)⾃動運転:
「⾛⾏XXマイルあたり事故1件」
✓ スケーラビリティ.
ビッグデータを⾃動で統計的処理
✘ 安全性(及び,安全性保証のため
に必要な⼿を尽くしたこと)を
顧客・社会に説明することが困難
system
安全性
subsystem
安全性
component
安全性
module
安全性
module
安全性
subsystem
安全性
component
安全性
component
安全性
ボトムアップな
論理的議論の
積み上げ
system
安全性
subsystem
安全性
component
安全性
module
安全性
module
安全性
subsystem
安全性
component
安全性
component
安全性
テスト・
データ
テスト・
データ
テスト・
データ
トップダウンな
論理的議論の
切り出し
(我々の戦略)不確かさの論理的封じ込め
• 結論(システム全体の安全性)から始めて,
論理的議論を切り出していく
• 論理的議論の届かない詳細は,データ駆動型
で統計的に対処
✓ ベストエフォート型の論理的論証.
✓ かけられる労⼒が少なくても,
それなりのシステム安全性保証が得られる.
(トップダウン型のため.
論理的議論の度合いは少なくなるが)
✓ 論理的論証の説明能⼒.
⾃動運転などの新技術の信頼樹⽴・社会受容
のため必須
⾃動運転安全性の形式検証
• 完遂できれば,安全性に数学的証明
という最強の保証が与えられる
• しかし,モデル不在,システム複雑
さ等の課題により,
完遂への道のりは果てしなく⻑い
• (cf. 航空宇宙における形式検証)
⾃動運転の数学的安全ルール
• 安全性という定理を,
「各⾞がこのルールを満たせば安
全」という仮定・公理まで分解
• ルール遵守そのものは証明せず
➜ テストや実⾏時監視で保証
• 全証明までいかないが,
様々な⽤途には⼗分
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み3 安全ルールの適⽤例:
RSS 安全ルールの安全アーキテクチャ実装
• RSS 安全ルールの有望な応⽤の⼀つ.実⾞に実装して安全性保証を実現
56
• Concerns: progress, comfort,
fuel efficiency, safety, …
• Complicated, potentially with
statistical ML components
When RSS safety dist.
is about to be violated,
switch to BC
Engage RSS proper response
• Maintain safety dist.
• Not caring progress, comfort, …
RSS と simplex architecture
RSS は⾃然に安全アーキテクチャと対応する
• AC は⼀般の⾃動運転 planner
(サンプリング,最適化,機械学習,… è ブラックボックス)
• DM は RSS 安全条件 C をモニタ
(安全条件充⾜がギリギリ ➜ BC に切り替え)
• BC は RSS proper response P による制御
(乗り⼼地等を忘れて安全側に振り切る)
安全アーキテクチャの⼀般論 (Simplex architecure)
• 普段は AC で制御.
• AC は複雑,多様な性能指標を追求
• safety-critical な状況では,
適切な switching (DM) によりBCで制御.
• BC は単純,安全性のみを追求
➜ AC がブラックボックスだとしても,
システム全体としては安全性を保証できる!
我々は RSS の実⽤化を⽀える
数学的基盤の研究を推進中.
関連: [Kolcak+, TACASʼ20]
蓮尾 ⼀郎(国⽴情報学研究所)
取り組み3 ⾃動運転の数学的安全ルール:
特徴
57
我々は RSS の実⽤化を⽀える
数学的基盤の研究を推進中.
関連: [Kolcak+, TACASʼ20]
数学的安全ルール,
RSS
テスト&統計 ⾛⾏時安全証明
安全性保証の内容 「このルールに従う限り無事故」
という数学的証明.
論理的安全性保証
多数のテストケース試⾏による
経験論的安全性保証
⾃動運転コントローラの制御戦略
を詳細にオンライン安全性証明
取り組み主体 • Intel/Mobileye
• IEEE P2846
• …
• 多数の公的プロジェクト
PEGASUS projekt (独) SAKURA project (⽇) など
• ⾃動運転 V&V 企業
Fortellix, five, cognata など
• 規格化団体
UL 4600, ISO/PAS 8800 など
• 制御理論・物理情報システム
研究コミュニティ
[Pek & Althoff, IROSʼ18]など
⽤途 安全性保証+論理的説明
• 事故責任特定
• ⾃動運転⾞の安全性保証
• ⾃動運転⾞の実⾏時監視
• 安全性基準・規格
• 保険
安全性保証
設計⽀援
(論理的説明のためには
別途⼯夫が必要)
安全性保証
主な⼯数・コスト 事前のルール導出&証明の⼯数
⾛⾏時の計算コストは⼩さい
(ルール適⽤のみ)
事前の実⾛⾏試験
&シミュレーションの⼯数
(スケールがものを⾔う)
⾛⾏時の可達集合計算コスト
(⾛⾏時の計算コストは決して軽くない.
〜 PC)
SV (subject vehicle) POV (principal other vehicle)
In a single-lane same-direction scenario,
maintain the safety distance
from the preceding car
安全性保証⼿法の強み・⽤途は相補的.全てが必要
蓮尾 ⼀郎(国⽴情報学研究所)
アウトライン
• ERATO 蓮尾プロジェクトの(簡単な)紹介
• 学術背景: ソフトウェア科学,論理学,…
• 形式検証とは?
• 形式検証の限界?
• 基本アイデア「不確かさの論理的封じ込め」
• 取り組み1: 時相論理ベースのシステム解析ツールスイート
• 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム
• 取り組み3: ⾃動運転安全ルール策定技術
58
「不確かさの論理的封じ込め」
の具体例を3つ紹介しました
蓮尾 ⼀郎(国⽴情報学研究所)
健全な産学エコシステムの形成
59
産業界の
ニーズ・ペイン
学術研究課題に昇華
産業応⽤
学術研究
⼀般的解法
➜ 学術研究成果
産業界の
実課題の解決
• 学術研究はイノベーションへの近道
• ERATOリソースによる世界最⼤級・最先端のソフトウェア研究拠点.
実課題取り組みの経験・ノウハウも多数
• 課題・成果に加え,リソース・⼈材の循環によるエコシステム
蓮尾 ⼀郎(国⽴情報学研究所)
まとめ: ソフトウェア研究の成果を
⾃動⾞安全性の実課題へ
論理の⼒を実課題に応⽤
• 形式検証(ボトムアップ)では
届きにくい産業課題を実効的解決
• データ・統計との協働,
トップダウン的論理応⽤
• 説明可能性 ➜ ⾃動運転の社会受容
• (ビッグデータ・統計的機械学習
の次は論理!?)
60
⾃動⾞安全性への3つの取り組み
• 確かなニーズに応える
最先端のソフトウェア研究成果
• ⼯数ニアゼロ(取り組み1)から,
規格・標準まで(取り組み3)
SV (subject vehicle) POV (principal other vehicle)
In a single-lane same-direction scenario,
maintain the safety distance
from the preceding car
ソフトウェア研究の
健全な産学エコシステムへ
• そもそもの研究背景:
ソフトウェアの数学的理論
(圏論,関数型⾔語,…)
現実との乖離に危機感 ➜ 現在の研究
• ERATO蓮尾プロジェクトの成果の
社会還元の責任(国内最⼤級の公的研究費)
• 実課題解決の経験
• (論理+⾃動⾞)は独⾃のフォーカス.
エコシステムの構築・発展へ
産業界の
ニーズ・ペイン
学術研究課題に昇華
⼀般的解法
➜ 学術研究成果
産業界の
実課題の解決

Contenu connexe

Similaire à 自動車システムの安全性保証へのソフトウェア科学的アプローチ――論理的アカウンタビリティと適用コスト軽減の両立

企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)Yuya Unno
 
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤Shohei Hido
 
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPythonKimikazu Kato
 
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...DeepEyeVision, Inc.
 
確率統計-機械学習その前に
確率統計-機械学習その前に確率統計-機械学習その前に
確率統計-機械学習その前にHidekatsu Izuno
 
Slide keieisystem2012
Slide keieisystem2012Slide keieisystem2012
Slide keieisystem2012ISE_SE_HOSEI
 
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱い
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱いSSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱い
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱いHironori Washizaki
 
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力Masafumi Oe
 
RISPEC Presentation @CEDEC 2011
RISPEC Presentation @CEDEC 2011RISPEC Presentation @CEDEC 2011
RISPEC Presentation @CEDEC 2011Peichao Yu
 
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習Preferred Networks
 
しごと能力学会 基調報告: enPiT-Pro スマートエスイー
しごと能力学会 基調報告: enPiT-Pro スマートエスイーしごと能力学会 基調報告: enPiT-Pro スマートエスイー
しごと能力学会 基調報告: enPiT-Pro スマートエスイーHironori Washizaki
 
리츠메이칸대학 정보이공학부 소개 (정보 시스템 글로벌 코스 입시 소개)
리츠메이칸대학 정보이공학부 소개 (정보 시스템 글로벌 코스 입시 소개)리츠메이칸대학 정보이공학부 소개 (정보 시스템 글로벌 코스 입시 소개)
리츠메이칸대학 정보이공학부 소개 (정보 시스템 글로벌 코스 입시 소개)Joo-Ho Lee
 
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナーHiroshi Senga
 
Data Visualization Japan Meetup 2018: 長く変化に対応する
Data Visualization Japan Meetup 2018: 長く変化に対応するData Visualization Japan Meetup 2018: 長く変化に対応する
Data Visualization Japan Meetup 2018: 長く変化に対応するKeiichiro Ono
 
コンピューターの整列処理におけるデータ操作の時間的共起分析
コンピューターの整列処理におけるデータ操作の時間的共起分析コンピューターの整列処理におけるデータ操作の時間的共起分析
コンピューターの整列処理におけるデータ操作の時間的共起分析yamahige
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)Satoshi Hara
 
QA4AI JaSST Tokyo 2019
QA4AI JaSST Tokyo 2019QA4AI JaSST Tokyo 2019
QA4AI JaSST Tokyo 2019Yasuharu Nishi
 
機械学習品質管理・保証の動向と取り組み
機械学習品質管理・保証の動向と取り組み機械学習品質管理・保証の動向と取り組み
機械学習品質管理・保証の動向と取り組みShintaro Fukushima
 

Similaire à 自動車システムの安全性保証へのソフトウェア科学的アプローチ――論理的アカウンタビリティと適用コスト軽減の両立 (20)

企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
 
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤
 
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
 
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
 
確率統計-機械学習その前に
確率統計-機械学習その前に確率統計-機械学習その前に
確率統計-機械学習その前に
 
Slide keieisystem2012
Slide keieisystem2012Slide keieisystem2012
Slide keieisystem2012
 
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱い
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱いSSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱い
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱い
 
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
Shell shock事件が明らかにするあなたの組織における情報セキュリティ力
 
RISPEC Presentation @CEDEC 2011
RISPEC Presentation @CEDEC 2011RISPEC Presentation @CEDEC 2011
RISPEC Presentation @CEDEC 2011
 
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習
 
しごと能力学会 基調報告: enPiT-Pro スマートエスイー
しごと能力学会 基調報告: enPiT-Pro スマートエスイーしごと能力学会 基調報告: enPiT-Pro スマートエスイー
しごと能力学会 基調報告: enPiT-Pro スマートエスイー
 
実世界に埋め込まれる深層学習
実世界に埋め込まれる深層学習 実世界に埋め込まれる深層学習
実世界に埋め込まれる深層学習
 
리츠메이칸대학 정보이공학부 소개 (정보 시스템 글로벌 코스 입시 소개)
리츠메이칸대학 정보이공학부 소개 (정보 시스템 글로벌 코스 입시 소개)리츠메이칸대학 정보이공학부 소개 (정보 시스템 글로벌 코스 입시 소개)
리츠메이칸대학 정보이공학부 소개 (정보 시스템 글로벌 코스 입시 소개)
 
SOINN PBR
SOINN PBRSOINN PBR
SOINN PBR
 
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
 
Data Visualization Japan Meetup 2018: 長く変化に対応する
Data Visualization Japan Meetup 2018: 長く変化に対応するData Visualization Japan Meetup 2018: 長く変化に対応する
Data Visualization Japan Meetup 2018: 長く変化に対応する
 
コンピューターの整列処理におけるデータ操作の時間的共起分析
コンピューターの整列処理におけるデータ操作の時間的共起分析コンピューターの整列処理におけるデータ操作の時間的共起分析
コンピューターの整列処理におけるデータ操作の時間的共起分析
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
 
QA4AI JaSST Tokyo 2019
QA4AI JaSST Tokyo 2019QA4AI JaSST Tokyo 2019
QA4AI JaSST Tokyo 2019
 
機械学習品質管理・保証の動向と取り組み
機械学習品質管理・保証の動向と取り組み機械学習品質管理・保証の動向と取り組み
機械学習品質管理・保証の動向と取り組み
 

自動車システムの安全性保証へのソフトウェア科学的アプローチ――論理的アカウンタビリティと適用コスト軽減の両立

  • 1. ⾃動⾞システムの安全性保証への ソフトウェア科学的アプローチ 論理的アカウンタビリティと適⽤コスト軽減の両⽴ 1 国⽴情報学研究所 アーキテクチャ科学研究系 准教授 同 システム設計数理国際研究センター⻑ 総合研究⼤学院⼤学 情報学専攻 JST ERATO 蓮尾メタ数理システムデザインプロジェクト 研究総括 蓮尾 ⼀郎 • PhD in computer science, Radboud U. Nijmegen (オランダ) • 京⼤数理解析研究所 助教 ➜ 東⼤情報理⼯ 講師・准教授 ➜ 国⽴情報研(NII) 准教授 • 専⾨: ソフトウェア科学と数学 • 共著書: 圏論の歩き⽅ (⽇本評論社, 2015)
  • 2. 蓮尾 ⼀郎(国⽴情報学研究所) アウトライン • ERATO 蓮尾プロジェクトの(簡単な)紹介 • 学術背景: ソフトウェア科学 • 形式検証とは? • 形式検証の限界? • 基本アイデア「不確かさの論理的封じ込め」 • 取り組み1: 時相論理ベースのシステム解析ツールスイート • 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム • 取り組み3: ⾃動運転安全ルール策定技術 2
  • 3. 蓮尾 ⼀郎(国⽴情報学研究所) 研究課題: ソフトウェア品質保証のペイン 3 特に⾃動運転では… • 安全性の説明ができない ➜ 社会受容・実⽤化の遅れ • 製造者責任の範囲が特定できない ➜ 訴訟リスク,企業の参⼊障壁 ⾃動⾞産業でも 課題は同じ… (ソフトウェアの⽐重が 年々拡⼤) ソフトウェアは 年々複雑に… バグがあったら 製造者責任は莫⼤… 現在は 何とか品質保証 できているがコスト⼤… 将来は 品質保証できるのか不安… 2018年の事故以降 hype が急速にしぼむ
  • 4. ERATO 蓮尾 PJ の成果概要 4 • JST ERATO: 国内最⼤級の公的研究費スキーム 全学術領域から毎年3件程度が採択 • ERATO 蓮尾プロジェクト: 2016/10-2022/03. 研究員10-20名,総勢50名超の体制で研究推進 • ⽬標: ソフトウェア品質保証のペインを解消すべく, 理論から実践までの包括的ソフトウェア研究. ⾃動⾞・⾃動運転に戦略的フォーカス • 学際的研究体制 4つの学術分野が 共通の理論基盤と応用目標を通じて密接に協働 • 成果概要 • トップ国際会議論⽂50件超を含む,200件超の論⽂出版. • 例: 理論計算機科学の最⾼峰国際会議 LICSʼ19 では全60件のうち6件を発表 • 企業と協働10社以上.企業向けシンポジウム,セミナーシリーズ開催 • 成果が⾼く評価され, ERATO 追加⽀援(機関継承型)に採択.2022/04-2025/03 • 国際的研究体制 • グループの1つをカナダ Waterloo ⼤学に設置. 実際の⾃動運転⾞を運⽤ • 研究員の半数以上を海外から雇⽤
  • 5. アウトライン • ERATO 蓮尾プロジェクトの(簡単な)紹介 • 学術背景: ソフトウェア科学 • 形式検証とは? • 形式検証の限界? • 基本アイデア「不確かさの論理的封じ込め」 • 取り組み1: 時相論理ベースのシステム解析ツールスイート • 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム • 取り組み3: ⾃動運転安全ルール策定技術 5
  • 6. 形式検証とは • プロジェクトの主背景: ソフトウェア科学とその数学的理論 • ソフトウェアに関わる諸現象の 数学的解析 • 応⽤数学の⼀分野 • ソフトウェア科学の実応⽤は, 伝統的に形式検証による • 形式検証=「バグなし証明」 6 応⽤数学分野 「XXを数学的に研究」 数理物理学 物理現象 (数理)経済学 経済現象 … … ソフトウェア科学 ソフトウェアにまつわる 諸現象 「検証」の意味は⽂脈によっていろいろですが, 「形式検証」は数学的証明を指します
  • 7. 7
  • 8. 8
  • 9. 9
  • 10. 10
  • 11. 11
  • 12. 12
  • 13. 13
  • 14. 14
  • 15. 15
  • 16. 16
  • 17. 17
  • 18. 18
  • 19. 19 Hasuo (NII, Tokyo) 形式手法 formal methods (もともとは)ソフトウェアの 品質保証のための, 数学的・記号論理的手法の総体 記号的であるため計算機実装が可能 形式手法の例 形式検証 verification Input: a system model M a specification 𝛗 Output: if M ⊨ 𝛗 or not w/ a proof, if yes w/ a counterexample, if not 自動生成 synthesis Input: a specification 𝛗 Output: a system M such that M ⊨ 𝛗 or: a parameter of a given (partial) model 形式仕様記述 specification Expressing a property desired in a formal language machine- representable basis for verif. & synthesis • プログラムにバグがないかどうか 確かめる • テスト: いくつか入力を試してみて確認. 「おそらく他の入力でも大丈夫」 • 形式検証: 「すべての入力に対して安全であ ること」を数学的に証明
  • 20. 20 Hasuo (NII, Tokyo) hoge 形式検証の例1: 定理証明 例: Hoare 論理による定理証明 イメージ: 紙とペンで証明を書くのと同じ しかし,人力だと間違えるので,計算機上で. 記号列で証明を表現 ➜ 各ステップの正当性をプログラム(証明支援系)がチェック できれば証明の自動探索(定理証明器) (原理上は)無限の入力空間をすべてカバーできる 証明では「i を入力の自然数とする」とかけますね 数学的証明という,強い品質保証 k = N!  after  execution Proof  search specification program proof Theorem forall_exists : (forall P : Set->Prop, 
 (forall x, ~(P x)) -> ~(exists x, P x)). Proof.   intros P.   intros forall_x_not_Px.   unfold not.   intros exists_x_Px.   destruct exists_x_Px as [ witness proof_of_Pwitness].   pose (not_Pwitness := forall_x_not_Px witness).   unfold not in not_Pwitness.   pose (proof_of_False := not_Pwitness proof_of_Pwitness).   case proof_of_False. Qed. A Coq proof of ∀x. ¬P(x) → ¬ ∃x. P(x)
  • 21. 21 Hasuo (NII, Tokyo) 形式検証の例2: モデル検査 オートマトンのアルゴリズムによる「自動証明」 主にグラフの到達可能性判定に帰着 オートマトンは有限 ➜ 数え上げによる自動証明が可能 例: 以下のオートマトンにて, ! に至ることはない (*) ! a a,b b a, b (不正解) 仕様 (*) をすべての入力につい て確かめる (入力は無限個あるので無理) (正解) 到達可能な領域を計算し(グラ フ探索,有限時間で飽和), ! が含まれないことを確かめる a b 詳細は蓮尾の NII 市民講座スライドで https://bit.ly/2selPnn 少しテクニカルですが お付き合いください. ポイントは 有限 vs 無限
  • 22. 22 形式検証の例2:モデル検査 全状態を総当りで チェック SPIN, PRISM, Uppaal, MCRL2, ... + 全自動 ­ 状態数爆発 ­「 サイズ」の検証 M. Ben-Ari, ACM Inroads, 2010
  • 23. アウトライン • ERATO 蓮尾プロジェクトの(簡単な)紹介 • 学術背景: ソフトウェア科学,論理学,… • 形式検証とは? • 形式検証の限界? • 基本アイデア「不確かさの論理的封じ込め」 • 取り組み1: 時相論理ベースのシステム解析ツールスイート • 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム • 取り組み3: ⾃動運転安全ルール策定技術 23
  • 24. 蓮尾 ⼀郎(国⽴情報学研究所) ⾃動⾞産業における形式検証? 24 Mcarone1, Simulink model of a wind turbine, CC BY-SA 3.0 • ⽬標をうまく設定する必要がある • それでもモデリング・証明の⼯数⼤ 適⽤は容易ではない 実⾞を形式検証? • 証明のためには, 対象システムの振る舞いの 「定義」=モデルが必要 • モデルがない ➜ 形式検証不能 Simulink モデルを形式検証? • Simulink モデルは数値シミュレー ション⽤.形式検証⽤でない • 形式検証⼿法は現在限定的. また,⼤きなモデルに スケールしない Event-B モデル? • Event-B: 形式検証⽤モ デリング⾔語. 鉄道システム等に実績 • ⾃動⾞システムのモデリ ングは未開の領域 数学的証明 ➜ 夢の安全性保証…?
  • 25. 蓮尾 ⼀郎(国⽴情報学研究所) 学術的潮流: 論理知と統計知の両⽴ 25 蓮尾 ⼀郎(国⽴情報学研究所) 論理 統計 形式検証 ✔ すべての⼊⼒・状況における バグ不在を数学的に証明 ✘ 数理モデリングが必要 (時に困難) テスト・統計 ・「これくらい試して OK でした」 「⾛⾏XXマイルあたり事故1件」 ✔ 適⽤が容易.⾃動 ✘ 保証度合が弱い.説明可能性が低い 人工知能 AI ソフトウェア ・ICT システ ムの 信頼性保証 論理的AI ・ エキスパートシステム,第5世代コンピュータ,… ・ 所与の知識ベース(ルール)から結論を論理的に導出 ✔ 結論の正当性を論理的に追跡できる ✘ 知識ベース(ルール)構築のコストが莫⼤(⼈⼒). フレーム問題 統計的AI ・ ⼤量の(ノイジーな)データから判断ルールを⾃動学習 ・ 数理最適化による効率的ルール学習 ✔ ルール学習は⾃動 ➜ 予測に使える ✘ 学習したルールは⼤量の重みベクトル ➜ ⼈間への理解・説明には使えない 両⽴が必要 ⼤量のデータを⾃動で集めて ⾃動で処理 ➜ 予測エンジン ⼈間のコミュニケーションは ビッグデータでなく論理 8TB
  • 26. 蓮尾 ⼀郎(国⽴情報学研究所) アウトライン • ERATO 蓮尾プロジェクトの(簡単な)紹介 • 学術背景: ソフトウェア科学,論理学,… • 形式検証とは? • 形式検証の限界? • 基本アイデア「不確かさの論理的封じ込め」 • 取り組み1: 時相論理ベースのシステム解析ツールスイート • 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム • 取り組み3: ⾃動運転安全ルール策定技術 26 論理だけでもダメ, 統計だけでもダメ…
  • 27. 蓮尾 ⼀郎(国⽴情報学研究所) ソフトウェア科学の新地平: モデルありからモデルなしへ 27 (従来の) ソフトウェア科学 不確かさに対応する ソフトウェア科学 制御理論 ソフトウェア ⼯学 テストと論理的証明の 融合 連続ダイナミクスと 離散ダイナミクスの 数学的統⼀ • 巨⼤なソフトウェアの安全性をテストにより解析 ➜ 経験論的(弱い)品質保証, ⼀⽅ 適⽤可能性は⾼い 統計知と論理知の 融合 統計知と論理知の対⽐と融合 機械学習時代の科学の⼀⼤課題 統計的推論 統計的機械学習 論理的推論 演繹的形式推論 データのノイズを許容 入力の 誤り 公理は絶対 誤りは想定せず 保証されない 結論の正 しさ 論理的に保証 (cf. 数学的証明) 高い データから自動で特徴量発見 スケーラ ビリティ 低い 公理の準備は人力 (cf. エキスパートシステム) 低い 判断の理由はパラメータ(重み) 説明 可能性 高い 推論過程が証明として明示的 Safe AI, Explainable AI (XAI) 統計的機械学習 ・AI • システムの安全性(バグ不在)を論理的に証明 ➜ 強い品質保証 • システムの完全な数学的記述が必要 ➜ 近年の多様なシステムには適⽤困難 Safe AI,Explainable AI (XAI) 機械学習の実社会応⽤に必須 (cf. JST戦略⽬標) アプローチ1: 機械学習の判断過程の可視化 (XAI の主流.LIME等) アプローチ2: 統計的不確かさの論理的封じ込め (システムレベル安全保証,本PJ)
  • 28. 蓮尾 ⼀郎(国⽴情報学研究所) 我々の基本アイデア: 不確かさの論理的封じ込め 28 • システム全体がブラックボックス • その統計的・経験論的解析 • (例)⾃動運転: 「⾛⾏XXマイルあたり事故1件」 ➜ 「この交差点では⼣刻必ず事故が起きる」 を排除できない system 安全性 subsystem 安全性 component 安全性 module 安全性 module 安全性 subsystem 安全性 component 安全性 component 安全性 不確 かさ 不確 かさ • 安全性論証の論理的組み上げ • 不確かなコンポーネントにはルール・契約を要請 ➜ 実⾏時検証,説明責任,原因究明の容易化 • 論理的構造の切り⼝をうまく⾒つけることがカギ • System of systems: 多種多様なシステムの 階層的統合,巨⼤なシステムの体系的構築 観察 (システム出力) 不確かな システム 刺激 (テスト入力)
  • 29. 蓮尾 ⼀郎(国⽴情報学研究所) (純粋に)論理ベースの システム安全性保証 • ソフトウェア科学で伝統的な 形式検証のアプローチ • システム詳細の数学的モデリングからはじめ て,論理的結論を積み上げ ✓ 議論のすべてを論理的にトレース可能. 説明可能性,信頼 ✘ 現代のICTシステムは複雑 ➜ システム全体の安全性という 最終結論まで届かない ✘ しかも,最終結論に届くまでは システム品質保証の度合いはゼロ. 効⽤が⾮ゼロになるまでの労⼒が巨⼤ system 安全性 テストやデータ による 統計的保証 (純粋に)データ駆動型の システム安全性保証 (例)⾃動運転: 「⾛⾏XXマイルあたり事故1件」 ✓ スケーラビリティ. ビッグデータを⾃動で統計的処理 ✘ 安全性(及び,安全性保証のため に必要な⼿を尽くしたこと)を 顧客・社会に説明することが困難 system 安全性 subsystem 安全性 component 安全性 module 安全性 module 安全性 subsystem 安全性 component 安全性 component 安全性 ボトムアップな 論理的議論の 積み上げ system 安全性 subsystem 安全性 component 安全性 module 安全性 module 安全性 subsystem 安全性 component 安全性 component 安全性 テスト・ データ テスト・ データ テスト・ データ トップダウンな 論理的議論の 切り出し (我々の戦略)不確かさの論理的封じ込め • 結論(システム全体の安全性)から始めて, 論理的議論を切り出していく • 論理的議論の届かない詳細は,データ駆動型 で統計的に対処 ✓ ベストエフォート型の論理的論証. ✓ かけられる労⼒が少なくても, それなりのシステム安全性保証が得られる. (トップダウン型のため. 論理的議論の度合いは少なくなるが) ✓ 論理的論証の説明能⼒. ⾃動運転などの新技術の信頼樹⽴・社会受容 のため必須
  • 30. 蓮尾 ⼀郎(国⽴情報学研究所) アウトライン • ERATO 蓮尾プロジェクトの(簡単な)紹介 • 学術背景: ソフトウェア科学,論理学,… • 形式検証とは? • 形式検証の限界? • 基本アイデア「不確かさの論理的封じ込め」 • 取り組み1: 時相論理ベースのシステム解析ツールスイート • 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム • 取り組み3: ⾃動運転安全ルール策定技術 30 「不確かさの論理的封じ込め」 の具体例を3つ紹介します
  • 31. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み1(時相論理ベースのシステム解析ツールスイート) 社会背景 31 ICT技術の進歩 ➜ 新応⽤,新産業! “Google Self-Driving Car” by smoothgroover22 is licensed under CC BY-SA 2.0. "Heart Rate Monitor on an Apple Watch" (CC BY 2.0) by integratedchange しかし… システム安全性の課題 https://www.ft.com/content/89692fee-1181-11e7-80f4- 13e067d5072c ソフトウェアバグは永遠の課題ですが, cyber-physical, IoT の時代には特に重要です
  • 32. 蓮尾 ⼀郎(国⽴情報学研究所) システム設計の現場① データを持て余す システム設計の現場② モデルを持て余す システム設計の現場③ データ・モデル解析の工数大 • ハードウェア性能向上によりデータはとれるようになった • しかし,現場のニーズに応えるデータ利⽤法は未確⽴.ノウハウが分散 取り組み1(時相論理ベースのシステム解析ツールスイート) 課題背景 32 安全性確認の必要 データ収集 8TB 役⽴てるハードルが⾼い
  • 33. 蓮尾 ⼀郎(国⽴情報学研究所) システム設計の現場① データを持て余す システム設計の現場② モデルを持て余す システム設計の現場③ データ・モデル解析の工数大 • モデル構築がトレンド.「モデルベース開発」「デジタルツイン」 • ⼯数⼤(数⼈⽉〜数⼗⼈年) • しかし,しばしば「モデル解析のやり⽅」「モデルの活⽤法」は未確⽴ 33 安全性確認の必要 モデル構築 Mcarone1, Simulink model of a wind turbine, CC BY-SA 3.0 モデルの解析のハードル 取り組み1(時相論理ベースのシステム解析ツールスイート) 課題背景
  • 34. 蓮尾 ⼀郎(国⽴情報学研究所) システム設計の現場① データを持て余す システム設計の現場② モデルを持て余す システム設計の現場③ データ・モデル解析の工数大 • データ解析・モデル解析の汎⽤ツールは未整備 • ⼈⼿で解析 ➜ 専⾨家を週・⽉単位で拘束 • 専⽤解析プログラム作成 ➜ ⼯数⼤,しばしば低効率 34 専⽤解析プログラム作成 (ゼロから) ⼯数⼤,しばしば低効率 データ・モデル解析 の必要 取り組み1(時相論理ベースのシステム解析ツールスイート) 課題背景
  • 35. 蓮尾 ⼀郎(国⽴情報学研究所) 35 データ・モデル解析アルゴリズム群を 共通インターフェイスのもとバンドル 時相論理式による 共通インターフェイス • プロジェクト成果たる データ解析・モデル解析 全⾃動アルゴリズム群 ログ絞込み: トップ国際会議論⽂[Waga, Andre, Hasuo, CAVʼ19]他 関連特許出願3件 システム最適化,危険⼊⼒発⾒: トップ国際会議論⽂ [Zhang, Hasuo, Arcaini, CAVʼ19]他 関連特許出願2件 • ユーザーは, ⽬標を時相論理式で表現するだけで これらアルゴリズム群を利⽤できる … … 取り組み1(時相論理ベースのシステム解析ツールスイート) 解決策
  • 36. 蓮尾 ⼀郎(国⽴情報学研究所) 36 時相論理式による 共通インターフェイス • 最先端の解析アルゴリズムを 全ての技術者の⼿に届ける (含,⾃動⾞産業) … … 時相論理式とは何か,次に説明します Los Angeles, Ca, Usa — June 7th, 2020: Woman Holding “power To The People” Sign At Protest by Suzanne Strong from NounProject.com データ・モデル解析アルゴリズム群を 共通インターフェイスのもとバンドル 取り組み1(時相論理ベースのシステム解析ツールスイート) 解決策
  • 37. 蓮尾 ⼀郎(国⽴情報学研究所) 例 G(gear = 1 ∧ rpm > 3500 ⇒ F[0,1] gear = 2) 「ギアが1速でかつエンジン回転数が > 3500 になったら,そのあと1秒以内にギアが2速になる」 • 時系列データの性質を表現する⾔語 Pnueli が1996年にチューリング賞を受賞 • データ解析・モデル解析の ⽬標の記述に適している. 「この性質が成り⽴つかどうか調べたい」 「この性質が成り⽴つように システムを最適化したい」 • ⾼々数⾏ ➜ 書くのは容易 (vs. 数百〜数千⾏のCコード) 37 「アルゴリズム的に都合が良い」と 「技術者にとって容易」のバランスがポイント 取り組み1(時相論理ベースのシステム解析ツールスイート) 技術背景: 時相論理式とは
  • 39. 蓮尾 ⼀郎(国⽴情報学研究所) 39 危険な追い越しが 起こっている部分 を⾒つけたい… 「危険な追い越し」 を時相論理式で 表現 • 現状,共同研究・ 学術指導での コンサル⽅式で実施 • 時相論理式デバッガの利⽤ も試⾏中 ⾼速データ解析 アルゴリズム cf. トップ国際会議論⽂ [Waga, Andre, Hasuo, CAVʼ19]他 関連特許出願3件 解析結果 • BEFORE: 技術者が⽬の⼦で探す or ⽬標事象ごとにイチからCコーディング • AFTER: 技術者は時相論理式を書くだけ, ⾼速(毎秒100Kイベントを処理) 3:45:23- 3:45:30, 5:12:58- 5:13:05, 9:02:32- 9:03:15, … 取り組み1(時相論理ベースのシステム解析ツールスイート) ユースケース1: ログ絞込み CAV はソフトウェア科学・形式検証の トップ国際会議.AWS, TRI, MS 等がスポンサー 「危険度合いの強さを⾒る」などの実⽤上の 柔軟性の⾼さも我々のアルゴリズムの強みです
  • 40. 蓮尾 ⼀郎(国⽴情報学研究所) 40 三菱重⼯さんとのケーススタディを トップ国際会議で発表しました [佐藤・⻄⾯・和賀・⾼尾・蓮尾,FMʼ21] 基盤となる学術成果も [佐藤・和賀・蓮尾,ADHSʼ21] 安全かつ⾼効率な パラメータ値は? 「安全性」 「効率性」 を時相論理式で 表現 • 本ケーススタディでは コンサル⽅式で • 時相論理式の拡張により 性能向上 (カスタマイズ) ⾼速モデル 解析アルゴリズム Cf. トップ国際会議論⽂ [Zhang, Hasuo, Arcaini, CAVʼ19] 他.関連特許出願2件 システムモデルはブラックボック ス ➜ 何でも良い (Simulink, Modelica, バイナリ, 実機HW,…) 解析結果 • BEFORE: 専⾨家が⼈⼿で7⼈⽇ • AFTER: ユーザーは時相論理式を書くだけ. 全⾃動で3時間,安全性・効率も改良 発電⽤ガスタービン p1 = 12.8 p2 = -6.2 p3 = 1084.2 … 取り組み1(時相論理ベースのシステム解析ツールスイート) ユースケース2: システム最適化
  • 41. 蓮尾 ⼀郎(国⽴情報学研究所) 時系列データ解析 アルゴリズム群 共通 インターフェイス 取り組み1(時相論理ベースのシステム解析ツールスイート) 機能概要・特徴 41 「ログ絞込み」「システム最適化」「危険⼊⼒発⾒」の3機能. 時相論理による共通インターフェイス, 時相論理式デバッガがユーザビリティのカギ 機能1 ログ絞込み 8TB ⾛⾏ログ 危険な追い越しが 起こっている部分を ⾒つけたい… 機能2 システム最適化 安全かつ⾼効率 なパラメータ値 は? 機能3 危険⼊⼒発⾒ 機⾸が激しく 上下するような ⼊⼒は? ⽬的イベント・⽬ 的関数を表現する 時相論理式を ユーザーが記述 モデリング・ コーディングより はるかに簡単(数⾏) だが最初は敷居が⾼い ➜ 時相論理式記述 デバッガ を⽤いて対話的に 発⾒・修正 時相論理式 時相論理式 時間オートマトンに よる⾼速パターンマ ッチング トップ国際会議論⽂[Waga, Andre, Hasuo, CAVʼ19]他 関連特許出願3件 時相論理+進化計算 ・機械学習による 最適化アルゴリズム トップ国際会議論⽂ [Zhang, Hasuo, Arcaini, CAVʼ19]他 関連特許出願2件 システムモデルは ブラックボックスモデ ルだけで⼗分 (Simulink等) 最適化とバグ発⾒は 論理的に表裏の関係 ➜ 同じアルゴリズム 3:45:23- 3:45:30, 5:12:58- 5:13:05, 9:02:32- 9:03:15, … p1 = 12.8 p2 = -6.2 p3 = 1084.2 … 向かい⾵⾵速 • BEFORE: ⽬の⼦で探す or 問題毎にゼロから Cコーディング • AFTER: 全⾃動, 毎秒100Kイベント を処理 • 事後のログ解析にも, 実⾏時監視にも • BEFORE: 専⾨家が ⼈⼿で7⼈⽇ • AFTER: 全⾃動で3時間, 解も改良 (三菱重⼯事例) • BEFORE: 専⾨家が ⼈⼿で試⾏錯誤 • AFTER: 全⾃動で新 しい危険⼊⼒発⾒
  • 42. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み1(時相論理ベースのシステム解析ツールスイート) 技術のポジショニング 42 モデル・コード 要 モデル・コード 不要 対象産業領域: ⾃動⾞,製造業,IoT (時系列データ処理) 対象産業領域: IT全般,特に web アプリ 取り組み1 • モデル・コード不要 ➜ 最短数分で解析結果が 得られる.⼯数ニアゼロ • ⼯業製品のデータ (時系列データ) を⾼速に処理・解析 時系列データは IT ⼀般でも重要. 特にセキュリティ,ゲーム 他ツール で作成し たモデル の解析に も有効 モデルベース開発 • Simulink, Modelica 等 • 「デジタルツイン」 • モデル構築の⼯数⼤ (数ヶ⽉〜数年・⼈) • モデル解析アルゴリズムは まだ掘れるs 競合でなく補完 ソフトウェアテスト • 多くの技術. しかしその多くは,⼯業製品の時系列 データには対応せず • 静的解析技術も⽤いられる (Facebook の Infer など) ソフトウェア形式検証 • frama-c など • スケーラビリティは限定的. ⾃動⾞応⽤は対象をうまく選ばないと 厳しい ソフトウェア ノーコードテスト • 技術・事業が出てきている • webアプリのインタラクションのテストな ど. • ⼯業製品の設計⽀援とは, スコープも技術も異なる
  • 43. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み1(時相論理ベースのシステム解析ツールスイート) まとめ 43 最先端解析アルゴリズム群を⾃動⾞産業のあらゆる設計現場に 時相論理式による 共通インターフェイス • データ解析・モデル解析のニーズは 設計のあらゆる段階にある • 時相論理式を書くだけで, 全⾃動・⾼効率の 最先端解析アルゴリズムにアクセス … … ⼯数ニアゼロの データ・モデル解析 • アルゴリズム群+インターフェイス + 時相論理式デバッガ をツールスイート化(進⾏中) • 共同研究による導⼊⽀援も
  • 44. 蓮尾 ⼀郎(国⽴情報学研究所) アウトライン • ERATO 蓮尾プロジェクトの(簡単な)紹介 • 学術背景: ソフトウェア科学,論理学,… • 形式検証とは? • 形式検証の限界? • 基本アイデア「不確かさの論理的封じ込め」 • 取り組み1: 時相論理ベースのシステム解析ツールスイート • 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム • 取り組み3: ⾃動運転安全ルール策定技術 44 「不確かさの論理的封じ込め」 の具体例を3つ紹介します
  • 45. 蓮尾 ⼀郎(国⽴情報学研究所) ⾃動運転研究開発における 我々のポジショニング 45 45 ⾃動運転 ⾃動運転シス テムの構築 地図インフラ 交通インフラ HMI ⾃動運転シス テムの 安全 性・信頼性 統計データに よる安全性保 証 テストによる 安全性保証 論理的論証に よる安全性保 証 • www.pegasusprojekt.de • V&V startups (Fortellix, five.ai, cognata, …) • 「⾛⾏XXマイルあたり事故1件」 • 「この交差点では⼣刻必ず事故が 起きる」を排除できない • 与えられた⾃動運転⾞の安全性保証が⽬標 (⾃分で作る必要はない) • 製品に直結しないが,製品を売る上で必須 ➜ ⾃動⾞業界 (+政府,保険業界,…)の包括的取り組み • 多くの企業が採⽤することで⼿法への信頼性アップ. よって競争領域になりにくい • 製品設計時に⽤いるソフトウェア・システムを開発 • RSS (Mobileye/Intel) • IEEE 2846 • 制御理論的研究 (TU Munich など) • ⾃動運転ベンチャーのほとんど. Waymo, Tesla, pony.ai, plus.ai, Oxbotica, Tier IV, … • 実動作する⾃動運転⾞を 作ることがが⽬標 • 製品に直結 ➜ 各社が競争 • ⾛⾏時に動作するハードウェア・ ソフトウェアを開発 取り組み2 取り組み3 技術・サービスを提供
  • 46. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み2(⾃動運転危険シナリオ探索アルゴリズム) 課題背景 46 ⾃動運転の社会受容の遅れ • 2018年の事故以降,⾃動運転事 業化の機運が停滞気味 • 安全性を実現するのみならず, 社会に説明して受容してもらわな いと公道は⾛れない • 何をもって「⼗分に安全とするか 」の合意が不在 ➜ アプローチ,企業,規格への 取り組みが多数 ⾃動運転システムの 安全性解析のチャレンジ • 機械学習コンポーネント・最適化 アルゴリズム・制御器の集合体 ➜ 実質上ブラックボックス, 系統的解析が困難 • 運転シナリオは膨⼤,多様 ➜ 全てのシナリオで安全性を チェックするわけにはいかない テストシナリオDBの活⽤法 • このシナリオを確かめれば⼗分, というテストシナリオデータベース づくりの取り組みが進んでいる. PEGASUS projekt (独) SAKURA project (⽇) など • また,テストシナリオDBのための プラットフォームも ASAM OpenSCENARIO, いくつかの企業 • しかし「膨⼤なテストシナリオを 設計の現場でどう使うか」はオープン • 多数のシナリオの中から,役に⽴つも のをすぐにみつけたい ➜ ⾃動運転システムの危険シナリオの⾼速探索を, ソフトウェア⼯学と最適化の融合による先端的研究成果により実現, 本格化する⾃動運転開発に必須の技術を提供
  • 47. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み2(⾃動運転危険シナリオ探索アルゴリズム) 機能概要・特徴 47 開発者がほしい 「役に⽴つ」危険シナリオを ⾼速で探索 ソフトウェア⼯学と 最適化理論の融合による 全⾃動探索アルゴリズム • 進化計算によってシナリオを 逐次改良 • 「役に⽴つ危険度合い」を ソフトウェア⼯学により⽬的 関数化 トップ国際会議論⽂ [Calo+, ICSTʼ20] [Luo+, ASEʼ21]他. 関連特許出願2件 BEFORE: ⼈⼒探索 ➜ ⾒つからない,⼯数莫⼤ ランダム探索 ➜ 危険は稀,⾒つからない 単なる最適化 ➜ ⾃⾞に責任のない危険を多数⽣成 AFTER: 役⽴つシナリオを 全⾃動,~数時間で探索 (帰宅前に仕掛けて次の⽇にできている) システムを組 んでみたが, ⼤ポカをやら かしていない だろうか… パラメータ値 を決めてみた が,⾒当違い の値になって いないだろう か… 現実的な 危険シナリオでの 振る舞いを⾒て, リーズナブルだと 確認したい テストシナリオDB ➜ 探索のタネとして活⽤ プロトタイプADS & simulator シミュレーションの繰り返し試⾏により 危険度測定 ➜ 改良 汎⽤アルゴリズム, 複数のシステム・シミュレータに適⽤可 ⽣成した危険シナ リオにおける シミュレーション (事故発⽣) 同シナリオで, ⾃⾞設定を変えた シミュレーション (事故なし) ➜ 「避け得た」危険 であった証拠, システム改修を suggest
  • 48. 蓮尾 ⼀郎(国⽴情報学研究所) • ERATO プロジェクト グループ3を中⼼にした成果, NII ⽯川冬樹准教授 Paolo Arcaini 特任准教授 Xiaoyi Zhang 特任助教 • MIRAI eAI プロジェクトと協働 (研究代表者:⽯川冬樹,AI安全性にフォーカス) • 主に開発序盤・中盤のニーズに応える (shift-left) • 「役に⽴つ危険シナリオが⼀つ,すぐにほしい!」 • 対して,多くの⾃動運転テスト研究・事業は, 開発終盤のカバレッジ主導型テストに注⼒. 「時間をかけて,漏れのないテスト」 • ソフトウェア⼯学+最適化 の先端的研究成果. トップ国際会議論⽂発表: ICECCSʼ19, ICSTʼ20, ICSTʼ21, ASEʼ21 他 取り組み2(⾃動運転危険シナリオ探索アルゴリズム) 特徴 ⽇刊⾃動⾞新聞 ⽇刊⼯業新聞 科学新聞
  • 49. 蓮尾 ⼀郎(国⽴情報学研究所) アウトライン • ERATO 蓮尾プロジェクトの(簡単な)紹介 • 学術背景: ソフトウェア科学,論理学,… • 形式検証とは? • 形式検証の限界? • 基本アイデア「不確かさの論理的封じ込め」 • 取り組み1: 時相論理ベースのシステム解析ツールスイート • 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム • 取り組み3: ⾃動運転安全ルール策定技術 49 「不確かさの論理的封じ込め」 の具体例を3つ紹介します
  • 50. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み3(⾃動運転安全ルール導出技術) 課題背景 50 ⾃動運転の社会受容の遅れ • 2018年の事故以降,⾃動運転事業化の 機運が停滞気味 • 安全性を実現するのみならず, 社会に説明して受容してもらわないと 公道は⾛れない • 何をもって「⼗分に安全とするか」の 合意が不在 ➜ アプローチ,企業,規格が多数 未知・過剰な製造物責任のリスク • ⾃動運転の製造物責任の範囲は 未確定. (社会的合意,規格,法律等) • 製造者は将来,想定外の⼤きな製造物責任を 負わされる可能性がある ➜ 参⼊・産業発展の⼤きな障壁 • 安全ルール(「これを満たせば安全」) の策定が待たれる ➜ 正当性が数学的に保証された安全ルールを提供, 社会への説明と製造物責任の明確化
  • 51. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み3の既存技術: Responsibility-Sensitive Safety (RSS) 51 ⽬標:安全ルール策定 「この安全ルールをみたす限り安全」 (と証明できるような) 安全ルールを策定 SV (subject vehicle) POV (principal other vehicle) In a single-lane same-direction scenario, maintain the safety distance from the preceding car 我々は RSS の実⽤化を⽀える 数学的基盤の研究を推進中. 関連: [Kolcak+, TACASʼ20]
  • 52. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み3の既存技術: Responsibility-Sensitive Safety (RSS) 52 ⽬標:安全ルール策定 「この安全ルールをみたす限り安全」 (と証明できるような) 安全ルールを策定 ⽤途: • 事故の責任所在の特定 (このルールを破ったあなたが悪い) • ⾃動運転⾞の安全性証明 (このルールを守っている,よって安全) • ⾃動運転⾞の実⾏時監視 (ルールを破りそうになったら介⼊) • ⾃動運転の安全性規準・規格 (ルール遵守を認証しないと販売不可) • 保険料率計算 (ルールを守っているので保険料を安く) ➜ ⾃動運転の社会受容の基礎 (ルールを守っている⾞は安全,公道を⾛っても安⼼できる) ➜ 製造者責任の範囲を特定 (ルールを守っている限り,それ以上の責任を追求されない) SV (subject vehicle) POV (principal other vehicle) In a single-lane same-direction scenario, maintain the safety distance from the preceding car Responsibility-Sensitive Safety (RSS) • Intel/Mobileye の研究者が論⽂発表 (arXiv preprint, 2017) Shai Shalev-Shwartz, Shaked Shammah, and Amnon Shashua. On a formal model of safe and scalable self-driving cars. CoRR, abs/1708.06374, 2017. • 多数の学術研究で利⽤されている (cited by 451, 2021-12-07) • Intel/Mobileye がビジネス展開.US特許20件超 • IEEE 2846 等,国際規格への反映の取り組み Scenario S1 RSS safety rule R1 = (C1, P1) RSS safety condition C1: Distance is no smaller than ⌅ RSS principles to limit allowed behaviors. 1.4.3 Example of an RSS Rule: the Single-Lane Same- Direction Scenario Figure 1.13: The one-way traffic scenario Consider the one-way traffic scenario shown in Fig. 1.13, where the subject vehicle (carrear) drives behind another car (carfront). The RSS rule for this simple scenario, presented in [38], consists of the following. ⌅ The RSS condition that requires xf xr > max 0, vrr + 1 2 amaxr2 + (vr +amaxr)2 2abrake,min v2 f 2abrake,max ! . (1.11) Here xf ,xr are the positions of the two cars, and vf ,vr are their veloci- ties (their dynamics are modeled in the 1-dimensional lane coordinate). The other parameters are as follows: r is the maximum response time that carrear might take to initiate the required braking; amax is the maxi- mum (forward) acceleration rate of carrear; abrake,min is the maximum com- fortable braking rate for carrear; and abrake,max is the maximum emergency braking rate for carfront. ⌅ The (RSS) proper response that dictates the SV (carrear) to engage the max- imum comfortable braking when condition Eq. (1.11) is about to be vio- lated. It is not hard to see that the RSS condition Eq. (1.11) is preserved by the proper response, and that the truth of the condition Eq. (1.11) ensures xf > xr, i.e. no collision. 1.4.4 Usages of RSS Rules We can easily imagine that “rules that AV must follow for safety” are important and useful. The following are concrete ways in which they can be used. ©2001 by CRC Press LLC Proper response P1: Full (non-emergency) braking Theorem (safety). No collision, if P1 is engaged at a state satisfying C1 Theorem (responsibility). P1, engaged at a state satisfying C1, respects the RSS responsibility principles Scenario S2 RSS safety rule R2 = (C2, P2) RSS safety condition C2: Distance is no smaller than … Proper response P2: Cut in Theorem (safety). No collision, if P2 is engaged at a state satisfying C2 Theorem (responsibility). P2, engaged at a state satisfying C2, respects the RSS responsibility principles SV … RSS responsibility principles 1. Don’t hit the car in front of you 2. Don’t cut in recklessly 3. Right of way is given, not taken 4. Be cautious in areas with limited visibility 5. If you can avoid a crash without causing another one, you must guarantee assume Usages • Attribution of liability • Safety metric • Formal safety verification • Safety architecture • … SV ⇐ RSS 概念⾒取り図 Mobileye による RSS ウェブページ 我々は RSS の実⽤化を⽀える 数学的基盤の研究を推進中. 関連: [Kolcak+, TACASʼ20]
  • 53. 蓮尾 ⼀郎(国⽴情報学研究所) Responsibility-Sensitive Safety (RSS) 概要 53 ルール導出技術者が 各運転シナリオに対し 個別にルール導出 • 同時に,ルールCの 安全性証明も書き出す 「現時点でこのルール C を守っていれば, 先⾏⾞が急ブレーキをかけ ても安全に停⽌できる」 …というような 安全ルール C を求めたい 安全ルール C + 安全ルールC の安全性証明 規制当局他,誰もが 正当性を チェックできる 保険料率計算 ルール C を守っているので保険料を安く ⾃動運転⾞の実⾏時監視 ルール C を破りそうになったら安全系が介⼊ ➜ 安全性保証,通常系設計の⾃由度向上 事故の責任所在の特定 ルールCを破ったあなたが悪い ⾃動運転の安全性規準・規格 (ルール遵守を認証しないと販売不可) IEEE P2846 など ⾃動運転⾞の安全性証明・アピール ルール C の遵守を⽰せば⼗分 受益者: 規制当局 規格化団体 業界団体 受益者: ⾃動運転 システム ベンダー 受益者: 損害保険 SV (subject vehicle) POV (principal other vehicle) 我々は RSS の実⽤化を⽀える 数学的基盤の研究を推進中. 関連: [Kolcak+, TACASʼ20]
  • 54. 蓮尾 ⼀郎(国⽴情報学研究所) (純粋に)論理ベースの システム安全性保証 • ソフトウェア科学で伝統的な 形式検証のアプローチ • システム詳細の数学的モデリングからはじめ て,論理的結論を積み上げ ✓ 議論のすべてを論理的にトレース可能. 説明可能性,信頼 ✘ 現代のICTシステムは複雑 ➜ システム全体の安全性という 最終結論まで届かない ✘ しかも,最終結論に届くまでは システム品質保証の度合いはゼロ. 効⽤が⾮ゼロになるまでの労⼒が巨⼤ system 安全性 テストやデータ による 統計的保証 (純粋に)データ駆動型の システム安全性保証 (例)⾃動運転: 「⾛⾏XXマイルあたり事故1件」 ✓ スケーラビリティ. ビッグデータを⾃動で統計的処理 ✘ 安全性(及び,安全性保証のため に必要な⼿を尽くしたこと)を 顧客・社会に説明することが困難 system 安全性 subsystem 安全性 component 安全性 module 安全性 module 安全性 subsystem 安全性 component 安全性 component 安全性 ボトムアップな 論理的議論の 積み上げ system 安全性 subsystem 安全性 component 安全性 module 安全性 module 安全性 subsystem 安全性 component 安全性 component 安全性 テスト・ データ テスト・ データ テスト・ データ トップダウンな 論理的議論の 切り出し (我々の戦略)不確かさの論理的封じ込め • 結論(システム全体の安全性)から始めて, 論理的議論を切り出していく • 論理的議論の届かない詳細は,データ駆動型 で統計的に対処 ✓ ベストエフォート型の論理的論証. ✓ かけられる労⼒が少なくても, それなりのシステム安全性保証が得られる. (トップダウン型のため. 論理的議論の度合いは少なくなるが) ✓ 論理的論証の説明能⼒. ⾃動運転などの新技術の信頼樹⽴・社会受容 のため必須
  • 55. 蓮尾 ⼀郎(国⽴情報学研究所) (純粋に)論理ベースの システム安全性保証 • ソフトウェア科学で伝統的な 形式検証のアプローチ • システム詳細の数学的モデリングからはじめ て,論理的結論を積み上げ ✓ 議論のすべてを論理的にトレース可能. 説明可能性,信頼 ✘ 現代のICTシステムは複雑 ➜ システム全体の安全性という 最終結論まで届かない ✘ しかも,最終結論に届くまでは システム品質保証の度合いはゼロ. 効⽤が⾮ゼロになるまでの労⼒が巨⼤ system 安全性 テストやデータ による 統計的保証 (純粋に)データ駆動型の システム安全性保証 (例)⾃動運転: 「⾛⾏XXマイルあたり事故1件」 ✓ スケーラビリティ. ビッグデータを⾃動で統計的処理 ✘ 安全性(及び,安全性保証のため に必要な⼿を尽くしたこと)を 顧客・社会に説明することが困難 system 安全性 subsystem 安全性 component 安全性 module 安全性 module 安全性 subsystem 安全性 component 安全性 component 安全性 ボトムアップな 論理的議論の 積み上げ system 安全性 subsystem 安全性 component 安全性 module 安全性 module 安全性 subsystem 安全性 component 安全性 component 安全性 テスト・ データ テスト・ データ テスト・ データ トップダウンな 論理的議論の 切り出し (我々の戦略)不確かさの論理的封じ込め • 結論(システム全体の安全性)から始めて, 論理的議論を切り出していく • 論理的議論の届かない詳細は,データ駆動型 で統計的に対処 ✓ ベストエフォート型の論理的論証. ✓ かけられる労⼒が少なくても, それなりのシステム安全性保証が得られる. (トップダウン型のため. 論理的議論の度合いは少なくなるが) ✓ 論理的論証の説明能⼒. ⾃動運転などの新技術の信頼樹⽴・社会受容 のため必須 ⾃動運転安全性の形式検証 • 完遂できれば,安全性に数学的証明 という最強の保証が与えられる • しかし,モデル不在,システム複雑 さ等の課題により, 完遂への道のりは果てしなく⻑い • (cf. 航空宇宙における形式検証) ⾃動運転の数学的安全ルール • 安全性という定理を, 「各⾞がこのルールを満たせば安 全」という仮定・公理まで分解 • ルール遵守そのものは証明せず ➜ テストや実⾏時監視で保証 • 全証明までいかないが, 様々な⽤途には⼗分
  • 56. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み3 安全ルールの適⽤例: RSS 安全ルールの安全アーキテクチャ実装 • RSS 安全ルールの有望な応⽤の⼀つ.実⾞に実装して安全性保証を実現 56 • Concerns: progress, comfort, fuel efficiency, safety, … • Complicated, potentially with statistical ML components When RSS safety dist. is about to be violated, switch to BC Engage RSS proper response • Maintain safety dist. • Not caring progress, comfort, … RSS と simplex architecture RSS は⾃然に安全アーキテクチャと対応する • AC は⼀般の⾃動運転 planner (サンプリング,最適化,機械学習,… è ブラックボックス) • DM は RSS 安全条件 C をモニタ (安全条件充⾜がギリギリ ➜ BC に切り替え) • BC は RSS proper response P による制御 (乗り⼼地等を忘れて安全側に振り切る) 安全アーキテクチャの⼀般論 (Simplex architecure) • 普段は AC で制御. • AC は複雑,多様な性能指標を追求 • safety-critical な状況では, 適切な switching (DM) によりBCで制御. • BC は単純,安全性のみを追求 ➜ AC がブラックボックスだとしても, システム全体としては安全性を保証できる! 我々は RSS の実⽤化を⽀える 数学的基盤の研究を推進中. 関連: [Kolcak+, TACASʼ20]
  • 57. 蓮尾 ⼀郎(国⽴情報学研究所) 取り組み3 ⾃動運転の数学的安全ルール: 特徴 57 我々は RSS の実⽤化を⽀える 数学的基盤の研究を推進中. 関連: [Kolcak+, TACASʼ20] 数学的安全ルール, RSS テスト&統計 ⾛⾏時安全証明 安全性保証の内容 「このルールに従う限り無事故」 という数学的証明. 論理的安全性保証 多数のテストケース試⾏による 経験論的安全性保証 ⾃動運転コントローラの制御戦略 を詳細にオンライン安全性証明 取り組み主体 • Intel/Mobileye • IEEE P2846 • … • 多数の公的プロジェクト PEGASUS projekt (独) SAKURA project (⽇) など • ⾃動運転 V&V 企業 Fortellix, five, cognata など • 規格化団体 UL 4600, ISO/PAS 8800 など • 制御理論・物理情報システム 研究コミュニティ [Pek & Althoff, IROSʼ18]など ⽤途 安全性保証+論理的説明 • 事故責任特定 • ⾃動運転⾞の安全性保証 • ⾃動運転⾞の実⾏時監視 • 安全性基準・規格 • 保険 安全性保証 設計⽀援 (論理的説明のためには 別途⼯夫が必要) 安全性保証 主な⼯数・コスト 事前のルール導出&証明の⼯数 ⾛⾏時の計算コストは⼩さい (ルール適⽤のみ) 事前の実⾛⾏試験 &シミュレーションの⼯数 (スケールがものを⾔う) ⾛⾏時の可達集合計算コスト (⾛⾏時の計算コストは決して軽くない. 〜 PC) SV (subject vehicle) POV (principal other vehicle) In a single-lane same-direction scenario, maintain the safety distance from the preceding car 安全性保証⼿法の強み・⽤途は相補的.全てが必要
  • 58. 蓮尾 ⼀郎(国⽴情報学研究所) アウトライン • ERATO 蓮尾プロジェクトの(簡単な)紹介 • 学術背景: ソフトウェア科学,論理学,… • 形式検証とは? • 形式検証の限界? • 基本アイデア「不確かさの論理的封じ込め」 • 取り組み1: 時相論理ベースのシステム解析ツールスイート • 取り組み2: ⾃動運転危険シナリオ探索アルゴリズム • 取り組み3: ⾃動運転安全ルール策定技術 58 「不確かさの論理的封じ込め」 の具体例を3つ紹介しました
  • 59. 蓮尾 ⼀郎(国⽴情報学研究所) 健全な産学エコシステムの形成 59 産業界の ニーズ・ペイン 学術研究課題に昇華 産業応⽤ 学術研究 ⼀般的解法 ➜ 学術研究成果 産業界の 実課題の解決 • 学術研究はイノベーションへの近道 • ERATOリソースによる世界最⼤級・最先端のソフトウェア研究拠点. 実課題取り組みの経験・ノウハウも多数 • 課題・成果に加え,リソース・⼈材の循環によるエコシステム
  • 60. 蓮尾 ⼀郎(国⽴情報学研究所) まとめ: ソフトウェア研究の成果を ⾃動⾞安全性の実課題へ 論理の⼒を実課題に応⽤ • 形式検証(ボトムアップ)では 届きにくい産業課題を実効的解決 • データ・統計との協働, トップダウン的論理応⽤ • 説明可能性 ➜ ⾃動運転の社会受容 • (ビッグデータ・統計的機械学習 の次は論理!?) 60 ⾃動⾞安全性への3つの取り組み • 確かなニーズに応える 最先端のソフトウェア研究成果 • ⼯数ニアゼロ(取り組み1)から, 規格・標準まで(取り組み3) SV (subject vehicle) POV (principal other vehicle) In a single-lane same-direction scenario, maintain the safety distance from the preceding car ソフトウェア研究の 健全な産学エコシステムへ • そもそもの研究背景: ソフトウェアの数学的理論 (圏論,関数型⾔語,…) 現実との乖離に危機感 ➜ 現在の研究 • ERATO蓮尾プロジェクトの成果の 社会還元の責任(国内最⼤級の公的研究費) • 実課題解決の経験 • (論理+⾃動⾞)は独⾃のフォーカス. エコシステムの構築・発展へ 産業界の ニーズ・ペイン 学術研究課題に昇華 ⼀般的解法 ➜ 学術研究成果 産業界の 実課題の解決