SlideShare une entreprise Scribd logo
1  sur  30
Télécharger pour lire hors ligne
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
SCN-OC 2020
UBER 社の自動運転車のセーフティケースと ANSI/UL 4600 との適合性ギャップ分析
(株)シーエーブイテクノロジーズ
田口研治
2020年11月25日
(国立情報学研究所 アーキテクチャ科学研究系 石川冬樹准教授との共同研究)
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
代表取締役社長(田口研治)紹介
【経歴】
(株)シーエーブイテクノロジーズ 代表取締役社長 2011年4月(設立) ~
産業技術総合研究所 招聘研究員 2010年4月~2018年1月
産業界における11年間の経験
– ソフトウェア業界における研究開発・コンサルティング
大学・研究機関での20 年間の経験
– 日本の大学 教員 (3年間) 九州大、他
– 海外の大学 教員 (5年間) Uppsala 大 (Sweden), Bradford 大 (UK)
– 研究機関(12年間) 国立情報学研究所(特任教授)、産業技術総合研究所(招聘研究員)
– 非常勤講師 京都大学、慶応大学、名古屋工業大学
【規格、国際会議関連】
 International Conference on Formal Engineering Methods 2012 program co-chair(終了)
 SICE 認証工学 WG 主査 (終了)
 FP7 OPENCOSS プロジェクトの External Advisory Board Member (終了)
 JASPAR 機能安全ワーキング 安全論証開発グループ (2016年度) (終了)
 IEC TC65/WG 20 (Framework to bridge the requirements for safety and security) Expert (終了)
 International Workshop on Assurance Cases for Software-intensive Systems (2017) Program co-chair
(終了)
 OMG System Assurance Platform Task Force co-chair(終了)
 QA4AI (AI プロダクト品質保証コンソーシアム)メンバー
 Formal Methods Europe Education sub-committee member
【専門分野】
+高信頼システム開発方法論(形式検証、国際規格認証、システム保証、安全・セキュリティ分析方法論)
+安全工学、システムアシュアランス、形式手法、ソフトウェア工学に関する、多くの主要な国際会議の PC等 を歴任
(SAFECOMP ’20, ‘21)
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
安全論証に関する実績
• 企業との共同研究・業界活動
• 無線式列車制御システムの安全・セキュリティ評価・規格適合性支援(産総研在籍中)
• JasPar 安全論証開発グループ メンバー(終了)
• ツール開発
• 安全論証( GSN記述)から安全ケース(ドキュメント)生成ツール試作(産総研在籍中)
• 学会活動
• プログラム委員
• アシュアランスケースに関する国際ワークショップ ASSURE (International Workshop on Assurance Cases for Software-
intensive Systems) に第一回目から関与(プログラム委員、共同座長)
• 国際標準・規格・ガイドライン
• アシュアランスケースの国際規格 OMG SACM (Structured Assurance Case Metamodel) RTF(Revision Task Force)委
員
• EU FP7 OPENCOSS プロジェクトの External Advisory Board Member
• QA4AI (Quality Assurance for Artificial Intelligence) メンバー
• SICE認証工学WG主査
• 講演
• 機能安全とその保証に関する理論的枠組み、 ZIPC ユーザ会 2010
• RAMS 認証とセーフティケース、第11回クリティカルソフトウェアワークショップ(WOCS2) 2014
• 安全性、信頼性、セキュリティ保証のための枠組み、 Automotive Software Frontier 2016
• ビデオ
• 「アシュアランス・セーフティーケース概論」〜歴史的背景と制度〜 (2015)
• https://ja.areyoumodeling.com/2015/02/20/assurance_safetycase/
• 論文
• Parameterised Argument Structure for GSN Patterns, QSIC 2011
• Linking Traceability with GSN, ASSURE 2014
• Supporting Certification of Railway Standard IEC 62278/EN 50126 (RAMS) Using GSN, SICE Annual Conference
2014
• Safe & Sec Case Patterns., ASSURE 2015
• 学生指導
• 博士号 外部審査委員, Linling Sun of University of York (UK), “Establishing Confidence in Safety Assessment
Evidence” (2012) (Supervisor: Tim Kelly)
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
著書(編者、著者)
Integrated Formal Methods (iFM) 国際会議設立(1999年)。共同編者
International Conference on Formal Engineering Methods (ICFEM) 国際会議
2012年。共同編者
ソフトウェア科学基礎、近代科学社 2008年。共同著者
ACM SIGCSE, inRoads Bulletin, 2009年。共同編者
(Special Issue on Formal Methods Education and Training)
セキュリティ要求工学の実効性、情報処理学会学会誌 2009年。共同編者
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
はじめに: 講演の概要
• 本講演の概要
‒ ANSI/UL 4600 の概要
‒ Uber AGT 社の Safety Case Framework の概要
‒ Safety Case Framework がどの程度、 ANSI/UL 4600 に適合しているかのギャップ分析の結果
‒ 今後の予定
• 背景
‒ 自動運転車の安全性保証のための枠組みとしてセーフティケースが注目されている(例: Pegasus、
Sakura)。しかし、その枠組みについては、全てが公開されておらず、公開されている資料を見ても、
必ずしも分かりやすいものでは無い。
‒ 唯一公開されている自動運転車の安全性保証に関する Uber 社の Safety Case Framework につ
いて調査を実施。
‒ 自動運転を含む、自律機械に関する安全性保証については、ANSI/UL 4600 が今年に発行されたの
で調査を実施。
‒ その中で、Uber 社のSafety Case Framework がどこまで ANSI/UL 4600 に適合しているか
を評価
 自動運転車のセーフティケースがどこまで、規格に適合しているかを調査することにより、どのような
セーフティケースが自動運転の安全性を保証する安全論証として適しているかを調査
注:Safety Case Framework のセーフティケースとしての妥当性や安全保証の範囲などを評価
している訳では無い
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
セーフティケースとは?
• 1988年7月における、北海油田における Piper Alpha 事故167名死亡(229名中)、270億円の被害を生じた
‒ カレン卿による事故調査レポート [1] によりセーフティケースの重要性が強調された。
‒ “詳細な規範的な法令・法規に従うことは安全の保証のためには十分でない”
‒ 沿岸設備(セーフティケース)規制が1992 に導入。
• それ以降、様々な産業分野でセーフティケースによる安全性保証の枠組みが規格として策定され、導入された。
‒ 自動車: ISO 26262
‒ 鉄道: IEC 62425
‒ 航空機: EAD safety case、UAS safety case
‒ 医療機器:FDA Infusion Pump Safety case
‒ セキュリティへの同様なアプローチ( cybersecurity (assurance) case )は、自動車、医療機器などの分野で採用。
• セーフティケースによる安全保証に関する批判
‒ セーフティケースという安全性保証のアプローチに対する批判は、様々な形で示されている [2]。
‒ アフガニスタンで墜落した軍用機 Nimrod に関する報告書では、セーフティ―ケースの品質に関する批判が詳細に述
べられている [3]。
• 自動運転車の安全性保証としてのセーフティケースは Pegasus [4] や Bosch [5] などにおいて採用されている。
[1] The Hon Lord Cullen: The Public Inquiry into the Piper Alpha Disaster, vol. 1 and 2, Dept. of Energy (1990)
[2] N. Leveson: White Paper on the Use of Safety Cases in Certification and Regulation, J. System Safety (2012)
[3] C. Haddon-Cave: The Nimrod Review (2009)
[4] A. Maus: PEGASUS Safety Argument (2019)
[5] S. Burton, et.al: Making the Case for Safety of Machine Learning in Highly Automated Driving. SAFECOMP Workshops,
pp5-16 (2017)
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
セーフティケースによる安全保証の重要性
• 2006 年に機内の火災により墜落し、乗務員(14名)が死亡した事例。
• Haddon-Cave の報告書においては、かなり厳しく、セーフティケースの内容、
製造業者の設計のミス、安全分析の不完全さについて指摘されている。
(報告書からの抜粋)
Royal Air Force Hawker Siddeley Nimrod
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600 とは?
• ANSI/UL 4600 Standard for Safety for Evaluation of Autonomous Products,
April 1, 2020 (1st edition).
• 自律機械の安全性を受容可能にするための保証要件を規定
‒ 自動運転車の安全を保証するものでは無い。
• セーフティケースを安全保証のアプローチとして大幅に採用。また、その利用方法につ
いて厳密に規定。
• 自動運転に関連する技術・ライフサイクルに対する保証要件を幅広く、詳細に規定。
• ISO 26262 や ISO/PAS 21448 を同時に利用する場合の注意を補足。
‒ このことからも、自動運転車の安全保証を非常に意識したものであることが分かる。
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600 の構成
赤字の章について、概要を説明
1 Preface
2 Scope
3 Reference Publications
4 Terms, Definitions, and Document Usage
5 Safety Case and Arguments
6 Risk Assessment
7 Interaction with Humans and Road Users
8 Autonomy Functions and Support
9 Software and System Engineering Processes
10 Dependability
11 Data and Networking
12 Verification, Validation, and Test
13 Tool Qualification, COTS, and Legacy Components
14 Lifecycle Concerns
15 Maintenance
16 Metrics and Safety Performance Indicators (SPIs)
17 Assessment
Annex A (Informative) – Use with ISO 26262 and ISO/PAS 21448
A.1 Compatibility
A.2 Safety Case
A.3 Clause Mapping to ISO 26262:2018
A.4 Clause Mapping to ISO/PAS 21448:2019
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600 における保証要件の形式
• 5 Safety Case and Arguments
• 5.1 General
• 5.1.1 The safety case shall be a structured explanation in the form of claims, supported by argument
and evidence, that justifies that the item is acceptably safe for a defined operational design domain,
and covers the item’s lifecycle.
• 5.1.1.1 MANDATORY:
• (略) Addressed by the safety case. Safety case deviations not permitted.
• 5.1.1.2 REQUIRED:
• (略) Addressed by the safety case. Safety case deviation is permitted only if documented by
argument that the prompt element is intrinsically incompatible with the item and/or its safety case.
• 5.1.1.3 HIGHLY RECOMMENDED – N/A
• (略)These are best practices that should be followed, but may be omitted, especially for low risk
items.
• 5.1.1.4 RECOMMENDED – N/A
• (略)These are optional prompt elements documenting good practices and/or suggestions for
helpful techniques.
• 5.1.1.5 CONFORMANCE:
• (略)Conformance with each clause is evaluated via both self-audit and independent assessment
according to Section 17.
今回の調査では、このレベルで評価を実施
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600: 5. Safety Case and Arguments
• 元々、セーフティケースによる保証の枠組みに対しては、様々な批判があった。 ANSI/UL 4600 では、そのよう
な懸案に対して、どのような記法を用いるか、記述内容、議論における論理的結果の回避、などについて明確に
規定している。
• セーフティケースのスタイルとフォーマット
‒ 例: 5.2.1 The safety case shall use a defined, consistent format for claims, arguments, and evidence.
• 主張と議論の十分性の保証、虚偽の論理推論の排除
‒ 例: 5.3.3 The safety case shall avoid argument defects.
• 根拠資料の十分性
‒ 例: 5.4.1 All arguments in the safety case shall be supported by evidence.
• リスクの許容水準
‒ 例: 5.5.1 Accepted risks shall be identified
• ライフサイクル全体での安全文化
‒ 例: 5.6.1 The role of safety culture of development, supply chain, maintenance and operations in risk
identification and mitigation shall be identified.
• アイテムのスコープとして、安全論証に含まれる範囲(安全機能、安全分析、運用、他)
‒ 例:5.7.1 The argument shall identify safety related aspects of the item, including potential faults and
failures, encompassing the item lifecycle.
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600: 6. Risk Assessment
• 安全分析、基本になるかなり詳細なフォルトモデル(ソフトウェア、通信、他)、ハザー
ド同定と分析手法、リスク評価について規定している。
• リスク評価
‒ 例: 6.1.1 The safety case shall identify risks and argue acceptable mitigation.
• フォルトモデル
‒ 例:6.2.1 The argument shall define a fault model for safety related aspects of
the item.
• ハザード
‒ 例:6.3.1 Potentially relevant hazards shall be identified.
• リスク評価
‒ 例:6.4.1 Each identified hazard shall be given a criticality level and assigned
an initial risk assuming the absence of mitigation.
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600: 8. Autonomy Functions and Support
• 自律性に関するハザード(自律性に関するODD (Operational Design Domain)、センサー、アルゴリズム、計画立案、他)、
ODD記述(環境、ODDバイオレーション、他)、センサー関係(パフォーマンス、冗長性、他)について規定している。
• 一般自律性パイプライン
‒ 例: 8.1.1 Hazards related to autonomy have been identified and mitigated.
• ODD
‒ 例:8.2.1 The Operational Design Domain (ODD) shall be defined in an acceptably complete manner.
• センシング
‒ 例:8.3.1 The sensors shall provide acceptably correct, complete, and current data.
• 知覚
‒ 例:8.4.1 Perception shall provide acceptable functional performance.
• 機械学習とAI技術
‒ 例:8.5.1 The safety case shall argue that any machine learning based approach and other “AI” approaches provide acceptable
capabilities.
• 計画立案
‒ 例:8.6.1 The safety case shall argue that planning capabilities are acceptable.
• 予測
‒ 例:8.7.1 Prediction functionality shall have acceptable performance.
• アイテムの軌道とシステム制御
‒ 例: 8.8.1 Trajectory and system control shall have acceptable performance.
• 作動
‒ 例: 8.9.1 Actuator faults shall be detected and mitigated.
• タイミング
‒ 例: 8.10.1 Timing performance of autonomy functions shall be acceptable.
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Uber 社による Safety Case Framework –概要-
• Uber ATG (Advanced Technology Group) 社による、一般に公開された自社の自動運転車に対するセ
ーフティケース
‒ 第一版(2019年7月)、最新版(2020年7月)
‒ https://www.uber.com/us/en/atg/safety/safety-case-framework/
• 通常、セーフティケースは一般には公開されないが、自動運転の安全性保証対する自由に利用可能な枠組
みとして公開されている
‒ 著作権の取り扱いは Creative Commons 0
• Goal Structuring Notation (GSN) でモデル化
‒ モジュールは利用せず、フラットな構造
• Safety Case Framework は特定のツール上でモデル化されておらず、図の展開、縮小や検索が出来る
GUI 付きのウェッブページとして公開
• 内容についての詳細な論文等は発表されておらず、唯一の技術資料は medium に公開されているブログ
‒ https://medium.com/@UberATG/uber-atg-issues-enhancements-to-safety-case-framework-
1b5a02c62159
‒ https://medium.com/@UberATG/trailblazing-a-safe-path-forward-e02f5f9ef0cc
• Uber ATG 社は Edge Case Research 社と共同で、 Safety Case Framework の改良と、ANSI/UL
4600 の適合性、関連ツールの開発を実施
‒ https://pr-97195.medium.com/uber-atg-collaborates-with-edge-case-research-to-advance-self-
driving-vehicle-safety-e2350f7eb4b8
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Uber 社による Safety Case Framework – 用語の説明 -
• Safety Case Framework
‒ Safety case argument minus specific evidence.
• Self-Driving Vehicle (SDV)
‒ The Self-Driving Vehicle (SDV) refers to the base Vehicle Platform (VP) & the Self-Driving
System (SDS).
• Self-Driving Enterprise (SDE)
‒ The Self Driving Enterprise is the company placing the Self-Driving Vehicle on the road
and includes the offboard products, persons, policies, culture and procedures. The Self
Driving Enterprise shall specifically include safety for vehicle occupants and other road
users.
• Mission Specialist
‒ Mission Specialists are vehicle operators that are highly trained specifically to supervise
the operation of a self driving vehicle.
• Operational Concept
‒ A design document that outlines the expected behavior of an entire ecosystem (including
for example fleets of vehicles, routing infrastructure, services, and entire support teams)
(Safety Case Framework の Glossary から抜粋)
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Safety Case Framework における前提条件と注意点
1. Mission Specialist 有・無 双方を含んだセーフティケース。
2. SDV は 安全と一般法規に適合している、市販されている自動車を改造したもの。
3. SDVはライドシェアを目的とし、利用は定義された ODD (Operational Design Domain)
において利用される。
• Mission Specialist は定義から一般のドライバーでは無い。一般的なドライバーを想定す
る場合、通常の自動運転車にそのまま適用できるかどうかの評価は必要。
• SDV は市販の自動車を改造したもの。たとえ、型式認証を取得していても、改造部分にお
いては、安全性の認証が再度必要になると考えられる。
• SDVはライドシェアを目的としているので、利用されるODDは一般商用車とは異なる点につ
いて注意が必要。
‒ ODDは未公開。
(Safety Case Framework の上位構造で定義されている Context から抜粋)
(一般的な自動運転車に適用する際の注意点)
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Goal Structuring Notation (GSN)
• セーフティケースなどにおける構造化された議論を記述する表記法。
‒ T. Kelly (U. York)らにより開発 [1]
‒ GSN Community Standard が業界標準 [2]
• システムが満足すべきシステム特性がどのように保証されるかを、木構造(議論構造)で表す。
ゴール : システムが満足するべき
目標の記述
ストラテジー : 論証の方法。ゴール
からサブゴールを導く方針を記述。
ソリューション: 論証を支持する
根拠資料
コンテキスト: 議論の背景や文脈を
記述。
モジュール: (部分)議論構造を格納。
[1] T. Kelly: Arguing Safety: A Systematic Approach to Managing Safety Cases, D. Phil
Thesis, U. York (1998)
[2]ACWG: Goal Structuring Notation Community Standard (ver. 2) (2018)
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
再モデル化
• Change Vision 社の astah System Safety で再構築
‒ 元々のウェッブページ上のモデルでは再利用が難しい
• GSN のモジュールの多用
‒ 元々のウェッブページ上のモデルは、モデルの展開、畳み込みがGUIで支援されている。
同様の機能を付加するために、モジュールを利用。
‒ モジュール利用については、どの粒度でモジュールにした方が良いかといった確立された
ガイドラインが無いので、可読性が保たれる粒度でモジュールに分割(かなり恣意的)。
• 縦長のGSN図へ構成の変更
‒ GSN図は横長になりやすいが、報告書などに記載する場合に読むのに苦労する場合が
多いので、縦長になるように記述を変更。
• Context や Strategy への番号の割り振り
‒ 振られていなかったので、適時、番号を割り当て。
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Safety Case Framework –概要-
【Safety Case Framework の最上位構造】
Change Vision 社のAstah System
Safety を利用して、再モデル化
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Safety Case Framework の上位構造の説明
【Safety Case Framework の最上位構造】
+G1: Proficient ハードウェアやソフトウェア故障が無い場合に、意図されたように動作することに
より許容された安全性について論証。
+G2: Fail-Safe は安全分析に関する論証が中心。
+G3:Continuously improving は、運用における改善などについて論証。
+G4: Resilient は自動運転におけるミスユースやサイバーセキュリティにおける論証。
+G5: Trustworthy は規格への準拠、レビュー方式についての論証。
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Safety Case Framework: G1 の説明
+G1.2: SDEは複雑な高度な安全システムの適切な開発プロセスを利用
+G1.2: SDVの設計は定義されたODDにおいて運用される適切な頑健さを持つ
+G1.3: SDVの運用コンセプトに従った自動運転運用のための適切なテストとリリース
+G1.4: 自動運転車の運用コンセプト(Operational Concept)に従った運用
+G1.5: 自動運転車に対する全ての適用可能な法規、ガイドラインへの対処
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Safety Case Framework: G1.1 の説明
+G1.1.1.1: システムズエンジニアリングプロセスの確立、標準化、実際の利用
+G1.1.1.2: ハードウェア開発プロセスの確立、標準化、実際の利用
+G1.1.1.3: 製造プロセスの確立、標準化、実際の利用
+G1.1.1.4: 保守/サービスプロセスの確立、標準化、実際の利用
+G1.1.1.5: ソフトウェア開発プロセスの確立、標準化、実際の利用
+G1.1.1.6: 品質管理プロセスの確立、標準化、実際の利用
+G1.1.1.7: サプライチェインプロセスの確立、標準化、実際の利用
+G1.1.1.8: ビークル運用プロセスの確立、標準化、実際の利用
+G1.1.1.9: システム安全エンジニアリングプロセスの確立、標準化、実際の利用
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ギャップ分析:問題点
• 課題:規格との関連
‒ ANSI/UL 4600 に 100% 適合したセーフティケースという主張はされていない。適合するための
セーフティケースとして考えることは出来ない。
 ただし、関連があることは述べられている
‒ 他の重要規格、ガイドラインとの関連性
 自動運転のレベルに対する論証は明確では無い
• 課題:セーフティ―ケースとしての評価
‒ GSNモデルだけでは評価には不十分
 GSNでモデル化されるのは議論構造だけであり、評価に必要な根拠資料については参照され
ているだけで、内容の妥当性については問えない
• 課題:評価方法と評価の範囲
‒ 規格の全ての記述に対して評価をしていない
 保証要件の最上位との適合性を評価
‒ 用語のミスマッチ
 規格で利用されている用語と、セーフティケースにおける言明とのミスマッチ
‒ 規格の解釈の多義性
 規格は一意的に解釈するのが難しい。特に、ANSI/UL 4600 は本年(2020年4月)発行なので
、解釈が一般化していない。
‒ 双方の記述内容が必ずしも正確にマッチせず、かなり主観的な判断で決定している
• 課題:評価対象に関する知識
‒ Uber Safety Case Framework については、唯一の説明はブログであり、正確な理解が難しい
‒ ANSI/UL 4600 のアセサーの資格や経験がある訳ではないので、充分に理解しているとは言い
難い
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ギャップ分析:適合性確認に関する課題(評価の基準)
7.1.1 The safety case shall argue that hazards and risk involving
human interaction have been identified.
G4.2.1.1 Sources of rider and road user reasonably foreseeable
misuse are identified.
以下は、適合していると判定した箇所。ただし、 misuse は hazard や risk の
一部と厳密に解釈すれば、不十分な主張と評価することも可能。
充分に適合していると判断。
16.2.5 SPIs that relate to safety culture shall be defined.
G3.2.4 Safety performance indicators are defined for Self-Driving
Enterprise safety culture.
[ANSI/UL 4600]
[ANSI/UL 4600]
[Safety Case Framework]
[Safety Case Framework]
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ギャップ分析:論証構造に対する適合箇所の分布(抜粋)
6. Risk Assessment
8. Autonomy 8. Autonomy
11. Data and Networking
+ 11.1.1(G2.1.3.1.1.10)
12. V&V and Test
+ 12.4.1(G5.1.3.3.3)
7. Interaction
+ 7.7.1 (G2.1.1.3.1.5)
7. Interaction
13. Tool Qualification
+ 13.1.1(G2.1.1.2.2)
13. Tool Qualification
+ 13.1.1(G2.1.1.2.2)
G1: Proficient G2: Fail-Safe G3: Continuously
Improving
G4: Resilient G5: Trustworthy
5. Safety Case + 5.5.2 (G2.1.1.1) +5.6.1 (G5.1.1)
6. Risk Assessment + 6.1.1 (G2.1.3)
+ 6.2.1 (G2.1.1.2)
7. Interaction with Humans
and Road Users
+ 7.5.1 (G2.1.1.4.12)
+ 7.7.1 (G2.1.1.3.15)
+ 7.1.1 (G4.2.1.1)
8. Autonomy Functions and
Support
+ 8.1.2 (G1.2)
+ 8.2.3 (G1.4.2.2)
+ 8.1.1 (G2.1.1.2.2)
9. Software and System
Engineering Processes
+ 9.1.1 (G1.1)
+ 9.1.2 (G1.1.1.1~G1.1.1.9)
+ 9.3.1 (Sn3.3.1.1.1.2)
10. Dependability + 10.6.5 (G2.1.3.1.1.9) + 10.6.1 (G4.3.4)
+ 10.6..8 (G4.1.1.5.6)
11. Data and Networking + 11.1.1 (G2.1.3.1.1.10)
+ 11.2.4 (G2.1.3.1.1.11)
12. Verification, Validation,
and Test
+ 12.4.1 (G5.1.3.3.3)
13. Tool Qualification,
COTS, and Legacy
Components
+ 13.1.1 (G3.1.1.2.2)
+ 13.3.2 (G2.1.1.4.7,
G2.1.1.4.9, G2.1.1.5.3)
14. Lifecycle Concerns + 14.2.1 (G2.1.3.1.1.18)
+ 14.6.2 (G2.1.3.1)
+ 14.1.1 (G3.3.1.2)
+ 14.5.1 (G3.1.3.1.1.21)
15. Maintenance +15.1.1 (G2.1.1.3.4) + 15.2.1 (G3.3.1.1.7)
+ 15.2.4 (G3.3.1.2)
16. Metrics and Safety
Performance Indicators
(SPIs)
+ 16.2.5 (G3.2.4)
+ 16.3.1 (G3.2.5, G3.2.6)
17. Assessment + 17.1.1 (G5.1.2.3.2)
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ギャップ分析:論証構造に対する適合箇所の分布:評価
+ G3: Continuously Improving が、 14. Lifecycle Concerns,
15. Maintenance を含むのは、ゴールの目的と合致。
+ SPIs は収集されたデータに対して適用されるので、G3 の目的と一致
+安全分析は、様々な技術項目に広範囲に適用
されている。
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ギャップ分析:各章における適合性(寸評)
ANSI/UL 4600 寸評
5. Safety Case 通常のセーフティケースの形式は順守しており、適合性は高い。議論構造だけでは分からない保証要求については、判定
出来なかった(例: 5.4.1、5.4.2)。
6. Risk Assessment 高い適合率。実際ににエビデンスの内容を確認しないと適合しているか分からない保証要件に関しては判定不可(例:
6.4.2, 6.5.2) 。
7. Interaction with Humans and Road
Users
規格では詳細な安全分析の条件が規定されているが、その粒度にあった主張が欠けている点があり、適合率は低い。
8. Autonomy Functions and Support 規格では、明確なアーキテクチャ(知覚、計画立案など)とODD利用を規定しているが、同様な詳細度、範囲の論証に欠
けている。
9. Software and System Engineering
Processes
規格では、ベストプラクティスに関する詳細な要件、安全保証の基準が詳細に規定されているが、そこまでの詳細度での
論証は無く、適合率は低い。
10. Dependability G4 Resilience に対応。 Isolation や redundancy などの冗長化、多重化、障害防止の技術に関する論証が無い点やセ
キュリティとセーフティのコエンジニアリング的な観点が欠けており、適合率は低い。
11. Data and Networking 安全分析に関連する箇所は適用しているが、アイテムに関連するデータフローといった詳細な技術内容については、対応
していない。
12. Verification, Validation, and Test V&Vに関する技術の詳細度、網羅性を持っていないので、適合しない箇所が多い。V&Vと安全論証の連携が明確に示さ
れていない。
13. Tool Qualification, COTS, and Legacy
Components
ツールに関する安全性要件に関しては、適合する箇所が多い。
14. Lifecycle Concerns 想定しているライフサイクルとアクティビティの違いにより、適合性の確認が出来ない箇所があった。
15. Maintenance 安全分析系の保証要件は満たしているが、保守作業に関する詳細な手続きや方法については適合していない。
16. Metrics and Safety Performance
Indicators (SPIs)
SPIは評価メトリックスとして様々な種類が検討されているが、考え方が異なることにより、適合する箇所が少なかった。
17. Assessment 認証のための枠組みの違い(レビュー方式などの記述はあるが、第三者認証を明確に規定していない)、詳細度の違い
(認証方式)などにより適合不可が非常に多い。
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ギャップ分析:結果のまとめ
• Uber 社の Safety Case Framework は、開発体制、ライフサイクル全体のプロセ
ス、認証方式などについて必ずしも、最新の知見に基づいていない箇所があり、適
合していない箇所が多々あった。
‒ 再度の注意:元々、100% の適合を宣言していない。
• Safety Case Frameworkがどこまで規格と適合しているかを判断するためには、
UL 4600 を含めて正確な理解が無いと難しい点が多かった。また、両者の用語の
使い方や記述が異なるので解釈もかなり難しい点があった。本案件においては、
なるべく広義に解釈することで、適合性の判断を行ったが、かなり主観的なものに
ならざるを得なかった。
• 規格への適合性の評価は、アセサーによる評価の違いなど、様々な課題があるの
で、厳密な方法論の確立が望まれる
‒ 認証工学(Certification Engineering)の出番?
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
今後の活動予定
1. 現在までの評価結果について、外部の専門家の協力を得てレビューの実施
2. Safety Case Framework を参考にし、自動運転車の汎用的なセーフティ―ケー
スの構築
3. 理論的基盤の整備(規格への準拠方法)
‒ セーフティケースをどのように記述すれば、規格に準拠できるかについて理論的基盤の確
立
1. に関してご協力頂ける、外部専門家を募集します(条件等については、現在、検討
中)!
連絡先: f-ishikawa@nii.ac.jp, kenji.taguchi@cav-tech.co.jp
copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
(株)シーエーブイテクノロジーズ
CAV Technologies Co., Ltd.
〒 600-8861 京都市下京区七条御所ノ内北町72
番地1 八木ビル301号室
Tel:/Fax: 075-315-6323
E-mail: kenji.taguchi@cav-tech.co.jp
WWW: http://www.cav-tech.co.jp/

Contenu connexe

Tendances

メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)
メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)
メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)
Hironori Washizaki
 
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
takehikoihayashi
 

Tendances (20)

なぜ「マイクロサービス“化”」が必要なのか
なぜ「マイクロサービス“化”」が必要なのかなぜ「マイクロサービス“化”」が必要なのか
なぜ「マイクロサービス“化”」が必要なのか
 
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】
 
小型UAVの運用に必要なリスクマネジメント(公開版)
小型UAVの運用に必要なリスクマネジメント(公開版)小型UAVの運用に必要なリスクマネジメント(公開版)
小型UAVの運用に必要なリスクマネジメント(公開版)
 
Solving Quantitative Reasoning Problems with Language Models
Solving Quantitative Reasoning Problems with Language ModelsSolving Quantitative Reasoning Problems with Language Models
Solving Quantitative Reasoning Problems with Language Models
 
メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)
メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)
メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)
 
なぜあなたのプロジェクトのDevSecOpsは形骸化するのか(CloudNative Security Conference 2022)
なぜあなたのプロジェクトのDevSecOpsは形骸化するのか(CloudNative Security Conference 2022)なぜあなたのプロジェクトのDevSecOpsは形骸化するのか(CloudNative Security Conference 2022)
なぜあなたのプロジェクトのDevSecOpsは形骸化するのか(CloudNative Security Conference 2022)
 
アジャイル開発と品質保証の密なる関係 #quesqa
アジャイル開発と品質保証の密なる関係 #quesqaアジャイル開発と品質保証の密なる関係 #quesqa
アジャイル開発と品質保証の密なる関係 #quesqa
 
メトリクスによるソフトウェア品質評価・改善および製品品質実態
メトリクスによるソフトウェア品質評価・改善および製品品質実態メトリクスによるソフトウェア品質評価・改善および製品品質実態
メトリクスによるソフトウェア品質評価・改善および製品品質実態
 
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
 
DX 時代の新たなソフトウェア工学に向けて: SWEBOK と SE4BS の挑戦
DX 時代の新たなソフトウェア工学に向けて: SWEBOK と SE4BS の挑戦DX 時代の新たなソフトウェア工学に向けて: SWEBOK と SE4BS の挑戦
DX 時代の新たなソフトウェア工学に向けて: SWEBOK と SE4BS の挑戦
 
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
 
Jasst'21 niigata_事例紹介_インプロセスQAをした時のtips
Jasst'21 niigata_事例紹介_インプロセスQAをした時のtipsJasst'21 niigata_事例紹介_インプロセスQAをした時のtips
Jasst'21 niigata_事例紹介_インプロセスQAをした時のtips
 
ドローン用フライトコントローラ「Dronecode」の概要( #KOF2015 )
ドローン用フライトコントローラ「Dronecode」の概要( #KOF2015 )ドローン用フライトコントローラ「Dronecode」の概要( #KOF2015 )
ドローン用フライトコントローラ「Dronecode」の概要( #KOF2015 )
 
ChatGPTの驚くべき対話能力 20230414APR.pdf
ChatGPTの驚くべき対話能力 20230414APR.pdfChatGPTの驚くべき対話能力 20230414APR.pdf
ChatGPTの驚くべき対話能力 20230414APR.pdf
 
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
 
社内勉強会で学んだQA2AQパターンの活用
社内勉強会で学んだQA2AQパターンの活用社内勉強会で学んだQA2AQパターンの活用
社内勉強会で学んだQA2AQパターンの活用
 
品質を加速させるために、テスターを増やす前から考えるべきQMファンネルの話(3D版)
品質を加速させるために、テスターを増やす前から考えるべきQMファンネルの話(3D版)品質を加速させるために、テスターを増やす前から考えるべきQMファンネルの話(3D版)
品質を加速させるために、テスターを増やす前から考えるべきQMファンネルの話(3D版)
 
あじゃいる時代の品質保証 ~DevSQAの提案~
あじゃいる時代の品質保証 ~DevSQAの提案~あじゃいる時代の品質保証 ~DevSQAの提案~
あじゃいる時代の品質保証 ~DevSQAの提案~
 
トヨタ生産方式とアジャイル開発20121210
トヨタ生産方式とアジャイル開発20121210トヨタ生産方式とアジャイル開発20121210
トヨタ生産方式とアジャイル開発20121210
 
modern software qa - draft 1
modern software qa - draft 1modern software qa - draft 1
modern software qa - draft 1
 

Similaire à Uber 社の自動運転車の安全保証のための Safety Case Framework と ANSI/UL 4600 との適合性ギャップ分析: 安全コンセプト記法研究会オープンカンファレンス(SCN-OC 2020 )

TERAS Conference
TERAS ConferenceTERAS Conference
TERAS Conference
Keiju Anada
 
「最低限の安全の検証」について(浅野陽一)
「最低限の安全の検証」について(浅野陽一)「最低限の安全の検証」について(浅野陽一)
「最低限の安全の検証」について(浅野陽一)
robotcare
 
AJ2010_20100409_maegawasensei
AJ2010_20100409_maegawasenseiAJ2010_20100409_maegawasensei
AJ2010_20100409_maegawasensei
Akiko Kosaka
 
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Hironori Washizaki
 
131107 基準コンソーシアム
131107 基準コンソーシアム131107 基準コンソーシアム
131107 基準コンソーシアム
robotcare
 

Similaire à Uber 社の自動運転車の安全保証のための Safety Case Framework と ANSI/UL 4600 との適合性ギャップ分析: 安全コンセプト記法研究会オープンカンファレンス(SCN-OC 2020 ) (20)

セキュリティオペレーション自動化に向けた、基盤技術と共通インターフェースの構築 [ISOC-JP workshop, 2016/05/20]
セキュリティオペレーション自動化に向けた、基盤技術と共通インターフェースの構築  [ISOC-JP workshop, 2016/05/20]セキュリティオペレーション自動化に向けた、基盤技術と共通インターフェースの構築  [ISOC-JP workshop, 2016/05/20]
セキュリティオペレーション自動化に向けた、基盤技術と共通インターフェースの構築 [ISOC-JP workshop, 2016/05/20]
 
SWEBOKにみるソフトウェアエンジニアリングの全体、および、 つながる時代のソフトウェアモデリング&品質
SWEBOKにみるソフトウェアエンジニアリングの全体、および、 つながる時代のソフトウェアモデリング&品質 SWEBOKにみるソフトウェアエンジニアリングの全体、および、 つながる時代のソフトウェアモデリング&品質
SWEBOKにみるソフトウェアエンジニアリングの全体、および、 つながる時代のソフトウェアモデリング&品質
 
SQuaRE に基づくソフトウェア品質評価枠組みと品質実態調査
SQuaRE に基づくソフトウェア品質評価枠組みと品質実態調査SQuaRE に基づくソフトウェア品質評価枠組みと品質実態調査
SQuaRE に基づくソフトウェア品質評価枠組みと品質実態調査
 
SQuaREに基づくソフトウェア品質評価枠組みと品質実態調査
SQuaREに基づくソフトウェア品質評価枠組みと品質実態調査SQuaREに基づくソフトウェア品質評価枠組みと品質実態調査
SQuaREに基づくソフトウェア品質評価枠組みと品質実態調査
 
測定と予測を通じたソフトウェア品質評価と改善の実践的取り組み 公開用
測定と予測を通じたソフトウェア品質評価と改善の実践的取り組み 公開用測定と予測を通じたソフトウェア品質評価と改善の実践的取り組み 公開用
測定と予測を通じたソフトウェア品質評価と改善の実践的取り組み 公開用
 
TERAS Conference
TERAS ConferenceTERAS Conference
TERAS Conference
 
JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...
JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...
JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...
 
4 Enemies of DevSecOps 2016
4 Enemies of DevSecOps 20164 Enemies of DevSecOps 2016
4 Enemies of DevSecOps 2016
 
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)
 
【CVPR 2020 メタサーベイ】Vision Applications and Systems
【CVPR 2020 メタサーベイ】Vision Applications and Systems【CVPR 2020 メタサーベイ】Vision Applications and Systems
【CVPR 2020 メタサーベイ】Vision Applications and Systems
 
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
 
「最低限の安全の検証」について(浅野陽一)
「最低限の安全の検証」について(浅野陽一)「最低限の安全の検証」について(浅野陽一)
「最低限の安全の検証」について(浅野陽一)
 
医療機器サイバーセキュリティにおけるOWASPとCSAの連携
医療機器サイバーセキュリティにおけるOWASPとCSAの連携医療機器サイバーセキュリティにおけるOWASPとCSAの連携
医療機器サイバーセキュリティにおけるOWASPとCSAの連携
 
AJ2010_20100409_maegawasensei
AJ2010_20100409_maegawasenseiAJ2010_20100409_maegawasensei
AJ2010_20100409_maegawasensei
 
Hazop anzen21013
Hazop anzen21013Hazop anzen21013
Hazop anzen21013
 
ソフトウェア品質実態調査報告「測定評価と分析を通じたソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立」
ソフトウェア品質実態調査報告「測定評価と分析を通じたソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立」ソフトウェア品質実態調査報告「測定評価と分析を通じたソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立」
ソフトウェア品質実態調査報告「測定評価と分析を通じたソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立」
 
あなたもなれる 【セキュリティエンジニア】 EC-Council 情報セキュリティエンジニア育成トレーニングコース「 "セキュリティエンジニア" に! お...
あなたもなれる 【セキュリティエンジニア】 EC-Council 情報セキュリティエンジニア育成トレーニングコース「 "セキュリティエンジニア" に! お...あなたもなれる 【セキュリティエンジニア】 EC-Council 情報セキュリティエンジニア育成トレーニングコース「 "セキュリティエンジニア" に! お...
あなたもなれる 【セキュリティエンジニア】 EC-Council 情報セキュリティエンジニア育成トレーニングコース「 "セキュリティエンジニア" に! お...
 
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
 
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱い
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱いSSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱い
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ&プライバシ知識の扱い
 
131107 基準コンソーシアム
131107 基準コンソーシアム131107 基準コンソーシアム
131107 基準コンソーシアム
 

Plus de Kenji Taguchi (6)

Safe & Sec Case Patterns (ASSURE 2015)
Safe & Sec Case Patterns (ASSURE 2015)Safe & Sec Case Patterns (ASSURE 2015)
Safe & Sec Case Patterns (ASSURE 2015)
 
Waise 2021 Uber ATG Safety Case Framework and ANSI/UL 4600
Waise 2021 Uber ATG Safety Case Framework and ANSI/UL 4600Waise 2021 Uber ATG Safety Case Framework and ANSI/UL 4600
Waise 2021 Uber ATG Safety Case Framework and ANSI/UL 4600
 
2020 safecomp-sep18
2020 safecomp-sep182020 safecomp-sep18
2020 safecomp-sep18
 
Linking Traceability with GSN (Assure 2014)
Linking Traceability with GSN (Assure 2014)Linking Traceability with GSN (Assure 2014)
Linking Traceability with GSN (Assure 2014)
 
WESPr 18 presentation slides CAV Taguchi
WESPr 18 presentation slides CAV TaguchiWESPr 18 presentation slides CAV Taguchi
WESPr 18 presentation slides CAV Taguchi
 
Cav Taguchi autosec china slides
Cav Taguchi autosec china slidesCav Taguchi autosec china slides
Cav Taguchi autosec china slides
 

Uber 社の自動運転車の安全保証のための Safety Case Framework と ANSI/UL 4600 との適合性ギャップ分析: 安全コンセプト記法研究会オープンカンファレンス(SCN-OC 2020 )

  • 1. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. SCN-OC 2020 UBER 社の自動運転車のセーフティケースと ANSI/UL 4600 との適合性ギャップ分析 (株)シーエーブイテクノロジーズ 田口研治 2020年11月25日 (国立情報学研究所 アーキテクチャ科学研究系 石川冬樹准教授との共同研究)
  • 2. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. 代表取締役社長(田口研治)紹介 【経歴】 (株)シーエーブイテクノロジーズ 代表取締役社長 2011年4月(設立) ~ 産業技術総合研究所 招聘研究員 2010年4月~2018年1月 産業界における11年間の経験 – ソフトウェア業界における研究開発・コンサルティング 大学・研究機関での20 年間の経験 – 日本の大学 教員 (3年間) 九州大、他 – 海外の大学 教員 (5年間) Uppsala 大 (Sweden), Bradford 大 (UK) – 研究機関(12年間) 国立情報学研究所(特任教授)、産業技術総合研究所(招聘研究員) – 非常勤講師 京都大学、慶応大学、名古屋工業大学 【規格、国際会議関連】  International Conference on Formal Engineering Methods 2012 program co-chair(終了)  SICE 認証工学 WG 主査 (終了)  FP7 OPENCOSS プロジェクトの External Advisory Board Member (終了)  JASPAR 機能安全ワーキング 安全論証開発グループ (2016年度) (終了)  IEC TC65/WG 20 (Framework to bridge the requirements for safety and security) Expert (終了)  International Workshop on Assurance Cases for Software-intensive Systems (2017) Program co-chair (終了)  OMG System Assurance Platform Task Force co-chair(終了)  QA4AI (AI プロダクト品質保証コンソーシアム)メンバー  Formal Methods Europe Education sub-committee member 【専門分野】 +高信頼システム開発方法論(形式検証、国際規格認証、システム保証、安全・セキュリティ分析方法論) +安全工学、システムアシュアランス、形式手法、ソフトウェア工学に関する、多くの主要な国際会議の PC等 を歴任 (SAFECOMP ’20, ‘21)
  • 3. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. 安全論証に関する実績 • 企業との共同研究・業界活動 • 無線式列車制御システムの安全・セキュリティ評価・規格適合性支援(産総研在籍中) • JasPar 安全論証開発グループ メンバー(終了) • ツール開発 • 安全論証( GSN記述)から安全ケース(ドキュメント)生成ツール試作(産総研在籍中) • 学会活動 • プログラム委員 • アシュアランスケースに関する国際ワークショップ ASSURE (International Workshop on Assurance Cases for Software- intensive Systems) に第一回目から関与(プログラム委員、共同座長) • 国際標準・規格・ガイドライン • アシュアランスケースの国際規格 OMG SACM (Structured Assurance Case Metamodel) RTF(Revision Task Force)委 員 • EU FP7 OPENCOSS プロジェクトの External Advisory Board Member • QA4AI (Quality Assurance for Artificial Intelligence) メンバー • SICE認証工学WG主査 • 講演 • 機能安全とその保証に関する理論的枠組み、 ZIPC ユーザ会 2010 • RAMS 認証とセーフティケース、第11回クリティカルソフトウェアワークショップ(WOCS2) 2014 • 安全性、信頼性、セキュリティ保証のための枠組み、 Automotive Software Frontier 2016 • ビデオ • 「アシュアランス・セーフティーケース概論」〜歴史的背景と制度〜 (2015) • https://ja.areyoumodeling.com/2015/02/20/assurance_safetycase/ • 論文 • Parameterised Argument Structure for GSN Patterns, QSIC 2011 • Linking Traceability with GSN, ASSURE 2014 • Supporting Certification of Railway Standard IEC 62278/EN 50126 (RAMS) Using GSN, SICE Annual Conference 2014 • Safe & Sec Case Patterns., ASSURE 2015 • 学生指導 • 博士号 外部審査委員, Linling Sun of University of York (UK), “Establishing Confidence in Safety Assessment Evidence” (2012) (Supervisor: Tim Kelly)
  • 4. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. 著書(編者、著者) Integrated Formal Methods (iFM) 国際会議設立(1999年)。共同編者 International Conference on Formal Engineering Methods (ICFEM) 国際会議 2012年。共同編者 ソフトウェア科学基礎、近代科学社 2008年。共同著者 ACM SIGCSE, inRoads Bulletin, 2009年。共同編者 (Special Issue on Formal Methods Education and Training) セキュリティ要求工学の実効性、情報処理学会学会誌 2009年。共同編者
  • 5. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. はじめに: 講演の概要 • 本講演の概要 ‒ ANSI/UL 4600 の概要 ‒ Uber AGT 社の Safety Case Framework の概要 ‒ Safety Case Framework がどの程度、 ANSI/UL 4600 に適合しているかのギャップ分析の結果 ‒ 今後の予定 • 背景 ‒ 自動運転車の安全性保証のための枠組みとしてセーフティケースが注目されている(例: Pegasus、 Sakura)。しかし、その枠組みについては、全てが公開されておらず、公開されている資料を見ても、 必ずしも分かりやすいものでは無い。 ‒ 唯一公開されている自動運転車の安全性保証に関する Uber 社の Safety Case Framework につ いて調査を実施。 ‒ 自動運転を含む、自律機械に関する安全性保証については、ANSI/UL 4600 が今年に発行されたの で調査を実施。 ‒ その中で、Uber 社のSafety Case Framework がどこまで ANSI/UL 4600 に適合しているか を評価  自動運転車のセーフティケースがどこまで、規格に適合しているかを調査することにより、どのような セーフティケースが自動運転の安全性を保証する安全論証として適しているかを調査 注:Safety Case Framework のセーフティケースとしての妥当性や安全保証の範囲などを評価 している訳では無い
  • 6. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. セーフティケースとは? • 1988年7月における、北海油田における Piper Alpha 事故167名死亡(229名中)、270億円の被害を生じた ‒ カレン卿による事故調査レポート [1] によりセーフティケースの重要性が強調された。 ‒ “詳細な規範的な法令・法規に従うことは安全の保証のためには十分でない” ‒ 沿岸設備(セーフティケース)規制が1992 に導入。 • それ以降、様々な産業分野でセーフティケースによる安全性保証の枠組みが規格として策定され、導入された。 ‒ 自動車: ISO 26262 ‒ 鉄道: IEC 62425 ‒ 航空機: EAD safety case、UAS safety case ‒ 医療機器:FDA Infusion Pump Safety case ‒ セキュリティへの同様なアプローチ( cybersecurity (assurance) case )は、自動車、医療機器などの分野で採用。 • セーフティケースによる安全保証に関する批判 ‒ セーフティケースという安全性保証のアプローチに対する批判は、様々な形で示されている [2]。 ‒ アフガニスタンで墜落した軍用機 Nimrod に関する報告書では、セーフティ―ケースの品質に関する批判が詳細に述 べられている [3]。 • 自動運転車の安全性保証としてのセーフティケースは Pegasus [4] や Bosch [5] などにおいて採用されている。 [1] The Hon Lord Cullen: The Public Inquiry into the Piper Alpha Disaster, vol. 1 and 2, Dept. of Energy (1990) [2] N. Leveson: White Paper on the Use of Safety Cases in Certification and Regulation, J. System Safety (2012) [3] C. Haddon-Cave: The Nimrod Review (2009) [4] A. Maus: PEGASUS Safety Argument (2019) [5] S. Burton, et.al: Making the Case for Safety of Machine Learning in Highly Automated Driving. SAFECOMP Workshops, pp5-16 (2017)
  • 7. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. セーフティケースによる安全保証の重要性 • 2006 年に機内の火災により墜落し、乗務員(14名)が死亡した事例。 • Haddon-Cave の報告書においては、かなり厳しく、セーフティケースの内容、 製造業者の設計のミス、安全分析の不完全さについて指摘されている。 (報告書からの抜粋) Royal Air Force Hawker Siddeley Nimrod
  • 8. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ANSI/UL 4600 とは? • ANSI/UL 4600 Standard for Safety for Evaluation of Autonomous Products, April 1, 2020 (1st edition). • 自律機械の安全性を受容可能にするための保証要件を規定 ‒ 自動運転車の安全を保証するものでは無い。 • セーフティケースを安全保証のアプローチとして大幅に採用。また、その利用方法につ いて厳密に規定。 • 自動運転に関連する技術・ライフサイクルに対する保証要件を幅広く、詳細に規定。 • ISO 26262 や ISO/PAS 21448 を同時に利用する場合の注意を補足。 ‒ このことからも、自動運転車の安全保証を非常に意識したものであることが分かる。
  • 9. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ANSI/UL 4600 の構成 赤字の章について、概要を説明 1 Preface 2 Scope 3 Reference Publications 4 Terms, Definitions, and Document Usage 5 Safety Case and Arguments 6 Risk Assessment 7 Interaction with Humans and Road Users 8 Autonomy Functions and Support 9 Software and System Engineering Processes 10 Dependability 11 Data and Networking 12 Verification, Validation, and Test 13 Tool Qualification, COTS, and Legacy Components 14 Lifecycle Concerns 15 Maintenance 16 Metrics and Safety Performance Indicators (SPIs) 17 Assessment Annex A (Informative) – Use with ISO 26262 and ISO/PAS 21448 A.1 Compatibility A.2 Safety Case A.3 Clause Mapping to ISO 26262:2018 A.4 Clause Mapping to ISO/PAS 21448:2019
  • 10. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ANSI/UL 4600 における保証要件の形式 • 5 Safety Case and Arguments • 5.1 General • 5.1.1 The safety case shall be a structured explanation in the form of claims, supported by argument and evidence, that justifies that the item is acceptably safe for a defined operational design domain, and covers the item’s lifecycle. • 5.1.1.1 MANDATORY: • (略) Addressed by the safety case. Safety case deviations not permitted. • 5.1.1.2 REQUIRED: • (略) Addressed by the safety case. Safety case deviation is permitted only if documented by argument that the prompt element is intrinsically incompatible with the item and/or its safety case. • 5.1.1.3 HIGHLY RECOMMENDED – N/A • (略)These are best practices that should be followed, but may be omitted, especially for low risk items. • 5.1.1.4 RECOMMENDED – N/A • (略)These are optional prompt elements documenting good practices and/or suggestions for helpful techniques. • 5.1.1.5 CONFORMANCE: • (略)Conformance with each clause is evaluated via both self-audit and independent assessment according to Section 17. 今回の調査では、このレベルで評価を実施
  • 11. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ANSI/UL 4600: 5. Safety Case and Arguments • 元々、セーフティケースによる保証の枠組みに対しては、様々な批判があった。 ANSI/UL 4600 では、そのよう な懸案に対して、どのような記法を用いるか、記述内容、議論における論理的結果の回避、などについて明確に 規定している。 • セーフティケースのスタイルとフォーマット ‒ 例: 5.2.1 The safety case shall use a defined, consistent format for claims, arguments, and evidence. • 主張と議論の十分性の保証、虚偽の論理推論の排除 ‒ 例: 5.3.3 The safety case shall avoid argument defects. • 根拠資料の十分性 ‒ 例: 5.4.1 All arguments in the safety case shall be supported by evidence. • リスクの許容水準 ‒ 例: 5.5.1 Accepted risks shall be identified • ライフサイクル全体での安全文化 ‒ 例: 5.6.1 The role of safety culture of development, supply chain, maintenance and operations in risk identification and mitigation shall be identified. • アイテムのスコープとして、安全論証に含まれる範囲(安全機能、安全分析、運用、他) ‒ 例:5.7.1 The argument shall identify safety related aspects of the item, including potential faults and failures, encompassing the item lifecycle.
  • 12. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ANSI/UL 4600: 6. Risk Assessment • 安全分析、基本になるかなり詳細なフォルトモデル(ソフトウェア、通信、他)、ハザー ド同定と分析手法、リスク評価について規定している。 • リスク評価 ‒ 例: 6.1.1 The safety case shall identify risks and argue acceptable mitigation. • フォルトモデル ‒ 例:6.2.1 The argument shall define a fault model for safety related aspects of the item. • ハザード ‒ 例:6.3.1 Potentially relevant hazards shall be identified. • リスク評価 ‒ 例:6.4.1 Each identified hazard shall be given a criticality level and assigned an initial risk assuming the absence of mitigation.
  • 13. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ANSI/UL 4600: 8. Autonomy Functions and Support • 自律性に関するハザード(自律性に関するODD (Operational Design Domain)、センサー、アルゴリズム、計画立案、他)、 ODD記述(環境、ODDバイオレーション、他)、センサー関係(パフォーマンス、冗長性、他)について規定している。 • 一般自律性パイプライン ‒ 例: 8.1.1 Hazards related to autonomy have been identified and mitigated. • ODD ‒ 例:8.2.1 The Operational Design Domain (ODD) shall be defined in an acceptably complete manner. • センシング ‒ 例:8.3.1 The sensors shall provide acceptably correct, complete, and current data. • 知覚 ‒ 例:8.4.1 Perception shall provide acceptable functional performance. • 機械学習とAI技術 ‒ 例:8.5.1 The safety case shall argue that any machine learning based approach and other “AI” approaches provide acceptable capabilities. • 計画立案 ‒ 例:8.6.1 The safety case shall argue that planning capabilities are acceptable. • 予測 ‒ 例:8.7.1 Prediction functionality shall have acceptable performance. • アイテムの軌道とシステム制御 ‒ 例: 8.8.1 Trajectory and system control shall have acceptable performance. • 作動 ‒ 例: 8.9.1 Actuator faults shall be detected and mitigated. • タイミング ‒ 例: 8.10.1 Timing performance of autonomy functions shall be acceptable.
  • 14. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. Uber 社による Safety Case Framework –概要- • Uber ATG (Advanced Technology Group) 社による、一般に公開された自社の自動運転車に対するセ ーフティケース ‒ 第一版(2019年7月)、最新版(2020年7月) ‒ https://www.uber.com/us/en/atg/safety/safety-case-framework/ • 通常、セーフティケースは一般には公開されないが、自動運転の安全性保証対する自由に利用可能な枠組 みとして公開されている ‒ 著作権の取り扱いは Creative Commons 0 • Goal Structuring Notation (GSN) でモデル化 ‒ モジュールは利用せず、フラットな構造 • Safety Case Framework は特定のツール上でモデル化されておらず、図の展開、縮小や検索が出来る GUI 付きのウェッブページとして公開 • 内容についての詳細な論文等は発表されておらず、唯一の技術資料は medium に公開されているブログ ‒ https://medium.com/@UberATG/uber-atg-issues-enhancements-to-safety-case-framework- 1b5a02c62159 ‒ https://medium.com/@UberATG/trailblazing-a-safe-path-forward-e02f5f9ef0cc • Uber ATG 社は Edge Case Research 社と共同で、 Safety Case Framework の改良と、ANSI/UL 4600 の適合性、関連ツールの開発を実施 ‒ https://pr-97195.medium.com/uber-atg-collaborates-with-edge-case-research-to-advance-self- driving-vehicle-safety-e2350f7eb4b8
  • 15. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. Uber 社による Safety Case Framework – 用語の説明 - • Safety Case Framework ‒ Safety case argument minus specific evidence. • Self-Driving Vehicle (SDV) ‒ The Self-Driving Vehicle (SDV) refers to the base Vehicle Platform (VP) & the Self-Driving System (SDS). • Self-Driving Enterprise (SDE) ‒ The Self Driving Enterprise is the company placing the Self-Driving Vehicle on the road and includes the offboard products, persons, policies, culture and procedures. The Self Driving Enterprise shall specifically include safety for vehicle occupants and other road users. • Mission Specialist ‒ Mission Specialists are vehicle operators that are highly trained specifically to supervise the operation of a self driving vehicle. • Operational Concept ‒ A design document that outlines the expected behavior of an entire ecosystem (including for example fleets of vehicles, routing infrastructure, services, and entire support teams) (Safety Case Framework の Glossary から抜粋)
  • 16. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. Safety Case Framework における前提条件と注意点 1. Mission Specialist 有・無 双方を含んだセーフティケース。 2. SDV は 安全と一般法規に適合している、市販されている自動車を改造したもの。 3. SDVはライドシェアを目的とし、利用は定義された ODD (Operational Design Domain) において利用される。 • Mission Specialist は定義から一般のドライバーでは無い。一般的なドライバーを想定す る場合、通常の自動運転車にそのまま適用できるかどうかの評価は必要。 • SDV は市販の自動車を改造したもの。たとえ、型式認証を取得していても、改造部分にお いては、安全性の認証が再度必要になると考えられる。 • SDVはライドシェアを目的としているので、利用されるODDは一般商用車とは異なる点につ いて注意が必要。 ‒ ODDは未公開。 (Safety Case Framework の上位構造で定義されている Context から抜粋) (一般的な自動運転車に適用する際の注意点)
  • 17. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. Goal Structuring Notation (GSN) • セーフティケースなどにおける構造化された議論を記述する表記法。 ‒ T. Kelly (U. York)らにより開発 [1] ‒ GSN Community Standard が業界標準 [2] • システムが満足すべきシステム特性がどのように保証されるかを、木構造(議論構造)で表す。 ゴール : システムが満足するべき 目標の記述 ストラテジー : 論証の方法。ゴール からサブゴールを導く方針を記述。 ソリューション: 論証を支持する 根拠資料 コンテキスト: 議論の背景や文脈を 記述。 モジュール: (部分)議論構造を格納。 [1] T. Kelly: Arguing Safety: A Systematic Approach to Managing Safety Cases, D. Phil Thesis, U. York (1998) [2]ACWG: Goal Structuring Notation Community Standard (ver. 2) (2018)
  • 18. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. 再モデル化 • Change Vision 社の astah System Safety で再構築 ‒ 元々のウェッブページ上のモデルでは再利用が難しい • GSN のモジュールの多用 ‒ 元々のウェッブページ上のモデルは、モデルの展開、畳み込みがGUIで支援されている。 同様の機能を付加するために、モジュールを利用。 ‒ モジュール利用については、どの粒度でモジュールにした方が良いかといった確立された ガイドラインが無いので、可読性が保たれる粒度でモジュールに分割(かなり恣意的)。 • 縦長のGSN図へ構成の変更 ‒ GSN図は横長になりやすいが、報告書などに記載する場合に読むのに苦労する場合が 多いので、縦長になるように記述を変更。 • Context や Strategy への番号の割り振り ‒ 振られていなかったので、適時、番号を割り当て。
  • 19. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. Safety Case Framework –概要- 【Safety Case Framework の最上位構造】 Change Vision 社のAstah System Safety を利用して、再モデル化
  • 20. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. Safety Case Framework の上位構造の説明 【Safety Case Framework の最上位構造】 +G1: Proficient ハードウェアやソフトウェア故障が無い場合に、意図されたように動作することに より許容された安全性について論証。 +G2: Fail-Safe は安全分析に関する論証が中心。 +G3:Continuously improving は、運用における改善などについて論証。 +G4: Resilient は自動運転におけるミスユースやサイバーセキュリティにおける論証。 +G5: Trustworthy は規格への準拠、レビュー方式についての論証。
  • 21. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. Safety Case Framework: G1 の説明 +G1.2: SDEは複雑な高度な安全システムの適切な開発プロセスを利用 +G1.2: SDVの設計は定義されたODDにおいて運用される適切な頑健さを持つ +G1.3: SDVの運用コンセプトに従った自動運転運用のための適切なテストとリリース +G1.4: 自動運転車の運用コンセプト(Operational Concept)に従った運用 +G1.5: 自動運転車に対する全ての適用可能な法規、ガイドラインへの対処
  • 22. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. Safety Case Framework: G1.1 の説明 +G1.1.1.1: システムズエンジニアリングプロセスの確立、標準化、実際の利用 +G1.1.1.2: ハードウェア開発プロセスの確立、標準化、実際の利用 +G1.1.1.3: 製造プロセスの確立、標準化、実際の利用 +G1.1.1.4: 保守/サービスプロセスの確立、標準化、実際の利用 +G1.1.1.5: ソフトウェア開発プロセスの確立、標準化、実際の利用 +G1.1.1.6: 品質管理プロセスの確立、標準化、実際の利用 +G1.1.1.7: サプライチェインプロセスの確立、標準化、実際の利用 +G1.1.1.8: ビークル運用プロセスの確立、標準化、実際の利用 +G1.1.1.9: システム安全エンジニアリングプロセスの確立、標準化、実際の利用
  • 23. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ギャップ分析:問題点 • 課題:規格との関連 ‒ ANSI/UL 4600 に 100% 適合したセーフティケースという主張はされていない。適合するための セーフティケースとして考えることは出来ない。  ただし、関連があることは述べられている ‒ 他の重要規格、ガイドラインとの関連性  自動運転のレベルに対する論証は明確では無い • 課題:セーフティ―ケースとしての評価 ‒ GSNモデルだけでは評価には不十分  GSNでモデル化されるのは議論構造だけであり、評価に必要な根拠資料については参照され ているだけで、内容の妥当性については問えない • 課題:評価方法と評価の範囲 ‒ 規格の全ての記述に対して評価をしていない  保証要件の最上位との適合性を評価 ‒ 用語のミスマッチ  規格で利用されている用語と、セーフティケースにおける言明とのミスマッチ ‒ 規格の解釈の多義性  規格は一意的に解釈するのが難しい。特に、ANSI/UL 4600 は本年(2020年4月)発行なので 、解釈が一般化していない。 ‒ 双方の記述内容が必ずしも正確にマッチせず、かなり主観的な判断で決定している • 課題:評価対象に関する知識 ‒ Uber Safety Case Framework については、唯一の説明はブログであり、正確な理解が難しい ‒ ANSI/UL 4600 のアセサーの資格や経験がある訳ではないので、充分に理解しているとは言い 難い
  • 24. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ギャップ分析:適合性確認に関する課題(評価の基準) 7.1.1 The safety case shall argue that hazards and risk involving human interaction have been identified. G4.2.1.1 Sources of rider and road user reasonably foreseeable misuse are identified. 以下は、適合していると判定した箇所。ただし、 misuse は hazard や risk の 一部と厳密に解釈すれば、不十分な主張と評価することも可能。 充分に適合していると判断。 16.2.5 SPIs that relate to safety culture shall be defined. G3.2.4 Safety performance indicators are defined for Self-Driving Enterprise safety culture. [ANSI/UL 4600] [ANSI/UL 4600] [Safety Case Framework] [Safety Case Framework]
  • 25. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ギャップ分析:論証構造に対する適合箇所の分布(抜粋) 6. Risk Assessment 8. Autonomy 8. Autonomy 11. Data and Networking + 11.1.1(G2.1.3.1.1.10) 12. V&V and Test + 12.4.1(G5.1.3.3.3) 7. Interaction + 7.7.1 (G2.1.1.3.1.5) 7. Interaction 13. Tool Qualification + 13.1.1(G2.1.1.2.2) 13. Tool Qualification + 13.1.1(G2.1.1.2.2) G1: Proficient G2: Fail-Safe G3: Continuously Improving G4: Resilient G5: Trustworthy 5. Safety Case + 5.5.2 (G2.1.1.1) +5.6.1 (G5.1.1) 6. Risk Assessment + 6.1.1 (G2.1.3) + 6.2.1 (G2.1.1.2) 7. Interaction with Humans and Road Users + 7.5.1 (G2.1.1.4.12) + 7.7.1 (G2.1.1.3.15) + 7.1.1 (G4.2.1.1) 8. Autonomy Functions and Support + 8.1.2 (G1.2) + 8.2.3 (G1.4.2.2) + 8.1.1 (G2.1.1.2.2) 9. Software and System Engineering Processes + 9.1.1 (G1.1) + 9.1.2 (G1.1.1.1~G1.1.1.9) + 9.3.1 (Sn3.3.1.1.1.2) 10. Dependability + 10.6.5 (G2.1.3.1.1.9) + 10.6.1 (G4.3.4) + 10.6..8 (G4.1.1.5.6) 11. Data and Networking + 11.1.1 (G2.1.3.1.1.10) + 11.2.4 (G2.1.3.1.1.11) 12. Verification, Validation, and Test + 12.4.1 (G5.1.3.3.3) 13. Tool Qualification, COTS, and Legacy Components + 13.1.1 (G3.1.1.2.2) + 13.3.2 (G2.1.1.4.7, G2.1.1.4.9, G2.1.1.5.3) 14. Lifecycle Concerns + 14.2.1 (G2.1.3.1.1.18) + 14.6.2 (G2.1.3.1) + 14.1.1 (G3.3.1.2) + 14.5.1 (G3.1.3.1.1.21) 15. Maintenance +15.1.1 (G2.1.1.3.4) + 15.2.1 (G3.3.1.1.7) + 15.2.4 (G3.3.1.2) 16. Metrics and Safety Performance Indicators (SPIs) + 16.2.5 (G3.2.4) + 16.3.1 (G3.2.5, G3.2.6) 17. Assessment + 17.1.1 (G5.1.2.3.2)
  • 26. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ギャップ分析:論証構造に対する適合箇所の分布:評価 + G3: Continuously Improving が、 14. Lifecycle Concerns, 15. Maintenance を含むのは、ゴールの目的と合致。 + SPIs は収集されたデータに対して適用されるので、G3 の目的と一致 +安全分析は、様々な技術項目に広範囲に適用 されている。
  • 27. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ギャップ分析:各章における適合性(寸評) ANSI/UL 4600 寸評 5. Safety Case 通常のセーフティケースの形式は順守しており、適合性は高い。議論構造だけでは分からない保証要求については、判定 出来なかった(例: 5.4.1、5.4.2)。 6. Risk Assessment 高い適合率。実際ににエビデンスの内容を確認しないと適合しているか分からない保証要件に関しては判定不可(例: 6.4.2, 6.5.2) 。 7. Interaction with Humans and Road Users 規格では詳細な安全分析の条件が規定されているが、その粒度にあった主張が欠けている点があり、適合率は低い。 8. Autonomy Functions and Support 規格では、明確なアーキテクチャ(知覚、計画立案など)とODD利用を規定しているが、同様な詳細度、範囲の論証に欠 けている。 9. Software and System Engineering Processes 規格では、ベストプラクティスに関する詳細な要件、安全保証の基準が詳細に規定されているが、そこまでの詳細度での 論証は無く、適合率は低い。 10. Dependability G4 Resilience に対応。 Isolation や redundancy などの冗長化、多重化、障害防止の技術に関する論証が無い点やセ キュリティとセーフティのコエンジニアリング的な観点が欠けており、適合率は低い。 11. Data and Networking 安全分析に関連する箇所は適用しているが、アイテムに関連するデータフローといった詳細な技術内容については、対応 していない。 12. Verification, Validation, and Test V&Vに関する技術の詳細度、網羅性を持っていないので、適合しない箇所が多い。V&Vと安全論証の連携が明確に示さ れていない。 13. Tool Qualification, COTS, and Legacy Components ツールに関する安全性要件に関しては、適合する箇所が多い。 14. Lifecycle Concerns 想定しているライフサイクルとアクティビティの違いにより、適合性の確認が出来ない箇所があった。 15. Maintenance 安全分析系の保証要件は満たしているが、保守作業に関する詳細な手続きや方法については適合していない。 16. Metrics and Safety Performance Indicators (SPIs) SPIは評価メトリックスとして様々な種類が検討されているが、考え方が異なることにより、適合する箇所が少なかった。 17. Assessment 認証のための枠組みの違い(レビュー方式などの記述はあるが、第三者認証を明確に規定していない)、詳細度の違い (認証方式)などにより適合不可が非常に多い。
  • 28. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. ギャップ分析:結果のまとめ • Uber 社の Safety Case Framework は、開発体制、ライフサイクル全体のプロセ ス、認証方式などについて必ずしも、最新の知見に基づいていない箇所があり、適 合していない箇所が多々あった。 ‒ 再度の注意:元々、100% の適合を宣言していない。 • Safety Case Frameworkがどこまで規格と適合しているかを判断するためには、 UL 4600 を含めて正確な理解が無いと難しい点が多かった。また、両者の用語の 使い方や記述が異なるので解釈もかなり難しい点があった。本案件においては、 なるべく広義に解釈することで、適合性の判断を行ったが、かなり主観的なものに ならざるを得なかった。 • 規格への適合性の評価は、アセサーによる評価の違いなど、様々な課題があるの で、厳密な方法論の確立が望まれる ‒ 認証工学(Certification Engineering)の出番?
  • 29. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. 今後の活動予定 1. 現在までの評価結果について、外部の専門家の協力を得てレビューの実施 2. Safety Case Framework を参考にし、自動運転車の汎用的なセーフティ―ケー スの構築 3. 理論的基盤の整備(規格への準拠方法) ‒ セーフティケースをどのように記述すれば、規格に準拠できるかについて理論的基盤の確 立 1. に関してご協力頂ける、外部専門家を募集します(条件等については、現在、検討 中)! 連絡先: f-ishikawa@nii.ac.jp, kenji.taguchi@cav-tech.co.jp
  • 30. copyright@2020 CAV Technologies Co., Ltd. all rights reserved. (株)シーエーブイテクノロジーズ CAV Technologies Co., Ltd. 〒 600-8861 京都市下京区七条御所ノ内北町72 番地1 八木ビル301号室 Tel:/Fax: 075-315-6323 E-mail: kenji.taguchi@cav-tech.co.jp WWW: http://www.cav-tech.co.jp/