6. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
セーフティケースとは?
• 1988年7月における、北海油田における Piper Alpha 事故167名死亡(229名中)、270億円の被害を生じた
‒ カレン卿による事故調査レポート [1] によりセーフティケースの重要性が強調された。
‒ “詳細な規範的な法令・法規に従うことは安全の保証のためには十分でない”
‒ 沿岸設備(セーフティケース)規制が1992 に導入。
• それ以降、様々な産業分野でセーフティケースによる安全性保証の枠組みが規格として策定され、導入された。
‒ 自動車: ISO 26262
‒ 鉄道: IEC 62425
‒ 航空機: EAD safety case、UAS safety case
‒ 医療機器:FDA Infusion Pump Safety case
‒ セキュリティへの同様なアプローチ( cybersecurity (assurance) case )は、自動車、医療機器などの分野で採用。
• セーフティケースによる安全保証に関する批判
‒ セーフティケースという安全性保証のアプローチに対する批判は、様々な形で示されている [2]。
‒ アフガニスタンで墜落した軍用機 Nimrod に関する報告書では、セーフティ―ケースの品質に関する批判が詳細に述
べられている [3]。
• 自動運転車の安全性保証としてのセーフティケースは Pegasus [4] や Bosch [5] などにおいて採用されている。
[1] The Hon Lord Cullen: The Public Inquiry into the Piper Alpha Disaster, vol. 1 and 2, Dept. of Energy (1990)
[2] N. Leveson: White Paper on the Use of Safety Cases in Certification and Regulation, J. System Safety (2012)
[3] C. Haddon-Cave: The Nimrod Review (2009)
[4] A. Maus: PEGASUS Safety Argument (2019)
[5] S. Burton, et.al: Making the Case for Safety of Machine Learning in Highly Automated Driving. SAFECOMP Workshops,
pp5-16 (2017)
7. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
セーフティケースによる安全保証の重要性
• 2006 年に機内の火災により墜落し、乗務員(14名)が死亡した事例。
• Haddon-Cave の報告書においては、かなり厳しく、セーフティケースの内容、
製造業者の設計のミス、安全分析の不完全さについて指摘されている。
(報告書からの抜粋)
Royal Air Force Hawker Siddeley Nimrod
8. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600 とは?
• ANSI/UL 4600 Standard for Safety for Evaluation of Autonomous Products,
April 1, 2020 (1st edition).
• 自律機械の安全性を受容可能にするための保証要件を規定
‒ 自動運転車の安全を保証するものでは無い。
• セーフティケースを安全保証のアプローチとして大幅に採用。また、その利用方法につ
いて厳密に規定。
• 自動運転に関連する技術・ライフサイクルに対する保証要件を幅広く、詳細に規定。
• ISO 26262 や ISO/PAS 21448 を同時に利用する場合の注意を補足。
‒ このことからも、自動運転車の安全保証を非常に意識したものであることが分かる。
9. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600 の構成
赤字の章について、概要を説明
1 Preface
2 Scope
3 Reference Publications
4 Terms, Definitions, and Document Usage
5 Safety Case and Arguments
6 Risk Assessment
7 Interaction with Humans and Road Users
8 Autonomy Functions and Support
9 Software and System Engineering Processes
10 Dependability
11 Data and Networking
12 Verification, Validation, and Test
13 Tool Qualification, COTS, and Legacy Components
14 Lifecycle Concerns
15 Maintenance
16 Metrics and Safety Performance Indicators (SPIs)
17 Assessment
Annex A (Informative) – Use with ISO 26262 and ISO/PAS 21448
A.1 Compatibility
A.2 Safety Case
A.3 Clause Mapping to ISO 26262:2018
A.4 Clause Mapping to ISO/PAS 21448:2019
10. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600 における保証要件の形式
• 5 Safety Case and Arguments
• 5.1 General
• 5.1.1 The safety case shall be a structured explanation in the form of claims, supported by argument
and evidence, that justifies that the item is acceptably safe for a defined operational design domain,
and covers the item’s lifecycle.
• 5.1.1.1 MANDATORY:
• (略) Addressed by the safety case. Safety case deviations not permitted.
• 5.1.1.2 REQUIRED:
• (略) Addressed by the safety case. Safety case deviation is permitted only if documented by
argument that the prompt element is intrinsically incompatible with the item and/or its safety case.
• 5.1.1.3 HIGHLY RECOMMENDED – N/A
• (略)These are best practices that should be followed, but may be omitted, especially for low risk
items.
• 5.1.1.4 RECOMMENDED – N/A
• (略)These are optional prompt elements documenting good practices and/or suggestions for
helpful techniques.
• 5.1.1.5 CONFORMANCE:
• (略)Conformance with each clause is evaluated via both self-audit and independent assessment
according to Section 17.
今回の調査では、このレベルで評価を実施
11. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600: 5. Safety Case and Arguments
• 元々、セーフティケースによる保証の枠組みに対しては、様々な批判があった。 ANSI/UL 4600 では、そのよう
な懸案に対して、どのような記法を用いるか、記述内容、議論における論理的結果の回避、などについて明確に
規定している。
• セーフティケースのスタイルとフォーマット
‒ 例: 5.2.1 The safety case shall use a defined, consistent format for claims, arguments, and evidence.
• 主張と議論の十分性の保証、虚偽の論理推論の排除
‒ 例: 5.3.3 The safety case shall avoid argument defects.
• 根拠資料の十分性
‒ 例: 5.4.1 All arguments in the safety case shall be supported by evidence.
• リスクの許容水準
‒ 例: 5.5.1 Accepted risks shall be identified
• ライフサイクル全体での安全文化
‒ 例: 5.6.1 The role of safety culture of development, supply chain, maintenance and operations in risk
identification and mitigation shall be identified.
• アイテムのスコープとして、安全論証に含まれる範囲(安全機能、安全分析、運用、他)
‒ 例:5.7.1 The argument shall identify safety related aspects of the item, including potential faults and
failures, encompassing the item lifecycle.
12. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600: 6. Risk Assessment
• 安全分析、基本になるかなり詳細なフォルトモデル(ソフトウェア、通信、他)、ハザー
ド同定と分析手法、リスク評価について規定している。
• リスク評価
‒ 例: 6.1.1 The safety case shall identify risks and argue acceptable mitigation.
• フォルトモデル
‒ 例:6.2.1 The argument shall define a fault model for safety related aspects of
the item.
• ハザード
‒ 例:6.3.1 Potentially relevant hazards shall be identified.
• リスク評価
‒ 例:6.4.1 Each identified hazard shall be given a criticality level and assigned
an initial risk assuming the absence of mitigation.
13. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ANSI/UL 4600: 8. Autonomy Functions and Support
• 自律性に関するハザード(自律性に関するODD (Operational Design Domain)、センサー、アルゴリズム、計画立案、他)、
ODD記述(環境、ODDバイオレーション、他)、センサー関係(パフォーマンス、冗長性、他)について規定している。
• 一般自律性パイプライン
‒ 例: 8.1.1 Hazards related to autonomy have been identified and mitigated.
• ODD
‒ 例:8.2.1 The Operational Design Domain (ODD) shall be defined in an acceptably complete manner.
• センシング
‒ 例:8.3.1 The sensors shall provide acceptably correct, complete, and current data.
• 知覚
‒ 例:8.4.1 Perception shall provide acceptable functional performance.
• 機械学習とAI技術
‒ 例:8.5.1 The safety case shall argue that any machine learning based approach and other “AI” approaches provide acceptable
capabilities.
• 計画立案
‒ 例:8.6.1 The safety case shall argue that planning capabilities are acceptable.
• 予測
‒ 例:8.7.1 Prediction functionality shall have acceptable performance.
• アイテムの軌道とシステム制御
‒ 例: 8.8.1 Trajectory and system control shall have acceptable performance.
• 作動
‒ 例: 8.9.1 Actuator faults shall be detected and mitigated.
• タイミング
‒ 例: 8.10.1 Timing performance of autonomy functions shall be acceptable.
14. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Uber 社による Safety Case Framework –概要-
• Uber ATG (Advanced Technology Group) 社による、一般に公開された自社の自動運転車に対するセ
ーフティケース
‒ 第一版(2019年7月)、最新版(2020年7月)
‒ https://www.uber.com/us/en/atg/safety/safety-case-framework/
• 通常、セーフティケースは一般には公開されないが、自動運転の安全性保証対する自由に利用可能な枠組
みとして公開されている
‒ 著作権の取り扱いは Creative Commons 0
• Goal Structuring Notation (GSN) でモデル化
‒ モジュールは利用せず、フラットな構造
• Safety Case Framework は特定のツール上でモデル化されておらず、図の展開、縮小や検索が出来る
GUI 付きのウェッブページとして公開
• 内容についての詳細な論文等は発表されておらず、唯一の技術資料は medium に公開されているブログ
‒ https://medium.com/@UberATG/uber-atg-issues-enhancements-to-safety-case-framework-
1b5a02c62159
‒ https://medium.com/@UberATG/trailblazing-a-safe-path-forward-e02f5f9ef0cc
• Uber ATG 社は Edge Case Research 社と共同で、 Safety Case Framework の改良と、ANSI/UL
4600 の適合性、関連ツールの開発を実施
‒ https://pr-97195.medium.com/uber-atg-collaborates-with-edge-case-research-to-advance-self-
driving-vehicle-safety-e2350f7eb4b8
15. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Uber 社による Safety Case Framework – 用語の説明 -
• Safety Case Framework
‒ Safety case argument minus specific evidence.
• Self-Driving Vehicle (SDV)
‒ The Self-Driving Vehicle (SDV) refers to the base Vehicle Platform (VP) & the Self-Driving
System (SDS).
• Self-Driving Enterprise (SDE)
‒ The Self Driving Enterprise is the company placing the Self-Driving Vehicle on the road
and includes the offboard products, persons, policies, culture and procedures. The Self
Driving Enterprise shall specifically include safety for vehicle occupants and other road
users.
• Mission Specialist
‒ Mission Specialists are vehicle operators that are highly trained specifically to supervise
the operation of a self driving vehicle.
• Operational Concept
‒ A design document that outlines the expected behavior of an entire ecosystem (including
for example fleets of vehicles, routing infrastructure, services, and entire support teams)
(Safety Case Framework の Glossary から抜粋)
17. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Goal Structuring Notation (GSN)
• セーフティケースなどにおける構造化された議論を記述する表記法。
‒ T. Kelly (U. York)らにより開発 [1]
‒ GSN Community Standard が業界標準 [2]
• システムが満足すべきシステム特性がどのように保証されるかを、木構造(議論構造)で表す。
ゴール : システムが満足するべき
目標の記述
ストラテジー : 論証の方法。ゴール
からサブゴールを導く方針を記述。
ソリューション: 論証を支持する
根拠資料
コンテキスト: 議論の背景や文脈を
記述。
モジュール: (部分)議論構造を格納。
[1] T. Kelly: Arguing Safety: A Systematic Approach to Managing Safety Cases, D. Phil
Thesis, U. York (1998)
[2]ACWG: Goal Structuring Notation Community Standard (ver. 2) (2018)
19. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Safety Case Framework –概要-
【Safety Case Framework の最上位構造】
Change Vision 社のAstah System
Safety を利用して、再モデル化
20. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Safety Case Framework の上位構造の説明
【Safety Case Framework の最上位構造】
+G1: Proficient ハードウェアやソフトウェア故障が無い場合に、意図されたように動作することに
より許容された安全性について論証。
+G2: Fail-Safe は安全分析に関する論証が中心。
+G3:Continuously improving は、運用における改善などについて論証。
+G4: Resilient は自動運転におけるミスユースやサイバーセキュリティにおける論証。
+G5: Trustworthy は規格への準拠、レビュー方式についての論証。
21. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
Safety Case Framework: G1 の説明
+G1.2: SDEは複雑な高度な安全システムの適切な開発プロセスを利用
+G1.2: SDVの設計は定義されたODDにおいて運用される適切な頑健さを持つ
+G1.3: SDVの運用コンセプトに従った自動運転運用のための適切なテストとリリース
+G1.4: 自動運転車の運用コンセプト(Operational Concept)に従った運用
+G1.5: 自動運転車に対する全ての適用可能な法規、ガイドラインへの対処
24. copyright@2020 CAV Technologies Co., Ltd. all rights reserved.
ギャップ分析:適合性確認に関する課題(評価の基準)
7.1.1 The safety case shall argue that hazards and risk involving
human interaction have been identified.
G4.2.1.1 Sources of rider and road user reasonably foreseeable
misuse are identified.
以下は、適合していると判定した箇所。ただし、 misuse は hazard や risk の
一部と厳密に解釈すれば、不十分な主張と評価することも可能。
充分に適合していると判断。
16.2.5 SPIs that relate to safety culture shall be defined.
G3.2.4 Safety performance indicators are defined for Self-Driving
Enterprise safety culture.
[ANSI/UL 4600]
[ANSI/UL 4600]
[Safety Case Framework]
[Safety Case Framework]