Data Closed Loop in Simulation Test of Autonomous Driving
•
0 j'aime•90 vues
autonomous driving, safety-critical scenario, data closed loop, domain generation, digital twin, autolabeling, corner case ,simulation
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Data Closed Loop in Simulation Test of Autonomous Driving
Similaire à Data Closed Loop in Simulation Test of Autonomous Driving (20)
Plus de Yu Huang
Plus de Yu Huang (20)
Data Closed Loop in Simulation Test of Autonomous Driving
- 2. 2 背景介绍 DARPA 越野挑战赛 (2004-2005) Stanford冠军 ---谷歌团队 GoogleX DARPA 城市挑战赛 (2007) CMU冠军 ---Uber团队 ATG
- 5. 安全 安全是一个系统级概念，目的是将系统组件故障引起的事故风险降至最低 AI安全是一个各种机器学习漏洞引起的新问题，需要解决：=》数据闭环; 功能安全标准(ISO26262): 确定安全需求，定义安全要求，并 最终验证相应的设计; SOTIF (预期功能安全) 规避性能局限或滥用带来潜在危害 的不合理风险; 安全模型: Mobileye提出的责任敏感安全模型(RSS) Nvidia’s 安全力场模型 (SFF) 存在的问题: ① 极端案例 ② 对抗性攻击 ③ 可解释性 ④ 不确定性 ⑤ 验证和确认（V&V）
- 7. 数据筛选 研发阶段和量产阶段的不同； 车端： ü 异常驾驶； ü 影子模式； ü 相似场景或者事件搜索； 服务器端： ü 主动学习； • 不确定性估计； ü 场景挖掘： • 安全-紧要。
- 8. 数据筛选 主动学习 ü 其⽬标是找到有效的⽅法，从未标记的数据池中选择要标注的数 据，最⼤限度地提⾼准确性。 ü 通常是⼀个迭代过程，每次迭代⽤⼀些筛选准则（如不确定性估 计）从未标注池中选择⼀组数据进⾏标注。 标注所 选样本 基于标注数据 训练模型 添加新标注样 本到训练数据 筛选函数从 ⽆标注数据 中选择样本 ü 不确定性估计 ✘ 不确定性指知识有限的状态，无法准确 描述现有状态、未来结果或不止一种可 能的结果； ✘ 包括认知/模型（epistemic）和任意/数据 （aleatoric）不确定性； Ø Monte Carlo Dropout； Ø Bayesian Learning； Ø Ensemble Learning。
- 9. 数据筛选 关键场景识别 (CSI) ：查找触发条件、安全-紧要 操作情况或将导致伤害的两者组合方法。 ✓ 1 设计空间探索（案例研究 ） ! 无轨迹：基于搜索的采样、优化和测试等； ! 有轨迹：路径规划、强化学习和优化等； ✓ 2 归纳推理（基于测试场景或者事故场景） ✘ 聚类、文本分析、重建和仿真等。 ✓ 3 演绎推理（基于各种知识源寻找预碰撞 ） ✘ 一组预定义的假设下，系统地考虑所有可能性。 ✓ 4 基于感知理解找到关键景象 ✘ 景象表征 Ø 基于描述 ✘ 关键景象生成或者探索 Ø 直接转换 Ø 基于优化 Ø GAN Ø 场景描述 Corner case – Edge case - OOD - Anomalies
- 10. 数据标注 自动标注是一个提高数据闭环效率的重要模块 ü 离线, 非实时,高性能； ü 服务器/云端（而不是车端）； ü 可以不局限于机器学习或者深度学习模型； ü 数据输入可以不是单帧（单时间步）； 标注工作耗时并且昂贵（某些真值不是人工可以获得） 半自动标注 ü “人在环”的交互 ü 依赖比人工操作更可靠的算法，比如3-D重建 高清地图的制作是其特殊的一部分 仿真数据自带标注
- 11. 数据标注 BEV模型及其类型 ü BEV是鸟瞰图（Bird’s Eye View）的简称，也被称为上帝视⾓，是⼀种⽤ 于描述感知世界的视⾓或坐标系（3D）；在自动驾驶的系统中，规划和 控制一般在BEV空间进行。 ü 基于BEV的视觉感知系统即代表⼀种端到端的、由神经⽹络将摄像头透视 投影的视觉信息从图像空间转换到BEV空间的环境理解框架。 ü BEV的视觉感知中关键的部件是视角变换。根据变换的方式，可以将BEV 方法粗分为两个大类，即基于几何和基于网络的方法。 “Delving into the Devils of Bird’s-eye-view Perception” “Vision-Centric BEV Perception: A Survey” ü 虽然基于硬平地假设，但基于单应变换的方法具有良好的可解 释性，其中IPM在感知中的图像投影或特征投影中发挥作用； ü 基于深度的方法通常基于明确的3D表征，即量化体素或点云； ✘ 基于点的方法存在模型复杂、性能低等问题； ✘ 基于体素的方法由于计算效率和灵活性很受欢迎。 ü 由于缺乏深度信息、遮挡等原因，基于MLP的方法不方便； ü 具有稀疏或密集查询的Transformer，凭借强大的相关建模和数 据依赖特性获得了最佳性能，但效率仍然是一个问题。 ü 数据标注：3-D 特性 ü 感知分辨率：感知距离目标大小 ü 网络架构：主干 (RegNet) /颈部 (FPN) ü 多头结构: 多头 ü 共享主干? ü 多任务学习(MTL): ü 附加任务设计, 多阶段学习 ü 扩展: 感知->预测->规划 & 决策 ü 优化/压缩: 蒸馏 BEV方法比较 BEV方法关注点
- 13. 数据标注 静态目标标注 动态目标标注 激光雷达目标跟踪 ü 激光雷达Multi-view fusion (MVF) 目标检测增强方法：MVF++ 激光雷达目标检测 Google WayMo
- 15. 模拟仿真 神经渲染-NeRF基础 ü 神经渲染是将经典（基于物理学的）计算机图形学与深度学习相 结合。其目标是以一种可控的方式生成照片般真实的图像； ü 一种范式是神经网络被训练为从一些2-D输入信号直接映射到输 出图像，即把神经网络训练为一个渲染引擎； ü 另一种范式是一个神经网络代表一个特定场景的形状或外观，并 且代表用一个传统的图形学 “引擎 ”进行渲染； ü 神经辐射场（NeRF）是一种基于坐标（3-D位置和2-D观察方向） 的神经网络采用体渲染技术输出对应的颜色和体密度方法； ü 必要的两个优化策略： ü 位置编码：映射到高维空间，适用于细节； ü 分级体采样：同时优化粗网络和细网络。 ü 训练和渲染速度都很慢； ü 只能表示静态场景； ü 固定照明； ü 训练的NeRF表征途不会推广到其他场景/目标。 基础NeRF的不足：
- 16. 模拟仿真 ü 分解场景即其MLP表征； ü 在稀疏3D网格做缓存，进行体素裁剪和内插，输入以球谐波系 数取代观察方向； ü 有效地预计算沿光线的部分或全部体积分； ü 采用网格、稀疏网格、树和哈希等数据结构； NeRF加速方法 NeRF重打光方法 ü 将场景表征为体密度场、表面法线和BRDF等，以此模拟光透 射的过程，支持任意照明条件下渲染场景。 动态场景的NeRF方法 ü 一是时变表征方法，可以处理一般目标和场景； ü 二是控制变形状态的技术，使用特定类别的运动模型。 ✘ 隐式地在变形上调节辐射场； ✘ 显式地用单独变形MLP去扭曲（warp）空间，回归变形空间 到静态规范空间的偏移。
- 17. 模拟仿真 NeRF的泛化 ü 一类工作类似于基于图像渲染（IBR）； ü 另一类方法旨在学习场景的整体、全局表征，而不是依赖图像 或其他离散空间数据结构； ü 还有一个类似方法，把一个备有神经渲染器的3D场景表征嵌入 到生成对抗网络（GAN）中。 NeRF优化摄像头姿态估计 ü Inverting Neural Radiance Fields for Pose Estimation（iNeRF）； ü Bundle-Adjusting Neural Radiance Fields （BARF）； NeRF渲染质量改进方法 ü NeRF-W 引入appearance embedding的优化方法，提出两个浅层 编码（表观嵌入和瞬态嵌入）来建模静止+暂态（不确定）效果； ü 引入ISP来进一步优化表观特征，即ADOP； ü Mip-NeRF 渲染抗锯齿conical frustums而不是NeRF的射线 ； ü Mip-NeRF360 继续优化图像采样和混叠，合成无边界感的场景； ü Raw-NeRF在原图像进行训练，保持场景HDR特性； ü Block-NeRF：将大场景分解为小场景，每个单独训练NeRF。
- 18. 模拟仿真 EPE（Enhancing Photorealistic Enhancement） ü 卷积网络利用传统渲染流水线生成中间表征G-buffers，提供景深、 形状、光照、透明度、材质等特征信息； ü 通过对抗目标训练，在多个感知层提供监督信号，用GAN的鉴别器 评估增强图像的真实性； ü 在训练过程中对图像块进行采样，以消除图像伪影； ü 改进1: 普通卷积取代strided convolution； ü 改进2: 渲染-觉察非规范化（rendering-aware denormalization, RAD） 模块，取代BN层。 G-buffer encoder Image enhancement network Perceptual discriminator LPIPS = Learned Perceptual Image Patch Similarity Intel
- 19. 模拟仿真 GeoSim是一种几何-觉察图像合成过程，从其他场景提取动态 目标以新姿态渲染，增强现有图像，合成新自动驾驶场景。 ü 构建一个具有真实几何形状和传感器数据 外观的多样化3D目标库。 ü 在仿真过程中，合成方法完成几何-觉察的 模拟工作： ✘ 1） 在给定场景放置合理真实的目标， ✘ 2） 从资产库中得到动态目标新视图， ✘ 3） 合成和混合渲染该图像。 ü 生成的合成图像具有真实感、交通-觉察和 几何一致性，允许扩展到复杂用例。 ü 跨多个摄像头传感器进行远程逼真视频模 拟，数据生成结果做下游任务数据增强。 “GeoSim: Realistic Video Simulation via Geometry-Aware Composition for Self-Driving” SN-PatchGAN
- 20. 基于场景的自动驾驶测试 一个场景（scenario）是自动驾驶组件及其驾驶环境在一段时间的动态描述； 从真实世界提取感兴趣的场景并生成失败案例对测试非常重要； 基于危害（Hazard）的测试方法，选择那些“智慧里程（smart miles）”，即体现自动驾驶车辆失败的安全-紧要场景 ； 对抗攻击：自动生成安全-紧要的场景。 测试场景 道路 环境（天气） 动态元素 脚本化交通 非脚本化交通
- 21. 基于场景的自动驾驶测试 安全紧要场景生成 直接采样 基于知识的生成 对抗生成 数据驱动生成 静态场景 知识指导的学习 预定义规则 动态场景 密度估计 要生成安全-紧要场景，最重要的因素是场景的风险，通过交互双方之间的距离来描述，距离小意味着碰撞风险高。 ü 数据驱动方法仅用收集的数据直接或通过生成模型进行采样； ✘ 简单采样：数据重放、聚类和随机扰动； ✘ 密度估计：贝叶斯网络、深度学习模型和深度生成模型。 ü 对抗方法使用来自仿真部署的自动车辆反馈； ✘ 控制场景的初始条件； ✘ 通过策略模型序列地控制动态目标； ü 基于知识方法主要利用来自外部知识的信息作为生成的约束或指导： ✘ 基于规则：手工设计场景的结构和参数 ； ✘ 基于学习：假设可以从专家获得特定领域知识。 场景生成存在的五个挑战 准确性 效率 多样性 可迁移性 可控性 数据驱动 对抗 基于知识
- 22. 基于场景的自动驾驶测试 ü AdvSim是一种对抗性框架，为激光雷达自动驾驶系统生成安全关键场景； ü 给定初始交通场景，AdvSim以物理上合理的方式修改参与者的轨迹，并更新激光雷达传感器数据； ü 通过从传感器数据进行直接模拟，获得对全自主驾驶安全-紧要的对抗场景。 “AdvSim: Generating Safety-Critical Scenarios for Self-Driving Vehicles”
- 23. 基于场景的自动驾驶测试 “AdvDO: Realistic Adversarial Attacks for Trajectory Prediction” AdvDO（Adversarial Dynamic Optimization）是一个对抗性攻击框架，用设计的可微分动态模型生成真实对抗性轨迹。 1. 动态参数估计阶段：目标是从数据集采样的轨迹重建 真实的密集轨迹并估计正确的动力学参数给对抗轨迹生 成阶段。其中利用可微分动力学模型优化控制动作。 2. 对抗轨迹生成阶段：目标是生成一条对抗性轨迹，在 给定的限制条件下误导未来的轨迹预测。为实现这一目 标，设计带多个正则化损失约束的对抗损失函数 。
- 25. 谢谢大家