激光雷达检测器的安全阈值换条件后还成立吗:一次检验给出适用、不适用或无法判定
核心概要
在ISO 21448的预期功能安全分析中,一个在某种条件下满足性能目标的激光雷达检测器不确定性阈值,换到另一条件后是否仍然满足,此前没有检验程序。这里把阈值原样迁移到使用条件,用统计检验在给定错误概率下判定目标适用、不适用或无法判定,并给出证明达标所需的最少独立单元数。在KITTI与nuScenes的PointPillars集成上,按帧计数时,从nuScenes迁移到KITTI的阈值在全部五个划分上判为不适用;按录制序列计数时,两个数据集都不足以证明任何目标限值被满足。
深度剖析
阈值跨条件迁移从默认沿用变成一个有明确结论的统计判定:在给定错误概率下,检验给出适用、不适用或无法判定三种结果之一。 此前的做法是在一个条件的数据上选出阈值,其统计保证只对与该选择数据同分布的数据成立,而预期功能安全分析要覆盖每一个触发条件。 在KITTI与nuScenes的PointPillars集成上,按帧计数时,从nuScenes迁移到KITTI的阈值在全部五个划分上判为不适用,在两个探索性限值上结论相同。
判定为适用并不等于检测器好用,因为阈值可能靠拒掉大量正确检测来压低错误接受比例。 错误接受比例只统计被接受的检测中错误检测的占比,一个条件里若几乎没有被接受的检测,该比例自然很低。 在目标限值下,所有判为适用的迁移阈值在每个划分上的保留率至多为29%,同条件内选出的阈值保留率中位数至多为33%。
证明一个限值被满足需要多少数据,可以在录制之前算出来,这决定了每个条件要录多少独立单元。 同一批数据按帧计数与按录制序列计数会给出完全不同的结论,而同一段连续录制中的相邻帧并不独立。 在目标限值下,仅选择阈值就需要299个独立单元、检验需要368个;按序列计数时,150个nuScenes验证场景少于这一数目,KITTI的20至21条测试驾驶也不足。
启示与展望
结论针对作为系统元素的激光雷达目标检测器,在KITTI与nuScenes的PointPillars深度集成上、按距离与天气及数据集三种条件变化得到;远距离与降雨只被当作潜在触发条件处理,并未证明它们会引发危险行为。
按帧计数会高估证据,因为同一段录制中的帧彼此不独立;按序列计数时序列数又太少,且同一日志切出的nuScenes场景也不独立。降雨条件下的不适用结果只出现在探索性限值上,且晴雨场景在位置与交通上同样不同,因此这些变化只是伴随不适用结果出现,并未被证明是原因。
