自动驾驶系统的伦理审查可能性-baidu

高精度导航地图结合，并通过云计算确定障碍物的种类。

某种情况下，判断行人的数量有时是很难的技术问题，特别是有小孩被遮挡的情况下，由于AI算法缺陷或其他技术限制，会出现障碍物种类判断的错误（尽管没有厂家承认这一点），障碍物种类的判断直接决定风险大小的评判，很容易造成事故。

当我们沿着伦理审查者的角度深入研究技术问题时发现，我们预设的思路实际上与AI体现的决策模式是完全冲突的，至少两者根本就不在一个数据模型中。自动驾驶系统的风险设定模式，决定了它并非如伦理审查者所设想的那样：分辨障碍物种类（人）--障碍物的数量（几个人）--作出判断（伦理审查者所说的取舍）。自动驾驶系统的风险评估系统中，各个感知模块的信息可以综合由AI系统进行分析，但是这并无妨害单个感知系统评定的危险信号跳过上述“综合决策”的过程而直接进入决策模式。简单的说，无需分辨障碍物的种类，只要通过雷达感知有障碍物，车辆即刻减速。通过自动驾驶车辆厂家公开的数据，印证了上述的决策系统，不同感知模块获取的信息各自向车辆控制模块发送信息，被称之为“广播系统”，通过第一感知模块将障碍物信息广播出去的方案，相对于自动驾驶车辆综合自身安装的所有感知设备识别障碍物的方案，具有更高的安全性，从而可更早进入减速避让等决策程序。

我们不难发现，上述决策过程，并没有用到复杂的AI程序，相对于通过复杂的视觉识别程序，实现更安全的方法竟然是省掉“AI程序”，这样的结论一定不是伦理审查者所要的结论--我们似乎又走到了死胡同中，我们不得不再次深入地研究是否还能找到其他出路。在上述的广播系统中，第一感知模块的信息之所以

跳过AI系统直接进入决策模式，是因为第一感知模块广播的风险系数高于其他感知模块广播的信息（条件1），并且该风险系数属于紧急的状态（条件2）。至少我们可以得出结论，在上述2个条件下，自动驾驶系统中不可能会出现伦理研究者所设定的“决策陷阱”。

上述结论来源于自动驾驶厂商公布的有关决策体系的信息，但是这样的决策体系是否适用于所有的自动驾驶系统呢？下面我们将从一个自动驾驶事故去分析这一问题，美国亚利桑那Uber自动驾驶测试车在Tempe 市撞到一名中年女子Herzberg，致后者死亡。美国全国运输委员会（NTSB）时候公布了一份报告，报告显示雷达在事故发生前 5 秒就探测到有行人经过了，但在软件设计上的一系列失误还是让自动驾驶系统慢了半拍，直到碰撞发生前 0.2 秒才踩了急刹。

根据上述报告，Uber自动驾驶车辆并未像我们讨论的广播系统决策系统那样决策，尽管我们很容易发现这样的决策系统从理论上来说无疑是有优势的。NTSB的报告可以让我们了解Uber自动驾驶系统的决策过程，在碰撞发生前 5.2 秒，车辆雷达监测到Herzberg，将 Herzberg 划归为“其它”物体，随后碰撞发生前 4.2 秒，AI系统又将 Herzberg 重新归类为“车辆”，碰撞发生前 3.8-2.7 秒的时间段中，AI系统在“车辆”与“其它”的分类结果中跳动了好多次，碰撞发生前 2.6 秒，AI系统又将 Herzberg 和她的自行车识别为“自行车”，但是AI系统从未将 Herzberg 分类为“行人”。

我们需要把我们的目光再次回到文首伦理学者的调研图片上，对于图片来讲，我们很容易判断在车辆路线上一共有几个人，也很容易判断车辆的危险。但是对于AI系统来讲，有些障碍仍然是难以跨越的，例如人很容易通过步态识别盲人，

但是自动系统却很难。有别于人类自然而然的判断，AI系统首先需要判断障碍物的类型，而后才能根据系统内预存的该类型物体的速度判断障碍物是否会出现预设的路线上，上述Uber的AI系统因为一直在“犹豫”如何识别障碍物（骑自行车的Herzberg女士），因而无法判断Herzberg女士准确的运动轨迹，当前的AI系统也就无法准确评估当前的风险，最终导致了灾难。

这个示例并没有让我们找到一直探寻的伦理困境的答案，Uber的上述事故与伦理判断毫无关系，只是更坚定了我们之前的判断，伦理研究者目前的研究方法严重脱离了AI系统的决策机制。

想要复现伦理研究者所设想的场景，需要自动驾驶系统准确识别出“人”并且判断“人”的数量，如上面Uber案件，自动驾驶系统目前从诸多障碍物中区分“人”仍有难度，事实上，现有的技术与安全规范（类似于法律规定，但是效力较小）还存在矛盾的地方，如果简单以雷达判断人以及人的数量，因为人体在无负重行走时，躯干部分的摇摆幅度较小，雷达监测的躯干部分的点云变化相对于四肢部位的点云变化更小，从点云分布来看，躯干部分相对于人体的其他区域更稳定，所以可以提取出躯干部分的点云作为人体的稳定区域的点云。以此为基础，可以分析识别上述问题。但是，因为雷达无法区分其他车辆的同频脉冲光，因此无法单独准确完成相关监测任务。

AI算法的重要作用在此处显得尤为重要，AI系统的学习模块与感知模块连接，可以获取摄像头数据、车辆速度、汽车方向、定位数据、地图数据、障碍物的距离和障碍物速度，通过历史数据作为数据源对算法进行优化，通过预设结果不断调整各参数的权重，深度学习算法使得AI内部的决策机制一直处于“黑盒”

状态，当深度学习结果出现明显偏差（将黑人识别为猩猩）时，程序员不能通过传统的修改数据库设置的方法进行调整，而只能通过特定的算法重新更正其误差，此时如果要求程序员解释为什么AI系统做出如此决策，程序员是很难解释其具体步骤和原理的。但是，这正是自动驾驶系统合规性审查的重要部分，ISO 26262要求安全规范及其实施的双向可追溯性，即任何最终的操作指令都可以通过测试和实施细节来追溯以保证其符合相关规范和要求，这无疑戳中了深度学习的弱点，也是文首伦理研究者不可逾越的技术障碍。

当然，本文不是讨论ISO26262的合规性审查问题，尽管貌似这与AI自动驾驶的伦理审查有一定的关联，我们仍需回归到文首的“伦理陷阱”决策问题。分析至此，我们不难理解为何谷歌的伦理审查委员会如此短命，即使深度学习算法在自动驾驶的应用仅仅局限于障碍物识别过程，根据部分自动驾驶厂商公开的信息，实现自动驾驶的程序语句有2亿多行代码，尝试去分析如此量级的代码逻辑，即使是经验丰富的程序员也是十分漫长和艰巨的任务，事实上，鉴于该部分代码所对应的商业价值，任何厂家不可能轻易配合针对此部分的审查，况且，目前没有任何一个政府机构有如此的权威和实力可以进行如何规模的审查。

至此，对自动驾驶AI系统进行外部的伦理审查目前仍缺少可行的机制，唯一可以切入的机会就是在发生交通事故后进行溯回性的审查，NTSB针对Herzberg死亡的调查为我们提供了思路，Uber后期提供了0.1秒为单位的系统运行记录，国内的自动驾驶厂商能否提供完备的事故“日志”仍需后续检验，并且国内的交通事故调查归属公安部门，伦理审查者应以何种身份参与调查或者公安部分应当如何在调查中增加伦理审查的视角，这都需要相关机制不断完善。需要强调的是，不同于文首引用的“伦理决策”陷阱，厂商确有将驾驶者的保护设置为

优于路人保护的动机（谁也不会买频繁让驾驶者死亡的车辆），需要审查厂商是否会基于上述商业动机，在程序设定过程中违反伦理标准，将路人对应的风险系数故意设定为低于驾驶者风险系数的做法。

AI系统的伦理审查，特别是针对自动驾驶的伦理审查，仍处于初步探索的阶段，但是有一点是毋容置疑的，伦理审查应当同合规性审查一样列入审查的机制，AI系统不可能随时按照我们期望的规矩去运行，厂商也不能在事故发生后仅仅声明“改进了算法、升级了系统”，需要一个机制以确认AI系统没有违反相关的伦理规则。同时，为了保证相关调查所依据的数据未经篡改，应当尝试设置自动驾驶系统代码的第三方存储、备案体系，或者针对可能隐瞒数据或拒不提交数据的行为出具处罚的规定。此外，单学科是很难完成如此复杂的任务，国内的监管部门应当引入程序员、伦理研究者和法律人士共同参与，唯有如此才能避免空洞、脱离AI决策机制的意见。