李庆印1魏福禄1郭永青1王雅萍1翟慧2侯传遵3
1.山东理工大学 交通与车辆工程学院；
2. 山东通广电子有限公司；
3. 山东仁智信息工程有限公司
一、引言
“人民至上，生命至上”是习近平总书记提出的治国理政的先进理念之一。道路交通安全是交通强国战略的根基，事关社会发展与人民幸福。为了指导“十四五”期间交通运输安全生产和应急管理工作，防范交通安全事故的发生，遏制重特大事故，交通运输部正式印发了《交通运输安全应急十四五发展规划》。
随着交通安全研究的纵深发展，针对驾驶员行为与安全以及盲区事故等典型道路交通事故的预防已然成为当下交通安全研究的热点和重难点。一方面，驾驶员的情绪与行为交互以及多信息融合，已经成为开发个性化智能辅助驾驶系统、提高驾驶安全水平的突破口。据统计，在事故总数中占相当大比例的是由于在负面情绪下驾驶员操作失误所造成的。因此，情绪对驾驶员行为的影响需要得到更多的关注，探究驾驶员情绪和行为之间的交互作用机理对于提高整个交通系统的稳定性和安全性有着重要意义。另一方面，大型车辆在转弯过程中由于内轮差引发的盲区交通事故频发，占大型车事故的70%以上，死亡率达90%以上。迫切需要提出有效的技术方法以预防和减少该种类型的道路交通事故。
二、基于驾驶员情绪识别的驾驶状态判定与预警系统
技术概述：针对驾驶员情绪识别系统精度低的问题，提出了多信息融合判定情绪状态技术，将不同驾驶环境下的车辆信息与驾驶员的面部表情、身体行为、语言、生理指标（图1）和驾驶风格等信息进行融合。解决了单一信息下判断模糊、不适应多种驾驶环境和系统难以捕捉识别等问题，提高了驾驶员情绪检测系统的稳定性、准确性和可靠性。此项技术已经在模拟驾驶平台中进行了测试（图2），测试结果验证了该技术能够有效提升驾驶情绪识别的精度。
适用对象：帮助汽车制造企业根据车主驾驶情绪开发智能化安全预警系统，提高品牌的市场竞争力；提升驾驶员的驾驶体验和安全性；为城市交通管理部门评估道路交通事故成因提供更细节的驾驶员数据。
技术细节：该技术主要由驾驶员情绪识别系统、驾驶员驾驶状态判别与行为预警系统组成。（1）驾驶员情绪识别系统主要通过驾驶员特征识别系统来完成，其中驾驶员特征识别主要为动态收集驾驶员的生理特征（心电（ECG）、皮电（EDA）、肌电（EMG）、脉搏频率（PR）、呼吸频率（RR）），通过车内摄像头实时监测驾驶员脸部、手臂等部位的行为特征，以及通过搜集车辆速度、加速度、方向盘角速度、踏板力度及踏板频率等实时车辆信息来判断驾驶员的情绪状态和行为状态。（2）驾驶员驾驶状态判别与行为预警系统通过对驾驶员生理特征、行为特征以及车辆行驶信息融合后实时判定驾驶员的驾驶状态，并将驾驶员的驾驶状态进行分类（一般、激进、危险）和危险行为分级（Ⅰ Ⅱ Ⅲ Ⅳ）。当驾驶员行为或状态判定为激进时系统将发出预警，当系统判定驾驶员的驾驶状态为危险驾驶行为时，系统将发出警报提醒驾驶员改变驾驶状态，更进一步，开始人机共驾模式。该技术能够准确识别驾驶员情绪状态，判定驾驶员在不同场景下的驾驶行为，对于交通安全与先进的驾驶辅助系统的完善具有重要意义。
图1 心电波形图
图2 虚拟模拟驾驶平台
三、大型车辆视野盲区检测与安全预警系统
技术概述：大型车辆由于车体较大，存在多方位的视觉盲区，使得驾驶员无法充分观察周围环境，易发生交通事故。现有大型车辆电子后视镜采用摄像头成像显示技术，对其视野盲区进行图像显示，但无法识别盲区内的物体和车辆之间实际距离。为了弥补传统后视镜的不足以及现有电子后视镜的局限性，设计了一种大型车辆视野盲区检测与安全预警系统，通过检测系统多角度检测大型车辆盲区，并及时警报，为驾驶员提供驾驶便利，保障行车安全。
适用对象：为大客车、渣土车、危化品车辆和大货车等体型比较大的车辆进行盲区检测和安全预警，减少和避免盲区事故的发生，提高大型汽车安全性能。
技术细节：大型车辆视野盲区检测与安全预警系统由图像采集系统、光电检测传感系统、高清显示系统、预警制动系统和智能控制系统构成，各个系统相互连接，共同保证整个系统稳定运行。（1）图像采集系统主要由四个带有热成像系统的摄像头模块、信息处理模块和信息输出模块三个模块组成。摄像头采集车辆周围数据，将采集到的模拟数据进行预处理传递到信息处理模块进行视频信息处理转化为数字视频信号，将信号传递到信息输出模块，将视频信息传递到智能控制系统与显示系统进行图像处理与显示。摄像头分别安装在车头上方左中右三个位置和车尾上方中间位置，如图3所示。
（2）光电检测传感系统由光电探测器和红外线测距传感器组成。光电检测传感系统是系统的核心技术，探测器是整个系统的核心配件。通过中央数据处理系统，进行云计算，将数据显示在屏幕上，并将数据与数据库中数据（由实验室的测试数据以及以往大型车辆行车记录仪的数据所组成）相匹配，当数据匹配成功时，则向驾驶员发出警报，提醒驾驶员改变行车路线。
（3）高清显示系统高清显示模块由两块高清LED显示屏组成，一块显示屏又分别分成两个图像模块，一共四个图像模块分别对应四个摄像头传递的图像信息，进行图像显示，重点是视野盲区的图像可以突出显示，帮助驾驶员更加全面掌握行车状况，第一时间掌握车辆周围信息，预防交通事故。两块显示屏分别安装在车头内部左右A柱上，显示屏安装位置如图4所示。
图4 显示屏安装位置建模
（4）预警制动系统由预警提醒模块、智能制动模块和信息处理模块组成。该系统能够接收智能控制系统传递的信号，分别进行预警提醒和智能制动。预警制动系统信息处理模块接收到智能控制系统传递的信号，将信号进行处理并区分，如果传递的是危险信号，则将信号处理之后传递到预警提醒模块，预警提醒模块进行处理传递到高清显示模块进行图像闪烁预警提醒，并且能够准确的反应危险障碍物的位置。如果传递的是极危险信号，则将信号处理之后传递到智能制动模块，进行车辆的智能制动。
（5）智能控制系统是整个系统的核心，既控制图像采集系统的图像信号传递到高清显示系统，又控制光电检测传感系统的障碍物信号传递到高清显示系统和预警制动系统，还控制各个子系统之间的连接。智能控制系统是图像处理和数据运算的中心，采用双控制器进行控制，一个由单片机控制，另一个由DSP芯片控制。DSP芯片采用德州仪器生产的TDA2xSoC芯片。智能控制系统的结构框图及控制芯片如图5所示。
图5 智能控制系统结构框图及控制芯片
智能控制系统采用双控制器结构，控制整个新型大型车辆视野盲区检测与安全预警系统的稳定运行，连接各个分系统线路，保证行车安全。智能控制子系统进行处理后，将视野盲区位置信息传递到高清显示子系统进行画面颜色突出显示，并且是所在的那一个模块进行突出，且实时显示两者之间的距离。同样将危险信息进行处理后传递到预警制动子系统，后者进行处理后传递到高清显示子系统进行所在模块画面闪烁提醒，第一时间报告危险障碍物位置，起到很好的预警效果。同样将极其危险信息进行处理后传递到预警制动子系统，后者进行处理后传递到智能制动模块进行紧急制动，避免交通事故的发生。
创新之处：一是通过光电检测传感系统和图像处理技术，可以将大型车辆视野盲区范围的景象在显示屏进行画面突出显示，并显示两者距离，可以更好的提醒驾驶员注意观察视野盲区，减轻了驾驶员的驾驶压力。
二是提前将大型车辆行车过程中可能遇到的危险情况通过距离在检测传感系统上设定出来，通过与预警制动系统的结合，在触发危险情况时进行预警提醒，在触发极危险情况时，进行智能制动。
三是设计了创新性图像处理预警方式，车辆周围处于危险位置的人或物会自动被系统特别标记，在显示屏画面突出显示，以提醒司机及时采取预防措施，大大提高道路行车安全系数。通过智能化科技保障大型车辆行驶过程中的安全。
四是通过四个带有热成像系统的CCD摄像头将车身四周的景象分别显示在车头内部左右A柱安装的两块高清液晶显示屏上的四个模块，用来弥补传统后视镜的视野盲区问题，将包括视野盲区在内的车身四周一定范围内景象清晰的显示在显示屏，可以使驾驶员清楚的观察路面状况。摄像头自带夜视功能和热成像系统，可以在夜间或极端天气情况下同样拥有较好的视线，保证驾驶的安全。而且摄像头可以随着车轮的转动而微调角度，确保大型车辆在整个行驶过程不存在视野盲区。
四、基于权重分配的多源融合半挂车全景避盲装置
技术概述：随着单片机技术的发展，使得利用危险预警的辅助驾驶技术解决盲区问题成为可能。本文提出为半挂牵引型货车的视线盲区解决问题而设计的一种新生设备——基于权重分配的多源融合半挂车全景避盲装置，并通过建模进行了模拟验证，初步证明了方案的可行性。
适用对象：大多数的货车交通事故是由于驾驶室的局限以及车辆自身问题带来的视觉盲区而造成的。本项目旨在解决半挂车行驶过程中的视线盲区问题，将本产品安装在半挂车、重卡等大型车辆上使用时，可以最大化的减少驾驶员在驾驶过程中的视觉盲区，从而预防该类道路交通事故。
技术细节：鉴于内轮差对驾驶安全的重大影响，综合运用测距技术、图像融合技术、权值分配技术等，研制出一种新型避盲装置——基于权重分配的多源融合半挂车全景避盲装置。该装置分为主动辅助系统与第二辅助系统两部分，实现了对盲区的基本消除。（1）主要避盲装置。半挂牵引型货车主要辅助避盲装置为自动跟踪广角镜。因现阶段实现程序识别代替驾驶员主动识别尚有很大距离，所以通过优化传统后视镜来实现对驾驶员视野的优化。避盲装置于广角镜后支架处安装舵机，使副镜能够根据方向盘旋转的角度进行转动，从而在一定程度上更充分地利用空间扩大视野。（2）第二辅助装置。第二辅助装置由拼接成像系统、测距系统、智能识别系统三个分系统组成。拼接成像系统可将可将六个摄像头采集的图像进行拼接，从而得到全新的全车显示画面；测距系统可通过计算机视觉测距及超声波雷达测距两种方式结合进行；智能识别系统可将车辆周围画面范围内的车辆等静、动障碍物在显示屏上突出显示。三系统共同工作，将最终处理好的全景图像转送至显示屏，进行图像及距离显示。摄像头具体安装位置见图6。
图6 摄像头安装位置
技术亮点：（1）拼接成像系统。针对六视角拍摄的不同图像，通过程序图像预处理，采取特征点匹配策略找出两幅图像之间的变化关系，然后根据坐标变化关系，将两幅图像变换到同一个坐标系中，最后通过融合技术得到一幅完整的全景图。针对多图像全景图生成技术中，我们提出了基于图论的思想，很好的解决了多图像的空间位置自动排序，进而实现了多幅图像（图7）的全景图像生成（图8）。同时，全景视图也可以为自动驾驶系统中识别、检测、跟踪等算法提供支持。
图7 非拼接式六路全景监控 图8 实际拼接效果图 图9 自动旋转广角镜
（2）自动旋转广角镜（如图9）。装置通过80C51单片机系统编程实现自动跟踪。程序运行时使用到了T0中断，实现间隔1ms的读取车轮转向信息，并且将信息传递给电动机的任务，通过P3_0端口读取车轮转向信息。通过CATIA软件进行建模，分析数据后确定主/副驾驶侧转角幅度，并将转角幅度之间77.86°划分为500插值，从而根据车轮转向实现对舵机的精准控制。
（3）基于权重分配的多源融合测距系统（摄像头+雷达）。测距系统拟通过计算机视觉技术、超声波雷达检测技术两种方式对周围车辆进行测距。当发现车距达到危险值时，即通过中枢系统联系成像系统，对其进行框选标红。当车辆驶离危险区域后，装置恢复正常状态。鉴于计算机视觉技术其对光线、雨水、雾霾、沙尘暴等天气条件敏感，测距精度相比较与超声波雷达要差一些。通过超声波雷达来感知前方的交通状况、测量与障碍物间的相对距离、相对速度等精度较高，误差较小。
因此，项目测距方式采用计算机视觉技术与超声波雷达监测技术结合的方式。当遇到如大雨、雾霾等恶劣天气，即将超声波雷达测距比重调至90%，计算机视觉调至10%；当天气晴朗，视觉良好时，则将两种方式权重均调至50%。
避盲装置运行效果：根据CATIA建模数据分析，安装传统后视镜的半挂车正常直线行驶时会存在至少15m2的视角盲区；在车辆左转弯、右转弯以及直线换道超车时，由于内轮差及车身构造，将导致30-63m2的视角盲区。与传统后视镜观察范围相比，本产品可有效减少99%的视觉盲区，有效的避免盲区道路交通事故的发生。
创新与特色：（1）运用主辅结合策略创新设计权重分配检测系统。项目采用主辅结合式避盲体系，将优化后的广角镜作为主要辅助装置；将全景避盲装置作为第二辅助系统，在有效避盲的前提下，并不影响驾驶员主观判断。
（2）采用Open CV环车图像拼接技术，提升画面易读性。将六路摄像头图像通过重复性去除、缺失图像弥补等手段进行图像拼接，增大容错率，使驾驶员更加直观的接收信息，减少反应时间。
（3）采用多源融合测距模式，提高测距准确度。装置采取计算机视觉测距+超声波雷达测距双重测距的方式对周围车辆进行位置测量及双重校正，从而大大提高测距精度，更加精确的实现距离危险预警。
