张维忠1、吕继伟1、刘晓雷1，张宏峰2
1. 青岛大学威海创新研究院
2. 青岛点之云智能科技有限公司
1.研发背景
客流是公交调度运营和线网规划的重要依据。客流特征不仅影响到城市及城市间公共汽车客运的行车组织，而且还影响到其长远的客运规划，因而研究并充分掌握客流的时空分布规律是十分重要的。
传统的客流统计计数有：红外线感应统计方式，重力感应方式以及单目、双目客流统计方式。目前常用的双目视觉，不能从根本上解决运动目标之间的遮挡、光线变化等问题。其客流计数准确度不高，当光线变暗时，其准确度低至60%或更低。
随着深度相机技术发展，利用深度图像信息和深度学习算法，可以有效地解决传统客流计数系统中存在的许多问题，比如光线变化，人群拥挤等问题，显著提高客流系统的识别率与鲁棒性。
平台重点突破基于机器学习的人体特征提取与识别、拥挤场景下乘客去重修正技术、基于多源数据融合的公交客流时空出行规律分析、基于大数据的公交线网仿真优化等关键技术，研发城市公共交通客流实时、精准计数、分析与决策支撑平台。通过对城市公交客流数据的实时、精准采集、精细处理、深入分析和科学研判，为公交系统的场站管理、线网规划、运营调度、乘客出行选择、及政府补贴或政府购买企业服务提供科学依据，进而可提高公交公司的效益，节能减排、减轻政府财政补贴负担、改善公交的服务质量，提高乘客的满意度，提升城市生活品质。
2. 技术架构
平台将重点突破基于深度学习的人体特征提取与识别、拥挤场景下乘客防抖动重复计数技术、基于多源数据融合的公交客流时空出行规律分析、基于大数据的公交线网仿真优化等关键技术，研发城市智能公交客流实时、精准计数、分析与决策支撑平台。系统总体架构如图1所示。
图1. 平台总体架构
（1）智能公交客流数据采集
客流的实时采集，是系统分析和精准研判的数据基础，通过对客流数据的历史追溯，有助于公交公司的线网规划及运营调度。
●基于张量恢复的深度图像去噪和空洞修复
根据背景张量的低秩性和运动目标的稀疏性，利用低秩张量恢复的方法重建出张量的低秩部分和稀疏部分，实现背景（如车体、投币箱、安全杆等）与运动目标（人体）的分离。利用相似块匹配构造一个四阶张量，根据视频张量的低秩性和噪声像素的稀疏性，再次利用张量恢复重建出四阶张量的低秩部分和稀疏部分，去除背景噪声，并修复人体空洞。
●基于深度学习的人体区域特征提取
利用Faster RCNN检测人，检测后确定目标为“人”的个数。因这种方法对人物相互遮挡的情况下往往性能较差，在上下班高峰时，公交客流出现人群拥挤相互遮挡的可能性非常大，导致算法客流准确度大大降低。为了解决这个问题，在此处理结果的基础上拟采用MSER（Maximally Stable Extremal Regions最大稳定极值区域）算法。这样可以仅保留人头特征，为客流精确计数提供了算法保障。
●客流计数与追踪
提取人头特征区域点集，利用保留灰度值的MSER算法提取特征区域点集。利用惯性预测法对人头进行预测与跟踪，以避免人头计数紊乱问题造成计数不精确问题。为了防止出现因拥挤抖动出现的重复计数问题，采用双计数线方法。
（2）基于多源数据融合的公交客流时空出行规律分析
采用以Hadoop为核心的数据处理框架，结合深度学习，在数据融合的基本架构基础上，建立一种泛化性强的多源异构数据融合的深度学习模型，融合视频客流、公交IC卡及手机信令等多源异构公交出行信息。并通过大数据分析，挖掘公交OD时空出行分布规律，并通过多样化数据可视化手段直观展示客流量、客流OD、出行轨迹等客流出行信息，为公交政策制定、运营组织优化等提供客流研判支撑。
（3）基于大数据分析的公交线网优化与仿真评价
通过大数据协同，客流数据预测能力，并通过将大数据用于事前、事中和事后三个环节，深入利用事前预测，路由优化的形式提升客流时效。结合客流规律
图2. 公交线网优化及系统仿真评价
分析结果，识别公交运行的拥挤瓶颈及运能闲置现象，进而通过仿真优化模拟线路改向、延长、组合等不同策略下的公交系统运行状况，结合线网重复系数、站点覆盖率、乘客出行时间等指标系统评价线网优化效果，进而给出最优的线网优化调整方案。
基于大数据分析对系统进行仿真评价，如图2所示。
（4）基于元数据服务的软件开发架构
系统采用Linux、Android、.Net等多种工具开发，各模块通过XML和JSon作为报文格式，此类保存是纯文本数据，便于互联网传输，穿墙能力强，同时他们是结构化数据表达的有效方式，将多种数据组织成数据对象然后进行串行化和反串行化实现数据远程传输。
元数据的设计需要具备高度可扩展性，在未来的公交系统中会不断加入各种新型的线索获取手段，每添加一种线索数据只需要在元数据描述层稍作修改即可，系统程序无需调整，这种做法可以大幅度降低软件系统升级成本，便于系统日常运维。
3. 关键核心技术
（1）基于张量的深度图像增强
由于硬件的性能问题，得到的深度图像视频信息噪声大，需经过一系列图像处理后，才能获取较规则形状进而便于判断。利用张量恢复的方法来对深度图像视频进行去噪和空洞修复,如图3所示。
图3. 深度图像去噪与空洞修复:(a)处理前；(b)处理后
（2）双计数线防抖动算法
双计数线防抖动算法，解决了人群拥挤，同一乘客反复处于识别区，反复触发计数线引起的计数误差问题，如图4所示。
图4. 人群拥挤情况
（3）基于深度学习的人头区域特征提取算法
与传统的客流计数系统相比，利用深度学习与MSER算法结合，能有效解决公交客流系统中因人群拥挤引起的遮挡，上车姿态多变，光线变化等因素造成的计数准确率低问题，大幅度提高客流计数的准确率。
（4）基于多源数据融合的公交客流时空出行规律分析
充分提取和融合视频客流、公交IC卡、微信支付、支付宝支付等多源异构公交出行信息，基于大数据分析技术挖掘公交OD（Original Destination，公交始发地与目的地）客流时空出行分布规律，并通过多样化数据可视化手段直观展示客流量、客流OD、出行轨迹、拥挤度分析及客流预测等客流出行信息，如图5-6所示，为公交政策制定、运营组织优化等提供客流研判支撑。
图5. 客流拥挤度实时显示
图6. 客流量预测
4. 平台应用案例
传统的压力感应器、红外线检测、双目视觉等客流量统计方法存在着明显的缺陷,基于图像处理对车内拥挤度检测的方法准确率低。目前公交系统采用的公交数据大脑与公交云平台利用乘客前门刷卡，微信及支付宝支付等方式，通过客流的OD分析可以预测下车人数，但准确度低。本平台的客流计数系统，通过安装在公交车前门、后门上的红外结构光摄像头，采用三维视觉技术，通过人工智能算法，可以实时、精准地统计上车人数、下车人数、车上人数。平台已应用于多家公交公司。
以青岛公交公司为例，实时、精准的智能公交客流大数据采集、分析云服务平台产品已安装在新能源公交车上，如图7所示。利用公交数据大脑与公交云平台巨大功能与客流计数系统的前、后门计数的实时性与准确性的功能结合，即通过刷卡、微信、支付宝支付、客流计数系统的实时客流数据等多源异构数据的融合，充分利用融合后的数据进行客流大数据分析，即可实现客流计数的实时性，同时更能提高客流上、下车计数的准确性，为公交公司实时精准的车辆调度，科学线网规划，同时为市民提供更便捷的乘车服务提供数据支撑。
图7.客流计数系统中的深度相机
