作品编号：D250（一等奖）
作品名称：基于城市天际线对地观测技术的区域交通流量监控
作者单位：深圳大学建筑与城市规划学院
小组成员：王乐涵，叶艾温，张涓，钟国熙
指导老师：汪驰升
为进一步满足城市对空间信息数据的需求，给城市固定区域范围内交通情况的全覆盖、高精度、强实时性监测打下基础，本研究采用一种以城市天际线为平台的动态对地遥感模式，即通过在城市天际线上的超高层建筑或自然山体上架设遥感传感器，获取遥感数据并进行分析处理，实现对城市内部实时动态的即时观测。基于对可达性和安全性的综合考虑，本研究以深圳市内的超高建筑物——592米的平安国际金融大厦为平台，在建筑物顶层观光台布设多架可见光相机，利用多相机组合的方式拍摄可见光图像，对图像进行处理后用于对建筑物邻近地区的交通流量进行统计监控。
2 处理流程介绍
首先进行影像预处理，包括几何校正、图像裁剪和图像镶嵌，得到可对研究区域内的车辆进行直观反映的图像；之后通过单要素深度学习对车辆进行识别，并对识别结果进行过滤聚合及格式转换等处理，最终将识别结果与原影像镶嵌进行可视化，以视频的形式呈现研究区域内某一时间段的车辆整体分布情况。
由于单要素深度学习对车辆识别的结果无法满足根据面积计算车辆数目的需求，通过深度学习重新对大型车和小型车进行分开识别，实现多要素提取，对结果进行过滤聚合处理后，根据所设计公式，统计车辆数目并计算车辆密度用来评估道路拥挤度。
（图1 操作流程图）
3 数据来源
3.1 谷歌地图影像数据
从LocalSpace Viewer软件下载的高精度正射的谷歌地图影像数据。3.2 天际线影像数据
天际线影像数据是用相机拍摄获取。我们在观测平台深圳平安金融中心（高度592m）观光层上架设了四台不同朝向的摄影机，在同一时刻拍摄地面视频，截取其中30s用来示例操作处理。
（图2 天际线数据拍摄示意图）
4.1车辆数目统计
为了避免偶然性对实验结果造成影响，以第一个四分位数代表车辆的单位面积，深度学习识别得到的每个目标面积除于车辆单位面积再求和，就得到该区域内车辆的数目。具体计算公式如下：
（1）
式(1)中，N为某一时刻研究区域内的车辆数目，Area为深度学习所识别对象的面积，Q1为所有识别对象面积中的较小四分位数。
4.2路段车辆密度计算
利用式(1)计算所选道路的车辆数目进而求得所选路段的车辆密度。具体公式如下：
(2)
式(2)中，ρ为某一时刻所选路段的车辆密度，N1为通过式(1)求得的所选路段车辆数目，l为所选路段长度（单位为公里），n为所选路段车道数。
5 详细处理过程
5.1 视频裁剪
使用Free Studio中的Free Video to JPG Converter，将天际线平台上所获取的同一时间段内四个区域的30秒视频影像分别按照0.3秒的时间间隔裁剪，四个视频各得到100张影像，每一时刻影像分别对应。
（图3 Free Studio视频裁剪截图）
5.2 几何校正
由于城市天际线对地观测所得数据倾斜度较高，使用ENVI几何校正自动生成连接点图像扭曲严重，不能满足对地观察的需要，因此需要采用在Classic里完全人工选点的方式。同时考虑到影像倾斜度高导致的近处和远处比例尺不一致的问题，把整张影像几何校正为正射影像后，远处区域的影像分辨率较差，所以我们先根据图像远近和道路走向的不同，选择合适的感兴趣区，再利用ENVI Modeler对影像进行裁剪并分开处理。
（图4 基准影像与待校正影像）
将分开后的影像导入ENVI Classic，以道路为研究对象，以谷歌影像为基准影像，人工选取地面上的连接点，经过多次尝试后选出校正效果最佳的一组连接点，进行几何校正，将原始影像数据定位到特定地理坐标系中。由于批量处理过程中每张图像每次自动生成的连接点具有随机性，每一次校正结果都有不同，会导致处理效果不佳，因此最终只采用手动选择的连接点（约10-30个）进行连接。由于观测区域始终不变，只需要保存一份连接点文件，后续过程可使用相同连接点批量进行几何校正。
（图5 待校正影像与校正后影像）
5.3 道路提取与镶嵌
新建感兴趣区域来提取分辨率高、建筑物和植被遮挡少的道路，利用ENVI中的modeler工具对校正过后的图像进行裁剪处理。先把四波段的谷歌影像转换为RGB三波段的遥感影像，将同一时刻多条道路的裁剪结果与整片区域的谷歌影像进行图像镶嵌，以谷歌影像作为匀色的参考，仅重叠区域进行颜色校正，自动生成镶嵌线，得到以观测平台为中心、覆盖范围大、道路监测实时性高的遥感影像。
（图6 ENVI无缝镶嵌操作截图）
（图7 ENVI裁剪结果）
（ 图8 镶嵌结果）
5.4深度学习
基于镶嵌完成的图像制作车辆ROI，使用ENVI深度学习模块中的工具生成车辆的Label Raster，再利用ENVI5.5自带的随机训练参数Model将其生成拓展工具。之后输入初始化的模型，训练图像并对图像进行验证，再对待分类图像进行迭代计算。最后对生成结果进行精度评定，选取分类结果精度最高的模型，对所有图像进行批量深度学习。
（图9 局部镶嵌影像）
（图10 局部Label Raster）
（图11 单要素深度学习）
（图12 多要素深度学习）
5.5 分类后处理
对深度学习的结果分类图以道路为依据选定感兴趣区域，利用ENVI Modeler依次进行掩膜裁剪、过滤、聚合、分类图转矢量图；把矢量图导入ArcGIS Pro中，导出属性表用来后续统计车辆数目，并批量进行面转线、要素转栅格、波段融合、转换为tif格式输出的操作。上述操作对单要素深度学习和多要素深度学习结果均要进行。经过多次试验结果分析选出最佳值，其中，单要素深度学习过滤最小值为900，多要素深度学习中，小型车过滤最小值为500，大型车过滤最小值为2000；聚合最小值均为500。
（图13 分类后处理ENVI Modeler）
（图14 格式转换 ArcGIS Pro Modeler）
5.6 车辆数目统计
从深度学习处理后的结果100张图像中选取等间隔的10张（编号1、11、21...91），时间间隔为3秒，从ArcGIS Pro导出属性表。根据设计的公式，运用代码批量计算每张图车辆数目。
（图15 不同时刻车辆数目统计图）
5.7 车辆密度计算
选取若干条路段作为感兴趣区域，根据设计的公式分别计算各路段的车辆密度，为某一时刻各路段的路况分析提供辅助。此处仅以研究时段中某一时刻图像为例。（表1 各路段车辆密度统计表）
（图16 车辆密度图）
5.8 动态可视化
将ArcGIS Pro中得到的栅格图像与深度学习前的原始图像在ENVI中进行图像镶嵌，并利用modeler将结果批量转为png格式。利用Adobe Premiere软件，将处理结果图像制作为视频，进行动态化呈现。再通过代码，把车辆统计结果展示在路况视频上。
（图17 车辆识别栅格图）
（图18 车辆识别镶嵌图）
6 精度分析
输入深度学习结果图和原始车辆ROI图生成混淆矩阵。下图中车辆识别精度指单要素深度学习精度，小型车识别精度和大型车识别精度指多要素深度学习精度。
（图19 车辆识别精度）
（图20 小型车识别精度）
（图21 大型车识别精度）
6.2 车辆数目识别精度
利用计算得到的车辆数目与真实车辆数目计算得到车辆数目识别精度，其公式如下：
(3)
式(3)中，
为车数目识别精度，m为计算得到的车辆数目，n为道路真实车辆数目。
以第1张和第31张为例：
第1张：m=268, n =295, 代入式(3)中计算得到，第1张车辆识别精度为 90.85%
第31张：m=327, n =319, 代入式(3)中计算得到，第31张车辆识别精度为 97.49%
7 分析与总结
基于校正后的天际线观测平台上所采集的邻近大范围区域的地面影像数据，我们能够直接有效的获取研究区域内的道路与车辆的分布情况，并通过训练样本进行深度学习，识别出每一张图像中的车辆具体位置，从而获取某一时刻研究区域内的车辆数目及车辆密度，用以对整片区域内车辆分布状态及道路拥挤度进行高精确度的实时更新，或对区域内整体交通情况做出有效评估。此外，多要素深度学习可以根据车辆占地面积的不同，将体型大小不同的车辆分开识别，在提升车辆数目统计精度的同时可以分别判断大型车与小型车的分布情况。
本研究利用城市天际线对地观测方法获取的数据，针对道路车辆分布情况进行分析研究。此外，由于天际线对地观测具有全覆盖、高精度、强实时性的特点，这一观测方法还可适用于多个方面，如通过对地面及建筑物的实时观测，第一时间对地面变形或是建筑物开裂进行发现识别，避免或减轻突发性地质灾害事件所导致的损失；或通过分析观测平台周边区域的夜间灯光分布情况，对研究区域内的经济状况进行评估，在此过程中，天际线观测的方法与传统的无人机观测相比更加安全可靠，且可以对某一区域进行持续性的观测。此外，通过实验我们发现，在以天际线建筑物为观测平台时，对人员也可以进行有效识别，因此该方法也可用于获取区域内的人员分布信息，从而实时监测人群聚集情况，辅助发现异常聚集事件。总体而言，本研究创新性地使用了以超高层建筑为遥感平台的数据，探索性处理得到以观测平台为中心，不仅覆盖范围大，而且分辨率高、动态的道路监测遥感视频。一定程度上说明了天际线对地观测方法的可行性与使用价值。