WO2018122819A1 - 一种基于双目图像分析的沥青路面病害检测系统 - Google Patents

Abstract

一种基于双目图像分析的沥青路面病害检测系统，包括裂缝发育程度检测模型建立、信息采集、信息分析、信息传输和信息发布五个子系统，具体通过移动平台、处理端、测温型红外热像仪、普通图像采集器、振动传感器、图像处理技术、边缘云计算技术、嵌入式系统、系统集成技术、实时定位技术来进行路面病害信息检测。

Description

一种基于双目图像分析的沥青路面病害检测系统

技术领域 本发明属于智能交通系统与信息技术领域， 涉及运用裂缝发育程度检测模型建立、信息采 集、 信息分析、 信息传输和信息发布五个子系统， 具体包括移动平台、 处理端、 测温型红外热 像仪、 普通图像采集器、 振动传感器、 图像处理技术、 边缘云计算技术、 嵌入式系统、 系统集 成技术、 实时定位技术来进行路面裂缝病害信息检测， 信息包括裂缝的数量、 类型、 位置和发 育程度。通过引入红外热图像可以获取沥青路面裂缝的灰度信息和温度信息， 灰度信息可以实 现常规基于图像的裂缝识别的目标， 而利用温度信息可以进行裂缝发育程度的检测， 利用上述 技术实现裂缝检测系统在移动平台上的搭建， 实现沥青路面裂缝病害的快速准确检测。 背景技术 随着道路交通的发展，道路路面的养护和管理问题愈发凸显， 其中道路路面的破损检测就 成为相关道路养护部门的工作重点之一。目前我国的路面管理系统得到的路面破损数据仍以采 用人工检测为主， 效率低且受主观因素干扰。 随着近年来数字图像处理技术的飞速发展， 国内 外许多研究人员都对图像识别路面裂缝进行了广泛研究， 取得了很好的成果。然而， 现有路面 病害检测车采用多维全面高精尖的技术，检测车昂贵且使用成本高， 难以实现各等级道路的全 覆盖高频巡检， 造成智慧养护的决策支持数据不足， 因此， 道路的智慧管养亟待可以实现各等 级公路全覆盖的高频巡检设备， 以便采集充分的损害数据给予决策支持， 实现整个路网的智慧 管养。

( 1) 南京理工大学 N-1路面检测车

在 2002年南京理工大学赵春霞、 唐振民等成功研制了 N-1型路面检测车。 该检测车可在 70km/h行驶状态下， 完成表面裂缝图像、 平整度、 车辙等数据的采集， 再离线处理数据， 生 成报表。使用车载全球定位系统和车载前视彩色摄像机。该车的诞生推动了中国路面自动检测 车的发展进程。

( 2) 公路科学研究院 GCS路面检测车

2006年，北京公路科学研究院下属子公司： 中公高科养护科技股份有限公司，研发了具有 完全自主知识产权的路面检测车 CiCS。该系统采用线阵相机采集路面图像，并结合结构光照明， 能够达到横向 3.6米的检测宽度， 最高检测精度达 lmm， 最高时速达 100km/h。该公司研发的 路面破损处理软件 CiAS (Cracking image Analysis System), 能够自动处理包括裂缝、 车辙以及平 整度在内的路面关键性指标。 ( 3 ) 武大卓越 ZOYON-RTM路面检测车

2007年， 武大卓越与湖北合力联合研发了 ZOYON-RTM型智能道路检测车，。 该车使用高 精度线阵相机对路面图像进行采集， 并采用了激光照明技术。在编码器的同步触发信号控制下 实现路面图像的不间断采集。 该系统的裂缝分辨率最高为 lmm， 最大检测宽度达到了 4m， 最 高时速 120千米每小时。 现有技术

专利文件 CN200910222882.5 ,公布了一种基于图像的路面裂缝检测系统，该系统包括：控 制模块， 根据接收到的 GPS定位信息生成触发信号， 输出触发信号至图像至采集模块； 图像采 集模块， 根据接收到的触发信号对路面及路标进行图像采集获得路面图像及路标图像，将路面 图像和路标图像输出值数据处理模块； 数据处理模块， 将第一数字图像拼接获得路面的连续的 数字图像，利用图像识别方法对路面的连续的数字图像中的裂缝进行识别获得包含裂缝的第一 数字图像、 GPS定位信息及第二数字图像， 根据 GPS定位信息及第二数字图像确定路面裂缝的 位置信息并输出。发明还提供理论一种基于图像的路面裂缝检测方法。采用发明公开的系统和 方法， 能够题号检测的准确度和检测效率。 现有技术 2

专利文件 CN201310252824.3 ,公布了一种路面裂缝检测系统，包括有信息采集系统、数据 存储显示系统、 电源管理系统、 数据处理系统、 GPS定位系统。 通过信息采集系统视频记录路 面破损信息， 结合 GPS定位系统的 GPS和公路里程桩号对病害位置进行定位， 利用数据存储 显示系统的数字图像处理技术对病害进行识别， 既可得到客观稳定的检测结果，又能快速准确 地对病害进行定位、 测量。本发明针对路面裂缝检测工作， 实现完成了相关信息实时监测、 数 据存储回放、 GPS信息与里程桩号实时关联、裂缝状态信息度量等需求，设计了车载检测系统， 满足了实际路面裂缝检测的应用要求。 现有技术 3

专利文件 CN201410269998.5,发明公开了一种基于深度和灰度图像的路面裂缝检测装置， 包括： 载体平台 （1) ; 位于载体平台上摄像装置 （6)、 线激光器 （7)、 计算装置 （8)， 其中， 载体平台（1)用来在裂缝检测的过程中，沿道路方向移动，线激光器（7)用来在载体平台（1) 移动的同时， 垂直路面照射激光， 摄像装置（6) 用来在载体平台 （1) 移动的同时， 沿斜向角 度， 不远拍摄所述直线激光经过路面反射的激光线， 每次拍摄对一个道路断面进行成像， 生成 多个道路断面的激光线的图像数据， 计算装置 （8) 用来从每个道路断面的激光线的图像数据 生成该道路断面的深度数据、 以及灰度数据， 并将每个道路断面的深度数据和灰度数据拼接形 成一段道路的图像数据， 以进行裂缝识别。 为了更好的理解发明内容， 现在附上以下名词解释：

名词解释：

裂缝发育程度：发明中所提及的发育程度表征沥青路面裂缝对路面的已有损害程度以及近 期发生损害的严重程度， 它涵盖了传统的裂缝严重程度分级， 与裂缝的宽度、深度和裂缝的湿 度等等可能会使裂缝损害严重程度加剧的因素有关， 囊括了这些因素，表征了裂缝从开始出现 到现在的发展水平。

分类函数：通过支持向量机将温差数据按照裂缝发育程度进行线性分类，发育程度分为 1、 2、 3三个等级， 3最严重， 那么 1、 2之间和 2、 3之间就会有一直线作为分界线， 此直线表达 式即为分类函数。

裂缝区： 沥青路面某区域， 该区域不仅包括裂缝区域本身， 还包括其周围一定范围内的路 面区域， 包括路面区域范围满足图像处理和裂缝识别的要求。

参照温差数据：将实测大气温度带入裂缝发育程度检测模型两个分类函数后得到的温差数 据。

实测温差数据：对采集到的裂缝区红外图像进行图像处理后得到的该裂缝区内裂缝区域和 路面区域的温差数据。

发育程度等级： 1、 2或 3中的一个数， 其大小反映了裂缝的发育程度， 数字越大， 裂缝发 育程度越严重。

处理端： 负责接受采集到的原始数据， 并进行存储和实时处理， 最后再将处理得到的数据 无线传输到远程服务器。

支持向量机： 支持向量机 （SVM ) 是 90年代中期发展起来的基于统计学习理论的一种机 器学习方法，通过寻求结构化风险最小来提高学习机泛化能力， 实现经验风险和置信范围的最 小化， 从而达到在统计样本量较少的情况下， 亦能获得良好统计规律的目的。 在机器学习中， 支持向量机（SVM， 还支持矢量网络） 是与相关的学习算法有关的监督学习模型， 可以分析数 据， 识别模式， 用于分类和回归分析。给定一组训练样本， 每个标记为属于两类， 一个 SVM训 练算法建立了一个模型， 分配新的实例为一类或其他类， 使其成为非概率二元线性分类。通俗 来讲， 它是一种二类分类模型， 其基本模型定义为特征空间上的间隔最大的线性分类器， 即支 持向量机的学习策略便是间隔最大化， 最终可转化为一个凸二次规划问题的求解。

病害识别模型算法： 根据沥青路面灰度图识别裂缝有无、 类型的成熟算法， 普通图像和红 外图像均可以得到灰度图。 发明内容 本发明提出基于红外双目图像分析和功率谱密度的路面病害检测系统，系统包括发育程度 检测模型建立、 信息采集、 信息分析、 信息传输和信息发布五个子系统。

普通图像只能获得沥青路面和裂缝的灰度信息，普通图像难以较好识别沥青铺面裂缝的原 因是沥青路面具有颗粒性， 灰度的杂乱往往会影响裂缝区域的识别。我们通常通过识别裂缝的 宽度来检测裂缝的发育程度， 而裂缝的宽度是通过识别裂缝区域短边的像素点个数， 并结合摄 像机机位拍摄裂缝时的高度来确定。然而， 通过裂缝像素点宽度的识别来得到裂缝宽度进而确 定裂缝发育程度的检测方法很不可靠，因为几毫米的的裂缝宽度在图像中可能就只有几个像素 点， 在经过降噪等图像处理后结果更不稳定， 所以， 只由普通图像获取的裂缝的灰度信息进行 裂缝发育程度的识别是很困难的。

由红外热像仪获取的红外热图像，不仅可以获取裂缝和铺面的灰度信息还可以得到他们的 温度信息

由道路表面温度滞后性和积累性的特点， 路表和路面以下的温度会不同， 因此路面以下的 材料会通过裂缝与路面和空气发生热交换， 而路面和裂缝也会有温度差。沥青路面裂缝宽度和 深度越大， 路面下和路表的材料空气热交换救会越剧烈。温差就会越大。裂缝的宽度深度就越 大， 将来的水损害也会更容易发生， 而裂缝也通过发育程度指数反映发育程度。所以， 裂缝越 严重， 路表与裂缝的温差就会越大， 而我们可以利用热像仪来检测温差， 进而检测裂缝以及其 发育程度。 检测方法采用基于红外图像分析的裂缝发育程度检测模型。

车辆行驶过程中的加速度变化主要由路面高程的变化产生，因此将路面高程变化看作系统 激励， 车身的加速度看作系统响应， 利用功率谱密度和线性时不变系统理论， 能够推导出国际 平整度指数（IRI )与簧载加速度功率谱密度的转换公式， 通过测量车内不同位点的加速度值能 够提高计算精度， 而车速修正系数能够修正车速变化对计算结果的影响。在桥头跳车处， 基于 车内不同位点测得的加速度值， 结合人体振动感受函数和烦恼率， 计算得出桥头跳车对人体舒 适性的影响， 并利用冲击系数和系统响应的方法预估桥头当量冲击力大小。利用系统响应的方 法， 通过测量车内的 Z轴加速度变化， 间接预估路面平整度的检测模型。 该方法具有便捷性、 低耗性以及经济合理性等优点， 适合大范围的路面平整度测量。 另外， 利用小波理论、 卡尔曼 滤波、 线性时不变系统等成熟的数学方法， 以及实验心理学中烦恼率等概念， 可以对桥头跳车 现象进行多方面的评估。

考虑到本实验需要建立 Z轴加速度与 IRI之间的相关关系， 因此实验中需要通过三轴重力 加速度传感器进行实地的测量以采集数据，

因此， 为了定量探讨速度对模型结果的影响， 我们选择不同速度在同一试验路行驶， 用来 观察测量结果差异， 实地试验后发现速度和功率谱密度之间有着很好的二次相关关系，表达如 下式 （1) :

PSD = 0.0263v² + 0.6027v ( 1) 且 R² = 0.9991， 表明拟合优度极高， 则将该表达式带入上文推导的 IRI预估公式中， 可得 到最终的 IRI表达式 （2 ) :

IRI = 0.782ax_{fe i} + l .300 x_{ri ht} - 3.442 .

V0.0003865V² + 0.0009125V

采用基于红外热像图的路面裂缝发育程度检测方法进行检测系统的构建，实际的检测系统 需要利用红外双目摄像机进行路面图像的采集。双目摄像机包括一个普通相机和一个红外热像 仪， 同步进行沥青路面的图像采集， 并进行处理进行裂缝的有无、 位置、 大小和发育程度的识 别， 两种图像数据融合， 可以提高发明提出的检测方法的鲁棒性。

裂缝检测系统采用模块化设计， 可以很好的与其它路面病害检测模块进行结合。裂缝检测 模块包括摄像机固定装置、 双目摄像机、 数据传输线、 车载终端、 GPS 接受装置、 惯性导航。 摄像机固定装置可以采用定制铁架，保证可以在工程车上可靠固定双目摄像机； 可以采用车载 云台， 固定摄像机的同时可以进行双目摄像机视角的控制， 云台至少拥有两个自由度， 即可以 分别在水平方向和竖直方向旋转， 更多自由度将带来云台的更高操作性。红外摄像头的最低配 置为： 分辨率为 320 X 240， 带可更换的镜头， 免维护的非制冷微测辐射热计， 显微技术和 特写镜头测量功能，数据传输速度高达 60 Hz。普通图像摄像头支持 1080P高清图像实时输出。 数据传输线包括至少两根，分别支持高清普通图像和红外图像的高频传输，支持至少 100Hz的 1080p视频传输。 车载终端包括两种方案： 一种是前端处理， 采用嵌入式 PC进行实时视频流 的处理， 通过 3g\4g网络进行处理后的数据传输， 嵌入式 PC可以兼容普通图像和红外图像的 数据接口， 处理器支持视频流的实时处理； 另外一种是后端处理， 车载终端作为数据采集的前 端， 只负责数据采集和存储， 配置和开发要求更低， 需要有接口供采集后第三方设备接入进行 数据处理。此种模块通过视频图像拼接技术， 还原整个采集过程的路面纵向图像， 然后再沿长 度方向进行切割后分别识别，保证沥青路面裂缝检测的准确性和稳定性。此系统思路图像处理 算法要求高， 设备相对要求更少。 GPS 接受装置和惯性导航， 两者共同为采集设备进行定位， 确保精度和实时性。 定位的精度需要在 10m内。

另外一种裂缝检测模块包括摄像机固定装置、 双目摄像机、 数据传输线、 车载终端、 GPS 接受装置、 惯性导航、 光电编码器和同步控制器 （参照 CN104749187)。 光电编码器安装在车 载移动平台的车轮中心轴上， 用以测量车载移动平台的运行速度和距离； 所述 GPS接收机， 安 装在车载移动平台上， 用于所述车载移动平台的高精度定位及授时； 所述惯性导航， 安装在车 载移动那平台上， 用于在隧道内 GPS接受机接受不到 G PS信号的情况下， 测量车载移动平台 的位置、姿态数据，实现在隧道内部高精度的位置推算；同步控制器，安装在车载移动平台上， 用于同步普通摄像机和红外摄像机的图像采集时间，保证两者具有统一的时间和空间基准。此 种方法通过光电编码器精确测量车速， 同步控制器根据车速和双目摄像机的视野大小， 自动控 制双目图像采集时间，确保相邻两张有效剪辑的路面图像具有很好的连续性， 可以完整的覆盖 所采集的车道， 并且相互不重叠。 图像传输到车载终端后执行前端处理或者存储功能， 此系统 思路对于设备要求较高， 图像处理算法要求较低。

裂缝发育程度检测模型建立子系统：

采集沥青路面至少 10个样本裂缝区的红外图像， 同时记录样本大气温度及所述样本裂缝 区内的裂缝发育程度， 将图像处理后得到采样样本的样本温差数据。 以大气温度为横坐标， 相 应红外图像中的裂缝区与路面区的样本温差数据为纵坐标绘制坐标点。具体在模型建立阶段需 要的采样数据如图 1所示。

采用支持向量机对坐标点进行线性分类。 以大气温度为横坐标、裂缝与路面温度差为纵坐 标绘制点， 共有 1、 2、 3三个等级， 数字越大发育程度越严重， 如图 8所示为分类函数图， 可 以得到如下两个分类函数， 如式 （4) ( 5 ) 所示。

3、 2分类函数： ΔΓ₂₃ = ₃Γ+ ₃ (4) 其中 ( °C ) 为大气温度， Γ CO 为沥青路面与裂缝的温度差； α₂₃为线性分类函数 系数， 取值范围为 0.02~0.03， ₃线性分类函数常数项， 取值范围为 0.60~0.85.

2、 1分类函数： ΔΓ₁₂ = α₁₂Γ+6₁₂ ( 5 ) 其中 ( °C ) 为大气温度， Γ CO 为沥青路面与裂缝的温度差； ₁₂为线性分类函数 系数， 取值范围为 0.0075~0.0100， ₂线性分类函数常数项， 取值范围为 0.4~0.65. 检测结果根据以下判断 首先根据大气温度计算出 ΔΓ₁₂和 ΔΓ₂₃， 然后将测量出的 Δ 与 ΔΓ₁₂、 ΔΓ₂₃进行对比，

AT≤ AT_U则发育程度为 1; ΔΓ₁₂ < ΔΓ < ΔΓ₂₃则发育程度为 2， AT≥ AT₂₃的发育程度为 3. 现在在其它沥青道路上进行数据采集， 验证上述检测模型的精度。 由上文分析， 在路面 完全干燥的情况下， 沥青路面与裂缝的温差主要与温度有关系， 并且裂缝与路面的温度差和 裂缝的发育程度是相关的， 因此可以由红外热像仪检测裂缝与路面的温度差， 再利用上文中 分类函数 /^π /₂， 进行裂缝发育程度的检测。 首先确定检测环境满足要求， 即前文所述实验环境： 晴朗的白天， 上午八点到下午四点 之间， 路面干净并完全干燥。 然后利用红外热像仪进行数据采集， 并记录下采集每张图片时 的气温， 处理后得到裂缝与路面的温差， 根据温度计算发育程度分级阈值 ΔΓ₁₂ 和 ΔΓ₂₃。 表 2 模型验证结果 裂缝等级 实际数量 理论数量 相对误差

轻 28 23 17.8%

中 17 15 11.8%

轻 12 10 16.7% 如表 2所示， 为检测模型验证的结果， 实际检测的相对误差均小于 20%， 模型检测的平均 误差为 15.4%.结果表明预测模型的精度较好，在目前大多裂缝检测都只关注数量的背景下， 可 以根据检测模型结果赋予不同的权值给不同发育程度的裂缝， 为路面养护提供更精准的参考， 提高社会效益。

信息采集子系统

数据采集层包括车载定位设备、 主动红外图像传感器、测温型红外热像仪、三轴加速度传 感器。

车载定位设备： 车载移动测量系统由于其方便快捷、 测量效率高等的特点， 使其在城市规 划、 道路巡检、 数字城市等诸多工程中得到应用， 成为了目前测绘的一个重要方向。 为了实现 高精度的车载移动测量,需要对全球卫星导航定位系统 (Global Navigation Sat-elite System, GNSS) 定位结果提出更高的要求。由移动测量系统的特点决定了其车载 GNSS定位需要高精度、高频率 、快速的实现动态定位。目前,随着我国北斗卫星导航系统 （Bei Dou Navigation Satellite System, BDS)的建成运行、俄罗斯 GLONASS系统的大力复兴与美国 GPS系统的现代化,空中将会有更多 的高质量导航卫星。多系统组合观测可大大增加观测卫星数量,明显改善卫星的几何分布。本发 明采用最新的基于北斗或 GPS的定位技术，实现车辆位置信息的精确实时刷新，设备可以在一 定频率范围内持续向处理终端有线传输位置信息， 包括时间和经纬度。

红外摄像机，尽量避免直射光源， 因为红外灯电源控制部分是根据安装在红外灯板上的光 敏电阻来控制红外灯的工作电源开启与否的。 红外摄像机视场内应尽量避免有全黑色物体、 空旷处、 水等吸收红外光线的物体， CCD摄 像机配套的红外灯是靠发射红外光在物体上反射到 CCD摄像机镜头上成图像的， 如果红外光 被吸收或减弱， 将会大大地削弱红外灯的有效照射效果。

主动红外图像传感器设备实现检测路面的灰度图像采集， 图像质量至少达到 720p， 支持 数字图像有线传输至数据处理端。

测温型红外热像仪： 直到 20世纪六十年代， 热成像技术才被用于非军事应用领域。 虽然 早期的热成像系统很笨重、数据采集速度缓慢而且分辨率不佳， 但它们还是被用于工业应用领 域，例如检查大型输配电系统。 20世纪七十年代， 军事应用领域的持续发展造就了第一个便携 式系统。 该系统可用于建筑诊断和材料无损测试等应用领域。

20世纪七十年代的热成像系统结实耐用而且非常可靠， 但与现代热像仪相比， 它们的图 像质量不佳。 到 20世纪八十年代初期， 热成像技术已广泛应用于医疗、 主流行业以及建筑检 查领域。经过校准后， 热成像系统可以制作完全的辐射图像， 这样便可测量该图像中任意位置 的辐射温度。 辐射图像是指包含图像内各点处的温度测量计算值的热图像。

安全可靠的热像仪冷却器经过改进，取代了沿用已久的用于冷却热像仪的压缩气或液化气。 此外， 人们还开发并大量生产了成本较低、 基于管道的热电光导摄像管（PEV)热成像系统。 虽 然不能进行辐射测量， 但 PEV热成像系统轻巧灵便、 携带方便， 而且无需冷却便可操作。

20世纪八十年代后期， 一种称为焦平面阵列（FPA)的新设备从军事应用领域转移至商业市 场。焦平面阵列（FPA)是一种图像传感设备， 由位于镜头焦平面处的红外传感探测器的阵列（通 常为矩形） 组成。

采用的测温热像仪参数可以参考以下但是不限于此：

空间分辨率： 0.68mrad;

像频： 50Hz(100/200Hz带窗口）；

焦平面阵列 （FPA) /波长范围： 非制冷微量热计 /7.5~14um ; 红外分辨率： 640 X 480像素；

对象温度范围： -20°C~120°C ;

支持 USB和以太网图像流输出。 测温型红外热像仪需要实现检测路面的红外热图像采集，可以得到裂缝与路面的温度信息。 三轴加速度传感器： 三轴加速度传感器大多采用压阻式、 压电式和电容式工作原理， 产生 的加速度正比于电阻、 电压和电容的变化， 通过相应的放大和滤波电路进行采集。这个和普通 的加速度传感器是基于同样的原理，所以在一定的技术上三个单轴就可以变成一个三轴。对于 多数的传感器应用来看， 两轴的加速度传感器已经能满足多数应用。但是有些方面的应用还是 集中在三轴加速度传感器中例如在数采设备，贵重资产监测，碰撞监测，测量建筑物振动,风机, 风力涡轮机和其他敏感的大型结构振动。

发明采用集成设计加速度传感器，传感器模块具有无限传输模块和锂电池， 可以实现车辆 后轴振动信号采集， 频率最高可达 200Hz.

以上设备中，加速度传感器为平整度检测数据检测模块的采集设备、两种相机为裂缝等路 面病害检测的采集设备， 定位设备是为实现自动检测处理的辅助设备。各模块的采集设备和辅 助设备可以参照以下图 2进行设计，可以固定在各类移动平台上。车载固定架包括两个摄像机 平台和三条固定架，每支固定架上有 2~4个磁铁吸附装置， 可以使用三条支架上的磁铁吸附装 置进行两个摄像机平台的固定。 同时具有两个螺丝孔， 必要可以使用螺丝将采集系统固定在车 辆设备上。 支架需要保证摄像机的稳定性， 以及在车辆快速移动中的可靠性。

数据 H

数据传输层包括有线传输和无线传输两种方式。

有线传输包括两路视频和定位信息， 普通图像采用高清视频传输线， 红外图像可以采用高 清视频传输线或者网线进行传输。 振动信号的传输采用无线传输方式， 参考 zigbee或 WIFI方 式， 发明采用 zigbee传输方式， wifi作为技术储备。

简单的说， ZigBee是一种高可靠的无线数传网络， 类似于 CDMA和 GSM网络。 ZigBee数 传模块类似于移动网络基站。通讯距离从标准的 75m到几百米、几公里，并且支持无限扩展。 ZigBee是一个由可多到 65000个无线数传模块组成的一个无线数传网络平台，在整个网络范围 内，每一个 ZigBee网络数传模块之间可以相互通信，每个网络节点间的距离可以从标准的 75m 无限扩展。

与移动通信的 CDMA网或 GSM网不同的是， ZigBee网络主要是为工业现场自动化控制数 据传输而建立， 因而， 它必须具有简单， 使用方便， 工作可靠， 价格低的特点。 而移动通信网 主要是为语音通信而建立， 每个基站价值一般都在百万元人民币以上， 而每个 ZigBee "基站" 却不到 1000元人民币。 每个 ZigBee网络节点不仅本身可以作为监控对象， 例如其所连接的传 感器直接进行数据采集和监控， 还可以自动中转别的网络节点传过来的数据资料。 除此之外， 每一个 ZigBee网络节点 (FFD)还可在自己信号覆盖的范围内， 和多个不承担网络信息中转任务 的孤立的子节点 (RFD)无线连接。

数据传输以可靠性、实时性和稳定性为原则进行设计， 保证数据处理层与数据采集层的高 效通信， 同时需要将控制端的指令信息发送至采集设备。 网络传输如图 3所示。 数据存储设备内置与处理端， 主要对系统处理日志、 原始病害图像数据、 原始振动数据以 及他们对应的时空坐标进行存储， 以便后期进行进一步处理和大数据积累使用。

以上为采集层到处理层的数据传输，还有从处理层到服务器数据库的传输， 实时传输只针 对于数据处理后的病害信息， 主要使用无线网络进行传输， 包括 3g/4g网络， 并在数据量允许 的条件下使用窄带物联网传输技术。 此层数据传输只从处理端到服务器中心单向传输。 信息分析子系统

数据处理层包括普通图像处理、红外图像处理和振动信号处理， 通过图像处理得到有病害 的图像帧与位置信息匹配， 最终处理得到道路路面病害类型和位置； 通过对振动信号处理， 再 与位置信息匹配， 得到道路的沿线平整度和异常跳车信息。

普通图像处理：首先需要对图像进行灰度化和降噪处理， 图像降噪适用于普通图像和红外 图像， 现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响， 称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像降噪,有时候又称为图像去噪。 噪声是图像干扰的重要原因。 一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能 在传输中产生,也可能在量化等处理中产生。

图像降噪的方法主要有以下几类： 均值滤波器、 自适应维纳滤波器、 中值滤波器、 形态学 噪声滤除器、 小波去噪等。

边缘检测是各种图像检测应用中非常常见的一项检测流程，因为感兴趣特征通常其图像局 部灰度变化显著， 与背景图像有较大的差异， 在这些变化强烈的地方存在边缘。 图像的边缘信 息可以分解为边缘方向和边缘幅度特性， 通常边缘的幅值在沿着边缘方向上其变化比较平缓， 而在垂直边缘的方向上呈现剧烈的梯度变化。依据边缘的这种特性， 学者们提出了许多基于一 阶或二阶的微分算子来实现边缘的检测。对图像采用离散化的梯度逼近函数就可以找到图像中 梯度变换较大的位置，然后再将图像中将这些极值点连接起来即可以构成图像边缘，但是在这 个过程中， 需要对边缘的真伪信息做进一步的甄选。

本发明采用 Canny算子进行边缘检测来识别裂缝病害， 此为裂缝检测的核心算法。 Canny 算子的检测效果是最为优秀的， 其主要特点在于噪声的控制非常好， 能够将伪裂缝去除， 图像 比较干净， 形态学处理处理有大大优势。 Canny 算子的关键参数为 Alpha 的取值和两个高低 阈值参数。再通过对梯度幅值进行非极大值抑制减少伪裂缝和双阈值的分割和连接，使得边缘 连续成一整体且清晰可辨。

在边缘信息提取出来的后一个步骤便是阈值分割， 如果没有进行恰当的阈值分割，边缘信 息将会非常杂乱， 伪裂缝占据了整个图像区域， 所以阈值分割的步骤至关重要。 阈值分割的基 本思想是基于原始图像中的目标与背景在灰度值上的差异特性来进行区分的。通过设定一个或 多个阈值， 将图像划分为目标（前景）和背景两个部分。 阈值分割主要分为全局和局部阈值法 两种， 全局阈值法， 包括双峰法、 大津法、 最小误差法和一维最大熵法等等， 本发明采用一维 最大熵法。

经过图像的边缘检测和阈值分割后，得到的图像会存在一部分多余的伪边缘。下一步处理 需要将这些无效的信息去除，裂缝边缘的毛剌得到去除以及将间断的裂缝边缘连接起来。本发 明采用数学形态学的方法来解决这些问题。数学形态学是一门建立在集合理论的学科， 是以图 像的形态为基础，对图像进行近似数学分析的工具。其核心思想是用具有一定形态的结构化元 素去对原始图像进行度量和处理。数学形态学可以简化图像数据， 可以应用于图像分割， 噪声 抑制， 图像恢复等领域。数学形态学的基本运算操作有 4个：腐蚀（Erosion ^膨胀（Dilati₀n)、 开启 （Opening) 和闭合（Closing), 前二者运算操作的组合可以形成后二者操作。 在处理的过 程中，结构元素相当于一个"滤波窗口"，使用这个结构化的元素，将其与待处理图像进行交、 并等集合运算。腐蚀运算能够有效地去除分割图像中的孤点， 并对裂缝有细化的效果， 为了近 似的保持原来裂缝尺寸， 最后对裂缝图像进行了膨胀运算。

通过前述的处理后，裂缝的特征已经从背景图像中被分离出来， 然而在这些被分割出来的 区域通常都包含非裂缝噪声和其他干扰因素， 比如油渍， 杂物。 因此为了正确的提取裂缝， 对 于裂缝的判定是至关重要的一步，本发明利用一种基于融合的裂缝形态特征的选择方法， 能够 达到 90%以上的正确率。

( 1) 最小外接椭圆的长轴与短轴之比， 定义如下式 （3) 所示参数：

Anisometry = Ra /Rb ( 3) 裂缝在小块图像内通常呈现一个比较狭长的区域， 用椭圆将每一个待判定的裂缝 Region 进行外接， 其中求得区域内每一个 Region的 Anisometry参数， 并记录最大 Anisometry, 作为 判定依据。

( 2) 裂缝区域面积 Area

计算每一个待判定的裂缝区域的像素面积， 将其保存至 Area数组中， 并提取面积最大的 Region的 Area数据。 由于裂缝通常占据了分块面积中的较大一部分， 其余的伪裂缝的面积通 常较小， 这样裂缝区域的面积也可以作为一个判断是否为裂缝的依据。

发明首先介绍了将路面图像分块检测的思想，然后是对路面裂缝图像进行边缘检测， 在发 明中， 我们采用一种改进的 Canny算子， 对路面的裂缝边缘进行检测， 实验结果显示检测效果 较为优秀。在阈值分割阶段， 发明考虑到路面复杂状况的适用性， 选择了一维最大熵法来对图 像进行分割， 并做了对比实验。然后着重讲解了怎样去除被分割出来的裂缝孤点， 发明采用了 数学形态学来对孤点伪裂缝进行了提出， 取得了良好的效果。 最后， 发明描述了对裂缝进行判 定的方法， 统计裂缝面积大小， 以满足 PCI统计的要求。

红外图像处理： 红外图像处理分为两大步骤， 首先灰度化处理得到红外图像的灰度图， 然 后按照普通图像处理的步骤可以得到裂缝区域与路面区域 （图像中除裂缝的区域）， 然后分别 计算两个区域的 RGB平均值， 与图例进行匹配得到两个区域的温度值， 进而计算裂缝与路面 的温度差数据。 如下图 4所示：

获取到红外图像后， 需要对图像进行处理得到沥青路面裂缝和路面的各自温度数据，然后 再进行进一步分析。 由红外热图像的灰度信息，利用现有的成熟算法可以得到裂缝区域和路面 区域， 然后求得各自区域内图像 RGB均值， 最后将平均的 RGB值与 colorbar进行匹配， 从左 向右依次进行，步进取两个像素宽度以保证温度值精度， 如图 5所示为红外图像处理技术及裂 缝与路面温差获取技术路线， 图 6为图像处理过程示意图。

在图像的采集过程中， 由于受到各种因素的影响， 没有经过处理的采集到的裂缝图像都会 包含有噪声信息。 如果不去除这些噪声， 会对后续的图像处理过程及结果分析带来困难。所以 图像的预处理是很有必要的，通过预处理可以把图像中的一些冗余信息去掉， 突出我们感兴趣 的目标， 从而达到减少图像信息量和改善图像质量的目的。 首先需要对图像进行降噪处理。

路面裂缝图像中需要识别的裂缝目标和背景相比较， 信息量比较少， 而且在图片的采集 和传输过程中， 由于很多因素的干扰也会使得图像的清晰度和对比度有所降低。 所以在对图 像进行滤波去噪之后， 还要对图形进一步增强， 使得我们感兴趣的裂缝目标更加突出， 为后 面的分割识别算法提供基础。

图像分割就是把图像中的像素进行分类， 分成一些特定的， 具有独特性质的区域并且提 取出感兴趣目标的技术和过程。 由于人们在对图像进行研究时， 都会有一个目标， 这就是图 像中人们感兴趣的区域， 而往往这些目标区域都有一些特定性质。 本发明此步骤目的就是要 找出裂缝区域和路面非裂缝区域。

( 1)温差麵

在完成裂缝区域和路面区域的区分后， 就可以根据各区域的平均 RGB值与 colorbar进行 匹配， 得到区域的温度值。 然后可以将温度数据进行处理。

如附图 7所示， 以温差为纵坐标、光照强度为横坐标作图， 其中温差选取大气温度大致相 同的情况下， 严重裂缝与路面的温度差。光照强度增大后会使路表的温度整体上升， 扩大路面 温度与大气温度的差别， 在实际实验中， 当气温为 35°C时， 光照强度为 15万 Lux时沥青路面 温度可以达到 55°C _; 但是， 照度对沥青路面和它表面的温度的影响几乎是同步的， 因此， 照度 对于裂缝和路面的温差基本没有影响。

因此， 在路面充分整洁和干燥的情况下， 我们通过查询相关资料将温差影响因素锁定在照 度和大气温度， 再通过实验， 分析出照度对裂缝与路面温差基本无影响。 需要注意的是， 实验 中有选取雨后的路面， 发现裂缝温度会比路面更低 （与完全干燥情况相反）， 并且随着路面变 干过程中温差也会有较大变化，变化较复杂， 本发明通过将实验选取在完全干燥情况下避免裂 缝湿度的影响。

最后需要确定大气温度对裂缝与路面温差的影响关系。 由前文所述， 照度对于沥青路面裂 缝与路面的温差几乎无影响， 因此不考虑照度因素， 将所有不同温度下的温差数据进行绘图， 如附图 9所示。 不同发育程度的裂缝温差与大气温度敏感性大小不同， 裂缝发育程度越严重， 受大气温度影响相对越大，但总体趋势各个等级的裂缝与路面温差都随着大气温度的升高而变 大。

综上所述， 本发明只考虑裂缝与路面的温差和大气温度的关系。 同时由上图可知， 对于不 同发育程度的裂缝， 不同温度下其温差都是有差别的， 因此我们可以通过检测裂缝与路面的温 差来反映裂缝的发育程度。

关于图像分割：

传统基于图像分析的裂缝识别技术仅关注裂缝本身， 需要检测出裂缝的有无、位置和几何 形态等因素，裂缝与路面之间的过渡区域基本不作考虑。发明主要是要获取路面区域和裂缝区 域的温度差， 是需要关注裂缝和路面两个区域的， 因此可以考虑过渡区域的影响， 通过图像分 割获取裂缝和路面区域后， 需要对两个区域边界过渡区域进行删减， 因为路面温度到裂缝温度 是渐变的，裂缝和路面的过渡区温度介于裂缝中心温度和路面温度之间， 过渡区对于路面温度 的获取就是干扰区， 如图 10所示， 可以采取下列措施对干扰区进行排除。

对于路面区域， 过渡干扰区相对路面区域面积而言很小， 因此在进行排除的时候可以采取 固定的宽度进行路面区域的删减， 此处的宽度可以设定为 w宽 （0.5cm<w<2.5cm )， 实际还可 以采取基于裂缝区域最大宽度比值的方法， 即检测出裂缝区域后， 将裂缝区域上下各增加一倍 宽度后， 剩下的区域定为无干扰区的路面区域， 假设图像分割出来的路面区域宽度为 ¾， 最 终采取确定的宽度为 D ， 则有以下公式 （6)， 此方法可以较好的排除过渡干扰区的影响。

D = D₀ _ 2d₀ ( 6) 对于裂缝区域， 因为其宽度较小， 因此过渡干扰区的排除需要更细致， 可以采用基于裂缝 区域宽度比例的方法来进行排除，对图像分割的裂缝区域需要进行瘦身，假设裂缝的宽度为 图像分割出来的裂缝区域宽度为 d_Q , 则满足以下条件如式 （7) 所示： d, = d_n - lad^ ( 7)

«为为了排除过渡干扰区而对裂缝宽度上下部分分别删减的比例， 0.1≤ ≤0.2 . 过渡干扰区范围确定后， 如何具体对其进行删除可以参考以下： 对于路面区域， 相当于将 图像分割边界沿着分割边界径向往路面区域方向移动 距离得到新的路面区域边界， 对于裂 缝区域， 相当于将图像分割边界沿着分割边界径向往裂缝区域方向移动《 距离， 得到新的裂 缝区域边界。

关于区域 值计算：

沥青路面是指在矿质材料中掺入路用沥青材料铺筑的各种类型的路面。沥青结合料提高了 铺路用粒料抵抗行车和自然因素对路面损害的能力， 使路面平整少尘、 不透水、 经久耐用， 道 路结构是修筑在自然界中的带状结构物，环境因素和荷载的作用是造成路面结构破坏的主要原 因， 路面区域物理特性比较一致， 因此在红外图像中， 路面区域的温度值基本一样， 因此处理 起来比较方便， 不需要进行分别考虑， 即在图像分割中得到路面区域后就返回到红外图像中计 算该区域整体的 RGB平均值。

但是， 裂缝区域通常为细长的形状， 譬如一条两米长的裂缝， 可能只有几个毫米宽， 这种 情况下， 同一裂缝不同位置处的严重程度可能会有较大的差异， 两米长的裂缝有半米长的区域 发育程度比较严重， 根据平均 RGB值计算出来可能需要修补， 但是对于另外一条三米长的裂 缝， 其也有半米长的区域发育程度比较严重， 由平均 RGB值计算出来的温差得到的发育程度 指数就会比之前一条要低， 甚至显示为不修补， 显然是不科学的， 因此， 对于裂缝区域需要分 区域进行 RGB值得计算， 并对发育程度较严重的区域给予较高的权重， 这样计算出来一条裂 缝区域与路面的温差就会是一个数组， 如图 11所示， 不同区段裂缝可以得到不同温差值。

对于横向裂缝， 利用图像沿 y轴方向直线将有效裂缝区域分成所述 p段， 每一段长度任 意； 对于纵向裂缝， 利用图像沿 X轴方向直线将有效裂缝区域分成所述 p段， 每一段长度任 意； 对于其他种类裂缝， 不分段或者根据裂缝几何中心按角度分成所述 p段， 每一段对应中心 角度任意。 根据精度要求， 可以将图像分割出来的裂缝区域分成《(«≥2)段来进行考虑， 每一小段均 可以按照前文所述的技术路线进行处理， 即首先进行图像灰度化、 降噪， 然后进行图像增强后 再进行图像分割，得到裂缝区域后再分成《段进行后续处理，包括对每一段进行平均 RGB值得 计算， 再由平均 RGB值与图例中的颜色值进行匹配， 确定该段的温度值， 最后可以得到《段裂 缝区域的长度 /和裂缝区域与路面温度的温度差 ΔΤ， 即得到如下数组， 如式 （8) 所示： l ={h k … 0 ( 8) 其中 /, 即为裂缝区域划分区段后第 / 段的长度， 计算温度差数组如式 （9) 所示。 Γ = (ΑΤ₁ ΑΤ₂ ··· Δ7 ) (9) 其中 Δ7 即为裂缝区域划分区段后第 / 段与路面的温度差。 然后可以根据下式（10)进行加权平均计算， 得到所述有效路面区域和所述有效裂缝区域 的最终实测温差 Δ7¹ .

_{Ar =} (10) 最后将此 Δ 与参照温差数据进行对比， 得到裂缝发育程度相关参数。

或者由 Δ 数组得到各段裂缝区域的发育程度指数如下式 （11): m = {n ₂ … ") (11) 其中^ 即为裂缝区域划分区段后第 /段的裂缝发育程度指数。 根据裂缝的发育程度赋予不同区段的裂缝权重，因此可以得到裂缝的最终发育程度指数如 下式 （12): m ₌ m_ll_l+m₂l₂+- + m_nl_n (丄

Ι_λ +/₂ +"' + /„ 计算结果四舍五入取 1、 2或 3， 即裂缝发育程度的三个等级。 发明中可以采取平均分配的方法，那么就有 ^二^-^ ，公式就可以化成下列形式（13): m =— (13)

n 关于建模 中裂缝发育程度指数的计算 在模型建立过程中， 发明通过机器学习将裂缝发育程度分为了 1、 2和 3三个等级， SVM 支持向量机， 作为一种分类方法， 通过核函数将低维空间上线性不可分的样本映射到高维空 间上线性可分的样本空间， 通过核函数计算内积， 得到一个线性分类器。 常用的核函数有多 种， 如线性核函数， 多项式核函数， 径向基核函数， Sigmoid核函数和复合核函数。 发明中 就采用线性核函数首先对 1、 2等级进行分类， 得到分类函数 /₁₂ ， 再根据数据对 2、 3等级进 行分类， 得到分类函数 /₂₃， 在进行机器学习分类中会存在一定误差， 就分类采用数据中也会 有一部分属于较轻发育程度的裂缝被分配到了较严重发育程度的类别， 相反也会有较重发育 程度的裂缝分配到了较轻的类别。 但是， 在赋予权值的平均发育程度指数的计算中会出现有 小数的裂缝发育程度指数， 因为本身的分级就存在一定误差， 这些有小数的发育程度指数虽 然不一定可以使裂缝发育程度指数更精确， 但是却可以反映出相对大小， 2. 6的发育程度指 数四舍五入被划分为发育程度指数为 3的裂缝， 2. 4的就被划分为发育程度指数为 2的裂 缝， 这是之前的分类方法， 但是由赋予权重计算出来的 2. 6发育程度指数和 2. 4发育程度指 数实际上是差别不大的， 这对于管理者的决策有相当重要的影响。 因此， 在裂缝发育程度指 数的计算中， 发明可以取一位小数来表明计算出来的相对关系。 但是， 需要注意的是 2. 4的 发育程度指数不一定比 2. 3的发育程度指数要更严重， 因为前文说过， 本身分类就存在误 差， 2这个整数部分可能就已经是不准确的了。 因此， 为了避免这种问题， 发明在计算过程 中根据加权平均计算方法的方差确定了一个误差项， 即发育程度指数可以取一位小数并表示 为： m± 的形式。 采用支持向量机对数据进行线性分类。 以大气温度为横坐标、 裂缝与路面温度差为纵坐 标绘制点， 共有 1、 2、 3三个等级， 数字越大发育程度越严重， 可以得到如下两个分类函 数。

3、 2分类函数： ΔΓ₂₃ = ₃Γ+ ₃ ( 14) 其中 ( °C ) 为大气温度， Γ CO 为沥青路面与裂缝的温度差； α₂₃为线性分类函数 系数， 取值范围为 0.02~0.03， ₃线性分类函数常数项， 取值范围为 0.60~0.85.

2、 1分类函数： ΔΓ₁₂ = α₁₂Γ+6₁₂ ( 15) 其中 ( °C ) 为大气温度， Γ CO 为沥青路面与裂缝的温度差； ₁₂为线性分类函数 系数， 取值范围为 0.0075~0.0100， ₂线性分类函数常数项， 取值范围为 0.4~0.65. 检测结果根据以下判断 首先根据大气温度计算出 ΔΓ₁₂和 ΔΓ₂₃， 然后将测量出的 Δ 与 ΔΓ₁₂、 ΔΓ₂₃进行对比， ΔΓ = ΔΓ₁₂则发育程度为 1; ΔΓ = ΔΓ₂₃则发育程度为 2， 介于之间的采用线性插值法计算发育 程度指数， 指数大于 3的取 3.

若要对裂缝区域进行区段划分， 并根据裂缝的发育程度赋予不同的权重，那么由公式计算 出来的结果可以取一位小数。

误差项 σ的取值可以由以下公式 （16) 得到：

^Μ' 为对同一裂缝进行多次检测的结果， 然后由以上公式得出标准差， 据此可以将裂缝的 发育程度指数写到小数点后一位， 并通过一个固定的误差项来进行误差限定， 固定的误差项由 实验得到， 新的发育程度指数写法如下式 （17) ：

m = m±a ( 17) 其中 "为误差项系数， 取值范围为广 3.

关于图像麵采集：

图像采集可以直接进行两路视频拍摄， 然后由图像处理技术直接对视频流进行实时处理， 得到道路的病害信息， 并参照时空坐标。

以上图像采集方式对于处理器的性能要求较高， 图像处理算法较复杂，但是对于设备的要 求较少， 不需要精确测定移动平台的速度。另外一种图像采集方式需要由光电编码器和同步控 制器进行配合，光电编码器精确获取移动平台的速度， 同步控制器由平台速度来确定每隔一定 距离进行图像拍摄， 进一步同步触发两台摄像机进行图像采集， 然后图数据传输到处理端， 处 理端直接对每一张图片进行处理，得到病害数据并将有病害的图片进行存储。此种采集方式可 以降低图像算法和对处理器的要求， 即通过增加硬件降低算法的复杂度。

光电编码器： 光电编码器， 是一种通过光电转换将输出轴上的机械几何位移量转换成脉冲 或数字量的传感器， 是目前应用最多的传感器。一般的光电编码器主要由光栅盘和光电探测装 置组成。 在伺服系统中， 由于光电码盘与电动机同轴， 电动机旋转时， 光栅盘与电动机同速旋 转. 经发光二极管等电子元件组成的检测装置检测输出若干脉冲信号。通过计算每秒光电编码 器输出脉冲的个数就能反映当前电动机的转速。此外， 为判断旋转方向， 码盘还可提供相位相 差 90° 的 2个通道的光码输出，根据双通道光码的状态变化确定电机的转向。根据检测原理， 编码器可分为光学式、 磁式、 感应式和电容式。 根据其刻度方法及信号输出形式， 可分为增量 式、 绝对式以及混合式 3种。

同步控制器： 同步控制器， 是指要按照一定比率来协调主机和从机之间的位置、 转速、 扭 矩等量， 同步控制器一般有两类。 一类是和张力系统连同一起来使用的， 象张力控制器也是一 种同步控制器件，这类型的同步是以转速和扭矩等量的同步来实现的； 另一类是空间定位控制 器， 就是位置同步， 一般应用于机器人， 数控机床， 飞剪等系统的轴间联动使用， 是一种轴间 的位置跟踪定位。 目前同步控制器有嵌入式设定参数的， 也有直接可编程类的， 随着技术的发 展， 可编程类的应用慢慢超过了前者， 代表者同步技术的发展方向， 它可以通过现场总线等通 讯技术和其他设备进行连接和操作。

关于数据采 境：

利用路面和裂缝的温度信息进行裂缝发育程度的检测， 而路面温度变化较大， 容易受环境 因素干扰，对实验环境的要求要比根据普通图像进行裂缝识别更高。我们根据路面温度变化的 规律来确定实验对环境的要求， 环境要求条件保证了最终模型建立的可靠性。

一天之中 ， 路表面的最高温度几乎与日最高气温同时出现.在每天的日出和日落时段， 路 面内部各深度的温度总是大致相等.路表面的最低温度也几乎与日最低气温同时出现.同时， 随 着深度的增加， 在不同深度出现日最低温度的时间也逐渐滞后， 即太阳辐射虽然具有与路面温 度相近的变化规律， 但对路面温度的影响则呈现出滞后性和累积性的特点。 可以总结如下：

( 1) 晴朗的白天。 由于路面温度多变，容易受气候条件干扰， 因此实验尽量保证环境因 素稳定单一， 本实验选取实验地区常见的晴朗的白天。 夜间裂缝与路面温度差会较小， 如图所 示， 考虑是因为沥青普通温度变化规律所致。

( 2) 有效数据采集时间为上午八点至下午四点。 由上文分析， 日落和日出时段， 路面内 部各深度的温度总是大致相等， 因此此段时间内路面与裂缝温差很小， 通过实验也得到验证。

( 3 ) 路面完全干燥。雨后路面与裂缝都被水浸润，温度基本相同； 湿润的路面会因为水 的蒸发等使温度不稳定， 检测结果不稳定； 路面干燥而裂缝湿润， 水会影响裂缝的温度， 实验 中发现此情境下裂缝温度低于路面温度。

(4) 路面干净。为了保证裂缝和路面的红外线能顺利被热像仪检测，需要保证路面的干 净， 泥土、 杂质和油污等都会有影响。 附图简要说明 图 1 模型建立系统采样数据， 其中包括红外图像 （101 )、 大气温度 （102)、 裂缝发育程度 ( 103)、 实测温差数据 （104); 图 2 采集设备固定装置示意图；

图 3 采集端与处理层示意图；

图 4 红外图像温差示意图；

图 5 图像处理技术路线图；

图 6 图像处理过程图；

图 7 照度与温差关系图；

图 8 大气温度与温差关系图；

图 9 支持向量机线性分类图；

图 10 沥青路面裂缝区域、 路面区域和过渡干扰区；

图 11 不同裂缝区段获得不同温差示意图；

图 12 应用阶段采样数据， 其中包括红外图像 （201 )、 大气温度 （202 )、 普通图像 （203 )、 振动信息 （204)、 时空坐标 TS^ TS₂和 TS₃。 具体实鮮式

( 1) 模型建立

考虑到不同地区和不同季节的气候条件差异较大，需要进行裂缝发育程度检测模型的差异 化构建。 首先需要在合适的采集环境下进行沥青路面裂缝的红外图像采集， 并达到一定数量， 然后根据大气温度、路面与裂缝温差数据以及裂缝的发育程度进行支持向量机的分类学习，得 到分类函数， 确定此地区某季节的裂缝发育程度检测模型。

( 2) 环境确定

预测关系模型需要在一定环境条件下使用才能保证精确性， 首先需要保证数据采集时环 境条件稳定， 实验环境可以需要满足： 晴朗的白天、 有效数据采集时间为上午八点至下午四 点、 路面完全干燥和干净。

( 2) 数据采集

将普通相机（具有夜视功能）和红外相机（测温型） 固定在移动平台上， 在满足采集环境 下进行道路巡检，首先选取特定的车道，进行初始车道信息记录，巡检速度最高可达 80km/h， 在巡检过程中两路相机进行实时图像采集， 频率大于等于 60Hz， 振动传感器采集频率至少 100Hz, 沿线采集设备进行实时高频采样， 同时定位设备和系统时间实时进行时空坐标采集。 使用场景为各等级公路的沥青路面。 此阶段属于应用阶段， 具体的采样数据如图 12所示。

( 3 ) 数据处理

首先进行两路图像的实时处理，对每一张进行路面病害识别算法处理， 并对图片进行有无 病害的分类存储，对于有病害的图像进一步识别病害的类型， 对于裂缝型病害进一步根据红外 图像进行裂缝发育程度的识别， 然后将病害形成日志信息， 与定位信息进行匹配， 同一裂缝可 能存在多个图像中， 处理后每个图像都会得到病害信息， 在与定位信息进行匹配后则可以确定 病害的唯一性， 即同一位置坐标处的同一病害类型只存在一个。最后将病害信息上传至中心服 务器， 待下一步展示和应用。

同时进行振动信号的处理，通过高频振动信号实时计算路段的平整度信息， 并与时空坐标 进行匹配后形成完整的平整度检测信息后上传至服务器数据库待下一步展示和应用。

(4) 数据发布

数据发布有两个层次， 第一层是作业层的展示发布， 在车载端配置数据发布层， 显示端直 接与处理器连接，数据来源于实时的处理端传输信息， 主要是对数据流的可视化显示以及检测 工况的工作状态显示， 无交互界面。 工况分为正常、 异常和错误， 数据流的显示辅助相关人员 进行异常工况的排除， 错误工况属于设备问题， 需要进行停机检查。 异常工况主要是采集气候 条件不满足或者移动平台速度过快等异常采集环境条件。

第二层是应用层的发布， 主要是可视化 Web形式， 分为日志界面和可视化地图界面， 日 志页面可以实现数据的查询导出导入等操作，可视化界面利用在二维地图上显示病害的位置和 信息， 同时可以切换至平整度显示模式。

Claims

权利要求书

1. 一种基于双目图像分析的沥青路面病害检测系统， 包括裂缝发育程度检测模 型建立、 信息采集、 信息分析、 信息传输和信息发布五个子系统-

1) 模型建立子系统- a. 采集沥青路面至少 10个样本裂缝区的红外图像（101)， 同时记录样本大 气温度 （102)及所述样本裂缝区内的裂缝发育程度 （103)， 采用传统裂缝 严重程度分类方法对裂缝发育程度进行估计， 将所采集裂缝的裂缝发育程 度 （103) 分为 1、 2、 3三个等级；

b. 对步骤 a中裂缝区的红外图像（101)分别进行处理， 得到对应的裂缝区 内的裂缝和裂缝区内的路面之间的实测温差数据 （ 104);

c 利用步骤 b所得到的实测温差数据 （104)， 以及步骤 a所记录的样本大 气温度（102)和裂缝区内的样本裂缝发育程度数据（103)进行支持向量机 分类，得到两个分类函数 ^Δ ^⁷^ 和 ^Δ =«23^23 ,所述分类函数自 变量为所记录的样本大气温度 Γ， 因变量为参照温差数据 Δ7 ^ΡΔΓ_23;

2)采集子系统，所述采集子系统位于移动平台上，移动平台在路段上持续移动， 所有采集行为都是连续的：

d. 采集沥青路面裂缝区的红外图像 （201)， 同时记录大气温度 （202)、 采 集时空坐标 TS_1;

e. 采集沥青路面的普通图像 （203)、 同时采集时空坐标 TS_2;

f. 采集移动平台后轴振动信息 （204)、 同时采集时空坐标 TS_3;

3)分析子系统，所述分析子系统内嵌于处理端，处理端的设备位于移动平台上： h. 将 d、 e步骤中的红外图像 （201)、 大气温度 （202) 和普通图像 （203) 进行处理， 并与步骤 e中的时空坐标 TS TSz匹配， 得到病害信息； i. 将 f步骤中的振动信息 （204) 进行处理， 并与步骤 e中的时空坐标 TS₃ 匹配， 得到平整度信息；

4) 传输子系统：

j. 将步骤 h、 i中的病害信息和平整度信息上传至服务器数据库；

5) 发布子系统：

k. 利用步骤 j中服务器数据库的病害信息和平整度信息建立可视化界面。

2. 如权利要求 1所述的沥青路面病害检测系统， 其特征在于， 步骤 d包括： 利用非制冷焦平面测温型红外热像仪拍摄沥青路面红外图像 （201)， 设 备距离地面 1至 2m;

d₂. 利用气温计在采集上述红外图像 （201) 的同时记录大气温度 （202)。

3. 如权利要求 1所述的沥青路面病害检测系统， 其特征在于， 步骤 e包括： d. 采用高清摄像机拍摄沥青路面普通图像 （203)， 设备距离地面 1至 2m。

4. 如权利要求 1所述的沥青路面病害检测系统， 其特征在于， 步骤 f包括： fi.将两个采集频率范围在 20Hz〜500Hz之间的传感器模块分别固定在车辆后 轴上车轮的正上方；

f₂.在移动平台启动后以特定频率开始采集平台竖直方向的振动信息 （204); f₃.得到振动信息 （204) 后通过无线传输方式输出至处理端。

5. 如权利要求 1所述的沥青路面病害检测系统， 其特征在于， 步骤 d、 e、 f 中 所采集的：

时间坐标统一由处理端时间确定；

空间坐标由定位设备采集， 时空坐标 TS^ TS₂、 TS₃在处理端进行保存。

6. 如权利要求 1所述的沥青路面病害检测系统， 其特征在于， 步骤 h包括： h,将普通图像（201)利用病害识别模型算法进行处理得到病害有无和类型； W 将红外图像 （203) 利用病害识别模型算法进行处理， 得到裂缝区域； h₃. 将红外图像 （203) 利用裂缝发育程度检测模型进行处理， 得到裂缝的发 育程度；

h₄. 将上述裂缝有无、 类型和发育程度信息， 贴上时空坐标 TS TS₂标签。

7. 如权利要求 6所述的沥青路面病害检测系统， 其特征在于， 步骤 h₃包括： h₃,对于所述沥青路面红外图像（201)进行图例匹配，得到路面实测温度 Γ。； h₃₂.将步骤 h₂经过图像处理得到的所述裂缝区域划分为 ρ段， p^2, 每段长 度为! ·!_Ρ， 分别对每一段进行图例匹配， 得到实测温度 … _ρ ； h₃₃.将步骤 h₂中所述裂缝区域各段实测温度减去步骤 h₃₁所述的路面实测温度 T₀， 得到实测温差 Δ7

h₃₄. 根据下式进行加权平均计算， 得到最终实测温差 ΔΓ，

h .将大气温度 （202) 带入所述检测模型中的分类函数 Δ ₁₂=α₁₂ + ₁₂， 得到 参照温差数据八7_2; h₃₆.将所述的大气温度（202)带入所述检测模型中的分类函数 Δ ₂₃ =a₁₃T+b₁₃, 得到参照温差数据 Δ _{23 ;}

h₃₇.对步骤 h ₃₄中的 ΔΓ、 h _3δ中的 ΔΓ₁₂、和 h ₃₆中的 ΔΓ₂₃进行比较，若 ΔΓ < ΔΓ₁₂， 发育程度为 1 ; 若 ΔΤ₁₂ < ΔΤ < ΔΤ₂₃， 发育程度为 2; 若 ΔΤ〉ΔΤ₂₃， 发育程度 为 3。

8. 如权利要求 1至 7之一所述的沥青路面病害检测系统， 其特征在于， 步骤 i 包括：

Ϊ!. 将振动信息（204)利用基于功率谱密度的平整度评估模型算法进行处理， 得到路段的平整度信息；

. 将 所述平整度信息，贴上时空坐标 TS₃标签，其中时间坐标精确到分钟， 空间坐标精确到米。

9. 如权利要求 1至 7之一所述的沥青路面病害检测系统， 其特征在于， 步骤 k 包括：

将所述保存在服务器数据库的病害信息和平整度信息通过类别、 时间序列 日志形式在可视化界面展示；

k₂. 将所述保存在服务器数据库的病害信息和平整度信息通过类别、 空间序列 进行地图可视化。

10.如权利要求 9所述的沥青路面病害检测系统， 其特征在于：

步骤 ^中的：

所述日志形式可以分类査询、 按时间和空间进行排序；

所述日志形式可以导入外部病害信息并进行保存、 调用；

所述日志支持报表生成， 具有统计图表可视化功能， 并支持分析模型接入； 步骤 k₂中的：

所述地图可视化可以分类査看、 按空间进行排序；

所述地图可视化支持单点单病害査询， 并生成报表。