CN102148965B - 多目标跟踪特写拍摄视频监控系统 - Google Patents

Abstract

本发明提供一视频监控系统，包括一第一摄像系统，其包含一个或多个摄像机用于拍摄大场景视域内的广角视频，一第二摄像系统，其包含一个或多个PTZ摄像机用于拍摄大场景视域内的局部视频，以及一控制系统。该控制系统包括一图像采集模块，用于接收第一摄像系统所拍摄的广角视频；一前景提取模块，用于从广角视频中提取感兴趣的目标；一坐标转换模块，利用一坐标转换机制将第一摄像系统拍摄的大场景视域中的任意点投影于第一摄像系统拍摄的广角视频的图像平面上的二维坐标（x，y）转换为第二摄像系统中的一被选择PTZ摄像机在其画面中心对准该任意点时的垂直高度角θ和水平方位角φ；其中该坐标转换机制是通过在所述大场景视域内随机选取的至少三个任意点来建立。

Description

多目标跟踪特写拍摄视频监控系统

技术领域

本发明主要涉及智能视频监控技术领域，特别是涉及一种由拍摄大场景的第一摄像系统，跟踪其中的多个目标的控制系统，以及特写拍摄各个跟踪目标的第二摄像系统组成的视频监控系统。

背景技术

在很多应用中，需要对较大场景范围进行视频监控，通常的做法是利用少数广角摄像机覆盖大场景。由于广角摄像机视角较广，又因受限于图像传感器的分辨率，因而对所拍摄的大场景中的具体目标物体的分辨率都普遍较低，很难从拍摄的图像中获取目标物体的细节信息。

现有的解决方案之一是使用较多数量的分布的长焦距固定摄像机来覆盖一个大场景，将这些分布的摄像机分别拍摄到的画面进行拼接。这种解决方案的缺点是需要大量增加摄像机，使购买设备、安装布线以及录像存储的成本大为提高。

另一种可能的解决方案是利用较少数量的几个可以在水平方向和垂直方向旋转并且可以变焦的摄像机(又可简称为PTZ摄像机)来实现对大场景的监控。其中一种方式是由监控人员人工操控PTZ摄像机的旋转和变焦，对大场景进行扫描覆盖。但是，在无人操控的状态下PTZ摄像机一般停留在广角设置状态，此时则将无法拍摄大场景中目标物体的细节，而当PTZ摄像机停留在长焦设置状态时，则只能覆盖大场景中很小的一部分。另一种方式，是在没有无人干预的情况下，使PTZ摄像机按照预先设定的巡航路线来扫描覆盖大场景，在这种方式下，PTZ摄像机沿着预定巡航路线移动，在每个预设的预置点停留一定时间后转向下一个预置点。这后一种方式下，因为PTZ摄像机只能沿着预先设定的路线进行巡航，因此有些物体很有可能完全避开摄像机的拍摄。

美国专利US6,215,519中公开了一种结合广角和局部图像拍摄的视频监控系统，在该系统中一个第一图像摄像系统具有对大场景进行拍摄的广角视域，在一个或多个第二图像摄像系统中，每个图像摄像系统被设置定位于大场景中的一部分区域，并能够以大于第一图像摄像系统的分辨率对该第二图像摄像系统所对应的区域中的感兴趣目标进行跟踪拍摄。

另一美国专利US6,724,421中则公开了一种包括用于导航的主摄像机和用于跟踪目标的从摄像机的视频监控系统，在该系统中一固定设置的导航主摄像机用于拍摄大场景的全景，一个或多个从摄像机则定位于用来拍摄该大场景中的一部分某个适当的位置。该发明专利中指出了在得到监控的大场景区域内的任意点的位置可以利用坐标系，如直角坐标、极坐标或球形坐标系来予以描述。图像中的每个像素均可以被映射并标识于一个参考坐标系，因而场景中每个区域中的任意点都有一个对应的坐标储存于计算机系统中。每当通过导航主摄像机检测到一个感兴趣目标时，计算机会引导从摄像机水平、垂直旋转及/或变焦，从而瞄准目标并跟踪目标的移动。

上述两种现有技术所描述的视频监控系统都提出了利用广角摄像机和PTZ摄像机进行主从配合的方式来解决上面所述存在的技术问题。但是，所有包括这两篇专利文献在内的现有技术在有效实现不同摄像机系统之间的精确互动和控制方面，尚有很多未解决的问题和不足。因此，本发明的宗旨在于针对上述现有技术的不足，提供一种成本较低的视频监控系统，不仅能有效地对大场景实现全面监控，而且能准确捕捉大场景中的目标物体的细节信息，使系统的工作效率以及所获得的图像质量均大为提高。

发明内容

本发明的目的在于提供一种多目标跟踪特写拍摄视频监控系统，具有以较低分辨率拍摄大场景视域的广角视频的第一摄像系统，并跟踪其中的多个感兴趣目标，以及以较高分辨率特写跟踪拍摄各个感兴趣目标的第二摄像系统，通过其改进的控制系统可以有效实现第一和第二摄像系统之间的精确互动和控制，目标的跟踪和分配拍摄，在降低系统成本的同时提高系统的性能。

根据本发明的一个方面，提供了一种视频监控系统，包括一第一摄像系统，其包含一个或多个广角或PTZ摄像机用于拍摄大场景视域内的广角视频，一第二摄像系统，其包含一个或多个PTZ摄像机用于拍摄大场景视域内的局部视频，以及一控制系统。其中，所述控制系统包括一图像采集模块，用于接收第一摄像系统所拍摄的广角视频；一前景提取模块，用于从所述广角视频中提取感兴趣的目标；一坐标转换模块，其利用一坐标转换机制将第一摄像系统拍摄的大场景视域中的任意点投影于所述第一摄像系统拍摄的广角视频的图像平面上的二维坐标(x，y)转换为所述第二摄像系统中的一个被选择的PTZ摄像机在其中心对准所述任意点时的垂直高度角θ和水平方位角

其中所述坐标转换机制是通过在所述大场景视域内随机选取的至少三个任意点来建立。

根据本发明的又一个方面所提供的视频监控系统，其中所述坐标转换机制通过以下步骤来建立：-选取位于大场景视域内的一任意点；-确定所述第二摄像系统的PTZ摄像机在其中心对准所述任意点以定标时的垂直高度角θ和水平方位角

-确定所述任意点投影于所述第一摄像系统拍摄的广角视频图像平面上的坐标(x，y)；-通过随机选取至少三个任意点的上述数据确定一坐标转换映射参数矩阵A；-利用所述映射参数矩阵A建立所述第一摄像系统的摄像机的像平面像素坐标(x，y)与相应的第二摄像系统的PTZ摄像机的垂直高度角和水平方位角

之间的坐标转换方程式。

优选的是，所述坐标转换模块中的坐标转换机制可利用以下的方程式：

其中， $r=\sqrt{\frac{{(x-c_x)}^2}{f_x^2}+\frac{{(y-c_y)}^2}{f_y^2}+1}$ f_x，f_y是以像素x和y方向的尺寸为单位的焦距长度，(c_x，c_y)是广角摄像机光学中心在像平面上投影的坐标，A是所述坐标转换映射参数矩阵。

进一步地，所述坐标转换模块还利用以下等式来计算从所述第一摄像系统中提取的感兴趣目标区域的图像大小放大至所述第二摄像系统拍摄的焦距： $f_{\mathrm{PTZ}}=\frac{d_{\mathrm{WAC}}}{d_{t\arg \mathrm{et}}}\·\frac{s_{\mathrm{WAC}}}{s_{\mathrm{PTZ}}}\·f_{\mathrm{WAC}}$ 其中，f_WAC为第一摄像系统的广角摄像机的焦距，s_WAC是广角摄像机图像传感器，s_PTZ是第二摄像系统的PTZ摄像机图像传感器尺寸，d_WAC是广角摄像机全幅画面的尺寸，d_target是需要放大的目标在广角摄像机画面中的尺寸，f_PTZ是PTZ摄像机的焦距。

更为优选的是，所述控制系统在所述坐标转换模块之前还设有一畸变校正模块，用于在实行坐标转换前校正第一摄像系统拍摄的视频图像畸变，从而使坐标转换模块在将第一摄像系统拍摄的图像中的每一个像素点转换为第二摄像系统的PTZ摄像机的垂直高度角和水平方位角时更为精确。

进一步地，所述控制系统在所述前景提取模块之后还设有一目标跟踪模块，用于跟踪一个或多个感兴趣目标；特别的是，所述目标跟踪模块还可以记录所述感兴趣目标在过去任意时刻的位置和速度，也可以预测所述感兴趣目标在未来特定时刻的位置和速度。

进一步地，所述目标跟踪模块可被设置为在完全自动模式、半自动模式、或者完全手动模式工作。

再进一步地，所述的视频监控系统的控制系统还可包括一目标排队模块，基于预先设定的规则将感兴趣目标分配给相应的第二摄像机系统中的PTZ摄像机按顺序进行拍摄，所述预设规则包括：-被相应的PTZ摄像机拍摄时间最少的目标拥有最高优先级；-未来在预定义的监控区域内停留时间最短的目标拥有次优先级。

通过以上所述的技术方案，本发明的视频监控系统实现了对多个目标的实时跟踪与拍摄，通过坐标定标以及畸变校准在两个摄像系统的摄像机之间实现精确定位和互动控制；更为有利的是，还提供了多种跟踪目标的工作模式和分配目标进行按顺序拍摄的预设规则，优化了目标的提取和跟踪方式，实现对硬设资源的充分利用，降低成本，提高了系统的质量和性能。

附图说明

图1为根据本发明的一种具体实施例的智能视频监控系统的结构示意图。

图2为示例性说明本发明的视频监控系统拍摄大场景画面和跟踪拍摄其中的多个目标感兴趣区域的放大画面的示意图。

图3为本发明的视频监控系统显示器的截屏图像示例，显示了放在左侧的大场景和放在右侧的感兴趣区域放大画面以及画面下方用于实行定标操作的菜单部分的用户界面。

图4为根据本发明的视频监控系统控制系统的坐标转换机制的几何原理图释。

具体实施方式

图1至图3结合描述了根据本发明的多目标跟踪视频监控系统的基本构成，如图1所示，本发明的视频监控系统包括两组摄像系统1、2，并由至少一组控制系统3对其实行控制。其中，第一摄像系统1可包含一个或多个摄像机，覆盖所需监控的大场景视域，提供一般分辨率的广角视频输送给监控系统的第一显示装置显示，如图2的示意图中的左侧画面或图3的显示器截屏左侧画面所示；第二摄像系统2包含一个或多个PTZ摄像机，具有可以调节的视场，覆盖大场景视域内的一部分，经光学放大后以高清晰分辨率的视频输送给监控系统的第二显示装置显示，如图2的右侧画面中的I、II、II画面或图3的显示器截屏右侧画面所示。

通常，第一摄像系统1应用广角摄像机将整个被监控的大场景覆盖，将所拍摄的视频流输送给控制系统3。在实际应用中，该第一摄像系统1可以是由一个或多个固定广角摄像机组成，例如但不限于：广角的定焦定向摄像机、360度全景摄像机，或者也可以采用水平方向及垂直方向可旋转并且可以变焦的PTZ摄像机。第二摄像系统2包括至少一个可以水平/垂直旋转并可改变焦距的PTZ摄像机，因而可以调整其视场，对准感兴趣的目标区域进行光学放大拍摄。在另一具体实施例中，第一摄像系统1和第二摄像系统2都由一个或多个可以在水平方向和垂直方向旋转并且焦距可变的PTZ摄像机组成。第一和第二摄像系统1、2中的摄像机可以具有主从关系或并列关系，在某些情况下，这种主从关系也可以根据环境的变化实现互换。可以理解的是，控制系统3可以是普通的计算机、工业控制计算机、或嵌入式计算系统等任何适当的可编程计算机，所述控制系统3的具体构成、功能及其运行的细节将在后面的段落中予以详细描述。

图2所示是为说明目的而展示的根据本发明的视频监控系统一个典型的简化实例，其中的视频监控系统包含一个构成所述第一摄像系统1的广角摄像机，一个构成所述第二摄像系统2的PTZ摄像机，以及一个控制所述广角摄像机和PTZ摄像机的控制系统3。根据本发明的原理，该控制系统3将对第一摄像系统1利用广角摄像机拍摄的广角视频进行处理，并可以从所述广角视频图像中提取出多个感兴趣的目标。图2中左侧的画面即是通过本监控系统的第一显示装置显示的由广角摄像机拍摄的大场景视域内的广角视频画面，其中用三个小的矩形框(i、ii、iii)标出的区域为控制系统3提取并跟踪的感兴趣目标区域。控制系统3将引导第二摄像系统2的PTZ摄像机跟踪这些感兴趣的目标，并以高分辨率对目标区域进行放大拍摄，其输出的视频通过第二显示装置显示。图2中右侧放大了N倍的画面中的三个矩形框(I、II、III)分别是通过第二显示装置显示的由PTZ摄像机2跟踪拍摄的这些感兴趣目标区域(i、ii、iii)的高分辨率放大图像。

可以理解的是，上述广角视频图像以及其中这些被跟踪的感兴趣目标区域的放大图像，可以被分别显示在不同的显示器屏幕上，也可以被显示在同一个显示器屏幕上分割出来的不同画面区域，例如，如图3中所示的并列显示模式。在同一屏幕上分割显示了来自第一和第二摄像系统的不同视频画面。同理，这些分割区域可以是大小相同，也可以大小不同，屏幕分割显示属于现有技术习知领域，因为与本发明的要旨无关，在此不作赘述。

在图1所示的本发明优选实施例中，采用了多个广角摄像机镜头相互配合拍摄较大的监控场景。在另外的具体实施例中，也可以采用一个或多个控制系统3来分别捕获多个感兴趣的目标区域，并且同时控制多个PTZ摄像机的可调节视场，分别跟踪拍摄这些目标区域的高分辨率视频。

用户一般通过与控制系统3通信连接的显示和操作模块4，通过显示装置5实现对场景的监控以及对广角摄像机以及PTZ摄像机的操控，如图1所示。根据本发明的具体实施例，所述显示及操作模块4可以在控制系统3的计算机操作系统上运行，也可以在与控制系统3通信连接的其它独立的计算机操作系统上运行。所述显示及操作模块4除了将第一和第二摄像系统1、2的视频画面通过显示器5显示给用户，同时也将控制系统和用户操作界面通过显示器5显示给操作者，参考图3的显示装置的屏幕截屏。

另外，本发明的视频监控系统还包括一台或多台视频录像机6，用于录制存储第一摄像系统1和第二摄像系统2所拍摄的视频。录像机6既可以和操作及显示模块4连接，也可以和第一和第二摄像系统1、2直接连接。

可选择地，控制系统3可以通过服务器和网络与远程客户端通信连接。第一和第二摄像系统1、2拍摄的视频经过压缩处理后上传至服务器，再通过网络将视频发送给远程客户端。用户可以通过网络在远程客户端管理和操控本发明的视频监控系统的控制系统3。

根据本发明的一种具体实施方案，用户可以通过控制系统3根据需要来预先定义第一摄像系统1所要监控的区域范围，然后，利用第二摄像系统2对用户定义的监控范围内的感兴趣目标实行跟踪拍摄。在一些优选的实施例中本发明还可包括一个或多个辅助光源系统，可以根据第一或第二摄像系统所覆盖的区域，调节该辅助光源系统的照射区域，在自然光线昏暗的情况下使被监控区域有足够的光照。

现在，参照图1中的控制系统3的框图来举例说明本发明视频监控系统的控制系统3的具体构成、功能和原理。从图1可以看出，所述控制系统3包括：一图像采集模块31，用于接收第一摄像系统的广角摄像机所拍摄的大场景视域内的广角视频；一畸变校正模块32，用于校正广角摄像机所拍摄的视频图像畸变；一前景提取模块33，用于从广角视频中提取感兴趣的目标；一个目标跟踪模块34，用于跟踪一个或多个感兴趣的目标；一个目标排队模块35，基于预先设定的规则，将感兴趣目标分配给相应的第二摄像机系统中的PTZ摄像机按顺序进行拍摄；一坐标转换模块36，将第一摄像机系统1所拍摄的广角视频中的感兴趣目标区域的中心位置的二维坐标转换为相应的第二摄像机系统2中的PTZ摄像机在其画面中心对准所述感兴趣目标区域的中心位置时的垂直高度角和水平方位角，同时也将第一摄像机系统1所拍摄的广角视频中目标区域的大小转换为相应的第二摄像机系统2中的PTZ摄像机拍摄所述目标区域的光学放大倍数即PTZ摄像机的焦距；以及一PTZ摄像机控制模块37，用于调节PTZ摄像机在垂直方向和水平方向上的运动以及焦距变化。

在第一摄像系统1的摄像机多于一台的情况下，图像采集模块31还可以对摄像机拍摄的视频进行拼接，将拼接后的视频提供给畸变校正模块32，畸变校正模块32不仅使得广角视频更适于观看，而且更重要的是在后续的处理中，使得坐标转换模块36在将广角视频图像中的像素点坐标转换为PTZ摄像机的垂直高度角和水平方位角时更精确。畸变校正方法在国内外已公开的论文中有广泛的介绍，举例来说，Z.Zhang发表于1999年9月召开的计算机观察希腊科夫国际会议第666-673页上的“从未知方向观察平面对摄像机进行灵活定标”中就介绍了这样一种简单易行的方法，该方法使用被校正广角摄像机拍摄多幅标准黑白棋盘格的不同远近及不同方向的图片，即可估计出该广角摄像机的一系列畸变参数，从而建立一个从畸变图像到校正后的非畸变图像的映射。

畸变参数对于每个广角摄像机都固定不变，因此每个广角摄像机在使用前可以校正一次，并且将得到的参数存储在系统中。在以后的使用中，广角摄像机拍摄的广角视频的每一帧图像均可使用同样的参数，校正后的广角视频图像被运用在监控系统后续的所有信号处理中，坐标转换以及目标跟踪均使用校正后的图像。

前景提取模块33可以使用国内外论文中已公开的算法来处理广角摄像机拍摄的广角视频，提取出广角视频中运动图像的前景像素。这些算法举例来说包括，但不仅限于：帧差法、移动平均法、混合高斯模型法等。所提取出的前景像素经过图形学算法腐蚀和膨胀，去除噪声导致的虚假前景像素，剩下的前景像素由连通域分析后，获取运动目标的位置和大小信息，即感兴趣目标的中心位置和区域限位矩形框。

感兴趣目标的位置和大小信息将被输送到目标跟踪模块34。目标跟踪模块34跟踪一个或多个目标，并且利用当前帧中提取的目标位置和大小信息更新对一个或多个目标的轨迹实行跟踪。目标跟踪模块34还被设置为可以添加新的目标，删除已经消失的目标。目标跟踪模块34的另一个功能是可以预测目标在未来某个特定时刻的位置和速度。

根据本发明的一种具体实施方案，目标跟踪模块34可以设有各种跟踪目标工作模式，例如：可以选取第一摄像系统中的多个运动物体中的一个或几个，控制第二摄像系统中的一个或多个摄像机，分别对这些物体进行高分辨率视频拍摄。根据用户参与形式的不同来概括，目标跟踪模块的工作模式主要包括以下三种：-完全自动模式：由一套自动排序模式预先设定运动物体的优先级，由目标跟踪模块34来决定对当前场景中的目标拍摄高分辨率视频的顺序，由目标跟踪模块34和PTZ摄像机控制模块37自动控制第二摄像系统的PTZ摄像机对目标进行拍摄，使被跟踪目标始终展现在第二摄像系统拍摄的视频图像画面的中心，并且尽量充满整个画面；-半自动模式，由用户通过显示屏幕来选取目标，在显示装置左侧显示的大场景视域的广角视频画面中选定已跟踪的目标中的任意一个，然后由监控系统的控制模块3自动控制第二摄像系统2跟踪目标，使被跟踪的目标的中心位置始终保持在左侧第二摄像系统2拍摄的视频图像画面的中心，并尽量充满整个画面；-完全手动模式，由用户通过在显示装置左侧的广角视频画面中，移动光标手动选取画面中的一部分区域，然后通过控制系统3手动控制第二摄像系统2中的PTZ摄像机跟踪被选定的目标区域，同样，该目标区域的画面尽量充满第二显示装置的整个显示画面。

经过目标跟踪模块34处理后的所有目标的位置、速度和大小信息被送到目标排队模块35。由于被监控的大场景中的目标个数可能会超过整个监控系统中所安装的PTZ摄像机的个数，所以在所要跟踪的感兴趣目标超过PTZ摄像机数量的情况下就需要对目标进行分时跟踪和拍摄。另外，当系统安装超过一个PTZ摄像机时，而被监控场景中的目标个数也超过一个，此时也需要将不同的目标分配给不同的PTZ摄像机来跟踪和拍摄。目标排队模块35基于一定的预设规则，分配所跟踪的目标按顺序进行拍摄，将特定目标分配给相应的PTZ摄像机来跟踪，令各个目标按一定的分时规则分配给各个PTZ摄像机进行排序等待拍摄。目标排队的规则可根据实际的应用需要来制定，举例来说，根据本发明推荐的具体实施例，所述目标排队规则包括如下规则：-被PTZ摄像机拍摄时间最少的目标拥有最高的优先级；-未来在预定义的监控视域内停留时间最短的目标拥有次优先级。

其中，未来在预定义的监控视域内停留的时间是根据目标跟踪模块34计算出的目标移动速度，估计出目标未来还将在该区域内停留的时间，该时间越短说明该目标将越快离开该区域。

由目标排队模块35确定当前时刻每个PTZ摄像机将要拍摄的感兴趣目标之后，这些目标的位置、速度和大小信息被送到坐标转换模块36。每个感兴趣目标的位置、速度和大小信息均被转换成对应的PTZ摄像机的垂直高度角、水平方位角、放大倍数(即焦距)，而这些参数则被用以控制PTZ摄像机的垂直高度角、水平方位角、放大倍数(即焦距)的调整，将PTZ摄像机的镜头调整至对准当前被分配目标的位置和所需要放大倍数(即焦距)进行拍摄和跟踪。

坐标转换模块36用来将其之前的模块所得到的目标区域的中心位置投影于广角视频图像平面上的二维坐标，目标的移动速度和目标区域的大小等信息，转换成PTZ摄像机对准该目标中心位置的垂直高度角、水平方位角、以及将该目标尽量充满PTZ摄像机画面时所需的放大倍数(即焦距)，使得目标区域由相应的PTZ摄像机拍摄，输出高分辨率放大视频显示于第二显示装置的屏幕中央并尽量充满整个屏幕。

因此，坐标转换模块36的功能主要包括两个方面：1)对感兴趣目标区域的中心位置的进行坐标转换，将所述感兴趣目标区域的中心位置投影于第一摄像系统1的广角视频图像上的像素点的二维坐标，转换为第二摄像系统2的PTZ摄像机对准该目标中心位置时的垂直高度角和水平方位角；以及，2)计算PTZ摄像机的放大倍数(即焦距)，使PTZ摄像机所拍摄的感兴趣目标区域的中心位于该显示屏幕的中央并使该感兴趣目标区域尽量充满第二显示装置中预定义的显示屏幕。

为了对目标区域的中心位置实行坐标转换，首先要对第一摄像系统1的像平面坐标系与第二摄像系统2的像平面坐标系进行精确定标，使两者之间的坐标映射与转换更为精确。所谓坐标定标是指将两个摄像系统的像平面上对应的像素点位置进行匹配，以此建立两者之间的映射关系。所谓定标点指的是在广角摄像机所覆盖的大场景视域内拍摄得到的真实世界中的点。该定标点通常都选择特征比较显著的位置，在广角摄像机和PTZ摄像机图像画面中都容易辨认的点，以便在实行定标时，方便地在两个摄像机之间实现定标点的匹配。

对于每个被选择的定标点，可以由操作者在手动模式下操作PTZ摄像机，使其画面中心对准该定标点，记录下PTZ摄像机当时的高度角和方位角

同时，通过控制系统3获取该定标点位于广角摄像机拍摄的广角视频图像平面上的二维坐标(x，y)，从而使该定标点在第一和第二摄像系统1、2的像平面上的对应像素点相互匹配。采用同样的方法选取多个定标点，例如说采集至少三个定标点之后，可得到这些定标的上述高度角θ、方位角

和二维坐标(x，y)的数据，然后可利用最小二乘法求解得到一坐标转换映射参数矩阵A。该坐标转换映射参数矩阵A与广角摄像机和PTZ摄像机的相对位置和角度有关，因此，在两者之间的相对位置和角度不发生变化的情况下所述坐标转换映射参数矩阵A保持恒定。

现参考如图3所示的本发明的视频监控系统通过显示器呈现的监控画面和操作界面的实例，其中显示装置上所显示的是广角摄像机拍摄的大场景的广角视频(左侧画面)以及PTZ摄像机拍摄的放大的目标区域的局部视频(右侧画面)，另外，在广角摄像机拍摄的大场景广角视频的左上角定义了一块局部放大区域M1，为被选定的目标区域在广角摄像机拍摄的视频画面中的放大图像，由于其拍摄的分辨率较低，被放大后显示其像素粒子比较粗图像较为模糊。监控画面下方设有用户操作界面，在此作为举例所显示的是控制系统3所包含的用于对广角摄像机与PTZ摄像机进行定标的操作界面；其中，该操作界面包括一组控制PTZ摄像机拍摄视频的屏幕显示信息选项，如图最右侧显示；还有一“已定坐标集合”区域，如图最左侧用箭头线M2所示的列表区域。在该操作界面的中部还分别设有PTZ摄像机控制菜单M3，包括：放大、缩小、向上、向下、向左、向右、向左上、向左下、向右上、向右下、以及速度控制条等操作按钮，这些功能键均用于控制PTZ摄像机的水平方位角和垂直高度角的调整。另外，同样在该操作界面的中部，靠近左侧，还设有定标步骤所需要的功能按钮，如：读取定标数据、确认、完成、保存、删除、全部删除等，用于进行定标操作。

在进行坐标定标时，选择前三个定标点和第四个以后的定标点的步骤有所不同。选择前三个定标点的步骤如下：1)首先，通过PTZ摄像机控制菜单M3中的操作按钮，调整PTZ摄像机的垂直高度角、水平方位角以及放大倍数，使待选的定标点清晰地出现在右侧PTZ摄像机拍摄的画面中央，此时PTZ摄像机的中心即对准该定标点；2)然后，将光标移至左侧广角摄像机拍摄画面中待选定标点的精确位置，利用左上角通过广角摄像机拍摄画面的局部放大图像M1，可以帮助操作者精确调整光标的位置，此时点击鼠标左键，系统将记录光标所在的位置并在广角视频图像中绘制一个点，如图3左上角局部放大图像中的“十字”所示的；3)接着，点击操作界面中部的“确定”按钮，即选定该定标点并将之加入到最左侧的“已定坐标集合”列表中。

根据本发明提出的坐标转换算法，在选择三个定标点以后，坐标转换映射参数已被初步估算得出，因此选择第四个及以后的定标点时，PTZ摄像机的操作可以被简化，操作者可以更快地在PTZ摄像机中找到待选定标点，其具体步骤如下：1)将光标移至广角摄像机画面中一个待选定标点的精确位置，通过广角摄像机拍摄的画面的左上角局部放大图像中可以容易而精确地调整光标的位置，点击鼠标左键，即可在广角摄像机拍摄的画面中绘制一个点，并记录光标所在位置在广角视频图像平面的二维坐标(x，y)；2)然后，在广角摄像机拍摄的广角视频画面中该待选定标点的精确位置上右键点击鼠标，PTZ摄像机的中心将会自动移至对准该待选定标点附近，然后，操作者可以使用PTZ摄像机的操作按钮，精确调整PTZ摄像机的垂直高度角、水平方位角、放大倍数，使该待选定标点清晰的出现在PTZ摄像机拍摄的局部视频图像的中央，此时PTZ摄像机的中心亦即对准该定标点；3)点击“确定”，所选定的待选定标点的在广角视频图像平面的坐标(x，y)即被加入到“已定坐标集合”列表中，此时，该“已定坐标集合”中的定标点均被绘制在广角视频图像中，定标点在第一和第二摄像系统的像平面上的像素点位置匹配即完成。

用户双击该“已定坐标集合”列表中的任意一个已选定标点，PTZ摄像机将自动调整PTZ摄像机的垂直高度角、水平方位角以及放大倍数，使待选定标点清晰的出现在PTZ摄像机画面中央。籍此，使用者可以检验该定标点在广角视频图像平面上的坐标是否精确转换成PTZ摄像机的水平方位角以及垂直高度角。通过图3中所示的操作界面，用户还可以选择并删除已选定标点列表中的任意一个或多个定标点。

接下来所要介绍的是，在对任一目标区域的中心点坐标(x，y)进行坐标转换时，可以通过利用以下的公式：

其中， $r=\sqrt{\frac{{(x-c_x)}^2}{f_x^2}+\frac{{(y-c_y)}^2}{f_y^2}+1}$ f_x，f_y是以像素x和y方向的尺寸为单位的焦距长度，c_x，c_y是广角摄像机光学中心在像平面上投影的坐标，单位是像素，A则是坐标转换映射参数矩阵。

公式(1)代表了从广角摄像机像平面中的任一点(X，Y)到PTZ摄像机中的垂直高度角和水平方位角

的映射，其中f_x，f_y，c_x，c_y，以及矩阵A则是这个映射的参数。其中f_x，f_y，c_x，c_y可以通过畸变校正方法得到，而矩阵A则是需要通过定标步骤，选取三个以上的“定标点”数据，以最小二乘法求解得到。

公式(1)的推导可以参考图4所示，以广角摄像机中心O_w为原点的三维直角坐标系中的点(x_w，y_w，z_w)，在以PTZ摄像机中心O_p为原点的球面坐标系中的坐标为

假设广角摄像机球面坐标系原点O_p和PTZ摄像机坐标系原点O_w的原点的距离d足够小，即满足d＜＜ρ，则广角摄像机坐标系中的点(x_w，y_w，z_w)及其对应的PTZ摄像机球面坐标

的关系如下：

其中R是坐标旋转矩阵，而

广角摄像机像平面(X^*，Y^*，O^*)到广角摄像机中心O_w的距离是广角摄像机焦距f，点(x_w，y_w，z_w)在像平面上的成像点的坐标为(x^*，y^*)。O^*是广角摄像机像平面的光学中心，同时也是PTZ摄像机中心Op在该像平面的投影。(x^*，y^*)与(x_w，y_w，z_w)的关系由公式(3)给出 $x_w=\frac{z_w}{f}{x}^{*}$ $y_w=\frac{z_w}{f}{x}^{*}---\left(3\right)$ 将(3)代入(2)中得到通常摄像机像平面坐标(X，Y，O)的原点O为像平面左上角，因此(x^*，y^*)在坐标系(X，Y，O)中的坐标为(x′，y′)＝(x^*+c_x′，y^*+c_x′)，其中(c_x′，c_y′)是O^*在坐标系(X，Y，O)中的坐标。将上述关系代入公式(5)得到

其中 $r^{\′}=\sqrt{{(x^{\′}-c_{x^{\′}})}^2+{(y^{\′}-c_{y^{\′}})}^2+f^2}.$

应该注意到的是，公式(3)中r′，x′，c_x′，y′，c_y′的量纲都是长度单位，如mm，而通常视频画面中的量纲是像素单位，因此为了方便使用上述方法，需要将量纲从长度单位转换成像素单位。由于CCD类数字摄像机的像素可能存在x和y方向长度的偏差，我们这里需要考虑这一因素，因此我们引入m_x、m_y，即每个像素在x方向和y方向上的长度。可以得到：x′＝xm_xc_x′＝c_xm_xy′＝ym_yc_y′＝c_ym_y其中(x，y)和(c_x，c_y)是(x′，y′)和(c_x′，c_y′)以像素为单位的坐标。将上述关系代入(5)即可得到公式(1)。

PTZ摄像机放大倍数计算可以使用以下公式来计算： $f_{\mathrm{PTZ}}=\frac{d_{\mathrm{WAC}}}{d_{t\arg \mathrm{et}}}\·\frac{s_{\mathrm{WAC}}}{s_{\mathrm{PTZ}}}\·f_{\mathrm{WAC}}---\left(6\right)$ 其中，f_WAC是广角摄像机的焦距，s_WAC是广角摄像机图像传感器(例如：CCD)的尺寸，通常为对角线长度，但也可以是其他度量。sPTZ是PTZ摄像机图像传感器尺寸，通常是对角线长度，但也可以是其他度量。d_WAC是广角摄像机全幅画面的尺寸，可以是对角线长度，也可以是画面长或宽或其他合适的度量方式。d_target是需要放大的目标区域在广角摄像机画面中的尺寸，度量方式应与d_WAC相匹配，可以是对角线长度，也可以是长或宽或其他度量方式。计算得到的f_PTZ是PTZ摄像机的焦距，可以根据PTZ摄像机厂家提供的变换表转换成放大倍数。

通过以上所描述的本发明坐标转换模块36的坐标转换机制，可以将第一摄像系统1所拍摄的广角视频图像中的感兴趣目标区域的中心位置，转换为第二摄像系统2中PTZ摄像机在其对准该目标区域的中心位置时的水平方位角和垂直方位角，令所述目标区域的中心位置位于所述第二摄像系统2的PTZ摄像机所拍摄局部视频图像的画面中央；并且基于上述坐标转换机制，本发明可以将第一摄像系统1所拍摄的视频画面中的该目标区域的大小信息转换成第二摄像系统2的PTZ摄像机的焦距，用来调整第二摄像系统2的PTZ摄像机的变焦值，使上述感兴趣的目标区域被放大并充满第二摄像系统2拍摄的画面。因此，经过所述坐标转换模块36之后处理后，可得到目标区域中心点坐标以及相应的PTZ摄像机的高度角和方位角

以及PTZ摄像机的焦距，而这些信息将被送到PTZ摄像机控制模块37，用于控制PTZ摄像机在垂直方向和水平方向上的运动以及焦距。

根据本发明的视频监控系统进一步的优选实施例，控制系统3还被设置成，用户可以通过其操作界面选择在手动模式或半自动模式下，从广角视频图像中任意选取被提取的感兴趣目标区域，例如，通过点击一个目标区域的矩形框，从而控制第二摄像系统的PTZ摄像机对选取的目标进行跟踪放大拍摄。用户也可以利用鼠标移动光标，在广角视频图像中任意定义一部分感兴趣的目标区域，使该目标区域被第二摄像系统跟踪拍摄，显示于第二显示装置的中央并尽量充满整个屏幕。

尽管上面通过举例说明，已经描述了本发明较佳的具体实施方式，本发明的保护范围并不仅限于上述说明，而是由所附的权利要求给出的所有技术特征及其等同技术特征来定义。本领域一般技术人员可以理解的是，在不背离本发明所教导的实质和精髓前提下，任何修改和变化可能仍落在本发明权利要求的保护范围之内。

Claims (8)

1.一种视频监控系统，包括一第一摄像系统（1），其包含一个或多个摄像机用于拍摄大场景视域内的广角视频，一第二摄像系统（2），其包含一个或多个PTZ摄像机用于拍摄大场景视域内的局部视频，一控制系统（3）,以及一与所述控制系统(3）通信连接的显示和操作模块(4），其特征在于所述控制系统（3）包括：

一图像采集模块（31），用于接收第一摄像系统（1）所拍摄的广角视频；

一前景提取模块（33），用于从所述广角视频中提取感兴趣的目标；

一坐标转换模块（36），其利用一坐标转换机制将大场景视域中任意点投影于所述第一摄像系统（1）拍摄的广角视频的图像上的二维坐标（x，y）转换为所述第二摄像系统（2）中的一个被选择的PTZ摄像机在其画面中心对准所述任意点时的垂直高度角θ和水平方位角φ；其中所述坐标转换机制通过在所述大场景视域内随机选取的至少三个任意点来建立；

所述坐标转换机制通过所述显示和操作模块(4）完成以下步骤来建立：

-选取位于大场景视域内的任意一点；

-确定所述第二摄像系统（2）的PTZ摄像机在其画面中心对准所述任意点以定标时的垂直高度角θ和水平方位角φ；

-确定所述任意点投影于所述第一摄像系统（1）拍摄的所述广角视频图像中的坐标（x，y）；

-通过随机选取至少三个任意点的定标点角度与坐标数据以最小二乘法求解得到一映射参数矩阵A；以及

-利用所述映射参数矩阵A建立所述第一摄像系统（1）的摄像机与相应的第二摄像系统（2）的PTZ摄像机之间的坐标转换方程式，其中

所述坐标转换机制可利用以下的坐标转换方程式：

其中， $r=\sqrt{\frac{{(x-c_x)}^2}{f_x^2}+\frac{{(y-c_y)}^2}{f_y^2}+1}$

f_x，f_y是以像素x和y方向的尺寸为单位的焦距长度，c_x，c_y是第一摄像系统的摄像机光学中心在像平面上投影的坐标，A是所述的映射参数矩阵。

2.根据权利要求1所述的视频监控系统，其特征在于所述坐标转换模块（36）还用于利用以下的等式计算所述第二摄像系统中的PTZ摄像机拍摄大场景视域内的目标区域时所采用的焦距：

$f_{\mathrm{PTZ}}=\frac{d_{\mathrm{WAC}}}{d_{t\arg \mathrm{et}}}\·\frac{s_{\mathrm{WAC}}}{s_{\mathrm{PTZ}}}\·f_{\mathrm{WAC}}$

其中，f_WAC为广角摄像机的焦距，s_WAC是广角摄像机图像传感器尺寸，s_PTZ是PTZ摄像机图像传感器尺寸，d_WAC是广角视频图像全幅画面的尺寸，d_target是感兴趣目标区域在广角视频图像中的尺寸，f_PTZ是PTZ摄像机的焦距。

3.根据权利要求1至2任一项所述的视频监控系统，其特征在于所述控制系统（3）在所述坐标转换模块（36）之前还设有：

一畸变校正模块（32），用于校正第一摄像系统（1）拍摄的视频图像畸变。

4.根据权利要求1至2任一项所述的视频监控系统，其特征在于所述控制系统（3）在所述前景提取模块（33）之后还设有：

一目标跟踪模块（34），用于跟踪一个或多个感兴趣目标。

5.根据权利要求4所述的视频监控系统，其特征在于所述目标跟踪模块（34）还可以记录所述感兴趣目标在过去任意时刻的位置和速度，也可以预测所述感兴趣目标在未来特定时刻的位置和速度。

6.根据权利要求4所述的视频监控系统，其特征在于所述目标跟踪模块（34）可被设置为在完全自动模式、半自动模式、或者完全手动模式工作。

7.根据权利要求1至2任一项所述的视频监控系统，其特征在于所述控制系统（3）还包括：一目标排队模块（35），基于预先设定的规则将感兴趣的目标分配给相应的第二摄像机系统（2）中的PTZ摄像机按顺序进行拍摄。

8.根据权利要求7所述的视频监控系统，其特征在于所述目标排队模块（35）基于以下的预设规则将感兴趣目标分配给相应的第二摄像系统（2）中的PTZ摄像机按所分配的顺序进行拍摄：

-被相应的PTZ摄像机拍摄的时间最少的目标拥有最高优先级；

-未来在预定义的监控视域内停留时间最短的目标拥有次优先级。

Images