CN112019851A

CN112019851A - 一种基于视觉节奏的镜头变换检测方法

Info

Publication number: CN112019851A
Application number: CN202010898483.7A
Authority: CN
Inventors: 杨海东; 王华龙; 宋秋云
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2020-12-01

Abstract

本发明公开了一种基于视觉节奏的镜头变换检测方法，包括如下步骤：S01：选取数字视频；S02：定义所述数字视频的视觉节奏和像素采样；S03：根据数字视频的压缩文件快速生成视觉节奏谱；S04：在视觉节奏谱中提取视觉特征；S05：运用擦除检测算法和剪切检测算法检测视觉节奏谱中的剪切特效和擦除特效。本发明在视觉节奏谱中提取出视觉特征，再采用检测算法在视觉节奏谱中检测出视频特征的镜头变换种类；本发明借助于视觉节奏谱，可以对完整的三维DC图像序列进行处理，而不是通过对三维DC切割获取的二维视觉节奏进行处理，进而快速准确地识别镜头逐步变化的场景。

Description

一种基于视觉节奏的镜头变换检测方法

技术领域

本发明涉及视频检测领域，具体涉及一种基于视觉节奏的镜头变换检测方法。

背景技术

随着数字视频数据的不断增长和数字视频应用的发展，视频索引现在已成为多媒体服务不可或缺的一部分，多媒体服务包括数字图书馆，视频编辑，视频摘要和视频数据库等广泛领域。一旦数字视频被编入索引，则存储和检索将更易于管理，并且可以基于该索引开发有效的呈现形式。因此，朝向开发有效存储和检索数字视频的系统的第一步通常是高精度自动视频解析器的开发。

视频自动解析算法通常由多个部分或子部分组成算法。它必须处理突然镜头变化，以及逐步镜头变化，其中包括擦去，淡入，淡出，等等。该算法必须能够检测突然的照明变化(例如，手电筒和照明条件)，以及相机相关的效果，如变焦、平移和跟踪。镜头变化场景的这些集合必须全部合并到镜头变化检测算法中。

现有的算法处理一个或多个这样的场景，算法的不同部分处理不同的场景。现有的镜头变化检测算法，对于突然的镜头变化(场景剪切)的检测效果较好，而对于逐步变化的场景不能准确识别，甚至出现错误。因此，需要寻找新的镜头变换检测方法，用于识别逐步变化的场景。

发明内容

针对现有技术的不足，本发明的目的旨在提供一种基于视觉节奏的镜头变换检测方法。

为实现上述目的，本发明采用如下技术方案：一种基于视觉节奏的镜头变换检测方法，包括如下步骤：

S01：选取数字视频；

S02：定义所述数字视频的视觉节奏和像素采样；

S03：根据数字视频的压缩文件快速生成视觉节奏谱；

S04：在视觉节奏谱中提取视觉特征；

S05：运用擦除检测算法和剪切检测算法检测视觉节奏谱中的剪切特效和擦除特效。

进一步的，所述步骤S02中像素采样采用对角像素采样方法。

进一步的，所述数字视频采用离散余弦变化进行帧内编码，所述步骤S03中提取离散余弦变换域内的DC系数生成视觉节奏谱。

进一步的，所述视觉节奏谱显示为垂直线时，此时的视觉特征为场景切换或改变；所述视觉节奏谱显示为斜线时，此时的视觉特征为水平消除或垂直消除；所述视觉节奏谱显示为曲线时，此时的视觉特征为从中心到外围或者从外围到中心的扩展擦除；所述视觉节奏谱显示为在中心相遇且斜率相反的两条斜线时，此时的视觉特征为镜头在时间上均匀扩散。

进一步的，所述视觉特征为从左到右的水平消除或者从上到下的垂直消除时，视觉节奏谱中显示为斜线Ⅰ；所述视觉特征为从右到左的水平消除或者从下到上的垂直消除时，视觉节奏谱中显示为斜线Ⅱ，所述斜线Ⅰ和斜线Ⅱ的斜率相反。

进一步的，所述视觉特征为从中心到外围扩展擦除时，视觉节奏谱中显示为曲线Ⅰ；所述视觉特征为从外围到中心扩展擦除时，视觉节奏谱中显示为曲线Ⅱ；所述曲线Ⅰ和曲线Ⅱ的弯曲方向相反。

进一步的，所述步骤S05中运用擦除检测算法检测视觉节奏谱中的擦除特效具体包括：

S051：计算视觉节奏谱中时间导数的绝对值：d(z,t)＝|f_VR(z,t)-f_VR(z,t-1)；其中，f_VR(z,t)表示视觉节奏；

S052：针对视觉节奏谱中表现为擦除特征的区域，d(z,t)先垂直相加，再采用自适应阈值法检测d(z,t)的峰值：

其中，K为可控参数，

μ(z,t)，σ²(z,t)分别是时间导数图像在(z,t)的采样平均值和方差，B表示滑动窗口；

S053：如果在(z，t)点处找到b(z,t)＝1的像素，则设置一个二次窗口，所述二次窗口左上角为(z-n，t-n)，右下角为(z+n，t+n)，且具有(2n+1)²的面积；通过滑动这个用于检测峰的二次窗口，找到另一个b(z,t)＝1的点，重复此过程，直到找不到b(z,t)＝1的点为止；所述二次窗口在视觉节奏谱中移动时对应的帧持续时间对应数字视频中擦除。

进一步的，所述步骤S05中运用剪切检测算法检测视觉节奏谱中的剪切特效具体包括：

S052：针对视觉节奏谱中表现为剪切特征的区域，d(z,t)先垂直相加，再采用自适应阈值法检测剪切操作：

若d(t)>μ(t)+kσ(t)，则第t帧对应位场景剪切；其中，K为可控参数，

μ(z,t)，σ²(z,t)分别是时间导数图像在(z,t)的采样平均值和方差，B表示滑动窗口。

进一步的，还包括S06：验证擦除检测算法和剪切检测算法的召回率和准确率

本发明的有益效果在于：本发明在视觉节奏谱中提取出视觉特征，再采用检测算法在视觉节奏谱中检测出视频特征的镜头变换种类；本发明算法不仅适用于原始图像，而且适用于各种基于DCT的数字视频标准，包括运动JPEG、MPEG-1、MPEG-2、MPEG-4和H.263。借助于视觉节奏谱，本发明算法可以对完整的三维DC图像序列进行处理，而不是通过对三维DC切割获取的二维视觉节奏进行处理，进而快速准确地识别镜头逐步变化的场景。

附图说明

附图1为本发明基于视觉节奏的镜头变换检测方法的流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

如附图1所示，本发明提供的一种基于视觉节奏的镜头变换检测方法，包括如下步骤：

S01：选取数字视频；

S02：定义数字视频的视觉节奏和像素采样；其中，像素采样采用对角像素采样方法。

具体的，假设f_v(x,y,t)是数字视频V的位置(x，y)和时间t处的像素值。然后，数字视频V可以表示为：

V＝{f_v(x,y,t)}x,y,t∈{0,1,2,……}；

假设f_T(x,y,t)表示数字视频V的空间缩小视频V_T。每个缩小的帧或缩略图是一个其在数字视频V中的相应帧的图像通过因数r(水平和垂直)缩小的缩小帧。因此，空间缩小的数字视频或缩略图序列可以表示为：

V_T＝{f_T(x,y,t)}x,y,t∈{0,1,2,……}；

数字视频V及其空间缩小数字视频V_T之间的关系可以使用其像素对应关系来表示，如下所示：

f_T(x,y,t)＝f_v(rx+k_x,ry+k_y,t)x,y,t∈{0,1,2,……}，0≤k_x,k_y≤r-1；

k_x和k_y是以像素为单位的偏移，r是缩减因子。使用空间缩小的视频，定义数字视频V的视觉节奏如下：

VR＝{f_VR(z,t)}＝f_T(x(z),y(z),t)；

x(z),y(z)是自变量z的一维函数。因此，视觉节奏是由来自三维数据(视频)的采样像素组成的二维图像，所有的视觉节奏共同形成视觉节奏谱。也就是说，视觉节奏是由对每个缩略图中的特定像素组进行采样并通过时间累积随时间推移的样本，视觉节奏谱是视频节奏的集合。因此，视觉节奏是属于特定场景类型的整个三维视频内容的二维抽象。

取决于映射x(z)和y(z)，我们可以获得各种类型的视觉节奏，例如水平，垂直和对角视觉节奏。本发明采用对角采样方法显示，以体现检测的最佳性能。对于常数α，对角像素采样为通过应用(x(z),y(z),t)＝(z,αz)实现。

S03：根据数字视频的压缩文件快速生成视觉节奏谱；数字视频采用离散余弦变化进行帧内编码，本步骤可以直接提取离散余弦变换域内的DC系数生成视觉节奏谱。

数字视频通常由于体积庞大而被压缩。而大多数压缩方案采用离散余弦变换(DCT)进行帧内编码，只需提取DCT域内的DC系数就可以生成缩略图序列，而无需进行DCT的逆变换。由于DC系数实际上是块的平均像素值，因此在帧上收集的这些DC系数可以作为缩略图。将DC图像作为缩略图，DC序列作为空间缩减的视频，缩略图与原始视频的关系如下图所示:

S04：在视觉节奏谱中提取视觉特征。视觉节奏是视频的抽象，本身就是二维图像，它是整个视频的描绘，保留了镜头更改的视觉特征。在VRS中，沿垂直线的像素是沿帧对角线均匀采样的那些像素。如果垂直线来自同一镜头，则VRS上的垂直线将具有相似的视觉特征。相反，如果线条属于不同的镜头，则VRS上的垂直线将具有不同的视觉特征。因此，如果镜头改变，垂直线的视觉特征将改变，镜头边界将在VRS上变得明显。不同类型的视频编辑效果会产生一些典型的视觉节奏模式。视觉节奏谱显示为垂直线时，此时的视觉特征为场景切换或改变；视觉节奏谱显示为斜线时，此时的视觉特征为水平消除或垂直消除；视觉节奏谱显示为曲线时，此时的视觉特征为从中心到外围或者从外围到中心的扩展擦除；视觉节奏谱显示为在中心相遇且斜率相反的两条斜线时，此时的视觉特征为镜头在时间上均匀扩散。

视觉特征为从左到右的水平消除或者从上到下的垂直消除时，视觉节奏谱中显示为斜线Ⅰ；视觉特征为从右到左的水平消除或者从下到上的垂直消除时，视觉节奏谱中显示为斜线Ⅱ，斜线Ⅰ和斜线Ⅱ的斜率相反。视觉特征为从中心到外围扩展擦除时，视觉节奏谱中显示为曲线Ⅰ；视觉特征为从外围到中心扩展擦除时，视觉节奏谱中显示为曲线Ⅱ；曲线Ⅰ和曲线Ⅱ的弯曲方向相反。

值得说明的是，视觉节奏谱中所有擦除都会产生从上到下的线条。而且，如果这条线在帧的一定范围内，而不是在单帧上的一条垂直线，则镜头变化可能是擦除；而单帧上的垂直直线意味着突然的镜头切换。

本发明关注的是检测场景剪切以及擦除。本发明首先提取视觉节奏，生成视觉节奏谱。视觉节奏谱(VRS)反映了时域中各种场景类型的视觉节奏。VRS包含许多不同类型视频效果的独特模式或视觉功能。不同的视频效果在VRS上有不同的表现。具体的，场景切割以垂线的形式呈现，而擦除以曲线的形式呈现。因此，只需在VRS上确定各种直线线和曲线，就可以自动检测场景剪切和擦除。

接下来采用擦除检测算法和剪切检测算法检测视频中剪切特效和擦除特效：

首先擦除检测算法，在擦除过程中，在擦除强度变化期间，入场镜头和离场镜头之间的变化会导致VRS上的强度突然不连续。该算法是用来检测这种不连续性的。注意到VRS上的不连续会随着时间的推移而发生，预计在擦除期间时间导数会很大。具体采用擦除检测算法检测视频中擦除操作过程如下：

S052：针对视觉节奏谱中表现为擦除特征的区域，d(z,t)先垂直相加，再采用自适应阈值法检测d(z,t)的峰值，为此，计算了以下统计数字：

其中μ(z,t)，σ²(z,t)分别是时间导数图像在(z,t)的采样平均值和方差。集合B表示约束区间，称为滑动窗口。它可能是{-16，-15，…，-2，-1,1,2，…，15,16}，在这种情况下滑动窗口大小N(B)＝32。

为了检测在d(z,t)的峰值，以下自适应阈值方案是使用:

其中K为用户可控制的参数。注意，如果信号d(z,t)比其局部平均值高出K个标准差，则将设置二进制掩码b(z,t)的一个特定单元。通过实验观察到K的选择是很随意的，从3到8的值是很有效的。该二进制掩码用于确定将视觉节奏分成两半的直线和曲线。这完全是通过检查二进制掩码上曲线的连通性来完成的，并且可以使用二次滑动窗口通过简单的递归计算轻松实现。如果在二进制掩码的(z，t)点处找到b(z,t)＝1的像素，则设置一个特定的二次窗口，其左上角为(z-n，t-n)，右下角为(z+n，t+n)，并因此具有(2n+1)²的面积。通过滑动这个用于检测峰的二次窗口，我们找到另一个b(z,t)值为1的点，重复此过程，直到找不到b(z,t)＝1的像素值为止。如果此窗口在VRS中从上到下移动，可以将相应的帧持续时间声明为擦除。

其次，场景切割检测类似于擦除，因为它也检测不连续的线。为了检测突然的镜头变化，可以采用如下步骤：

S052：针对视觉节奏谱中表现为剪切特征的区域，d(z,t)先垂直相加，d(z,t)中的峰垂直排列。首先对图像的导数进行垂直求和，然后通过自适应阈值方案检测突变，用于确定累加数据中的峰值。检测场景剪切所需的一维统计如下:

最后，我们根据以下阈值准则来决定场景分割:如果d(t)>μ(t)+kσ(t)，判断第t帧是一个场景剪切。

S06：验证擦除检测算法和剪切检测算法的召回率和准确率。为了证明该算法的有效性，利用时间导数函数和滑动窗口对镜头变化进行了较好的检测。它们构成差序列D_t,t＝1,2,…N-1如下:

D_t＝d(f_t,-f_t+1)＝|f(x,y,t)-f(x,y,t+1)|；

其中f_t，t＝1,2,…N为DC图像序列，(x，y)表示DC图像的像素位置。将D_t与大小为2m-1的对称滑动窗口内的其他差异序列进行比较。如果D_t是滑动窗口中的最大值，则声明从f_t到f_t+1的镜头变化，即D_t>D_j,j＝t-m+1,…t-1,…t+m-1。

信息检索系统的有效性通常由众所周知的标准召回率和精确度来确定，召回参数定义了真实检测(由检测算法执行)相对于视频序列中所有事件(镜头变化)的百分比。同样，精度是相对于整个声明事件正确检测的百分比。召回率(Recall)和精确度(Precision)的定义为：

其中N_c，N_m，N_f，分别表示正确检测次数，漏检次数和错误检测次数。

本方法在召回率和召回率方面有着很好的性能。对于采用所提方法的镜头突变检测，召回率在0.93～1.0之间，精度在0.92～0.98之间。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims

1.一种基于视觉节奏的镜头变换检测方法，其特征在于，包括如下步骤：

S01：选取数字视频；

S02：定义所述数字视频的视觉节奏和像素采样；

S03：根据数字视频的压缩文件快速生成视觉节奏谱；

S04：在视觉节奏谱中提取视觉特征；

2.根据权利要求1所述的一种基于视觉节奏的镜头变换检测方法，其特征在于，所述步骤S02中像素采样采用对角像素采样方法。

3.根据权利要求1所述的一种基于视觉节奏的镜头变换检测方法，其特征在于，所述数字视频采用离散余弦变化进行帧内编码，所述步骤S03中提取离散余弦变换域内的DC系数生成视觉节奏谱。

4.根据权利要求1所述的一种基于视觉节奏的镜头变换检测方法，其特征在于，所述视觉节奏谱显示为垂直线时，此时的视觉特征为场景切换或改变；所述视觉节奏谱显示为斜线时，此时的视觉特征为水平消除或垂直消除；所述视觉节奏谱显示为曲线时，此时的视觉特征为从中心到外围或者从外围到中心的扩展擦除；所述视觉节奏谱显示为在中心相遇且斜率相反的两条斜线时，此时的视觉特征为镜头在时间上均匀扩散。

5.根据权利要求4所述的一种基于视觉节奏的镜头变换检测方法，其特征在于，所述视觉特征为从左到右的水平消除或者从上到下的垂直消除时，视觉节奏谱中显示为斜线Ⅰ；所述视觉特征为从右到左的水平消除或者从下到上的垂直消除时，视觉节奏谱中显示为斜线Ⅱ，所述斜线Ⅰ和斜线Ⅱ的斜率相反。

6.根据权利要求4所述的一种基于视觉节奏的镜头变换检测方法，其特征在于，所述视觉特征为从中心到外围扩展擦除时，视觉节奏谱中显示为曲线I；所述视觉特征为从外围到中心扩展擦除时，视觉节奏谱中显示为曲线II；所述曲线I和曲线II的弯曲方向相反。

7.根据权利要求1所述的一种基于视觉节奏的镜头变换检测方法，其特征在于，所述步骤S05中运用擦除检测算法检测视觉节奏谱中的擦除特效，具体包括：

S051：计算视觉节奏谱中时间导数的绝对值：d(z，t)＝|f_VR(z，t)-f_VR(z，t-1)；其中，f_VR(z，t)表示视觉节奏；

S052：针对视觉节奏谱中表现为擦除特征的区域，d(z，t)先垂直相加，再采用自适应阈值法检测d(z，t)的峰值：

其中，K为可控参数，

μ(z，t)，σ²(z，t)分别是时间导数图像在(z，t)的采样平均值和方差，B表示滑动窗口；

S053：如果在(z，t)点处找到b(z，t)＝1的像素，则设置一个二次窗口，所述二次窗口左上角为(z-n，t-n)，右下角为(z+n，t+n)，且具有(2n+1)2的面积；通过滑动这个用于检测峰的二次窗口，找到另一个b(z，t)＝1的点，重复此过程，直到找不到b(z，t)＝1的点为止；所述二次窗口在视觉节奏谱中移动时对应的帧持续时间对应数字视频中擦除。

8.根据权利要求1所述的一种基于视觉节奏的镜头变换检测方法，其特征在于，所述步骤S05中运用剪切检测算法检测视觉节奏谱中的剪切特效具体包括：

S051：计算视觉节奏谱中时间导数的绝对值：d(z，t)＝|f_VR(z，t)-f_VR(z，t-1)|；其中，f_VR(z，t)表示视觉节奏；

S052：针对视觉节奏谱中表现为剪切特征的区域，d(z，t)先垂直相加，再采用自适应阈值法检测剪切操作：

若d(t)＞μ(t)+kσ(t)，则第t帧对应位场景剪切；其中，K为可控参数，

μ(z，t)，σ²(z，t)分别是时间导数图像在(z，t)的采样平均值和方差，B表示滑动窗口。

9.根据权利要求1所述的一种基于视觉节奏的镜头变换检测方法，其特征在于，还包括S06：验证擦除检测算法和剪切检测算法的召回率和准确率。