CN115346002B - 一种虚拟场景构建方法及其康复训练应用 - Google Patents

Abstract

本发明属于虚拟现实技术领域，提供了一种虚拟场景构建方法及其运动康复训练应用，通过获取若干图像形成图像序列；标记映射域构建区域映射序列；对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列；进行三维重建得到三维场景模型。通过相似延续性强的图像分块将视觉的注意力引导向舒适区，既防止3D晕眩又能提高3D沉浸感，提高了整体的运算速度，降低卡顿与提高帧率；修复后能够更加凸显出明显的线段特征，使得用于三维场景模型重建的各个图像具备曲线边界的连贯性，保持了重建后的帧率，尽量通过修复后的流畅线条将用户的目光引导向舒适区，尽量的避免了3D眩晕。

Description

一种虚拟场景构建方法及其康复训练应用

技术领域

本发明属于虚拟现实技术领域，具体涉及一种虚拟场景构建方法及其康复训练应用。

背景技术

在虚拟现实技术中，构建三维的虚拟场景是重中之重，在三维虚拟场景渲染过后，由于虚拟场景中除了大量实焦画面外，还有元素丰富的虚焦布景画面，由于画面逼真，神经中枢信以为真，但是其他运动感受器官（如耳前庭器）却没感受到任何运动，这时候身体的这两项机能产生了矛盾，有很大的不可预知性，因此神经中枢强烈地发出眩晕指令；令视神经必须舍弃虚焦画面里的这些元素，因为这些元素会让眼球重新聚焦，且屡屡聚焦失败就很容易会产生3D晕眩，尤其是需要康复运动的患者更容易产生3D晕眩。

为防止3D晕眩的问题，在现有技术中，参考文献(Shibata T ,Kim J ,Hoffman DM , et al. The zone of comfort: Predicting visual discomfort with stereodisplays[J]. Journal of Vision, 2011, 11(8):11)提出了当视线聚合距离在聚焦距离的前后一定范围内，观看者仍能够轻松的获取3D信息而不会产生视觉疲劳，这个范围就称之为观察3D立体视觉的舒适区“comfort zone”。因此，在使用平行式双目原理的各种现有技术中，一般是调整重建后3D前景位于虚拟场景的舒适区以防止产生3D晕眩，但是3D前景在虚拟场景的位置是在机器出厂时需要人工调整，尽管是能够有效降低3D眩晕，但是大大的限制了后期在使用过程中的灵活性，使得用户的3D沉浸感的体验下降。而公开号为CN111260776A一种自适应正态分析的三维形貌重建方法的现有技术则另辟蹊径，通过对真实场景进行降噪，以大幅减少待重建物体三维形貌重建结果的错误深度信息，提高提升稀疏纹理细节条件样本的三维形貌重建精度的角度从而间接的防止3D晕眩；但是该方法并未避开虚拟场景的舒适区，需要整体性降噪提升稀疏纹理细节，从而不可避免的降低整体的运算速度，加载比较大规模的三维形貌会出现卡顿与低帧率等情况。

发明内容

本发明的目的在于提出一种虚拟场景构建方法及其运动康复训练应用，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，根据本发明的一方面，提供一种虚拟场景构建方法，所述方法包括以下步骤：

S100，获取若干图像形成图像序列；

S200，分别识别出图像序列中各个图像的曲线；

S300，将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域；

S400，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

S500，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列；

S600，通过图像序列中各个图像进行三维重建得到三维场景模型。

进一步地，在S100中，所述图像序列为从不同视角、位置采集场景对象的多个图像构成的序列。

优选地，在S100中，从不同视角、位置采集场景对象的若干图像形成图像序列的方法为：通过张氏标定法对CCD摄像机标定，通过标定好的CCD摄像机获取场景对象不同视角、位置的图像；即以场景对象的几何中心绕场景对象的顺时针方向进行 [0°,360°]旋转，每旋转1°～15°获取一张场景对象的图像；由各个获取到的图像依次构成图像序列。

优选地，在S100中，所述场景对象包括房屋、树木、人物或者家具。

进一步地，在S100中，所述图像序列包括多个同一场景对象的照片。

进一步地，在S200中，检测图像序列中各个图像的曲线特征的方法包括：K-Segment主曲线提取算法、Douglas- Peucker算法和随机Hough变换算法中任意一种。

进一步地，在S300中，边缘检测算法包括Canny边缘检测算法、Sobel边缘检测算法、structure forests算法和HED算法中任意一种。

进一步地，在S400中，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域进行映射域标记，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列的方法为以下步骤：

记图像序列为Pic，以Pic中的第i个图像为Pic(i)，以Pic(i)中第j个子区域为Pic(i,j)；其中，i∈[1,N1]，N1为Pic中图像的数量；j∈[1,N2]，N2为Pic(i)中子区域的数量；

在j的取值范围内，依次根据Pic(i,j)内部的曲线对各个图像的子区域进行映射域标记，具体方法为：

以子区域Pic(i,j)作为锚定域，获取锚定域中最长的曲线作为锚线PTL，分别获取Pic中各个图像中除了锚定域外的子区域和锚定域的结构相似性SSIM的值最大的所有子区域组成的序列作为第一待选序列PS1；记PS1中的第k个子区域为PS1(k)，k∈[1,N3]，N3为PS1中子区域的数量；其中，i、j、k为序号；

在PS1中搜索符合锚定映射条件的所有子区域标记为锚定域的映射域；

所述锚定映射条件为：

|PMean(PTL,PS1(k))-GPm(1,k-1)|≥|PiMEAN(PTL,PS1)-PMax(PTL,PS1(k))|；

GPm(1,k-1)表示PS1中从第1个到第k-1个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的平均值；PMean(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度均值；PiMEAN(PTL,PS1)是PTL和PS1中各个子区域中最长的曲线的所有相似度均值；PMax(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度的最大值；

更进一步地，为了预估三维重建后的时间连贯性程度，所述锚定映射条件还包括：

PrePi(PTL,PS1(k))≥PMean(PTL,PS1(k))+|PiMEAN(PTL,PS1)-PMax(PTL,PS1(k))|；

其中，PrePi(PTL,PS1(k))是PS1(k)中的最长的曲线在三维重建后和锚线PTL的预测重建度；PMean(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度均值；PiMEAN(PTL,PS1)是PTL和PS1中各个子区域中最长的曲线的所有相似度均值；PMax(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度的最大值；

预测重建度PrePi(PTL,PS1(k))的计算方法为：

；

其中，q是变量，GPS1(q,k)表示PS1中第q个子区域中的最长曲线和PS1(k)中的最长曲线的相似度，GPmax(1,q)表示PS1中从第1个到第q个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的最大值；GPmin(1,q)表示PS1中从第1个到第q个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的最小值；

则PS1中标记为锚定域的映射域的子区域表示所述子区域和锚定域具有相同映射域标记；分别将Pic中各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列。

有益效果：由于区域映射序列中的图像分块是具有相同映射域标记表示具有相近的各个图像上的同类图像的分块，并且根据预测重建度能够准确的将视觉效果上具有延续性的图像分块进行分类，通过相似延续性强的图像分块将视觉的注意力引导向舒适区，能够通过避开因为虚拟场景的非舒适区引起的视觉的不流畅度从而有效地减少重建后的视觉疲劳，既防止3D晕眩又能提高3D沉浸感，此外还可以通过提高映射域标记分类提高整体的运算速度，降低卡顿与提高帧率。

进一步地，在S500中，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列的方法为以下步骤：

分别计算区域映射序列中各个子区域和对应的锚定域的结构相似性SSIM值记为CSSIM，以各个CSSIM的平均值作为所述区域映射序列的SSIM值记为RSSIM；分别计算所有区域映射序列的RSSIM；以所有区域映射序列的RSSIM的平均值作为缩进阈值RT；

筛选出所有RSSIM＜RT的区域映射序列作为待优化序列；

对各个待优化序列中的图像进行区域缩进处理，具体为：

筛选出待优化序列中所有CSSIM＜RSSIM的子区域作为缺陷图像子块；对各个缺陷图像子块进行以下操作：

记Pi(u)为缺陷图像子块中的第u个像素点，u∈[1,TOT]，TOT为缺陷图像子块中所有像素点的数量，记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域；获取各个修复对比区域中与Pi(u)相同坐标位置的像素点为修复对比像素,记各个修复对比像素的像素值的平均值为Pa，遍历所有Pi(u)，以Pa的值替换Pi(u)的像素值。

以上的缩进处理并未考虑视觉转换时的线段位置的流线型缩进，为了修复后能够更加凸显出明显的线段特征，使得用于三维场景模型重建的各个图像具备曲线边界的连贯性，尤其是对于那些运动感受器官（如耳前庭器）敏感的用户，在使得用户的3D沉浸感体验上升的前提下，减少曲线边界动态模糊导致的3D眩晕感，使得该类用户的适应性更强，还需要加入以下进一步的方案：

优选地，在S500中，对各个待优化序列中的图像进行区域缩进处理还包括以下步骤：

筛选出待优化序列中所有CSSIM＜RSSIM的子区域作为缺陷图像子块；对各个缺陷图像子块进行以下操作：记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域；

依次获取各个修复对比区域的修正角Ale1,具体为:将修复对比区域中最长的曲线记为修复曲线，以通过修复曲线的端点的直线为XL，以缺陷图像子块中最长的曲线记为缺陷曲线，以通过修复曲线的端点的直线为YL，将XL投影在缺陷图像子块上和修复对比区域中的相同位置得到投影线ZL，以YL和ZL之间的夹角作为修正角Ale1；

计算各个修复对比区域的修正角Ale1的平均值记为待旋转角度LGA；获取各个修复曲线和缺陷曲线的相似度差值的绝对值最小的修复曲线作为选定曲线；将选定曲线复制到缺陷图像子块上和修复对比区域中的相同位置，将选定曲线朝着从ZL到YL的方向整体旋转角度LGA；删除缺陷曲线；

记Li(v)为选定曲线上的第v个像素点，v∈[1,TOT2]，TOT2为选定曲线上所有像素点的数量，获取各个修复对比区域中与Li(v)相同坐标位置的像素点为曲线修复像素,记各个曲线修复像素的像素值的平均值为La，遍历所有Li(v)，以La的值替换Li(v)的像素值，完成区域缩进处理。

有益效果：修复了导致视觉不连贯的一些缺损线条，使得图像中线条的连续性更强，没有增加计算机的计算复杂度，从保持了重建后的帧率，尽量通过修复后的流畅线条将用户的目光引导向舒适区，能够消除模型中自相交和边冗余等方面的瑕疵，尽量的避免了3D眩晕。

进一步地，在S400中，相似度的计算方法为：图像hash算法、余弦相似度算法中任意一种。

进一步地，在S600中，三维重建的方法包括KinectFusion算法、SFM算法、R-MVSNet方法或者PointMVSNet方法中任意一种。

本发明还提供了一种虚拟场景构建装置，所述一种虚拟场景构建装置包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种虚拟场景构建方法中的步骤，所述一种虚拟场景构建装置可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下系统的单元中：

图像采集单元，用于获取若干图像形成图像序列；

曲线识别单元，用于分别识别出图像序列中各个图像的曲线；

区域划分单元，用于将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域；

映射标记单元，用于依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

图像优化单元，用于对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列；

三维重建单元，用于通过图像序列中各个图像进行三维重建得到三维场景模型。

本发明还提供了一种虚拟场景构建方法在康复训练应用，使用者通过操作一种虚拟场景构建装置以观察计算机程序实现的虚拟场景构建步骤得到的三维场景模型，所述虚拟场景构建步骤包括：

S100，获取若干图像形成图像序列；

S200，分别识别出图像序列中各个图像的曲线；

S300，将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域；

S400，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

S500，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列；

S600，通过图像序列中各个图像进行三维重建得到三维场景模型。

优选地，将所述三维场景模型用于康复训练时使用的显示器端的画面输出。

本发明的有益效果为：本发明提供了一种虚拟场景构建方法及其运动康复训练应用，通过预测重建度能够准确的将视觉效果上具有延续性的图像分块进行分类，通过相似延续性强的图像分块将视觉的注意力引导向舒适区，能够通过避开因为虚拟场景的非舒适区引起的视觉的不流畅度从而有效地减少重建后的视觉疲劳，既防止3D晕眩又能提高3D沉浸感，此外还可以通过提高映射域标记分类提高整体的运算速度，降低卡顿与提高帧率；

考虑了视觉转换时的线段位置的流线型缩进，为了修复后能够更加凸显出明显的线段特征，使得用于三维场景模型重建的各个图像具备曲线边界的连贯性，尤其是对于那些运动感受器官（如耳前庭器）敏感的康复训练时的用户，在使得康复训练时的用户的3D沉浸感体验上升的前提下，减少曲线边界动态模糊导致的3D眩晕感，使得该类用户的适应性更强；

修复了导致视觉不连贯的一些缺损线条，使得图像中线条的连续性更强，没有增加计算机的计算复杂度，从保持了重建后的帧率，尽量通过修复后的流畅线条将用户的目光引导向舒适区，尽量的避免了3D眩晕。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种虚拟场景构建方法的流程图；

图2所示为一种虚拟场景构建装置的系统结构图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

如图1所示为根据本发明的一种虚拟场景构建方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种虚拟场景构建方法及其运动康复训练应用。

本发明提出一种虚拟场景构建方法，所述方法具体包括以下步骤：

S100，获取若干图像形成图像序列；

S200，分别识别出图像序列中各个图像的曲线；

S300，将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域；

S400，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

S500，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列；

S600，通过图像序列中各个图像进行三维重建得到三维场景模型。

进一步地，在S100中，所述图像序列为从不同视角、位置采集场景对象的多个图像构成的序列。

优选地，在S100中，从不同视角、位置采集场景对象的若干图像形成图像序列的方法为：通过张氏标定法对CCD摄像机标定，通过标定好的CCD摄像机获取场景对象不同视角、位置的图像；即以场景对象的几何中心绕场景对象的顺时针方向进行 [0°,360°]旋转，每旋转1°～15°获取一张场景对象的图像；由各个获取到的图像依次构成图像序列。

优选地，在S100中，所述场景对象包括房屋、树木、人物或者家具。

进一步地，在S100中，所述图像序列包括多个同一场景对象的照片。

进一步地，在S200中，检测图像序列中各个图像的曲线特征的方法包括：K-Segment主曲线提取算法、Douglas- Peucker算法和随机Hough变换算法中任意一种。

进一步地，在S300中，边缘检测算法包括Canny边缘检测算法、Sobel边缘检测算法、structure forests算法和HED算法中任意一种。

进一步地，在S400中，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域进行映射域标记，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列的方法为以下步骤：

记图像序列为Pic，以Pic中的第i个图像为Pic(i)，以Pic(i)中第j个子区域为Pic(i,j)；其中，i∈[1,N1]，N1为Pic中图像的数量；j∈[1,N2]，N2为Pic(i)中子区域的数量；

在j的取值范围内，依次根据Pic(i,j)内部的曲线对各个图像的子区域进行映射域标记，具体方法为：

以子区域Pic(i,j)作为锚定域，获取锚定域中最长的曲线作为锚线PTL，分别获取Pic中各个图像中除了锚定域外的子区域和锚定域的结构相似性SSIM的值最大的所有子区域组成的序列作为第一待选序列PS1；记PS1中的第k个子区域为PS1(k)，k∈[1,N3]，N3为PS1中子区域的数量；其中，i、j、k为序号；

在PS1中搜索符合锚定映射条件的所有子区域标记为锚定域的映射域；

所述锚定映射条件为：

|PMean(PTL,PS1(k))-GPm(1,k-1)|≥|PiMEAN(PTL,PS1)-PMax(PTL,PS1(k))|；

GPm(1,k-1)表示PS1中从第1个到第k-1个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的平均值；PMean(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度均值；PiMEAN(PTL,PS1)是PTL和PS1中各个子区域中最长的曲线的所有相似度均值；PMax(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度的最大值；

更进一步地，所述锚定映射条件还包括：

PrePi(PTL,PS1(k))≥PMean(PTL,PS1(k))+|PiMEAN(PTL,PS1)-PMax(PTL,PS1(k))|；

其中，PrePi(PTL,PS1(k))是PS1(k)中的最长的曲线在三维重建后和锚线PTL的预测重建度；PMean(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度均值；PiMEAN(PTL,PS1)是PTL和PS1中各个子区域中最长的曲线的所有相似度均值；PMax(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度的最大值；

预测重建度PrePi(PTL,PS1(k))的计算方法为：

；

其中，q是变量，GPS1(q,k)表示PS1中第q个子区域中的最长曲线和PS1(k)中的最长曲线的相似度，GPmax(1,q)表示PS1中从第1个到第q个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的最大值；GPmin(1,q)表示PS1中从第1个到第q个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的最小值；

则PS1中标记为锚定域的映射域的子区域表示所述子区域和锚定域具有相同映射域标记；分别将Pic中各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列。

有益效果：由于区域映射序列中的图像分块是具有相同映射域标记表示具有相近的各个图像上的同类图像的分块，并且根据预测重建度能够准确的将视觉效果上具有延续性的图像分块进行分类，通过相似延续性强的图像分块将视觉的注意力引导向舒适区，能够通过避开因为虚拟场景的非舒适区引起的视觉的不流畅度从而有效地减少重建后的视觉疲劳，既防止3D晕眩又能提高3D沉浸感，此外还可以通过提高映射域标记分类提高整体的运算速度，降低卡顿与提高帧率。

进一步地，在S500中，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列的方法为以下步骤：

分别计算区域映射序列中各个子区域和对应的锚定域的结构相似性SSIM值记为CSSIM，以各个CSSIM的平均值作为所述区域映射序列的SSIM值记为RSSIM；分别计算所有区域映射序列的RSSIM；以所有区域映射序列的RSSIM的平均值作为缩进阈值RT；

筛选出所有RSSIM＜RT的区域映射序列作为待优化序列；

对各个待优化序列中的图像进行区域缩进处理，具体为：

筛选出待优化序列中所有CSSIM＜RSSIM的子区域作为缺陷图像子块；对各个缺陷图像子块进行以下操作：

记Pi(u)为缺陷图像子块中的第u个像素点，u∈[1,TOT]，TOT为缺陷图像子块中所有像素点的数量，记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域；获取各个修复对比区域中与Pi(u)相同坐标位置的像素点为修复对比像素,记各个修复对比像素的像素值的平均值为Pa，遍历所有Pi(u)，以Pa的值替换Pi(u)的像素值，完成区域缩进处理。

以上的缩进处理并未考虑视觉转换时的线段位置的流线型缩进，为了修复后能够更加凸显出明显的线段特征，使得用于三维场景模型重建的各个图像具备曲线边界的连贯性，尤其是对于那些运动感受器官（如耳前庭器）敏感的用户，在使得用户的3D沉浸感体验上升的前提下，减少曲线边界动态模糊导致的3D眩晕感，使得该类用户的适应性更强，还需要加入以下进一步的方案：

优选地，在S500中，对各个待优化序列中的图像进行区域缩进处理还包括以下步骤：

筛选出待优化序列中所有CSSIM＜RSSIM的子区域作为缺陷图像子块；对各个缺陷图像子块进行以下操作：记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域；

依次获取各个修复对比区域的修正角Ale1,具体为:将修复对比区域中最长的曲线记为修复曲线，以通过修复曲线的端点的直线为XL，以缺陷图像子块中最长的曲线记为缺陷曲线，以通过修复曲线的端点的直线为YL，将XL投影在缺陷图像子块上和修复对比区域中的相同位置得到投影线ZL，以YL和ZL之间的夹角作为修正角Ale1；

计算各个修复对比区域的修正角Ale1的平均值记为待旋转角度LGA；获取各个修复曲线和缺陷曲线的相似度差值的绝对值最小的修复曲线作为选定曲线；将选定曲线复制到缺陷图像子块上和修复对比区域中的相同位置，将选定曲线朝着从ZL到YL的方向整体旋转角度LGA；删除缺陷曲线；

记Li(v)为选定曲线上的第v个像素点，v∈[1,TOT2]，TOT2为选定曲线上所有像素点的数量，获取各个修复对比区域中与Li(v)相同坐标位置的像素点为曲线修复像素,记各个曲线修复像素的像素值的平均值为La，遍历所有Li(v)，以La的值替换Li(v)的像素值，完成区域缩进处理。

有益效果：修复了导致视觉不连贯的一些缺损线条，使得图像中线条的连续性更强，没有增加计算机的计算复杂度，从保持了重建后的帧率，能够消除模型中自相交和边冗余等方面的瑕疵，尽量通过修复后的流畅线条将用户的目光引导向舒适区，尽量的避免了3D眩晕。

进一步地，在S400中，相似度的计算方法为：图像hash算法、余弦相似度算法中任意一种。

进一步地，在S600中，三维重建的方法包括KinectFusion算法、SFM算法、R-MVSNet方法或者PointMVSNet方法中任意一种。

优选地，将所述三维场景模型用于康复训练时使用的显示器端的画面输出。

本发明的实施例提供的一种虚拟场景构建装置，如图2所示，该实施例的一种虚拟场景构建装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种虚拟场景构建方法实施例中的步骤，所述处理器执行所述计算机程序运行在以下系统的单元中：

图像采集单元，用于获取若干图像形成图像序列；

曲线识别单元，用于分别识别出图像序列中各个图像的曲线；

区域划分单元，用于将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域；

映射标记单元，用于依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

图像优化单元，用于对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列；

三维重建单元，用于通过图像序列中各个图像进行三维重建得到三维场景模型。

本发明的实施例提供的一种虚拟场景构建装置包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种虚拟场景构建方法实施例中的步骤，所述一种虚拟场景构建装置可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群。

所述一种虚拟场景构建装置可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中。所述一种虚拟场景构建装置包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种虚拟场景构建方法及其运动康复训练应用的示例，并不构成对一种虚拟场景构建方法及其运动康复训练应用的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种虚拟场景构建装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种虚拟场景构建装置的控制中心，利用各种接口和线路连接整个一种虚拟场景构建装置的各个分区域。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种虚拟场景构建方法及其运动康复训练应用的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供了一种虚拟场景构建方法在康复训练应用，使用者通过操作一种虚拟场景构建装置以观察计算机程序实现如所述一种虚拟场景构建方法中的步骤进行三维重建得到的三维场景模型。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (7)

1.一种虚拟场景构建方法，其特征在于，所述方法包括以下步骤：

S100，获取若干图像形成图像序列；

S200，分别识别出图像序列中各个图像的曲线；

S300，将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域；

S400，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

S500，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列；

S600，通过图像序列中各个图像进行三维重建得到三维场景模型；

其中，在S400中，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域进行映射域标记，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列的方法为以下步骤：

以图像序列Pic中的第i个图像为Pic(i)，以Pic(i)中第j个子区域为Pic(i,j)；

在j的取值范围内，依次根据Pic(i,j)内部的曲线对各个图像的子区域进行映射域标记，具体方法为：以子区域Pic(i,j)作为锚定域，获取锚定域中最长的曲线作为锚线PTL，分别获取Pic中各个图像中除了锚定域外的子区域和锚定域的结构相似性SSIM的值最大的所有子区域组成的序列作为第一待选序列PS1；记PS1中的第k个子区域为PS1(k)；其中，i、j、k为序号；

在PS1中搜索符合锚定映射条件的所有子区域标记为锚定域的映射域；

|PMean(PTL,PS1(k))-GPm(1,k-1)|≥|PiMEAN(PTL,PS1)-PMax(PTL,PS1(k))|；

GPm(1,k-1)表示PS1中从第1个到第k-1个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的平均值；PMean(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度均值；PiMEAN(PTL,PS1)是PTL和PS1中各个子区域中最长的曲线的所有相似度均值；PMax(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度的最大值；

则PS1中标记为锚定域的映射域的子区域表示所述子区域和锚定域具有相同映射域标记；分别将Pic中各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

其中，在S500中，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列的方法为以下步骤：

分别计算区域映射序列中各个子区域和对应的锚定域的结构相似性SSIM值记为CSSIM，以各个CSSIM的平均值作为所述区域映射序列的SSIM值记为RSSIM；分别计算所有区域映射序列的RSSIM；以所有区域映射序列的RSSIM的平均值作为缩进阈值RT；

筛选出所有RSSIM＜RT的区域映射序列作为待优化序列；

对各个待优化序列中的图像进行区域缩进处理，具体为：

筛选出待优化序列中所有CSSIM＜RSSIM的子区域作为缺陷图像子块；对各个缺陷图像子块进行以下操作：

记Pi(u)为缺陷图像子块中的第u个像素点，u∈[1,TOT]，TOT为缺陷图像子块中所有像素点的数量，记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域；获取各个修复对比区域中与Pi(u)相同坐标位置的像素点为修复对比像素，记各个修复对比像素的像素值的平均值为Pa，遍历所有Pi(u)，以Pa的值替换Pi(u)的像素值。

2.根据权利要求1所述的一种虚拟场景构建方法，其特征在于，在S100中，从不同视角、位置采集场景对象的若干图像形成图像序列的方法为：通过张氏标定法对CCD摄像机标定，通过标定好的CCD摄像机获取场景对象不同视角、位置的图像；即以场景对象的几何中心绕场景对象的顺时针方向进行 [0°,360°]旋转，每旋转1°～15°获取一张场景对象的图像；由各个获取到的图像依次构成图像序列。

3.根据权利要求1所述的一种虚拟场景构建方法，其特征在于，对各个待优化序列中的图像进行区域缩进处理还包括以下步骤：

筛选出待优化序列中所有CSSIM＜RSSIM的子区域作为缺陷图像子块；对各个缺陷图像子块进行以下操作：记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域；

依次获取各个修复对比区域的修正角Ale1,具体为:将修复对比区域中最长的曲线记为修复曲线，以通过修复曲线的端点的直线为XL，以缺陷图像子块中最长的曲线记为缺陷曲线，以通过修复曲线的端点的直线为YL，将XL投影在缺陷图像子块上和修复对比区域中的相同位置得到投影线ZL，以YL和ZL之间的夹角作为修正角Ale1；

计算各个修复对比区域的修正角Ale1的平均值记为待旋转角度LGA；获取各个修复曲线和缺陷曲线的相似度差值的绝对值最小的修复曲线作为选定曲线；将选定曲线复制到缺陷图像子块上和修复对比区域中的相同位置，将选定曲线朝着从ZL到YL的方向整体旋转角度LGA；删除缺陷曲线；

记Li(v)为选定曲线上的第v个像素点，v∈[1,TOT2]，TOT2为选定曲线上所有像素点的数量，获取各个修复对比区域中与Li(v)相同坐标位置的像素点为曲线修复像素,记各个曲线修复像素的像素值的平均值为La，遍历所有Li(v)，以La的值替换Li(v)的像素值，完成区域缩进处理。

4.根据权利要求1所述的一种虚拟场景构建方法，其特征在于，在S600中，三维重建的方法包括KinectFusion算法、SFM算法、R-MVSNet方法或者PointMVSNet方法中任意一种。

5.根据权利要求1所述的一种虚拟场景构建方法，其特征在于，将所述三维场景模型用于康复训练时使用的显示器端的画面输出。

6.一种虚拟场景构建装置，其特征在于，所述一种虚拟场景构建装置包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的一种虚拟场景构建方法中的步骤，所述一种虚拟场景构建装置运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的计算设备中。

7.一种虚拟场景构建方法在康复训练应用，使用者通过操作如权利要求6所述的一种虚拟场景构建装置以观察计算机程序实现的虚拟场景构建步骤得到的三维场景模型，所述虚拟场景构建步骤包括：

S100，获取若干图像形成图像序列；

S200，分别识别出图像序列中各个图像的曲线；

S300，将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域；

S400，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

S500，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列；

S600，通过图像序列中各个图像进行三维重建得到三维场景模型；

其中，在S400中，依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域进行映射域标记，分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列的方法为以下步骤：

以图像序列Pic中的第i个图像为Pic(i)，以Pic(i)中第j个子区域为Pic(i,j)；

在j的取值范围内，依次根据Pic(i,j)内部的曲线对各个图像的子区域进行映射域标记，具体方法为：以子区域Pic(i,j)作为锚定域，获取锚定域中最长的曲线作为锚线PTL，分别获取Pic中各个图像中除了锚定域外的子区域和锚定域的结构相似性SSIM的值最大的所有子区域组成的序列作为第一待选序列PS1；记PS1中的第k个子区域为PS1(k)；其中，i、j、k为序号；

在PS1中搜索符合锚定映射条件的所有子区域标记为锚定域的映射域；

|PMean(PTL,PS1(k))-GPm(1,k-1)|≥|PiMEAN(PTL,PS1)-PMax(PTL,PS1(k))|；

GPm(1,k-1)表示PS1中从第1个到第k-1个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的平均值；PMean(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度均值；PiMEAN(PTL,PS1)是PTL和PS1中各个子区域中最长的曲线的所有相似度均值；PMax(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度的最大值；

则PS1中标记为锚定域的映射域的子区域表示所述子区域和锚定域具有相同映射域标记；分别将Pic中各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列；

其中，在S500中，对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列的方法为以下步骤：

分别计算区域映射序列中各个子区域和对应的锚定域的结构相似性SSIM值记为CSSIM，以各个CSSIM的平均值作为所述区域映射序列的SSIM值记为RSSIM；分别计算所有区域映射序列的RSSIM；以所有区域映射序列的RSSIM的平均值作为缩进阈值RT；

筛选出所有RSSIM＜RT的区域映射序列作为待优化序列；

对各个待优化序列中的图像进行区域缩进处理，具体为：

筛选出待优化序列中所有CSSIM＜RSSIM的子区域作为缺陷图像子块；对各个缺陷图像子块进行以下操作：

记Pi(u)为缺陷图像子块中的第u个像素点，u∈[1,TOT]，TOT为缺陷图像子块中所有像素点的数量，记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域；获取各个修复对比区域中与Pi(u)相同坐标位置的像素点为修复对比像素，记各个修复对比像素的像素值的平均值为Pa，遍历所有Pi(u)，以Pa的值替换Pi(u)的像素值。

Images