CN102231099B - 多投影仪自由立体显示的逐像素响应的亮度校正方法 - Google Patents

Abstract

多投影仪自由立体显示的逐像素响应的亮度校正方法属于多投影仪组合显示的大屏幕高分辨率显示技术领域，其特征在于，所述方法把同一个视点图像有关的所有投影仪几何和亮度校正后的投影作为一个虚拟投影仪的投影，测量虚拟投影仪中每一点的亮度响应函数，根据每一点不同的亮度响应函数对输入的图像预先进行亮度转换，解决了多投影仪自由立体显示系统中对每个视点图像都用多个投影仪拼接显示造成的整个显示区域的亮度不一致问题，实现了多投影仪自由立体显示系统中每个视点图像的无缝拼接的大屏幕高分辨率显示的亮度一致。所述方法解决了多投影仪自由立体显示系统中屏幕的特殊光学性质造成的屏幕上各点亮度响应函数不同的问题，使得亮度校正的结果更加得均匀一致。

Description

多投影仪自由立体显示的逐像素响应的亮度校正方法

技术领域

本发明涉及多投影仪自由立体显示的组合显示，实现多投影仪自由立体显示的大屏幕高分辨率显示的亮度一致。

背景技术

近年来，基于双目视差的立体视觉广泛应用于电影、游戏、仿真、虚拟现实等各个领域。现在，自由立体显示技术也取得了重大技术突破，它使观看者无需佩戴立体眼镜就能通过双眼看到相应于不同视点的(左右眼)图像，从而产生强烈的三维立体视觉效果。目前的自由立体显示器受单个显示器的分辨率等限制，只能容纳较少的观众在某个指定的区域观看，这限制了它的推广和应用。将多个视点图像用多个投影仪进行自由立体显示的组合显示可以有效地解决上述问题。但是，多投影仪自由立体显示的屏幕特性使得传统组合显示的几何校正和亮度校正方法难以应用。传统的亮度校正方法主要包括亮度融合方法和亮度衰减方法。

亮度融合方法利用几何校正得到的投影仪空间和屏幕空间的坐标转换关系计算投影仪空间的重叠投影区域，并且在投影仪空间的重叠区域内计算从0到1逐渐过渡的亮度衰减因子，使得屏幕空间上的每一点对应的所有投影仪的亮度衰减因子之和为1。亮度融合方法简单且易于计算，但是只能解决投影仪交叠区域的亮度差异，而对投影仪内部和投影仪之间的亮度差异忽略不计。

亮度衰减方法通过测量每个投影仪的亮度响应函数和最大、最小亮度响应曲面来进行亮度校正。该方法对每个投影仪只测量一个亮度响应函数。多投影仪自由立体显示系统中为了得到自由立体显示效果采用特殊的光学屏幕。这些屏幕的特殊光学性质造成了投影仪的亮度响应函数各点不同。所以，在多投影仪自由立体显示系统中应用亮度衰减方法进行亮度校正不能得到很好的亮度校正效果。

发明内容

本发明的目的在于解决多投影仪自由立体显示系统中对每个视点图像都用多个投影仪拼接显示造成的整个显示区域的亮度不一致问题，实现了多投影仪自由立体显示系统中每个视点图像的无缝拼接的大屏幕高分辨率显示的亮度一致。

本发明的特征在于，依次含有以下步骤：

步骤（1）：组建一个具有视点数I=2的两个视点图像的变分辨率多投影仪自由立体显示系统，包括：一个投影仪阵列、一个自由立体显示屏幕，下面简称屏幕、一台数码相机、一个服务器和多个客户端计算机，其中，投影仪阵列有24台DLP投影仪组成，每个视点图像用Nr×Nc个DLP投影仪在自由立体显示屏幕上按Nr行Nc列的方式拼接显示，Nr=3，Nc=4；客户端计算机具有12台，每台客户端计算机控制两台所述DLP投影仪；

步骤（2）：所述服务器对所述多投影仪自由立体显示系统进行几何校正，步骤如下:

步骤（2.1）：通过各客户端在每个投影仪帧缓存的投影仪空间分别显示按设定的等间距分布的特征点组成的图像，形成投影仪空间初始网格meshp_ij，i表示视点的序号，i=1,2，j表示每个视点i中所对应的所述DLP投影仪的序号，j=1,2,…,11,12；再用所述数码相机分别获取每个视点对应各台所述DLP投影仪的特征点图像投影在所述屏幕上形成的屏幕特征点图像，形成屏幕空间的初始网格meshd_ij；

步骤（2.2）：按下式计算第i个视点中第j个投影仪在所述屏幕上的校正区域dispW_ij，

dispW_ij=∩(dispA_ij,rect)，i=0,1，j=1,2,…,11,12  （1）

其中，dispA_ij为第i个视点中第j个投影仪在屏幕上的显示区域，rect是所述屏幕上组合显示的区域，

$\mathrm{rect}={\∩}_{i=1}^{\mathrm{Nv}}\left(\mathrm{inrect}\left({\∪}_{j=1}^{\mathrm{Nr}\×\mathrm{Nc}}\mathrm{disp}{A}_{\mathrm{ij}}\right)\right)---\left(2\right)$

第i个视点中共12个DLP投影仪在所述屏幕上显示区域的总和用

dispA_ij表示，inrect是一个求给定区域的内接矩形的函数；

步骤（2.3）：在第i个视点中第j个DLP投影仪在所述屏幕上显示的校正区域dispW_ij中重新生成按所述等间距设定的特征点并组织成所述校正区域dispW_ij在所述屏幕空间的校正网格meshnd_ij；再根据所述屏幕空间的校正网格meshnd_ij的顶点D的坐标（D_u,,D_v）计算其对应的投影仪空间校正网格meshnp_ij点D′的坐标（D′_x,D′_y）；

当所述屏幕空间的校正网格meshnd_ij的顶点D（D_u,D_v）的面积坐标为（m,k,w）时，

$m=\frac{S\left(\mathrm{\ΔABD}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& B_u& D_u\\ A_v& B_v& D_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $k=\frac{S\left(\mathrm{\ΔDBC}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{D}_u& B_u& C_u\\ D_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $w=\frac{S\left(\mathrm{\ΔADC}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& D_u& C_u\\ A_v& D_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_v& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}---\left(3\right)$

其中，ΔABC为D点在所述初始网格meshd_ij中所在的三角形，m是ΔABC的内三角形ΔABD与该三角形ΔABC的面积之比，k是ΔABC的内三角形ΔDBC与该三角形ΔABC的面积之比，w是ΔABC的内三角形ΔADC与该三角形ΔABC的面积之比，(A_u,A_v)、(B_u,B_v)及(C_u,C_v)为ΔABC的三个顶点坐标；

所述投影仪空间校正网格meshnp_ij点D′的坐标（D′_x,D′_y）为

$\left\{\begin{array}{c}{D}_x^{\′}=m\×A_x^{\′}+k\×B_x^{\′}+w\×C_x^{\′}\\ D_y^{\′}=m\×A_y^{\′}+k\×B_y^{\′}+w\×C_y^{\′}\end{array}\right.---\left(4\right)$

其中，ΔA′B′C′为在所述网格meshp_ij中与所述网格meshd_ij的ΔABC所对应的三角形，ΔA′B′C′的三个顶点坐标分别为(A′_x,A′_y)、(B′_x,B′_y)、(C′_x,C′_y)；

步骤（2.4）：按下式计算所述服务器通过各客户端分配给第i个视点中第j个DLP投影仪的校正网格meshnp_ij的图像的起始位置(x^ij _start,y^ij _start)、宽高width_ij和height_ij，以及分配给所述校正网格meshnp_ij的第e顶点的纹理坐标(xx_ije,yy_ije)；

$\left\{\begin{array}{c}{x^{\mathrm{ij}}}_{\mathrm{start}}=[({u^{\mathrm{ij}}}_{\min }-u_{\min })/(u_{\max }-u_{\min })]\×\mathrm{wd}\\ {y^{\mathrm{ij}}}_{\mathrm{start}}=[({v^{\mathrm{ij}}}_{\min }-v_{\min })/(v_{\max }-v_{\min })]\×\mathrm{hd}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}{\mathrm{width}}_{\mathrm{ij}}=[({u^{\mathrm{ij}}}_{\max }-{u^{\mathrm{ij}}}_{\min })/(u_{\max }-u_{\min })]\×\mathrm{wd}\\ {\mathrm{height}}_{\mathrm{ij}}=[{{(v}^{\mathrm{ij}}}_{\max }-{v^{\mathrm{ij}}}_{\min })/(v_{\max }-v_{\min })]\×\mathrm{hd}\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{c}{\mathrm{xx}}_{\mathrm{ije}}=(u_{\mathrm{ije}}-{u^{\mathrm{ij}}}_{\min })/({u^{\mathrm{ij}}}_{\max }-{u^{\mathrm{ij}}}_{\min })\\ {\mathrm{yy}}_{\mathrm{ije}}=(v_{\mathrm{ije}}-{v^{\mathrm{ij}}}_{\min })/({v^{\mathrm{ij}}}_{\max }-{v^{\mathrm{ij}}}_{\min })\end{array}\right.---\left(7\right)$

其中，width_ij和height_ij是所述服务器分配给第i个视点中第j个DLP投影仪的校正网格meshnp_ij的图像的宽和高，wd和hd为所述屏幕上要拼接显示的图像在投影之前的宽和高，(u_min,v_min)和(u_max,v_max)是所述屏幕上组合显示区域rect的左下角和右上角的顶点坐标，u^ij _min，u^ij _max，v^ij _min和v^ij _max分别是校正区域dispW_ij的四个顶点坐标中横坐标的最小、最大值和纵坐标的最小、最大值，(u_ije，v_ije)是校正网格meshnp_ij中第e个顶点对应的屏幕的屏幕空间的坐标，i=1,2,j=1,2,…,Nr*Nc；

步骤（2.5）：服务器将程序中各客户端要组合显示的每一幅图像，按步骤（2.4）计算得到的起始位置、大小截取相应的子图像分配给对应的客户端计算机，以便将分配的子图像按计算的所述纹理坐标映射到对应的几何校正网格meshnp_ij上，再用投影仪投影输出，在所述屏幕上得到几何对齐的拼接效果；

步骤（3）：依次按以下步骤采用亮度融合方法对所述多投影仪自由立体显示系统中所述屏幕上各DLP投影仪重叠区域的边缘的亮度进行过渡衰减；

步骤（3.1）：按下式计算第i个视点中第j个投影仪的投影仪空间各点（x,y）处的亮度校正值A_ij(x,y)，拼成该第j个投影仪的亮度校正模板：

$A_{\mathrm{ij}}(x,y)={\left(\frac{a_{\mathrm{ij}}(u,v)}{{\mathrm{\Σ}}_{j^{\′}=1}^{\mathrm{Nr}\×\mathrm{Nc}}{a}_{\mathrm{ij}\′}(u,v)}\right)}^{1/\mathrm{\γ}}---\left(8\right)$

其中，(u,v)是第i个视点第j个DLP投影仪的投影仪空间(x,y)对应的屏幕空间坐标，i=1,2,j=1,2,…,Nr*Nc，γ=2.4，a_ij(u,v)是第i个视点第j个投影仪的校正区域dispW_ij中屏幕空间点(u,v)到其四个边界的距离最小值，j′=1,2,…,Nr*Nc，但j′≠j且校正区域dispW_ij与校正区域dispW_ij’有重叠区域，a_ij’(u,v)是第i个视点第j′个投影仪的校正区域dispW_ij’中屏幕空间点(u,v)到其四个边界的距离最小值，在非重叠区域a_ij’(u,v)=0;

步骤（3.2）：将投影仪几何校正后图像的每一点的值和亮度校正模板中每一点的值对应相乘后再投影输出，从而得到投影仪重叠区域亮度衰减的组合显示；

步骤（3.3）：把每个视点相关的所有DLP投影仪按步骤（1）和步骤（2）进行几何和亮度校正后的投影仪图像作为一个虚拟投影仪的投影图像；

步骤（4）：依次按以下步骤计算每个所述虚拟投影仪的每个像素位置上对应每个采样亮度输入的辐照度数值；

步骤（4.1）：在亮度值的区间[0,255]中按一定的间隔取K个采样点，为了便于后面的存储计算，平衡时间和精度，取K=30，按下式计算30个采样点的亮度值SL_k，

${\mathrm{SL}}_k=\left\{\begin{array}{cc}8\&times;(k-1)& 1\&le;k\&le;15\\ 8\&times;(k+2)& 15<k\&le;29\\ 255& k=30\end{array}\right.,k=\mathrm{1,2}...k---\left(9\right)$

步骤（4.2）：生成大小为xResⅹyRes的K个图像，K=30，其中，xRes=1024，yRes=768；第k个图像I_k中每点的亮度相同，都为第k个采样亮度值SL_k，k=1,2…K；在0.02s‐2.0s之间取S个曝光时间Δt_s，s=1,2,…,S，其中S=16；

步骤（4.3）：对所有的虚拟投影仪和第二步生成的所有图像重复下述步骤（4.3.1）～步骤（4.3.2），得到每个虚拟投影仪中的每个像素上对应每个采样亮度输入的辐照度数值；

步骤（4.3.1）：对于步骤（3.3）中所述的第i个虚拟投影仪显示步骤（4.2）生成的第k个图像I_k在屏幕上的投影结果，在对相机分别设定曝光时间为Δt_s，s=1,2,…,S，后进行拍照，得到S′个大小为xcResⅹycRes的图像，其中，S′=S，xcRes和ycRes分别是相机图像的宽和高，xcRes=2288，ycRes=1520；

步骤（4.3.2）：用设定曝光时间Δt_s的相机进行拍照获取步骤（4.3.1）所述图像中第p个点的亮度值Z_ps和该点的辐照度E_p，

$\ln E_p=\frac{{\mathrm{\&Sigma;}}_{s=1}^{S}w\left(Z_{\mathrm{ps}}\right)(g\left(Z_{\mathrm{ps}}\right)-\ln {\mathrm{\&Delta;t}}_s)}{{\mathrm{\&Sigma;}}_{s=1}^{S}w\left(Z_{\mathrm{ps}}\right)},p=\mathrm{1,2}...P---\left(10\right)$

其中，P为每个图像中的像素个数，P=2288*1520，函数g(Z_ps)是Z_ps和E_p和Δt_s的对数函数的映射关系，

g(Z_ps)=lnE_p+lnΔt_s  （11）

w(Z_ps)是分配给亮度Z_ps的权重，

$w\left(Z_{\mathrm{ps}}\right)=\left\{\begin{array}{cc}{Z}_{\mathrm{ps}}-Z_{\min }& Z_{\mathrm{ps}}\&le;Z_{\mathrm{mid}}\\ Z_{\max }-Z_{\mathrm{ps}}& Z_{\mathrm{ps}}>Z_{\mathrm{mid}}\end{array}\right.---\left(12\right)$

步骤（4.3.3）：为了在屏幕空间得到和所述虚拟投影仪的输入位置一一对应的输出，对每个所述DLP投影仪把步骤（4.3.2）计算得到的对应的各所述辐照度图像映射到一个网格上，并且把这些网格上的辐照度图像叠加在一起得到虚拟投影仪的输出；网格上每个顶点的坐标(x,y)和纹理坐标(tex_x,tex_y)分别为

$\left\{\begin{array}{c}x=(D_u-\min x)/(\max x-\min x)*\mathrm{xRes}\\ y=(D_v-\min y)/(\max y-\min y)*\mathrm{yRes}\end{array}\right.---\left(13\right)$

$\left\{\begin{array}{c}\mathrm{tex}\_x=D_u/\mathrm{xcRes}\\ \mathrm{tex}\_y=D_v/\mathrm{ycRes}\end{array}\right.---\left(14\right)$

其中，（D_u,D_v）是每个投影仪的校正网格上的顶点在屏幕空间的坐标，(minx,miny)和(maxx,maxy)分别是整个校正区域的左上角和右下角在屏幕空间的坐标，xRes和yRes分别是要组合显示的图像的宽和高，xcRes和ycRes分别是相机图像的宽和高；

步骤（5）：在虚拟投影仪的每个像素上生成K个点P_k，k=0,1,…K-1，K=30，其中，第k个点P_k的横坐标为该像素处第k+1个采样亮度值，纵坐标为该像素处对应该采样亮度值输入计算得到的辐照度数值；为了得到连续的输入输出亮度的对应关系，计算得到过这K个点的三次均匀B样条插值曲线，并通过下式得到B样条曲线的控制点，

其中，V₀,V₁,…,V_K+1是控制点；用追赶法求解上式中的三对角矩阵方程，得到三次均匀B样条插值曲线的控制点V₀,V₁,…,V_K+1；

步骤（6）：计算屏幕空间中视觉一致的最小亮度曲面中任意一点（u,v）处的亮度值为

$L^{\&prime;}(u,v)=\max (L\min (u,v),\mathrm{\&lambda;}\&times;\frac{|L\min (u,v)-L\min (u^{\&prime;},v^{\&prime;})|}{\sqrt{{|u-u^{\&prime;}|}^2+{|v-v^{\&prime;}|}^2}})---\left(16\right)$

其中，Lmin(u,v)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在(u,v)坐标处的亮度，(u’,v’)是(u,v)的邻近点，Lmin(u’,v’)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在(u’,v’)坐标处的亮度，λ为视觉感知系数，λ=50，max是求最大值的函数；

计算屏幕空间中视觉一致的最大亮度曲面中任意一点（u,v）处的亮度值为

$L^{\&prime;\&prime;}(u,v)=\min (L\max (u,v),\mathrm{\&lambda;}\&times;\frac{|L\max (u,v)-L\max (u^{\&prime;},v^{\&prime;})}{\sqrt{{|u-u^{\&prime;}|}^2+{|v-v^{\&prime;}|}^2}})---\left(17\right)$

其中，Lmax(u,v)为虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在(u,v)坐标处的亮度，(u’,v’)是(u,v)的邻近点，Lmax(u’,v’)为虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在(u’,v’)坐标处的亮度；

步骤（7）：依次按以下步骤根据虚拟投影仪每一点（x,y）处的要显示的图像的亮度计算该点在对应的B样条曲线上的输入亮度的过程如下：

步骤（7.1）：将每个像素位置的B样条曲线的控制点分别打包成小纹理，将所有的这些小纹理合成一个大的控制点纹理；对每个B样条曲线计算得到32个控制点；每个控制点的横坐标和纵坐标分别占纹理中的一个通道；对于4个通道的二维纹理，32个控制点需要的纹理大小为32*2/4=16；为了便于纹理坐标的计算，小纹理按4行4列的方式存储；大纹理按yRes行xRes列的方式存储每个小纹理，其中，xRes*yRes为显示设备的分辨率；所以大的控制点纹理的大小为(xRes*4)*(yRes*4)；

步骤（7.2）：在虚拟投影仪的每一像素位置（x,y）处，重复下面的步骤（7.2.1）～步骤（7.2.4），得到每一点亮度校正后的亮度输入；通过改变输入的亮度值，得到一致的亮度输出；

步骤（7.2.1）：将该点的输出亮度范围压缩到视觉一致的最小和最大亮度曲面在该点的亮度值之间的区间上，得到视觉一致的亮度输出Wl(x,y)，

Wl(x,y)=Lmin(x,y)+Ol(x,y)/255.0*(Lmax(x,y)-Lmin(x,y))

                       （18）

其中，Ol(x,y)是要组合显示的图像在该点的亮度，Lmin(x,y)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在该点的亮度，Lmax(x,y)是虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在该点的亮度；

步骤（7.2.2）：根据前面计算得到的（x,y）点的三次均匀B样条曲线的控制点，用下式计算三次均匀B样条曲线的第c段函数的两个端点P_c(0)和P_c(1)，

$P_c\left(t\right)=\left[\begin{array}{cccc}1& t& t^2& t^3\end{array}\right]\frac{1}{6}\left[\begin{array}{cccc}1& 4& 1& 0\\ -3& 0& 3& 0\\ 3& -6& 3& 0\\ -1& 3& -3& 1\end{array}\right]\left[\begin{array}{c}{V}_c\\ V_{c+1}\\ V_{c+2}\\ V_{c+3}\end{array}\right],0\&le;t\&le;1,c=\mathrm{0,1},...,K-1---\left(19\right)$

其中，t为B样条曲线的系数参数，c是函数段的索引号，P_c(t)为B样条曲线的第c段函数区间上的各个点，V_c,V_c+1,V_c+2,V_c+3分别是B样条曲线的索引号为分别为c,c+1,c+2,c+3的控制点；根据这些端点P_c(0)和P_c(1)，找到函数区间的索引号c，使得Wl(x,y)在第c段函数的两个端点的纵坐标值所形成的区间内；

步骤（7.2.3）：用二分法计算(x,y)点亮度校正后的输入亮度Nl(x,y)：以[0,1]为参数t初始区间，通过取区间中点tm，把原来的区间一分为二；用式（19）计算参数t=tm时B样条曲线上的点的纵坐标E_p；如果E_p<Wl(x,y)，新区间为左边的一半区间；如果E_p>Wl(x,y)，新区间为右边的一半区间；不断地把区间一分为二，迭代上述过程，直到区间范围小于一个设定的误差值；取参数t为迭代到最后所得到的区间的中点值，用式（18）计算B样条曲线上的点的横坐标值，该横坐标值就是Wl(x,y)对应的输入亮度Nl(x,y)；

步骤（7.2.4）：Nl(x,y)乘以在步骤（3）中得到的亮度校正模板，得到每个投影仪的最终的亮度输入；通过改变输入的亮度值，得到一致的亮度输出。

本发明的优点在于，根据投影仪中每一点的亮度响应函数进行亮度转换，解决了多投影仪自由立体显示系统中屏幕的特殊光学性质造成的屏幕上各点亮度响应函数不同的问题，把同一个视点图像有关的所有投影仪几何和亮度校正后的投影作为一个虚拟投影仪的投影，通过B样条曲线拟合和GPU加速使得亮度响应函数的测量和计算速度加快，得到更加均匀一致的亮度校正效果。

附图说明

图1是可伸缩高分辨率多投影仪自由立体显示系统的示意图。

图2是投影仪空间的初始网格。

图3是屏幕空间的初始网格。

图4是屏幕空间的校正网格。

图5是投影仪空间的校正网格。

图6是屏幕空间和投影仪空间的坐标转换。

图7是显示系统的程序流程框图。

具体实施方式

本发明通过以下技术方案予以实现：用投影仪阵列、自由立体显示屏幕、数码相机、服务器和客户端计算机组成一个可伸缩高分辨率多投影仪自由立体显示系统。图1是可伸缩高分辨率多投影仪自由立体显示系统的示意图，其中，Nv=2，Nr=3，Nc=4。系统中有Nv个视点的图像，每个视点图像用Nr×Nc个DLP投影仪在自由立体显示屏幕上按Nr行Nc列的方式拼接显示。服务器计算每个投影仪的几何校正和亮度校正参数，并发送给控制相应投影仪的客户端。每个客户端控制两台投影仪。客户端根据服务器计算得到的几何校正和边缘融合的参数对每一幅要显示的图像进行变形后再发送到其控制的投影仪进行投影，从而在屏幕上得到无缝拼接的显示结果。为了得到多个视点图像的无缝拼接显示，本发明首先将一个视点相关的所有投影仪几何校正和边缘融合后的投影当作一个虚拟投影仪的投影；然后，测量和计算虚拟投影仪中每一点的亮度响应函数；最后，根据虚拟投影仪每一点的亮度响应函数计算为了得到相同的亮度输出需要的亮度输入，通过修改虚拟投影仪的亮度输入在大屏幕上得到亮度一致。

由于自由立体显示屏幕各向异性的反射性质，使得屏幕会有高光带产生，并且亮度响应函数各点不同，这使得只测量一个亮度响应函数的亮度衰减方法在自由立体显示系统中不能得到很好的亮度校正效果。本发明通过逐像素测量投影仪中每一点的亮度响应函数来解决多投影仪自由立体显示系统的亮度校正问题。光度计等光学测量设备测量精确，但是每次只能测量一个点的颜色。要得到投影仪所有点的亮度响应函数只能利用HDR方法。该方法对每个投影仪的255个亮度输入分别测量其亮度输出。对于每一次的亮度输出用数码相机分别设定一系列的曝光时间进行拍照，然后将多个不同曝光时间的图像合成为一幅高动态范围图像作为还原的亮度输出。由于测量亮度响应函数需要非常多的样本图像数据，从图像中计算亮度响应函数的时间也很长。传统方法中每个亮度响应函数的计算时间大约5分钟。如果要测量可伸缩高分辨率多投影仪自由立体显示中24个投影仪中每一点的亮度响应函数，将要计算24*1024*768个亮度响应函数，计算时间过长。由于每一点的亮度响应函数不同，亮度校正阶段每一点根据不同的亮度查找表进行计算。在CPU中实现亮度查找表的计算速度很慢，而显存的有限空间使得同时在GPU上难以实现1024*768个亮度查找表的计算。

针对逐像素测量投影仪每一点的亮度响应函数带来的速度问题，本发明从以下几个方面着手提高性能：（1）把同一个视点图像有关的所有投影仪几何和亮度校正后的投影作为一个虚拟投影仪的投影。这个虚拟投影仪的输入是相关视点要组合显示的图像，输出是组合显示后在大屏幕上的投影。逐像素测量这个虚拟投影仪的亮度响应函数，对这个虚拟投影仪进行亮度校正，避免了重叠区域的多次的测量和合成计算。（2）通过B样条曲线和GPU加速减少亮度响应函数的测量和计算时间。用相机测量部分采样亮度图像输入对应在大屏幕上的输出，并用HDR方法通过GPU加速还原输出亮度。然后，在虚拟投影仪的每个像素位置都计算一条过所有采样亮度的输入输出点的B样条曲线，从而在每一点得到连续的亮度响应函数。（3）为了使亮度校正后的亮度范围尽量大，对最大和最小亮度曲面分别进行平滑处理得到视觉一致的最大和最小亮度响应曲面，使得每一点亮度校正后的亮度区间在视觉一致的最大和最小亮度响应曲面的对应位置的亮度值之间。（4）利用B样条函数，实现每个像素不同的亮度查找表的GPU计算，并应用到亮度校正中。

把每个视点相关的所有投影仪几何和亮度校正后的投影作为一个虚拟投影仪的投影。测量虚拟投影仪中每一点的亮度响应函数来进行亮度校正。这个虚拟投影仪的输入是相关视点要组合显示的图像，输出是组合显示后在大屏幕上的投影。测量虚拟投影仪每一点的亮度响应函数并根据这些亮度响应函数进行亮度校正的过程如下：

（1）服务器采用二次几何校正方法对多投影仪自由立体显示系统进行几何校正。

第一步：在每个投影仪帧缓存空间分别显示如图2所示的等间距分布的特征点组成的图像。用数码相机分别获取各个投影仪投影在屏幕上的特征点图像。将第i个视点中第j个投影仪的投影仪空间特征点及其投影到屏幕上的特征点分别组织成如图2所示的投影仪空间初始网格meshp_ij和如图3所示屏幕空间的初始网格meshd_ij。其中，i表示视点的序号，i=1,2，j表示每个视点i中所对应的所述DLP投影仪的序号，j=1,2,…,11,12。

第二步：计算第i个视点中第j个投影仪在屏幕上的校正区域

dispW_ij=∩(dispA_ij,rect)，i=0,1，j=1,2,…,11,12  （1）

其中，dispA_ij为第i个视点中第j个投影仪在屏幕上的显示区域，rect是屏幕上组合显示的区域，

$\mathrm{rect}={\&cap;}_{i=1}^{\mathrm{Nv}}\left(\mathrm{inrect}\left({\&cup;}_{j=1}^{\mathrm{Nr}\&times;\mathrm{Nc}}\mathrm{disp}{A}_{\mathrm{ij}}\right)\right)---\left(2\right)$

inrect是一个求给定区域的内接矩形的函数。

第三步：在校正区域dispW_ij中重新生成如图4所示的等间距特征点并组织成屏幕空间校正网格meshnd_ij。根据meshnd_ij的每个顶点计算其对应的投影仪空间点。并将这些投影仪空间点组织成如图5所示的投影仪空间校正网格meshnp_ij。根据meshnd_ij的每个顶点D（D_u,D_v）计算其对应的投影仪空间点D′的坐标（D′_x,D′_y）的方法如下。

首先，按下式计算所述屏幕空间点D（D_u,,D_v）的面积坐标（m,k,w），

$m=\frac{S\left(\mathrm{\&Delta;ABD}\right)}{S\left(\mathrm{\&Delta;ABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& B_u& D_u\\ A_v& B_v& D_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $k=\frac{S\left(\mathrm{\&Delta;DBC}\right)}{S\left(\mathrm{\&Delta;ABC}\right)}=\frac{\left|\begin{array}{ccc}{D}_u& B_u& C_u\\ D_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $w=\frac{S\left(\mathrm{\&Delta;ADC}\right)}{S\left(\mathrm{\&Delta;ABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& D_u& C_u\\ A_v& D_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_v& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}---\left(3\right)$

其中，ΔABC为D点在网格meshd_ij中所在的三角形（如图6所示），m是ΔABC的内三角形ΔABD与该三角形ΔABC的面积之比，k是ΔABC的内三角形ΔDBC与该三角形ΔABC的面积之比，w是ΔABC的内三角形ΔADC与该三角形ΔABC的面积之比，(A_u,A_v)、(B_u,B_v)及(C_u,C_v)为ΔABC的三个顶点坐标，（D_u,D_v）为D点坐标；

然后，按下式计算投影仪空间的点D′的坐标（D′_x,D′_y）,

$\left\{\begin{array}{c}{D}_x^{\&prime;}=m\&times;A_x^{\&prime;}+k\&times;B_x^{\&prime;}+w\&times;C_x^{\&prime;}\\ D_y^{\&prime;}=m\&times;A_y^{\&prime;}+k\&times;B_y^{\&prime;}+w\&times;C_y^{\&prime;}\end{array}\right.---\left(4\right)$

其中，ΔA′B′C′为在网格meshp_ij中与网格meshd_ij的ΔABC所对应的三角形（如图6所示），(A′_x,A′_y)、(B′_x,B′_y)、(C′_x,C′_y)为ΔA′B′C′的三个顶点坐标。

第四步：服务器计算分配给第i个视点中第j个投影仪的图像的起始位置(x^ij _start,y^ij _start)、大小(width_ij,height_ij)以及分配给校正网格meshnp_ij的第e顶点的纹理坐标(xx_ije,yy_ije)；

$\left\{\begin{array}{c}{x^{\mathrm{ij}}}_{\mathrm{start}}=[({u^{\mathrm{ij}}}_{\min }-u_{\min })/(u_{\max }-u_{\min })]\&times;\mathrm{wd}\\ {y^{\mathrm{ij}}}_{\mathrm{start}}=[({v^{\mathrm{ij}}}_{\min }-v_{\min })/(v_{\max }-v_{\min })]\&times;\mathrm{hd}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}{\mathrm{width}}_{\mathrm{ij}}=[({u^{\mathrm{ij}}}_{\max }-{u^{\mathrm{ij}}}_{\min })/(u_{\max }-u_{\min })]\&times;\mathrm{wd}\\ {\mathrm{height}}_{\mathrm{ij}}=[{{(v}^{\mathrm{ij}}}_{\max }-{v^{\mathrm{ij}}}_{\min })/(v_{\max }-v_{\min })]\&times;\mathrm{hd}\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{c}{\mathrm{xx}}_{\mathrm{ije}}=(u_{\mathrm{ije}}-{u^{\mathrm{ij}}}_{\min })/({u^{\mathrm{ij}}}_{\max }-{u^{\mathrm{ij}}}_{\min })\\ {\mathrm{yy}}_{\mathrm{ije}}=(v_{\mathrm{ije}}-{v^{\mathrm{ij}}}_{\min })/({v^{\mathrm{ij}}}_{\max }-{v^{\mathrm{ij}}}_{\min })\end{array}\right.---\left(7\right)$

其中，width_ij和height_ij是分配给第i个视点中第j个投影仪的图像的宽和高，wd和hd为要拼接显示的图像在投影之前的宽和高，(u_min,v_min)和(u_max,v_max)是大屏幕上组合显示区域rect的左下角和右上角的顶点坐标，u^ij _min，u^ij _max，v^ij _min和v^ij _max分别是校正区域dispW_ij的四个顶点坐标中横坐标的最小、最大值和纵坐标的最小、最大值，(u_ije，v_ije)是校正网格meshnp_ij中第e个顶点对应的大屏幕的屏幕空间的坐标，i=1,…,Nv,j=1,2,…,Nr*Nc。

第五步：服务器将要组合显示的每一幅图像，按计算得到的起始位置、大小截取相应的子图像分配给客户端计算机，客户端计算机将分配的子图像按计算的纹理坐标映射到几何校正网格meshnp_ij上，再用投影仪投影输出，从而在屏幕上得到几何对齐的拼接效果。

（2）采用亮度融合方法对多投影仪自由立体显示系统进行边缘融合。

第一步：采用亮度融合方法计算多投影仪自由立体显示系统中每个投影仪的亮度校正模板。按下式计算第i个视点中第j个投影仪的投影仪空间各点（x,y）处的亮度校正值A_ij(x,y)，拼成该第j个投影仪的亮度校正模板：

$A_{\mathrm{ij}}(x,y)={\left(\frac{a_{\mathrm{ij}}(u,v)}{{\mathrm{\&Sigma;}}_{j^{\&prime;}=1}^{\mathrm{Nr}\&times;\mathrm{Nc}}{a}_{\mathrm{ij}\&prime;}(u,v)}\right)}^{1/\mathrm{\&gamma;}}---\left(8\right)$

其中，(u,v)是第i个视点第j个DLP投影仪的投影仪空间(x,y)对应的屏幕空间坐标，i=1,2,j=1,2,…,Nr*Nc，γ=2.4，a_ij(u,v)是第i个视点第j个投影仪的校正区域dispW_ij中屏幕空间点(u,v)到其四个边界的距离最小值，j′=1,2,…,Nr*Nc，但j′≠j且校正区域dispW_ij与校正区域dispW_ij’有重叠区域，a_ij’(u,v)是第i个视点第j′个投影仪的校正区域dispW_ij’中屏幕空间点(u,v)到其四个边界的距离最小值，在非重叠区域a_ij’(u,v)=0。

第二步：将投影仪几何校正后的图像和亮度校正模板中每一点的值对应相乘后再投影输出。这样得投影仪重叠区域的亮度得到衰减，得到边缘融合的组合显示。

第三步：把每个视点相关的所有投影仪按上面的方法几何和亮度校正后的投影作为一个虚拟投影仪的投影。

（3）计算每个虚拟投影仪的每个像素位置上对应每个采样亮度输入的辐照度输出。

第一步：在亮度值的区间[0,255]中按一定的间隔取K个采样点，为了便于后面的存储计算，平衡时间和精度，取K=30，按下式计算30个采样点的亮度值SL_k，

${\mathrm{SL}}_k=\left\{\begin{array}{cc}8\&times;(k-1)& 1\&le;k\&le;15\\ 8\&times;(k+2)& 15<k\&le;29\\ 255& k=30\end{array}\right.,k=\mathrm{1,2}...k---\left(9\right)$

第二步：生成大小为xResⅹyRes的K个图像，其中，xRes=1024，yRes=768。第k个图像I_k中每点的亮度相同，都为第k个采样亮度值SL_k，k=1,2…K。在0.02s‐2.0s之间取S个曝光时间Δt_s，s=1,2,…,S，其中，S=16。

第三步：对所有的虚拟投影仪和第二步生成的所有图像重复第四、五和六步，得到每个虚拟投影仪中的每个像素上对应每个采样亮度输入的辐照度输出。

第四步：对于第i个虚拟投影仪显示第二步生成的第k个图像I_k在屏幕上的投影结果，对相机分别设定曝光时间为Δt_s，s=1,2,…,S，后进行拍照，得到S个大小为xcResⅹycRes的图像，其中，xcRes和ycRes分别是相机图像的宽和高，xcRes=2288，ycRes=1520。

第五步：用设定曝光时间Δt_s的相机进行拍照获取的图像中第p个点的亮度值Z_ps和该点的辐照度E_p之间存在如下关系，

Z_ps=f(E_pΔt_s)，p=1,2…P  （10）

其中，f反映实际景物的亮度与相机拍照生成的图像的亮度之间的非线性映射关系，P为合成的图像中的像素个数，P=2288ⅹ1520。如果用f^‐1表示f的逆函数，则

f^-1(Z_ps)=E_pΔt_s  （11）

两边取对数，

lnf^-1(Z_ps)=lnE_p+lnΔt_s  （12）

令函数g(Z_ps)表示Z_ps和E_p和Δt_s的对数函数的映射关系，g=lnf^-1，那么

g(Z_ps)=lnE_p+lnΔt_s  （13）

上式中E_p和函数g未知，通过求解上式的最小二乘解，也就是求解下式的最小值得到，

$\mathrm{\&Omega;}=\underset{p=1}{\overset{P}{\mathrm{\&Sigma;}}}\underset{s=1}{\overset{S}{\mathrm{\&Sigma;}}}{\left\{w\left(Z_{\mathrm{ps}}\right)\right[g\left(Z_{\mathrm{ps}}\right)-\ln E_p-\ln \mathrm{\&Delta;}{t}_s\left]\right\}}^2+\mathrm{\&lambda;}\underset{z=Z_{\min }+1}{\overset{Z_{\max }-1}{\mathrm{\&Sigma;}}}{\left[w\left(z\right)g^{\&prime;\&prime;}\left(z\right)\right]}^2---\left(14\right)$

其中，w(Z_ps)是分配给亮度Z_ps的权重，λ=50为平滑系数，g″(z)为g(z)的二阶导数，

$w\left(Z_{\mathrm{ps}}\right)=\left\{\begin{array}{cc}{Z}_{\mathrm{ps}}-Z_{\min }& Z_{\mathrm{ps}}\&le;Z_{\mathrm{mid}}\\ Z_{\max }-Z_{\mathrm{ps}}& Z_{\mathrm{ps}}>Z_{\mathrm{mid}}\end{array}\right.---\left(15\right)$

$w\left(z\right)=\left\{\begin{array}{cc}z-Z_{\min }& z\&le;Z_{\mathrm{mid}}\\ Z_{\max }-z& z>Z_{\mathrm{mid}}\end{array}\right.---\left(16\right)$

g″(z)=g(z-1)-2g(z)+g(z+1)  （17）

其中，Z_min是S个图像中所有像素的亮度最小值，Z_max是S个图像中所有像素的亮度最大值，Z_mid=(Z_min+Z_max)/2。

为了计算的鲁棒性，通过多个曝光时间的图像得到第p个点的辐照度E_p，

$\ln E_p=\frac{{\mathrm{\&Sigma;}}_{s=1}^{S}w\left(Z_{\mathrm{ps}}\right)(g\left(Z_{\mathrm{ps}}\right)-\ln {\mathrm{\&Delta;t}}_s)}{{\mathrm{\&Sigma;}}_{s=1}^{S}w\left(Z_{\mathrm{ps}}\right)},p=\mathrm{1,2}...P---\left(18\right)$

第六步：为了在屏幕空间得到和所述虚拟投影仪的输入位置一一对应的输出，对每个所述DLP投影仪把上一步计算得到的对应的各所述辐照度图像映射到一个网格上，并且把这些网格上的辐照度图像叠加在一起得到虚拟投影仪的输出。网格上每个顶点的坐标(x,y)和纹理坐标(tex_x,tex_y)分别为

$\left\{\begin{array}{c}x=(D_u-\min x)/(\max x-\min x)*\mathrm{xRes}\\ y=(D_v-\min y)/(\max y-\min y)*\mathrm{yRes}\end{array}\right.---\left(19\right)$

$\left\{\begin{array}{c}\mathrm{tex}\_x=D_u/\mathrm{xcRes}\\ \mathrm{tex}\_y=D_v/\mathrm{ycRes}\end{array}\right.---\left(20\right)$

其中，（D_u,D_v）是每个投影仪的校正网格上的顶点的屏幕空间坐标，(minx,miny)和(maxx,maxy)分别是整个校正区域的左上角和右下角的屏幕空间坐标，xRes和yRes分别是要组合显示的图像的宽和高，xcRes和ycRes分别是相机图像的宽和高。

（4）在虚拟投影仪的每个像素上得到B样条曲线表示的亮度响应函数。

在虚拟投影仪的每个像素上生成K个点P_k，k=0,1,…K-1，其中，第k个点P_k的横坐标为该像素处第k+1个采样亮度值，纵坐标为该像素处对应该采样亮度值输入计算得到的辐照度输出。为了得到连续的输入输出亮度的对应关系，计算得到过这K个点的三次均匀B样条插值曲线，并通过下式得到B样条曲线的控制点，

其中，V₀,V₁,…,V_K+1是控制点。用追赶法求解上式中的三对角矩阵方程，得到三次均匀B样条插值曲线的控制点V₀,V₁,…,V_K+1。

（5）计算视觉一致的最大和最小亮度曲面。根据视觉原理，将虚拟投影仪的每个点的输出亮度范围压缩到不同的区间中。计算可以达到视觉一致的最大和最小亮度曲面，然后把每个点的亮度范围压缩到视觉一致的最小和最大亮度曲面在该点的亮度值之间的区间上。这样既增加了亮度范围，又得到了虚拟投影仪输出的每个点亮度的视觉一致。视觉一致的最小亮度曲面中任意一点（u,v）处的亮度值为

$L^{\&prime;}(u,v)=\max (L\min (u,v),\mathrm{\&lambda;}\&times;\frac{|L\min (u,v)-L\min (u^{\&prime;},v^{\&prime;})|}{\sqrt{{|u-u^{\&prime;}|}^2+{|v-v^{\&prime;}|}^2}})---\left(22\right)$

其中，Lmin(u,v)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在(u,v)坐标处的亮度，(u’,v’)是(u,v)的邻近点，Lmin(u’,v’)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在(u’,v’)坐标处的亮度，λ为视觉感知系数，λ=50，max是求最大值的函数。

视觉一致的最大亮度曲面中任意一点（u,v）处的亮度值为

$L^{\&prime;\&prime;}(u,v)=\min (L\max (u,v),\mathrm{\&lambda;}\&times;\frac{|L\max (u,v)-L\max (u^{\&prime;},v^{\&prime;})}{\sqrt{{|u-u^{\&prime;}|}^2+{|v-v^{\&prime;}|}^2}})---\left(23\right)$

其中，Lmax(u,v)为虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在(u,v)坐标处的亮度，(u’,v’)是(u,v)的邻近点，Lmax(u’,v’)为虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在(u’,v’)坐标处的亮度。

（6）根据虚拟投影仪每一点（x,y）处的要显示的图像的亮度计算该点在对应的B样条曲线上的输入亮度的过程如下：

第一步：将每个像素位置的B样条曲线的控制点分别打包成小纹理，将所有的这些小纹理合成一个大的控制点纹理。我们实验中对每个B样条曲线计算得到32个控制点。每个控制点的横坐标和纵坐标分别占纹理中的一个通道。对于4个通道的二维纹理，32个控制点需要的纹理大小为32*2/4=16。为了便于纹理坐标的计算，小纹理按4行4列的方式存储。大纹理按yRes行xRes列的方式存储每个小纹理，其中，xRes*yRes为显示设备的分辨率。所以大的控制点纹理的大小为(xRes*4)*(yRes*4)。

第二步：在虚拟投影仪的每一像素位置（x,y）处，重复下面的第三步到第六步，得到每一点亮度校正后的亮度输入。通过改变输入的亮度值，得到一致的亮度输出。

第三步：将该点的输出亮度范围压缩到视觉一致的最小和最大亮度曲面在该点的亮度值之间的区间上，得到视觉一致的亮度输出Wl(x,y)，

Wl(x,y)=Lmin(x,y)+Ol(x,y)/255.0*(Lmax(x,y)-Lmin(x,y))

                    （24）

其中，Ol(x,y)是要组合显示的图像在该点的亮度，Lmin(x,y)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在该点的亮度，Lmax(x,y)是虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在该点的亮度。

第四步：根据前面计算得到的（x,y）点的三次均匀B样条曲线的控制点，用下式计算三次均匀B样条曲线的第c段函数的两个端点P_c(0)和P_c(1)，

$P_c\left(t\right)=\left[\begin{array}{cccc}1& t& t^2& t^3\end{array}\right]\frac{1}{6}\left[\begin{array}{cccc}1& 4& 1& 0\\ -3& 0& 3& 0\\ 3& -6& 3& 0\\ -1& 3& -3& 1\end{array}\right]\left[\begin{array}{c}{V}_c\\ V_{c+1}\\ V_{c+2}\\ V_{c+3}\end{array}\right],0\&le;t\&le;1,c=\mathrm{0,1},...,K-1---\left(25\right)$

其中，t为B样条曲线的系数参数，c是函数段的索引号，Pc(t)为B样条曲线的第c段函数区间上的各个点，Vc,Vc+1,Vc+2,Vc+3分别是B样条曲线的索引号为分别为c,c+1,c+2,c+3的控制点；根据这些端点Pc(0)和Pc(1)，找到函数区间的索引号c，使得Wl(x,y)在第c段函数的两个端点的纵坐标值所形成的区间内。

第五步：用二分法计算(x,y)点亮度校正后的输入亮度Nl(x,y)。以[0,1]为参数t初始区间，通过取区间中点tm，把原来的区间一分为二。用式（25）计算参数t=tm时B样条曲线上的点的纵坐标E_p。如果E_p<Wl(x,y)，新区间为左边的一半区间。如果E_p>Wl(x,y)，新区间为右边的一半区间。不断地把区间一分为二，迭代上述过程，直到区间范围小于一个设定的误差值。取参数t为迭代到最后所得到的区间的中点值，用式（18）计算B样条曲线上的点的横坐标值，该值就是Wl(x,y)对应的输入亮度Nl(x,y)。

第六步：Nl(x,y)乘以在第（2）步中得到的亮度校正模板，得到每个投影仪的最终的亮度输入。通过改变输入的亮度值，得到一致的亮度输出。

Claims (1)

1.多投影仪自由立体显示的逐像素响应的亮度校正方法，其特征在于，依次含有以下步骤：

步骤（1）：组建一个具有视点数I=2的两个视点图像的变分辨率多投影仪自由立体显示系统，包括：一个投影仪阵列、一个自由立体显示屏幕，下面简称屏幕、一台数码相机、一个服务器和多个客户端计算机，其中，投影仪阵列有24台DLP投影仪组成，每个视点图像用Nr×Nc个DLP投影仪在自由立体显示屏幕上按Nr行Nc列的方式拼接显示，Nr=3，Nc=4；客户端计算机具有12台，每台客户端计算机控制两台所述DLP投影仪；

步骤（2）：所述服务器对所述多投影仪自由立体显示系统进行几何校正，步骤如下:

步骤（2.1）：通过各客户端在每个投影仪帧缓存的投影仪空间分别显示按设定的等间距分布的特征点组成的图像，形成投影仪空间初始网格meshp_ij，i表示视点的序号，i=1,2，j表示每个视点i中所对应的所述DLP投影仪的序号，j=1,2,…,11,12；再用所述数码相机分别获取每个视点对应各台所述DLP投影仪的特征点图像投影在所述屏幕上形成的屏幕特征点图像，形成屏幕空间的初始网格meshd_ij；

步骤（2.2）：按下式计算第i个视点中第j个投影仪在所述屏幕上的校正区域dispW_ij，

dispW_ij=∩(dispA_ij,rect)，i=0,1，j=1,2,…,11,12  （1）

其中，dispA_ij为第i个视点中第j个投影仪在屏幕上的显示区域，rect是所述屏幕上组合显示的区域，

$\mathrm{rect}={\&cap;}_{i=1}^{\mathrm{Nv}}\left(\mathrm{inrect}\left({\&cup;}_{j=1}^{\mathrm{Nr}\&times;\mathrm{Nc}}\mathrm{disp}{A}_{\mathrm{ij}}\right)\right)---\left(2\right)$

第i个视点中共12个DLP投影仪在所述屏幕上显示区域的总和用

dispA_ij表示，inrect是一个求给定区域的内接矩形的函数；

步骤（2.3）：在第i个视点中第j个DLP投影仪在所述屏幕上显示的校正区域dispW_ij中重新生成按所述等间距设定的特征点并组织成所述校正区域dispW_ij在所述屏幕空间的校正网格meshnd_ij；再根据所述屏幕空间的校正网格meshnd_ij的顶点D的坐标（D_u,,D_v）计算其对应的投影仪空间校正网格meshnp_ij点D′的坐标（D′_x,D′_y）；

当所述屏幕空间的校正网格meshnd_ij的顶点D（D_u,D_v）的面积坐标为（m,k,w）时，

$m=\frac{S\left(\mathrm{\&Delta;ABD}\right)}{S\left(\mathrm{\&Delta;ABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& B_u& D_u\\ A_v& B_v& D_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $k=\frac{S\left(\mathrm{\&Delta;DBC}\right)}{S\left(\mathrm{\&Delta;ABC}\right)}=\frac{\left|\begin{array}{ccc}{D}_u& B_u& C_u\\ D_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $w=\frac{S\left(\mathrm{\&Delta;ADC}\right)}{S\left(\mathrm{\&Delta;ABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& D_u& C_u\\ A_v& D_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_v& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}---\left(3\right)$

其中，ΔABC为D点在所述屏幕空间的初始网格meshd_ij中所在的三角形，m是ΔABC的内三角形ΔABD与该三角形ΔABC的面积之比，k是ΔABC的内三角形ΔDBC与该三角形ΔABC的面积之比，w是ΔABC的内三角形ΔADC与该三角形ΔABC的面积之比，(A_u,A_v)、(B_u,B_v)及(C_u,C_v)为ΔABC的三个顶点坐标；

所述投影仪空间校正网格meshnp_ij点D′的坐标（D′_x,D′_y）为

$\left\{\begin{array}{c}{D}_x^{\&prime;}=m\&times;A_x^{\&prime;}+k\&times;B_x^{\&prime;}+w\&times;C_x^{\&prime;}\\ D_y^{\&prime;}=m\&times;A_y^{\&prime;}+k\&times;B_y^{\&prime;}+w\&times;C_y^{\&prime;}\end{array}\right.---\left(4\right)$

其中，ΔA′B′C′为在所述投影仪空间初始网格meshp_ij中与所述屏幕空间的初始网格meshd_ij的ΔABC所对应的三角形，ΔA′B′C′的三个顶点坐标分别为(A′_x,A′_y)、(B′_x,B′_y)、(C′_x,C′_y)；

步骤（2.4）：按下式计算所述服务器通过各客户端分配给第i个视点中第j个DLP投影仪的校正网格meshnp_ij的图像的起始位置(x^ij _start,y^ij _start)、宽高width_ij和height_ij，以及分配给所述校正网格meshnp_ij的第e顶点的纹理坐标(xx_ije,yy_ije)；

$\left\{\begin{array}{c}{x^{\mathrm{ij}}}_{\mathrm{start}}=[({u^{\mathrm{ij}}}_{\min }-u_{\min })/(u_{\max }-u_{\min })]\&times;\mathrm{wd}\\ {y^{\mathrm{ij}}}_{\mathrm{start}}=[({v^{\mathrm{ij}}}_{\min }-v_{\min })/(v_{\max }-v_{\min })]\&times;\mathrm{hd}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}{\mathrm{width}}_{\mathrm{ij}}=[({u^{\mathrm{ij}}}_{\max }-{u^{\mathrm{ij}}}_{\min })/(u_{\max }-u_{\min })]\&times;\mathrm{wd}\\ {\mathrm{height}}_{\mathrm{ij}}=[{{(v}^{\mathrm{ij}}}_{\max }-{v^{\mathrm{ij}}}_{\min })/(v_{\max }-v_{\min })]\&times;\mathrm{hd}\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{c}{\mathrm{xx}}_{\mathrm{ije}}=(u_{\mathrm{ije}}-{u^{\mathrm{ij}}}_{\min })/({u^{\mathrm{ij}}}_{\max }-{u^{\mathrm{ij}}}_{\min })\\ {\mathrm{yy}}_{\mathrm{ije}}=(v_{\mathrm{ije}}-{v^{\mathrm{ij}}}_{\min })/({v^{\mathrm{ij}}}_{\max }-{v^{\mathrm{ij}}}_{\min })\end{array}\right.---\left(7\right)$

其中，width_ij和height_ij是所述服务器分配给第i个视点中第j个DLP投影仪的校正网格meshnp_ij的图像的宽和高，wd和hd为所述屏幕上要拼接显示的图像在投影之前的宽和高，(u_min,v_min)和(u_max,v_max)是所述屏幕上组合显示区域rect的左下角和右上角的顶点坐标，u^ij _min，u^ij _max，v^ij _min和v^ij _max分别是校正区域dispW_ij的四个顶点坐标中横坐标的最小、最大值和纵坐标的最小、最大值，(u_ije，v_ije)是校正网格meshnp_ij中第e个顶点对应的屏幕的屏幕空间的坐标，i=1,2,j=1,2,…,Nr*Nc；

步骤（2.5）：服务器将程序中各客户端要组合显示的每一幅图像，按步骤（2.4）计算得到的起始位置、大小截取相应的子图像分配给对应的客户端计算机，以便将分配的子图像按计算的所述纹理坐标映射到对应的几何校正网格meshnp_ij上，再用投影仪投影输出，在所述屏幕上得到几何对齐的拼接效果；

步骤（3）：依次按以下步骤采用亮度融合方法对所述多投影仪自由立体显示系统中所述屏幕上各DLP投影仪重叠区域的边缘的亮度进行过渡衰减；

步骤（3.1）：按下式计算第i个视点中第j个投影仪的投影仪空间各点（x,y）处的亮度校正值A_ij(x,y)，拼成该第j个投影仪的亮度校正模板：

$A_{\mathrm{ij}}(x,y)={\left(\frac{a_{\mathrm{ij}}(u,v)}{{\mathrm{\&Sigma;}}_{j^{\&prime;}=1}^{\mathrm{Nr}\&times;\mathrm{Nc}}{a}_{\mathrm{ij}\&prime;}(u,v)}\right)}^{1/\mathrm{\&gamma;}}---\left(8\right)$

其中，(u,v)是第i个视点第j个DLP投影仪的投影仪空间(x,y)对应的屏幕空间坐标，i=1,2,j=1,2,…,Nr*Nc，γ=2.4，a_ij(u,v)是第i个视点第j个投影仪的校正区域dispW_ij中屏幕空间点(u,v)到其四个边界的距离最小值，j′=1,2,…,Nr*Nc，但j′≠j且校正区域dispW_ij与校正区域dispW_ij’有重叠区域，a_ij’(u,v)是第i个视点第j′个投影仪的校正区域dispW_ij’中屏幕空间点(u,v)到其四个边界的距离最小值，在非重叠区域a_ij’(u,v)=0;

步骤（3.2）：将投影仪几何校正后图像的每一点的值和亮度校正模板中每一点的值对应相乘后再投影输出，从而得到投影仪重叠区域亮度衰减的组合显示；

步骤（3.3）：把每个视点相关的所有DLP投影仪按步骤（1）和步骤（2）进行几何和亮度校正后的投影仪图像作为一个虚拟投影仪的投影图像；

步骤（4）：依次按以下步骤计算每个所述虚拟投影仪的每个像素位置上对应每个采样亮度输入的辐照度数值；

步骤（4.1）：在亮度值的区间[0,255]中按一定的间隔取K个采样点，为了便于后面的存储计算，平衡时间和精度，取K=30，按下式计算30个采样点的亮度值SL_k，

${\mathrm{SL}}_k=\left\{\begin{array}{cc}8\&times;(k-1)& 1\&le;k\&le;15\\ 8\&times;(k+2)& 15<k\&le;29\\ 255& k=30\end{array}\right.,k=\mathrm{1,2}...k---\left(9\right)$

步骤（4.2）：生成大小为xResⅹyRes的K个图像，xRes和yRes分别是要组合显示的图像的宽和高，其中，K=30，xRes=1024，yRes=768；第k个图像I_k中每点的亮度相同，都为第k个采样亮度值SL_k，k=1,2…K；在0.02s‐2.0s之间取S个曝光时间Δt_s，s=1,2,…,S，其中S=16；

步骤（4.3）：对所有的虚拟投影仪和步骤（4.2）生成的所有图像重复下述步骤（4.3.1）～步骤（4.3.2），得到每个虚拟投影仪中的每个像素上对应每个采样亮度输入的辐照度数值；

步骤（4.3.1）：对于步骤（3.3）中所述的第i个虚拟投影仪显示步骤（4.2）生成的第k个图像I_k在屏幕上的投影结果，在对相机分别设定曝光时间为Δt_s，s=1,2,…,S，后进行拍照，得到S′个大小为xcResⅹycRes的图像，其中，S′=S，xcRes和ycRes分别是曝光拍照后相机图像的宽和高，xcRes=2288，ycRes=1520；

步骤（4.3.2）：用设定曝光时间Δt_s的相机进行拍照获取步骤（4.3.1）所述图像中第p个点的亮度值Z_ps和该点的辐照度E_p，

$\ln E_p=\frac{{\mathrm{\&Sigma;}}_{s=1}^{S}w\left(Z_{\mathrm{ps}}\right)(g\left(Z_{\mathrm{ps}}\right)-\ln {\mathrm{\&Delta;t}}_s)}{{\mathrm{\&Sigma;}}_{s=1}^{S}w\left(Z_{\mathrm{ps}}\right)},p=\mathrm{1,2}...P---\left(10\right)$

其中，P为每个图像中的像素个数，P=2288*1520，函数g(Z_ps)是Z_ps和E_p和Δt_s的对数函数的映射关系，

g(Z_ps)=lnE_p+lnΔt_s  （11）

w(Z_ps)是分配给亮度Z_ps的权重，

$w\left(Z_{\mathrm{ps}}\right)=\left\{\begin{array}{cc}{Z}_{\mathrm{ps}}-Z_{\min }& Z_{\mathrm{ps}}\&le;Z_{\mathrm{mid}}\\ Z_{\max }-Z_{\mathrm{ps}}& Z_{\mathrm{ps}}>Z_{\mathrm{mid}}\end{array}\right.---\left(12\right)$

其中，Z_min是S个图像中所有像素的亮度最小值，Z_max是S个图像中所有像素的亮度最大值，Z_mid=(Z_min+Z_max)/2；

步骤（4.3.3）：为了在屏幕空间得到和所述虚拟投影仪的输入位置一一对应的输出，对每个所述DLP投影仪把步骤（4.3.2）计算得到的对应的各所述辐照度图像映射到一个网格上，并且把这些网格上的辐照度图像叠加在一起得到虚拟投影仪的输出；网格上每个顶点的坐标(x,y)和纹理坐标(tex_x,tex_y)分别为

$\left\{\begin{array}{c}x=(D_u-\min x)/(\max x-\min x)*\mathrm{xRes}\\ y=(D_v-\min y)/(\max y-\min y)*\mathrm{yRes}\end{array}\right.---\left(13\right)$

$\left\{\begin{array}{c}\mathrm{tex}\_x=D_u/\mathrm{xcRes}\\ \mathrm{tex}\_y=D_v/\mathrm{ycRes}\end{array}\right.---\left(14\right)$

其中，（D_u,D_v）是每个投影仪的校正网格上的顶点在屏幕空间的坐标，(minx,miny)和(maxx,maxy)分别是整个校正区域的左上角和右下角在屏幕空间的坐标，xRes和yRes分别是要组合显示的图像的宽和高，xcRes和ycRes分别是相机图像的宽和高；

步骤（5）：在虚拟投影仪的每个像素上生成K个点P_k，k=0,1,…K-1，K=30，其中，第k个点P_k的横坐标为该像素处第k+1个采样亮度值，纵坐标为该像素处对应该采样亮度值输入计算得到的辐照度数值；为了得到连续的输入输出亮度的对应关系，计算得到过这K个点的三次均匀B样条插值曲线，并通过下式得到B样条曲线的控制点，

其中，V₀,V₁,…,V_K+1是控制点；用追赶法求解上式中的三对角矩阵方程，得到三次均匀B样条插值曲线的控制点V₀,V₁,…,V_K+1；

步骤（6）：计算屏幕空间中视觉一致的最小亮度曲面中任意一点（u,v）处的亮度值为

$L^{\&prime;}(u,v)=\max (L\min (u,v),\mathrm{\&lambda;}\&times;\frac{|L\min (u,v)-L\min (u^{\&prime;},v^{\&prime;})|}{\sqrt{{|u-u^{\&prime;}|}^2+{|v-v^{\&prime;}|}^2}})---\left(16\right)$

其中，Lmin(u,v)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在(u,v)坐标处的亮度，(u’,v’)是(u,v)的邻近点，Lmin(u’,v’)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在(u’,v’)坐标处的亮度，λ为视觉感知系数，λ=50，max是求最大值的函数；

计算屏幕空间中视觉一致的最大亮度曲面中任意一点（u,v）处的亮度值为

$L^{\&prime;\&prime;}(u,v)=\min (L\max (u,v),\mathrm{\&lambda;}\&times;\frac{|L\max (u,v)-L\max (u^{\&prime;},v^{\&prime;})}{\sqrt{{|u-u^{\&prime;}|}^2+{|v-v^{\&prime;}|}^2}})---\left(17\right)$

其中，Lmax(u,v)为虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在(u,v)坐标处的亮度，(u’,v’)是(u,v)的邻近点，Lmax(u’,v’)为虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在(u’,v’)坐标处的亮度；

步骤（7）：依次按以下步骤根据虚拟投影仪每一点（x,y）处的要显示的图像的亮度计算该点在对应的B样条曲线上的输入亮度的过程如下：

步骤（7.1）：将每个像素位置的B样条曲线的控制点分别打包成小纹理，将所有的这些小纹理合成一个大的控制点纹理；对每个B样条曲线计算得到32个控制点；每个控制点的横坐标和纵坐标分别占纹理中的一个通道；对于4个通道的二维纹理，32个控制点需要的纹理大小为32*2/4=16；为了便于纹理坐标的计算，小纹理按4行4列的方式存储；大纹理按所述yRes行、xRes列的方式存储每个小纹理，其中，xRes*yRes为显示设备的分辨率；所以大的控制点纹理的大小为(xRes*4)*(yRes*4)；

步骤（7.2）：在虚拟投影仪的每一像素位置（x,y）处，重复下面的步骤（7.2.1）～步骤（7.2.4），得到每一点亮度校正后的亮度输入；通过改变输入的亮度值，得到一致的亮度输出；

步骤（7.2.1）：将该点的输出亮度范围压缩到视觉一致的最小和最大亮度曲面在该点的亮度值之间的区间上，得到视觉一致的亮度输出Wl(x,y)，

Wl(x,y)=Lmin(x,y)+Ol(x,y)/255.0*(Lmax(x,y)-Lmin(x,y))  （18）

其中，Ol(x,y)是要组合显示的图像在该点的亮度，Lmin(x,y)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在该点的亮度，Lmax(x,y)是虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在该点的亮度；

步骤（7.2.2）：根据前面计算得到的（x,y）点的三次均匀B样条曲线的控制点，用下式计算三次均匀B样条曲线的第c段函数的两个端点P_c(0)和P_c(1)，

$P_c\left(t\right)=\left[\begin{array}{cccc}1& t& t^2& t^3\end{array}\right]\frac{1}{6}\left[\begin{array}{cccc}1& 4& 1& 0\\ -3& 0& 3& 0\\ 3& -6& 3& 0\\ -1& 3& -3& 1\end{array}\right]\left[\begin{array}{c}{V}_c\\ V_{c+1}\\ V_{c+2}\\ V_{c+3}\end{array}\right],0\&le;t\&le;1,c=\mathrm{0,1},...,K-1---\left(19\right)$

其中，t为B样条曲线的系数参数，c是函数段的索引号，P_c(t)为B样条曲线的第c段函数区间上的各个点，V_c,V_c+1,V_c+2,V_c+3分别是B样条曲线的索引号为分别为c,c+1,c+2,c+3的控制点；根据这些端点P_c(0)和P_c(1)，找到函数区间的索引号c，使得Wl(x,y)在第c段函数的两个端点的纵坐标值所形成的区间内；

步骤（7.2.3）：用二分法计算(x,y)点亮度校正后的输入亮度Nl(x,y)：以[0,1]为参数t初始区间，通过取区间中点tm，把原来的区间一分为二；用式（19）计算参数t=tm时B样条曲线上的点的纵坐标E_p；如果Ep<Wl(x,y)，新区间为左边的一半区间；如果Ep>Wl(x,y)，新区间为右边的一半区间；不断地把区间一分为二，迭代上述过程，直到区间范围小于一个设定的误差值；取参数t为迭代到最后所得到的区间的中点值，用式（18）计算B样条曲线上的点的横坐标值，该横坐标值就是Wl(x,y)对应的输入亮度Nl(x,y)；

步骤（7.2.4）：Nl(x,y)乘以在步骤（3）中得到的亮度校正模板，得到每个投影仪的最终的亮度输入；通过改变输入的亮度值，得到一致的亮度输出。

Images