[go: up one dir, main page]

TW201528775A - 景深圖校正方法及系統 - Google Patents

景深圖校正方法及系統 Download PDF

Info

Publication number
TW201528775A
TW201528775A TW103100008A TW103100008A TW201528775A TW 201528775 A TW201528775 A TW 201528775A TW 103100008 A TW103100008 A TW 103100008A TW 103100008 A TW103100008 A TW 103100008A TW 201528775 A TW201528775 A TW 201528775A
Authority
TW
Taiwan
Prior art keywords
pixel
depth
depth map
image
view image
Prior art date
Application number
TW103100008A
Other languages
English (en)
Inventor
Jih-Sheng Tu
Jung-Yang Kao
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW103100008A priority Critical patent/TW201528775A/zh
Priority to US14/189,258 priority patent/US9462251B2/en
Publication of TW201528775A publication Critical patent/TW201528775A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一種景深圖校正方法及系統。景深圖校正方法包括以下步驟。將一實際視角影像的一左視角影像及一右視角影像依據各自對應的景深圖進行一視角位移，以取得一左虛擬視角影像、一右虛擬視角影像、一左側洞資訊及一右側洞資訊。點對點地取得不是洞的像素點的冗餘差值。若取得的冗餘差值大於第一門檻值，則進行一位移反推，以得到上述至少一像素點位於此實際視角影像的一座標，並以所得的此座標鄰近範圍一或多個像素點的深度值來校正上述至少一像素點的深度值。

Description

景深圖校正方法及系統
本案一般而言涉及一景深圖校正方法及系統。
根據動態影像專家組(Moving Picture Experts Group，簡稱MPEG)組織目前制定的立體視訊壓縮標準(3D Video Coding，簡稱3DVC)，希望能在達到符合現今數位傳輸環境的流量限制下，呈現多視角(multi-view)的立體視覺效果。3DVC與之前的多視角編碼方法(multi-view video coding,MVC)相比，其不用紀錄數量龐大的視角資訊，而是以視角合成的方式去建立這些視角，可以節省大量的資料量。
3DVC整體的架構主要希望能於多張紋理影像(texture image)中，僅運用其中少數幾張圖框(frame)的紋理影像(實際視角影像)配合它們對應的場景深度圖(景深圖、depth map)，以視角合成(view synthesis)的方式來合成出多張虛擬視角(virtual view)影像。舉例來說，景深影像為基礎渲染(Depth Image Based Rendering，簡稱DIBR)的演算法，可使用三張實際視角影像加上對應的景深圖這三組資訊，產生出九張不同視角影像(包括了實際視角影像及虛擬視角影像)，無論觀眾從哪個角度位置觀看，只要讓左右眼接收到對應的視角影像，就能觀賞到3D的立體影像。
紋理影像為攝影機拍攝場景的實際影像，而景深圖可視為對應實際影像的一8位元灰階影像，景深圖的像素值(介於0~255之間)代表場景中物體距離攝影機的遠近，亦即景深圖展現的是物體間在空間座標的相對應關係，而與物體本身的實際紋理資訊無關。
舉例來說，若定義紋理影像中：像素點對應的深度值比較大(顏色較亮)將之歸屬於前景物件，而深度值比較小(顏色較暗)將之歸屬於背景。可簡化來解釋，視角合成(view synthesis)的過程可以看成是實際視角影像裡面的像素點視角位移(view warping)了多少距離，跑到虛擬視角影像上，而每個紋理影像像素點(pixel)要位移多少距離則是由景深圖上與該像素點相對應座標的景深圖像素值(pixel value)，簡稱為深度值(depth value)決定，按照視角合成的理論，紋理影像像素點所對應的景深圖上的深度值越大，那麼此像素點的位移量也會越大。
進行視角合成過程中，深度值比較大的像素點，位移(warp)了比較多的距離，而深度值比較小的像素點，位移了 比較少的距離。因為位移的距離不等，所以虛擬視角影像上面可能有些像素點沒有值，這些空著的像素點稱為”洞”(hole)。一般而言譬如說，洞資訊可標註於所謂的洞遮罩(hole mask)於對應的像素點座標位置，而供後續程序中參考，以洞填補(hole filling)演算法來填補洞。
一般而言，如果景深圖和紋理影像的前景背景相吻合，合成的影像就不會產生雜訊；但若不吻合，則合成的影像會形成些許的碎雜訊(noise)。
依據本揭露之一實施範例，提供一種景深圖校正方法。此方法包括以下步驟。將一實際視角影像的一左視角影像、一右視角影像依據各自對應的景深圖進行一視角位移，以取得一左虛擬視角影像、一右虛擬視角影像、一左側洞資訊及一右側洞資訊。點對點地將不是洞的至少一像素點的左、右虛擬視角影像座標的像素值相減，以取得前述像素點的冗餘差值。若取得的冗餘差值大於第一門檻值，則進行一位移反推，以得到前述像素點位於所對應的實際視角影像的一座標，並以所得的此座標鄰近範圍的深度值來校正前述像素點的深度值，以進行一景深校正。
依據本揭露之一實施範例，提供一種景深圖校正系統。景深圖校正系統包括一視角位移單元、一冗餘差值計算單元、一第一判斷單元、一位移反推單元及一景深校正單元。視角 位移單元用以將一實際視角影像的一左視角影像跟一右視角影像依據各自對應的景深圖進行一視角位移，以取得一左虛擬視角影像、一右虛擬視角影像、一左側洞資訊及一右側洞資訊。冗餘差值計算單元用以點對點地將不是洞的至少一像素點的左、右虛擬視角影像座標的像素值相減，以取得前述至少一像素點的一冗餘差值。第一判斷單元用以判斷若取得的冗餘差值大於一第一門檻值，則進行一位移反推。位移反推單元用以進行該位移反推，以得到前述至少一像素點位於所對應的實際視角影像的一座標。景深校正單元用以進行一景深校正，以所得座標之鄰近範圍一或多個像素點的深度值來校正前述至少一像素點的深度值。為了對本發明之上述及其他方面有更佳的瞭解，下文特舉若干實施範例，並配合所附圖式，作詳細說明如下：
301‧‧‧左虛擬視角影像
302‧‧‧右虛擬視角影像
303‧‧‧冗餘差值
304‧‧‧左側洞
305‧‧‧左視角景深圖
306‧‧‧校正後左視角景深圖
401‧‧‧左虛擬視角影像
402‧‧‧右虛擬視角影像
403‧‧‧冗餘差值
404‧‧‧右側洞
405‧‧‧右視角景深圖
406‧‧‧校正後右視角景深圖
500‧‧‧景深圖校正系統
510‧‧‧視角位移單元
520‧‧‧冗餘差值計算單元
530‧‧‧第一判斷單元
540‧‧‧第二判斷單元
550‧‧‧位移反推單元
560‧‧‧第三判斷單元
570‧‧‧景深校正單元
BI‧‧‧背景
FI‧‧‧前景物件
NS‧‧‧雜訊
S210、S220、S230、S240、S250、S260、S270‧‧‧流程步驟
所述圖式說明本案的示範性實施例，且與描述一起用以解釋本案的原理。
第1A、1B、1C圖繪示影像前景物件與背景交界的邊緣處產生雜訊的例示圖。
第2圖繪示一景深圖校正方法實施範例的流程圖。
第3圖繪示第2圖之景深圖校正方法實施範例的細部流程圖。
第4圖繪示以第3圖方法檢查左側洞實施例圖解示意圖。
第5圖繪示以第3圖方法檢查右側洞實施例圖解示意圖。
第6圖繪示經由景深圖校正系統實施範例示意圖。
為了對本案之上述及其他特徵與優點更瞭解，下文特舉實施例並配合所附圖式，作進一步說明。應理解，以上一般描述和以下詳細描述都是示範性的，且希望提供對如所主張的本案的詳細解釋。
立體視訊壓縮標準(3D Video Coding，簡稱3DVC)這樣的影像壓縮方法，在畫質呈現上某種程度取決於景深圖的正確性。當在景深圖裡，若影像物件的深度資訊不是那樣準確，依據觀察，譬如說，若原本應該屬於前景部分的像素點，因為景深圖不準確的關係，可能讓它的深度值變成背景的深度值。這麼一來，此像素點就不會位移到它原本該去的位置，而變成了背景的一部分。請參照第第1A、1B、1C圖，第1A、1B、1C圖繪示影像前景物件FI與背景BI交界的邊緣處產生雜訊NS的例示圖。反應在合成出來的虛擬視角畫面上，而這便可能使合成出來的虛擬影像，譬如在前景物件FI與背景BI交界的邊緣處，產生如第1A圖、或第1B圖、或第1C圖的例示雜訊NS。
因此，本案提出一景深圖校正方法、系統，本案技術可相容目前視訊壓縮標準H.264/AVC與H.265/HEVC組織要 求。
請參照第2圖及第3圖，第2圖繪示一景深圖校正方法實施範例的流程圖。第3圖繪示第2圖之景深圖校正方法實施範例的細部流程圖。經由校正景深圖消除虛擬視角影像雜訊。在步驟S210中，將一實際視角影像的一左視角影像(實際視角影像)、一右視角影像(實際視角影像)(S211)依其對應的左視角景深圖、右視角景深圖(S211)各自進行視角位移(view warping)(S212)，取得一左虛擬視角影像(virtual view)、一右虛擬視角影像、一左側洞資訊及一右側洞資訊(S213)。在步驟S220中，點對點地，將不是洞(hole)的至少一像素點所對應座標的左、右虛擬視角影像像素值相減(S221)，取得至少一像素點的冗餘差值DiffLRwarp(S222)。在步驟S230中，判斷一像素點的冗餘差值(residual difference)是否大於第一門檻值。若是，則在步驟S250中，對此像素點進行位移反推(reverse warping)運算，得到對應此像素點位於此實際視角影像的一座標。亦即此像素點附近區域產生了雜訊，反推計算出此像素點原本是從實際視角影像中哪一座標位移過來。在步驟S270中，以此座標鄰近範圍一或多個像素點的深度值來據以校正此像素點的深度值，而得到左視角影像和右視角影像分別經過校正處理過的景深圖。
實際運作時譬如於一實施例中，得到冗餘差值大於第一門檻值可能帶有雜訊的所有像素點之後，接著才進一步反推視角位移前的實際視角影像座標及校正此座標深度值。又譬如於 另一實施例中也可逐點進行，對每一像素點判斷可能是帶有雜訊的一個像素點之後，接著就進一步的反推視角位移前的實際視角影像座標及校正此像素點深度值。這些都是實作時可選擇的進行方式，都係可於本案中實行方式。而本案所謂的「鄰近範圍」泛指一設定範圍內，環繞此像素點任一設定方向上一設定距離所涵括的一或多個像素點。方向可設定為例如水平方向、對角線、垂直方向等，但並不以此為限，距離可設定譬如說XB個像素長度範圍，XB是一個大於等於1的正整數。然後以統計分析演算法來計算出一校正值來取代此像素點原深度值。可為譬如取：算術平均值、中位數、或類似特性統計分析值等，但並不以此為限。
當合成左、右虛擬視角影像的時候，可合成出個別的左、右虛擬視角影像資訊。舉例來說，於一實施例中，可用左視角影像及/或右視角的景深圖對應合成出左虛擬視角影像及/或右虛擬視角的景深圖(depth map)，如此一來就可以對應拿左虛擬視角影像及/或右虛擬視角影像的景深圖作為依據，對左側及/或右側產生了雜訊的像素點實行位移反推。而於另一實施例中，則是產生左查找表(look-up table)及/或右查找表，查找表中記錄了左、右虛擬視角影像上的每一像素點是由實際視角影像位移了多少距離投射過來，在進行位移反推時參考查找表，就能反推得知虛擬視角上面的某個像素點是從實際視角影像上的哪個像素點位移過來。
請參照第3圖的細部流程，於一實施例中，於步驟 S230找到可能產生雜訊的至少一像素點後，步驟S240可選擇性地分別判斷前述至少一像素點左側附近、或右側附近，洞的數量是否大於第二門檻值。也就是說，分別判斷前述至少一像素點的左側洞、或右側洞的寬度(亦即數量)是否不小於第二門檻值。圖2中所述的左側洞資訊及右側洞資訊中，分別包括至少一像素點的左側洞數量及右側洞數量。當判斷成立的話，於步驟S250將前述至少一像素點做位移反推(reverse warping)運算，以計算出一像素點原本是從實際視角影像的哪一座標位移過來，然後於步驟S270以此座標鄰近範圍一或多個像素點的深度值來據以進行此像素點的景深校正。
請參考第4圖，其繪示以第3圖方法檢查左側洞實施例圖解示意圖。點對點地將不是洞的至少一像素點的左虛擬視角影像301和右虛擬視角影像302的像素值相減，得到前述至少一像素點的冗餘差值(DiffLRwarp)303，並於步驟S230找到可能產生雜訊的至少一像素點。檢查左側洞304時，當步驟S240判斷一像素點的左側洞304之寬度大於第二門檻值，則於步驟S250依據左視角影像資訊對此像素點進行位移反推運算，計算出此像素點原本是從左視角影像的哪一座標位移過來。然後於步驟S270從左視角景深圖305尋找此座標左方鄰近範圍一或多個像素點的深度值，來據以校正此像素點的深度值，而得到校正後左視角景深圖306。
請參考第5圖，其繪示以第3圖方法檢查右側洞實 施例圖解示意圖。左虛擬視角影像401和右虛擬視角影像402點對點地將不是洞的至少一像素點的像素值相減，得到前述至少一像素點的冗餘差值(DiffLRwarp)403，並於步驟S230找到可能產生雜訊的至少一像素點。檢查右側洞404時，當判斷一像素點的右側洞404寬度大於第二門檻值(S240)，則於步驟S250依據右視角影像資訊對此像素點進行位移反推運算，計算出此像素點原本是從右視角影像的哪一座標位移過來。然後於步驟S270從右視角景深圖405尋找此座標右方鄰近範圍一或多個像素點的深度值，來據以校正此像素點的深度值，而得到校正後右視角景深圖406。
如第3圖所示，而於另一實施例中，可選擇性地在位移反推之步驟S250後，進行步驟S260。在步驟S260中，在左視角影像及/或在右視角影像的目前像素點位置，向左方及/或向右方範圍找尋一或多個像素點，譬如XB個像素點，判斷目前像素點深度值是否比這XB個像素點深度值都小，XB是一個大於等於1的正整數。若是，則進行步驟S270之景深校正。此時認為目前像素點屬於雜訊，而以前景物件的深度值來據以校正目前像素點的深度值。
當執行每個可能產生雜訊的像素點景深校正結束之後，會得到左眼視角和右眼視角個別經過校正處理過的景深圖，可以做為後續重新壓縮編碼(encode)或者是視角合成(view synthesis)的來源。
依據本揭露的一景深圖校正系統500，可經由校正景深圖消除虛擬視角影像雜訊，請參考第6圖的實施範例。第6圖繪示經由景深圖校正系統實施範例示意圖。由視角位移單元510依據各自對應的左、右景深圖對左視角影像、右視角影像分別進行視角位移，產出左虛擬視角影像、右虛擬視角影像、左側洞資訊及右側洞資訊。左側洞資訊中包括至少一像素點的左側洞數量，且右側洞資訊中包括至少一像素點的右側洞數量。冗餘差值計算單元520點對點地，將不是洞的至少一像素點所對應座標的左、右虛擬視角影像像素值相減，得到前述至少一像素點的冗餘差值(DiffLRwarp)。當第一判斷單元530判斷一像素點的冗餘差值(DiffLRwarp)若超過第一門檻值時，則交由位移反推單元550進行此像素點的位移反推運算，得到對應此像素點位於實際視角影像的座標。而景深校正單元570則以此座標鄰近範圍一或多個像素點的深度值來據以校正此像素點的深度值，得到左視角影像和右視角影像分別經過校正處理過的景深圖，以進行一景深校正。視角位移單元510、冗餘差值計算單元520、第一判斷單元530、位移反推單元550及景深校正單元570，可以例如是一晶片、一韌體電路、一電路板或儲存數組程式碼之記錄媒體等，但並不以此為限。
於一實施例中，得到可能產生雜訊的至少一像素點時，可選擇由第二判斷單元540判斷一像素點的左側洞、或右側洞的寬度(亦即數量)是否大於第二門檻值，分別檢查此像素點左 側洞、或右側洞的數量是否大於第二門檻值。第二判斷單元540例如是一晶片、一韌體電路、一電路板或儲存數組程式碼之記錄媒體等，但並不以此為限。當判斷成立的話，將此像素點交由位移反推單元550進行位移反推，得到對應此像素點位於實際視角影像的座標，然後景深校正單元570則以與此座標鄰近範圍一或多個像素點的深度值來據以進行景深校正。
於一實施例中，由位移反推單元550進行位移反推，得到對應此像素點位於實際視角影像的座標後，可選擇由第三判斷單元560，依據目前位移反推後在左視角影像及/或在右視角影像的目前像素點位置，對應向左方鄰近範圍及/或向右方鄰近範圍找尋一或多個點，譬如XB個像素點，判斷目前像素點深度值是否比這XB個像素點都小，XB是一個大於等於1的正整數。當判斷成立的話，則景深校正單元570以與此座標鄰近範圍的深度值來據以進行景深校正。第三判斷單元560可以例如是一晶片、一韌體電路、一電路板或儲存數組程式碼之記錄媒體等，但並不以此為限。
此外，本揭露的景深圖校正系統500可電氣連接(或稱作耦接)一處理器及至少一記憶體(圖未顯示)，景深圖校正系統500的各個單元可藉由簡單電路或韌體配合處理器，送出訊號、訊息或資料，景深圖校正系統500的各個單元亦可以配合此處理器執行處理程序。
當景深圖校正系統500執行每個可能產生雜訊的像 素點景深校正結束之後，會得到左眼視角和右眼視角個別經過校正處理過的景深圖，可以做為後續重新壓縮編碼(encode)或者是視角合成(view synthesis)的來源。
而如何決定第一門檻的值呢？於一些實施例中，第一門檻值可以是大於0的整數，當第一門檻值愈大時，愈少像素點會被當成是可能有誤差的點，而有較多的機率原本該是雜訊的像素點會被遺漏掉，沒有進行校正的程序。但若是將第一門檻值設的愈小，情況則可能會變成對雜訊較為敏感，有較多的機率，原先沒問題、正確的像素點可能反而被改成錯誤的結果，或可將第一門檻值稱為雜訊敏感度門檻值。
一般而言，最簡單的方法就是將第一門檻值設為一設定值，例如3、4、5、6、7…等等常數；其次，也可以採用數學運算的方式計算出第一門檻值，例如將所有該至少一像素點的冗餘差值(DiffLRwarp)切成MxN個區塊(M、N為正整數)，並取得每個區塊的算術平均值、中位數或類似特性統計分析值，來當作判斷該區塊像素點時的第一門檻值；其它的方法還可有類似機器學習(Machine Learning)的手段，慢慢地自動調整第一門檻值到一個合適的值。
當要合成的虛擬視角距離比較遠的時候(例如用第5個實際影像的資訊去合成第2個虛擬視角影像的時候)，此時有些洞不會發生在前景背景交界處，而這種洞的大小並不會太大，因此取一個適當的門檻值來篩選洞，以避免發生誤判的情形，亦 即第二門檻值，或可將第二門檻值稱為物件邊緣破洞門檻值。一些實施例中，可以將第二門檻值設為一設定值，譬如一常數。於另一些實施例中，也可以算式(1)來計算第二門檻值，且令第二門檻值為大於等於1之正整數。
其中，Th2為第二門檻值，且與以下變數相關。f為攝影機(相機)的焦距(focal length)。b為基線距離(baseline distance)，一般表示兩個視角的距離，在這邊指的是虛擬視角和實際視角的距離。n是自定的一正整數。而在做視角位移(view warping)計算的時候，實際上會把二維圖像轉換到三維空間上，這個三維空間的範圍由兩個平面決定最近與最遠的距離，也就是近景距離Z near (near clipping distance)和遠景距離Z far (far clipping distance)，一般而言，以上變數皆取絕對值。
綜合以上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。
S210、S220、S230、S250、S270‧‧‧流程步驟

Claims (20)

  1. 一種景深圖校正方法，包括：將一實際視角影像的一左視角影像、一右視角影像依據各自對應的景深圖進行一視角位移，以取得一左虛擬視角影像、一右虛擬視角影像、一左側洞資訊及一右側洞資訊；點對點地將不是洞的至少一像素點的左、右虛擬視角影像座標的像素值相減，以取得該至少一像素點的一冗餘差值；判斷若該至少一像素點的該冗餘差值大於一第一門檻值，則進行一位移反推，以得到該至少一像素點位於該實際視角影像的一座標；以及以得到的該座標之鄰近範圍一或多個像素點的深度值來據以校正該至少一述像素點的深度值，以進行一景深校正。
  2. 如申請專利範圍第1項所述之景深圖校正方法，其中該左側洞資訊中包括該至少一像素點的一左側洞數量，且其中判斷若該冗餘差值大於該第一門檻值之步驟，更包括：判斷若該至少一像素點之左側洞數量大於一第二門檻值，則進行該位移反推，計算出該至少一像素點原本是從該左視角影像的哪一座標位移過來。
  3. 如申請專利範圍第1項所述之景深圖校正方法，其中該右側洞資訊中包括該至少一像素點的一右側洞數量，且其中判斷若該冗餘差值大於該第一門檻值之步驟，更包括：判斷若該至少一像素點之右側洞數量大於一第二門檻值，則 進行該位移反推計算出該至少一像素點原本是從該右視角影像的哪一座標位移過來。
  4. 如申請專利範圍第1項所述之景深圖校正方法，其中該座標之該鄰近範圍為環繞該至少一像素點一設定方向的一設定距離。
  5. 如申請專利範圍第1項所述之景深圖校正方法，其中之該第一門檻值為一設定值。
  6. 如申請專利範圍第1項所述之景深圖校正方法，更包括：將所有該至少一像素點的該些冗餘差值切成MxN個區塊，M、N為正整數；以及取得各該區塊的一算術平均值或一中位數，以作為判斷該區塊像素點時的該第一門檻值。
  7. 如申請專利範圍第1或2項所述之景深圖校正方法，其中進行該位移反推後，更包括：在該左視角影像的一目前像素點位置，向左方鄰近範圍找尋該一或多個像素點；以及判斷若該目前像素點之深度值比該一或多個像素點之深度值都小，則進行該景深校正。
  8. 如申請專利範圍第2項所述之景深圖校正方法，更包括：用該左視角影像的景深圖合成一該左虛擬視角影像的景深圖，並據以進行該位移反推。
  9. 如申請專利範圍第2項所述之景深圖校正方法，更包括： 產生一左查找表，記錄一左虛擬視角影像上的每一像素點是由該實際視角影像位移了多少距離投射過來，並據以進行該位移反推。
  10. 如申請專利範圍第3項所述之景深圖校正方法，更包括：用該右視角影像的景深圖合成一該右虛擬視角影像的景深圖，並據以進行該位移反推。
  11. 如申請專利範圍第3項所述之景深圖校正方法，更包括：產生一右查找表，記錄一右虛擬視角影像上的每一像素點是由該實際視角影像位移了多少距離投射過來，並據以進行該位移反推。
  12. 如申請專利範圍第1或3項所述之景深圖校正方法，其中進行該位移反推後，更包括：在該右視角影像的一目前像素點位置，向右方鄰近範圍找尋該一或多個像素點；以及判斷若該目前像素點之深度值比該一或多個像素點之深度值都小，則進行該景深校正。
  13. 如申請專利範圍第2或3項所述之景深圖校正方法，其中該第二門檻值為一設定值。
  14. 如申請專利範圍第2或3項所述之景深圖校正方法，其中該第二門檻值係為大於或等於1之正整數，且 f為一攝影機的焦距、b為一基線距離、n是一正整數、Z near 是一近景距離、Z far 是一遠景距離。
  15. 如申請專利範圍第1或4項所述之景深圖校正方法，其中取該座標鄰近範圍該一或多個像素點深度值的一算術平均值或一中位數，來校正該至少一像素點的深度值。
  16. 一種景深圖校正系統，包括：一視角位移單元，用以將一實際視角影像的一左視角影像、一右視角影像依據各自對應的景深圖進行一視角位移，以取得一左虛擬視角影像、一右虛擬視角影像、一左側洞資訊及一右側洞資訊；一冗餘差值計算單元，用以點對點地將不是洞的至少一像素點的左、右虛擬視角影像座標的像素值相減，以取得該至少一像素點的一冗餘差值；一第一判斷單元，用以判斷若該冗餘差值大於一第一門檻值，則進行一位移反推；一位移反推單元，用以進行該位移反推，以得到該至少一像素點位於該實際視角影像的一座標；以及一景深校正單元，用以進行一景深校正，以得到的該座標之鄰近範圍一或多個像素點的深度值來校正該至少一像素點的深度值。
  17. 如申請專利範圍第16項所述之景深圖校正系統，該左側洞資訊中包括該至少一像素點的一左側洞數量，且其中該右側洞 資訊中包括該至少一像素點的一右側洞數量，此系統更包括：一第二判斷單元，用以於該冗餘差值大於該第一門檻值時，判斷若該至少一像素點之左側洞數量及/或右側洞數量大於一第二門檻值，則進行該位移反推。
  18. 如申請專利範圍第16或17項所述之景深圖校正系統，更包括：一第三判斷單元，用以於該位移反推後，在該左視角影像及/或該右視角影像的一目前像素點位置，對應向左方及/或右方鄰近範圍找尋該一或多個像素點，並用以判斷若該目前像素點之深度值比該一或多個像素點之深度值都小，則進行該景深校正。
  19. 如申請專利範圍第16項所述之景深圖校正系統，其中該鄰近範圍為環繞該至少一像素點一設定方向的一設定距離。
  20. 如申請專利範圍第16或19項所述之景深圖校正系統，其中取該座標鄰近範圍該一或多個像素點深度值的一算術平均值或一中位數，來校正該至少一像素點的深度值。
TW103100008A 2014-01-02 2014-01-02 景深圖校正方法及系統 TW201528775A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103100008A TW201528775A (zh) 2014-01-02 2014-01-02 景深圖校正方法及系統
US14/189,258 US9462251B2 (en) 2014-01-02 2014-02-25 Depth map aligning method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103100008A TW201528775A (zh) 2014-01-02 2014-01-02 景深圖校正方法及系統

Publications (1)

Publication Number Publication Date
TW201528775A true TW201528775A (zh) 2015-07-16

Family

ID=53483413

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103100008A TW201528775A (zh) 2014-01-02 2014-01-02 景深圖校正方法及系統

Country Status (2)

Country Link
US (1) US9462251B2 (zh)
TW (1) TW201528775A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
KR20160114983A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 영상 변환 장치 및 방법
US20170115737A1 (en) * 2015-10-26 2017-04-27 Lenovo (Singapore) Pte. Ltd. Gesture control using depth data
US11455705B2 (en) * 2018-09-27 2022-09-27 Qualcomm Incorporated Asynchronous space warp for remotely rendered VR
CN112243518A (zh) * 2019-08-29 2021-01-19 深圳市大疆创新科技有限公司 获取深度图的方法、装置及计算机存储介质
CN110852293B (zh) * 2019-11-18 2022-10-18 业成科技（成都）有限公司 人脸深度图对齐方法、装置、计算机设备和存储介质
WO2023194109A1 (en) * 2022-04-05 2023-10-12 Interdigital Ce Patent Holdings, Sas Depth-color alignment with assistance metadata for transcoding of volumetric video

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61171474A (ja) 1985-11-25 1986-08-02 Nippon Tokushu Noyaku Seizo Kk 置換フェニルスルホニルウレア誘導体及び除草剤
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6865289B1 (en) 2000-02-07 2005-03-08 Canon Kabushiki Kaisha Detection and removal of image occlusion errors
KR100912418B1 (ko) 2001-07-23 2009-08-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오스코픽 영상 처리 장치 및 방법
US7239399B2 (en) 2001-11-13 2007-07-03 Cyberoptics Corporation Pick and place machine with component placement inspection
EP2357839A3 (en) 2002-03-27 2012-02-29 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US7024054B2 (en) 2002-09-27 2006-04-04 Eastman Kodak Company Method and system for generating a foreground mask for a composite image
EP1796048A3 (en) 2002-10-15 2007-06-20 University Of Southern California Environnements virtuels accrus
EP1437898A1 (en) 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
EP2050067A1 (en) 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP5249221B2 (ja) 2006-09-04 2013-07-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像から奥行きマップを決定する方法、奥行きマップを決定する装置
TWI314832B (en) 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
WO2008140656A2 (en) 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
US7983487B2 (en) 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
EP2245591A2 (en) 2008-01-24 2010-11-03 Koninklijke Philips Electronics N.V. Method and image-processing device for hole filling
TWI471822B (zh) 2008-07-04 2015-02-01 Chunghwa Picture Tubes Ltd 影像處理方法及其電路
TW201005673A (en) 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
CN101374243B (zh) 2008-07-29 2010-06-23 宁波大学 一种应用于3dtv与ftv系统的深度图编码压缩方法
US8300089B2 (en) 2008-08-14 2012-10-30 Reald Inc. Stereoscopic depth mapping
US8811771B2 (en) 2008-08-22 2014-08-19 Adobe Systems Incorporated Content aware slideshows
JP5243612B2 (ja) * 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 中間画像合成およびマルチビューデータ信号抽出
WO2010050692A2 (en) 2008-10-28 2010-05-06 Samsung Electronics Co,. Ltd. Image processing method and apparatus
TWI423666B (zh) 2008-12-31 2014-01-11 Altek Corp Image elimination method for image sequence
ES2472444T3 (es) 2009-02-04 2014-07-01 Panasonic Corporation Medio de grabación, dispositivo de reproducción y circuito integrado
US9066075B2 (en) 2009-02-13 2015-06-23 Thomson Licensing Depth map coding to reduce rendered distortion
WO2010095443A1 (ja) 2009-02-19 2010-08-26 パナソニック株式会社 記録媒体、再生装置、及び集積回路
WO2010095440A1 (ja) 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、及び集積回路
CN102124748A (zh) 2009-02-27 2011-07-13 松下电器产业株式会社 记录介质、再生装置及集成电路
MX2010010662A (es) 2009-03-30 2010-11-30 Panasonic Corp Medio de grabacion, dispositivo de reproduccion y circuito integrado.
KR20140014346A (ko) 2009-05-19 2014-02-06 파나소닉 주식회사 기록매체, 재생장치, 부호화장치, 집적회로 및 재생출력장치
CN101566784B (zh) 2009-06-02 2011-07-27 华映光电股份有限公司 立体影像的景深数据建立方法及其系统
US8368696B2 (en) 2009-06-19 2013-02-05 Sharp Laboratories Of America, Inc. Temporal parallax induced display
RU2541128C2 (ru) 2009-07-10 2015-02-10 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения и интегральная схема
CN101630408A (zh) 2009-08-14 2010-01-20 清华大学 一种深度图的处理方法及装置
CN101640809B (zh) 2009-08-17 2010-11-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
JP4847631B2 (ja) 2009-09-25 2011-12-28 パナソニック株式会社 記録媒体、再生装置、及び集積回路
CN101771893B (zh) 2010-01-05 2012-08-08 浙江大学 一种基于视频序列背景建模的虚拟视点绘制方法
US8345930B2 (en) 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
WO2011139734A2 (en) 2010-04-27 2011-11-10 Sanjay Nichani Method for moving object detection using an image sensor and structured light
US8803992B2 (en) 2010-05-12 2014-08-12 Fuji Xerox Co., Ltd. Augmented reality navigation for repeat photography and difference extraction
EP2395763A3 (en) 2010-06-14 2012-02-29 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
KR20120011161A (ko) 2010-07-28 2012-02-07 삼성전자주식회사 3차원 표시를 위한 이미지를 변경하는 장치 및 방법
US9035939B2 (en) 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
EP2472880A1 (en) 2010-12-28 2012-07-04 ST-Ericsson SA Method and device for generating an image view for 3D display
KR101210625B1 (ko) 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
US20120206440A1 (en) 2011-02-14 2012-08-16 Dong Tian Method for Generating Virtual Images of Scenes Using Trellis Structures
WO2012121052A1 (ja) 2011-03-08 2012-09-13 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
TWI439961B (zh) * 2011-03-08 2014-06-01 Univ Nat Chi Nan Conversion algorithm for voids generated after converting 2D images
JP2012194751A (ja) 2011-03-16 2012-10-11 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム
TWI419078B (zh) 2011-03-25 2013-12-11 Univ Chung Hua 即時立體影像產生裝置與方法
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
JPWO2012147621A1 (ja) 2011-04-28 2014-07-28 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
CN102186095B (zh) 2011-05-03 2012-12-12 四川虹微技术有限公司 一种适用于深度图像绘制的匹配误差校正方法
US8655055B2 (en) 2011-05-04 2014-02-18 Texas Instruments Incorporated Method, system and computer program product for converting a 2D image into a 3D image
US20120280976A1 (en) 2011-05-05 2012-11-08 Himax Technologies Limited 3d image processing system and method
US9111389B2 (en) 2011-05-12 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Image generation apparatus and image generation method
CN102307307B (zh) 2011-05-19 2013-09-11 福州华映视讯有限公司 产生立体影片深度图的方法
TWI504232B (zh) 2011-06-22 2015-10-11 Realtek Semiconductor Corp 3d影像處理裝置
US9300946B2 (en) 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
CN112220438B (zh) 2011-08-12 2024-02-06 直观外科手术操作公司 外科手术器械中的图像捕获单元
CN102957923B (zh) 2011-08-24 2015-06-03 陈良基 立体影像深度图的校正系统及方法
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013062944A1 (en) 2011-10-26 2013-05-02 The Regents Of The University Of California Multi view synthesis method and display devices with spatial and inter-view consistency
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
WO2013068457A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for determining a measure for a distortion change in a synthesized view due to depth map modifications
CN102625127B (zh) 2012-03-24 2014-07-23 山东大学 一种适于3d电视虚拟视点生成的优化方法
CN104322060B (zh) 2012-03-28 2017-07-28 英特尔公司 用于深度图的低等待时间变形的系统、方法和装置
EP2873241B1 (en) * 2012-07-10 2016-01-06 Telefonaktiebolaget LM Ericsson (PUBL) Methods and arrangements for supporting view synthesis
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
CN103220543B (zh) 2013-04-25 2015-03-04 同济大学 基于kinect的实时3d视频通信系统及其实现方法

Also Published As

Publication number Publication date
US9462251B2 (en) 2016-10-04
US20150189253A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
TW201528775A (zh) 景深圖校正方法及系統
KR102224716B1 (ko) 스테레오 소스 영상 보정 방법 및 장치
EP2477158B1 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
CN102113015A (zh) 使用修补技术进行图像校正
WO2016172385A1 (en) Methods for full parallax compressed light field synthesis utilizing depth information
US8994722B2 (en) Method for enhancing depth images of scenes using trellis structures
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
WO2012147329A1 (ja) 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体
JP2022174085A (ja) 場面の積層深度データを生成するための方法
JPWO2019107180A1 (ja) 符号化装置、符号化方法、復号装置、および復号方法
Reel et al. Joint texture-depth pixel inpainting of disocclusion holes in virtual view synthesis
US20120206440A1 (en) Method for Generating Virtual Images of Scenes Using Trellis Structures
KR102265109B1 (ko) 영상 처리 방법 및 장치
JP2014506768A (ja) 三次元シーンの深さデータの処理
KR20140001358A (ko) 차폐 영역 필터링 기반 영상 처리 방법
EP1815441B1 (en) Rendering images based on image segmentation
JP5931062B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
Liu et al. Hole-filling based on disparity map and inpainting for depth-image-based rendering
CN102547343B (zh) 立体图像处理方法、立体图像处理装置和显示装置
Paradiso et al. A novel interpolation method for 3D view synthesis
CN104767986A (zh) 景深图校正方法及系统
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
Wei et al. Iterative depth recovery for multi-view video synthesis from stereo videos