TWI602152B - 影像擷取裝置及其影像處理方法 - Google Patents

Description

影像擷取裝置及其影像處理方法

本發明是有關於一種影像擷取裝置及其影像處理方法，且特別是有關於一種藉由計算像素梯度值來據以混合影像的影像處理方法。

隨著光學技術的進步，可調整光圈、快門甚至可更換鏡頭的數位相機逐漸普及，數位相機的功能也趨於多樣化。數位相機除了要提供良好的成像品質之外，對焦技術的準確性與速度更是消費者在購買產品時會參考的因素。但以現有的光學系統而言，由於多個物體在立體場景中具有不同的遠近，故無法在單次拍攝影像的過程中取得完全清晰的全景深影像。亦即，受到鏡頭光學特性的限制，在使用數位相機取像時只能選擇其中一個深度來進行對焦，故在成像中處於其他深度的景物會較為模糊。

習知產生全景深影像的方法大多採用多種不同攝影條件進行拍攝所得的多張影像組合而成。藉由改變攝影條件中的一或多個參數進而對同一場景拍攝出不同的多張影像，再透過清晰度 判別方法來將這些影像組合成一張清晰的影像。採用上述多種不同攝影條件進行拍攝以合成全景深影像的技巧須仰賴固定的影像擷取裝置進行拍攝。一般而言，使用者常利用穩定的腳架來固定影像擷取裝置，以確保所擷取的影像之間無明顯的幾何扭曲。另外，在拍攝過程中，還須避免被攝場景中有任何物件的移動。

另一方面，在使用相機拍攝影像時，為了突顯所拍攝影像中的主題，一般會採用所謂散景(bokeh)的拍攝技巧。散景即表示在景深較淺的攝影成像中，落在景深以外的畫面會有逐漸產生鬆散模糊的效果。一般而言，相機鏡頭所能製造出的散景效果有限。若要獲得較佳的散景效果，通常需要同時滿足下列幾項重要的條件：大光圈、長焦距。換言之，為了達到散景效果需倚賴大孔徑鏡頭來加強遠距離物件的模糊化，而讓清楚成像的主題得以從背景中突顯出來。然而，大孔徑鏡頭的體積龐大且價格昂貴，並非一般消費型相機所能配備。

總而言之，習知產生全景深或是產生散景影像的方法都易導致處理後的影像產生景深不連續或是不夠自然的問題。此外，對於拍攝影像上的操作限制更是讓使用者感到不便，像是其平均總拍攝時間相當長或繁複的過程，甚至導致最終的結果影像無法令人感到滿意。

有鑑於此，本發明提供一種影像擷取裝置及其影像處理 方法，可藉由不同焦距值所拍攝的影像來判斷出影像中的主體，進而產生主體清晰且散景效果自然的影像。另一方面，本發明之影像處理方法也可藉由不同焦距值所拍攝的影像來避免產生全景深影像時的鬼影問題。

本發明提出一種影像處理方法，適用於影像擷取裝置，此影像處理方法包括下列步驟。以第一焦距擷取一第一影像，並以第二焦距擷取第二影像，其中第一焦距對焦於至少一主體。對第二影像進行幾何校正程序，產生位移校正後的第二影像。對第一影像之每一像素點執行梯度運算以產生多個第一梯度值，以及對位移校正後的第二影像之每一像素點執行梯度運算以產生多個第二梯度值。比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，並根據這些第一像素比較結果產生第一參數地圖。依據第一參數地圖與第一影像產生合成影像，並至少根據合成影像產生輸出影像。

在本發明的一實施例中，上述的影像處理方法，其中至少根據合成影像產生輸出影像的步驟包括：以第三焦距擷取第三影像。對第三影像進行幾何校正程序，產生位移校正後的第三影像。對合成影像之每一像素點執行梯度運算以產生多個第三梯度值，以及對位移校正後的第三影像之每一像素點執行梯度運算以產生多個第四梯度值。比較各第三梯度值與相對應的各第四梯度值以產生多個第二像素比較結果，並根據這些第二像素比較結果產生第二參數地圖。依據第二參數地圖，混合位移校正後的第三 影像與合成影像而產生輸出影像。

在本發明的一實施例中，上述的影像處理方法，其中對第二影像進行幾何校正程序，產生位移校正後的第二影像的步驟包括：對第一影像與第二影像進行移動量估測，藉以計算單應性(homography matrix)矩陣。依據單應性矩陣對第二影像進行幾何仿射轉換(affine transformation)，以獲得位移校正後的第二影像。

在本發明的一實施例中，上述的影像處理方法，其中比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，並根據這些第一像素比較結果產生參數地圖的步驟包括：將這些第二梯度值除以相對應的第一梯度值，產生多個梯度比較值。依據這些梯度比較值產生多個參數值，並將這些參數值記錄為參數地圖。

在本發明的一實施例中，上述的影像處理方法，其中依據多個梯度比較值產生多個參數值的步驟包括：判斷這些梯度比較值是否大於第一梯度臨界值。若梯度比較值大於第一梯度臨界值，設定梯度比較值所對應的參數值為第一數值。

在本發明的一實施例中，上述的影像處理方法，其中依據這些梯度比較值產生多個參數值的步驟包括：若梯度比較值並無大於第一梯度臨界值，判斷梯度比較值是否大於第二梯度臨界值。若梯度比較值大於第二梯度臨界值，設定梯度比較值所對應的參數值為第二數值。若梯度比較值並無大於第二梯度臨界值，設定梯度比較值所對應的參數值設定為第三數值，其中，第一梯 度臨界值大於第二梯度臨界值。

在本發明的一實施例中，上述的影像處理方法，其中至少依據第一參數地圖與第一影像產生合成影像的步驟包括：對第一影像進行模糊化程序，產生模糊影像。根據第一參考地圖混合第一影像與模糊影像以產生主體清晰影像。

在本發明的一實施例中，上述的影像處理方法，其中根據第一參考地圖混合第一影像與模糊影像以產生主體清晰影像的步驟包括：判斷參數值是否大於第一混合臨界值。若參數值大於第一混合臨界值，取參數值所對應的模糊影像的像素點作為主體清晰影像的像素點。若參數值並無大於第一混合臨界值，判斷參數值是否大於第二混合臨界值。若參數值大於第二混合臨界值，依據參數值計算出對應的主體清晰影像的像素點。若參數值並無大於第二混合臨界值，取參數值所對應的第一影像的像素點作為主體清晰影像的像素點，其中，第一混合臨界值大於第二混合臨界值。

在本發明的一實施例中，上述的影像處理方法，其中至少依據第一參數地圖與第一影像產生合成影像的步驟包括：依據第一影像與第二影像中各像素點的像素值計算出各像素點所對應的多個絕對差值和(Sum of Absolute Differences)，並依據這些絕對差值和調整第一參數地圖中的參數值。根據調整後的第一參考地圖，混合第一影像與位移校正後的第二影像以產生全景深影像。

在本發明的一實施例中，上述的影像處理方法，其中依 據第一影像與第二影像中各像素點的像素值計算出各像素點所對應的絕對差值和，並依據絕對差值和調整第一參數地圖中的參數值的步驟包括：當絕對差值和大於移動臨界值，依據絕對差值和決定各參數值的權重因子，並利用權重因子調整參數值，其中各參數值隨著對應的絕對差值和的上升而下降。

在本發明的一實施例中，上述的影像處理方法，其中根據經由權重因子調整後的第一參考地圖，混合第一影像與位移校正後的第二影像以產生全景深影像的步驟包括：判斷參數值是否大於第一混合臨界值。若參數值大於第一混合臨界值，取參數值所對應的位移校正後的第二影像的像素點作為全景深影像的像素點。若參數值並無大於第一混合臨界值，判斷參數值是否大於第二混合臨界值。若參數值大於第二混合臨界值，依據參數值計算出對應的全景深影像的像素點。若參數值並無大於第二混合臨界值，取參數值所對應的第一影像的像素點作為全景深影像的像素點，其中第一混合臨界值大於第二混合臨界值。

從另一觀點來看，本發明提出一種影像擷取裝置，此影像擷取裝置包括影像擷取模組、位移校正模組、梯度計算模組、地圖產生模組以及影像合成模組。影像擷取模組以第一焦距擷取第一影像，並以第二焦距擷取第二影像，其中第一焦距對焦於至少一主體。位移校正模組對第二影像進行幾何校正程序，產生位移校正後的第二影像。梯度計算模組對第一影像之每一像素點執行梯度運算以產生多個第一梯度值，以及對位移校正後的第二影 像之每一像素點執行度運算以產生多個第二梯度值。地圖產生模組比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，並根據第一像素比較結果產生第一參數地圖。影像合成模組依據第一參數地圖與第一影像產生合成影像，並至少根據合成影像產生輸出影像。

基於上述，本發明藉由焦距不同會造成影像不同之特性，對同一場景以不同焦距進行拍攝，並且比較影像間各個像素點的梯度差異而產生參數地圖。藉由參數地圖的資訊，可產生清晰的全景深影像或主體清晰背景模糊的散景影像，達到良好的全景深效果或散景效果。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100、400、800‧‧‧影像擷取裝置

110、410、810‧‧‧影像擷取模組

120、420、820‧‧‧影像校正模組

130、430、830‧‧‧梯度計算模組

140、440、840‧‧‧地圖產生模組

150、450、850‧‧‧影像合成模組

460‧‧‧影像模糊模組

860‧‧‧地圖調整模組

Img1、Img2、Img3、Img_b、Img_F、Img1_blur、Img2_cal‧‧‧影像

G1、G2‧‧‧梯度值

bokeh_map‧‧‧散景地圖

map、allin_map‧‧‧參數地圖

S210~S250、S510~S560、S610~S625、S710~S750‧‧‧步驟

圖1是依照本發明一實施例所繪示之影像擷取裝置的功能方塊示意圖。

圖2是依照本發明一實施例所繪示之影像處理方法流程圖。

圖3為依照本發明另一實施例所繪示之影像處理方法的示意圖。

圖4是依照本發明又一實施例所繪示之影像擷取裝置的方塊圖。

圖5是依照本發明又一實施例所繪示之影像處理方法流程圖。

圖6是依照本發明又一實施例所繪示之圖5中步驟S550的詳細流程圖。

圖7是依照本發明又一實施例所繪示之圖5中步驟S560的詳細流程圖。

圖8是依照本發明之再一實施例所繪示之影像擷取裝置的方塊圖。

圖9A是依照本發明之再一實施例所繪示之像素區塊的示意圖。

圖9B是依照本發明再一實施例所繪示之絕對差值和與權重因子的關係示意圖。

本發明提出一種藉由利用不同焦距值所拍攝的多張影像來產生散景影像以及全景深影像的方法。先對焦於欲拍攝之至少一主體進行並進行拍攝，接著利用另一焦距對同一場景進行拍攝。藉由比較兩張影像的像素梯度來產生參數地圖，可據以判斷出影像中的主體部分，進而產生具有散景效果的影像。另一方面，藉由比較至少兩張影像的像素梯度而產生作為混合影像之依據的參數地圖，進而產生全景深影像。為了使本發明之內容更為明瞭，以下列舉實施例作為本發明確實能夠據以實施的範例。

圖1是依照本發明一實施例所繪示之影像擷取裝置的功能方塊示意圖。請參照圖1，本實施例的影像擷取裝置100例如是數位相機、單眼相機、數位攝影機或是其他具有影像擷取功能的智慧型手機、平板電腦、頭戴顯示器等等，不限於上述。影像擷取裝置100包括影像擷取模組110、影像校正模組120、梯度計算模組130、地圖產生模組140以及影像合成模組150。

影像擷取模組110包括變焦鏡頭以及感光元件。感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，影像擷取模組110還可包括光圈等，在此皆不設限。影像擷取模組110可依據不同的焦距值來擷取不同的影像。

另一方面，影像校正模組120、梯度計算模組130、地圖產生模組140以及影像合成模組150可由軟體、硬體或其組合實作而得，在此不加以限制。軟體例如是原始碼、作業系統、應用軟體或驅動程式等。硬體例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)。

圖2是依照本發明一實施例所繪示之影像處理方法流程圖。本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各模組說明本實施例的詳細步驟：首先，於步驟S210中，影像擷取模組110以第一焦距擷 取第一影像，並以第二焦距擷取第二影像，其中第一焦距對焦於至少一主體。也就是說，影像擷取模組110利用兩種不同的焦距長度拍攝出兩張影像。其中，在相同條件下，以不同焦距所拍攝的畫面結果會有所不同。具體來說，就對焦於主體的第一影像而言，其影像中的主體部份是最為清晰的。

於步驟S220中，影像校正模組120對第二影像進行幾何校正程序，產生位移校正後的第二影像。由於第一影像與第二影像係由使用者對同一場景連續拍攝所得，期間由於相機的晃動或移動，可能會拍攝出不同角度的影像，即第一影像與第二影像會有位移的產生。因此影像校正模組120對第二影像進行幾何校正程序，換言之，幾何校正程序可使位移校正後的第二影像之起始像素點位置相同於第一影像之起始像素點位置。

於步驟S230中，梯度計算模組130對第一影像之每一像素點執行一梯度運算以產生多個第一梯度值，以及對位移校正後的第二影像之每一像素點執行梯度運算以產生多個第二梯度值。也就是說，第一影像中的各個像素點具有其第一梯度值，而位移校正後的第二影像中的各個像素點具有其第二梯度值。

於步驟S240中，地圖產生模組140比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，並根據第一像素比較結果產生第一參數地圖。簡單來說，地圖產生模組140會將位置相同的像素點的梯度值進行比較，對於每個像素點位置而言都會有一個像素比較結果。

於步驟S250中，影像合成模組150依據第一參數地圖與第一影像產生合成影像，並至少根據合成影像產生輸出影像。詳細來說，在取得參數地圖之後，影像擷取裝置100可以依據參數地圖混合第一影像以及本身經過其他影像處理後的影像，據以產生合成影像。此外，影像擷取裝置100也可以依據參數地圖混合第一影像與第二影像，據以產生合成影像。

值得一提的是，上述實施方式雖然是以兩種焦距所拍攝出來的兩張影像為例，但本發明並不限制於此。本發明可視實際應用狀況而定，延伸為利用多個焦距所拍攝出來的多張影像來取得最終的輸出影像。舉例來說，由於焦距不同的影像各分別具有不同的清晰影像部份，因此可藉由多張不同焦距的影像而取得清晰的全景深影像。另外，本發明之影像處理方法可藉由對焦於主體、背景以及前景的三張影像，進而產生出僅有主體清晰的輸出影像。以下將列舉另一實施例詳細說明之。

圖3為依照本發明另一實施例所繪示之影像處理方法的示意圖。在本實施例中，影像擷取模組110利用第一焦距與第二焦距擷取第一影像Img1與第二影像Img2。之後，如同上述實施例之說明，透過影像校正模組120、梯度計算模組130、地圖產生模組、影像合成模組150的處理，可據以產生合成影像Img_b，於此不再贅述。需注意的是，上述實施例中影像合成模組150可將合成影像Img_b作為最後的輸出影像，但在本實施例中，合成影像Img_b將進一步與另一影像進行合成而產生最終的輸出影像 Img_F。詳細來說，如圖3所示，影像擷取模組110將再以第三焦距擷取第三影像Img3。影像校正模組120對第三影像Img3進行幾何校正程序，產生位移校正後的第三影像Img3。

之後，梯度計算模組對合成影像Img_b之每一像素點執行梯度運算以產生多個第三梯度值，以及對位移校正後的第三影Img3像之每一像素點執行該梯度運算以產生多個第四梯度值。地圖產生模組140比較各第三梯度值與相對應的各第四梯度值以產生多個第二像素比較結果，並根據第二像素比較結果產生第二參數地圖。於此的第二參數地圖是透過計算合成影像Img_b與第三影像Img3的梯度值而取得，其內部的參數值將與前述之利用第一影像Img1與第二影像Img2所計算出來的參數地圖不同。影像合成模組150依據第二參數地圖，混合位移校正後的第三影像Img3與該合成影像Img_b產生輸出影像Img_F。基於上述可知，本發明並不限制用以混合出最後輸出影像的影像數目，可視實際應用需求而定。

然而，本發明的實現方式不限於上述說明，可以對於實際的需求而酌予變更上述實施例的內容。例如，在本發明之再一實施例中，影像擷取裝置還可以更包括影像模糊模組，以製作出具有散景效果的主體清晰影像。另外，在本發明之又一實施例中，影像擷取裝置還可以更包括地圖調整模組，以製作出具有良好全景深效果的全景深影像。為了進一步說明本發明之梯度計算模組、地圖產生模組以及影像合成模組如何依據不同焦距的影像而 合成出散景影像以及全景深影像，以下將分別列舉實施例詳細說明。

圖4是依照本發明之又一實施例所繪示之影像擷取裝置的方塊圖。影像擷取裝置400包括影像擷取模組410、影像校正模組420、梯度計算模組430、地圖產收模組440、影像合成模組450以及影像模糊模組460。其中，影像擷取模組410、影像校正模組420、梯度計算模組430、地圖產收模組440以及影像合成模組450相似或類似於圖1所示的影像擷取模組110、影像校正模組120、梯度計算模組130、地圖產收模組140以及影像合成模組150，於此不再贅述。圖4所示實施例可以參照圖1至圖3的相關說明而類推之。

需特別說明的是，與圖1所示之影像擷取裝置100不同的是，影像擷取裝置400更包括影像模糊模組460。其中，影像模糊模組460例如是採用高斯濾波器(Gaussian filter)、雙向濾波器(Bilateral filter)或平均濾波器(Average filter)等，用以對第一影像Img1進行模糊化程序，本發明對此不限制。另外，在本實施例中，假設第二焦距為對焦於背景的焦距。

圖5是依照本發明一實施例所繪示之影像處理方法流程圖。本實施例的方法適用於圖4的影像擷取裝置400，以下即搭配影像擷取裝置400中的各模組說明本實施例的詳細步驟：首先於步驟S510中，影像擷取模組410以第一焦距擷取第一影像Img1，並以第二焦距擷取第二影像Img2，其中第一焦距 對焦於至少一主體，第二焦距對焦於背景。對焦於主體所拍攝出來的第一影像Img1中，主體較為清晰，背景較為模糊。相較於第一影像Img1，對焦於背景所拍攝出來的第二影像Img2中，背景較為清晰。接著，如步驟S520所述，影像模糊模組420對第一影像Img1進行模糊化程序，以產生模糊影像Img1_blur。

於步驟S530中，影像校正模組430對第二影像Img2進行幾何校正程序，產生位移校正後的第二影像Img2_cal。詳言之，影像校正模組430可對第一影像Img1與第二影像Img2進行移動量估測，藉以計算出單應性矩陣(homography matrix)。接著，影像校正模組430依據此單應性矩陣對第二影像Img2進行幾何仿射轉換(affine transformation)，以獲得轉換後的位移校正後的第二影像Img2_cal。據此，第一影像Img1中主體區域的起始像素點位置會與位移校正後的第二影像Img2_cal主體區域的起始像素點位置相同。

然後，於步驟S540中，梯度計算模組440對第一影像Img1之每一像素點執行梯度運算以產生多個第一梯度值G1，以及對位移校正後的第二影像Img2_cal之每一像素點執行梯度運算以產生多個第二梯度值G2。其中，梯度運算可以是水平方向梯度值運算、垂直方向梯度值運算或二對角線方向梯度值運算，本發明對此不限制。也就是說，第一梯度值與第二梯度值對應於其梯度運算的方式可以是水平方向梯度值、垂直方向梯度值或二對角線方向梯度值。其中，水平方向梯度值為此像素點與二相鄰水平方向像素 點之灰階差絕對值之和。垂直方向梯度值為此像素點與二相鄰垂直方向像素點之灰階差絕對值之和。對角線方向梯度值包括此像素點與對角線方向像素點之灰階差絕對值之和。

需說明的是，在本實施例中，由於第一影像Img1是對焦於主體所拍攝的影像，所以相較於位移校正影像Img2_cal而言，第一影像Img1中的主體會較為清晰。也就是說，第一影像Img1之焦距內主體區域的像素點的梯度值會大於位移校正後的第二影像Img2_cal之相同位置的像素點的梯度值。反之，由於位移校正後的第二影像Img2_cal是對焦於背景所產生的影像，所以第一影像Img1之背景區域的像素點的梯度值會小於位移校正影像Img2_cal之相同位置的像素點的梯度值。

基此，於步驟S550中，地圖產生模組440比較各第一梯度值G1與相對應的各第二梯度值G2以產生多個比較結果，並根據比較結果產生參數地圖。需說明的是，在本實施例中，參數地圖稱之為散景地圖bokeh_map。詳細來說，地圖產生模組440將比較第一影像Img1與位移校正後的第二影像Img2_cal中各個相同位置的像素點的梯度值。再者，基於上述第一影像Img1與位移校正後的第二影像Img2_cal中各像素點的梯度值的關係，可藉由比較結果判別出第一影像Img1中各個像素點是位於主體區域或背景區域。地圖產生模組440藉由第一影像Img1與位移校正後的第二影像Img2_cal中各像素點的梯度值的比較結果，可產生出散景地圖bokeh_map。換句話說，散景地圖bokeh_map帶有第一影 像Img1與位移校正後的第二影像Img2_cal中各位置相同的像素點之梯度值的比較結果資訊。

最後，於步驟S560中，影像合成模組450根據散景地圖bokeh_map混合第一影像Img1與模糊影像Img1_blur以產生主體清晰影像Img1_bokeh。由此可見，第二影像Img2是用以產生散景地圖bokeh_map，影像合成模組450是根據散景地圖bokeh_map混合第一影像Img1與模糊影像Img1_blur來產生具有散景效果的主體清晰影像Img1_bokeh。如此一來，就可產生保持被攝主體區域之清晰而模糊其他背景區域之散景影像。

另外，以下將更進一步詳細說明地圖產生模組440如何根據比較各第一梯度值G1與相對應的各第二梯度值G2的結果來產生散景地圖bokeh_map。圖6是根據本發明實施例所繪示圖5中步驟S550的詳細流程圖。請同時參照圖4與圖6，在步驟S610中，地圖產生模組440將第二梯度值G2除以相對應的第一梯度值G1，產生梯度比較值。在步驟S620中，地圖產生模組440依據梯度比較值產生多個參數值，並將參數值記錄為散景地圖bokeh_map。舉例來說，若第一影像Img1與位移校正影像Img2_cal分別具有1024*768個像素點，在經由影像處理模組140運算後將產生1024*768個梯度比較值，則散景地圖bokeh_map將包含1024*768個參數值。在此，步驟S620可以分為步驟S621至步驟S625實施之。

地圖產生模組440判斷各個位置的梯度比較值是否大於 第一梯度臨界值(步驟S621)。若梯度比較值大於第一梯度臨界值，地圖產生模組440設定對應於此梯度比較值的參數值為第一數值(步驟S622)，於此稱第一數值為散景背景值。換言之，若梯度比較值大於第一梯度臨界值，代表此位置之像素點位於背景的區域。若梯度比較值並沒有大於第一梯度臨界值，地圖產生模組440判斷梯度比較值是否大於第二梯度臨界值(步驟S623)。若梯度比較值大於第二梯度臨界值，地圖產生模組440設定對應於此梯度比較值的參數值為第二數值(步驟S324)，在此稱第二數值為散景邊緣值。簡單來說，若梯度比較值介於第二梯度臨界值與第一梯度臨界值之間，代表此位置的像素點位於主體連接背景之間的邊緣區域。若梯度比較值沒有大於第二梯度臨界值，地圖產生模組440設定對應於此梯度比較值的參數值設定為第三數值(步驟S625)，在此稱第三數值為散景主體值，即此位置之像素點位於主體的區域。需注意的是，散景邊緣值將介於散景背景值與散景主體值之間，且第一梯度臨界值大於第二梯度臨界值，而第一梯度臨界值與是第二梯度臨界值依據實際情況而適當設定，本發明對此不限制。

舉例來說，假設地圖產生模組440設定參數值介於0與255之間，則影像處理模組140可利用下列程式碼(1)來產生散景地圖bokeh_map： 其中，在此示範性實施例中，散景背景值為255，散景主體值為0，而散景邊緣值可透過第一梯度臨界、第二梯度臨界值以及第二梯度值與第一梯度值之間的比例計算而得。Gra2為第二梯度值，Gra1為第一梯度值，TH1為第一梯度臨界值，TH2為第二梯度臨界值，Map為散景地圖bokeh_map中的多個參數值。

此外，為了詳細說明影像合成模組450如何利用散景地圖bokeh_map來產生主體清晰影像Img1_bokeh，以下將詳細說明之。圖7是根據本發明範例實施例所繪示圖5中步驟S560的詳細流程圖，請同時參照圖4與圖7。需說明的是，第一影像Img1中的各位置的像素點可分別對應至散景地圖bokeh_map中的各個參數值。在步驟S710中，影像合成模組450判斷各個參數值是否大於第一混合臨界值。若參數值大於第一混合臨界值，在步驟S720中，影像合成模組450取這些參數值所對應的模糊影像Img1_blur的像素點作為主體清晰影像Img1_bokeh中相同位置的像素點。即此些位置的像素點被判別為背景區域，因此取模糊影像Img1_blur的像素點來產生背景模糊的影像。

若參數值沒有大於第一混合臨界值，在步驟S730中，影 像混合模組150判斷參數值是否大於第二混合臨界值。若參數值大於第二混合臨界值，在步驟S740中，影像合成模組450依據參數值計算此參數值所對應的主體清晰影像Img1_bokeh的像素點。詳言之，這些介於第一混合臨界值與第二混合臨界值之間的參數值所對應的像素點位置被判別是位於背景區域連接主體區域之間的邊緣區域。因此可藉由合成第一影像Img1與模糊影像Img1_blur，來取得主體清晰影像Img1_bokeh中背景區域連接主體區域之間的邊緣區域的像素點。

若參數值沒有大於第二混合臨界值，在步驟S750中，影像合成模組450取參數值所對應的第一影像Img_1的像素點為主體清晰影像Img1_bokeh的像素點。也就是說，這些參數值所對應的位置被判別位於主體區域中，因此將取清晰的第一影像Img_1中主體區域的像素點作為主體清晰影像Img1_bokeh中的主體區域像素點。其中，第一混合臨界值大於第二混合臨界值。

舉例來說，假設影像合成模組450設定參數值介於0與255之間，影像合成模組450可利用下列程式碼(2)來產生主體清晰影像Img1_bokeh： 其中，在此示範性實施例中，Blend_TH1為第一混合臨界值，Blend_TH2為第二混合臨界值，Map為散景地圖bokeh_map中的多個參數值，LUT[]為查表函式。值得一提的是，邊緣區域的像素點可藉由權重的概念來計算取得。如上述示範性程式碼中的公式所示，將參數值作為合成權重w_bokeh，並藉由合成權重w_bokeh來合成出邊緣區域的像素點。也就是說，對於邊緣區域的像素點而言，將視其位置較靠近主體區域或模糊區域來決定其模糊的程度，如此一來就可以產生主體區域與背景區域連接自然的主體清晰影像Img1_bokeh，使散景影像中主體與背景之間的邊緣能較為柔和且自然。

在上述實施例中，以第二焦距值對焦於背景為例，因此可據以產生背景模糊而主體清晰的背景模糊影像。經由圖3的說明可知，本發明之影像處理方法可以藉由多張影像來獲得最後的輸出影像。基此，在其他實施例中，倘若影像擷取裝置以對焦於前景的第三焦距擷取另一影像。影像擷取裝置可以利用先前產生的背景模糊影像與對焦於前景的另一影像，經由與上述產生背景模糊影像相同的處理過程，進一步計算而產生前景與背景皆模糊而主體清晰的影像。

圖8是依照本發明之再一實施例所繪示之影像擷取裝置的方塊圖。請參照圖8，在本實施例中，影像擷取裝置800用以產生全景深的影像。影像擷取裝置800包括影像擷取模組810、影像校正模組820、梯度計算模組830、地圖產生模組840、影像合成 模組850以及地圖調整模組860。其中，影像擷取模組810、影像校正模組820、梯度計算模組830、地圖產收模組840以及影像合成模組850相似或類似於圖4所示的影像擷取模組410、影像校正模組420、梯度計算模組430、地圖產生模組440以及影像合成模組450，於此不再贅述。

需特別說明的是，與圖4所示之影像擷取裝置400不同的是，本實施例之與影像擷取裝置800不具有影像模糊模組但更包括地圖調整模組860。其中，地圖調整模組860用以調整地圖產生模組840所產生的參數地圖。在本實施例中，影像擷取模組810利用第一焦距擷取第一影像Img1，並以第二焦距擷取第二影像Img2，其中第一焦距對焦於至少一主體，第二焦距對焦於主體以外的區域。

接著，影像校正模組830對第二影像Img2進行幾何校正程序，產生位移校正後的第二影像Img2_cal。然後梯度計算模組840對第一影像Img1之每一像素點執行梯度運算以產生多個第一梯度值G1，以及對位移校正後的第二影像Img2_cal之每一像素點執行梯度運算以產生多個第二梯度值G2。接著，地圖產生模組840比較各第一梯度值G1與相對應的各第二梯度值G2以產生多個比較結果，並根據比較結果產生參數地圖map。關於影像校正模組830產生位移校正後的第二影像Img2_cal的步驟、梯度計算模組830執行梯度運算的步驟，以及地圖產生模組840產生參數地圖map的步驟與圖4所示之影像擷取模組400類似，可參照圖4與 圖5的說明而類推之。

一般來說，同一位置像素點於兩張影像上的梯度值會相異，也就是本實施例當中的第一梯度值G1與第二梯度值G2。另一方面，對同一位置的像素點而言，倘若該位置的像素點於第一影像中的梯度值較高(即G1大於G2)，通常代表該位置的像素點坐落於第一影像中較為清晰的區域(即第一焦距內的區域)。倘若該位置的像素點於第二影像中的梯度值較高(即G2大於G1)，通常代表該位置的像素點坐落於第二影像中較為清晰的區域(即第二焦距內的區域)。也就是說，地圖產生模組840也可以藉由程式碼(1)而取得參數地圖map，但本發明並不限制於此。

因此，在本實施例中，地圖產生模組440藉由第一影像Img1與位移校正後的第二影像Img2_cal中各像素點的梯度值的比較結果，可產生出參數地圖map。換句話說，參數地圖map帶有第一影像Img1與位移校正後的第二影像Img2_cal中各位置相同的像素點之梯度值的比較結果資訊。如此一來，影像擷取裝置800可以依據參數地圖map得知，某一位置上的像素點是位於第一影像Img1中第一焦距內的清晰部份或是位於第二影像Img2中第二焦距內的清晰部份。據此，影像合成模組850可據以從兩張影像中挑選出較為清晰的部份，以合成出清晰部份更多的輸出影像。

值得一提的是，在使用者對同一場景進行連續拍攝並擷取第一影像與第二影像的過程當中，由於拍攝上的時間差場景中，因此可能導致有個別物體在移動。影像校正模組820是將影 像做整體位移(或是相機位移)的校正，並不會對場景中的個別物體做校正，因此影像中若有個別移動的物體，會導致混合後的全景深影像出現鬼影現象。本實施例之地圖調整模組860即用以改善上述之鬼影現象。

於此，地圖調整模組860依據第一影像Img1與第二影像Img2中各像素點的像素值計算出各像素點所對應的多個絕對差值和(Sum of Absolute Differences)，並依據這些絕對差值和調整參數地圖map中的多個參數值。地圖調整模組860根據調整後的參考地圖map，混合第一影像Img1與位移校正後的第二影像Img2_cal以產生全景深影像。

詳細來說，首先在第一影像Img1中取得n×n像素區塊(n為正整數)。假設n為5，本實施例所取得的5×5像素區塊則如圖9A所示，其包括25個像素位置P₀₀~P₄₄。類似地，在位移校正後的第二影像Img2_cal中取得以像素位置為中心的n×n像素區塊。接著，計算第一影像Img1與位移校正後的第二影像Img2_cal個別之n×n像素區塊中每一像素之特定色彩空間分量的絕對差值和並找出其最大值作為代表。絕對差值合能反映Img1與位移校正後的第二影像Img2_cal在n×n像素區塊這個局部區域內的特性是否接近。在YCbCr色彩空間下，特定色彩空間分量包括亮度分量、藍色色度分量，以及紅色色度分量，然而本發明並不對色彩空間加以限定。基於YCbCr色彩空間下，本實施例例如是假設n=5並以下列公式來計算第一影像Img1與位移校正後的第二影像 Img2_cal之像素位置之間的絕對差值和SAD： SAD=max(max(SAD_Y,SAD_Cb),SAD_Cr)其中，i與j代表像素點的位置。如圖9A所示之範例，每一像素區塊包括25個像素位置P₀₀~P₄₄。而Y1_ij即為第一影像中像素點P_ij的亮度分量，Y2_ij即為第二影像中像素點P_ij的亮度分量。Cb1_ij即為第一影像中像素點P_ij的藍色色度分量，Cb2_ij即為第二影像中像素點P_ij的藍色色度分量。Cr1_ij即為第一影像中像素點P_ij的紅色色度分量，Cr2_ij即為第二影像中像素點P_ij的紅色色度分量。SAD_Y、SAD_Cb以及SAD_Cr則分別為各特定色彩空間分量上的絕對差值和。

基此，本發明之地圖調整模組860例如是利用上述計算公式而取得絕對差值和SAD。之後，地圖調整模組860將判斷絕對差值和SAD是否大於移動臨界值TH_SAD。若絕對差值和SAD沒有大於移動臨界值TH_SAD，代表此像素區塊沒有被攝物體移動的情況發生，並不需要調整此像素區塊對應於參數地圖中的參數值。倘若絕對差值和SAD大於移動臨界值TH_SAD，代表此像素區塊具有被攝物體移動現象，因此地圖調整模組860將依照絕對差值和SAD的大小來調整此像素區塊對應於參數地圖中的參數 值。舉例來說，地圖調整模組860可利用下列程式碼(3)來產生調整後的參數地圖allin_map：if(SAD>TH_SAD) Fac=LUT[SAD]； allin_map=map×Fac elseallin_map=map (3)

其中，Fac代表地圖調整模組8620用以調整參數地圖map的權重因子。由此可知，當絕對差值和SAD大於移動臨界值TH_SAD，地圖調整模組860依據絕對差值和SAD決定各參數值的權重因子Fac，並利用權重因子Fac調整參數地圖map中的參數值。其中，權重因子Fac隨著絕對差值和SAD的增加而下降。

圖9B繪示為依照本發明再一實施例的絕對差值和與權重因子的關係示意圖。如圖9B所示，當絕對差值和SAD大於移動臨界值TH_SAD，地圖調整模組860依據絕對差值和SAD決定各參數值的權重因子，並利用權重因子調整參數值。權重因子隨著絕對差值和SAD的增加而下降，也就是說，各參數值隨著對應的絕對差值和SAD的上升而下降。

之後，影像合成模組850可以依據調整後的參數地圖allin_map，混合第一影像Img1以及經過位移校正的第二影像Img2_cal，以產生不具有鬼影現象的全景深影像Img_AIF。其中，影像合成模組860依據調整後的參數地圖allin_map來產生全景深影像的步驟，與影像合成模組460依據散景地圖bokeh_map來產生散景影像的步驟相似，請參照圖7之相關說明類推之，不再贅 述。舉例來說，影像合成模組860也可藉由程式碼(4)而取得最終的全景深影像Img_AIF。

其中，在此示範性程式碼(4)中，假設參數值介於0與255之間，Blend_TH1為第一混合臨界值，Blend_TH2為第二混合臨界值，Map為調整後參數地圖allin_map中的多個參數值，LUT[]為查表函式。值得一提的是，邊緣區域的像素點可藉由權重的概念來計算取得。如上述示範性程式碼中的公式所示，將參數值作為合成權重w_AIF，並藉由合成權重w_AIF來合成出邊緣區域的像素點。

同樣的，經由圖3的說明可知，本發明之影像處理方法可以藉由多張影像來獲得最後的輸出影像。基此，在本實施例中，影像擷取裝置800可以利用多種不同的焦距而擷取多張影像，並利用多張焦距不同的影像來合成清晰的全景深影像。就實際的應用情況而言，可先針對場景進行分析，以進一步判斷出需要多少張不同焦距的影像來合成出整張影像都清晰的全景深影像。

綜上所述，本發明所提供之影像擷取裝置及其影像處理方法，藉由利用至少兩張焦距不同的影像來計算出用合成的參數地圖，並依據參數地圖來合成出主體清晰影像或全景深影像。其 中，本發明所提供之影像處理方法可讓一個以上的主體物件能夠清晰且背景模糊，以凸顯影像中一個以上的主體物件。除此之外，藉由本發明可使影像中被攝主體與背景之間的連接邊緣柔和且自然，達到散景效果良好又自然的影像。另一方面，本發明還可藉由利用擷取自不同對焦距離的多張影像，來建立影像中每個地方都清楚對焦的全景深影像。另外，而在建立全景深影像時，亦能將影像中的雜訊一併消除，確保所建立的全景深影像不會喪失影像中的細節。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S250‧‧‧本發明一實施例之影像處理方法的步驟

Claims (16)

1. 一種影像處理方法，適用於一影像擷取裝置，該影像處理方法包括：以一第一焦距擷取一第一影像，並以一第二焦距擷取一第二影像，其中該第一焦距對焦於至少一主體；對該第二影像進行一幾何校正程序，產生位移校正後的該第二影像；對該第一影像之每一像素點執行一梯度運算以產生多個第一梯度值，以及對位移校正後的該第二影像之每一像素點執行該梯度運算以產生多個第二梯度值；比較各該第一梯度值與相對應的各該第二梯度值以產生多個第一像素比較結果，並根據該些第一像素比較結果產生一第一參數地圖；以及依據該第一參數地圖與該第一影像產生一合成影像，並至少根據該合成影像產生一輸出影像。
2. 如申請專利範圍第1項所述之影像處理方法，其中至少根據該合成影像產生該輸出影像的步驟包括：以一第三焦距擷取一第三影像；對該第三影像進行該幾何校正程序，產生位移校正後的該第三影像；對該合成影像之每一像素點執行該梯度運算以產生多個第三梯度值，以及對位移校正後的該第三影像之每一像素點執行該梯 度運算以產生多個第四梯度值；比較各該第三梯度值與相對應的各該第四梯度值以產生多個第二像素比較結果，並根據該些第二像素比較結果產生一第二參數地圖；以及依據該第二參數地圖，混合位移校正後的該第三影像與該合成影像產生該輸出影像。
3. 如申請專利範圍第1項所述之影像處理方法，其中對該第二影像進行該幾何校正程序，產生位移校正後的該第二影像的步驟包括：對該第一影像與該第二影像進行一移動量估測，藉以計算一單應性(homography matrix)矩陣；以及依據該單應性矩陣對該第二影像進行幾何仿射轉換(affine transformation)，以獲得位移校正後的該第二影像。
4. 如申請專利範圍第1項所述之影像處理方法，其中比較各該第一梯度值與相對應的各該第二梯度值以產生該些第一像素比較結果，並根據該些第一像素比較結果產生該參數地圖的步驟包括：將該些第二梯度值除以相對應的該些第一梯度值，產生多個梯度比較值；以及依據該些梯度比較值產生多個參數值，並將該些參數值記錄為該參數地圖。
5. 如申請專利範圍第4項所述之影像處理方法，其中依據該 些梯度比較值產生該些參數值的步驟包括：判斷該些梯度比較值是否大於一第一梯度臨界值；以及若該些梯度比較值大於該第一梯度臨界值，設定該些梯度比較值所對應的該些參數值為一第一數值。
6. 如申請專利範圍第5項所述之影像處理方法，其中依據該些梯度比較值產生該些參數值的步驟包括：若該些梯度比較值並無大於該第一梯度臨界值，判斷該些梯度比較值是否大於一第二梯度臨界值；若該些梯度比較值大於該第二梯度臨界值，設定該些梯度比較值所對應的該些參數值為一第二數值；以及若該些梯度比較值並無大於該第二梯度臨界值，設定該些梯度比較值所對應的該些參數值設定為一第三數值，其中，該第一梯度臨界值大於該第二梯度臨界值。
7. 如申請專利範圍第4項所述之影像處理方法，其中至少依據該第一參數地圖與該第一影像產生該合成影像的步驟包括：對該第一影像進行一模糊化程序，產生一模糊影像；以及根據該第一參考地圖混合該第一影像與該模糊影像以產生一主體清晰影像。
8. 如申請專利範圍第7項所述之影像處理方法，其中根據該第一參考地圖混合該第一影像與該模糊影像以產生該主體清晰影像的步驟包括：判斷該些參數值是否大於一第一混合臨界值； 若該些參數值大於該第一混合臨界值，取該些參數值所對應的該模糊影像的像素點作為該主體清晰影像的像素點；若該些參數值並無大於該第一混合臨界值，判斷該些參數值是否大於一第二混合臨界值；若該些參數值大於該第二混合臨界值，依據該些參數值計算出對應的該主體清晰影像的像素點；以及若該些參數值並無大於該第二混合臨界值，取該些參數值所對應的該第一影像的像素點作為該主體清晰影像的像素點，其中，該第一混合臨界值大於該第二混合臨界值。
9. 如申請專利範圍第4項所述之影像處理方法，其中至少依據該第一參數地圖與該第一影像產生該合成影像的步驟包括：依據該第一影像與該第二影像中各像素點的像素值計算出各像素點所對應的多個絕對差值和(Sum of Absolute Differences)，並依據該些絕對差值和調整該第一參數地圖中的該些參數值；以及根據調整後的該第一參考地圖，混合該第一影像與位移校正後的該第二影像以產生一全景深影像。
10. 如申請專利範圍第9項所述之影像處理方法，其中依據該第一影像與該第二影像中各像素點的像素值計算出各像素點所對應的該些絕對差值和，並依據該些絕對差值和調整該第一參數地圖中的該些參數值的步驟包括：當該些絕對差值和大於一移動臨界值，依據該些絕對差值和 決定各該參數值的一權重因子，並利用該權重因子調整該些參數值，其中各該參數值隨著對應的該絕對差值和的上升而下降。
11. 如申請專利範圍第9項所述之影像處理方法，其中根據經由該些權重因子調整後的該第一參考地圖，混合該第一影像與位移校正後的該第二影像以產生該全景深影像的步驟包括：判斷該些參數值是否大於一第一混合臨界值；若該些參數值大於該第一混合臨界值，取該些參數值所對應的位移校正後的該第二影像的像素點作為該全景深影像的像素點；若該些參數值並無大於該第一混合臨界值，判斷該些參數值是否大於一第二混合臨界值；若該些參數值大於該第二混合臨界值，依據該些參數值計算出對應的該全景深影像的像素點；以及若該些參數值並無大於該第二混合臨界值，取該些參數值所對應的該第一影像的像素點作為該全景深影像的像素點，其中，該第一混合臨界值大於該第二混合臨界值。
12. 一種影像擷取裝置，包括：一影像擷取模組，以一第一焦距擷取一第一影像，並以一第二焦距擷取一第二影像，其中該第一焦距對焦於至少一主體；一影像校正模組，對該第二影像進行一幾何校正程序，產生位移校正後的該第二影像；一梯度計算模組，對該第一影像之每一像素點執行一梯度運 算以產生多個第一梯度值，以及對位移校正後的該第二影像之每一像素點執行該梯度運算以產生多個第二梯度值；一地圖產生模組，比較各該第一梯度值與相對應的各該第二梯度值以產生多個第一像素比較結果，並根據該些第一像素比較結果產生一第一參數地圖；以及一影像合成模組，依據該第一參數地圖與該第一影像產生一合成影像，並至少根據該合成影像產生一輸出影像。
13. 如申請專利範圍第12項所述之影像擷取裝置，其中該影像擷取模組以一第三焦距擷取一第三影像，該影像校正模組對該第三影像進行該幾何校正程序而產生位移校正後的該第三影像，該梯度計算模組對該合成影像之每一像素點執行該梯度運算以產生多個第三梯度值，該梯度計算模組對位移校正後的該第三影像之每一像素點執行該梯度運算以產生多個第四梯度值，該地圖產生模組比較各該第三梯度值與相對應的各該第四梯度值以產生多個第二像素比較結果，該地圖產生模組並根據該些第二像素比較結果產生一第二參數地圖，該影像合成模組依據該第二參數地圖混合位移校正後的該第三影像與該合成影像而產生該輸出影像。
14. 如申請專利範圍第12項所述之影像擷取裝置，其中該地圖產生模組將該些第二梯度值除以相對應的該些第一梯度值，以產生多個梯度比較值，以及依據該些梯度比較值產生多個參數值，並將該些參數值記錄為該參數地圖。
15. 如申請專利範圍第12項所述之影像擷取裝置，更包括一 影像模糊模組，該影像模糊模組對該第一影像進行一模糊化程序而產生一模糊影像，該影像合成模組根據該第一參考地圖混合該第一影像與該模糊影像以產生一主體清晰影像。
16. 如申請專利範圍第12項所述之影像擷取裝置，更包括一地圖調整模組，該地圖調整模組依據該第一影像與該第二影像中各像素點的像素值計算出各像素點所對應的多個絕對差值和(Sum of Absolute Differences)，該地圖調整模組並依據該些絕對差值和調整該第一參數地圖中的該些參數值，該影像合成模組根據調整後的該第一參考地圖混合該第一影像與位移校正後的該第二影像以產生一全景深影像。