[go: up one dir, main page]

KR101990367B1 - 영상 융합 방법 - Google Patents

영상 융합 방법 Download PDF

Info

Publication number
KR101990367B1
KR101990367B1 KR1020140054928A KR20140054928A KR101990367B1 KR 101990367 B1 KR101990367 B1 KR 101990367B1 KR 1020140054928 A KR1020140054928 A KR 1020140054928A KR 20140054928 A KR20140054928 A KR 20140054928A KR 101990367 B1 KR101990367 B1 KR 101990367B1
Authority
KR
South Korea
Prior art keywords
image
pixel
luminance
determination result
thermal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140054928A
Other languages
English (en)
Other versions
KR20150128107A (ko
Inventor
이준성
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140054928A priority Critical patent/KR101990367B1/ko
Priority to US14/669,161 priority patent/US9508136B2/en
Priority to CN201510232880.XA priority patent/CN105894009B/zh
Publication of KR20150128107A publication Critical patent/KR20150128107A/ko
Application granted granted Critical
Publication of KR101990367B1 publication Critical patent/KR101990367B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

영상 융합 방법이 개시된다. 이 방법은 단계들 (a) 내지 (d)를 포함한다. 단계 (a)에서는, 열(熱) 영상의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제1 판정 결과를 구한다. 단계 (b)에서는, 가시(可視) 영상의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제2 판정 결과를 구한다. 단계 (c)에서는, 제1 및 제2 판정 결과들에 따라 열(熱) 영상의 각각의 화소의 휘도를 조정하여, 조정 결과의 열(熱) 영상을 구한다. 단계 (d)에서는, 가시(可視) 영상과 상기 조정 결과의 열(熱) 영상을 융합한다.

Description

영상 융합 방법{Method of image fusion}
본 발명은, 영상 융합 방법에 관한 것으로서, 보다 상세하게는, 피사체의 온도에 따른 열(熱) 영상과 상기 피사체의 가시(可視) 영상을 융합하는 영상 융합 방법에 관한 것이다.
가시(可視) 영상 카메라, 제어 장치 및 디스플레이 장치를 포함한 감시 시스템에 있어서, 디스플레이 장치에서의 동영상을 관찰하는 감시자는 야간 조도 범위에서 상대적으로 낮은 정보 인지력 및 상황 대응력을 가진다.
이에 따라, 최근에는, 피사체의 온도에 따른 열(熱) 영상을 취득하는 열(熱) 영상 카메라가 추가되어, 열(熱) 영상과 가시(可視) 영상이 융합된 결과의 영상이 디스플레이된다.
상기와 같은 영상 융합에 있어서, 기본적으로, 상대적으로 밝은 중요 영역에서 영상의 선명도가 낮아지는 문제점이 있다.
이에 따라, 종래에는, 다음과 같은 영상 융합 방법이 사용되었다.
첫째, 제1 열(熱) 영상의 화소들 중에서 가시(可視) 영상의 평균 휘도보다 높은 휘도를 가진 화소들의 휘도들을 더욱 상승시키고, 그렇지 않은 화소들의 휘도들을 더욱 하강시켜서, 제2 열(熱) 영상을 구한다.
그리고 둘째, 가시(可視) 영상과 상기 제2 열(熱) 영상을 융합한다.
상기와 같은 종래의 일률적인 영상 융합 방법에 의하면, 상대적으로 밝은 중요 영역의 영상의 선명도가 부분적으로 향상될 수 있다. 하지만, 상대적으로 밝은 중요 영역의 일부 영역에서 열(熱) 영상의 높은 휘도로 인하여 영상의 선명도가 떨어지는 문제점이 있다.
일본 공개특허 공보 제1997-233461호 (출원인 : Fujitsu Ltd., 발명의 명칭 : 적외선 화재 감시 장치)
본 발명의 실시예들은, 열(熱) 영상과 가시(可視) 영상을 융합하는 방법에 있어서, 상대적으로 밝은 중요 영역의 영상의 선명도를 전체적으로 향상시키고자 한다.
본 발명의 일 측면에 의하면, 피사체의 온도에 따른 열(熱) 영상과 상기 피사체의 가시(可視) 영상을 융합하는 영상 융합 방법에 있어서, 단계들 (a) 내지 (d)를 포함한다.
상기 단계 (a)에서는, 상기 열(熱) 영상의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제1 판정 결과를 구한다.
상기 단계 (b)에서는, 상기 가시(可視) 영상의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제2 판정 결과를 구한다.
상기 단계 (c)에서는, 상기 제1 및 제2 판정 결과들에 따라 상기 열(熱) 영상의 각각의 화소의 휘도를 조정하여, 조정 결과의 열(熱) 영상을 구한다.
상기 단계 (d)에서는, 상기 가시(可視) 영상과 상기 조정 결과의 열(熱) 영상을 융합한다.
본 발명의 일 측면의 상기 영상 융합 방법에 의하면, 상기 열(熱) 영상의 각각의 화소의 휘도에 따른 중요도, 및 상기 가시(可視) 영상의 각각의 화소의 휘도에 따른 중요도가 반영되어, 상기 열(熱) 영상의 각각의 화소의 휘도가 조정된다. 그리고, 상기 가시(可視) 영상과 상기 조정 결과의 열(熱) 영상이 융합된다.
이에 따라, 종래의 일률적인 영상 융합 방법의 문제점이 개선될 수 있다. 즉, 상대적으로 밝은 중요 영역의 일부 영역에서 열(熱) 영상의 높은 휘도로 인하여 영상의 선명도가 떨어지는 문제점이 개선될 수 있다.
따라서, 본 발명의 일 측면의 상기 영상 융합 방법에 의하면, 상대적으로 밝은 중요 영역의 영상의 선명도가 전체적으로 향상될 수 있다.
도 1은 본 발명의 실시예들의 영상 융합 방법을 수행하는 제어 장치를 보여주는 도면이다.
도 2는 도 1의 제어 장치에 의하여 수행되는 본 발명의 제1 실시예의 영상 융합 방법을 보여주는 흐름도이다.
도 3은 도 1의 제어 장치에 의하여 수행되는 본 발명의 제2 실시예의 영상 융합 방법을 보여주는 흐름도이다.
도 4는 도 3의 영상 융합 방법에 따라 생성되는 데이터의 흐름을 보여주는 도면이다.
도 5는 도 3의 단계 S307의 상세 흐름도이다.
도 6은 도 3의 단계 S303의 상세 흐름도이다.
도 7은 도 3의 단계 S305의 상세 흐름도이다.
도 8은 도 5의 단계 (d1)의 상세 흐름도이다.
도 9는 본 발명의 효과를 설명하기 위하여 촬영된 사진들을 보여주는 도면이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.
도 1은 본 발명의 실시예들의 영상 융합 방법을 수행하는 제어 장치(103)를 보여준다.
도 1을 참조하면, 열(熱) 영상 카메라(102)는 피사체의 온도에 따른 열(熱) 영상(Ithe)을 출력한다. 가시(可視) 영상 카메라(101)는 피사체의 가시(可視) 영상(Ivis)을 출력한다.
제어 장치(103)는, 가시(可視) 영상 카메라(101)로부터의 가시(可視) 영상(Ivis)과 열(熱) 영상 카메라(102)로부터의 열(熱) 영상(Ithe)을 융합한다.
제어 장치(103)는 융합 결과의 영상(Imix)을 디스플레이 장치(104)에게 제공한다. 물론, 제어 장치(103)는 가시(可視) 영상(Ivis), 열(熱) 영상(Ithe), 또는 융합 결과의 영상(Imix)을 기록기에 저장할 수도 있다.
이하, 제어 장치(103)에 의하여 수행되는 본 실시예들의 영상 융합 방법을 설명하기로 한다.
도 2는 도 1의 제어 장치(103)에 의하여 수행되는 본 발명의 제1 실시예의 영상 융합 방법을 보여준다. 도 1 및 2를 참조하여, 본 발명의 제1 실시예의 영상 융합 방법을 설명하면 다음과 같다.
제어 장치(103)는, 열(熱) 영상(Ithe)의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제1 판정 결과를 구한다(단계 S201).
다음에, 제어 장치(103)는, 가시(可視) 영상(Ivis)의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제2 판정 결과를 구한다(단계 S203).
다음에, 제어 장치(103)는, 상기 제1 및 제2 판정 결과들에 따라 열(熱) 영상(Ithe)의 각각의 화소의 휘도를 조정하여, 조정 결과의 열(熱) 영상을 구한다(단계 S205).
그리고, 제어 장치(103)는, 가시(可視) 영상(Ivis)과 상기 조정 결과의 열(熱) 영상을 융합한다(단계 S207).
상기와 같은 본 발명의 제1 실시예의 영상 융합 방법에 의하면, 열(熱) 영상(Ithe)의 각각의 화소의 휘도에 따른 중요도, 및 가시(可視) 영상(Ivis)의 각각의 화소의 휘도에 따른 중요도가 반영되어, 열(熱) 영상(Ithe)의 각각의 화소의 휘도가 조정된다. 그리고, 가시(可視) 영상(Ivis)과 상기 조정 결과의 열(熱) 영상이 융합된다.
이에 따라, 종래의 일률적인 영상 융합 방법의 문제점이 개선될 수 있다. 즉, 상대적으로 밝은 중요 영역의 일부 영역에서 열(熱) 영상(Ithe)의 높은 휘도로 인하여 영상의 선명도가 떨어지는 문제점이 개선될 수 있다. 따라서, 상대적으로 밝은 중요 영역의 영상의 선명도가 전체적으로 향상될 수 있다.
도 2의 제1 실시예는, 도 3 내지 9를 참조하여 설명될 제2 실시예에 의하여 충분히 이해될 수 있다. 왜냐하면, 도 2의 단계 S201은 도 3의 단계 S303과 대응되고, 도 2의 단계 S203은 도 3의 단계 S305와 대응되며, 도 2의 단계 S205는 도 3의 단계 S307과 대응되고, 도 2의 단계 S207은 도 3의 단계 S309와 대응되기 때문이다.
도 3은 도 1의 제어 장치(103)에 의하여 수행되는 본 발명의 제2 실시예의 영상 융합 방법을 보여준다. 도 4는 도 3의 영상 융합 방법에 따라 생성되는 데이터의 흐름을 보여준다. 도 4에서 참조 부호 403은 통계 데이터를 가리킨다.
도 1, 3 및 4를 참조하여, 본 발명의 제2 실시예의 영상 융합 방법을 설명하면 다음과 같다.
제어 장치(103)는, 제1 열(熱) 영상(Ithe)의 화소들 중에서 가시(可視) 영상(Ivis)의 평균 휘도(MCCD)보다 높은 휘도를 가진 화소들의 휘도들을 더욱 상승시키고, 그렇지 않은 화소들의 휘도들을 더욱 하강시켜서, 제2 열(熱) 영상을 구한다(단계 S301).
즉, 가시(可視) 영상(Ivis)의 데이터(401)가 사용되어 가시(可視) 영상(Ivis)의 평균 휘도(MCCD)가 구해지고, 가시(可視) 영상(Ivis)의 평균 휘도(MCCD)에 따라 제1 열(熱) 영상(Ithe)의 데이터(402)가 제2 열(熱) 영상의 데이터(404)로 변환한다.
다음에, 제어 장치(103)는, 제2 열(熱) 영상의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제1 판정 결과를 구한다(단계 S303). 즉, 제1 열(熱) 영상(Ithe)의 데이터(402)가 사용되어 제1 열(熱) 영상(Ithe)의 휘도의 평균(MIR) 및 표준 편차(SIR)가 구해지고, 이들(MIR, SIR)에 따라 제2 열(熱) 영상의 데이터(404)의 각각의 화소에 대한 제1 판정 결과의 변수(RIR)의 값이 구해진다. 이와 같은 단계 S303에 대해서는 도 6을 참조하여 보다 상세히 설명될 것이다.
다음에, 제어 장치(103)는, 가시(可視) 영상(Ivis)의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제2 판정 결과를 구한다(단계 S305). 즉, 가시(可視) 영상(Ivis)의 휘도의 평균(MCCD) 및 표준 편차(SCCD)에 따라, 가시(可視) 영상(Ivis)의 데이터(401)의 각각의 화소에 대한 제2 판정 결과의 변수들(RCCD, TCCD)의 값들이 구해진다. 이와 같은 단계 S305에 대해서는 도 7을 참조하여 보다 상세히 설명될 것이다.
다음에, 제어 장치(103)는, 상기 제1 및 제2 판정 결과들에 따라 제2 열(熱) 영상의 각각의 화소의 휘도를 조정하여, 조정 결과의 제3 열(熱) 영상을 구한다(단계 S307). 즉, 제1 판정 결과의 변수(RIR)의 값 및 제2 판정 결과의 변수들(RCCD, TCCD)의 값들에 따라 제2 열(熱) 영상의 데이터(404)의 각각의 화소에 대한 화소 계수(gIR)의 값들이 구해지고, 구해진 화소 계수(gIR)의 값들에 따라 제2 열(熱) 영상의 데이터(404)가 제3 열(熱) 영상(Ithe)의 데이터(409)로 변환한다. 이와 같은 단계 S307에 대해서는 도 5 및 8을 참조하여 보다 상세히 설명될 것이다.
다음에, 제어 장치(103)는, 가시(可視) 영상(Ivis)과 제3 열(熱) 영상을 융합한다(단계 S410). 즉, 가시(可視) 영상(Ivis)의 데이터(401)와 제3 열 영상의 데이터(409)가 융합되어, 최종적으로 사용될 융합 영상의 데이터(410)가 생성된다.
상기와 같은 본 발명의 제2 실시예의 영상 융합 방법에 의하면, 열(熱) 영상(Ithe)의 각각의 화소의 휘도에 따른 중요도, 및 가시(可視) 영상(Ivis)의 각각의 화소의 휘도에 따른 중요도가 반영되어, 제2 열(熱) 영상의 데이터(404)가 조정된다. 그리고, 가시(可視) 영상(Ivis)의 데이터(401)와 조정 결과의 제3 열(熱) 영상의 데이터(409)가 융합된다.
이에 따라, 종래의 일률적인 영상 융합 방법의 문제점이 개선될 수 있다. 즉, 상대적으로 밝은 중요 영역의 일부 영역에서 제2 열(熱) 영상의 높은 휘도로 인하여 영상의 선명도가 떨어지는 문제점이 개선될 수 있다. 따라서, 상대적으로 밝은 중요 영역의 영상의 선명도가 전체적으로 향상될 수 있다.
이하, 상기 본 발명의 제2 실시예에 대한 구성 및 효과가 보다 상세히 설명될 것이다.
도 5는 도 3의 단계 S307의 상세 흐름도이다. 도 1, 4 및 5를 참조하여, 도 3의 단계 S307을 상세히 설명하면 다음과 같다.
제어 장치(103)는, 상기 제1 및 제2 판정 결과들(RIR, RCCD, 및 TCCD의 값들)에 따라, 상기 제2 열(熱) 영상의 각각의 화소에 상응하는 각각의 화소 계수(gIR)를 구한다(단계 (d1)). 이 단계 (d1)에 대해서는 도 8을 참조하여 상세히 설명될 것이다.
다음에, 제어 장치(103)는, 상기 각각의 화소 계수(gIR)를 상기 각각의 화소의 휘도에 곱하고, 곱한 결과의 휘도들을 상기 제3 열(熱) 영상의 화소들의 휘도들로서 설정한다(단계 (d2)). 즉, 제2 열(熱) 영상에서의 어느 한 화소의 휘도가 xIRt, 그리고 상기 어느 한 화소에 상응하는 상기 화소 계수가 gIR이면, 상기 제3 열(熱) 영상에서의 상기 어느 한 화소의 휘도는
Figure 112014043378330-pat00001
이다.
이 경우, 상기 도 3의 단계 S309에 있어서, 가시(可視) 영상에서의 상기 어느 한 화소의 휘도가 xCCD이면, 상기 어느 한 화소의 융합 결과의 휘도 xF는 아래의 수학식 1에 의하여 구해진다.
Figure 112014043378330-pat00002
도 6은 도 3의 단계 S303의 상세 흐름도이다. 도 1, 4 및 6을 참조하여, 도 3의 단계 S303을 상세히 설명하면 다음과 같다.
제어 장치(103)는, 제1 열(熱) 영상(Ithe)에서 휘도의 평균(MIR)과 표준 편차(SIR)가 합산된 결과인 제1 기준 값(MIR+SIR)을 설정한다(단계 (b1)).
다음에 제어 장치(103)는, 제2 열(熱) 영상의 화소들 중에서 상기 제1 기준 값(MIR+SIR)보다 큰 휘도를 가진 화소들에게 상기 제1 판정 결과의 변수(RIR)의 값으로서 이진수 "1"을 부여하고, 그렇지 않은 화소들에게 상기 제1 판정 결과의 변수(RIR)의 값으로서 이진수 "0"을 부여한다(단계 (b2)).
도 7은 도 3의 단계 S305의 상세 흐름도이다. 도 1, 4 및 7을 참조하여, 도 3의 단계 S305를 상세히 설명하면 다음과 같다.
제어 장치(103)는, 가시(可視) 영상(Ivis)에서, 휘도의 평균(MCCD)에서 표준 편차(SCCD)가 감산된 결과인 제2 기준 값(MCCD-SCCD)을 설정한다(단계 (c1)).
다음에, 제어 장치(103)는, 가시(可視) 영상(Ivis)의 상한 휘도로서 제3 기준 값(PTHR, 도시되지 않음)을 설정한다(단계 (c2)).
다음에, 제어 장치(103)는, 가시(可視) 영상(Ivis)의 화소들 중에서 상기 제2 기준 값(MCCD-SCCD)보다 큰 휘도를 가진 화소들에게 상기 제2 판정 결과의 제1 변수(RCCD)의 값으로서 이진수 "1"을 부여하고, 그렇지 않은 화소들에게 상기 제2 판정 결과의 제1 변수(RCCD)의 값으로서 이진수 "0"을 부여한다(단계 (c3)).
그리고, 제어 장치(103)는, 가시(可視) 영상(Ivis)의 화소들 중에서 상기 제3 기준 값(PTHR, 도시되지 않음)보다 큰 휘도를 가진 화소들에게 상기 제2 판정 결과의 제2 변수(TCCD)의 값으로서 이진수 "1"을 부여하고, 그렇지 않은 화소들에게 상기 제2 판정 결과의 제2 변수(TCCD)의 값으로서 이진수 "0"을 부여한다(단계 (c4)).
도 8은 도 5의 단계 (d1)의 상세 흐름도이다. 도 1, 4 및 8을 참조하여, 도 5의 단계 (d1)을 상세히 설명하면 다음과 같다.
제어 장치(103)는, 상기 제1 판정 결과의 변수(RIR)의 값으로서 이진수 "1", 상기 제2 판정 결과의 제1 변수(RCCD)의 값으로서 이진수 "0", 그리고 상기 제2 판정 결과의 제2 변수(TCCD)의 값으로서 이진수 "1"이 부여된 화소들에 대하여, 상기 화소 계수(gIR)를 십진수 "1"로 부여한다(단계들 S801 및 S803).
상기 십진수 "1"로 부여된 화소들은, 가시(可視) 영상(Ivis) 및 열(熱) 영상(Ithe)에서 중요도를 갖고, 가시(可視) 영상(Ivis)에서 밝은 조명(spot)을 받는 영역에 해당될 확률이 높다. 따라서, 밝은 조명(spot)을 유지할 필요가 있으므로, 제2 열(熱) 영상의 해당 화소들의 휘도를 줄이지 않고 그대로 유지한다.
다음에, 제어 장치(103)는, 상기 제1 판정 결과의 변수(RIR)의 값으로서 이진수 "1", 상기 제2 판정 결과의 제1 변수(RCCD)의 값으로서 이진수 "1", 그리고 상기 제2 판정 결과의 제2 변수(TCCD)의 값으로서 이진수 "0"이 부여된 화소들에 대하여, 십진수 "0.31" 내지 "0.99" 중에서 어느 한 값을 상기 화소 계수(gIR)로서 부여한다(단계들 S801 및 S805). 예를 들어, 해당 화소들에게 십진수 "0.7"이 화소 계수(gIR)로서 부여된다.
상기 십진수 "0.31" 내지 "0.99" 예를 들어, "0.7"로 부여된 화소들은, 가시(可視) 영상(Ivis) 및 열(熱) 영상(Ithe)에서 중요도를 갖고, 가시(可視) 영상(Ivis)에서 밝은 조명(spot)을 받지 않는 영역에 해당될 확률이 높다. 따라서, 제2 열(熱) 영상의 해당 화소들의 휘도를 약간 줄인다.
다음에, 제어 장치(103)는, 상기 제1 판정 결과의 변수(RIR)의 값으로서 이진수 "0"이 부여된 화소들에 대하여, 십진수 "0" 내지 "0.30" 중에서 어느 한 값을 상기 화소 계수(gIR)로서 부여한다(단계들 S801 및 S807). 예를 들어, 해당 화소들에게 십진수 "0.3"이 화소 계수(gIR)로서 부여된다.
상기 십진수 "0" 내지 "0.30" 예를 들어, "0.3"으로 부여된 화소들은, 열(熱) 영상(Ithe)에서 중요도를 갖지 않으므로, 제2 열(熱) 영상의 해당 화소들의 휘도가 더욱 적어지도록 줄인다.
도 9는 본 발명의 효과를 설명하기 위하여 촬영된 사진들을 보여준다.
도 9에서, 참조 부호 901은 상기 제1 열(熱) 영상(도 1의 Ithe)을, 902는 상기 가시(可視) 영상(도 1의 Ivis)을, 그리고 903은 상기 제2 열(熱) 영상을 각각 가리킨다.
또한, 참조 부호 904는 가시(可視) 영상(902)과 제2 열(熱) 영상(903)이 융합된 결과의 영상을 가리키고, 904a는 그 중요 영역을 가리킨다. 참조 부호 905는 제3 열(熱) 영상을 갈킨다.
그리고 참조 부호 906은 가시(可視) 영상(902)과 제3 열(熱) 영상(905)이 융합된 결과의 영상을 가리키고, 906a는 그 중요 영역을 가리킨다.
도 9를 참조하면, 가시(可視) 영상(902)과 제2 열(熱) 영상(903)이 융합된 결과의 중요 영역(904a)의 선명도에 비하여, 가시(可視) 영상(902)과 제3 열(熱) 영상(905)이 융합된 결과의 중요 영역(906a)의 선명도가 보다 높아짐을 확인할 수 있다.
이상 설명된 바와 같이, 본 발명의 일 측면의 영상 융합 방법에 의하면, 열(熱) 영상의 각각의 화소의 휘도에 따른 중요도, 및 가시(可視) 영상의 각각의 화소의 휘도에 따른 중요도가 반영되어, 열(熱) 영상의 각각의 화소의 휘도가 조정된다. 그리고, 가시(可視) 영상과 상기 조정 결과의 열(熱) 영상이 융합된다.
이에 따라, 종래의 일률적인 영상 융합 방법의 문제점이 개선될 수 있다. 즉, 상대적으로 밝은 중요 영역의 일부 영역에서 열(熱) 영상의 높은 휘도로 인하여 영상의 선명도가 떨어지는 문제점이 개선될 수 있다.
따라서, 본 발명의 일 측면의 영상 융합 방법에 의하면, 상대적으로 밝은 중요 영역의 영상의 선명도가 전체적으로 향상될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
열(熱) 영상과 가시(可視) 영상의 융합 뿐만 아니라, 그 밖의 영상 융합에도 이용될 가능성이 있다.
101 : 가시 영상 카메라, Ivis : 가시(可視) 영상,
102 : 열 영상 카메라, Ithe : 열(熱) 영상,
103 : 제어 장치, Imix : 융합 결과의 영상,
104 : 디스플레이 장치, 403 : 통계 데이터,
405, TCCD : 제2 판정 결과의 제2 변수,
406, RCCD : 제2 판정 결과의 제1 변수,
407, RIR : 제1 판정 결과의 변수,
408, gIR : 제2 열(熱) 영상의 화소 계수,
901 : 제1 열(熱) 영상, 902 : 가시(可視) 영상,
903 : 제2 열(熱) 영상,
904 : 가시(可視) 영상과 제2 열(熱) 영상이 융합된 결과의 영상,
904a : 중요 영역,
905 : 제3 열(熱) 영상,
906 : 가시(可視) 영상과 제3 열(熱) 영상이 융합된 결과의 영상,
906a : 중요 영역.

Claims (9)

  1. 피사체의 온도에 따른 열(熱) 영상과 상기 피사체의 가시(可視) 영상을 융합하는 영상 융합 방법에 있어서,
    상기 열 영상의 화소들 중에서, 상기 가시 영상의 평균 휘도보다 높은 휘도를 가진 화소들의 휘도를 상승시키고, 그렇지 않은 화소들의 휘도를 하강시키는 단계;
    상기 열 영상의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제1 판정 결과를 구하는 단계;
    상기 가시 영상의 각각의 화소의 휘도에 따라, 각각의 화소가 중요 영상의 화소인지의 여부를 판정하여, 제2 판정 결과를 구하는 단계;
    상기 제1 판정 결과 및 상기 제2 판정 결과에 따라, 상기 열 영상의 각각의 화소의 휘도를 조정하여, 조정 결과의 열 영상을 구하는 단계; 및
    상기 가시 영상과 상기 열 영상을 융합하는 단계;를 포함하고,
    상기 조정 결과의 열 영상을 구하는 단계는,
    상기 제1 판정 결과 및 상기 제2 판정 결과에 따라, 상기 열 영상의 각각의 화소에 상응하는 각각의 화소 계수를 구하는 단계; 및
    상기 각각의 화소 계수를 상기 열 영상의 각각의 화소의 휘도에 곱한 결과를 상기 조정 결과의 열 영상의 각각의 화소의 각각의 휘도로 설정하는 단계;를 포함하고,
    상기 제1 판정 결과를 구하는 단계는,
    상기 열 영상의 화소들 중에서 상기 열 영상의 휘도의 평균에 기초하여 설정된 제1 기준값보다 큰 휘도를 가진 화소들에게 상기 제1 판정 결과의 변수의 값으로서 이진수 "1"을 부여하고, 그렇지 않은 화소들에게 상기 제1 판정 결과의 변수의 값으로서 이진수 "0"을 부여하는 단계;이고,
    상기 제2 판정 결과를 구하는 단계는,
    상기 가시 영상의 화소들 중에서 상기 가시 영상의 휘도의 평균에 기초하여 설정된 제2 기준값보다 큰 휘도를 가진 화소들에게 상기 제2 판정 결과의 제1 변수의 값으로서 이진수 "1"을 부여하고, 그렇지 않은 화소들에게 상기 제2 판정 결과의 제1 변수의 값으로서 이진수 "0"을 부여하는 단계; 및
    상기 가시 영상의 화소들 중에서 상기 가시 영상의 상한 휘도인 제3 기준값보다 큰 휘도를 가진 화소들에게 상기 제2 판정 결과의 제2 변수의 값으로서 이진수 "1"을 부여하고, 그렇지 않은 화소들에게 상기 제2 판정 결과의 제2 변수의 값으로서 이진수 "0"을 부여하는 단계;를 포함하고,
    상기 화소 계수를 구하는 단계는,
    상기 제1 판정 결과의 변수의 값으로서 이진수 "1", 상기 제2 판정 결과의 제1 변수의 값으로서 이진수 "0", 상기 제2 판정 결과의 제2 변수의 값으로서 이진수 "1"이 부여된 화소들에 대하여, 상기 화소 계수를 십진수 "1"로 부여하는 단계;인, 영상 융합 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 제1 기준값은 상기 열 영상의 휘도의 평균과 표준 편차가 합산된 결과인, 영상 융합 방법.
  5. 청구항 1에 있어서,
    상기 제2 기준값은 상기 가시 영상의 휘도의 평균에서 표준 편차가 감산된 결과인, 영상 융합 방법.
  6. 청구항 1에 있어서,
    상기 화소 계수가 십진수 "1"로 부여된 화소들은, 상기 열 영상의 휘도와 상기 조정 결과의 열 영상의 휘도가 동일한, 영상 융합 방법.
  7. 청구항 1에 있어서,
    상기 화소 계수를 구하는 단계는,
    상기 제1 판정 결과의 변수의 값으로서 이진수 "1", 상기 제2 판정 결과의 제1 변수의 값으로서 이진수 "1", 상기 제2 판정 결과의 제2 변수의 값으로서 이진수 "0"이 부여된 화소들에 대하여, 상기 화소 계수를 "0"과 "1" 사이의 십진수로 부여하는 단계;인, 영상 융합 방법.
  8. 청구항 7에 있어서,
    상기 화소 계수가 "0"과 "1" 사이의 십진수로 부여된 화소들은, 상기 조정 결과의 열 영상의 휘도가 상기 열 영상의 휘도보다 작은, 영상 융합 방법.
  9. 청구항 7에 있어서,
    상기 화소 계수를 구하는 단계는,
    상기 제1 판정 결과의 변수의 값으로서 이진수 "0"이 부여된 화소들에 대하여, 상기 화소 계수를 "0"과 "1" 사이의 십진수로 부여하는 단계;이고
    상기 제1 판정 결과의 변수의 값으로서 이진수 "0"이 부여된 화소들에 부여된 화소 계수는, 상기 제1 판정 결과의 변수의 값으로서 이진수 "1"이 부여된 화소들에 부여된 화소 계수보다 작은, 영상 융합 방법.
KR1020140054928A 2014-05-08 2014-05-08 영상 융합 방법 Active KR101990367B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140054928A KR101990367B1 (ko) 2014-05-08 2014-05-08 영상 융합 방법
US14/669,161 US9508136B2 (en) 2014-05-08 2015-03-26 Image fusing method
CN201510232880.XA CN105894009B (zh) 2014-05-08 2015-05-08 图像融合方法和图像融合设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140054928A KR101990367B1 (ko) 2014-05-08 2014-05-08 영상 융합 방법

Publications (2)

Publication Number Publication Date
KR20150128107A KR20150128107A (ko) 2015-11-18
KR101990367B1 true KR101990367B1 (ko) 2019-06-18

Family

ID=54368305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140054928A Active KR101990367B1 (ko) 2014-05-08 2014-05-08 영상 융합 방법

Country Status (3)

Country Link
US (1) US9508136B2 (ko)
KR (1) KR101990367B1 (ko)
CN (1) CN105894009B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996913B2 (en) * 2014-04-07 2018-06-12 Bae Systems Information And Electronic Systems Integration Inc. Contrast based image fusion
CN108665487B (zh) * 2017-10-17 2022-12-13 国网河南省电力公司郑州供电公司 基于红外和可见光融合的变电站作业对象和目标定位方法
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
EP3871147B1 (en) * 2018-12-27 2024-03-13 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image fusion
CN109686316B (zh) * 2019-03-04 2021-03-16 上海大学 一种数字扫描电路
CN110349261B (zh) * 2019-07-15 2023-05-09 泰华智慧产业集团股份有限公司 基于gis生成三维热力图的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005690A (ja) * 2001-06-14 2003-01-08 Samsung Electronics Co Ltd ディスプレイ装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
EP1797523A4 (en) * 2004-08-23 2009-07-22 Sarnoff Corp Method and apparatus for producing a fused image
JP4872829B2 (ja) 2007-06-28 2012-02-08 ソニー株式会社 撮像装置
KR101007341B1 (ko) 2008-08-06 2011-01-13 동국대학교 산학협력단 지정맥 인식을 이용한 바이오 인식 방법
KR101038726B1 (ko) 2009-03-18 2011-06-03 (주)에스엔알 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템
CN201927079U (zh) * 2011-03-07 2011-08-10 山东电力研究院 一种对于可见光图像和红外图像的快速实时融合处理系统
KR101314259B1 (ko) * 2011-03-24 2013-10-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005690A (ja) * 2001-06-14 2003-01-08 Samsung Electronics Co Ltd ディスプレイ装置

Also Published As

Publication number Publication date
US20150325021A1 (en) 2015-11-12
CN105894009A (zh) 2016-08-24
US9508136B2 (en) 2016-11-29
KR20150128107A (ko) 2015-11-18
CN105894009B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
KR101990367B1 (ko) 영상 융합 방법
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
JP4990234B2 (ja) 測距装置、測距方法、測距プログラム又は撮像装置
CN105744242B (zh) 图像处理设备、摄像设备和图像处理方法
TWI639974B (zh) 影像處理方法
JP2017138647A (ja) 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
WO2014129007A1 (ja) 液晶表示装置
JP2008227569A (ja) 撮影装置、電子機器、撮影制御方法、及び、撮影制御プログラム
US10091422B2 (en) Image processing device and recording medium
JP6576028B2 (ja) 画像処理装置及び画像処理方法
JP2016126750A (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
US11115637B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
KR20180132210A (ko) 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체
JP6320053B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
TWI720205B (zh) 增強影像之方法
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20180150941A1 (en) Image processing apparatus, imaging apparatus, image processing method, image processing program, and recording medium
JP4340303B2 (ja) 画像処理装置および画像処理プログラム
KR101989868B1 (ko) 전자 장치 및 제어 방법
JP2021111899A (ja) 画像生成装置及び画像生成方法
JP5744648B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
KR101470001B1 (ko) 역광 보정 기능을 갖는 카메라 모듈 및 그 방법
US20250117076A1 (en) Eye-directed image signal processing
JP2009038670A (ja) フリッカ補正装置及びフリッカ補正方法
JP3856235B2 (ja) 平面画像における傾斜被り補正方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140508

PG1501 Laying open of application
A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20171116

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140508

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180730

Patent event code: PE09021S01D

PN2301 Change of applicant

Patent event date: 20180914

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190226

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180730

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20190226

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20181001

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20171116

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20190429

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20190328

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190226

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20181001

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20171116

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190612

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190613

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220526

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230523

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240523

Start annual number: 6

End annual number: 6