KR101441333B1

KR101441333B1 - 인체 부분 검출 장치 및 그 방법

Info

Publication number: KR101441333B1
Application number: KR1020080011390A
Authority: KR
Inventors: 마오린 천; 정문식
Original assignee: 삼성전자주식회사
Priority date: 2007-10-10
Filing date: 2008-02-04
Publication date: 2014-09-18
Anticipated expiration: 2028-02-04
Also published as: CN101406390B; CN101406390A; KR20090037275A

Abstract

입력 이미지의 인체 부분 검출 장치 및 그 방법을 제공한다. 본 발명은 인체 부분의 포지티브 샘플과 네거티브 샘플을 저장하는 연습 데이터베이스, 입력 이미지에 대해 차이 이미지를 계산하는 이미지 프로세서, 연습 데이터베이스에 저장된 소정 인체 부분의 포지티브 샘플과 네거티브 샘플에 대해 상기 이미지 프로세서가 계산한 차이 이미지로부터 특징 집합을 추출하는 서브윈도우 프로세서 및, 특징 집합에 대해 학습을 진행하여 얻은 인체 부분 모델을 사용하여, 상기 인체 부분 모델에 대응하는 인체 부분을 검출하는 인체 부분 분류기를 구비한다.

인체 부분, 검출, 윈도우

Description

인체 부분 검출 장치 및 그 방법{Detecting Apparatus of Human Component AND Method of the same}

본 발명은 대상 검출 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 차이 이미지를 특징 이미지로 하여 인체 부분 검출 장치 및 그 방법과 대상 검출 장치 및 그 방법에 관한 것이다.

대상 검출은 비디오 주파수 분석 기술, 예를 들어 내용에 근거한 비디오 또는 이미지 대상 복구 기술, 비디오 감시, 물체 인식, 주파수 제어, 비디오 영상 압축 및 자동 운전자 보조에 있어 매우 중요하다. 현실 세계에서 사람 검출 기술은 경쟁이 치열한 검출 분야 중의 하나이다. 사람을 검출하는 상황은 크게 세 가지 상황이 있을 수 있다.

첫 번째 상황은 현장에 사람이 존재하는지 여부를 확정하는 검출 기술이다. 예를 들어, 대상 검출 시스템이 운전자를 보조할 때, 길의 행인이 차량에 근접하면 운전자에게 사람 검출 신호 경고를 한다. 이러한 대상 검출 시스템은 이미지 형성 장치에 집적화된 임베드된 스마트 장치로 실현될 수 있다.

두 번째 상황은 정지 카메라 또는 PTZ 카메라에 사용되는 동일인에 대한 연 속적 트래킹이다. 상기 정지 카메라는 사람의 이동 궤적을 얻어 스마트 행동 분석에 적용한다. 상기 PTZ 카메라는 카메라 상태를 이동하는 사람에 대해 조정하며 그것을 이미지의 중심으로 하여 세부 사항과 행동을 기록한다.

세 번째 상황은 로보트가 사람을 트래킹하거나 사람을 주시하거나 교류하고자할 때이다. 로보트는 카메라의 이미지 중 사람의 위치를 검출하고자 하고 대응하는 행동, 예를 들어 이동, 트래킹, 주시 또는 상태 조정을 실행한다. 이것은 로보트의 기능 장치에 집적되는 전체 스마트 장치로 실현될 수 있다.

패션의 다양한 형태와 스타일로 인해 사람의 부분적인 외양 뿐만 아니라 전체적인 형상의 변화가 다양하게 일어나므로, 특정 카테고리에 포함되는 특징을 발견하기비교적 어렵다. 따라서, 특징 추출이 어려운 조명 아래 복잡한 배경에서도 안정성 및 식별성을 가지는 특징 집합이 필요하다. 이밖에도 전체 형태는 정확성의 문제와 많은 장애 부속물로 인해 변형이 발생하거나, 동일한 이미지 구역에 다수의 사람이 출현함으로 인해 사람의 실루엣을 변형시킬 수 있다. 따라서, 전체 기록 이미지 중 작은 간섭을 극복하고 정확한 결과를 추론할 수 있는 알고리즘이 필요하다.

종래 사람 검출 방법은 전체 모델, 예를 들어 전체 인체 형태 또는 윤곽을 검출하거나, 부분 특징 집합 또는 부분 검출기를 사용하는 방법을 사용한다. 전체 모델을 사용하는 검출 방법은 전체 인체의 특징을 추출하여 외양 또는 실루엣에 따른 전체 모델을 형성한다. 부분 검출기를 사용하는 검출 방법은 인체를 여러 구성 부분, 예르르 들어 머리부, 몸체, 다리부, 팔부로 구분한다. 이러한 사람에 대한 검출 기술은 부분 검출 기술이라 불릴 수 있고, 각 부분에 대한 연구는 해당 인체 부분 모델을 단순화하는데 집중된다. 부분 모델을 단순화시키는 패턴 학습 방법에는 SVM, adaboosting 및 기타 방법이 있다.

이 중 특히 사람의 얼굴 검출 기술은 최근 몇 년간 많은 발전이 있었으며 실시간 검출 기술 실행시 높은 검출율과 낮은 오류를 나타내는 것을 알 수 있다. 하지만 실제 응용시 사람의 검출은 여전히 많은 작업이 필요하다. 먼저 의상 디자인 및 상이한 조명 조건의 변화에 따른 사람의 외모의 변화에 따라 사람 검출기를 적용하여야 한다. 둘째, 상기 사람 검출기는 사람의 외모의 각종 변형에도 불구하고 특징 형상을 보완하는 안정적 특징의 기초에서 만들어져야 한다. 마지막으로 상기 사람 검출기는 비교적 적은 계산양과 실시간 처리가 필요하다.

본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 안정적인 식별 특징과 실시간 처리 능력을 가지는 인체 부분 검출 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 또 다른 목적은 안정적인 식별 특징과 실시간 처리 능력을 가지는 대상 검출 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 또 다른 목적은 안정적인 식별 특징과 실시간 처리 능력을 가지는 이미지 형성 시스템을 제공하는 것을 목적으로 한다.

상술한 과제를 해결하기 위하여 본 발명은,

인체 부분의 포지티브 샘플과 네거티브 샘플을 저장하는 연습 데이터베이스와, 입력 이미지에 대해 차이 이미지를 계산하는 이미지 프로세서와, 상기 연습 데이터베이스에 저장된 소정 인체 부분의 포지티브 샘플과 네거티브 샘플에 대해 상기 이미지 프로세서가 계산한 차이 이미지로부터 특징 집합을 추출하는 서브 윈도우 프로세서 및, 상기 특징 집합에 대해 학습을 진행하여 얻은 인체 부분 모델을 사용하여, 상기 인체 부분 모델에 대응하는 인체 부분을 검출하는 인체 부분 분류기를 구비하는 이미지의 인체 부분 검출 장치를 제공한다.

상술한 과제를 해결하기 위하여 본 발명은 또한,

인체 부분의 포지티브 샘플과 네거티브 샘플을 저장하고 상기 포지티브 샘플 과 네거티브 샘플의 차이 이미지로부터 특징 집합을 추출하는 단계와, 상기 추출된 특징 집합에 대해 학습을 진행하여 인체 부분 모델을 얻는 단계 및, 입력 이미지의 차이 이미지를 계산하고, 상기 인체 부분 모델을 사용하여 상기 차이 이미지 중 대응하는 인체 부분을 검출하는 단계를 포함하는 이미지의 인체 부분 검출 방법을 제공한다.

상술한 과제를 해결하기 위하여 본 발명은 또한,

대상의 포지티브 샘플과 네거티브 샘플을 저장하는 연습 데이터베이스와, 입력 이미지에 대해 차이 이미지를 계산하는 이미지 프로세서와, 상기 연습 데이터베이스에 저장된 대상의 포지티브 샘플과 네거티브 샘플에 대해 상기 이미지 프로세서가 계산한 차이 이미지로부터 특징 집합을 추출하는 서브 윈도우 프로세서와, 상기 특징 집합에 대해 학습을 진행하여 얻은 대상 모델을 사용하여, 상기 대상 모델에 대응하는 대상을 검출하는 대상 분류기를 구비하는 이미지의 대상 검출 장치를 제공한다.

상술한 과제를 해결하기 위하여 본 발명은 또한,

대상의 포지티브 샘플과 네거티브 샘플을 저장하고 상기 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 특징 집합을 추출하는 단계와, 상기 추출된 특징 집합에 대해 학습을 진행하여 대상 모델을 얻는 단계 및, 입력 이미지의 차이 이미지를 계산하고, 상기 대상 모델을 사용하여 상기 차이 이미지 중 대응하는 대상을 검출하는 단계를 포함하는 이미지의 대상 검출 방법을 제공한다.

상술한 과제를 해결하기 위하여 본 발명은 또한,

대상의 이미지를 촬영하는 촬영 장치와, 상기 대상의 차이 이미지에 대해, 상기 대상의 상기 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출한 특징 집합에 대해 학습을 진행하여 얻는 대상 모델을 사용하여 상기 대상 모델에 대응하는 대상 영역을 검출하는 검출 장치와, 상기 검출 장치가 검출한 촬영 대상이 이미지 중 촬영한 대상 영역에 근거하여 상태 변수를 계산함으로써, 상기 대상을 상기 이미지의 중심 영역에 위치시키는 상태 변수 계산 장치와, 상기 상태 변수 계산 장치로부터 상기 상태 변수를 수신하여 상태를 조정하는 제어 장치와, 상기 대상의 이미지를 저장하는 저장 장치 및, 상기 대상의 이미지를 표시하는 디스플레이 장치를 구비하는 이미지 형성 시스템을 제공한다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 인체 부분 검출 장치 중 머리부 검출 장치의 구조를 보인 도면이다.

도 1을 참조하면, 머리부 검출장치(100)는 이미지 프로세서(110), 연습 데이터베이스(이하 'DB'라 함)(120), 서브윈도우 프로세서(130) 및 머리부 분류기(140)를 포함한다.

이미지 프로세서(110)는 모든 입력 이미지의 차이 이미지를 계산한다. 카메라에 의해 실시간으로 입력되는 이미지 뿐만 아니라 연습 DB에 저장되는 샘플 이미지에 대해서도 차이 이미지를 계산한다.

연습 DB(120)는 인체 부분의 포지티브 샘플(positive sample)과 네거티브 샘 플(negative sample)을 저장하는데, 여기서 인체 부분은 사람의 머리부가 되므로 포지티브 샘플과 네거티브 샘플은 사람의 머리부에 대해서 캡쳐하여 저장한다.

서브 윈도우 프로세서(130)는 연습 DB(120)에 저장된 사람의 머리부의 포지티브 샘플와 네거티브 샘플에 대해서 이미지 프로세서(110)가 계산한 상기 차이 이미지를 이용하여 상기 차이 이미지에 대한 특징 집합을 추출한다.

머리부 분류기(140)는 추출된 상기 특징 집합에 대해 학습을 진행하여 머리부 모델을 얻은 다음, 이미지 프로세서(110)에 입력 이미지에 대해 이미지 프로세서(110)가 계산한 새 차이 이미지에 대해 사람의 머리부분의 영역을 검출한다.

당업자가 쉽게 이해할 수 있는 바와 같이, 도 1에 도시된 머리 부분 검출 장치(100)는 단지 예시를 위한 것으로 머리 부분의 검출 장치(100)의 머리부 분류기(140)는 기타 인체의 분류기로 대치될 수 있는데, 예를 들어, 몸체 분류기, 다리 분류기, 팔 분류기 및 전체 분류기 등이 있으며, 이로써 기타 인체 부분의 검출 장치를 형성하여, 이미지 중 기타 인체 부분을 검출할 수 있다. 또한, 도 1의 머리부 분류기(140)는 도 8에 도시된 다양한 촬영 각도에서 나타날 수 있는 머리부에 대한 도 9에 도시된 피라미드 분류기(800)의 형태로 구성될 수 있다.

이런 방식으로 임의의 인체 부분 검출 장치는 이미지 프로세서, 연습 DB, 서브윈도우 프로세서 및 인체 부분 분류기를 포함하여 구성될 수 있다. 이 경우 각 인체 부분 검출 장치는 상기 네 구성 요소를 모두 포함하여 구성되거나, 이미지 프로세서, 연습 DB, 서브 윈도우 프로세서를 공동으로 구비하고, 인체 부분 분류기만을 각 인체 부분에 따라 별도로 구비할 수 있다.

도 2는 본 발명의 실시예에 따른 이미지 프로세서가 차이 이미지를 계산하는 방법을 보이는 도면이다.

도 2를 참조하면, 이미지 프로세서(110)는 제1 내지 제4 차이 이미지(dx, dy, du 및 dv)의 네 개의 차이 이미지를 계산한다. 제1차이 이미지(dx)의 각 화소값은 원 이미지의 N*N 인접 구역 중의 수평 방향으로의 이미지 차이이다. 도2의 제1 차이이미지(dx)를 참조하면, 만약 N이 3일 때 회색 사각형의 화소값의 합에 대해 회색 원형의 화소값의 합을 빼서 제1차이 이미지(dx)의 중심 화소값으로 한다.

제2차이 이미지(dy)의 각 화소값은 원 이미지의 N*N 인접 구역 중의 수직 방향의 화소 차이값이다. 도 2의 제2 차이 이미지(dy)를 참조하면, N이 3 일 때 회색 사각형의 화소값의 합에 회색 원형의 화소값의 합을 빼서 제2 차이 이미지(dy)의 중심의 화소값으로 한다.

제3 차이 이미지(du)의 각 화소값은 원 이미지 N*N 인접 구역 중 좌-우 대각선 방향으로의 화소 차이값이다. 도 1의 제3차이 이미지(du)를 참조하면, N이 3일 때 회색 사각형의 화소값의 합에 회색 원형의 화소값의 합을 빼서 제3 차이 이미지(du)의 중심의 화소값으로 한다.

제4 차이 이미지(dv)의 각 화소값은 원 이미지의 N*N 인접 구역 중 좌-우 대각선 방향의 화소 차이값이다. 도 2의 제4 차이 이미지(dv)를 참조하면, N이 3일 때 회색 사각형의 화소값의 합에 회색 원형의 화소값의 합을 빼서 제4 차이 이미지(dv)의 중심 화소값으로 한다. 이런 방식으로 제1 내지 제4 차이 이미지(dx, dy, du, dv)의 각 화소값은 목표 방향에서 인접 구역의 화소의 평균 회색도의 변화 를 표시한다.

또한, 상이한 스케일로 차이 이미지를 계산할 수 있다. 예를 들어, 도 1의 제1 내지 제4 차이 이미지(dx, dy, du, dv) 중 검은 색 사각형의 화소값의 합에 검은 색 원형의 화소값의 합을 빼면 5*5 인접 구역의 중심 화소값이 된다. 공식을 사용하면 (2*n+1)*(2*n+1), n=1,2,,,,,, 인접 구역의 중심 화소값으로 표시할 수 있다.

다른 다양한 스케일에 대해 이미지를 서브-샘플링하는데, 예를 들어 n이 2이면 각 화소에 한 번 차이 이미지 계산을 진행한다. 낮은 해상도의 이미지를 얻기 위해 비교적 큰 스케일, 즉 비교적 큰 인접 구역을 설정하여 차이 이미지를 계산하여 특징 집합 추출 시 배경의 노이즈의 영향을 감소시킬 수 있다. 또한, 높은 해상도의 이미지를 얻기 위해서는 비교적 작은 스케일, 즉 비교적 작은 인접 구역을 설정하여 차이 이미지를 계산함으로써 세부적으로 더욱 정밀한 화소값을 표시할 수 있다.

예를 들어, 이미지의 폭이 w이고 h높이가 인 화소에 대해 1 내지 w-2의 폭 내지 1 내지 h-2의 높이로 차이 이미지를 계산하고, 계산 시 이미지 경계를 벗어나는 화소값을 0으로 한다. 큰 스케일로 차이 이미지를 계산하기 전에 원 회색도의 이미지에 서브-샘플링을 한다. 그런 다음, 상술한 내용에 따라 특징 차이 이미지를 계산한다.

도 3은 머리부의 포지티브 샘플의 윤곽과 유사한 윤곽 형상을 가지는 전형적인 네거티브 샘플을 보인다.

도 3을 참조하면, 비록 네거티브 샘플은 직사각형의 선 구조에 유사하며 사람의 머리부의 포지티브 샘플의 변형 형태로 보인다. 이로부터 분류기의 식별 능력을 테스트할 수 있는데, 일반적으로 검출 결과 중 나타나는 오류가 주로 사람의 머리 형상과 비슷한 형상의 대상을 포함하기 때문이다. 다른 한 편으로는 이는 특징 변형과 추출의 중요성을 보인다. 본 발명은 이런 특징 추출의 어려움을 감소시킨 방법이다.

도 4는 굵은 직선을 가지는 대상물의 차이 이미지를 보인다.

도 4를 참조하면, 이미지 중 직선 구조를 가지는 대상물은 상이한 차이 이미지로 구분될 수 있다. 이러한 구분은 특징 추출에 비교적 좋은 소스를 제공한다. 제1 차이 이미지(dx)는 이미지의 수평 방향의 변화를 유지하고, 제2 차이 이미지(dy)는 이미지의 수직 방향의 변화를 유지한다. 제3 및 제4 차이 이미지(du, dv)는 이미지의 대각선 방향의 변화를 보유한다.

도 5는 도 2에 도시된 방법에 따라 계산된 머리 부분의 차이 이미지의 네 가지 예들(dx, dy, du, dv)을 보인다. 도 4의 차이 이미지와 비교하면, 비록 도 3의 차이 이미지에서 직선은 분해되지만, 머리 부분의 윤곽은 비교적 좋게 보존된다는 것이다.

도 6은 본 발명의 일 실시예에 따른 특징 추출 방법 중 서브 윈도우 프로세서에서 사용하는 서브 윈도우를 보인다.

먼저 연습 이미지 상에 폭과 높이를 이미지 비율에 따라 조절이 가능한 비율로 변화시키면서 단일 윈도우를 슬라이딩시킴으로써 상기 단일 윈도우의 특징을 생 성한다. 그런 다음, 상기 연습 이미지 상에, 폭과 높이를 이미지의 스케일 조절에 따른 스케일로 변화시키면서 동시에 동일한 줌 변수로 두 개 윈도우의 폭과 높이를 변화시켜 스케일에 따라 넓은 범위를 가지는 숨은 패턴을 캡쳐할 수 있도록 두 개의 윈도우를 슬라이딩시킴으로써 두 개의 윈도우 특징을 형성한다. 두 윈도우는 수평 및 수직 방향으로 서로 상대적으로 이동하여 넓은 범위의 숨은 패턴을 캡쳐한다.

연습 샘플 상에 세 개의 연결된 윈도우를 슬라이딩시켜 세 개의 윈도우 특징을 형성한다. 상기 세 개의 윈도우는 스케일에 따라 넓은 범위의 모델을 캡쳐하기 위해 스케일 변화 시 동일한 스케일과 높이를 가진다. 제2윈도우는 제1윈도우와 제3윈도우의 이동에 대해 볼록 및 오목의 윤곽을 캡쳐한다. 세 개의 윈도우 특징에는 두 가지 종류가 존재하는데, 한 종류는 세 개의 윈도우의 수평 배치이고, 다른 종류는 세 개의 윈도우의 수직 배치이다. 수평 배치로서, 제2윈도우는 제1윈도우와 제3윈도우에 대해 수평 이동한다; 수직 배치로서, 제2윈도우는 제1윈도우와 제3윈도우에 대해 수직 이동한다.

f를 추출된 특징, G를 차이 이미지, w를 특징 윈도우, OP¹을 특징 추출에 사용되는 제1연산자로 가정한다. OP¹ 는 '+'와 '-'의 간단한 두 개의 연산자를 포함하는 제1연산자, 즉 OP¹={+. -}이다. OP²는 본 발명 중에 사용되는 제2연산자로서 '+'와 '-' 및 주 연산자(domin)을 포함하며, OP²={+. -, domin}로 나타낼 수 있다.

한 개의 차이 이미지에 대한 특징을 추출하기 위해, 단일 특징 윈도우, 두 개의 특징 윈도우 및 세 개의 특징 윈도우에 각각 대응하는 수학식 1, 2, 3으로 특징을 계산할 수 있다. a는 네 개의 차이 이미지 중의 하나가 될 수 있다.

두 개의 차이 이미지의 특징 추출을 위해, 다시 차이 이미지의 단일 특징 윈도우, 두 개의 특징 윈도우 및 세 개의 특징 윈도우에 대응하는 수학식 4, 5, 6으로 특징을 계산할 수 있다. a 및 b 는 네 개의 차이 이미지 중 임의의 두 개의 이미지이다.

세 개의 차이 이미지의 특징 추출을 위해, 각각 단일 특징 윈도우, 두 개의 특징 윈도우 및 세 개의 특징 윈도우에 대응하는 수학식 7, 8, 9를 통해 특징을 계산할 수 있다. a, b 및 c는 네 개의 차이 이미지 중 임의의 세 개의 이미지이다.

네 개의 차이 이미지의 특징 추출에 대해, 각각 단일 특징 윈도우, 두 개의 특징 윈도우 및 세 개의 특징 윈도우에 대응하는 수학식 10, 11, 12를 통해 특징을 계산한다. a, b, c 및 d는 네 개의 차이 이미지이다.

수학식 13 내지 17에서 보이는 바와 같이, 제1연산자(OP¹) 은 더하기 및 빼기의 연산자이며, 제2연산자(OP²)는 더하기 및 빼기 연산자 뿐만 아니라 주 연산자를 포함한다.

도 6에서 특징 추출법에서 사용하는 서브윈도우를 예시로 보이고 있으나 이는 발명의 목적을 제한하기 위한 것은 아니다. 본 발명은 다양한 개수와 유형의 서브윈도우로 실현가능하다.

서브윈도우 프로세서(130)은 한 개의 차이 이미지, 두 개의 차이 이미지, 세 개의 차이 이미지 또는 네 개의 차이 이미지를 스캔함으로써 특징을 추출한다. 특징 집합은 한 개의 차이 이미지, 두 개의 차이 이미지, 세 개의 차이 이미지 또는 네 개의 차이 이미지로부터 추출되는 특징 중 하나의 특징 또는 한 개의 차이 이미지, 두 개의 차이 이미지, 세 개의 차이 이미지 또는 네 개의 차이 이미지로부터 추출되는 여러 특징의 임의의 조합이 될 수 있다. 또한, 더 많은 특징을 획득하기 위해 상이한 스케일을 사용하여 차이 이미지를 계산할 수 있고 상이한 스케일로 계산된 차이 이미지로부터 특징 집합을 추출할 수 있다.

상기 추출된 특징 집합에 대해 통계학습 방법, 예를 들어 Adaboost, SVM 등을 사용하여 식별 능력이 있는 특징을 선택하여 최종적인 분류 모델을 생성할 수 있다. 여러 모델 식별 기술 중에서 상기 모델 분류 기술은 모델 분류기에 적용하여 실현 가능하다.

도 7은 본 발명의 실시예에 따른 인체 부분 검출 방법을 간략히 보이는 플로우 차트이다.

도 7을 참조하면, 본 발명의 실시예에 따른 인체 부분 검출 방법은 먼저 인체 부분의 포지티브 샘플과 네거티브 샘플을 준비하고 상기 포지티브 샘플과 네거티브 샘플의 차이 이미지를 계산한 다음, 계산된 상기 차이 이미지에 기해 상기 특징 추출 방법을 사용하여 특징 집합을 형성한다(S1)

통계법을 사용한 학습 방법을 사용하여 상기 인체 부분의 부분 모델을 형성한다(S2). 이러한 부분 모델을 얻음으로써, 상기 모델을 사용하는 인체 부분 분류기를 얻을 수 있다. 예를 들어, 몸체에 대해 몸체의 포지티브 샘플과 네거티브 샘플을 준비하면, 상기 몸체의 포지티브 샘플과 네거티브 샘플의 차이 이미지에 대해 상술한 특징 추출방법을 사용하여 특징 집합을 추출한다. 그런 다음, 통계학습법을 사용하여 식별 능력이 있는 특징을 선택하고 최종적으로 몸체 모델 및 이를 인코딩한 몸체 분류기를 형성한다.

이렇게 검출된 인체 부분 모델을 사용하여 입력되는 이미지의 차이 이미지 중 대응하는 인체 부분을 검출한다(S3).

도 8은 사람의 머리부에 대한 다양한 시야각에서의 구분을 보이는 도면이 다.

도 8을 참조하면, 윤곽 형상은 카메라가 머리 부분을 조명하는 각도가 변화할 때, 머리 부분의 이미지가 8개 방향, 즉 전면, 좌반측, 좌측, 좌후반측, 우측, 우후반측, 우측 및 우후반측으로 분류된다. 8개의 분리된 이미지는 머리부를 둘러싸고 360도의 각도에서의 모든 이미지를 표시한다. 각 이미지는 일정 범위의 각도를 포함하고 특정 각도 만에 한정되지 않는다. 예를 들어, 만약 전면 이미지는 0도, 좌측은 90도이지만 전면 이미지는 실제 [-22.5, +22.5]도, 좌반측 이미지는 실제 [22.5, 67.5]도, 좌측 이미지는 실제[67.5, 112.5]도를 포괄한다.

도 9는 사람 머리부를 검출하는 피라미드 분류기를 보이는 도면이다.

도 9에 도시된 피라미드 분류기(800)에는 도 8에 도시된 상기 머리부의 8 부분에 대해 포지티브 샘플과 네거티브 샘플에 대한 차이 이미지의 특징 집합을 입력받아 각 특징 집합에 대응하는 머리 부분 모델을 인코딩함으로써 입력 이미지에 대한 부분 검출을 실행하는 제1내지 제4분류기(A, F, P, HP)를 구비한다.

즉, 피라미드 분류기(800)는, 상기 머리부의 전면, 좌반측, 좌측, 좌후반측, 후면, 우후반측, 우측 및 우반측의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출된 특징 집합을 이용하여 학습 획득되는 제1머리부 모델 및 상기 제1머리부 모델을 사용한 제1머리부 분류기(A)와, 상기 머리부의 전면 및 후면의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출된 특징 집합을 이용하여 학습 획득되는 제2머리부 모델 및 상기 제2머리부 모델을 사용한 제2머리부 분류기(F)와, 상기 머리부의 좌측 및 우측의 포지티브 샘플과 네거티브 샘플의 차이 이미지 로부터 추출된 특징 집합을 이용하여 학습 획득되는 제3머리부 모델 및 상기 제3머리부 모델을 사용한 제3머리부 분류기(P) 및, 상기 머리부의 좌반측, 좌후반측, 우후반측 및 우반측의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출된 특징 집합을 이용하여 학습 획득되는 제4머리부 모델 및 상기 제4머리부 모델을 사용한 제4머리부 분류기(HP)를 구비한다.

검출 시 이미지 프로세서(미도시)는 먼저 입력 이미지의 네 개의 차이 이미지, 즉, 수평, 수직, 좌-우대각선, 우-좌대각선 방향의 차이 이미지를 계산한 다음, 제1분류기(A)로 차이 이미지를 출력하고, 제1내지 제4 분류기는 차례대로 차이 이미지 중 각 가능한 스케일과 위치를 검색 및 측정한다. 피라미드 검출기(800)의 평가를 거친 것은 사람의 머리 부분의 후보로 접수된다. 그렇지 않으면 오류로 버려진다.

상세히 설명하면 제1분류기(A)는 먼저 이미지 중 각 가능한 스케일과 위치를 검색 및 측정한다. 즉, 제1분류기(A)는 머리부 영역을 검출하고, 제1분류기(A)가 검출한 머리부 영역은 제2 내지 제4분류기(F, P, HP)에 의해 평가가 진행된다. 만약 샘플이 제2 내지 제4분류기(F, P, HP)에 의해 접수되면, 상기 머리부 샘플은 제2 내지 제4분류기(F, P, HP)에 각각 대응하는 머리 부분 이미지의 후보로 확정된다. 제2 내지 제4분류기(F, P, HP)는 각각 제1분류기(A)가 접수한 샘플에 대해 점진적으로 평가를 진행하여 제1분류기(A)가 접수한 모든 샘플에 대해 평가를 완성한다.

도 10은 본 발명의 실시예에 따른 인체 부분 검출 방법을 설명하기 위해 도 9에 도시된 피라미드 분류가(800)의 검출을 예시로 보이는 플로우 차트이다.

도 10을 참조하면, 먼저 사람의 머리부의 전면, 좌반측, 좌측, 좌후반측, 후면, 우후반측, 우측 및 우반측의 포지티브 샘플과 네거티브 샘플을 준비한다. 그런 다음, 사람의 머리부의 전면, 좌반측, 좌측, 좌후반측, 후면, 우후반측, 우측 및 우반측의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 특징을 추출한다.

머리부의 전각도의 특징 집합에 대하여 학습을 진행하여 제1머리부 모델을 획득하고, 상기 머리부의 전면 및 후면의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출된 특징 집합에 대해 학습하여 제2머리부 모델을 얻는다. 또한, 상기 머리부의 좌측 및 우측의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출된 특징 집합에 대해 학습을 진행하여 제3머리부 모델을 획득하고, 상기 머리부의 좌반측, 좌후반측, 우후반측 및 우반측의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출된 특징 집합에 대해 학습을 진행하여 제4머리부 모델을 얻는다.

피라미드 분류기(800)의 제1 내지 제4분류기(A, F, P 및 HP)는 각각 상기 제1, 제2, 제3및 제4 머리부의 모델을 사용한다. 검출 과정 중, 먼저 입력 이미지의 네 개의 차이 이미지, 즉 수평, 수직, 좌우대각선, 우-좌대각선 방향의 차이 이미지를 계산한다. 피라미드 분류기(800)는 입력 이미지를 검출하고 검출된 사람의 머리 부분을 검출 결과로 전송한다.

본 발명의 다른 일 실시예에 따른 인체 부분 검출 장치는, 적어도 하나의 사람의 머리를 제외한 기타 인체 부분, 예를 들어, 사람의 몸체, 다리부 및 팔부의 분류기 를 사용하고 인체 기하학에 근거하여, 도 9에 도시된 피라미드 분류기(800)로부터 확정된 사람의 머리부에 대해 그 오류를 제거함으로써 사람의 머리부의 검출 정밀도를 높일 수 있다. 또한, 본 발명의 실시예에 따른 사람의 머리부 검출 장치는 사람에 대한 검출 장치로 사용되는데, 이는 사람의 머리부가 검출될 때 사람의 존재를 확정할 수 있기 때문이다.

도 11은 본 발명의 실시예에 따라 다수의 인체 부분 검출 장치가 일렬로 배열된 사람 검출 장치(1000)의 구성도를 보인다.

도 11을 참조하면, 사람 검출 장치(1000)는 일렬 배열된 N 개의 부분 검출 장치를 포함하고, 이 중 한 부분 검출 장치는 메인 검출 장치가 된다. 사람 검출 장치(1000)는 입력 이미지 중 메인 검출 장치에 대응하는 인체 부분의 검출에 사용된다. 본 발명의 실시예 중 제1부분 검출 장치(I)가 메인 검출 장치로 사용된다.

아래 사람 검출 장치(1000)의 조작에 대해 설명한다. 먼저, 검출된 입력 이미지는 제1부분 검출 장치(I)로 입력된다. 제1부분 검출 장치(I)는 입력 이미지 중 제1 인체 부분(I)과 대응하는 영역을 검출한다.

그런 다음, 제2부분 검출 장치(II)는 입력 이미지 중 제2인체 부분(II)과 대응하는 영역을 검출한다. 이 때, 인체의 기하학 관계에 따라, 제2부분 검출 장치(II)가 검출한 제2인체 부분(II)의 영역에 근거하여 제1부분 검출 장치(I)로부터 출력되는 제1인체 부분(I) 후보의 일부를 오류로 버리는 동시에, 제2인체 부분(II)의 후보의 일부를 오류로 버리는 과정을 진행하여 제2인체 부분(II)을 남긴다.

이런 방식으로 다른 부분 검출기(미도시)들은 각각 입력 이미지 중 대응되 는 인체 부분에 해당하지 않는 후보의 일부를 오류로 제거하고 남는 인체 부분(미도시)을 다음 부분 검출기로 전송한다.

제N부분 검출기(N)은 입력 이미지 중 제N인체 부분(N)에 대응하는 영역을 검출한다. 이 때 인체 기하학에 관계에 따라, 제N부분 검출기(N)이 검출한 제N인체 부분(N)의 영역에 근거하여, 제2부분 검출기(II)가 평가한 제1인체 부분(I)의 부분 후보 중 일부분을 오류로 제거하며, 제2 내지 제N-1부분(II 내지 N-1)의 후보 및 제N부분(N)의 후보 일부를 오류로 제거한다. 남은 제1인체 부분(I)의 부분 후보와 이에 대응하는 제2인체 부분(II), 제3 내지 제N-1인체 부분(III 내지 N-1) 및 제N인체 부분(N)을 얻을 수 있다.

이렇게 제1인체 부분(I)의 검출기를 사용한 검출과 비교하여, 다수 부분의 검출기를 복합적으로 사용하여 제1인체 부분(I)에 대한 검출을 진행하여 정확한 결과를 얻을 수 있다. 또한, 이런 방식으로 다수의 부분 검출 장치를 사용하여 인체 기하학 및 기타 인체 부분에 따라 입력 이미지 중 검출해낼 수 있다.

제2부분 검출 장치(II)는 제1부분검출기(I)의 부분 후보로부터의 검증기로 작동한다. 상술한 상황에서 제2부분 검출 장치(II)는 제1부분 검출 장치(I)의 부분 후보로부터의 근접 영역을 스캔함으로써 제2인체 부분(II)을 검출한다. 상기 인접 구역은 인체 기하학 관계에 따라 확정된다. 예를 들어, 만약 제1부분 검출기(I)가 머리부 검출기이면, 제2부분 검출기(II)는 몸체 검출기이지만, 제1부분 검출기(I)의 머리부 후보 중 정확한 머리 후보는 몸체의 상대적 위치 관계 및 스케일 관계에 따라 대략적으로 스캔 공간, 즉 검출되는 입력 이미지 중 몸체의 위치 및 스케일을 확정하여, 통계 분석을 진행함으로써 획득한다.

본 발명 중, 사람 검출 장치(1000)가 가지는 부분 검출 장치는 특정 개수에 한정되지 않고 필요한 부분에 따라 부분 검출 장치를 구성하여 사람 검출 장치(1000)를 구현할 수 있다. 부분 검출 장치는 머리부 검출 장치, 몸체 검출 장치, 다리 검출 장치, 팔 검출 장치 및 전체 인체 검출 장치 등이 될 수 있다.

도 12는 본 발명의 실시예에 따라 도 11의 다수의 인체 부분 검출기를 가지는 사람 검출 장치(1100)의 예시적인 상세한 구조도이다.

도 12를 참조하면, 사람 검출 장치(1100)는 확정기(1110), 머리부 검출 장치(1120), 다리부 검출 장치(1130) 및 몸체 검출 장치(1140)를 포함한다. 실시예 중, 머리부 검출 장치(1120)는 메인 검출 장치로서, 도 1에 도시된 머리부 검출 장치(100)가 될 수 있다. 다리부 검출 장치(1130)와 몸체 검출 장치(1140)는 도 1의 머리 검출 장치와 동일한 구조를 가진다.

머리부 검출 장치(1120), 다리부 검출 장치(1130) 및 몸체 검출 장치(1140)은 각각 이미지 프로세서(미도시), 연습 DB(미도시), 서브윈도우 프로세서(미도시)를 포함할 수 있고, 상기 각 장치들은 도 1의 이미지 프로세서(110), 연습 DB(120), 서브윈도우 프로세서(130)와 동일한 기능을 가지므로 그에 대해서 상세한 설명은 생략한다.

또한, 머리부 검출 장치(1120)는 특징 집합으로부터 학습 획득한 머리부 모델로부터 얻은 머리 분류기를 포함하고, 여기에는 머리부 검출 장치(1120)의 서브 윈도우 프로세서가 머리부 검출기(1120)의 연습DB에 저장된 머리부의 포지티브 샘 플과 네거티브 샘플의 차이 이미지로부터 추출한 특징 집합을 포함하고, 머리 검출 장치(1120)의 이미지 프로세서에서 계산된 머리 포지티브 샘플과 네거티브 샘플의 차이 이미지를 포함한다.

다리부 검출 장치(1130)는 특징 집합으로부터 학습 획득한 다리부 모델로부터 얻은 다리부 분류기를 포함하고, 여기에는 다리부 검출 장치(1130)의 서브 윈도우 프로세서가 다리부 검출 장치(1130)의 연습DB에 저장된 다리부의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출한 특징 집합을 포함하고, 다리부 검출 장치(1130)의 이미지 프로세서에서 계산된 머리 포지티브 샘플과 네거티브 샘플의 차이 이미지를 포함한다.

몸체 검출 장치(1140)는 또한 특징 집합으로부터 학습 획득한 몸체 모델로부터 얻은 몸체 분류기를 포함하고, 여기에는 몸체 검출 장치(1140)의 서브 윈도우 프로세서가 몸체 검출기(1140)의 연습DB에 저장된 머리부의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출한 특징 집합을 포함하고, 몸체 검출 장치(1140)의 이미지 프로세서에서 계산된 몸체 포지티브 샘플과 네거티브 샘플의 차이 이미지를 포함한다.

먼저, 머리부 검출 장치(1120), 다리부 검출 장치(1130) 및 몸체 검출 장치(1140)은 각각 이미지를 검출하여 머리 후보, 다리 후보 및 몸체 후보를 전송한다.

확정기(1110)는 머리 검출 장치(1120)의 머리 후보 및 몸체 검출 장치(1140)의 몸체 후보로부터 인체 기하학 관계, 예를 들어, 사람의 머리부와 몸체 의 상대적인 제약 및 스케일 제약에 따라 검출된 머리 후보에서 오류를 제거한다. 그런 다음, 확정기(1110)은 결합된 몸체 후보에 따라 오류 경고된 머리 후보와 다리 후보를 제거하며, 인체 기하학에 따라 머리 부분 후보의 오류를 더욱 제거함으로써, 사람의 머리부, 몸체, 다리부 및 인체를 검출해 낸다.

도 12에 도시된 머리 검출 장치(1120)도 도 9에서 제시된 피라미드 분류기(800)를 포함하는 형태가 될 수 있다. 즉, 머리부 검출 장치(1120), 다리부 검출 장치(1130) 및 몸체 검출 장치(1140)는 각각 이미지 프로세서, 연습DB, 서브윈도우 프로세서, 몸체 검출기(120), 다리부 검출기(130) 및 몸체 검출기(1140)를 포함하지 않고 공동의 이미지 프로세서, 연습 DB, 서브윈도우 프로세서를 사용할 수 있다.

도 13은 본 발명의 다른 실시예에 따른 다수의 부분 검출 장치가 병렬로 연결된 대상 검출 장치(1200)의 구조도이다.

도 13을 참조하면, 대상검출 장치(1200)는 병렬 배열된 n개의 부분 검출기(I-n)을 포함한다. 또한, 대상검출 장치(1200)는 이미지 프로세서(미도시), 연습 DB(미도시) 및 서브윈도우 프로세서(미도시)를 포함할 수 있고, 이는 도 1의 이미지 프로세서(110), 연습 DB(120), 서브윈도우 프로세서(130)과 동일한 기능을 가지므로 이에 대한 상세한 설명은 생략한다. 상기 다수의 제1 내지 제N부분 검출기(I-N)의 각각은 도 12의 대상 검출 장치(1100)와 같이 이미지 프로세서, 연습 DB 및 서브윈도우 프로세서를 가지거나, 도 9의 피라미드 분류기(800) 형태를 포함하여 공동의 이미지 프로세서, 연습 DB 및 서브윈도우 프로세서를 가질 수 있다.

또한, 대상 검출 장치(1200)는 또한 확정기(미도시)를 더 구비할 수 있고, 검출하고자 하는 대상이 사람인 경우 인체 기하학에 따라 제1 내지 제n부분 검출기(I-n)가 검출한 인체 부분에 근거하여 인체 부분 중의 오류를 제거하여 검출된 이미지 중의 인체 부분과 사람을 확정한다.

제1검출 장치(I)는 m₁개의 제1부분에 대한 분류기(S11, S12, S13,...S1 m₁)를 포함하고, 제2검출 장치(II)는 m₂개 제2부분의 분류기(S21, S22, S23,... S1 m₂)를 포함하며, 제n검출 장치(n)(n=1,2,3,...n은 m_n개의 제n부분의 분류기(S21, S22, S23,...S1m_n)을 포함한다(이중, m1, m2,...mn은 자연수)를 포함한다.

상기 분류기의 실행 방법과 도 12에서 도시한 인체 부분 검출 장치의 방법은 서로 유사하므로 분류기의 실행에 대한 설명은 생략한다. 도 13에서 설명하는 바와 같이, 대상검출 장치(1200)의 n개 부분 검출 장치(I, II, sn)의 분류기는 필요한 계산을 오름차순으로 실행한다. 일반적으로 분류기의 계산량은 특징수를 처리하는 계산량에 해당하므로 분류기는 특징 집합의 특징수의 오름차순 배열을 한다.

아래에서, 도 13을 참고하여 대상검출 장치(1200)의 구동에 대해 설명한다.

이미지가 대상검출 장치(1200)에 입력된 후, 먼저 제1검출 장치(I)에서 두 개의 전단 분류기(즉, S11 및 S12)를 통해 이미지를 검출하여 즉, A점까지의 구동하여 제1검출 장치(I)의 제1부분의 후보를 얻는다. 그런 다음, 제1부분의 후보를 제2검출 장치(II)로 전달하고, 즉 B점까지 구동한 후, 두 전단 분류기(즉, S21 및 S22)를 통해 이미지를 검출하여 즉, C점까지 조작하여 제2검출 장치(II)의 제2부분의 후보를 얻는다. 그런 다음 확정기(미도시)는 얻은 제1부분의 후보와 제2부분의 후보에 근거하여 대상의 구조 기하학에 따라 제1부분의 후보 중 오류를 제거한다(D점까지 진행).

이런 방식으로, 순서에 따라 남은 제3 내지 제n-1검출기(III 내지 n-1)의 전단 분류기를 사용하고, 전단계에 확정된 부분에 대해(E점까지 진행) 제n검출 장치(n)의 다수의 전단 분류기(Sn1, Sn2, Sn3...)가 작동하여 제n부분의 후보를 얻고(F점까지 진행), 확정기를 통해 오류를 제거한다(G점까지 진행). 그런 다음, 남은 부분 후보에 대해(H까지 구동) 제n검출 장치(n)는 제1검출 장치로 전송하고(K까지 조작), 다시 제1검출 장치(I)의 분류기를 사용하여 검출을 진행하면서 확정기를 통해 오류를 제거한다. 계속 순서에 따라 제3검출 장치(II) 내지 제n검출 장치(n)까지 사용하고 반복하여 제1 내지 제n검출 장치(I-n)를 사용하여 제1 내지 제n검출기(I-n)의 모든 분류기를 사용한다.

이런 검출 방법의 원리는 먼저 각 검출 장치의 전단분류기, 즉 특징 집합의 특징수가 비교적 적은 분류기를 혼합 사용함으로써 비교적 적은 계산량으로 대부분의 오류 경고를 제거한 다음, 다시 특징수가 비교적 많은 분류기를 점진적으로 사용하여, 검출 속도를 빠르게 향상시키는 원리에 기초한다. 동일한 오류에 대해 만약 제1검출 장치(I)만을 사용하면 단지 세 개의 전단분류기(S11, S12, S13)만이 필요하며 모두 50개의 특징이 제거되지만, 만약 제1검출 장치(I)의 두 전단 분류기(S11, S12) 및 제2검출 장치(II)의 한 분류기(S21)만을 사용하면 단지 다섯 개의 특징만이 오류로 제거될 수 있다.

분류기가 보유하는 특징 집합의 숫자의 예상 문턱값에 따라 한 검출 장치로부터 다른 검출 장치로 자동적으로 전환된다. 비록 상이한 방식으로 문턱값을 선택할 수 있으나 그 원리는 유사하며, 전단 분류기에 있어 비교적 특징 집합의 특징수가 적으면 상이한 검출 장치 사이의 전환에 의해 오류를 제거할 수 있다.

본 발명의 실시예 중 대상검출 장치(1200)의 모든 분류기는 특징 집합에 존재하는 특징수의 오름차순으로 각 분류기를 사용함으로써 검출을 진행한다. 또한, 대상검출 장치(1200)를 사용하여 검출을 진행할 때 분류기가 속하는 부분 검출 장치를 고려하지 않고 분류기가 가지는 특징 집합의 특징수의 오름차순을 생각하여 먼저 특징 집합의 특징수가 비교적 적은 분류기로 대상검출 장치(1200) 중의 각 분류기를 사용한다.

본 발명은 인체 부분 및 사람의 검출에 한하지 않고 일정 형상을 가지는 대상의 검출(예를 들어, 동물, 식물, 건축물, 자연경관물 및 일상 생활 용품 등)에 응용될 수 있다.

도 14는 본 발명의 실시예에 따라 대상 검출 기능을 가지는 이미지 형성 시스템(1300)의 구조를 보인 도면이다.

도 14를 참조하면, 이미지 형성 장치(1300)는 촬영 장치(1301), 검출 장치(1302), 변수 계산 장치(1303), 제어 장치(1304), 저장 장치(1305), 디스플레이 장치(1306) 및 표기 장치(1307)를 포함한다. 상기 이미지 형성 시스템은 PTZ(PAN, TILT, ZOOM) 카메라, 정지감시카메라, DC(디지털 카메라), 카메라핸드폰, DV(디지 털 비디오) 및 PVR(개인 비디오 레코더) 중 어느 하나가 될 수 있다.

촬영 장치(1301)는 하드웨어 장치, 예를 들어 CCD 또는 COMS 장치로서 자연계의 이미지의 감지와 생성에 사용된다.

운동대상을 추적하기 위해, 두 종류의 방법으로 대상의 운동 영역과 위치 및 스케일을 제공한다. 첫 번째 방법은 자동 방법으로서, 대상 검출 기능에 임베드된 관심 대상의 영역 스케일 및 위치를 추출한다. 두 번째 방법은 수동 방법으로서, 사용자 또는 조작자가 디스플레이되는 이미지(예를 들어, 터치 스크린)에 관심 대상 영역을 표기할 수 있다. 자동 방법의 경우 본 발명에 따른 대상 방법을 사용하여, 대상을 자동적으로 검출할 수 있다. 표기 장치(1307)는 표기 기능을 사용자 또는 조작자에게 제공하여 사용자 또는 조작자가 펜 또는 손가락으로 이미지에 수동으로 관심 대상을 표기하게 한다.

검출 장치(1302)는 촬영 장치(1301)로부터 이미지 데이터를 접수하고 사용자가, 예를 들어 대략적으로 표기한 형식의 표기된 관심 대상 영역의 스케일 및 위치 정보를 접수할 수 있다. 검출 장치(1302)는 대상이 존재하는 정확한 영역을 검출하고, 변수 계산 장치(1303)은 변수 계산 장치(1303)가 제공하는 대상의 존재 영역에 따라 이미지 형성 장치의 상태를 조정하는 변수를 계산 생성한다. 주의할 것은 제공되는 대상 위치 및 스케일의 제1방법, 즉 자동 방법을 사용할 때 표기 장치(1307)도 선택될 수 있다. 다수의 트랙킹 대상이 선택될 때, 예를 들어 다수의 대상에 대한 추적을 진행할 때, 사용자는 본 발명의 이미지 형성 장치가 자동 선택하는 추적 대상을 수정할 수 있다.

아래 도 15는 본 발명의 실시예에 따른 도 14의 검출 장치(1302)의 구조를 보인 도면이다.

도 15를 참조하면, 대상 검출 장치(1302)는 이미지 프로세서(1410), 연습 DB(1420), 서브윈도우 프로세서(1430), 대상 프로세서(1440)를 구비한다.

이미지 프로세서(1410)은 도 2에 서술된 방법을 사용하여 도 14의 촬영 장치(1301)가 출력하는 이미지의 차이 이미지를 계산한다. 연습 DB(1420)은 각종 대상(예를 들어, 각종 생물, 식물, 건축물, 자연경관물 및 일상생활 생활용품 등)의 포지티브 샘플과 네거티브 샘플을 저장한다. 서브윈도우 프로세서(1430)은 도 6에서 서술하는 특징 추출 방법을 사용하여 이미지 프로세서(1410)으로부터 계산된, 연습 DB(1420)에 저장된 대상의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 특징을 추출한다.

대상 분류기(1440)은 이미지 프로세서(1410)가 계산한 검출이 필요한 입력 이미지의 차이 이미지에 근거하여 추출된 특징 집합으로부터 학습 획득한 대상 모델을 사용하여 대상물의 대상 영역을 검출한다. 상기 머리 모델의 학습 방법과 동일한 방법으로 상술한 대상 모델을 얻는다.

대상 검출 장치(1302)는 전송 장치(미도시)을 더 포함할 수 있다. 전송 장치는 대상 분류기(1440)가 검출한 결과 이미지 또는 표기 장치(1307)에서 사용자가 직접 선택한 대상 이미지를 전송한다.

검출 장치(1302)도 연습 DB(1420) 및 서브윈도우 프로세서(1430)을 포함하지 않을 수 있고, 각종 예정된 대상의 분류 모델, 즉 대상 모델을 대상 분류 기(1440)에 미리 위치시킬 수 있다. 대상 분류기(1440)은 사용자가 희망하는 대상 유형에 따라 대상 분류 모델을 조정 사용한다.

제어 장치(1304)는 이미지 형성 장치의 상태를 조정할 수 있고, 이미지 형성 장치의 상태는 PTZ 카메라의 회전, 틸트, 줌 및 선택 초점 구역의 조작으로 제어되거나 정지감시카메라, DC, DV 또는 PVR의 줌 및 초점 조작으로 제어할 수 있다. 제어 장치(1304)은 변수 계산 장치(1303)에서 이미지 형성 장치의 상태 조정 변수를 접수한다.

검출 장치(1302)는 새로운 시간점 또는 새로운 프레임 데이터 중 대상의 위치 및 스케일 정보를 제공할 수 있다. 제어 장치(1304)는 상기 변수에 따라 이미지 형성 장치의 상태를 제어함으로써, 회전, 틸트 조작으로 대상을 이미지의 중앙에 위치시키고, 선택 초점 영역의 조작을 통해 관심 대상 영역을 선택하고, 줌 조작을 통해 관심 대상 영역에 포커싱하여, 높은 이미지 품질을 가지는 운동 대상에 세부 부분을 얻을 수 있다.

선택 초점 영역의 조작 중 제어 장치(1304)는 이미지 형성 장치를 제어하여 대상이 존재하는 새로운 영역을 초점의 근거로 선택할 수 있고, 이로써 상기 영역에 대해 포커싱을 할 수 있다. 또한, 제어 장치(1304)는 촬영 장치(1301)가 초점 영역을 선택할 때, 이미지 중심 영역을 묵인된 이미지 초점 영역으로 설정하는 것 뿐만 아니라 대상이 소재하는 새로운 이미지 구역을 이미지 초점 영역으로 선택하도록 제어할 수 있으며, 초점 영역의 이미지 데이터 정보에 근거하여 동적으로 줌 배수, 초점 거리, 회전 또는 틸트 변수를 조정함으로써 더 좋은 이미지 효과를 얻 을 수 있다.

사용자가 휴대하는 전자 제품, 예를 들어 DC, DV 또는 PVR에 대해, 사용자는 수동으로 그 상태를 조정함으로써 관심 대상을 이미지의 중심에 둘 수 있다. 본 발명의 일실시예의 제어 장치는 검출 결과 및 검출 결과 및 변수 계산 장치가 제공하는 변수에 근거하여 동적으로 촬영 장치의 줌 배수 및 초점 변수를 조절할 수 있다.

저장 장치(1305)는 이미지 또는 주파수를 저장하고, 디스플레이 장치(1306)는 현장의 이미지 또는 주파수를 사용자에게 표시한다.

본 발명의 실시예에 따른 검출 장치(1302)는 소프트웨어로 실현될 수 있으며, 이 소프트웨어는 이미지 형성 장치 및 제어 장치에 임베드 시스템으로 응용되어 이미지 형성 장치의 상태를 조정하는 변수가 된다. 임베드형 이미지 형성 시스템에서, 주파수를 입력으로 접수하고, 명령을 이미지 형성장치의 제어 장치로 전송함으로써 촬영 장치의 상태, 미러 초점 영역 등을 조정할 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

도 1은 본 발명의 실시예에 따른 인체 부분 검출 장치 중 머리부 검출 장치의 구조를 보인 도면,

도 2는 본 발명의 실시예에 따른 이미지 프로세서가 차이 이미지를 계산하는 방법을 보이는 도면,

도 3은 머리부의 포지티브 샘플의 윤곽과 유사한 윤곽 형상을 가지는 전형적인 네거티브 샘플을 보이는 도면,

도 4는 굵은 직선을 가지는 대상물의 차이 이미지를 보이는 도면,

도 5는 도 2에 도시된 방법에 따라 계산된 머리 부분의 차이 이미지의 네 가지 예들(dx, dy, du, dv)을 보이는 도면,

도 6은 본 발명의 일 실시예에 따른 특징 추출 방법 중 서브 윈도우 프로세서에서 사용하는 서브 윈도우를 보이는 도면,

도 7은 본 발명의 실시예에 따른 인체 부분 검출 방법을 간략히 보이는 플로우 차트,

도 8은 사람의 머리부에 대한 다양한 시야각에서의 구분을 보이는 도면,

도 9는 사람 머리부를 검출하는 피라미드 분류기를 보이는 도면,

도 10은 본 발명의 실시예에 따른 인체 부분 검출 방법을 설명하기 위해 도 9에 도시된 피라미드 분류가(800)의 검출을 예시로 보이는 플로우 차트,

도 11은 본 발명의 실시예에 따라 다수의 인체 부분 검출 장치가 일렬로 배열된 사람 검출 장치의 구성도,

도 12는 본 발명의 실시예에 따라 도 11의 다수의 인체 부분 검출기를 가지는 사람 검출 장치의 예시적인 상세한 구조도,

도 13은 본 발명의 다른 실시예에 따른 다수의 부분 검출 장치가 병렬로 연결된 대상 검출 장치의 구조도,

도 14는 본 발명의 실시예에 따라 대상 검출 기능을 가지는 이미지 형성 시스템(1300)의 구조를 보인 도면,

도 15는 본 발명의 실시예에 따른 도 14의 검출 장치의 구조를 보인 도면.

Claims

인체 부분의 포지티브 샘플과 네거티브 샘플을 저장하는 연습 데이터베이스;

입력 이미지에 대해 차이 이미지를 계산하는 이미지 프로세서;

상기 연습 데이터베이스에 저장된 소정 인체 부분의 포지티브 샘플과 네거티브 샘플에 대해 상기 이미지 프로세서가 계산한 차이 이미지로부터 특징 집합을 추출하는 서브 윈도우 프로세서; 및

상기 특징 집합에 대해 인체 부분 모델을 사용하여, 상기 인체 부분 모델에 대응하는 인체 부분을 검출하는 인체 부분 분류기;

를 포함하고,

상기 인체 부분 분류기는,

상기 인체 부분의 복수개의 측면들 중에서 적어도 한 쌍 이상의 측면에 대한 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 상기 인체 부분 모델을 사용하여 상기 인체 부분을 검출하는 이미지의 인체 부분 검출 장치.
제1항에 있어서,

상기 인체 부분 분류기가 검출하는 상기 인체 부분에 대해 인체 기하학에 근거하여 오류를 제거함으로써 상기 입력 이미지의 인체 부분을 확정하는 확정기를 더 구비하는 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
제1항에 있어서,

상기 이미지 프로세서는 적어도 하나의 스케일로 상기 입력 이미지를 수평 방향, 수직 방향, 좌-우대각선 방향 및 우-좌 대각선 방향의 차이 이미지로 계산하 는 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
제3항에 있어서,

상기 서브 윈도우 프로세서는 단일 윈도우 또는 다수 윈도우를 사용하여 상기수평 방향, 수직 방향, 좌-우대각선 방향 및 우-좌 대각선 방향의 차이 이미지의 적어도 하나에서 상기 특징 집합을 추출하는 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
제1항에 있어서,

상기 인체 부분은 머리부, 몸체부, 다리부, 팔부 또는 인체의 어느 일부인 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
제1항에 있어서,

상기 연습 데이터베이스는 상기 인체 부분이 머리부이면 상기 머리부의 포지티브 샘플과 네거티브 샘플로서 상기 머리부의 전면, 좌반측, 좌측, 좌후반측, 후면, 우후반측, 우측 및 우반측의 포지티브 샘플과 네거티브 샘플을 저장하는 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
제6항에 있어서,

상기 인체 부분 분류기는,

상기 머리부의 차이 이미지에 근거하여 상기 머리부의 전면, 좌반측, 좌측, 좌후반측, 후면, 우후반측, 우측 및 우반측의 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 제1머리부 모델을 사용하여 상기 머리부를 검출하는 제1머리부 분류기;

상기 머리부의 차이 이미지에 근거하여 상기 머리부의 전면과 후면의 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 에 대해 학습을 진행하여 얻은 제2머리부 모델을 사용하여 상기 머리부의 전면과 후면을 검출하는 제2머리부 분류기;

상기 머리부의 차이 이미지에 근거하여 상기 머리부의 좌측 및 우측의 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 제3머리부 모델을 사용하여 상기 머리부의 좌측 및 우측을 검출하는 제3머리부 분류기; 및

상기 머리부의 차이 이미지에 근거하여 상기 머리부의 좌후반측, 좌반측, 우후반측 및 우반측의 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 제4머리부 모델을 사용하여 상기 머리부의 좌반측, 좌후반측, 우후반측 및 우반측을 검출하는 제4머리부 분류기;

를 구비하는 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
제7항에 있어서,

상기 제2 내지 제4머리부 분류기는 상기 제1머리부 분류기를 통해 검출된 머 리부에 평가를 진행하여 상기 머리부의 전면과 후면의 오류, 상기 머리부의 좌측과 우측의 오류 및, 상기 머리부의 좌반측, 좌후반측, 우후반측 및, 우반측의 오류를 제거하는 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
제1항에 있어서,

상기 인체 부분 분류기는 다수의 상이한 인체 부분에 따른 복수의 인체 부분 분류기를 포함하고, 상기 인체 부분에 대응하도록 학습하여 획득한 인체 부분 모델이 가지는 상기 특징 집합의 특징수의 오름차순으로 대응 인체 부분에 대해 검출을 진행하는 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
제2항에 있어서,

상기 인체 부분 분류기는 상기 인체 부분 모델이 가지는 상기 특징 집합의 특징수의 오름차순으로 대응 인체 부분에 대해 검출을 진행하는 것을 특징으로 하는 이미지의 인체 부분 검출 장치.
인체 부분의 포지티브 샘플과 네거티브 샘플을 저장하고 상기 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 특징 집합을 추출하는 단계;

상기 추출된 특징 집합에 대해 학습을 진행하여 인체 부분 모델을 얻는 단계; 및

입력 이미지의 차이 이미지를 계산하고, 상기 인체 부분 모델을 사용하여 상기 차이 이미지 중 대응하는 인체 부분을 검출하는 단계;

를 포함하고,

상기 인체 부분 모델을 얻는 단계는,

상기 인체 부분의 복수개의 측면들 중에서 적어도 한 쌍 이상의 측면에 대한 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 상기 인체 부분 모델을 얻는 단계

를 포함하는 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
제11항에 있어서,

상기 인체 부분을 검출하는 단계 다음에 상기 인체 부분에 대해 인체 기하학에 근거하여 오류를 제거함으로써 상기 입력 이미지의 인체 부분을 확정하는 단계를 더 포함하는 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
제11항에 있어서,

상기 차이 이미지는 상기 입력 이미지의 수평방향, 수직방향, 좌-우대각선방향 및 우-좌대각선방향에서 적어도 하나의 스케일로 계산된 차이 이미지인 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
제13항에 있어서,

상기 특징 집합을 추출하는 단계는 단일 윈도우 또는 다수 윈도우를 사용하여 상기 수평방향, 수직방향, 좌-우대각선방향 및 우-좌대각선방향 중 적어도 하나에서 특징 집합을 추출하는 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
제11항에 있어서,

상기 인체 부분은 머리부, 몸체부, 다리부, 팔부 또는 인체의 어느 일부인 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
제11항에 있어서,

상기 인체 부분이 머리부이면, 상기 머리부의 포지티브 샘플과 네거티브 샘플은 사람의 머리부의 전면, 좌반측, 좌측, 좌후반측, 후면, 우후반측, 우측 및 우반측의 포지티브 샘플과 네거티브 샘플을 포함하는 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
제16항에 있어서,

상기 인체 부분 모델은,

상기 인체 부분인 상기 머리부의 차이 이미지에 근거하여 상기 머리의 전면, 좌반측, 좌측, 좌후반측, 후면, 우후반측, 우측 및 우반측의 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 제1머리부 모델;

상기 머리부의 차이 이미지에 근거하여 상기 머리부의 전면과 후면의 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 제2머리부 모델;

상기 머리부의 차이 이미지에 근거하여 상기 머리부의 좌측 및 우측의 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 제3머리부 모델; 및

상기 머리부의 차이 이미지에 근거하여 상기 머리부의 좌후반측, 좌반측, 우후반측 및 우반측의 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 제4머리부 모델;

을 포함하는 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
제17항에 있어서,

상기 제1머리부 모델에 대응하는 검출된 머리부에 평가를 진행하여 상기 제2내지 제4머리부 모델에 대응하는 상기 머리부의 전면과 후면의 오류, 상기 머리부의 좌측과 우측의 오류 및, 상기 머리부의 좌후반측, 좌반측, 우후반측 및, 우반측의 오류를 제거하는 단계를 더 포함하는 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
제11항에 있어서,

상기 인체 부분을 검출하는 단계에서, 다수의 상이한 상기 인체 부분 모델이 가지는 상기 특징 집합의 특징수의 오름차순으로 대응 인체 부분에 대해 검출을 진행하는 것을 특징으로 하는 이미지의 인체 부분 검출 방법.
대상의 포지티브 샘플과 네거티브 샘플을 저장하는 연습 데이터베이스;

입력 이미지에 대해 차이 이미지를 계산하는 이미지 프로세서;

상기 연습 데이터베이스에 저장된 대상의 포지티브 샘플과 네거티브 샘플에 대해 상기 이미지 프로세서가 계산한 차이 이미지로부터 특징 집합을 추출하는 서브 윈도우 프로세서;

상기 특징 집합에 대해 대상 모델을 사용하여, 상기 대상 모델에 대응하는 대상을 검출하는 대상 분류기;

를 포함하고,

상기 대상 분류기는,

상기 대상의 복수개의 측면들 중에서 적어도 한 쌍 이상의 측면에 대한 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 얻은 상기 대상 모델을 사용하여 상기 대상을 검출하는 것을 특징으로 하는 이미지의 대상 검출 장치.
제20항에 있어서,

상기 이미지 프로세서는 적어도 하나의 스케일로 상기 입력 이미지를 수평 방향, 수직 방향, 좌-우대각선 방향 및 우-좌 대각선 방향의 차이 이미지로 계산하는 것을 특징으로 하는 이미지의 대상 검출 장치.
제20항에 있어서,

상기 서브 윈도우 프로세서는 단일 윈도우 또는 다수 윈도우를 사용하여 수평 방향, 수직 방향, 좌-우대각선 방향 및 우-좌 대각선 방향의 차이 이미지의 적어도 하나에서 상기 특징 집합을 추출하는 것을 특징으로 하는 이미지의 대상 검출 장치.
대상의 포지티브 샘플과 네거티브 샘플을 저장하고 상기 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 특징 집합을 추출하는 단계;

상기 추출된 특징 집합에 대해 학습을 진행하여 대상 모델을 얻는 단계; 및

입력 이미지의 차이 이미지를 계산하고, 상기 대상 모델을 사용하여 상기 차이 이미지 중 대응하는 대상을 검출하는 단계;

를 포함하고,

상기 대상 모델을 얻는 단계는,

상기 대상의 복수개의 측면들 중에서 적어도 한 쌍 이상의 측면에 대한 포지티브 샘플과 네거티브 샘플의 차이 이미지의 특징 집합에 대해 학습을 진행하여 상기 대상 모델을 얻는 단계

를 포함하는 것을 특징으로 하는 이미지의 대상 검출 방법.
제23항에 있어서,

상기 차이 이미지는 이미지의 수평방향, 수직방향, 좌-우대각선방향 및 우-좌대각선방향에서 적어도 하나의 스케일로 계산된 차이 이미지를 포함하는 것을 특징으로 하는 이미지의 대상 검출 방법.
제23항에 있어서,

상기 특징 집합을 추출하는 단계에서 단일 윈도우 또는 다수 윈도우를 사용하여 수평방향, 수직방향, 좌-우대각선방향 및 우-좌대각선방향의 차이 이미지의 적어도 하나에서 특징 집합을 추출하는 것을 특징으로 하는 이미지의 대상 검출 방법.
대상의 이미지를 촬영하는 촬영 장치;

상기 대상의 포지티브 샘플과 네거티브 샘플의 차이 이미지로부터 추출한 특징 집합에 대해 학습을 진행하여 얻는 대상 모델을 사용하여 상기 대상 모델에 대응하는 대상 영역을 상기 대상의 차이 이미지로부터 검출하는 검출 장치;

상기 검출 장치가 검출한 상기 대상의 이미지 중 상기 대상이 존재하는 상기대상 영역에 근거하여 상태 변수를 계산함으로써, 상기 대상을 상기 이미지의 중심 영역에 위치시키는 상태 변수 계산 장치;

상기 상태 변수 계산 장치로부터 상기 상태 변수를 수신하여 상태를 조정하는 제어 장치;

상기 대상의 이미지를 저장하는 저장 장치; 및

상기 대상의 이미지를 표시하는 디스플레이 장치;

를 구비하는 것을 특징으로 하는 이미지 형성 시스템.
제26항에 있어서,

사용자가 상기 대상의 이미지에 손으로 표기한 대상 구역을 상기 검출 장치에 제공하는 표기 장치를 더 구비하는 것을 특징으로 하는 이미지 형성 시스템.
제26항에 있어서,

상기 제어 장치는 상기 상태 변수에 따라 회전, 틸트, 줌 및 초점 영역 선택이라는 조작 중 어느 하나를 제어하는 것을 특징으로 하는 이미지 형성 시스템.
제26항에 있어서,

상기 제어 장치는 상기 대상이 있는 새 영역을 초점 영역으로 선택하는 것을 특징으로 하는 이미지 형성 시스템.
제26항에 있어서,

상기 제어 장치는 상기 이미지의 중심 영역을 디폴트 초점 구역으로 설정하거나, 상기 대상이 있는 새 영역을 상기 초점 구역으로 동적으로 선택하고, 상기 초점 구역의 이미지 정보에 근거하여, 줌, 초점거리, 회전 또는 틸트의 상태 변수를 제어하는 것을 특징으로 하는 이미지 형성 시스템.