KR100807625B1

KR100807625B1 - Pointer movement control method and device

Info

Publication number: KR100807625B1
Application number: KR1020060093132A
Authority: KR
Inventors: 김문수
Original assignee: 엠텍비젼 주식회사
Priority date: 2006-09-25
Filing date: 2006-09-25
Publication date: 2008-03-03
Anticipated expiration: 2026-09-25

Abstract

본 발명은 포인터 제어 방법 및 그 장치에 관한 것으로, 특히 피사체의 움직임을 이용한 포인터 제어 방법 및 그 장치에 관한 것이다. 본 발명의 일측에 따르면, 포인터 이동 제어 장치가 피사체의 움직임에 따라 포인터의 이동을 제어하는 방법에 있어서, (a) 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계; (b) 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 단계; (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계; 및 (d) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 단계를 포함하는 포인터 이동 제어 방법이 제시된다. 본 발명에 따른 포인터 이동 제어 방법 및 그 장치는 피사체 주위의 명도에 관계없이 피사체의 움직임을 추출하여 포인터를 제어할 수 있는 효과가 있다.The present invention relates to a pointer control method and apparatus, and more particularly, to a pointer control method and apparatus using a movement of a subject. According to an aspect of the present invention, a method of controlling a pointer movement according to a movement of a subject by a pointer movement control apparatus, the method comprising: (a) photographing the subject to generate first image data; (b) generating second image data by adjusting the sharpness of the first image data; (c) extracting a difference value between the first image data and the second image data and extracting a predetermined outline corresponding to one end of the subject; And (d) positioning the pointer at a coordinate corresponding to a specific position included in the predetermined outline. The pointer movement control method and apparatus according to the present invention have the effect of controlling the pointer by extracting the movement of the subject regardless of the brightness around the subject.

Description

Apparatus for controlling moving of pointer and method about

도 1은 본 발명의 바람직한 실시예에 따른 포인터 이동 제어 장치가 이동 통신 단말기에 마련된 경우를 도시한 도면.1 is a diagram illustrating a case in which a pointer movement control device according to a preferred embodiment of the present invention is provided in a mobile communication terminal.

도 2a는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 장치의 블록 구성도. Fig. 2A is a block diagram of a pointer movement control device in accordance with a first preferred embodiment of the present invention.

도 2b는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 시 사용되는 기준 휘도값에 대한 설정 방법을 도시한 도면. 2B is a diagram showing a setting method for a reference luminance value used in pointer movement control according to the first preferred embodiment of the present invention.

도 3은 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 방법의 흐름도. 3 is a flowchart of a pointer movement control method according to a first preferred embodiment of the present invention.

도 4는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 장치에 의해 생성된 이미지를 도시한 도면.4 is a view showing an image generated by the pointer movement control apparatus according to the first preferred embodiment of the present invention.

도 5는 본 발명의 바람직한 제1 실시예에 따른 배경의 명도가 큰 경우 포인터 이동 제어 장치에 의해 생성된 이미지를 도시한 도면.5 is a view showing an image generated by the pointer movement control apparatus when the background brightness is large according to the first preferred embodiment of the present invention.

도 6은 본 발명의 바람직한 제1 실시예에 따른 피사체의 모양이 원형이 아닌 경우 포인터 이동 제어 장치에 의해 생성된 이미지를 도시한 도면.6 is a view showing an image generated by the pointer movement control apparatus when the shape of the subject according to the first embodiment of the present invention is not circular.

도 7는 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치의 블 록 구성도.7 is a block diagram of a pointer movement control device according to a second preferred embodiment of the present invention.

도 8은 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 방법의 흐름도.8 is a flowchart of a pointer movement control method according to a second preferred embodiment of the present invention.

도 9는 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치에 의해 생성된 이미지를 도시한 도면. 9 is a view showing an image generated by the pointer movement control apparatus according to the second preferred embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

210 : 촬상부 213 : 필터부210: imaging unit 213: filter unit

216 : 렌즈부 219 : 이미지 센서부216: lens unit 219: image sensor unit

230 : 이미지 처리부 231 : 선명도 조절부230: image processing unit 231: sharpness adjustment unit

233 : 외곽선 추출부 235 : 감마 보정부 233: outline extraction unit 235: gamma correction unit

237 : 중심 판단부 239 : 포인터 위치 설정부237: center determination unit 239: pointer position setting unit

240 : 출력부 240: output unit

본 발명은 포인터 제어 방법 및 그 장치에 관한 것으로, 특히 피사체의 움직임을 이용한 포인터 제어 방법 및 그 장치에 관한 것이다.The present invention relates to a pointer control method and apparatus, and more particularly, to a pointer control method and apparatus using a movement of a subject.

일반적으로 디스플레이 장치는 전기적 신호를 영상 신호로 변환하여 출력하 는 장치이다. 이러한 디스플레이 장치의 종류에는 CRT(cathod ray tube), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), 유기 발광 소자(OLED : Organic Light Emitting Diodes) 디스플레이 장치 등이 있다. 각각의 디스플레이 장치는 영상 신호에 상응하는 R, G, B의 광을 출사함으로써 이미지에 상응하는 컬러를 구현한다.In general, a display device converts an electrical signal into an image signal and outputs the converted video signal. Types of such display devices include a cathode ray tube (CRT), a liquid crystal display (LCD), a plasma display panel (PDP), and an organic light emitting diode (OLED) display device. Each display device emits light of R, G, and B corresponding to an image signal to implement colors corresponding to the image.

또한, 현재 전자공학 및 통신공학의 비약적인 발전에 따라 사용자는 컴퓨터, TV 등 디지털 가전기기 또는 이동 통신 단말기 등을 이용하여 인터넷 접속, 화상 통신 및 동영상 메시지 전송, 디지털 뮤직 청취 및 위성방송 시청 등의 다양한 기능을 향유할 수 있게 되었다. 이러한 다양한 기능을 향유하기 위해 선택을 위한 효율적인 키패드 입력이 요망되고 있다. In addition, with the rapid development of electronics and communication engineering, users can use various devices such as internet access, video communication and video message transmission, digital music listening and satellite broadcasting by using digital home appliances or mobile communication terminals such as computers and TVs. I can enjoy function. In order to enjoy these various functions, efficient keypad input for selection is desired.

여기서, 반도체 기술의 발전으로 저렴한 가격에 카메라 촬상 장치의 공급이 가능하게 되어 이를 장착한 컴퓨터, 이동 통신 단말기가 보급되어 카메라 촬상 장치가 구비된 전자기기를 쉽게 접할 수 있게 되었다. Here, with the development of semiconductor technology, it is possible to supply a camera imaging device at a low price, so that a computer and a mobile communication terminal equipped with the same can be supplied to easily access electronic devices equipped with a camera imaging device.

또한, 컴퓨터를 이용한 영상 처리 기술 및 화상 인식 기술의 발달에 따라 이를 이용한 다양한 응용분야가 발전하고 있다. 이러한 다양한 응용분야 중 하나로 카메라 촬상장치를 입력수단으로 이용하여 정보를 전달하는 기술개발이 진행되고 있다. Also, with the development of computer image processing technology and image recognition technology, various application fields using the same have been developed. As one of various application fields, a technology for transferring information using a camera imaging device as an input means is being developed.

그러나, 기존의 키패드를 이용하여 메뉴 기능을 선택하여 방향키 및 선택키 등의 메뉴선택을 위한 부가적인 키(예를 들어, 이동통신 단말기의 경우 통화 버튼 및 무선 인터넷 접속 버튼, MP3 플레이어의 경우 파일 재생 버튼 및 파일 선택 버 튼 등)가 포함되어 있다. 따라서, 디지털 가전기기나 이동 통신 단말기의 제조시 이에 대한 금형 작업이 필요하며, 이러한 이유로 전자 장비의 제조공정이 복잡해지고 그 제조 단가가 상승하게 되는 문제점이 있다.However, additional keys for menu selection such as direction keys and selection keys by selecting a menu function using an existing keypad (for example, call button and wireless internet access button for a mobile communication terminal and file playback for an MP3 player). Button and file selection button). Therefore, when manufacturing a digital home appliance or a mobile communication terminal, it is necessary to work on the mold, and for this reason, there is a problem in that the manufacturing process of the electronic equipment becomes complicated and the manufacturing cost thereof increases.

본 발명은 피사체 주위의 명도에 관계없이 피사체의 움직임을 추출하여 디스플레이 상의 포인터를 제어할 수 있는 포인터 이동 제어 방법 및 그 장치를 제공한다.The present invention provides a pointer movement control method and apparatus capable of controlling a pointer on a display by extracting movement of a subject regardless of brightness around a subject.

또한, 본 발명은 피사체의 움직임을 추출하기 위해 피사체를 조명할 별도의 광원이 필요하지 않은 포인터 이동 제어 방법 및 그 장치를 제공한다.In addition, the present invention provides a method and apparatus for controlling pointer movement that does not require a separate light source to illuminate a subject in order to extract the subject's movement.

또한, 본 발명은 피사체의 움직임을 추출하기 위해 복수의 영상 프레임이 필요없는 포인터 이동 제어 방법 및 그 장치를 제공한다.In addition, the present invention provides a method and apparatus for controlling a pointer movement that does not require a plurality of image frames to extract a movement of a subject.

또한, 본 발명은 카메라 촬상장치를 이용하여 디스플레이 상의 포인터를 제어할 수 있는 포인터 이동 제어 방법 및 그 장치를 제공한다. In addition, the present invention provides a pointer movement control method and apparatus capable of controlling a pointer on a display using a camera imaging device.

또한, 본 발명은 기존의 키패드의 일부를 생략할 수 있음으로써 전자 장치의 공간적인 활용도를 높일 수 있고, 전자 장치의 소형화가 가능한 포인터 이동 제어 방법 및 그 장치를 제공한다.In addition, the present invention can omit a part of the existing keypad to increase the spatial utilization of the electronic device, and to provide a pointer movement control method and apparatus capable of miniaturization of the electronic device.

또한, 본 발명은 전자장치 제조시 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 포인터 이동 제어 방법 및 그 장치를 제공한다.In addition, the present invention provides a pointer movement control method and apparatus for simplifying the manufacturing process and reducing the manufacturing cost of the electronic device.

또한, 본 발명은 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 포인터 이동 제어 방법 및 그 장치를 제공한다.In addition, the present invention provides a pointer movement control method and apparatus for maximizing component utilization by allowing the provided camera to be used universally.

또한, 본 발명은 디스플레이 상에 표현되는 포인터 뿐만 아니라, 디스플레이가 구비되지 않은 장치에서 메뉴간 이동 또는 볼륨의 수치와 같이 선택적 기능을 제어할 수 있는 포인터 이동 제어 방법 및 그 장치를 제공한다.In addition, the present invention provides a pointer movement control method and apparatus capable of controlling an optional function, such as a menu movement or a numerical value of a volume, in a device having no display, as well as a pointer represented on a display.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Technical problems other than the present invention will be easily understood through the following description.

본 발명의 일 측면에 따르면, 포인터 이동 제어 장치가 피사체의 움직임에 따라 포인터의 이동을 제어하는 방법에 있어서, (a) 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계; (b) 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 단계; (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계; 및 (d) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 단계를 포함하는 포인터 이동 제어 방법이 제시될 수 있다.According to an aspect of the present invention, a method of controlling a pointer movement according to a movement of a subject by a pointer movement control apparatus, the method comprising: (a) photographing the subject to generate first image data; (b) generating second image data by adjusting the sharpness of the first image data; (c) extracting a difference value between the first image data and the second image data and extracting a predetermined outline corresponding to one end of the subject; And (d) positioning the pointer at a coordinate corresponding to a specific position included in the predetermined outline.

여기서, 상기 단계 (c)는 상기 차분 값을 감마 보정하는 단계를 더 포함할 수 있다. The step (c) may further include gamma correcting the difference value.

여기서, 휘도값이 기준 휘도값 보다 큰 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출할 수 있다. Here, a difference value having a luminance value greater than a reference luminance value may be extracted to extract a predetermined outline corresponding to one end of the subject.

여기서, 상기 단계 (b)에서, 상기 피사체의 이미지의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가시킴으로써 상기 제1 영상 데이터의 선명도를 조절할 수 있다. Here, in step (b), the sharpness of the first image data may be adjusted by increasing at least one of color contrast, brightness contrast, and saturation contrast of the pixels of the subject image.

또한, 본 발명의 다른 측면에 따르면, 포인터 이동 제어 장치가 피사체의 움직임에 따라 포인터의 이동을 제어하는 방법에 있어서, (a) 상기 피사체를 촬상하여 영상 데이터를 생성하는 단계; (b) 상기 영상 데이터를 감마 보정하고 기준 휘도 이상의 데이터를 추출하여 상기 영상 데이터로부터 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계; 및 (c) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 단계를 포함하는 것을 특징으로 하는 포인터 이동 제어 방법을 제시할 수 있다.According to another aspect of the present invention, a method of controlling a pointer movement according to a movement of a subject by a pointer movement control apparatus, the method comprising: (a) photographing the subject to generate image data; (b) gamma correcting the image data and extracting data having a reference luminance or more to extract a predetermined outline corresponding to one end of the subject from the image data; And (c) positioning the pointer at coordinates corresponding to a specific position included in the predetermined outline.

여기서, 상기 외곽선 내에 포함되는 특정 위치는 상기 외곽선의 무게 중심일 수 있다. Here, the specific position included in the outline may be the center of gravity of the outline.

여기서, 상기 소정의 외곽선은 곡선형이며, 상기 특정 위치에 상응하는 좌표값은 상기 곡선형의 외곽선에 의해서 결정되는 중심점의 좌표값일 수도 있다. The predetermined outline may be curved, and the coordinate value corresponding to the specific position may be a coordinate value of a center point determined by the curved outline.

여기서, 상기 단계 (b)는, 상기 곡선형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하는 단계; 및 상기 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 이용하여 상기 중심점의 좌표값을 추출하는 단계를 더 포함할 수도 있다. Wherein step (b) comprises: calculating a distance between each pixel representing the curved outline; And extracting a coordinate value of the center point by using a median value of two pixels having the largest distance of each pixel.

여기서, 상기 단계 (a)는, 상기 포인터 이동 제어 장치에 포함된 광원에서 조사되어 상기 피사체에 반사되는 광을 이용하여 상기 피사체를 촬상할 수 있다. Here, in step (a), the subject may be captured by using light reflected from the light source included in the pointer movement control device and reflected on the subject.

여기서, 상기 광원에서 조사되는 광은 적외선일 수 있다. Here, the light irradiated from the light source may be infrared rays.

여기서, 상기 적외선은 상기 포인터 이동 제어 장치에 포함된 적외선 필터를 통과할 수 있다. Here, the infrared rays may pass through an infrared filter included in the pointer movement control device.

여기서, 상기 기준 휘도값은 미리 설정된 기준 픽셀 개수에 따라서 변화할 수 있다. Here, the reference luminance value may change according to a preset number of reference pixels.

또한, 본 발명의 또 다른 측면에 따르면, 피사체의 움직임에 따라 포인터의 이동을 제어하는 장치에 있어서, 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 촬상부; 상기 촬상부에서 촬상한 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 선명도 조절부; 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 생성하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 외곽선 추출부; 및 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 포인터 위치 설정부를 포함하는 포인터 이동 제어 장치를 제시할 수 있다.Further, according to another aspect of the invention, the apparatus for controlling the movement of the pointer in accordance with the movement of the subject, comprising: an imaging unit for imaging the subject to generate first image data; A sharpness controller configured to generate second image data by adjusting the sharpness of the first image data captured by the image pickup unit; An outline extracting unit which generates a difference value between the first image data and the second image data and extracts a predetermined outline corresponding to one end of the subject; And a pointer position setting unit for positioning the pointer at a coordinate corresponding to a specific position included in the predetermined outline.

여기서, 포인터 이동 제어 장치는 상기 외곽선 추출부에서 추출한 소정의 외곽선에 대해 감마 보정하는 감마 보정부를 더 포함할 수 있다. Here, the pointer movement control device may further include a gamma correction unit for gamma correcting a predetermined outline extracted by the outline extracting unit.

여기서, 상기 선명도 조절부는 상기 제1 영상 데이터의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가시킴으로써 상기 제1 영상 데이터의 선명도를 조절할 수도 있다. The sharpness controller may adjust the sharpness of the first image data by increasing at least one of color contrast, brightness contrast, and saturation contrast of the pixels of the first image data.

또한, 본 발명의 또 다른 측면에 따르면, 피사체의 움직임에 따라 포인터의 이동을 제어하는 장치에 있어서, 상기 피사체를 촬상하여 상기 피사체의 영상 데이터를 생성하는 촬상부; 상기 영상 데이터를 감마 보정하고 기준 휘도 이상의 데이터를 추출하여 상기 영상 데이터로부터 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 외곽선 추출부; 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 포인터 위치 설정부를 포인터 이동 제어 장치를 제공할 수 있다.Further, according to another aspect of the invention, the apparatus for controlling the movement of the pointer in accordance with the movement of the subject, the image pickup unit for imaging the subject to generate the image data of the subject; An outline extracting unit configured to gamma correct the image data and extract data having a reference luminance or more to extract a predetermined outline corresponding to one end of the subject from the image data; A pointer movement setting unit for positioning the pointer at a coordinate corresponding to a specific position included in the predetermined outline may be provided.

여기서, 포인터 이동 제어 장치는 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표를 구하는 중심 판단부를 더 포함할 수 있다. Here, the pointer movement control device may further include a center determination unit for obtaining coordinates corresponding to a specific position included in the predetermined outline.

여기서, 상기 외곽선의 무게 중심은 하기 식에 의해 산출될 수 있다. Here, the center of gravity of the outline may be calculated by the following equation.

여기서,

은 무게 중심, M은 상기 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, m_i는 상기 외곽선을 나타내는 각 픽셀 휘도값,

는 상기 외곽선을 나타내는 픽셀의 좌표값임. here,

Is the center of gravity, M is the sum of the luminance values of the pixels representing the outline, m _i is the luminance value of each pixel representing the outline,

Is the coordinate value of the pixel representing the outline.

여기서,

은 무게 중심, n은 상기 외곽선을 나타내는 픽셀의 개수,

는 상기 외곽선을 나타내는 픽셀의 좌표값임. here,

Is the center of gravity, n is the number of pixels representing the outline,

Is the coordinate value of the pixel representing the outline.

여기서, 상기 소정의 외곽선은 곡선형이며, 상기 특정 위치에 상응하는 좌표값은 상기 곡선형의 외곽선에 의해서 결정되는 중심점의 좌표값일 수도 있다.The predetermined outline may be curved, and the coordinate value corresponding to the specific position may be a coordinate value of a center point determined by the curved outline.

여기서, 상기 피사체는 상기 촬상부와 비접촉될 수 있다. Here, the subject may be in non-contact with the imaging unit.

여기서, 상기 피사체는 상기 포인터 이동 제어 장치를 사용하는 사용자의 손가락일 수 있다. Here, the subject may be a user's finger using the pointer movement control device.

여기서, 포인터 이동 제어 장치는 상기 촬상부의 주변에 마련되며, 상기 피사체에 광을 조사하는 광원을 더 포함할 수 있다. Here, the pointer movement control device may be provided around the image pickup unit, and further include a light source for irradiating light to the subject.

여기서, 상기 광원에서 조사되는 광은 적외선일 수 있으며, 포인터 이동 제어 장치는 상기 광원에서 조사되는 적외선만을 통과시키는 적외선 필터를 더 포함할 수 있다. Here, the light irradiated from the light source may be infrared rays, and the pointer movement control device may further include an infrared filter passing only the infrared rays irradiated from the light source.

이하, 본 발명에 따른 포인터 이동 제어 방법 및 그 장치의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 발명에 기재된 포인터는 디스플레이 상에 표현되는 포인터 뿐만 아니라, 디스플레이가 구비되지 않은 장치에서 메뉴간 이동 또는 볼륨의 수치와 같이 선택적 기능을 하는 모든 기능을 의미한다. 즉, 본 발명은 디스플레이 상에 포인터를 구비한 경우(예를 들면, 컴퓨터, 이동 통신 단말기, PDA 등)에서 디스플레이 상의 포인터를 제어하는 방법뿐만 아니라 및 디스플레이가 구비되지 않은 장치(예를 들면, 라디오, MP3 플레이어 등)에서 메뉴/기능 간 이동/선택을 제어하는 방법에 모두 적용가능하며, 이하에서는 설명의 편의상 이동 통신 단말기의 디스플레이를 중심으로 설명한다.Hereinafter, a preferred embodiment of the pointer movement control method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings, and in the following description with reference to the accompanying drawings, the same components regardless of reference numerals the same reference numerals. And duplicate description thereof will be omitted. In the following description of the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the pointer described in the present invention means not only a pointer expressed on the display, but also all functions that perform an optional function such as moving between menus or numerical values of a volume in a device without a display. That is, the present invention is not only a method of controlling a pointer on a display in a case where a pointer is provided on the display (for example, a computer, a mobile terminal, a PDA, etc.) and an apparatus (eg, a radio) that is not equipped with a display. , MP3 player, etc.) may be applied to a method of controlling movement / selection between menus / functions. Hereinafter, for convenience of description, the display of the mobile communication terminal will be described.

도 1은 본 발명의 바람직한 실시예에 따른 포인터 이동 제어 장치가 폴더형 이동 통신 단말기에서 마련되는 경우를 도시한 도면이다. 도 1을 참조하면, 이동 통신 단말기(100)는 촬상부(110), 광원부(120(1), 120(2)), 키패드부(130)를 포함하며, 움직임 추출을 위한 피사체(예를 들면, 사용자 손가락)(140)가 도시된다. 1 is a diagram illustrating a case in which a pointer movement control device according to an embodiment of the present invention is provided in a folder type mobile communication terminal. Referring to FIG. 1, the mobile communication terminal 100 includes an image capturing unit 110, a light source unit 120 (1, 120 (2)), and a keypad unit 130. User finger) 140 is shown.

광원부(120(1), 120(2))는 소정의 광을 인체의 특성부위(예를 들어, 손가락 단부)(140)에 조사한다. 광원부(120(1), 120(2))에서 출사된 광이 피사체(140)에서 반사하여 촬상부(110)에 입사할 수 있도록 광원부(120(1), 120(2))의 수 및 위치가 정해질 수 있다. 예를 들면, 광원부(120(1), 120(2))는 촬상부(110)의 주변에 형성될 수 있으며, 그 수는 도 1에 도시된 바와 같이 2개로 구현될 수 있으나, 본 발명이 이에 한정되는 것이 아님은 당연하다. 또한, 피사체(140)의 위치는 광원부(120(1), 120(2))에서 출사된 광을 반사하는 위치가 될 수 있으며, 촬상부(110) 또는 이동 통신 단말기(100)에 접촉되거나 비접촉(무접점)될 수 있다. 또한, 다른 실시예에 의하면, 별도의 광원부(120(1), 120(2))가 구비되지 않고, 이동 통신 단말기(100)의 디스플레이에서 조사된 후 피사체(140)에서 반사하여 촬상부(110)에 입사되는 광을 이용하여 본 발명이 수행될 수도 있다. The light source units 120 (1) and 120 (2) irradiate predetermined light (eg, fingertips) 140 to a characteristic part of the human body. Number and positions of the light source parts 120 (1) and 120 (2) so that the light emitted from the light source parts 120 (1) and 120 (2) can be reflected from the subject 140 and enter the imaging part 110. Can be determined. For example, the light source units 120 (1) and 120 (2) may be formed around the imaging unit 110, and the number of the light source units 120 (1) and 120 (2) may be implemented as two as shown in FIG. 1. Of course, this is not limited. In addition, the position of the subject 140 may be a position that reflects the light emitted from the light sources 120 (1) and 120 (2), and may be in contact with or not in contact with the imaging unit 110 or the mobile communication terminal 100. Can be (no contact). In addition, according to another embodiment, the separate light source unit 120 (1), 120 (2) is not provided, and irradiated by the display of the mobile communication terminal 100 and then reflected by the subject 140 to capture the imaging unit 110. The present invention may be performed by using light incident on the?

광원부(120(1), 120(2))에서 조사된 광은 피사체(140)에서 반사되어 촬상부(110)에 계속적으로 입사되며, 촬상부(110)는 피사체(140)에 대한 이미지를 생성한다. 생성된 피사체의 이미지는 영상 처리되어 피사체(140)의 움직임이 추출되며, 추출된 피사체(140)의 움직임에 상응하여 이동 통신 단말기(100)에 마련된 디스플레이에 표시되는 포인터의 이동을 제어한다. 여기서, 디스플레이에 표시되는 포인터는 소정의 형상(화살표 형상 등)을 가지는 포인터 또는 커서가 될 수도 있고, 별도로 표시는 되지 않지만, 디스플레이 상에 표시되는 버튼, 숫자, 도형 등의 선택(음영을 포함한다) 기능을 수행하기 위해 디스플레이 상에서 이동하는 다양한 형태를 포함할 수 있다. The light irradiated from the light sources 120 (1) and 120 (2) is reflected from the subject 140 and continuously enters the imaging unit 110, and the imaging unit 110 generates an image of the subject 140. do. The generated image of the subject is image-processed to extract the movement of the subject 140, and controls the movement of the pointer displayed on the display provided in the mobile communication terminal 100 corresponding to the extracted movement of the subject 140. Here, the pointer displayed on the display may be a pointer or a cursor having a predetermined shape (arrow shape, etc.), and is not separately displayed, but selection of buttons, numbers, figures, etc. displayed on the display (including shadows). ) May include various forms that move on the display to perform a function.

또한, 다른 실시예에 의하면, 추출된 피사체(140)의 움직임에 상응하여 각 프레임에서 특정 휘도 성분으로 표시되는 포인터가 해석되고, 연속된 프레임에서 해당 포인터의 이동 궤적으로 특성벡터가 해석될 수 있으며, 해석된 특성벡터에 상응하도록 저장된 메뉴 기능이 실행될 수도 있다. 예를 들면, 추출된 피사체(140)의 움직임이 상하, 좌우로 파악되거나 특정 형태(예를 들면, 원형, 삼각형, 사각형 등)로 파악되는 경우 이러한 움직임에 상응하여 미리 설정된 기능이 실행될 수 있다. 즉, 본 발명의 실시예에 따라 추출된 피사체(140)의 움직임은 디스플레이에서 커서의 이동을 제어할 수도 있으며, 소정의 움직임 벡터를 추출하여 미리 지정된 메뉴를 실행할 수도 있다. In addition, according to another embodiment, a pointer represented by a specific luminance component in each frame is interpreted according to the movement of the extracted subject 140, and a characteristic vector may be interpreted as a movement trajectory of the pointer in successive frames. In addition, the stored menu function may be executed to correspond to the analyzed characteristic vector. For example, when the movement of the extracted subject 140 is grasped up and down, left and right, or in a specific form (for example, a circle, a triangle, a square, etc.), a function preset in response to the movement may be executed. That is, according to an embodiment of the present invention, the movement of the extracted subject 140 may control the movement of the cursor on the display, or may extract a predetermined motion vector and execute a predetermined menu.

이 경우 별도의 기능 버튼(또는 버튼 입력의 조합)에 의해 메뉴를 달리 정할 수도 있다. 예를 들면, * 버튼이 눌려진 상태에서 추출된 피사체(140)의 움직임과 # 버튼이 눌려진 상태에서의 추출된 피사체(140)의 움직임에 따라 서로 다른 기능을 수행하도록 설정할 수 있다. In this case, the menu may be differently determined by a separate function button (or a combination of button inputs). For example, it may be set to perform different functions according to the movement of the extracted subject 140 in the state where the * button is pressed and the movement of the extracted subject 140 in the state where the # button is pressed.

또한, 키패드부(130)는 버튼 방식 또는 터치 스위치 등 다양한 방식으로 구현되어, 숫자, 문자, 특수 기호 등을 사용자가 입력할 수 있도록 한다. In addition, the keypad 130 is implemented in various ways such as a button method or a touch switch, so that the user can input numbers, letters, special symbols, and the like.

이상에서 포인터 이동 제어 장치를 일반적으로 도시한 도면을 설명하였으며, 이하에서는 첨부 도면을 참조하여, 피사체(140)로부터 추출된 영상 데이터를 이용하여 피사체(140)의 일단의 특정 위치에 상응하는 좌표값을 디스플레이의 포인터에 대응시키는 방법 및 그 장치를 설명한다. 본 발명에 따른 실시예는 크게 2가지로 구분되는데, 첫째, 피사체(140)를 촬상하여 생성된 영상 데이터의 선명도를 조절하여 선명도가 서로 다른 프레임으로부터 피사체(140)의 일단의 외곽선을 추출하는 방법, 둘째, 피사체(140)를 촬상하여 생성된 영상 데이터를 감마 보정하여 피사체(140)의 일단의 외곽선을 추출하는 방법으로 나뉜다. 이하에서 차례대로 설명한다. In the above description, a general drawing of a pointer movement control apparatus has been described. Hereinafter, a coordinate value corresponding to a specific position of one end of the subject 140 using image data extracted from the subject 140 will be described with reference to the accompanying drawings. A method and an apparatus for mapping the symbol to a pointer of a display will be described. Embodiments according to the present invention can be broadly classified into two types. First, a method of extracting an outline of one end of a subject 140 from a frame having different clarity by adjusting the sharpness of image data generated by capturing the subject 140. Second, the image data generated by capturing the subject 140 may be gamma-corrected to extract an outline of one end of the subject 140. It demonstrates in order below.

도 2a는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 장치의 블록 구성도이다. 도 2a를 참조하면, 포인터 이동 제어 장치는 촬상부(210), 이미지 처리부(230) 및 디스플레이부(240)를 포함할 수 있으며, 촬상부(210)는 광원부(211), 필터부(213), 렌즈부(216) 및 이미지 센서부(219)를 포함할 수 있으며, 이미지 처리부(230)는 선명도 조절부(231), 외곽선 추출부(233), 감마 보정부(235), 중심 판단부(237) 및 포인터 위치 설정부(239)를 포함할 수 있다. 2A is a block diagram of a pointer movement control device according to a first embodiment of the present invention. Referring to FIG. 2A, the pointer movement control apparatus may include an imaging unit 210, an image processor 230, and a display unit 240, and the imaging unit 210 may include a light source unit 211 and a filter unit 213. , The lens unit 216 and the image sensor unit 219, and the image processor 230 may include a sharpness controller 231, an outline extractor 233, a gamma corrector 235, and a center determiner ( 237 and the pointer position setting unit 239.

피사체로부터 입사된 광은 필터부(213) 및 렌즈부(216)를 경유하여 이미지 센서부(219)로 조사될 수 있다. 필터부(213)는 특정 파장의 광만을 통과시킴으로써 피사체의 움직임을 정확히 측정할 수 있도록 한다. 즉, 본 발명의 일실시예에 따른 포인터 이동 제어 장치가 광원부(211)를 포함하는 경우 광원부(211)는 특정의 파장을 가지는 광을 출력할 수 있고, 이러한 광은 피사체에서 반사하여 필터부(213)를 통과함으로서 주위의 노이즈로 작용할 수 있는 다른 파장의 광을 차단할 수 있는 효과가 있다. 예를 들면, 광원부(211)는 적외선을 출사하고, 필터부(213)는 적외선만을 통과할 수 있도록 하는 기능을 수행할 수 있다. 여기서, 본 발명에 이용될 수 있는 적외선은 태양광에서 상대적으로 비율이 작은 광이 될 수 있으며, 예를 들면, 적외선의 파장은 솔라 스펙트럼에서 상대적으로 광량이 작은 광의 파장인 900~980nm, 1080~1180nm, 1325~1425nm, 1800~2000nm 등이 될 수 있다.Light incident from the subject may be irradiated to the image sensor unit 219 via the filter unit 213 and the lens unit 216. The filter unit 213 passes only the light of a specific wavelength so that the movement of the subject can be accurately measured. That is, when the pointer movement control apparatus according to the embodiment of the present invention includes the light source unit 211, the light source unit 211 may output light having a specific wavelength, and the light is reflected from the subject to filter unit ( By passing through 213, it is possible to block light of other wavelengths that may act as ambient noise. For example, the light source unit 211 may emit infrared light, and the filter unit 213 may perform a function of allowing only infrared light to pass therethrough. Here, the infrared rays that can be used in the present invention may be a light having a relatively small proportion in the sunlight, for example, the wavelength of the infrared light is 900 ~ 980nm, 1080 ~ a wavelength of light having a relatively small amount of light in the solar spectrum 1180nm, 1325 ~ 1425nm, 1800 ~ 2000nm and so on.

여기서, 필터부(213)가 포함되는 경우를 설명하고 있으나 필터부(213)가 포함되지 않고 피사체로부터 조사되는 모든 광을 이용하여 본 발명이 적용될 수 있음은 당연하다. 렌즈부(216)는 필터부(213)를 통과한 광을 이미지 센서부(219)로 집속하는 기능을 수행할 수 있다. Here, although the case in which the filter unit 213 is included has been described, it is obvious that the present invention can be applied using all the light irradiated from the subject without including the filter unit 213. The lens unit 216 may perform a function of focusing the light passing through the filter unit 213 to the image sensor unit 219.

이미지 센서부(219)는 CMOS(Complementary metal oxide semiconductor) 이미 지 센서 또는 CCD(charge coupled device) 이미지 센서가 될 수 있다. CMOS(Complementary metal oxide semiconductor) 이미지 센서는 포토 다이오드(photo diode)를 포함하는 다수의 단위 픽셀로 구성되고, 센서에서 출력되는 신호는 디지털 전기 신호로서 이러한 단위 픽셀은 제어 회로 및 신호 처리에 의해 구동된다. CCD(charge coupled device) 이미지 센서는 다수개의 MOS 캐패시터를 포함하며, 이러한 MOS 캐패시터에 전하(캐리어)를 이동시킴으로써 아날로그 전기 신호를 출력하여 동작된다. The image sensor unit 219 may be a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor. A complementary metal oxide semiconductor (CMOS) image sensor is composed of a plurality of unit pixels including a photo diode, and the signal output from the sensor is a digital electrical signal, which unit pixel is driven by a control circuit and signal processing. . A charge coupled device (CCD) image sensor includes a plurality of MOS capacitors, and is operated by outputting an analog electric signal by moving charges (carriers) to the MOS capacitors.

이러한 이미지 센서부(219)는 광을 감지할 수 있는 복수의 픽셀들을 가지고 있다. 따라서 피사체가 위치한 좌표값에 대응되는 광이 입사되는 위치를 감지하여 디스플레이부(240)의 포인터를 이동시키기 위해 해당 좌표값을 산출할 수 있도록 한다.The image sensor unit 219 has a plurality of pixels capable of sensing light. Therefore, by detecting a position where light corresponding to the coordinate value at which the subject is located, the coordinate value can be calculated to move the pointer of the display unit 240.

이미지 처리부(230)는 이미지 센서부(219)에서 인식한 피사체의 영상 데이터로부터 피사체의 움직임에 상응하는 좌표값을 추출한다. 이를 자세히 살펴보면, 선명도 조절부(231)는 촬상된 피사체의 제1 영상 데이터의 선명도를 조절하여 제1 영상 데이터와 다른 제2 영상 데이터를 생성한다. 즉, 선명도 조절부(231)는 촬상된 피사체의 제1 영상 데이터의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가시킴으로써 선명도를 조절할 수 있다.The image processor 230 extracts coordinate values corresponding to the movement of the subject from the image data of the subject recognized by the image sensor 219. In detail, the sharpness controller 231 adjusts the sharpness of the first image data of the photographed subject to generate second image data different from the first image data. That is, the sharpness controller 231 may adjust the sharpness by increasing at least one of color contrast, brightness contrast, and saturation contrast of pixels of the first image data of the photographed subject.

여기서, 이미지의 선명도(鮮明度, sharpness)는 이미지의 명암 경계 부분의 명확도를 나타내는 것으로서, 피사체의 이미지의 선명도가 증가하면, 경계 부분의 명확도가 증가하기 때문에 피사체를 촬상한 이미지에서 소정의 피사체만의 외곽선 (또는 윤곽(edge))을 파악하기 용이한 장점이 있다. 즉, 선명도가 높은 픽셀에 대해서 색상 대비, 명도 대비 및 채도 대비 중 어느 하나를 증가시킴으로써 선명도를 증가시킬 수 있다. 여기서, 렌즈부(216)의 심도(depth of field)에 따라서, 즉, 렌즈부(216)에 의해 형성되는 피사체의 상이 뚜렷하게 보일 수 있는 범위안에서 피사체의 이미지의 선명도가 달리 표현될 수 있다. 일반적으로, 렌즈부(216)의 초점 거리와 유사한 거리에 위치한 피사체의 외곽선은 선명도가 크지만, 렌즈부(216)의 초점 거리와 먼 거리에 위치한 배경은 선명도가 작게 된다. Here, the sharpness of the image indicates the clarity of the contrast boundary portion of the image, and when the sharpness of the image of the subject increases, the clarity of the boundary portion increases, so that a predetermined amount of the image of the subject is taken. There is an advantage that it is easy to identify the outline (or edge) of the subject only. That is, the sharpness may be increased by increasing any one of color contrast, brightness contrast, and saturation contrast with respect to pixels having high sharpness. Here, the sharpness of the image of the subject may be expressed differently according to the depth of field of the lens unit 216, that is, within the range in which the image of the subject formed by the lens unit 216 can be clearly seen. In general, the outline of the subject located at a distance similar to the focal length of the lens unit 216 has a high sharpness, but the background located far from the focal length of the lens unit 216 has a low sharpness.

본 발명의 제1 실시예에 따른 선명도 조절부(231)를 이용하는 경우 렌즈부(216)의 초점 거리와 유사한 거리에 위치한 피사체의 외곽선은 선명도가 더 증가할 것이나, 렌즈부(216)의 초점 거리와 먼 거리에 위치한 배경은 선명도가 더 작게 될 수 있다. 따라서, 선명도 조절부(231)에 의해 피사체의 외곽선은 배경보다 선명도가 더 커지게 되므로, 이를 파악하여 이용하기가 더 용이하게 될 수 있다. In the case of using the sharpness adjusting unit 231 according to the first embodiment of the present invention, the outline of the subject located at a distance similar to the focal length of the lens unit 216 will further increase the sharpness, but the focal length of the lens unit 216 is increased. Backgrounds that are far away from each other may have less sharpness. Accordingly, since the sharpness of the subject is increased by the sharpness adjusting unit 231 than the background, it may be easier to grasp and use it.

외곽선 추출부(233)는 피사체를 촬상하여 생성한 제1 영상 데이터와 이를 영상 처리한 제2 영상 데이터의 차분 값을 추출하여 피사체의 외곽선을 추출한다. 즉, 선명도 조절부(231)에서 생성된 선명도가 높은 제2 영상 데이터와 촬상된 피사체의 제1 영상 데이터의 차분 값은 피사체의 외곽선을 나타낼 수 있다. 추출되는 피사체의 외곽선은 촬상부(210)에 인접한 피사체의 일단의 외곽선이 될 수 있다. The outline extractor 233 extracts the difference between the first image data generated by photographing the subject and the second image data processed by the subject, and extracts the outline of the subject. That is, a difference value between the second image data having high sharpness generated by the sharpness controller 231 and the first image data of the photographed subject may represent an outline of the subject. The outline of the extracted subject may be an outline of one end of the subject adjacent to the image pickup unit 210.

여기서, 휘도값이 미리 설정된 문턱값(또는 기준 휘도값) 보다 큰 차분 값을 추출하여 피사체의 일단에 상응하는 외곽선을 추출할 수 있다. 기준 휘도값은 피사체 외의 배경으로부터 촬상부(210)에 들어오는 광에 의해 발생하는 노이즈를 제거 할 수 있게 한다. 즉, 선명도 조절부(231)에 의해 생성된 제2 영상 데이터의 선명도는 피사체의 영상 데이터뿐만 아니라 배경 영상 데이터에 대해서도 조절될 수 있으므로, 차분 값이 기준 휘도값 이상인 영상 데이터에 대해서만 외곽선으로 인식함으로써 피사체 인식 효율성을 높일 수 있다. 여기서, 기준 휘도값은 고정될 수도 있고, 소정의 휘도값 이상을 가지는 픽셀의 수에 따라서 변화할 수도 있으며, 이에 대한 자세한 설명은 도 2b에서 서술한다. Here, an outline corresponding to one end of the subject may be extracted by extracting a difference value having a luminance value greater than a preset threshold (or reference luminance value). The reference luminance value may remove noise generated by light entering the imaging unit 210 from a background other than the subject. That is, since the sharpness of the second image data generated by the sharpness controller 231 may be adjusted not only for the image data of the subject but also for the background image data, only the image data having a difference value greater than or equal to the reference luminance value is recognized as an outline. The efficiency of subject recognition can be improved. Here, the reference luminance value may be fixed or may vary according to the number of pixels having a predetermined luminance value or more, which will be described in detail with reference to FIG. 2B.

감마 보정부(235)는 피사체의 영상 데이터를 감마 보정한다. 여기서, 영상의 감마(Gamma)는 일반적으로 텔레비전, 카메라, 수상기, 팩스 송수신기 등의 광전 변환계 또는 전광(電光) 변환계에서 입출력 특성을 양(兩) 대수축으로 표시하였을 때 직선 부분의 경사이다. 즉, 텔레비전에서는 피사체 휘도에 대한 카메라 출력 전압과 수상부 입력 전압에 대한 음극선관 휘도와의 대수비를 표시한다. 본 발명의 실시예에 따른 감마 보정에 의해서 각 픽셀의 휘도값을 달리할 수 있으므로, 피사체의 선명도가 큰 부분만 표시되고, 나머지 선명도가 작음 부분은 흑색으로 남게 된다. 따라서, 피사체를 촬상한 이미지에서 소정의 피사체의 윤곽만 밝게 표시됨으로써 이를 이용하여 피사체의 이동 여부를 판단할 수 있다.The gamma correction unit 235 gamma-corrects image data of the subject. Here, gamma of an image is generally a slope of a straight line when the input / output characteristic is displayed by positive and large contractions in a photoelectric conversion system or an all-optical conversion system such as a television, a camera, a receiver, a fax transceiver, and the like. . That is, the television displays the logarithmic ratio between the camera output voltage for the object luminance and the cathode ray tube luminance for the image input unit voltage. Since gamma correction according to an exemplary embodiment of the present invention may change the luminance value of each pixel, only a portion of the sharpness of the subject is displayed, and a portion of the remaining sharpness remains black. Therefore, only the outline of the predetermined subject is displayed brightly in the image photographing the subject, so that it may be determined whether the subject is moved or not.

중심 판단부(237)는 감마 보정된 이미지로부터 소정의 외곽선을 추적하고, 소정의 외곽선에 의해 정해지는 좌표값을 추출할 수 있다. 여기서, 소정의 외곽선은 다양한 형태를 가질 수 있으며, 예를 들면, 원형의 외곽선일 수 있고, 소정의 외곽선에 의해 정해지는 좌표값은 원형의 외곽선에 의해서 결정되는 중심점, 즉, 원의 중심의 좌표값이 될 수 있다. 일반적으로 움직임 추출을 위해 사용되는 피사 체가 사용자는 손가락의 일단이 될 수 있으므로, 손가락의 일단인 원형의 외곽선을 추출함으로써, 피사체의 움직임을 산출할 수 있다. The center determiner 237 may track a predetermined outline from the gamma corrected image and extract a coordinate value determined by the predetermined outline. Here, the predetermined outline may have a variety of forms, for example, may be a circular outline, the coordinate value determined by the predetermined outline is a center point determined by the circular outline, that is, the coordinates of the center of the circle Can be a value. In general, a subject used for extracting a motion may be one end of a user's finger. Accordingly, the subject's motion may be calculated by extracting a circular outline that is one end of the finger.

중심 판단부(237)는 감마 보정부(235)에 의해 추출된 피사체의 외곽선이 형성하는 도형의 내부에 위치한 특정 좌표를 산출한다. 이러한 특정 좌표를 산출하는 방법은 여러 가지가 있을 수 있으며, 예를 들면, 무게 중심 또는 중심점의 좌표값을 추출할 수 있다. The center determiner 237 calculates specific coordinates located inside the figure formed by the outline of the object extracted by the gamma corrector 235. There may be a variety of methods for calculating the specific coordinates, for example, it is possible to extract the coordinates of the center of gravity or the center point.

피사체의 외곽선이 형성하는 도형의 내부에 위치한 특정 좌표인 무게 중심은 다음과 같은 수학식에 의해 산출될 수 있다. The center of gravity, which is a specific coordinate located inside the figure formed by the outline of the subject, may be calculated by the following equation.

(1)

(One)

(2)

(3)

여기서, R은 무게 중심, M은 피사체의 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, m_i는 피사체의 외곽선을 나타내는 각 픽셀의 휘도값, r_i는 상기 외곽선을 나타내는 픽셀의 좌표값이다. 아래 첨자 x, y는 각각 X축과 Y축에 해당하는 값임을 나타내며, 식 (3)은 식 (1)과 식 (2)에 대한 벡터 표현이다. Here, R is the center of gravity, M is the sum of the luminance values of pixels representing the outline of the subject, m _i is the luminance value of each pixel representing the outline of the subject, and r _i is the coordinate value of the pixel representing the outline. The subscripts x and y indicate the values corresponding to the X and Y axes, respectively, and Equation (3) is a vector representation of Equation (1) and (2).

또한, 중심 판단부(237)가 상술한 수학식에 의하여 피사체의 중심점을 판단하는 경우에는 기준 픽셀의 휘도값을 모두 반영하여야 하므로 연산량이 많아지게 되어 포인터 이동 제어 장치의 전반적인 기능을 저하시키는 문제점이 발생할 수 있다. 따라서, 다른 실시예에 따르면, 피사체의 외곽선이 형성하는 도형의 내부에 위치한 특정 좌표인 무게 중심은 다음과 같은 수학식에 의해서도 산출될 수 있다.In addition, when the center determination unit 237 determines the center point of the subject by the above-described equation, since the luminance values of the reference pixels must all be reflected, the amount of calculation increases, thereby reducing the overall function of the pointer movement control apparatus. May occur. Therefore, according to another embodiment, the center of gravity, which is a specific coordinate located inside the figure formed by the outline of the subject, may also be calculated by the following equation.

(4)

(5)

(6)

여기서, R은 무게 중심, ri는 상기 외곽선을 나타내는 픽셀의 좌표값, n은 상기 외곽선을 나타내는 픽셀의 개수이다. 아래 첨자 x, y는 각각 X축과 Y축에 해당하는 값임을 나타내고, 식 (6)은 식 (4)와 식 (5)에 대한 벡터 표현이다. 즉, 중심 판단부(237)는 픽셀의 휘도값을 반영하지 않고 피사체의 중심점을 판단할 수 있다. 이는 각 픽셀의 휘도값은 큰 차이가 없을 것이므로 중심 판단부(237)는 이에 대한 반영을 하지 아니하고 외곽선을 나타내는 픽셀의 좌표값의 평균값을 피사체의 중심점으로 산출할 수 있다.Here, R is the center of gravity, ri is the coordinate value of the pixel representing the outline, n is the number of pixels representing the outline. Subscripts x and y represent values corresponding to the X and Y axes, respectively, and Equation (6) is a vector representation of Equation (4) and (5). That is, the center determination unit 237 may determine the center point of the subject without reflecting the luminance value of the pixel. Since the luminance value of each pixel will not be significantly different, the center determination unit 237 may calculate the average value of the coordinate values of the pixels representing the outline as the center point of the subject without reflecting the same.

또는, 피사체의 외곽선이 곡선형인 경우 그 곡률 반경을 산출하고, 해당 곡률 반경에 상응하는 중심점의 좌표값을 추출할 수 있다. 만약, 소정의 외곽선이 사각형인 경우 사각형의 대각선이 만나는 좌표값이 소정의 외곽선에 의해 정해지는 좌표값이 될 수도 있으며, 다른 다각형인 경우에는 서로 마주보는 꼭지점을 이은 둘 이상의 선이 만나는 좌표값이 될 수도 있다. 예를 들면, 곡선형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하여, 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 상기 중심점의 좌표값으로 할 수 있다. 또한, 다른 예를 들면, 이러한 중간값은 2차원 디스플레이의 경우 X축과 Y축에 대한 좌표값으로 나타내질 수 있으며, X축 또는 Y축에 대한 좌표값의 차이가 가장 큰 두 픽셀간의 중간값을 중심점의 좌표값으로 할 수도 있다. Alternatively, when the outline of the subject is curved, the radius of curvature may be calculated and the coordinate value of the center point corresponding to the radius of curvature may be extracted. If the predetermined outline is a rectangle, the coordinate value where the diagonal of the rectangle meets may be a coordinate value determined by the predetermined outline. In the case of another polygon, the coordinate value where two or more lines connecting vertices facing each other are met May be For example, the distance between each pixel representing the curved outline may be calculated, and the median value of the two pixels having the largest calculated distance of each pixel may be used as the coordinate value of the center point. In another example, the intermediate value may be represented by coordinate values for the X and Y axes in the case of a two-dimensional display, and the intermediate value between the two pixels having the largest difference in the coordinate values for the X axis or the Y axis. Can also be used as the coordinate of the center point.

포인터 위치 설정부(239)는 산출된 특정 좌표에 디스플레이부(240)의 포인터가 위치되도록 제어한다. 즉, 포인터의 위치가 특정 좌표, 예를 들면, 피사체의 외곽선에 대한 무게 중심 또는 중심점의 좌표값에 특정된다. 또한, 디스플레이부(240)가 구비되지 않은 장치에서는 메뉴를 선택하거나 볼륨을 높이는 등의 기능이 수행될 수 있다. 즉, 산출된 특정 좌표가 미리 설정된 픽셀보다 상부에 위치하는 경우 현재 선택된 메뉴의 이전 메뉴를 선택하거나, 산출된 특정 좌표가 미리 설정된 픽셀보다 우측에 위치하는 경우 볼륨을 높이는 등의 기능을 수행할 수 있다.The pointer position setting unit 239 controls the pointer of the display unit 240 to be positioned at the calculated specific coordinates. That is, the position of the pointer is specified in a specific coordinate, for example, a coordinate value of the center of gravity or the center point with respect to the outline of the subject. In addition, in a device without the display unit 240, a function such as selecting a menu or increasing a volume may be performed. That is, when the calculated specific coordinates are located above the preset pixels, the user may select a previous menu of the currently selected menu or, when the calculated specific coordinates are located to the right of the preset pixels, increase the volume. have.

이하에서는, 상기 소정의 외곽선이 원형인 경우를 중심으로 설명한다. Hereinafter, the case where the predetermined outline is circular will be described.

도 2b는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 시 사용되는 기준 휘도값에 대한 설정 방법을 도시한 도면이다. 제1 기준 휘도값(250), 제1 기준 픽셀 개수의 시점(253), 제1 휘도 하한값(255), 제1 기준 픽셀 개수 에 상응하는 휘도 범위(a), 제2 기준 휘도값(260), 제2 기준 픽셀 개수의 시점(263), 제2 휘도 하한값(265), 제2 기준 픽셀 개수 에 상응하는 휘도 범위(b)가 도시된다. 여기서, 제1 또는 제2는 기준 픽셀 개수가 다른 경우인 두가지 실시예를 설명하기 위해서 사용되었으며, 이하에서는 이를 생략하고 통칭하여 설명하기로 한다. 2B is a diagram illustrating a method for setting a reference luminance value used in pointer movement control according to the first embodiment of the present invention. The first reference luminance value 250, the time point 253 of the first reference pixel number, the first luminance lower limit value 255, the luminance range a corresponding to the first reference pixel number, and the second reference luminance value 260. The luminance range b corresponding to the viewpoint 263 of the second reference pixel number, the second luminance lower limit 265, and the second reference pixel number is illustrated. Here, the first or the second is used to describe two embodiments in which the number of reference pixels is different, and will be omitted and collectively described below.

기준 휘도값(250 또는 260)은 피사체의 외곽선을 추출하기 위해 각 픽셀의 휘도값과 비교하기 위해 마련된다. 이하에서는, 이미지 센서부(219)의 해상도가 640*480(가로*세로)이고, 각 픽셀의 휘도값이 0 부터 255 사이에 구성된 경우를 가정한다. 휘도값이 '0'인 경우는 가장 어두운 경우이므로 검정색일 것이고, 휘도값이 '255'인 경우는 가장 밝은 경우이므로 흰색으로 표현될 것이다. The reference luminance value 250 or 260 is provided to compare the luminance value of each pixel to extract the outline of the subject. In the following, it is assumed that the resolution of the image sensor unit 219 is 640 * 480 (horizontal * vertical), and the luminance value of each pixel is configured between 0 and 255. When the luminance value is '0', it will be black because it is the darkest case, and when the luminance value is '255', it will be expressed as white because it is the brightest case.

또한, 도 2b를 참조하면, 기준 휘도값(250 또는 260)은 소정의 휘도값 이상을 가지는 픽셀의 수에 따라서 변화할 수 있다. 외곽선 추출부(233)는 피사체의 외곽선에 대응되는 픽셀을 추출하기 위하여 기준 픽셀 개수를 설정하고 휘도값이 큰 픽셀을 추출할 수 있다. 예를 들면, 연산량을 고려해서 설정된 기준 픽셀 개수가 10000개인 경우 미리 마련된 버퍼에 저장된 히스토그램에서 휘도값이 큰 순서로 10000개의 픽셀을 추출하고, 10000개째에 해당하는 픽셀(기준 픽셀 개수의 시점(253, 263))의 휘도값 또는 그 보다 작은 값이 기준 휘도값(250 또는 260)이 될 수 있다. 따라서, 기준 픽셀 개수 에 상응하는 휘도 범위(a, b)가 결정될 수 있다. 여기서, 각 픽셀의 휘도값은 버퍼에 저장되어 있으므로, 휘도값이 작은 순서로 픽셀 개수를 세어 기준 휘도값을 산출할 수도 있다. 즉, 전체 픽셀의 개수가 버퍼에 저장되어 있다면, 전체 픽셀 개수에서 기준 픽셀 개수를 뺀 값만큼 휘도값이 작은 순서대로 추출하여 기준 휘도값을 산출할 수도 있다. In addition, referring to FIG. 2B, the reference luminance value 250 or 260 may vary according to the number of pixels having a predetermined luminance value or more. The outline extracting unit 233 may set the number of reference pixels and extract a pixel having a high luminance value in order to extract pixels corresponding to the outline of the subject. For example, when the number of reference pixels is set in consideration of the amount of calculation, 10000 pixels are extracted from the histogram stored in the buffer prepared in advance in order of increasing luminance, and the pixels corresponding to the 10000th pixels (starting point of the reference pixel count 253). , 263) or a smaller value may be the reference luminance value 250 or 260. Therefore, luminance ranges a and b corresponding to the number of reference pixels may be determined. Here, since the luminance value of each pixel is stored in the buffer, the reference luminance value may be calculated by counting the number of pixels in order of decreasing luminance value. That is, if the total number of pixels is stored in the buffer, the reference luminance value may be calculated by extracting the luminance values in the order in which the luminance values are smaller by the total number of pixels minus the number of reference pixels.

여기서, 기준 픽셀 개수가 너무 큰 경우 대부분의 픽셀이 피사체의 외곽선으로 추출될 것이고, 그 반대의 경우 극히 일부분의 픽셀이 피사체의 외곽선으로 추출될 것이다. 기준 휘도값이 너무 작은 경우(즉, 기준 픽셀 개수가 너무 큰 경우)에는 피사체의 외곽선과 관계없는 픽셀(예를 들면, 배경 부분에 대한 픽셀)이 추출될 수 있으므로, 휘도 하한값(255, 265)을 설정하여 기준 휘도값이 이보다 작은 값이 되는 경우 휘도 하한값(255, 265)을 기준 휘도값으로 설정할 수 있다. 또한, 기준 휘도값이 너무 큰 경우(즉, 기준 픽셀 개수가 너무 작은 경우)에는 피사체의 외곽선을 구성하는 최소한의 픽셀 수가 추출되지 않을 수 있으므로, 이 경우에도 휘도 상한값(미도시)을 설정할 수 있다. 여기서, 휘도 하한값(255, 265)과 휘도 상한값은 일반적으로 각각 한 개씩 주어질 수 있으며, 도 2b를 참조하면, 휘도 하한값(255, 265)이 변화하는 경우 기준 휘도값(250, 260)이 변화하는 경우를 도시하였다. Here, if the number of reference pixels is too large, most pixels will be extracted to the outline of the subject, and vice versa, very few pixels will be extracted to the outline of the subject. If the reference luminance value is too small (i.e., the number of reference pixels is too large), pixels irrelevant to the outline of the subject (for example, pixels for the background part) may be extracted, and thus lower luminance values (255, 265). If the reference luminance value becomes smaller than this by setting the lower limit luminance values (255, 265) can be set as the reference luminance value. In addition, when the reference luminance value is too large (that is, when the reference pixel number is too small), the minimum number of pixels constituting the outline of the subject may not be extracted, and in this case, the upper limit of luminance (not shown) may also be set. . Here, the lower limit values 255 and 265 and the upper limit value of the luminance may be generally given one by one. Referring to FIG. 2B, when the luminance lower limit values 255 and 265 change, the reference luminance values 250 and 260 change. The case is shown.

예를 들어, 기준 픽셀 개수가 10000개이고, 휘도 하한값(255, 265)이 50인 경우 각 픽셀을 분석하여 휘도값이 큰 순서대로 10000개의 픽셀을 추출하여 10000번째 픽셀의 휘도값과 50 중 큰 값을 기준 휘도값으로 설정한다. 반대로, 기준 픽셀 개수가 10000개이고 휘도 상한값이 200인 경우를 가정하면, 휘도값이 큰 순서대 로 10000개의 픽셀을 추출하여 10000번째 픽셀의 휘도값과 200 중 작은 값을 기준 휘도값으로 설정한다.For example, if the number of reference pixels is 10000 and the lower luminance limits (255, 265) are 50, each pixel is analyzed and 10000 pixels are extracted in the order of the higher luminance values, and the greater of the luminance value and the 50th pixel is 10000. Is set to the reference luminance value. On the contrary, assuming that the number of reference pixels is 10000 and the luminance upper limit value is 200, 10000 pixels are extracted in order of increasing luminance values, and the luminance value of the 10000th pixel and the smaller value among 200 are set as the reference luminance values.

또한, 다른 실시예에 의하면, 기준 휘도값은 특정값으로 고정될 수도 있다. 예를 들면, 기준 휘도값이 100이고, 그 이상이 되는 픽셀에 대해서는 피사체의 외곽선으로 인식할 수 있다. 상술한 휘도 하한값과 휘도 상한값은 기준 휘도값이 고정된 경우에도 적용될 수 있음은 당연하다. Further, according to another embodiment, the reference luminance value may be fixed to a specific value. For example, a pixel having a reference luminance value of 100 and above can be recognized as an outline of a subject. It goes without saying that the above-described luminance lower limit value and the luminance upper limit value can be applied even when the reference luminance value is fixed.

도 3은 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 방법의 흐름도이다. 3 is a flowchart of a pointer movement control method according to a first embodiment of the present invention.

단계 S310에서, 촬상부는 피사체를 포함하는 이미지를 촬상하여 제1 영상 데이터를 생성한다. 단계 S320에서, 촬상된 피사체의 이미지에 대해 선명도를 조절하여 제2 영상 데이터를 생성한다. 여기서, 이미지의 심도에 따라서 선명도 조절이 달라질 수 있다. 즉, 렌즈부의 초점 거리에 가까운 위치에 있는 피사체 외곽선의 경우 배경이 되는 이미지에 비해 선명도가 크게 증가할 수 있다. In operation S310, the imaging unit photographs an image including a subject to generate first image data. In operation S320, sharpness of the image of the photographed subject is adjusted to generate second image data. Here, the sharpness control may vary according to the depth of the image. That is, in the case of the subject outline positioned near the focal length of the lens unit, the sharpness may be greatly increased as compared to the background image.

단계 S330에서, 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 산출하고, 단계 S340에서, 산출한 차분 값에 대해서 감마 보정하여 피사체 외곽선에 대한 휘도값을 증가시킬 수 있다. 따라서 감마 보정된 차분 값으로부터 피사체의 외곽선이 명확하게 될 수 있다. 여기서 차분 값은 모든 픽셀에 대해서 산출되며, 이하 단계들은 각 픽셀마다 개별적으로 수행된다. In operation S330, a difference value between the first image data and the second image data may be calculated, and in operation S340, gamma correction may be performed on the calculated difference value to increase the luminance value of the object outline. Therefore, the outline of the subject may be clear from the gamma corrected difference value. Here, the difference value is calculated for every pixel, and the following steps are performed individually for each pixel.

단계 S350에서, 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값이 미리 설정된 기준 휘도값보다 큰지 여부를 체크한다. 차분 값이 미리 설정된 기준 휘도값 보다 큰 경우에는 이러한 픽셀은 피사체의 일단에 상응하는 외곽선으로 추출된다. 그러나 차분 값이 미리 설정된 기준 휘도값 보다 작은 경우에는 다음 픽셀에 대한 차분값에 대해서 미리 설정된 기준 휘도값보다 큰지 여부를 체크하며, 픽셀들에 대한 차분값이 미리 설정된 기준 휘도값보다 작은 경우 처음 단계로 돌아가서 전 단계가 다시 반복될 수 있다. 기준 휘도값은 상술한 바와 같이 고정적 또는 기준 픽셀 개수에 대응하여 설정될 수 있다. In operation S350, it is checked whether a difference value between the first image data and the second image data is greater than a preset reference luminance value. When the difference value is larger than the preset reference luminance value, these pixels are extracted with an outline corresponding to one end of the subject. However, if the difference value is smaller than the preset reference luminance value, it is checked whether the difference value for the next pixel is larger than the preset reference luminance value. If the difference value for the pixels is smaller than the preset reference luminance value, the first step is performed. Return to the previous step can be repeated again. As described above, the reference luminance value may be set corresponding to the fixed or reference pixel number.

단계 S360에서, 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값이 미리 설정된 기준 휘도값보다 큰 좌표값으로부터 피사체의 일단에 상응하는 외곽선을 추출한다. In operation S360, an outline corresponding to one end of the subject is extracted from a coordinate value in which a difference value between the first image data and the second image data is larger than a preset reference luminance value.

단계 S370에서, 피사체의 외곽선을 이용해서 이미지 중심점을 인식한다. 즉, 상술한 무게 중심을 구하거나, 추출된 피사체의 외곽선으로부터 곡률 반경을 산출하고 해당 곡률 반경에 상응하는 중심점의 좌표값을 추출할 수 있다. 또는 곡률 반경을 별도로 산출하지 않고, 피사체의 윤곽이 형성하는 원형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하고, 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 이용하여 현재 중심점의 좌표값을 추출할 수도 있다. 이외에도 미리 설정된 다양한 방법에 의해 현재 중심점의 좌표값이 추출될 수 있다. In operation S370, the image center point is recognized using the outline of the subject. That is, the above-described center of gravity may be obtained or the radius of curvature may be calculated from the extracted outline of the subject and the coordinate value of the center point corresponding to the radius of curvature may be extracted. Alternatively, the distance between each pixel representing the circular outline formed by the outline of the subject is calculated without separately calculating the radius of curvature, and the coordinate value of the current center point is obtained by using the median value of the two pixels having the largest calculated distance of each pixel. You can also extract In addition, the coordinate values of the current center point may be extracted by various preset methods.

단계 S380에서, 추출된 중심점의 좌표값에 대응하여 디스플레이부의 포인터를 이동시킨다. In operation S380, the pointer of the display unit is moved in response to the extracted coordinates of the center point.

도 4는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 장치가 선명도 조절 및 감마 보정을 수행하는 동작을 설명한 도면이다. 도 4를 참조하면, 원본 이미지(410), 선명도 조절된 이미지(420), 차분 값에 대해 감마 보정된 이미지(430), 추출된 중심점(440) 및 원형 외곽선(450)이 도시된다. 4 is a view for explaining an operation of performing a sharpness adjustment and gamma correction by the pointer movement control apparatus according to the first embodiment of the present invention. Referring to FIG. 4, the original image 410, the sharpness-adjusted image 420, the gamma corrected image 430, the extracted center point 440, and the circular outline 450 are shown.

원본 이미지(410)에서 피사체인 사용자의 손가락 일단은 둥근 형상을 가지고 있다. 이후 심도에 따라서 선명도를 조절하면, 선명도 조절된 이미지(420)에서 보이는 바와 같이 초점 거리에 유사한 위치에 있는 피사체(사용자 손가락)의 외곽선은 선명도가 커지며, 그렇지 않은 배경은 선명도가 상대적으로 작다. 이후 원본 이미지(410)와 선명도 조절된 이미지(420)의 차분 값을 구한 후 전체적으로 감마값을 높게 하면, 감마 보정된 이미지(430)에서 선명도가 큰 사용자의 손가락 일단의 윤곽만 보이게 된다. 따라서, 피사체의 윤곽인 원형 외곽선으로부터 상술한 중심점의 좌표값을 추출하고 디스플레이부의 포인터의 위치를 추출한 중심점의 좌표값으로 설정할 수 있다. One end of the user's finger, which is the subject in the original image 410, has a round shape. Then, as the sharpness is adjusted according to the depth, the outline of the subject (user's finger) located at a position similar to the focal length as shown in the sharpness-adjusted image 420 is increased, and the background that is not is relatively small. Thereafter, if the difference between the original image 410 and the sharpness-adjusted image 420 is obtained and the gamma value is increased as a whole, only the outline of one end of the user's finger having high sharpness is visible in the gamma-corrected image 430. Therefore, the coordinate value of the center point described above can be extracted from the circular outline which is the outline of the subject, and the coordinate value of the center point from which the pointer of the display unit is extracted can be set.

도 5는 본 발명의 바람직한 제1 실시예에 따른 배경의 명도가 큰 경우 포인터 이동 제어 장치에 의해 생성된 이미지를 도시한 도면이며, 도 6은 본 발명의 바람직한 제1 실시예에 따른 피사체의 모양이 원형이 아닌 경우 포인터 이동 제어 장치에 의해 생성된 이미지를 도시한 도면이다. 도 5 및 도 6을 참조하면, 원본 이미지(510, 610), 선명도 조절된 이미지(520, 620), 감마 보정된 이미지(530, 630), 추출된 중심점 및 원형 외곽선(540, 640)이 도시된다. 5 is a view showing an image generated by the pointer movement control apparatus when the background brightness according to the first embodiment of the present invention is large, and FIG. 6 is a shape of a subject according to the first embodiment of the present invention. If it is not circular, it is a figure which shows the image produced by the pointer movement control apparatus. 5 and 6, original images 510 and 610, sharpness adjusted images 520 and 620, gamma corrected images 530 and 630, extracted center points and circular outlines 540 and 640 are shown. do.

도 5를 참조하면, 배경의 명도에 관계없이 피사체의 윤곽이 추출될 수 있다. 즉, 선명도(sharpness)를 조절하는 경우 피사체인 손가락의 윤곽 뿐만 아니라 직선형으로 형성된 배경 광원이 문제될 수도 있으나, 실제 실험 결과 배경 영상이 미치는 영향이 작아서 손가락의 윤곽을 추출하는데 문제가 없는 것으로 나타났다. Referring to FIG. 5, the outline of the subject may be extracted regardless of the brightness of the background. In other words, when adjusting the sharpness, not only the contour of the finger as the subject but also a background light source formed in a straight line may be a problem. However, as a result of the experiment, it was found that there is no problem in extracting the contour of the finger because the influence of the background image is small.

또한, 도 6을 참조하면, 손가락인 피사체를 눕혀서 원형이 아닌, 즉, 외곽선이 반원인 경우에도 경계값인 피사체의 윤곽이 추출될 수 있다. 따라서, 본 발명의 실시예에 따르면, 하나의 영상 프레임만을 가지고도 이미지의 심도를 이용하여 피사체의 이동 여부 및 이동 위치의 좌표값을 구할 수 있다. In addition, referring to FIG. 6, even when the subject, which is a finger, is not circular, that is, when the outline is a semicircle, the outline of the subject, which is a boundary value, may be extracted. Therefore, according to the exemplary embodiment of the present invention, even if only one image frame is used, the depth of the image may be used to determine whether the subject is moved and the coordinate values of the movement position.

도 7는 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치의 블록 구성도이다. 도 7을 참조하면, 포인터 이동 제어 장치는 촬상부(710), 이미지 처리부(730) 및 디스플레이부(740)를 포함할 수 있으며, 촬상부(710)는 광원부(711), 필터부(713), 렌즈부(716) 및 이미지 센서부(719)를 포함할 수 있으며, 이미지 처리부(730)는 외곽선 추출부(733), 감마 보정부(735), 중심 판단부(737) 및 포인터 위치 설정부(239)를 포함할 수 있다. 상술한 제1 실시예와의 차이점을 위주로 설명한다. 7 is a block diagram of a pointer movement control apparatus according to a second preferred embodiment of the present invention. Referring to FIG. 7, the pointer movement control apparatus may include an imaging unit 710, an image processing unit 730, and a display unit 740, and the imaging unit 710 may include a light source unit 711, and a filter unit 713. , A lens unit 716 and an image sensor unit 719, and the image processor 730 may include an outline extractor 733, a gamma corrector 735, a center determiner 737, and a pointer position setter. (239). The differences from the first embodiment described above will be mainly described.

피사체의 외곽선이 배경보다 선명도가 크게 촬상되는 경우에는 선명도 조절은 불필요할 수 있다. 예를 들면, 피사체의 배경이 어두운 경우에는 상대적으로 밝은 피사체의 외곽선은 선명도가 크기 때문에 별도의 선명도 조절이 필요 없을 수도 있다. If the outline of the subject is captured with a sharper sharpness than the background, sharpness adjustment may not be necessary. For example, when the background of the subject is dark, since the outline of the relatively bright subject is sharp, it may not need to adjust the sharpness.

따라서, 이미지 센서부(719)에서 생성된 피사체의 영상 데이터에 대해 감마 보정부(735)에서 감마값을 작게 보정한다. 감마값이 작아지면 상대적으로 피사체를 포함하는 이미지 중에서 어두운 부분은 안보이게 되고, 밝은 부분인 피사체의 외곽선은 보이게 된다. 따라서 이 경우 영상 데이터의 선명도를 조절하지 않기 때문에 하나의 영상 데이터로부터 피사체의 외곽선을 추출한다. Accordingly, the gamma correction unit 735 corrects the gamma value to be small with respect to the image data of the subject generated by the image sensor unit 719. When the gamma value decreases, the dark part of the image including the subject is relatively invisible, and the outline of the subject, which is the bright part, is visible. Therefore, in this case, since the sharpness of the image data is not adjusted, the outline of the subject is extracted from one image data.

여기서 피사체는 디스플레이 장치를 사용하는 사용자의 손가락일 수도 있으며 소정의 광을 조사할 수 있는 광원이 구비된 물체(예를 들면, 연필, 볼펜 등)가 될 수도 있다. 본 발명의 일실시예에 따른 포인터 이동 제어 장치에 피사체를 비출 수 있는 광원이 구비되는 경우 또는 후자와 같이 피사체가 직접적으로 소정의 광을 조사할 수 있는 경우에는 배경의 휘도값보다 피사체의 휘도값이 상대적으로 크기 때문에 영상 데이터의 선명도를 조절하지 않고 하나의 영상 데이터로부터 피사체의 외곽선을 추출할 수 있다. In this case, the subject may be a finger of a user who uses the display device or may be an object (eg, a pencil or a ballpoint pen) provided with a light source capable of irradiating predetermined light. When the pointer movement control apparatus according to the embodiment of the present invention is provided with a light source for illuminating the subject or when the subject can directly irradiate predetermined light as in the latter case, the luminance value of the subject rather than the luminance value of the background Because of this relatively large size, it is possible to extract the outline of the subject from one image data without adjusting the sharpness of the image data.

또한, 피사체의 배경 영상이 밝은 경우 배경 부분에 위치한 물체에 대한 영상 데이터도 추출될 수 있으므로, 이 경우 광원부(711)가 온/오프되어 촬상되는 영상을 이용하여 배경 영상을 제거할 수 있다. 즉, 광원부(711)가 켜진 상태에서 촬상된 이미지와 꺼진 상태에서 촬상된 이미지의 차분값을 이용하면, 광원부(711)의 영향을 비교적 덜 받는 배경 부분은 제거되고 피사체에 대한 영상만을 추출할 수 있다. 따라서 배경 부분이 제거된 영상 데이터를 감마 보정하여 피사체의 외곽선을 추출할 수도 있다.In addition, when the background image of the subject is bright, image data of an object located in the background portion may also be extracted. In this case, the background image may be removed using the image captured by the light source unit 711. That is, when the difference value between the image photographed in the state in which the light source unit 711 is turned on and the image captured in the state in which the light source unit 711 is turned off is used, the background part which is relatively less affected by the light source unit 711 is removed, and only the image of the subject can be extracted. have. Therefore, the outline of the subject may be extracted by gamma correcting the image data from which the background part is removed.

이후 추출된 피사체의 외곽선으로부터 중심점을 산출하여 디스플레이부(740) 의 포인터를 이동하는 방법은 제1 실시예에 대해 상술한 바와 같다. Subsequently, the method of moving the pointer of the display unit 740 by calculating the center point from the outline of the extracted subject is as described above with respect to the first embodiment.

도 8은 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 방법의 흐름도이다. 상술한 제1 실시예와의 차이점을 위주로 설명한다. 8 is a flowchart of a pointer movement control method according to a second preferred embodiment of the present invention. The differences from the first embodiment described above will be mainly described.

단계 S810에서, 피사체를 촬상하여 영상 데이터를 생성하고, 단계 S820에서, 생성된 영상 데이터의 감마값을 조절 하여 기준 휘도 이상의 데이터를 추출할 수 있도록 한다. 감마값을 조절하는 방법은 다양하게 제시될 수 있으며, 예를 들면, 포인터 이동 제어 장치에 피사체를 비출 수 있는 광원이 구비되는 경우 또는 피사체가 직접적으로 소정의 광을 조사할 수 있는 경우에는, 피사체의 휘도값이 배경의 휘도값보다 크기 때문에 휘도 값이 특정 값 이상인 경우에 대해서는 감마값을 크게 하고, 그 이하인 경우에는 감마값을 작게 해서 피사체의 외곽선을 추출할 수 있다. In operation S810, image data is generated by capturing a subject, and in operation S820, gamma values of the generated image data may be adjusted to extract data having a reference luminance or more. The gamma value can be adjusted in various ways. For example, when the pointer movement control device is provided with a light source for illuminating the subject or when the subject can directly irradiate predetermined light, Since the luminance value is larger than the luminance value of the background, the gamma value is increased when the luminance value is greater than or equal to a specific value, and when the luminance value is less than that, the gamma value is reduced to extract the outline of the subject.

단계 S830에서, 영상 데이터의 감마값이 작게 된 경우 기준 휘도 이상의 영상 데이터가 나타내는 피사체의 외곽선을 추출하고, 이후 피사체의 외곽선으로부터 중심점을 산출하여 디스플레이부(740)의 포인터를 이동한다. In operation S830, when the gamma value of the image data becomes small, the outline of the subject indicated by the image data having the reference luminance or more is extracted, and a center point is calculated from the outline of the subject to move the pointer of the display unit 740.

도 9는 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치가 감마 보정을 수행하는 동작을 설명한 도면이다. 도 9를 참조하면, 원본 이미지(910), 보정된 감마값 그래프(920) 및 감마 보정된 이미지(930)가 도시된다. 9 is a view for explaining an operation of performing a gamma correction by the pointer movement control apparatus according to the second embodiment of the present invention. Referring to FIG. 9, an original image 910, a corrected gamma value graph 920, and a gamma corrected image 930 are shown.

원본 이미지(910)에서 피사체는 사용자의 손가락이며, 피사체의 일단은 둥근 형상을 가지고 있다. 여기서, 전체적으로 감마값을 낮게 하고, 픽셀값이 높은 부분 에서 감마값을 높게 하면, 감마 보정된 이미지(930)에서 선명도가 큰 사용자의 손가락 일단의 윤곽만 보이게 된다. 따라서, 피사체의 윤곽으로부터 중심점의 좌표값을 추출하여 디스플레이부의 포인터의 위치를 구할 수 있다. In the original image 910, the subject is a user's finger, and one end of the subject has a round shape. In this case, when the gamma value is lowered overall and the gamma value is increased at a portion where the pixel value is high, only the outline of one end of the finger of the user with large sharpness is visible in the gamma corrected image 930. Accordingly, the position of the pointer of the display unit can be obtained by extracting the coordinate value of the center point from the outline of the subject.

그 외 본 발명의 실시예에 따른 포인터 이동 제어 장치에 대한 기타 구체적인 부품, 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 및 엑추에이터, 배터리, 카메라, 센서 등 부품 표준화 기술 등에 대한 구체적인 설명은 생략하기로 한다.Other specific components for the pointer movement control device according to an embodiment of the present invention, common platform technology such as embedded system, O / S, communication standardization, interface standardization technology such as I / O interface, actuator, battery, camera, sensor Detailed description of the parts standardization technology, etc. will be omitted.

상술한 본 발명의 실시예에 따른 포인터 이동 제어 방법은 기록매체에 저장된 후 소정의 장치, 예를 들면, 이동 통신 단말기와 결합하여 수행될 수 있다. 여기서, 기록매체는 비디오 테이프, CD, VCD, DVD와 같은 자기 또는 광 기록매체이거나 또는 오프라인 또는 온라인 상에 구축된 클라이언트 또는 서버 컴퓨터의 데이터베이스일 수도 있다.The pointer movement control method according to the embodiment of the present invention described above may be performed in combination with a predetermined apparatus, for example, a mobile communication terminal after being stored in a recording medium. Here, the recording medium may be a magnetic or optical recording medium such as a video tape, a CD, a VCD, a DVD, or a database of a client or server computer built offline or online.

본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.The present invention is not limited to the above embodiments, and many variations are possible by those skilled in the art within the spirit of the present invention.

상술한 바와 같이 본 발명에 따른 포인터 이동 제어 방법 및 그 장치는 피사 체 주위의 명도에 관계없이 피사체의 움직임을 추출하여 디스플레이 상의 포인터를 제어할 수 있는 효과가 있다. As described above, the method and the apparatus for controlling the pointer movement according to the present invention have the effect of controlling the pointer on the display by extracting the movement of the subject regardless of the brightness around the subject.

또한, 본 발명에 따른 포인터 이동 제어 방법 및 그 장치는 피사체의 움직임을 추출하기 위해 피사체를 조명할 별도의 광원이 필요하지 않은 효과가 있다.In addition, the pointer movement control method and apparatus according to the present invention has an effect that does not require a separate light source to illuminate the subject in order to extract the movement of the subject.

또한, 본 발명에 따른 포인터 이동 제어 방법 및 그 장치는 피사체의 움직임을 추출하기 위해 복수의 영상 프레임이 필요없는 효과가 있다.In addition, the pointer movement control method and apparatus according to the present invention has the effect that a plurality of image frames are not required to extract the movement of the subject.

또한, 본 발명에 따른 포인터 이동 제어 방법 및 그 장치는 카메라 촬상장치를 이용하여 디스플레이 상의 포인터를 제어할 수 있는 효과가 있다. In addition, the pointer movement control method and the apparatus according to the present invention has the effect of controlling the pointer on the display using the camera imaging device.

또한, 본 발명에 따른 포인터 이동 제어 방법 및 그 장치는 기존의 키패드의 일부를 생략할 수 있음으로써 전자 장치의 공간적인 활용도를 높일 수 있고, 전자 장치의 소형화가 가능한 효과가 있다.In addition, the pointer movement control method and apparatus according to the present invention can omit a part of an existing keypad, thereby increasing spatial utilization of the electronic device, and miniaturizing the electronic device.

또한, 본 발명에 따른 포인터 이동 제어 방법 및 그 장치는 전자장치 제조시 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 효과가 있다.In addition, the pointer movement control method and apparatus according to the present invention has the effect of simplifying the manufacturing process and manufacturing cost of the electronic device.

또한, 본 발명에 따른 포인터 이동 제어 방법 및 그 장치는 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 효과가 있다.In addition, the pointer movement control method and apparatus according to the present invention has the effect of maximizing component utilization by making it possible to universally use the provided camera.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구 범위에 기재된 본 발명 및 그 균등물의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those of ordinary skill in the art to the present invention without departing from the spirit and scope of the present invention and equivalents thereof described in the claims below It will be understood that various modifications and changes can be made.

Claims

In the method for controlling the movement of the pointer according to the movement of the subject, the pointer movement control device,

(a) photographing the subject to generate first image data;

(b) generating second image data by adjusting the sharpness of the first image data;

(c) extracting a difference value between the first image data and the second image data and extracting a predetermined outline corresponding to one end of the subject; And

(d) positioning the pointer at a coordinate corresponding to a specific position included in the predetermined outline.

The method of claim 1,

Step (c) is

And gamma correcting the difference value.

The method of claim 1,

And extracting a difference value having a luminance value greater than a reference luminance value to extract a predetermined outline corresponding to one end of the subject.

The method of claim 1,

In step (b),

And controlling the sharpness of the first image data by increasing at least one of color contrast, brightness contrast, and saturation contrast of pixels of the image of the subject.

(a) photographing the subject to generate image data;

(b) gamma correcting the image data, extracting data equal to or greater than a reference luminance value, and extracting a predetermined outline corresponding to one end of the subject from the image data; And

(c) positioning the pointer at coordinates corresponding to a specific position included in the predetermined outline.

The method according to claim 1 or 5,

The specific position included in the outline is a pointer movement control method, characterized in that the center of gravity of the outline.

Claim 7 was abandoned upon payment of a set-up fee.

The method of claim 6,

The center of gravity of the outline is calculated by the following equation.

here,

Is the coordinate value of the pixel representing the outline.

Claim 8 was abandoned when the registration fee was paid.

The method of claim 6,

The center of gravity of the outline is calculated by the following equation.

here,

Is the center of gravity, n is the number of pixels representing the outline,

Is the coordinate value of the pixel representing the outline.

The method according to claim 1 or 5,

The predetermined outline is curved, and a coordinate value corresponding to the specific position is a coordinate value of a center point determined by the curved outline.

The method of claim 9,

Calculating a distance between each pixel representing the curved outline; And

Extracting a coordinate value of the center point by using a median value of two pixels having the largest distance of each pixel, and calculating a specific position included in the outline. .

The method according to claim 1 or 5,

Step (a) is,

And photographing the subject by using light reflected from the light source included in the pointer movement control device and reflected on the subject.

Claim 12 was abandoned upon payment of a registration fee.

The method of claim 11,

The light emitted from the light source is a pointer movement control method, characterized in that the infrared.

Claim 13 was abandoned upon payment of a registration fee.

The method of claim 12,

And the infrared rays pass through an infrared filter included in the pointer movement control device.

Claim 14 was abandoned when the registration fee was paid.

The method according to claim 3 or 5,

And the reference luminance value changes according to a predetermined number of reference pixels.

In the device for controlling the movement of the pointer according to the movement of the subject,

An imaging unit configured to image the subject to generate first image data;

A sharpness controller configured to generate second image data by adjusting the sharpness of the first image data captured by the image pickup unit;

An outline extracting unit which generates a difference value between the first image data and the second image data and extracts a predetermined outline corresponding to one end of the subject; And

And a pointer position setting unit for positioning the pointer at coordinates corresponding to a specific position included in the predetermined outline.

Claim 16 was abandoned upon payment of a setup registration fee.

The method of claim 15,

And a gamma correction unit configured to gamma correct a predetermined outline extracted by the outline extracting unit.

Claim 17 was abandoned upon payment of a registration fee.

The method of claim 15,

The outline extracting unit extracts a difference value whose luminance value is greater than a reference luminance value and extracts a predetermined outline corresponding to one end of the subject.

Claim 18 was abandoned upon payment of a set-up fee.

The method of claim 15,

And the sharpness adjusting unit adjusts the sharpness of the first image data by increasing at least one of color contrast, brightness contrast, and saturation contrast of the pixels of the first image data.

An imaging unit configured to image the subject to generate image data of the subject;

An outline extracting unit configured to gamma correct the image data, extract data having a luminance value equal to or greater than a reference luminance value, and extract a predetermined outline corresponding to one end of the subject from the image data;

The method of claim 15 or 19,

And a center determination unit for obtaining coordinates corresponding to a specific position included in the predetermined outline.

The method of claim 15 or 19,

The specific position included in the outline is a pointer movement control device, characterized in that the center of gravity of the outline.

Claim 22 was abandoned upon payment of a registration fee.

The method of claim 21,

The center of gravity of the outline is calculated by the following equation.

here,

Is the coordinate value of the pixel representing the outline.

Claim 23 was abandoned upon payment of a set-up fee.

The method of claim 21,

here,

Is the center of gravity, n is the number of pixels representing the outline,

Is the coordinate value of the pixel representing the outline.

The method of claim 15 or 19,

The predetermined outline is curved, the coordinate value corresponding to the specific position is a pointer movement control device, characterized in that the coordinate value of the center point determined by the curved outline.

Claim 25 was abandoned upon payment of a registration fee.

The method of claim 24,

The coordinate value of the center point is a pointer movement control device, characterized in that the distance of each pixel representing the curved outline is the middle value of the two largest pixels.

Claim 26 was abandoned upon payment of a registration fee.

And the subject is not in contact with the imaging unit.

Claim 27 was abandoned upon payment of a registration fee.

The method of claim 15 or 19,

And the subject is a finger of a user who uses the pointer movement control device.

The method of claim 15 or 19,

And a light source provided around the image pickup unit, the light source irradiating light to the subject.

Claim 29 was abandoned upon payment of a set-up fee.

The method of claim 28,

The light emitted from the light source is a pointer movement control device, characterized in that the infrared.

Claim 30 was abandoned upon payment of a registration fee.

And an infrared filter for passing only infrared rays emitted from the light source.