KR20140072785A

KR20140072785A - Video processing apparatus and method

Info

Publication number: KR20140072785A
Application number: KR1020130087605A
Authority: KR
Inventors: 토시유키 타나카
Original assignee: 삼성전자주식회사
Priority date: 2012-12-05
Filing date: 2013-07-24
Publication date: 2014-06-13
Also published as: JP2014112787A; JP6081788B2

Abstract

본 발명은, 본 발명은 동영상 처리 장치 및 그 방법에 관한 것이다.
본 발명에 따르면, 사용자를 촬영하는 제1 동영상 촬영부; 상기 제1 동영상 촬영부에서 촬영한 제1 동영상으로부터 사용자 얼굴을 인식하고 상기 사용자 얼굴의 특징을 분석하는 분석부; 제2 동영상의 촬영 또는 재생시에, 상기 분석된 사용자 얼굴의 특징을 기초로 상기 사용자 얼굴의 표정을 수치화하여 평가값을 산출하는 평가값 산출부; 상기 평가값을 상기 제2 동영상의 타임 라인에 대응시켜 기록하는 기록부; 및 상기 평가값을 기초로 상기 제2 동영상에서 부분 동영상을 추출하여 다이제스트 영상을 생성하는 동영상 편집부를 포함하는 동영상 처리장치 및 그 방법이 제공된다.The present invention relates to a moving image processing apparatus and a method thereof.
According to the present invention, there is provided an image processing apparatus comprising: a first moving image photographing unit for photographing a user; An analyzing unit for recognizing the user's face from the first moving image captured by the first moving image capturing unit and analyzing the characteristic of the user's face; An evaluation value calculation unit for calculating an evaluation value by digitizing a facial expression of the user's face based on the analyzed characteristic of the user's face at the time of photographing or reproducing the second moving image; A recording unit for recording the evaluation value in association with a time line of the second moving picture; And a moving image editing unit for extracting the partial moving image from the second moving image based on the evaluation value to generate a digest image.

Description

Video processing apparatus and method thereof. {Video processing apparatus and method}

본 발명은 동영상 처리 장치 및 그 방법에 관한 것이다.The present invention relates to a moving picture processing apparatus and a method thereof.

최근에는 디지털 스틸 카메라(Digital Still Camera), 스마트폰(Smart Phone) 등의 전자기기에서도 동영상 촬영 및 재생 기능이 구비되어 있다. 동영상은 현장감을 표현하는 데에 적합하지만, 정지영상과 비교하면 재생에 의한 내용 확인에 시간을 필요로 하는 단점이 있다. 또한, 동영상 재생시 주요 장면 이외에 부가적인 부분이 많기 때문에, 동영상을 기록하였다고 해도 동영상의 재생 빈도는 낮아지는 경향이 있다.Recently, video recording and playback functions are also provided in electronic devices such as a digital still camera and a smart phone. Although a moving image is suitable for expressing a sense of presence, there is a disadvantage in that it takes time to check the contents by reproduction as compared with a still image. In addition, since there are many additional parts in addition to the main scene at the time of moving picture reproduction, even if the moving picture is recorded, the reproduction frequency of the moving picture tends to be lowered.

따라서, 다이제스트(요약) 영상을 효율적으로 자동 작성 또는 자동 편집할 필요성이 요구된다.Therefore, there is a need for efficient automatic creation or automatic editing of a digest (summary) image.

종래에도 동영상의 다이제스트 영상(digest video)을 작성하는 방법은 널리 알려져 있었다. 예를 들면, 인간 관계 정보를 기억시켜 둠으로써 사용자가 지정한 인물에 덧붙여 그 인물과 관계성이 깊은 인물이 비쳐 있는 영상을 추출하여 다이제스트 영상을 작성될 수 있었다. 또한, 특정의 영상, 음성의 변화를 이벤트로서 검출하고, 재생 속도를 가변으로 하여 다이제스트 영상을 생성될 수 있었다. 나아가, 디지털 카메라 등으로 정지영상을 재생할 때에 열람자가 웃는 얼굴인지에 기초하여 열람 중의 영상의 만족도를 설정할 수도 있었다.Conventionally, a method of creating a digest video of a moving image has been widely known. For example, by storing the human relationship information, a digest image can be created by extracting images in which a person with a deep relationship with the person is displayed in addition to the person designated by the user. In addition, a digest image can be generated by detecting a change in a specific image or sound as an event and varying the reproduction speed. Furthermore, when a still image is reproduced with a digital camera or the like, the satisfaction of the image being viewed can be set based on whether the viewer is smiling.

그러나, 인물의 특징이나 발하는 소리를 검출하여 다이제스트 영상을 작성하는 방식은, 다이제스트 영상의 작성 조건이 인물의 특징이나 음성에 의해 한정되는 문제가 있었다. 나아가, 다이제스트에 남기고자 하는 장면에 지정한 인물이 출현하는 보장은 없고, 또한 남기고자 하는 장면에 음성이 삽입되어 있다는 보장도 없기 때문에, 사용자가 원하는 다이제스트 영상을 작성하기는 어려웠다. 또, 동영상 중에 지정한 인물이 항상 출현하는 경우에는 중요한 장면을 판정하기도 어려웠다. However, in the method of generating a digest image by detecting a character or a sound of a person, there is a problem that the conditions for creating the digest image are limited by the character or voice of the person. Furthermore, there is no guarantee that a designated person appears in a scene to be left in a digest, and there is no guarantee that a voice is inserted in a scene to be left, so it is difficult for a user to create a desired digest image. It is also difficult to judge important scenes when a person designated in a moving picture always appears.

또한, 열람자가 웃는 얼굴인지를 인식하는 방법은, 정지영상의 만족도를 설정하기 위한 기술로서 동영상의 다이제스트 영상을 생성한 것이 아니었다.In addition, the method of recognizing whether the reader is a smiley face did not generate the digest image of the moving image as the technique for setting the satisfaction of the still image.

본 발명은 사용자의 의도를 정확하게 반영시킨 동영상의 다이제스트 영상을 생성하는 것이 가능한 동영상 처리 장치 및 동영상 처리 방법을 제공하는 것을 특징으로 한다.The present invention provides a moving picture processing apparatus and a moving picture processing method capable of generating a digest picture of a moving picture accurately reflecting a user's intention.

본 발명은, 사용자를 촬영하는 제1 동영상 촬영부, 상기 제1 동영상 촬영부에서 촬영한 제1 동영상으로부터 상기 사용자의 얼굴을 인식하고 상기 사용자 얼굴의 특징을 분석하는 분석부, 제2 동영상의 촬영 또는 재생시에, 상기 분석된 사용자 얼굴의 특징을 기초로 상기 사용자 얼굴의 표정을 수치화하여 평가값을 산출하는 평가값 산출부, 상기 평가값을 상기 제2 동영상의 타임 라인에 대응시켜 기록하는 기록부 및 상기 평가값을 기초로 상기 제2 동영상에서 부분 동영상을 추출하여 다이제스트 영상을 생성하는 동영상 편집부를 포함하는 동영상 처리 장치를 제공 할 수 있다.The present invention relates to an image processing apparatus comprising a first moving image capturing section for capturing a user, an analyzing section for recognizing the user's face from the first moving image captured by the first moving image capturing section and analyzing the characteristics of the user's face, An evaluation value calculation unit for calculating an evaluation value by digitizing the facial expression of the user's face based on the analyzed characteristic of the user's face at the time of reproduction or reproduction of the user's face, And a moving image editing unit for extracting the partial moving image from the second moving image based on the evaluation value to generate a digest image.

일 실시예에 따른 상기 동영상 처리 장치는, 제2 동영상을 촬영하는 제2 동영상 촬영부를 더 포함하고, 상기 평가값 산출부는, 상기 제2 동영상의 촬영시에 상기 평가값을 산출하는 동작을 수행할 수 있다.The moving picture processing apparatus according to one embodiment further includes a second moving picture photographing unit for photographing a second moving picture, and the evaluation value calculating unit performs an operation of calculating the evaluation value at the time of photographing of the second moving picture .

일 실시예에 따른 상기 평가값 산출부는, 상기 제2 동영상의 촬영시에 상기 제1 동영상으로부터 분석된 사용자 얼굴의 특징을 기초로 얼굴표정을 수치화 하는 동작을 수행할 수 있다.The evaluation value calculation unit may perform an operation of digitizing the facial expression based on the characteristics of the user's face analyzed from the first moving image at the time of capturing the second moving image.

일 실시예에 따른 상기 동영상 편집부는, 상기 평가값이 문턱값보다 큰 타임라인 구간의 부분 동영상을 순차적으로 추출하여 다이제스트 영상을 생성할 수 있다.The moving picture editing unit may sequentially extract a partial moving image of a time line segment whose evaluation value is larger than a threshold value to generate a digest image.

일 실시예에 따른 상기 동영상 편집부는, 상기 부분 동영상의 통합시간이 미리 정해진 편집시간에 대응하도록 상기 문턱값을 변화시켜 상기 부분 동영상을 추출 할 수 있다.The moving picture editing unit may extract the partial moving picture by changing the threshold value so that the combined time of the partial moving picture corresponds to a predetermined editing time.

일 실시예에 따른 상기 동영상 편집부는, 상기 평가값의 값이 문턱값보다 큰 상기 타임 라인 구간의 앞 또는 뒤에, 여유 시간을 가산하여 얻어지는 타임 라인 구간의 상기 부분 동영상을 순차적으로 추출 할 수 있다.The moving picture editing unit may sequentially extract the partial moving images in the time line section obtained by adding the clearance time before or after the time line interval in which the value of the evaluation value is larger than the threshold value.

일 실시예에 따른 상기 평가값 산출부는, 미리 정해진 규칙에 기초하여 상기 수치화를 수행 할 수 있다.The evaluation value calculating unit according to an embodiment can perform the numerical value based on a predetermined rule.

일 실시예에 따른 상기 미리 정해진 규칙은, 상기 얼굴표정에 있어서,The predetermined rule according to one embodiment is that, in the facial expression,

눈의 가늘어짐, 눈의 커짐, 눈꼬리의 내려감, 입의 열림 및 입꼬리의 올라감 중 적어도 하나의 요소를 수치화 할 수 있다.At least one element of the tapering of the eyes, the enlargement of the eyes, the lowering of the eyebrows, the opening of the mouth, and the rise of the mouth can be quantified.

일 실시예에 따른 상기 미리 정해진 규칙은, 얼굴의 표정 변화에 크게 영향을 미친다고 판단되는 요소에 높은 중요도를 부여하도록 규정될 수 있다.The predetermined rule according to an embodiment can be defined to give a high importance to an element that is determined to greatly affect the facial expression change.

일 실시예에 따른 상기 기록부는, 상기 평가값을 상기 제2 동영상의 데이터 내에 메타 데이터로서 기록할 수 있다.The recording unit according to an embodiment may record the evaluation value as metadata in the data of the second moving picture.

일 실시예에 따른 상기 기록부는, 상기 평가값을 상기 제2 동영상의 데이터와 1 대 1로 대응하는 별도의 데이터로 기록 할 수 있다.The recording unit may record the evaluation value as separate data corresponding to the data of the second moving picture on a one-to-one basis.

일 실시예에 따른 상기 동영상 편집부는, 동영상 촬영 종료 직후 또는 동영상 재생의 종료 직후에 자동으로 다이제스트 영상을 생성 할 수 있다.The moving picture editing unit according to an embodiment can automatically generate a digest image immediately after the end of moving picture shooting or immediately after the end of moving picture playback.

일 실시예에 따른 상기 동영상 편집부는, 영상 파일을 LCD에 섬네일로서 표시했을 때에 자동으로 다이제스트 영상을 생성할 수 있다.The moving picture editing unit according to an embodiment can automatically generate a digest image when the image file is displayed as thumbnails on the LCD.

본 발명은, 사용자의 얼굴을 촬영하는 단계, 사용자의 얼굴이 촬영된 제1 동영상으로부터 상기 사용자 얼굴의 특징을 분석하는 단계, 제2 동영상의 촬영 또는 재생시에, 상기 분석된 사용자 얼굴의 특징을 기초로 상기 사용자 얼굴의 표정을 수치화하여 평가값을 산출하는 단계, 상기 평가값을 상기 제2 동영상의 타임 라인에 대응시켜 기록하는 단계 및 상기 평가값을 기초로 상기 제2 동영상의 부분 동영상을 추출하여 다이제스트 영상을 생성하는 단계를 포함하는 동영상 처리 방법을 제공할 수 있다.The present invention relates to a method of analyzing a face of a user, comprising the steps of: photographing a face of a user; analyzing a feature of the user's face from a first moving image of the user's face; Calculating an evaluation value by digitizing a facial expression of the user's face, recording the evaluation value in association with a time line of the second moving picture, extracting a partial moving picture of the second moving picture based on the evaluation value And a step of generating a digest image.

일 실시예에 따른 상기 동영상 처리 방법은, 상기 제2 동영상을 촬영하는 단계를 더 포함하고, 상기 평가값을 산출하는 단계는, 상기 제2 동영상의 촬영시에 상기 평가값을 산출하는 동작을 수행하는 것을 특징으로 하는 동영상 처리 방법.The moving picture processing method according to an embodiment may further include photographing the second moving picture, and the step of calculating the evaluation value may include calculating an evaluation value at the time of photographing the second moving picture The moving picture processing method comprising:

일 실시예에 따른 상기 다이제스트 영상을 생성 할 수 있다.To generate the digest image according to an embodiment.

상기 평가값이 문턱값보다 큰 타임라인 구간의 상기 부분 동영상을 순차적으로 추출하여 다이제스트 영상을 생성하는 것을 특징으로 하는 동영상 처리 방법.Wherein the digest image is generated by sequentially extracting the partial moving images of the time line section in which the evaluation value is larger than a threshold value.

상기 부분 동영상의 통합시간이 미리 정해진 편집시간에 대응하도록 상기 문턱값을 변화시켜 상기 부분 동영상을 추출 할 수 있다.The partial video can be extracted by changing the threshold so that the combined time of the partial video corresponds to a predetermined editing time.

일 실시예에 따른 상기 다이제스트 영상을 생성하는 단계에 있어서, 상기 평가값이 문턱값보다 큰 상기 타임라인 구간의 앞 또는 뒤에, 여유 시간을 가산하여 얻어지는 타임라인 구간의 상기 부분 동영상을 순차적으로 추출 할 수 있다.In the step of generating the digest image according to an embodiment, the partial moving images of the time line section obtained by adding the clearance time before or after the time line section in which the evaluation value is larger than the threshold value are sequentially extracted .

일 실시예에 따른 상기 평가값을 산출하는 단계는, 미리 정해진 규칙에 기초하여 상기 수치화를 수행하는 단계를 포함 할 수 있다.The step of calculating the evaluation value according to an embodiment may include the step of performing the numerical value based on a predetermined rule.

일 실시예에 따른 상기 기록하는 단계는, 상기 평가값을 상기 제2 동영상의 데이터 내에 메타 데이터로서 기록하는 단계를 포함 할 수 있다.The recording step according to an embodiment may include recording the evaluation value as metadata in the data of the second moving picture.

일 실시예에 따른 상기 기록하는 단계는, 상기 평가값을 상기 제2 동영상의 데이터와 1 대 1로 대응하는 별도의 데이터로서 기록 할 수 있다.The recording step may record the evaluation value as separate data corresponding to the data of the second moving picture on a one-to-one basis.

본 발명은, 모바일 단말 화면을 위한 3K해상도 영상 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.The present invention can include a computer-readable recording medium on which a program for implementing a 3K resolution image generation method for a mobile terminal screen is recorded.

도 1은 스마트폰, 디지털 카메라 등의 동영상 처리 장치(300)로 피사체를 촬영하고 있는 모양을 도시한 모식도이다.
도 2는 동영상 처리 장치(300)가 촬영한 영상을 도시한 모식도이다.
도 3은, 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성을 도시한 모식도이다.
도 4 및 도 5는 평가값을 규정하는 규칙을 설명하기 위한 모식도이다.
도 6은 동영상 편집부(226)에 의한 자동 편집 기능을 설명하기 위한 모식도이다.
도 7은, 도 5에 도시된 각 요소(a)~(e)의 각 평가값과, 각 평가값의 합계값이 시간의 경과에 따라 변화하는 경우에 다이제스트 동영상을 추출하는 구간을 도시한 모식도이다.
도 8은, 평가값의 샘플링 시간(Sampling Time)과 평가값의 관계 및 샘플링 시간의 사이를 직선으로 보간한 예를 도시한다.
도 9는 평가값의 저장 방법을 도시한 모식도이다.
도 10은 촬영 장치(100)에서의 동영상 처리 방법의 처리를 도시한 흐름도이다. 1 is a schematic diagram showing a state in which a subject is photographed by a moving picture processing apparatus 300 such as a smart phone or a digital camera.
2 is a schematic diagram showing an image taken by the moving picture processing apparatus 300. As shown in FIG.
Fig. 3 is a schematic diagram showing the configuration of the photographing apparatus 100 according to an embodiment of the present invention.
Figs. 4 and 5 are schematic diagrams for explaining a rule for defining evaluation values. Fig.
6 is a schematic diagram for explaining the automatic editing function by the moving picture editing unit 226. [
Fig. 7 is a schematic diagram showing a section for extracting a digest moving picture when the evaluation values of the respective elements (a) to (e) shown in Fig. 5 and the total value of the evaluation values change with passage of time to be.
FIG. 8 shows an example in which the relationship between the sampling time of the evaluation value (Sampling Time) and the evaluation value and the sampling time are interpolated in a straight line.
FIG. 9 is a schematic diagram showing a method of storing evaluation values. FIG.
Fig. 10 is a flowchart showing the processing of the moving picture processing method in the photographing apparatus 100. Fig.

이하에 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대해 상세하게 설명한다. 또, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 구성요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, and redundant description will be omitted.

최근의 스마트폰(Smart Phone)과 같은 휴대형 전자기기에서는, 피사체 기록용 카메라와는 별도로 셀프 촬영용 카메라(인카메라(In-camera))를 사용자 측에 탑재하고 있다. 즉, 셀프 촬영용 카메라를 구비한 구성은, 디지털 스틸 카메라(DSC)뿐만 아니라 스마트폰, 태블릿PC 등의 휴대기기를 포함한 여러 가지 기기에도 적용될 수 있음을 본 발명이 속하는 기술분야의 통상적인 기술자는 쉽게 이해할 수 있을 것이다.In recent portable electronic devices such as a smart phone, a self-photographing camera (In-camera) is mounted on the user side separately from the subject recording camera. That is, the configuration including the self-photographing camera can be applied not only to a digital still camera (DSC) but also to various devices including a mobile device such as a smart phone, a tablet PC, and the like. You will understand.

한편, 디지털 스틸 카메라 등의 촬영 장치는, 소형화가 진행된 영향으로 스마트폰 등과 같이 파인더를 가지지 않고 주로 촬영자가 액정 표시 화면(LCD)에서 피사체를 표시 한다. 이 경우, 촬영자는 촬영 장치로부터 얼굴을 일정 거리만큼 떨어뜨려 촬영하기 때문에, 촬영장치가 셀프 촬영용 카메라를 구비하고 있으면 촬영자(사용자)의 얼굴 전체를 촬영할 수 있다.On the other hand, a photographing apparatus such as a digital still camera does not have a finder such as a smart phone due to the progress of miniaturization, and the photographer mainly displays the subject on the liquid crystal display screen (LCD). In this case, since the photographer shoots the face with a certain distance from the photographing apparatus, the entire face of the photographer (user) can be photographed if the photographing apparatus is provided with a self-photographing camera.

도 1은 스마트폰, 디지털 카메라 등의 동영상 처리 장치(300)로 피사체를 촬영하고 있는 모양을 도시한 모식도이다. 동영상 처리 장치(300)는 촬영자의 조작에 기초하여 정면의 카메라(102)로 피사체를 촬영한다. 또한, 동영상 처리 장치(300)는 카메라(302)와 반대쪽(촬영자측)에 인카메라(304)를 구비하고 있고, 인카메라(304)에 의해 사용자의 얼굴을 촬영할 수 있다.1 is a schematic diagram showing a state in which a subject is photographed by a moving picture processing apparatus 300 such as a smart phone or a digital camera. The moving picture processing apparatus 300 photographs a subject with the camera 102 on the front face based on the operation of the photographer. The moving picture processing apparatus 300 is provided with a camera 304 on the opposite side (camera side) to the camera 302, and can capture the face of the user by the camera 304.

도 2는 동영상 처리 장치(300)가 촬영한 영상을 도시한 모식도이다. 여기서, 도 2의 (B)는, 동영상 처리 장치(300)의 정면의 카메라(302)가 촬영한 영상이 동영상 처리 장치(300)의 LCD(306)에 표시되어 있는 모양을 도시하고 있다. 또한, 도 2의 (A)는, 동영상 처리 장치(300)의 인카메라(304)가 촬영한 영상을 도시하고 있다. 도 2의 (A)에 도시된 바와 같이, 인카메라(304)에 의해 촬영자가 촬영된다. 이와 같이 통상의 카메라(302)에 덧붙여 인카메라(304)를 구비하는 동영상 처리 장치(300)에서는, 피사체를 촬영하면서 촬영자의 얼굴을 촬영할 수 있다.2 is a schematic diagram showing an image taken by the moving picture processing apparatus 300. As shown in FIG. 2B shows a state in which an image taken by the camera 302 on the front side of the moving picture processing apparatus 300 is displayed on the LCD 306 of the moving picture processing apparatus 300. [ 2 (A) shows an image taken by the in-camera 304 of the moving picture processing apparatus 300. In FIG. As shown in Fig. 2 (A), the photographer is photographed by the in-camera 304. As described above, in the moving picture processing apparatus 300 including the in-camera 304 in addition to the normal camera 302, the face of the photographer can be photographed while photographing the subject.

카메라(302)로 촬영되는 영상은 인물, 풍경, 탈 것, 건물 등의 여러 가지 피사체로서, 카메라(302)는 항상 인물의 얼굴을 검출하는 것은 아니다. 한편, 인카메라(304)로 촬영한 영상은 대부분의 경우에 인카메라(304)의 근방에 배치된 LCD(306)를 바라보고 있는 촬영자 얼굴의 영상이다. 따라서, 인카메라(304)는, LCD(306)를 바라보고 있는 촬영자의 정면 얼굴을 포착하는 것이 가능하다. 또는 사용자의 정면 얼굴로 판단될 수 있는 영상을 포착하는 것이 가능할 것이다.The image captured by the camera 302 is various objects such as a person, a landscape, a ride, a building, and the like, and the camera 302 does not always detect the face of the person. On the other hand, in most cases, the image photographed by the in-camera 304 is an image of the face of the photographer looking at the LCD 306 disposed in the vicinity of the in-camera 304. Therefore, the in-camera 304 can capture the front face of the photographer looking at the LCD 306. [ Or it is possible to capture an image that can be judged as the front face of the user.

또한, 저조도에서도 LCD(306)의 광이 조명을 대체할 수 있으므로, 어두운 경우도 인카메라(304)에 의해 촬영자의 얼굴을 촬영할 수 있다. 따라서, 인카메라(304)를 구비한 동영상 처리 장치(300)에 따르면, 항상 촬영자의 얼굴을 촬영할 수 있고, 따라서 얼굴 검출 및 표정 검출을 수행할 수 있다.In addition, since the light from the LCD 306 can replace light even in low light, the face of the photographer can be photographed by the camera 304, which is also a dark case. Therefore, according to the moving picture processing apparatus 300 having the in-camera 304, the face of the photographer can always be photographed, and hence the face detection and the facial expression detection can be performed.

본 발명의 일 실시예에서는, 항상 촬영자(사용자)의 얼굴을 촬영하는 것이 가능한 인카메라(304)를 이용하여, 촬영자의 얼굴 정보(특히 표정 정보)를 수집할 수 있다. 또한, 촬영자의 얼굴 정보(특히 표정 정보)에 기초하여 동영상의 자동 편집을 수행할 수 있다. 이하, 상세하게 설명한다.According to the embodiment of the present invention, the face information (especially the facial expression information) of the photographer can be collected by using the in-camera 304 which is always capable of photographing the face of the photographer (user). Further, it is possible to perform automatic editing of the moving image based on the face information of the photographer (in particular, facial expression information). This will be described in detail below.

도 3은, 본 발명의 일 실시예에 따른 동영상 처리 장치로의 일 예로써, 촬영 장치(100)의 구성을 도시한 모식도이다. 도 3은, 일 실시예에 따른 디지털 스틸 카메라(Digital Still Camera)에 있어서, 영상 처리 파이프라인(Pipe Line)에 관계된 블록도를 주로 나타내고 있다. 3 is a schematic diagram showing the configuration of the image pickup apparatus 100 as an example of a moving picture processing apparatus according to an embodiment of the present invention. FIG. 3 mainly shows a block diagram related to an image processing pipeline (Pipe Line) in a digital still camera according to an embodiment.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 촬영 장치(100)는 줌 렌즈(군)(102), 조리개(104), 포커스 렌즈(군)(108), 렌즈 CPU(110), 드라이버(112, 114), 모터(116, 118), A/D 변환 회로(120), ROM(122), RAM(124)을 구비할 수 있다.3, the photographing apparatus 100 according to an embodiment of the present invention includes a zoom lens group 102, a diaphragm 104, a focus lens group 108, a lens CPU 110, Drivers 112 and 114, motors 116 and 118, an A / D conversion circuit 120, a ROM 122, and a RAM 124. [

또한, 촬영 장치(100)는 셔터(126), 드라이버(128), 모터(130), 촬영 소자로서의 CMOS(Complementary Metal Oxide Semiconductor) 소자(132), 앰프 일체형의 CDS(Correlated Double Sampling) 회로(134), A/D 변환기(136), 제1 영상 입력 콘트롤러(138), CPU(200)를 구비할 수 있다.The photographing apparatus 100 includes a shutter 126, a driver 128, a motor 130, a CMOS (Complementary Metal Oxide Semiconductor) element 132 as a photographing element, a CDS (Correlated Double Sampling) circuit 134 ), An A / D converter 136, a first image input controller 138, and a CPU 200.

또한, 촬영 장치(100)는 비휘발성 메모리(140), 압축 처리 회로(142), LCD 드라이버(144), LCD(Liquid Crystal Display)(146), 미디어 콘트롤러(150), 기록 미디어(152), VRAM(Video Random Access Memory)(154), 메모리(SDRAM)(156), 조작 부재(158), 배터리(148)를 구비할 수 있다.The photographing apparatus 100 includes a nonvolatile memory 140, a compression processing circuit 142, an LCD driver 144, a liquid crystal display (LCD) 146, a media controller 150, a recording medium 152, (VRAM) 154, a memory (SDRAM) 156, an operating member 158, and a battery 148.

조리개(104) 및 포커스 렌즈(108)는, 각 드라이버(112, 114)에 의해 제어되는 모터(116, 118)를 동작시켜 구동된다. 줌 렌즈(102)는, 광축 방향으로 전후로 이동하여 초점 거리를 연속적으로 변화시킬 수 있는 렌즈이다. 조리개(104)는, 영상을 촬영할 때에 CMOS 소자(132)에 입사하는 광량의 조절을 행한다. 셔터(126)는, 영상을 촬영할 때에 CMOS 소자(132)에의 노광 시간을 제어한다. 포커스 렌즈(108)는, 광축 방향으로 전후로 이동하여 CMOS 소자(132)에 결상된 피사체의 영상의 핀트를 조절한다.The diaphragm 104 and the focus lens 108 are driven by operating the motors 116 and 118 controlled by the drivers 112 and 114, respectively. The zoom lens 102 is a lens that moves back and forth in the direction of the optical axis to change the focal length continuously. The diaphragm 104 adjusts the amount of light incident on the CMOS element 132 when capturing an image. The shutter 126 controls the exposure time to the CMOS element 132 when capturing an image. The focus lens 108 moves back and forth in the direction of the optical axis to adjust the focus of the image of the subject imaged on the CMOS device 132. [

CMOS 소자(132)는 줌 렌즈(102), 조리개(104) 및 포커스 렌즈(108)를 통과하여 입사한 광을 전기 신호로 변환하기 위한 소자이다.The CMOS device 132 is an element for converting light incident through the zoom lens 102, diaphragm 104, and focus lens 108 into electrical signals.

CDS 회로(134)는, CMOS 소자(132)로부터 출력된 전기 신호의 잡음을 제거하는 샘플링 회로의 일종인 CDS 회로와, 잡음을 제거한 후에 전기 신호를 증폭하는 앰프가 일체가 된 회로이다. 일 실시예에 따른 CDS 회로(134)는, CDS 회로와 앰프가 일체가 된 회로를 이용하고 있지만, CDS 회로와 앰프를 다른 회로로 구성할 수 있다.The CDS circuit 134 is a circuit in which a CDS circuit, which is a kind of sampling circuit for eliminating noise of an electric signal outputted from the CMOS element 132, and an amplifier for amplifying an electric signal after noise removal, are integrated. Although the CDS circuit 134 according to the embodiment uses a circuit in which the CDS circuit and the amplifier are integrated, the CDS circuit and the amplifier can be configured by different circuits.

A/D 변환기(136)는, CMOS 소자(132)에서 생성된 전기 신호를 디지털 신호로 변환하여 영상의 로우 데이터(RAW DATA, 영상 데이터)를 생성한다. 제1 영상 입력 콘트롤러(138)는, A/D 변환기(136)에서 생성된 영상의 로우 데이터(영상 데이터)를 기록 미디어(152)로 입력하는 동작을 제어한다.The A / D converter 136 converts the electric signal generated by the CMOS device 132 into a digital signal to generate raw data (RAW DATA, image data) of the image. The first image input controller 138 controls the operation of inputting the raw data (image data) of the image generated by the A / D converter 136 to the recording medium 152.

또한, 일 실시예에 따른 촬영 장치(100)는 인카메라로서 기능하는 제2 CMOS 소자(160), 앰프 일체형의 CDS 회로(162), A/D 변환기(164), 제2 영상 입력 콘트롤러(166)를 포함한다. CDS 회로(162), A/D 변환기(164) 및 제2 영상 입력 콘트롤러(166)는 CMOS 소자(160)용으로 설치되어 있다. 또한, 촬영 장치(100)는 CMOS 소자(160)용으로 설치된 광학 렌즈(168)를 포함한다. 광학 렌즈(162)의 광축은 촬영 장치(100)를 조작하는 사용자로 향하고 있고, 광학 렌즈(162)는 사용자의 얼굴을 피사체로하는 피사체상(촬영자 얼굴의 상)을 제2 CMOS 소자(160)의 촬영면에 결상 시킨다. CMOS 소자(160)는 피사체상을 광전 변환하여 제2 영상 입력 콘트롤러(166)에 입력한다. 상술한 구성요소에 의해 인카메라가 구현 될 수 있다.The photographing apparatus 100 according to one embodiment includes a second CMOS device 160 serving as a camera, an amplifier-integrated CDS circuit 162, an A / D converter 164, a second image input controller 166 ). A CDS circuit 162, an A / D converter 164 and a second image input controller 166 are provided for the CMOS device 160. The photographing apparatus 100 also includes an optical lens 168 provided for the CMOS device 160. [ The optical axis of the optical lens 162 is directed to the user who operates the photographing apparatus 100 and the optical lens 162 is set to the second CMOS element 160 on the object image (the image of the photographer's face) As shown in FIG. The CMOS device 160 photoelectrically converts the subject image and inputs the converted image to the second image input controller 166. A phosphorus camera can be implemented by the above-described components.

CDS 회로(162)는, CMOS 소자(160)로부터 출력된 전기 신호의 잡음을 제거하는 샘플링 회로의 일종인 CDS 회로와, 잡음을 제거한 후에 전기 신호를 증폭하는 앰프가 일체가 된 회로이다.The CDS circuit 162 is a circuit in which a CDS circuit, which is a type of sampling circuit for eliminating noise of an electric signal outputted from the CMOS device 160, and an amplifier for amplifying an electric signal after removing the noise, are integrated.

A/D 변환기(164)는, CMOS 소자(160)에서 생성된 전기 신호를 디지털 신호로 변환하여 영상의 생 데이터(로우 데이터, 영상 데이터)를 생성한다. 제2 영상 입력 콘트롤러(166)는, A/D 변환기(164)에서 생성된 영상의 생 데이터(영상 데이터)의 기록 미디어(152)에의 입력을 제어한다.The A / D converter 164 converts the electric signal generated in the CMOS device 160 into a digital signal to generate raw data (raw data, image data) of the image. The second image input controller 166 controls the input of the raw data (image data) of the image generated by the A / D converter 164 to the recording medium 152.

비휘발성 메모리(140)는, 촬영 장치(100)가 항상 보유지지하는 데이터를 저장하는 메모리이다. 비휘발성 메모리(140)는, CPU(200)를 기능시키기 위한 프로그램을 저장할 수 있다.The nonvolatile memory 140 is a memory that stores data that the photographing apparatus 100 always holds. The nonvolatile memory 140 may store a program for causing the CPU 200 to function.

압축 처리 회로(142)는, CMOS 소자(132, 136)로부터 출력된 영상의 데이터를 적절한 형식의 영상 데이터로 압축하는 압축 처리를 한다. 영상의 압축 형식은 가역 형식이어도 되고 비가역 형식이어도 된다. 적절한 형식의 예로서 JPEG(Joint Photographic Experts Group) 형식이나 JPEG2000 형식으로 변환될 수 있다.The compression processing circuit 142 performs compression processing for compressing the image data output from the CMOS elements 132 and 136 into image data of an appropriate format. The compression format of the image may be reversible or irreversible. As an example of a proper format, it can be converted to Joint Photographic Experts Group (JPEG) format or JPEG2000 format.

LCD(146)는, 촬영 조작을 행하기 전의 라이브뷰 표시나 촬영 장치(100)의 각종 설정 화면이나 촬영한 영상의 표시, 동영상 재생 등을 행한다. 영상 데이터나 촬영 장치(100)의 각종 정보의 LCD(146)에의 표시는 LCD 드라이버(148)를 동작하여 수행될 수 있다.The LCD 146 performs live-view display before performing a photographing operation, various setting screens of the photographing apparatus 100, display of photographed images, and movie reproduction. The display of the image data and various kinds of information of the image pickup apparatus 100 on the LCD 146 can be performed by operating the LCD driver 148. [

메모리(SDRAM)(156)는, CMOS 소자(132), CMOS 소자(160)가 촬영한 영상을 일시적으로 기억하는 것이다. 기록 미디어(152)는, 복수의 영상을 기억할 수 있는 만큼의 기억용량을 갖고 있다. 메모리(SDRAM)(156)에의 영상의 판독/기입은 제1 영상 입력 콘트롤러(138) 및 제2 영상 입력 콘트롤러(166)에 의해 제어된다.The memory (SDRAM) 156 temporarily stores the image captured by the CMOS device 132 and the CMOS device 160. [ The recording medium 152 has a storage capacity sufficient to store a plurality of images. The reading / writing of the image into the memory (SDRAM) 156 is controlled by the first image input controller 138 and the second image input controller 166.

VRAM(154)은 LCD(146)에 표시하는 내용을 보유지지하는 것으로, LCD(146)의 해상도나 최대 발색수는 VRAM(154)의 용량에 의존한다.The VRAM 154 retains contents to be displayed on the LCD 146. The resolution and the maximum number of colors of the LCD 146 depend on the capacity of the VRAM 154. [

기록 미디어(152)는, CMOS 소자(132), CMOS 소자(160)가 촬영한 영상을 기록하는 것이다. 기록 미디어(152)에의 입출력은 미디어 콘트롤러(150)에 의해 제어된다. 기록 미디어(152)로서는 플래시 메모리에 데이터를 기록하는 카드형 기억 장치인 메모리 카드를 이용할 수 있다.The recording medium 152 records an image captured by the CMOS device 132 and the CMOS device 160. [ The input / output to / from the recording medium 152 is controlled by the media controller 150. As the recording medium 152, a memory card which is a card-type storage device for recording data in a flash memory can be used.

CPU(200)는, CMOS 소자(132, 160)나 CDS 회로(134, 162) 등에 대해 신호계 지령을 하거나 조작 부재(158)의 조작에 따른 조작계 지령을 할 수 있다. 일 실시예에 따른 동영상 처리 장치(300)는 CPU를 하나만 포함하고 있지만, 신호계통의 명령과 조작계통의 명령을 다른 CPU에서 수행하도록 구성 할 수 있다.The CPU 200 can give a signal system command to the CMOS elements 132 and 160 and the CDS circuits 134 and 162 or can issue an operating system command according to the operation of the operation member 158. [ Although the moving picture processing apparatus 300 according to the embodiment includes only one CPU, commands of the signal system and commands of the operation system can be configured to be executed by different CPUs.

CPU(200)는 AE/AWB/AF 평가값 산출부(202), 적정 AWB 산출부(204), 영상 처리부(206), AF 연산·제어부(208), AE 연산·제어부(210), GUI 관리부(212), 타이밍 발생기(TG1)(214), I/O(216), SIO(218), 타이밍 발생기(TG2)(219)를 포함한다. 또한, CPU(200)는 얼굴 인식부(220), 표정 평가값 산출부(222), 재생 처리부(224), 동영상 편집부(226), 기록 파일 생성부(228)를 포함한다.The CPU 200 includes an AE / AWB / AF evaluation value calculation unit 202, a proper AWB calculation unit 204, an image processing unit 206, an AF calculation / control unit 208, an AE calculation / control unit 210, A timing generator (TG1) 214, an I / O 216, an SIO 218, and a timing generator (TG2) 219. The CPU 200 also includes a face recognition unit 220, a facial expression evaluation value calculation unit 222, a reproduction processing unit 224, a moving picture editing unit 226, and a recording file generation unit 228.

AE/AWB/AF 평가값 산출부(202)는, CMOS 소자(132, 160)로부터 출력된 영상의 데이터로부터 노광량 정보로서의 AE 평가값, 화이트 밸런스 정보로서의 AWB 평가값, AF 정보로서의 AF 평가값을 산출한다. 적정 AWB 산출부(204)는, 적정한 화이트 밸런스 값을 산출하는 처리를 한다. 영상 처리부(206)는, CMOS 소자(132)로부터 출력된 영상의 데이터에 대해 광량의 게인 보정, 영상의 엣지 처리(윤곽 강조 처리), 화이트 밸런스의 조정 등의 처리를 한다.The AE / AWB / AF evaluation value calculating section 202 calculates the AE evaluation value as the exposure amount information, the AWB evaluation value as the white balance information, and the AF evaluation value as the AF information from the data of the image outputted from the CMOS elements 132 and 160 . The appropriate AWB calculating section 204 performs a process of calculating an appropriate white balance value. The image processing unit 206 performs gain correction of the light amount, image edge processing (contour enhancement processing), white balance adjustment, and the like on the data of the image output from the CMOS element 132.

AF 연산·제어부(208)는, AF 평가값에 기초하여 피사체를 촬영할 때의 포커스 렌즈(108)의 구동량을 결정한다. 렌즈 CPU(110)는, 결정된 구동량에 기초하여 드라이버(114)를 제어하고 모터(118)를 구동한다. 이에 의해, 포커스 렌즈(108)가 합초 위치에 구동된다.The AF arithmetic / control unit 208 determines the driving amount of the focus lens 108 when the subject is photographed based on the AF evaluation value. The lens CPU 110 controls the driver 114 and drives the motor 118 based on the determined driving amount. Thereby, the focus lens 108 is driven to the in-focus position.

또한, AE 연산·제어부(210)는, AE 평가값에 기초하여 피사체를 촬영할 때의 조리개 값, 셔터 속도를 결정한다. CPU(200)는, 결정된 셔터 속도에 기초하여 드라이버(128)를 제어하고 모터(130)를 구동한다. 이에 의해, 셔터(126)가 구동된다. 또한, 렌즈 CPU(110)는, 결정된 조리개 값에 기초하여 드라이버(112)를 제어하고 모터(116)를 구동한다. 이에 의해, 렌즈가 구비하는 조리개(104)가 구동된다.In addition, the AE calculation / control unit 210 determines the aperture value and the shutter speed when the subject is photographed based on the AE evaluation value. The CPU 200 controls the driver 128 and drives the motor 130 based on the determined shutter speed. Thereby, the shutter 126 is driven. Further, the lens CPU 110 controls the driver 112 and drives the motor 116 based on the determined aperture value. Thereby, the diaphragm 104 provided in the lens is driven.

GUI 관리부(212)는, 사용자에 의해 조작 부재(158)가 조작되면 조작 부재(158)로부터 조작 입력 정보를 수신한다. CPU(140)는, GUI 관리부(212)가 수취한 조작 부재(158)로부터 조작 입력 정보에 기초하여 각종 처리를 한다. 예를 들면, GUI 관리부(212)가 다이제스트 동영상을 생성하기 위한 조작 입력 정보를 조작 부재(158)로부터 수취하면, 동영상 편집부(226)에 의해 다이제스트 동영상을 생성하기 위한 처리가 수행될 수 있다.The GUI managing unit 212 receives operation input information from the operating member 158 when the operating member 158 is operated by the user. The CPU 140 performs various processes based on the operation input information from the operation member 158 received by the GUI management unit 212. [ For example, when the GUI management unit 212 receives operation input information for generating a digest moving image from the operation member 158, processing for generating a digest moving image by the moving image editing unit 226 may be performed.

타이밍 발생기(TG1)(214)는, CMOS 소자(132)에 타이밍 신호를 입력한다. 즉, 타이밍 발생기(TG1)(214)로부터의 타이밍 신호에 의해 CMOS 소자(132)의 구동이 제어될 수 있다. 타이밍 발생기(TG1)(214)는, CMOS 소자(132)가 구동하는 시간 내에 피사체로부터의 영상 광을 입사시킴으로써 CMOS 소자(132)에 전자 셔터의 기능을 갖게 하는 것도 가능하다.The timing generator (TG1) 214 inputs a timing signal to the CMOS device 132. [ That is, the driving of the CMOS element 132 can be controlled by the timing signal from the timing generator (TG1) The timing generator (TG1) 214 can also cause the CMOS element 132 to have the function of an electronic shutter by causing the video light from the object to be incident within the time the CMOS element 132 is driven.

마찬가지로 타이밍 발생기(TG2)(219)는, CMOS 소자(160)에 타이밍 신호를 입력한다. 즉, 타이밍 발생기(TG2)(219)로부터의 타이밍 신호에 의해 CMOS 소자(160)의 구동이 제어된다. 타이밍 발생기(TG2)(219)는, CMOS 소자(160)가 구동하는 시간 내에 피사체로부터의 영상 광을 입사시킴으로써 CMOS 소자(160)에 전자 셔터의 기능을 갖게 하는 것도 가능하다.Similarly, the timing generator (TG2) 219 inputs a timing signal to the CMOS device 160. [ That is, the driving of the CMOS device 160 is controlled by the timing signal from the timing generator (TG2) The timing generator (TG2) 219 can also cause the CMOS device 160 to have the function of an electronic shutter by causing the video light from the subject to be incident within the time that the CMOS device 160 is driven.

도 3에 도시된 CMOS 소자(132)로부터 얻어진 RGB 영상 신호는, 주로 영상 처리부(206)에서 결함 화소 보정, 흑Level 보정 등의 이미지 프론트 프로세스(Image front process) 처리가 실시되고, 추가로 화이트 밸런스(White Balance) 보정 처리, 베이어(Bayer) 색 보간(Demosaic) 처리, 색 보정 처리, 감마(Gamma) 보정 처리 등의 전자적 처리를 하여 영상 기록이 행해진다. 또, 도 3에 도시된 각 기능 블록은 회로(하드웨어) 또는 중앙 연산 처리 장치(CPU)와 이를 기능시키기 위한 프로그램(소프트웨어)에 의해 구성할 수 있고, 그 프로그램은 촬영 장치(100)가 구비하는 비휘발성 메모리(140) 또는 외부로부터 접속되는 메모리 등의 기록 매체에 저장될 수 있다.An RGB image signal obtained from the CMOS device 132 shown in Fig. 3 is mainly subjected to an image front process such as defective pixel correction and black level correction in the image processing unit 206, (White Balance) correction processing, Bayer color interpolation (Demosaic) processing, color correction processing, gamma correction processing, and the like. Each functional block shown in Fig. 3 can be constituted by a circuit (hardware) or a central processing unit (CPU) and a program (software) for making it function, Volatile memory 140 or a memory connected externally or the like.

이상과 같이, 촬영자가 피사체로서 동영상 촬영한 대상(인물, 풍경 등)은 CMOS 소자(132)에 의해 영상 데이터로 변환된다. 한편, 촬영자의 얼굴은 CMOS 소자(160)에 의해 영상 데이터로 변환된다.As described above, the object (portrait, landscape, etc.) to which the photographer has taken the moving picture as the subject is converted into the image data by the CMOS device 132. [ On the other hand, the face of the photographer is converted into image data by the CMOS element 160.

또, 본 실시형태에서는 촬영 소자로서 CMOS 소자(132, 160)를 이용하고 있지만, 본 발명은 이러한 예에 한정되지 않고, CMOS 소자(132, 160) 대신에 CCD 소자 등의 다른 이미지 센서를 이용할 수 있다. 또, CMOS 소자(132, 160)는 CCD 소자보다 고속으로 피사체의 영상 광을 전기 신호로 변환할 수 있으므로, 피사체를 촬영하고 나서 영상의 합성 처리를 할 때까지의 시간을 단축할 수 있다.In the present embodiment, the CMOS elements 132 and 160 are used as the image sensing element. However, the present invention is not limited to this example. Instead of the CMOS elements 132 and 160, other image sensors such as a CCD element can be used have. In addition, since the CMOS elements 132 and 160 can convert the image light of the subject to an electric signal at a higher speed than the CCD element, the time from the shooting of the subject to the image synthesis processing can be shortened.

도 1에 도시된 바와 같이, 일 실시예에 따른 촬영 장치(100)는 보디 본체(250)와 교환 렌즈(260)로 구성되어 있을 수 있으며, 보디 본체(250)로부터 교환 렌즈(260)를 분리하는 것이 가능할 수 있다. 한편, 다른 실시예에 따른 촬영 장치(100)는 보디 본체(250)와 교환 렌즈(260)가 일체로 구성되어 있을 수 있다.1, the photographing apparatus 100 according to one embodiment may include a body 250 and an exchange lens 260, and may be configured to separate the exchange lens 260 from the body 250 . Meanwhile, in the photographing apparatus 100 according to another embodiment, the body body 250 and the exchange lens 260 may be integrally formed.

이상과 같이 구성된 촬영 장치(100)에 있어서, 촬영자 얼굴의 표정을 인카메라로 모니터함으로써 촬영하고 있는 영상에 대한 촬영자의 생각을 유추하는 것이 가는하다. 또는 재생하고 있는 영상에 대한 촬영자의 생각을 유추하는 것이 가능하다. 예를 들면, 아이의 발표회나 운동회를 부모가 촬영하는 상황에서는, 잘못 찍지 않도록 아이가 등장하기 전부터 충분한 시간의 여유를 확보하고 기록을 시작하는 경우가 많다. 그리고, 찍고자 하는 아이가 나타나거나 연기가 시작되면, 자연스럽게 표정이 바뀌거나 경우에 따라서는 말을 거는 경우도 적지 않다. 따라서, 얼굴의 표정 변화나 상태를 인식함으로써 촬영자의 「주관적인 생각」을 「객관적」으로 인카메라가 촬영한 영상으로부터 판단할 수 있다.In the photographing apparatus 100 configured as described above, it is preferable to infer the photographer's idea of the photographed image by monitoring the facial expression of the photographer's face with a phosphoric acid camera. Or it is possible to infer the photographer's opinion on the reproduced image. For example, in a situation in which a parent takes a picture of a child's presentation or athletic meet, it is often the case that a sufficient amount of time is provided before the child appears so that the user does not make a mistake. And, when a child to be photographed appears or begins to smoke, the expression changes naturally, and in some cases, it is not uncommon. Therefore, by recognizing the change in the facial expression or the state of the face, it is possible to judge the subjective thought of the photographer from the image photographed by the camera which is " objective ".

예를 들면, 일 실시예에 따라 인카메라로 촬영한 촬영자의 표정으로부터 촬영자의 희로애락의 레벨이나 프레임 간의 변화도에 따라 객관적으로 수치화된 평가값이 산출될 수 있다. 여기서, 평가값이 높은 수치일수록 동영상의 중요 장면(scene)이 포함되어 있다고 판단될 수 있다. 그리고, 평가값이 높은 동영상 타임라인 구간을 순차적으로 추출함으로써, 중요한 장면으로 구성된 다이제스트 영상을 자동으로 생성할 수 있다.For example, according to one embodiment, an evaluation value that is objectively quantified can be calculated from the expression of the photographer photographed with a camera and according to the level of the humor and the degree of change between the frames of the photographer. Here, it can be determined that the higher the evaluation value is, the more important scene of the moving picture is included. By sequentially extracting a moving-image timeline section having a high evaluation value, a digest image composed of important scenes can be automatically generated.

평가값의 산출은 CMOS 소자(132)에 의한 동영상 촬영시에 수행될 수 있다. 또한, 평가값의 산출은 재생 처리부(224)에 의해 기록 미디어(152)에 기록된 동영상 파일의 동영상을 재생할 때에 수행될 수도 있다. 평가값을 산출한 후에는 산출된 평가값에 기초하여 임의의 타이밍에서 다이제스트 동영상을 작성할 수 있다.The evaluation value may be calculated at the time of capturing a moving image by the CMOS element 132. [ The calculation of the evaluation value may be performed when reproducing the moving picture of the moving picture file recorded on the recording medium 152 by the playback processing unit 224. [ After calculating the evaluation value, the digest moving image can be created at an arbitrary timing based on the calculated evaluation value.

이 때문에, CPU(200)의 얼굴 인식부(분석부)(220)는, CMOS 소자(160)가 촬영한 영상 데이터로부터 촬영자(또는 재생 동영상을 시청하는 사용자) 얼굴의 표정을 인식하고 그 특징을 분석한다. 즉, 얼굴 인식부(220)는 사용자 얼굴의 특징을 분석하는 분석부로서 기능할 수 있다.Therefore, the face recognition unit (analysis unit) 220 of the CPU 200 recognizes the facial expression of the face of the photographer (or the user viewing the reproduced moving image) from the image data captured by the CMOS element 160, Analyze. That is, the face recognizing unit 220 can function as an analyzing unit for analyzing the characteristics of the user's face.

표정 평가값 산출부(222)는, 얼굴 인식부(220)가 인식한 얼굴의 표정에 기초하여 표정을 수치화하여 평가값을 산출한다. 수치화한 평가값의 데이터는 CMOS 소자(132)에 의한 동영상의 촬영과 함께 생성되고, 촬영된 동영상과 같은 타임 라인으로 기록된다. 즉, 기록된 평가값 데이터는 촬영된 동영상의 타임라인에 대응하는 타임라인을 갖는다. 또한, 동영상 재생시에 평가값을 산출하는 경우, 수치화된 평가값 데이터는 재생 처리부(224)에 의한 동영상의 재생시에 함께 생성되고, 재생 동영상과 같은 타임 라인으로 기록된다. 즉, 기록된 평가값 데이터는 재생 동영상의 타임라인에 대응하는 타임라인을 갖는다.The facial expression evaluation value calculating section 222 calculates facial expression based on facial expressions recognized by the facial recognition section 220 to calculate an evaluation value. The numerical evaluation value data is generated together with the capturing of the moving image by the CMOS element 132, and is recorded in the same timeline as the captured moving image. That is, the recorded evaluation value data has a time line corresponding to the time line of the photographed moving picture. When the evaluation value is calculated at the time of moving picture reproduction, numerical evaluation value data is generated together with the moving picture at the time of reproduction of the moving picture by the reproduction processing section 224, and is recorded in the same time line as the reproduction moving picture. That is, the recorded evaluation value data has a timeline corresponding to the timeline of the reproduced moving picture.

얼굴 표정의 평가값은 미리 설정된 규칙에 기초하여 작성할 수 있다. 표정의 평가값에는 개인차가 있는데, 하나의 동영상에 포함된 전체 얼굴 표정의 데이터 중에서 희로애락의 표현이 나타나는 상위 데이터부터 차례로 높은 평가값을 할당함으로써 상대적인 판단이 가능하다. 상술한 바에 따르면, 얼굴 표정 평가값의 개인차를 고려할 수 있을뿐만 아니라 상황의 차이에 따른 평가값의 절대량의 차이도 줄어 들 수 있다. 이하, 평가값의 산출 방법을 구체적으로 설명한다. The evaluation value of the facial expression can be created based on a preset rule. There are individual differences in evaluation values of facial expressions. Relative judgment can be made by allocating high evaluation values successively from the upper data in which the expression of irritation appears in the entire facial expression data included in one moving image. As described above, not only the individual difference of the facial expression evaluation value can be considered, but also the difference in the absolute value of the evaluation value according to the difference of the situation can be reduced. Hereinafter, a method of calculating the evaluation value will be described in detail.

도 4 및 도 5는 평가값을 규정하는 규칙을 설명하기 위한 모식도이다. 여기서, 도 4는 인물의 표정 중에서 평가값을 결정하는 요소를 도시한 모식도이다. Figs. 4 and 5 are schematic diagrams for explaining a rule for defining evaluation values. Fig. Here, FIG. 4 is a schematic diagram showing an element for determining an evaluation value among facial expressions of a person.

도 4에 도시된 바와 같이, 평가값은 (a)눈이 가늘어진다 (b)눈을 크게 뜬다 (c)눈꼬리가 내려간다 (d)입이 열린다 (e)입꼬리가 올라간다 등의 요소로부터 결정될 수 있다. 예를 들면, (e)의 입꼬리를 관찰함으로써 촬영자 마음의 움직임을 추측할 수 있다. As shown in Fig. 4, the evaluation value can be determined from factors such as (a) the eyes are thin (b) the eyes are wide open (c) the eyes are down (d) the mouth is opened (e) have. For example, by observing the mouth of (e), the motion of the photographer's mind can be inferred.

따라서, 일 실시예에 따른 평가값을 규정하는 규칙에 따라 얼굴 표정을 분석하여, (a)눈의 가늘어짐, (b)눈의 커짐, (c)눈꼬리의 내려감, (d)입의 열림 및 (e)입꼬리의 올라감 중 적어도 하나의 요소를 수치화 하여 평가값으로 산출 할 술 있다.Thus, by analyzing facial expressions according to a rule defining an evaluation value according to an embodiment, it is possible to analyze facial expressions according to the following rules: (a) eye tapering, (b) eye enlargement, (c) lowering of the eye tail, (d) (e) calculating at least one element of the upturn of the mouthpiece as an evaluation value.

또한, 평가값에 기초하여 시끄러운 환경 하에서도 촬영자가 소리를 낸 타이밍을 검출하는 것도 가능하다.It is also possible to detect the timing at which the photographer makes a sound even in a noisy environment based on the evaluation value.

도 5는, 도 4에 도시된 각 요소(a)~(e)에 기초하여 평가값을 결정하기 위한 규칙을 도시한 모식도이다. 도 4에 도시된 바와 같이, 각 요소(a)~(e)가 통상 레벨인 경우는 평가값이 0이 된다. 한편, 각 요소가 변화한 경우의 최대의 평가값을 설정하고, 변화의 레벨에 따라 평가값이 증가하도록 설정한다. 예를 들면 「(a)눈이 가늘어진다」 에 대해서는, 가장 눈이 가늘어진 경우의 평가값을 8로 하고, 눈이 가늘어지는 레벨에 따라 평가값을 2, 4, 6, 8 순으로 크게 설정 할 수 있다. 마찬가지로 「(b)눈을 크게 뜬다」에 대해서는, 가장 눈을 가장 크게 뜬 경우의 평가값을 12로 설정하고, 눈을 크게 뜨는 레벨에 따라 평가값이 증가하도록 할 수 있다.여기서, 도 5에 도시된 규칙은 피사체의 표정 변화에 크게 영향을 미친다고 판단되는 요소에 대한 중요도를 높게 하고 있다. 예를 들면, 입이 크게 열려 있는 표정(예를 들면, 무심코 소리를 내어 아이를 응원하고 있을 때 등), 입꼬리가 크게 올라간 표정(예를 들면, 웃고 있을 때 등)에서는, 피사체의 감정 변화판단에 「(d)입이 열린다」, 「(e)입꼬리가 올라간다」의 요소가 크게 반영된다. 이 때문에, 표정 변화에 따라 도 5의 각 요소에 중요도를 부여하는 것이 바람직하다. Fig. 5 is a schematic diagram showing rules for determining evaluation values based on the elements (a) to (e) shown in Fig. As shown in Fig. 4, when each of the elements (a) to (e) is at the normal level, the evaluation value becomes zero. On the other hand, the maximum evaluation value when each element changes is set, and the evaluation value is set to increase in accordance with the level of the change. For example, in the case of "(a) the eyes are thin", the evaluation value when the eyes are thinned is set to 8, and the evaluation values are set to be 2, 4, 6, can do. Likewise, in the case of " (b) wide-eyed eyes ", it is possible to set the evaluation value when the eyes are opened most at 12, and to increase the evaluation value according to the level at which the eyes are widely opened. The illustrated rules increase the importance of the factors that are considered to significantly affect the change of facial expression of the subject. For example, in a face with a large mouth open (for example, when a child is cheering a child by making a sound), a mouthpiece is greatly raised (for example, when smiling) "(D) mouth is opened" and "(e) mouth is raised" are reflected in the element. For this reason, it is desirable to give significance to each element in Fig. 5 according to the change in expression.

예를 들면, 도 5에서 「(c)눈꼬리가 내려간다」와 「(d)입이 열린다」를 비교하면, 가장 크게 변화한 경우의 평가값은 「(c)눈꼬리가 내려간다」는 “4”이고, 「(d)입이 열린다」는 “20”이다. 이는 양 조건이 각각 최대로 변한 경우, 「(d)입이 열린다」가 보다 감정의 변화를 크게 나타내고 있다고 판단되기 때문이다. 이와 같이 각 요소(a)~(e)에 따라 평가값의 중요도를 변화시킴으로써, 평가값에 기초하여 사용자의 감정을 보다 적정하게 평가할 수 있다.For example, when "(c) the eye tail descends" and "(d) the mouth opens" in FIG. 5, the evaluation value when the largest change is "(c) Quot ;, and " (d) mouth is opened " is " 20 ". This is because it is judged that "(d) mouth is opened" when both conditions are maximum, shows a larger change in emotion. Thus, by changing the importance degree of the evaluation value according to each of the elements (a) to (e), it is possible to evaluate the emotion of the user more appropriately based on the evaluation value.

일 실시예에 따라 각 요소(a)~(e)에 대해 도 5의 통상~최대의 어느 레벨까지 변화하였는지의 판단은, 미리 사용자의 표정에 기초하여 통상 레벨과 최대 레벨을 설정함으로써 행할 수 있다. 예를 들어 「(a)눈을 크게 뜬다」는, 처음으로 사용자의 얼굴을 촬영하였을 때에(촬영 개시의 스탠바이시 등) 두 눈의 간격, 눈의 크기(가로폭), 얼굴의 윤곽 등의 기본적인 데이터를 취득하고, 이에 기초하여 통상 눈의 크기(도 4 중에 나타내는 실선(N))와 최대로 눈을 크게 뜬 경우의 눈의 크기(도 4 중에 나타내는 일점쇄선(M))를 미리 설정해 둔다. 그리고, 통상 눈의 크기(실선(N))에 대해 일점쇄선(M)의 범위에 얼마나 눈의 크기가 가까워졌는지를 검출함으로써, 도 5에 도시된 통상~최대의 어느 레벨까지 눈을 크게 떴는지를 판정할 수 있다.According to the embodiment, it is possible to determine which level of the element (a) to (e) changes from the normal to the maximum level in Fig. 5 by setting the normal level and the maximum level in advance based on the user's expression . For example, the phrase " (a) making the eyes wide open " is a basic example of the distance between two eyes, the size of the eyes (horizontal width), and the outline of the face when the user's face is first photographed (The solid line N shown in Fig. 4) and the eye size (the one-dot chain line M shown in Fig. 4) when the eye is largely opened at the maximum is set in advance. Then, by detecting how close the eyes are to the range of the alternate long and short dash line M with respect to the normal eye size (solid line N), it is possible to determine whether the eyes are lengthened to the normal to maximum level shown in Fig. 5 Can be determined.

얼굴 인식부(220)는, 인식한 얼굴의 영상으로부터 눈, 입, 코 등의 특징을 인식하여 분석한다. 표정 평가값 산출부(222)는, 얼굴 검출부(220)가 검출한 특징에 기초하여 각 요소(a)~(e)의 평가값을 산출하고, 각 요소의 평가값을 합계하여 Σ{(a)+(b)+(c)+(d)+(e)}를 산출함으로써 최종적인 평가값을 산출한다.The face recognizing unit 220 recognizes features such as eyes, mouth, and nose from the recognized face images and analyzes them. The facial expression evaluation value calculating unit 222 calculates the evaluation values of the elements a to e based on the feature detected by the face detecting unit 220 and adds the evaluation values of the elements to calculate Σ {(a ) + (b) + (c) + (d) + (e)}.

일 실시예에 따라, 도 5에 도시된 규칙은 촬영 장치(100)의 비휘발성 메모리(140)에 저장되어 있을 수 있다. 또한, 사용자는 조작 부재(158)의 조작을 수행함으로써 도 5에 도시된 규칙을 최적으로 변경할 수 있다.According to one embodiment, the rules shown in Fig. 5 may be stored in the non-volatile memory 140 of the photographing apparatus 100. Fig. In addition, the user can optimally change the rule shown in Fig. 5 by performing the operation of the operating member 158. Fig.

다이제스트 동영상을 생성할 때에는, 평가값이 소정의 문턱값을 넘는 동영상의 구간을 추출함으로써 다이제스트 동영상을 생성할 수 있다.When a digest moving image is generated, a digest moving image can be generated by extracting a moving image section whose evaluation value exceeds a predetermined threshold value.

상술한 구성에 따르면, 사용자가 촬영 동영상(또는 재생 동영상)을 바라 볼때, 촬영되는(또는 재생되는) 동영상을 시청 하는중에 흥미를 나타내거나, 감동받거나 또는 마음이 움직인 경우에 표정의 평가값이 높아진다. 따라서, 평가값에 기초하여 동영상의 다이제스트 영상을 생성함으로써 사용자의 의도를 정확하게 반영시킨 다이제스트 영상을 최적으로 생성하는 것이 가능해진다.According to the above-described configuration, when a user looks at a captured moving image (or a reproduced moving image), an evaluation value of a facial expression is displayed when an interesting, moving, or moving mind is observed while watching a moving image . Therefore, by generating the digest image of the moving image based on the evaluation value, it is possible to optimally generate the digest image that accurately reflects the intention of the user.

또한, 도 5에 도시된 바와 같은 규칙을 촬영자(또는 재생 동영상을 시청하는 사용자)가 미리 알아 둠으로써, 촬영자가 표정을 의도적으로 바꿈으로써 동영상의 편집 포인트를 지시·지정하는 사용법이 가능해진다. 또한, 의도적으로 추출하고자 하는 부분 동영상을 선택하는 것이 가능해진다. Further, by knowing in advance the rule as shown in Fig. 5 by the photographer (or the user viewing the reproduced moving picture), it becomes possible to use the way in which the photographer intentionally changes the facial expression to designate and designate the editing point of the moving image. In addition, it becomes possible to intentionally select a partial video to be extracted.

예를 들면, 현재 촬영(또는 재생)하고 있는 동영상이 다이제스트 동영상에 포함되도록 하고자 하는 경우는, 의도적으로 표정을 웃는 얼굴로 함으로써 평가값이 높게 산출되고, 현재 촬영(또는 재생)하고 있는 동영상을 다이제스트 동영상에 포함시킬 수 있다. 따라서, 정숙이 요구되는 경우나 피사체의 말이나 소리의 방해가 되지 않도록 입다물고 촬영하는 상황 하에서도, 표정을 바꾸는 것만으로(특별한 도구·장치를 이용하지 않고 또는 특별한 조작을 하지 않고) 다이제스트 동영상을 자동 편집할 수 있다. 또한, 다이제스트 동영상을 자동 편집하기 위한 지시 정보를 동영상 재생시 또는 기록시에 동영상의 타임 라인에 포함 시키는 것이 가능해진다. For example, when a moving picture (or a moving picture) currently being photographed (or reproduced) is intended to be included in a digest moving picture, the evaluation value is calculated high by intentionally making a smiling face, and a moving picture It can be included in the video. Therefore, even in situations where you need to be quiet and do not interfere with the sound or sound of the subject, you can simply switch the facial expression (without using special tools, devices, or special operations) You can edit it. In addition, it becomes possible to include the instruction information for automatically editing the digest moving picture in the timeline of the moving picture at the time of moving picture reproduction or at the time of recording.

이와 같이 촬영자가 동영상 추출의 규칙을 미리 알아 둠으로써, 동영상을 촬영하면서 자동 편집으로 남기고자 하는 구간을 의도적으로 동영상에 포함시키는 것이 가능해진다. 이에 의해, 원하는 부분 동영상을 추출하는 것이 가능해지고 효율적으로 다이제스트 영상을 생성할 수 있다.By thus knowing the rule of the video extraction in advance, the user can intentionally include the section to be left as the automatic editing while photographing the moving image. This makes it possible to extract a desired partial moving image and efficiently generate a digest image.

또한, 동영상의 촬영과 동시에 평가값을 산출할 수 있기 때문에, 동영상 촬영한 후에 얼굴 표정의 특징 검출을 행할 필요가 없고, 평가값을 산출하기 위해 동영상 데이터를 다시 스캔할 필요가 없다. 따라서, 평가값의 산출을 효율적으로 신속하게 행하는 것이 가능하다.In addition, since the evaluation value can be calculated at the same time as the moving image is captured, it is not necessary to perform the feature detection of the facial expression after the moving image is captured, and it is not necessary to scan the moving image data again to calculate the evaluation value. Therefore, it is possible to efficiently and quickly calculate the evaluation value.

다음으로, 본 발명의 일실시예에 따른 촬영 장치(100)에서 행해지는 구체적인 처리에 대해 설명한다. Next, a specific process performed in the photographing apparatus 100 according to the embodiment of the present invention will be described.

촬영자가 피사체를 촬영함으로써, CMOS 소자(132)에 의해 피사체의 동영상이 촬영된다. 또한, 동시에 CMOS 소자(160)에 의해 촬영자(또는 재생 동영상을 시청하는 사용자)의 얼굴이 촬영된다.By photographing the subject by the photographer, the moving image of the subject is photographed by the CMOS device 132. Simultaneously, the face of the photographer (or the user who watches the reproduced moving picture) is photographed by the CMOS device 160.

CPU(200)의 얼굴 인식부(220)는, CMOS 소자(132)에 의해 촬영된 피사체의 동영상으로부터 촬영자의 얼굴을 검출하고 그 특징을 분석한다. 그리고, CPU(200)의 표정 평가값 산출부(222)는, 얼굴 인식부(220)에 의해 인식된 촬영자의 얼굴로부터 도 5에 도시된 각 요소(a)~(e)를 추출하고, 도 5의 규칙에 기초하여 표정의 평가값을 산출한다. 상술한 바와 같이, 표정 평가값 산출부(222)는 각 요소(a)~(e)의 평가값을 합계하여 최종적으로 평가값을 산출한다. 기록 파일 생성부(228)는, 산출한 평가값을 촬영 동영상과 같은 타임 라인으로 기록한다.The face recognition unit 220 of the CPU 200 detects the face of the photographer from the moving image of the subject photographed by the CMOS device 132 and analyzes the characteristic thereof. The facial expression evaluation value calculation unit 222 of the CPU 200 extracts the elements a to e shown in Fig. 5 from the face of the photographer recognized by the face recognition unit 220, The evaluation value of the expression is calculated based on the rule of 5. As described above, the facial expression evaluation value calculating section 222 sums up the evaluation values of the respective elements (a) to (e) to finally calculate the evaluation value. The recording file generation unit 228 records the calculated evaluation value in the same time line as the photographed moving image.

또한, 동영상 재생시에 평가값을 산출하는 경우, CPU(200)의 재생 처리부(224)는 기록 미디어(152)에 기록된 동영상 파일을 독출하여 재생한다. 재생한 동영상은 LCD(146)에 표시된다. 동영상 재생 중, 사용자는 LCD(146)의 재생 동영상을 시청할 수 있다. 이 때, CMOS 소자(160)에 의해 사용자의 얼굴이 촬영된다. 그리고, 얼굴 인식부(220)는, CMOS 소자(160)에 의해 촬영된 동영상으로부터 촬영자의 얼굴을 검출하고 그 특징을 분석한다. 또한, 표정 평가값 산출부(222)는, 얼굴 인식부(220)에 의해 인식된 촬영자의 얼굴로부터 도 5에 도시된 각 요소(a)~(e)를 추출하고, 도 5의 규칙에 기초하여 표정의 평가값을 산출한다. 기록 파일 생성부(228)는, 산출한 평가값을 재생 동영상과 같은 타임 라인으로 기록한다. 이에 의해, 동영상 재생시에서도 촬영시와 같이 동영상의 타임 라인에 평가값의 데이터를 기록할 수 있다.When the evaluation value is calculated at the time of moving picture reproduction, the reproduction processing section 224 of the CPU 200 reads out the moving picture file recorded in the recording medium 152 and reproduces it. The reproduced moving image is displayed on the LCD 146. [ During video playback, the user can watch the playback video on the LCD 146. [ At this time, the face of the user is photographed by the CMOS device 160. Then, the face recognizing unit 220 detects the face of the photographer from the moving image photographed by the CMOS device 160, and analyzes the feature. 5 is extracted from the face of the photographer recognized by the face recognizing unit 220, and based on the rules of FIG. 5, the facial expression evaluation value calculating unit 222 extracts the elements (a) to And the evaluation value of the expression is calculated. The recording file generation unit 228 records the calculated evaluation value in the same time line as the reproduction moving picture. As a result, the evaluation value data can be recorded on the timeline of the moving picture at the time of moving picture reproduction as at the time of photographing.

CPU(200)의 동영상 편집부(226)는, 표정의 평가값에 기초하여 동영상을 편집한다. 예를 들면, 촬영 장치(100)는, 사용자가 동영상의 내용을 빠르게 확인하고자 할 때 또는 사용자가 동영상의 주요 부분만을 추출하고자 할 때에 동영상 편집부(226)에 의한 자동 편집 기능을 동작시킬 수 있다. 이 경우, 동영상 편집부(226)는 사용자에 의한 동영상 편집의 지시가 조작 부재(158)에 입력되었을 때에 동영상 편집을 한다.The moving image editing unit 226 of the CPU 200 edits the moving image based on the evaluated value of the facial expression. For example, the photographing apparatus 100 can operate the automatic editing function by the moving image editing unit 226 when the user wants to quickly check the contents of the moving image or when the user wants to extract only a main portion of the moving image. In this case, the moving image editing unit 226 edits the moving image when an instruction to edit the moving image by the user is input to the operating member 158. [

또한, 동영상 편집부(226)에 의한 동영상 편집은, 촬영 종료 직후 또는 동영상 재생의 종료 직후에 자동으로 수행할 수도 있다. 또한, 동영상 편집부(226)에 의한 동영상 편집은, 영상 파일을 LCD(146)에 섬네일로서 표시했을 때에 자동으로 수행할 수도 있다. 동영상 편집에 의해 생성된 다이제스트 동영상은 기록 미디어(152)에 기록된다.The movie editing by the movie editing unit 226 may be performed automatically immediately after the end of shooting or immediately after the end of the movie playback. The moving image editing by the moving image editing unit 226 may be automatically performed when the image file is displayed on the LCD 146 as a thumbnail. The digest moving image generated by the moving image editing is recorded in the recording medium 152. [

도 6은 동영상 편집부(226)에 의한 자동 편집 기능을 설명하기 위한 모식도이다. 6 is a schematic diagram for explaining the automatic editing function by the moving picture editing unit 226. [

동영상 편집부(226)에 의한 자동 편집에서는, 표정의 평가값을 참조하여 평가값이 큰 타임라인 구간의 부분 동영상을 순차적으로 추출한다. 이 때, 평가값이 큰 타임라인 구간은 소정의 문턱값에 기초하여 판정한다. 도 6에서는, 부분 동영상을 추출할 때의 문턱값으로서 편집 시간이 짧은 경우의 문턱값(T1), 편집 시간이 중간 정도인 경우의 문턱값(T2), 편집 시간이 긴 경우의 문턱값(T3)의 3가지를 설정하고 있다.In the automatic editing by the moving image editing unit 226, the partial moving images of the timeline section having a large evaluation value are sequentially extracted with reference to the evaluation value of the facial expression. At this time, the timeline section having a large evaluation value is determined based on a predetermined threshold value. 6 shows a threshold value T1 when the editing time is short, a threshold value T2 when the editing time is medium, a threshold value T3 when the editing time is long, ) Are set.

편집 시간이 짧은 경우는, 평가값이 문턱값(T1)을 넘는 타임라인 구간(R11, R12)의 부분 동영상을 추출하여 다이제스트 영상을 생성한다. 또한, 편집 시간이 중간 정도인 경우는, 평가값이 문턱값(T2)을 넘는 구간(R21, R22, R23, R24, R25)의 부분 동영상을 추출하여 다이제스트 동영상을 생성한다. 또한, 편집 시간이 긴 경우는, 평가값이 문턱값(T3)을 넘는 구간(R31, R32, R33, R34)의 부분 동영상을 추출하여 다이제스트 동영상을 생성한다.If the editing time is short, a partial moving image of the timeline sections R11 and R12 whose evaluation value exceeds the threshold value T1 is extracted to generate a digest image. If the editing time is intermediate, the partial moving images of the sections R21, R22, R23, R24, and R25 whose evaluation values exceed the threshold value T2 are extracted to generate a digest moving image. If the editing time is long, the partial moving image of the section R31, R32, R33, R34 whose evaluation value exceeds the threshold value T3 is extracted to generate the digest moving image.

이와 같이 자동 편집 기능의 작동시에, 일 실시예에 따른 동영상 편집부(226)는 다이제스트 영상이 촬영자(사용자)가 원하는 편집 시간을 갖도록 평가값의 문턱값을 변화시킬 수 있다. When the automatic editing function is operated, the moving image editing unit 226 may change the threshold value of the evaluation value so that the digest image has the editing time desired by the photographer (user).

일 실시예에 따른 동영상 편집부(226)는, 추출한 부분 동영상의 통합시간이 사용자가 원하는 편집시간에 대응되도록 하는 최적의 문턱값을 탐색한다. 그리고, 탐색된 문턱값을 웃도는 평가값의 타임라인 구간의 부분 동영상을 추출하고, 추출된 부분 동영상의 합계 시간이 원하는 편집 시간에 가장 가까워지는지 판단한다. 예를 들면, 추출된 부분 동영상의 합계 시간이 원하는 편집 시간보다 짧은 경우 문턱값을 조금씩 낮춰서 합계 시간과 편집 시간이 대응 되도록 할 수 있다., 그리고, 추출된 부분 동영상의 합계 시간이 원하는 편집시간에 가까워 지는 문턱 값에서 타임 구간을 추출하고, 추출된 타임라인 구간을 연결하여 다이제스트 영상을 생성한다. 이런 방법에 의해, 다이제스트 영상의 길이를 사용자가 원하는 길이로 설정할 수 있다. The moving image editing unit 226 searches for an optimal threshold value such that the integrated time of the extracted partial moving image corresponds to the editing time desired by the user. Then, the partial moving picture of the timeline section of the evaluated value exceeding the searched threshold value is extracted, and it is determined whether the total time of the extracted partial moving picture is the closest to the desired editing time. For example, when the total time of the extracted partial moving images is shorter than the desired editing time, the threshold value may be slightly lowered so that the total time and the editing time are associated with each other. A time interval is extracted from a threshold value that is closer to the extracted time line interval, and a digest image is generated by connecting the extracted time line interval. By this method, the length of the digest image can be set to a length desired by the user.

또, 도 6에서는 문턱값(T1, T2, T3)의 3가지를 나타내고 있지만, 문턱값은 T1, T2, T3 이외의 임의의 값으로 설정할 수도 있다. 사용자는 조작 부재(158)를 조작함으로써 다이제스트 동영상의 길이를 자유롭게 설정할 수 있다. 동영상 편집부(226)는, 조작 부재(158)로부터 입력된 다이제스트 동영상의 길이 정보에 기초하여 문턱값을 최적으로 조정한다. 이로인해, 다이제스트 동영상의 길이를 사용자가 원하는 시간으로 할 수 있다.6, three threshold values (T1, T2, and T3) are shown. However, the threshold value may be set to any value other than T1, T2, and T3. The user can freely set the length of the digest moving image by operating the operating member 158. [ The moving image editing unit 226 adjusts the threshold value optimally based on the length information of the digest moving image input from the operating member 158. [ As a result, the length of the digest moving picture can be set to a time desired by the user.

도 7은, 도 5에 도시된 각 요소(a)~(e)의 각 평가값과, 각 평가값의 합계값(sum)이 시간(time)의 경과에 따라 변화하는 경우에 다이제스트 동영상을 추출하는 구간을 도시한 모식도이다. 평가값의 문턱값을 “15”로 한 경우, 12초부터 16초 구간에서는 평가값의 합계(sum)가 15이상이기 때문에, 도 7의 굵은 테두리 내에서 나타내는 12초부터 16초 구간의 동영상이 다이제스트 동영상으로서 추출된다.Fig. 7 is a diagram showing the relationship between the evaluation values of the respective elements (a) to (e) shown in Fig. 5 and the sum value (sum) of the evaluation values when the digest moving picture is extracted Fig. When the threshold value of the evaluation value is " 15 ", since the sum of the evaluation values is 15 or more in the interval of 12 seconds to 16 seconds, the moving image of 12 seconds to 16 seconds shown in the bold frame of FIG. And extracted as a digest video.

도 8은, 평가값의 샘플링 시간(Sampling Time)과 평가값의 관계 및 샘플링 시간의 사이를 직선으로 보간한 예를 도시한다. FIG. 8 shows an example in which the relationship between the sampling time of the evaluation value (Sampling Time) and the evaluation value and the sampling time are interpolated in a straight line.

여기서, 샘플링 시간이 4초 간격인 경우를 나타내고 있다. 또한, 평가값의 문턱값은 “15”인 것으로 가정한다. 예를 들면, 도 8에서 문턱값이 15를 넘는 구간은 8.5초~18.0초의 구간(R4)이며, 이 시간대의 동영상을 추출하여 다이제스트 동영상을 생성할 수 있다.Here, the case where the sampling time is 4 seconds apart is shown. It is also assumed that the threshold value of the evaluation value is " 15 ". For example, in FIG. 8, a section having a threshold value exceeding 15 is a section R4 of 8.5 seconds to 18.0 seconds, and a digest moving image can be generated by extracting a moving image in this time period.

또, 샘플링 시간의 관계에서 문턱값이 “15”를 넘는 구간의 동영상을 추출하면, 동영상의 모두 부분 또는 마지막 부분에서 원하는 동영상이 다이제스트 동영상으로부터 벗어나 버리는 것을 생각할 수 있다. 이 때문에, 동영상의 추출 개시는 문턱값이 “15”를 넘는 시각의 몇 초 정도 전부터 시작될 수 있다. 도 8에 도시된 구간(R5)은, 동영상 추출의 개시 위치를 문턱값이 15를 넘는 시간보다 2초 정도 빠른 타이밍으로 한 예를 나타내고 있다. 마찬가지로 동영상 추출의 종료도 문턱값이 “15”이하가 되는 시간보다 느린 타이밍으로 하는 것이 바람직하다. 이에 의해, 다이제스트 동영상으로부터 사용자가 원하는 부분이 누출되어 버리는 일이 없고, 감상하기 쉬운 다이제스트 동영상을 작성할 수 있다. 다이제스트 동영상의 시작과 끝의 영상은 페이드인, 페이드아웃으로 표시해도 된다.It is also possible to consider that a desired moving image deviates from the digest moving image in all or the last part of the moving picture if a moving image in a section where the threshold value exceeds "15" is extracted from the sampling time relationship. Therefore, the extraction start of the moving picture can be started a few seconds before the time when the threshold value exceeds " 15 ". The section R5 shown in Fig. 8 shows an example in which the start position of moving image extraction is set at a timing about two seconds earlier than the time when the threshold value exceeds 15. Likewise, it is preferable that the timing of ending the moving picture extraction is slower than the time at which the threshold value is 15 or less. This makes it possible to create a digest video that is easy to view without a user's desired portion leaking from the digest video. The video at the beginning and end of a digest video may be displayed as a fade-in or fade-out.

도 9는 평가값의 저장 방법을 도시한 모식도이다. FIG. 9 is a schematic diagram showing a method of storing evaluation values. FIG.

도 9의 (A)는, 평가값을 동영상 파일(400) 내의 메타 데이터로서 저장한 경우를 나타내고 있다. 이 경우, 동영상 파일(400)은 헤더(402), 표정의 평가값(404), 동영상 데이터(406)를 포함하는 것이 된다.9A shows a case in which the evaluation value is stored as metadata in the moving image file 400. FIG. In this case, the moving picture file 400 includes the header 402, evaluation value 404 of the facial expression, and moving picture data 406.

도 9의 (B)는, 평가값을 동영상 파일(400)과 대응된 다른 파일(500)로 저장한 경우를 나타내고 있다. 이 경우, 확장자를 바꾸는 등의 방법에 의해 동영상 파일(400)과 평가값 파일(500)이 1 대 1로 대응하도록 할 수 있다.FIG. 9B shows a case where the evaluation value is stored in a different file 500 corresponding to the moving image file 400. FIG. In this case, the moving picture file 400 and the evaluation value file 500 can be corresponded one by one by changing the extension or the like.

도 9의 (A) 및 도 9의 (B)의 어떤 경우에서도 동영상 파일(400), 평가값 파일(500)은 기록 미디어(152)에 기록된다. 동영상 파일(400)과 평가값을 대응시켜 저장함으로써, 동영상 편집부(226)는 임의의 타이라인 구간에서의 다이제스트 동영상을 생성하는 것이 가능해진다. 또한, 도 7에 도시된 바와 같이 평가값은 텍스트 데이터로 나타낼 수 있기 때문에, 텍스트 데이터를 저장하는 것만으로 평가값을 확실히 저장할 수 있다.9A and 9B, the moving picture file 400 and the evaluation value file 500 are recorded in the recording medium 152 in any case. By storing the moving image file 400 in correspondence with the evaluation value, the moving image editing unit 226 can generate a digest moving image in an arbitrary tie-line interval. In addition, since the evaluation value can be represented by text data as shown in Fig. 7, the evaluation value can be reliably stored only by storing the text data.

따라서, 평가값을 저장할 때, 샘플링을 적당히 축소하거나 평가값을 텍스트 데이터로 하는 등의 방법으로 데이터량을 삭감함으로써 평가값을 단시간에 저장하는 것이 가능할 수 있다. 또한, 동영상 편집시에도 단시간의 판독 동작으로 평가값을 독출하는 것이 가능하다.Therefore, when storing the evaluation value, it is possible to save the evaluation value in a short time by reducing the amount of data by appropriately reducing the sampling or using the evaluation value as the text data. It is also possible to read the evaluation value by a short-time reading operation even when the moving image is edited.

또한, 동영상 편집부(226)가 생성한 다이제스트 동영상도 기록 미디어(152)에 기록된다. 따라서, 동영상 편집부(226)가 다이제스트 동영상을 생성한 후에, 사용자로 부터 재생을 원하는 다이제스트 동영상을 선택받아, 다이제스트 동영상을 재생하는 것이 가능하다.The digest moving image generated by the moving image editing unit 226 is also recorded in the recording medium 152. [ Therefore, after the moving image editing unit 226 generates the digest moving image, it is possible to select the digest moving image to be played back from the user and to play the digest moving image.

예를 들면, LCD(146)에 정지영상의 섬네일과 함께 다이제스트 동영상의 섬네일을 표시할 수 있다. 사용자의 입력에 기초하여 다이제스트 동영상의 섬네일 선택신호가 입력되면, LCD(146)의 표시 화면 사이즈로 다이제스트 동영상을 확대하여 재생 할 수 있다. 또, LCD(146) 상에 다이제스트 동영상을 섬네일로 표시하는 경우는, 소정 시간의 다이제스트 동영상을 무한 루프로 하여 반복하여 표시하는 동영상의 모두 부분을 정지영상으로서 표시할 수 있다. 이와 같이 다이제스트 동영상을 LCD(146)상에 섬네일로 표시함으로써, 정지영상의 섬네일과 같이 동영상에 대해서도 섬네일을 이용하여 동영사의 내용을 용이하게 확인하는 것이 가능해진다.For example, the thumbnail of the digest moving image can be displayed on the LCD 146 together with the thumbnail of the still image. When the thumbnail selection signal of the digest moving image is inputted based on the input of the user, the digest moving image can be enlarged and reproduced with the display screen size of the LCD 146. [ In the case of displaying the digest moving image on the LCD 146 as thumbnails, it is possible to display all portions of the moving image repeatedly displayed in the endless loop of the digest moving image for a predetermined time as a still image. By displaying the digest moving picture on the LCD 146 in the thumbnail format, it becomes possible to easily check the contents of the moving picture using the thumbnail for the moving picture like the still picture thumbnail.

도 10은 촬영 장치(100)에서의 동영상 처리 방법의 처리를 도시한 흐름도이다. Fig. 10 is a flowchart showing the processing of the moving picture processing method in the photographing apparatus 100. Fig.

먼저, 단계 S10에서는, 인카메라에 의한 사용자의 촬영을 개시한다.First, in step S10, the user starts shooting by the in-camera.

다음 단계 S12에서는, 인카메라로 촬영한 동영상에 대해 사용자 얼굴을 인식을 하고, 상기 사용자 얼굴의 특징을 분석한다. In the next step S12, the user's face is recognized with respect to the moving image photographed with the in-camera, and the characteristic of the user's face is analyzed.

다음 단계 S14에서는, 동영상의 촬영시 또는 동영상의 재생시에 상기 사용자 얼굴의 표정을 수치화하여 평가값을 산출한다. In the next step S14, the facial expression of the user's face is digitized at the time of capturing a moving image or at the time of reproducing a moving image to calculate an evaluation value.

다음 단계 S16에서는, 수치화한 평가값을 동영상의 촬영 또는 재생과 같은 타임 라인으로 기록한다. In the next step S16, the numerical evaluation value is recorded in a time line such as photographing or reproduction of a moving image.

다음 단계 S18에서는, 기록된 평가값을 기초로 부분 동영상을 순차적으로 추출하여 다이제스트를 생성한다.In the next step S18, the digest is generated by sequentially extracting the partial moving images based on the recorded evaluation values.

이상 설명한 바와 같이 본 발명의 일 실시예에 따르면, 인카메라로 촬영한 사용자의 표정에 기초하여 원하는 다이제스트 동영상을 작성할 수 있다. 따라서, 사용자가 동영상을 시청하였을 때에 흥미를 느낀 부분, 마음이 움직인 부분의 동영상을 정확하게 추출하는 것이 가능해지고, 사용자가 원하는 대로의 다이제스트 동영상을 생성할 수 있다. 따라서, 사용자의 주관을 반영하여 효율적으로 동영상의 자동 편집을 할 수 있다. 나아가, 동영상 내의 피사체의 상황(인물의 유무, 방향, 사람수 등)이나 동영상 내에 포함되는 음성에 의존하지 않고 동영상의 자동 편집이 가능해진다.As described above, according to an embodiment of the present invention, a desired digest moving image can be created based on a facial expression of a user photographed with an in-camera. Accordingly, when the user watches the moving image, it is possible to accurately extract the part of interest, the part of the mind, and the like, and the user can generate a digest video as desired. Accordingly, it is possible to efficiently perform automatic editing of a moving image in accordance with the user's subjective view. Furthermore, it becomes possible to automatically edit a moving picture without depending on the situation of the subject in the moving picture (presence of person, direction, number of people, etc.) or the sound included in the moving picture.

또, 얼굴 표정의 평가값을 산출하는 규칙을 사용자가 미리 인식함으로써, 사용자가 의도한 대로 다이제스트 동영상을 생성할 수 있다. 또한, 평가값의 산출은 동영상 촬영과 동시에 행할 수 있기 때문에, 평가값을 산출하기 위해 동영상 데이터를 다시 디코딩할 필요가 없다. 즉, 평가값 산출의 처리를 효율적으로 행하는 것이 가능해진다.In addition, the user can recognize the rule for calculating the evaluation value of the facial expression in advance, so that the digest moving image can be generated as intended by the user. In addition, since the evaluation value can be calculated at the same time as the moving image shooting, it is not necessary to decode the moving image data again to calculate the evaluation value. In other words, it is possible to efficiently perform evaluation value calculation processing.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims

A first moving picture photographing unit for photographing a user;
An analyzing unit for recognizing the user's face from the first moving image captured by the first moving image capturing unit and analyzing the characteristic of the user's face;
An evaluation value calculation unit for calculating an evaluation value by digitizing a facial expression of the user's face based on the analyzed characteristic of the user's face at the time of photographing or reproducing the second moving image;
A recording unit for recording the evaluation value in association with a time line of the second moving picture; And
And a moving picture editing unit for extracting a partial moving picture from the second moving picture based on the evaluation value to generate a digest moving picture.

The method according to claim 1,
The moving picture processing apparatus further comprises a second moving picture photographing section for photographing the second moving picture,
Wherein the evaluation value calculating unit performs an operation of calculating the evaluation value at the time of shooting the second moving picture.

3. The method of claim 2,
Wherein the evaluation value calculation unit performs an operation of digitizing a facial expression based on a characteristic of a user's face analyzed from the first moving picture at the time of shooting the second moving picture.

The method according to claim 1,
Wherein the moving image editing unit sequentially extracts a partial moving image in a time line section in which the evaluation value is larger than a threshold value to generate a digest image.

5. The method of claim 4,
Wherein the moving picture editing unit extracts the partial moving picture by changing the threshold value so that the combined time of the partial moving picture corresponds to a predetermined editing time.

5. The method of claim 4,
Wherein the moving image editing unit sequentially extracts the partial moving images in a time line section obtained by adding a margin time before or after the time line interval in which the value of the evaluation value is larger than a threshold value.

The method according to claim 1,
Wherein the evaluation value calculation unit performs the numerical value based on a predetermined rule.

8. The method of claim 7,
Wherein the predetermined rule is that, in the face expression,
Characterized in that at least one element among the tilt of the eyes, the enlargement of the eyes, the lowering of the eye tail, the opening of the mouth, and the rise of the mouth of the user is numerically expressed.

8. The method of claim 7,
The predetermined rule may include:
Wherein a high importance is assigned to an element judged to have a great influence on a change in facial expression.

The method according to claim 1,
Wherein the recording unit records the evaluation value as metadata in the data of the second moving picture.

The method according to claim 1,
Wherein the recording unit records the evaluation value as separate data corresponding to the data of the second moving picture on a one-to-one basis.

Photographing a user;
The user recognizing the user's face from the first video shot and analyzing the characteristics of the user's face;
Calculating an evaluation value by digitizing a facial expression of the user's face based on the analyzed characteristic of the user's face at the time of photographing or reproducing the second moving image;
Recording the evaluation value in association with a timeline of the second moving picture; And
And extracting a partial moving image of the second moving image based on the evaluation value to generate a digest image.

13. The moving picture processing method according to claim 12,
Further comprising photographing the second moving picture,
The step of calculating the evaluation value includes:
And calculating the evaluation value at the time of shooting the second moving picture.

13. The method of claim 12,
Wherein the generating the digest image comprises:
Wherein the digest image is generated by sequentially extracting the partial moving images of the time line section in which the evaluation value is larger than a threshold value.

15. The method of claim 14,
Wherein the generating the digest image comprises:
Wherein the partial moving picture is extracted by changing the threshold value so that the combined time of the partial moving picture corresponds to a predetermined editing time.

15. The method of claim 14,
Wherein the step of generating the digest image sequentially extracts the partial videos of the timeline section obtained by adding the clearance time before or after the time line section in which the evaluation value is larger than the threshold value Processing method.

13. The method of claim 12,
Wherein the step of calculating the evaluation value includes the step of performing the numerical value based on a predetermined rule.

18. The method of claim 17,
Wherein the predetermined rule is specified to give a high importance to an element judged to have a great influence on a change in facial expression.

13. The method of claim 12,
Wherein the recording step comprises:
And recording the evaluation value as metadata in the data of the second moving picture.

13. The method of claim 12,
Wherein the recording step comprises:
And recording the evaluation value as separate data corresponding to the data of the second moving picture on a one-to-one basis.