KR102140779B1 - 하이브리드 인식 시스템, 하이브리드 인식 방법 및 이를 위한 장치 - Google Patents

Abstract

하이브리드 인식 시스템, 하이브리드 인식 방법 및 이를 위한 장치가 개시된다. 사용자가 미리 생체 인식 및 객체 인식의 매칭율을 저장해두고, 실제 인식 결과에 해당하는 매칭율과 비교한 비교 결과에 상응하는 동작을 수행한다. 즉, 비교 결과에 상응하여 단말 장치의 잠금이 해제되고, 객체 인식 결과에 상응하는 어플리케이션이 자동 실행된다. 따라서, 잠금 해제 및 원하는 어플리케이션 실행을 효과적으로 수행할 수 있고, 인식율이 불완전한 인식 기술을 효율적으로 활용할 수 있다.

Description

하이브리드 인식 시스템, 하이브리드 인식 방법 및 이를 위한 장치 {SYSTEM FOR HYBRID RECOGNITION AND METHOD OF HYBRID RECOGNITION AND APPARATUS FOR THE SAME}

본 발명은 생체인식 및 객체인식이 결합한 하이브리드 인식 시스템, 하이브리드 인식 방법 및 이를 위한 장치에 관한 것으로, 특히 복수의 인식기술에 대하여 사용자가 설정한 매칭율 기준값에 따라 효과적으로 사용자 인식 및 수행 동작 인식을 수행할 수 있는 하이브리드 인식 시스템, 하이브리드 인식 방법 및 이를 위한 장치에 관한 것이다.

기존의 모바일 단말의 잠금(락) 해제나 사용자 인증은 사용자가 미리 패턴이나 비밀번호를 저장해두고, 잠금 해제시 패턴이나 비밀번호를 입력하는 방식으로 수행되었다.

이와 같이 패턴이나 비밀번호 입력을 통해 사용자 인증을 수행하는 방식은, 사용자가 매 번 패턴이나 비밀번호를 입력하여야 하는 번거로움이 있고, 손을 자유롭게 사용할 수 없는 장애인의 경우 아예 사용자 인증 자체가 불가능하다는 문제가 있다.

한국공개특허 2004-0048114호에는 휴대용 단말기에서 다중생체인식을 통한 인증 기술이 개시되어 있다. 즉, 한국공개특허 2004-0048114호는 홍채, 얼굴 등의 이미지 인식, 지문인식 및 음성인식 등을 다중적으로 활용하여 사용자를 인식하는 기술을 개시하고 있다. 그러나, 한국공개특허 2004-0048114호는 보다 정확한 사용자 인증을 위해 다양한 생체인식기술을 조합한 것에 불과하여, 단순히 사용자 인식 기술에 대한 것으로 수행 동작 인식과는 전혀 무관하고 인식기술의 한계로 인식이 불완전하거나 인식율이 낮은 경우 등에 정상적으로 동작하지 않는다는 문제가 있다.

통상, 이미지를 통한 인식이나 음성인식 등의 사용자 인식 기술은 주위 잡음이나 인식 기술의 한계로 인해 100% 정확한 인식율을 제공하기 어렵고, 인식이 제대로 이루어지지 않은 경우 계속해서 사용자에게 재입력을 요구하므로 사용자가 자동 인식 기술을 사용하는데 큰 불편함이 있었다.

따라서, 현재 사용되는 불완전한 인식 기술을 사용하면서도 불완전한 인식으로 인한 사용자 불편을 최소화하고, 특히 모바일 단말에서 효율적으로 활용될 수 있는 새로운 하이브리드 인식 기술의 필요성이 절실하게 대두된다.

본 발명의 목적은, 사용자가 미리 사용자 인식 및 객체 인식에 상응하는 매칭율 및 매칭율에 상응하는 동작을 저장해두고, 인식 결과에 상응하는 실제 매칭율과 비교하여 단말이 잠금 해제와 함께 적절한 동작을 수행하도록 하는 것이다.

또한, 본 발명의 목적은 사용자가 잠금 패턴이나 비밀번호를 입력하는 번거로움 없이 사용자 인식 및 객체인식을 통해 효과적으로 단말 잠금을 해제하는 것이다.

또한, 본 발명의 목적은 사용자가 보안이 필요한 동작을 수행하는데 필요한 자동 인식의 매칭율을 높게 설정하고, 상대적으로 보안이 필요 없는 동작을 수행하는데 필요한 자동 인식의 매칭율을 낮게 설정할 수 있도록 하여, 보안 문제 없이 사용자가 쉽게 잠금 해제와 동시에 원하는 어플리케이션을 실행할 수 있도록 하는 것이다.

또한, 본 발명의 목적은 얼굴 인식이나 음성 인식 또는 객체 인식마다 사용자가 적절히 매칭율 가중치를 지정할 수 있도록 하여 인식율이 불완전한 기존의 인식 기술을 효율적으로 활용하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 하이브리드 인식 단말 장치는, 사용자에 대한 사용자 인식 결과를 생성하는 사용자 인식부; 상기 사용자에 의하여 촬영된 객체에 대한 객체 인식 결과를 생성하는 객체 인식부; 및 상기 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 동작을 수행하는 동작 수행부를 포함한다.

이 때, 동작 수행부는 상기 비교 결과에 기반하여 상기 하이브리드 인식 단말 장치의 잠금을 해제하는 잠금 해제부; 및 상기 잠금이 해제된 후 상기 비교 결과에 상응하는 어플리케이션을 실행하는 어플리케이션 실행부를 포함할 수 있다.

이 때, 사용자 인식부는 상기 사용자의 음성에 대한 음성 인식 결과를 생성하는 음성 인식부; 및 상기 사용자의 얼굴에 대한 얼굴 인식 결과를 생성하는 얼굴 인식부를 포함할 수 있다.

이 때, 사용자 인식 및 객체 인식은 서버에서 수행될 수 있다.

이 때, 어플리케이션 실행부는 실제 매칭율에 따라 서로 다른 어플리케이션이 실행되도록 할 수 있다.

이 때, 어플리케이션 실행부는 사용자 인식 및 객체 인식에 상응하는 사용자 매칭율 기준값 구간 및 상기 사용자 매칭율 기준값 구간에 상응하는 동작을 매핑(mapping)하여 저장한 매칭율 테이블을 이용하여 상기 어플리케이션을 실행할 수 있다.

이 때, 매칭율 테이블은 상기 사용자 인식 및 상기 객체 인식의 가중 평균 매칭율 기준값 구간별로 상기 동작을 매핑하여 저장할 수 있다.

또한, 본 발명에 따른 하이브리드 인식 서버 장치는, 사용자에 대한 사용자 인식 정보를 수신하는 사용자 인식 정보 수신부; 상기 사용자에 의하여 촬영된 객체 이미지에 상응하는 객체 인식 정보를 수신하는 객체 인식 정보 수신부; 및 상기 사용자 인식 정보에 기반한 사용자 인식 및 상기 객체 인식 정보에 기반한 객체 인식을 수행하고, 상기 사용자 인식 및 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교하여 비교 결과에 상응하는 동작 수행 정보를 전송하는 매칭율 비교부를 포함한다.

이 때, 동작 수행 정보는 하이브리드 인식 단말 장치가, 상기 비교 결과에 기반하여 잠금을 해제하고 상기 비교 결과에 상응하는 어플리케이션을 실행하는데 사용될 수 있다.

이 때, 사용자 인식 정보 수신부는 상기 사용자의 음성 인식을 위한 음성 인식 정보를 수신하는 음성 인식 정보 수신부; 및 상기 사용자의 얼굴 인식을 위한 얼굴 인식 정보를 수신하는 얼굴 인식 정보 수신부를 포함할 수 있다.

또한, 본 발명에 따른 하이브리드 인식 방법은, 사용자에 대한 사용자 인식 결과를 생성하는 단계; 상기 사용자에 의하여 촬영된 객체에 대한 객체 인식 결과를 생성하는 단계; 및 상기 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 동작을 수행하는 단계를 포함한다.

또한, 본 발명에 따른 하이브리드 인식 방법은, 사용자에 대한 사용자 인식 정보를 수신하는 단계; 상기 사용자에 의하여 촬영된 객체 이미지에 상응하는 객체 인식 정보를 수신하는 단계; 상기 사용자 인식 정보에 기반한 사용자 인식 및 상기 객체 인식 정보에 기반한 객체 인식을 수행하는 단계; 및 상기 사용자 인식 및 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교하여 비교 결과에 상응하는 동작 수행 정보를 전송하는 단계를 포함한다.

또한, 본 발명에 따른 하이브리드 인식 시스템은, 사용자에 대한 사용자 인식 정보 및 상기 사용자에 의하여 촬영된 객체 이미지에 상응하는 객체 인식 정보를 전송하고, 동작 수행 정보를 수신하여 상기 동작 수행 정보에 상응하는 동작을 수행하는 하이브리드 인식 단말 장치; 및 상기 사용자 인식 정보에 기반한 사용자 인식 및 상기 객체 인식 정보에 기반한 객체 인식을 수행하고, 상기 사용자 인식 및 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교하여 비교 결과에 상응하는 상기 동작 수행 정보를 생성하는 하이브리드 인식 서버 장치를 포함한다.

본 발명에 따르면, 사용자가 미리 사용자 인식 및 객체 인식에 상응하는 매칭율 및 매칭율에 상응하는 동작을 저장해두고, 인식 결과에 상응하는 실제 매칭율과 비교하여 단말이 잠금 해제와 함께 적절한 동작을 수행하도록 할 수 있다.

또한, 본 발명은 사용자가 잠금 패턴이나 비밀번호를 입력하는 번거로움 없이 사용자 인식 및 객체인식을 통해 효과적으로 단말 잠금을 해제할 수 있다.

또한, 본 발명은 사용자가 보안이 필요한 동작을 수행하는데 필요한 자동 인식의 매칭율을 높게 설정하고, 상대적으로 보안이 필요 없는 동작을 수행하는데 필요한 자동 인식의 매칭율을 낮게 설정할 수 있도록 하여, 보안 문제 없이 사용자가 쉽게 잠금 해제와 동시에 원하는 어플리케이션을 실행할 수 있다.

또한, 본 발명은 얼굴 인식이나 음성 인식 또는 객체 인식마다 사용자가 적절히 매칭율 가중치를 지정할 수 있도록 하여 인식율이 불완전한 기존의 인식 기술을 효율적으로 활용할 수 있다.

도 1은 본 발명의 일실시예에 따른 하이브리드 인식 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 하이브리드 인식 단말 장치의 일 예를 나타낸 블록도이다.
도 3은 도 2에 도시된 동작 수행부의 일 예를 나타낸 블록도이다.
도 4는 도 2에 도시된 사용자 인식부의 일 예를 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 매칭율 테이블을 이용한 매칭율 비교 과정을 설명하기 위한 도면이다.
도 6은 도 1에 도시된 하이브리드 인식 서버 장치의 일 예를 나타낸 블록도이다.
도 7은 도 6에 도시된 사용자 인식 정보 수신부의 일 예를 나타낸 블록도이다.
도 8은 본 발명의 일실시예에 따른 하이브리드 인식 방법(단말 관점)을 나타낸 동작 흐름도이다.
도 9는 도 8에 도시된 동작 수행 단계의 일 예를 나타낸 동작 흐름도이다.
도 10은 본 발명의 일실시예에 따른 하이브리드 인식 방법(서버 관점)을 나타낸 동작 흐름도이다.
도 11은 본 발명의 일실시예에 따른 하이브리드 인식 방법을 전체적으로 나타낸 동작 흐름도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 하이브리드 인식 시스템을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 하이브리드 인식 시스템은 하이브리드 인식 서버 장치(110), 하이브리드 인식 단말 장치들(120-1, ..., 120-N) 및 네트워크(130)를 포함한다.

하이브리드 인식 단말 장치들(120-1, ..., 120-N)은 각각 사용자에 대한 사용자 인식 정보 및 사용자에 의하여 촬영된 객체 이미지에 상응하는 객체 인식 정보를 전송하고, 동작 수행 정보를 수신하여 동작 수행 정보에 상응하는 동작을 수행한다.

이 때, 동작 수행 정보는 하이브리드 인식 단말 장치들(120-1, ..., 120-N) 각각이, 상기 비교 결과에 기반하여 잠금을 해제하고 상기 비교 결과에 상응하는 어플리케이션을 실행하는데 사용될 수 있다.

하이브리드 인식 서버 장치(110)는 상기 사용자 인식 정보에 기반한 사용자 인식 및 상기 객체 인식 정보에 기반한 객체 인식을 수행하고, 상기 사용자 인식 및 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교하여 비교 결과에 상응하는 상기 동작 수행 정보를 생성하여 하이브리드 인식 단말 장치들(120-1, ..., 120-N)로 제공한다.

이 때, 사용자 인식은 사용자의 음성에 대한 음성 인식 및 사용자의 얼굴에 대한 얼굴 인식을 포함할 수 있다.

도 1에 도시된 예에서는 하이브리드 인식 서버 장치(110)에서 사용자 인식 및 객체 인식이 수행되는 경우를 중심으로 설명하였으나, 사용자 인식 및 객체 인식은 하이브리드 인식 서버 장치(110)가 아닌 하이브리드 인식 단말 장치들(120-1, ..., 120-N)에서 수행될 수도 있다.

하이브리드 인식 서버 장치(110)는 사용자 인식 및 객체 인식에 상응하는 사용자 매칭율 기준값 구간 및 사용자 매칭율 기준값 구간에 상응하는 동작을 매핑(mapping)하여 저장한 매칭율 테이블을 구비할 수 있다. 즉, 하이브리드 인식 서버 장치(110)는 사용자 인식 및 객체 인식의 가중 평균 매칭율 기준값 구간별로 동작을 매핑하여 저장한 매칭율 테이블을 이용하여 동작 수행 정보를 생성할 수 있다.

하이브리드 인식 단말 장치들(120-1, ..., 120-N)은 각각 PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 네비게이션(navigation), 스마트폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 또는 DVB(Digital Video Broadcasting)와 같은 디지털 방송 수신기를 포함할 수 있다.

네트워크(130)는 하이브리드 인식 서버 장치(110) 및 하이브리드 인식 단말 장치들(120-1, ..., 120-N) 사이에서 정보를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들면, 네트워크(130)는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다. 또한, 도 1에서 하이브리드 인식 서버 장치(110) 및 하이브리드 인식 단말 장치(120-1) 사이에 사용되는 네트워크는 하이브리드 인식 서버 장치(110) 및 하이브리드 인식 단말 장치(120-N) 사이에서 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.

이하에서, 매칭율은 사용자 인식이나 객체 인식의 결과 매칭되는 정도를 나타내는 지표일 수 있으며, 인식율을 포함하는 개념일 수 있다.

도 2는 도 1에 도시된 하이브리드 인식 단말 장치의 일 예를 나타낸 블록도이다.

도 2를 참조하면, 도 1에 도시된 하이브리드 인식 단말 장치는 사용자 인식부(210), 객체 인식부(220) 및 동작 수행부(230)를 포함한다.

사용자 인식부(210)는 사용자에 대한 사용자 인식 결과를 생성한다.

이 때, 사용자 인식부(210)는 사용자의 음성에 대한 음성 인식 결과를 생성하고, 사용자의 얼굴에 대한 얼굴 인식 결과를 생성할 수 있다.

객체 인식부(220)는 상기 사용자에 의하여 촬영된 객체에 대한 객체 인식 결과를 생성한다.

이 때, 사용자 인식 결과 및 객체 인식 결과를 생성한다 함은, 직접 사용자 인식이나 객체 인식을 수행하여 사용자 인식 결과 및 객체 인식 결과를 생성하는 것일 수도 있고, 외부(서버)로부터 사용자 인식 결과 및 객체 인식 결과를 수신하는 것일 수도 있다.

객체 인식부(220)는 사용자 인식부(210)의 인식 결과가 기설정된 기준값 이상 성공적인 경우에만 수행될 수 있다. 즉, 사용자 인식부(210)의 인식 결과가 기설정된 기준값 이상이 아닌 경우에는 객체 인식을 수행할 필요도 없이 잠금 해제 실패에 상응하는 동작이 수행될 수 있다.

예를 들어, 사용자는 자기 자동차를 촬영하고, 촬영된 자기 자동차에 상응하는 객체 인식부(220)의 인식 결과 생성에 기반하여 네비게이션 어플리케이션 등 자동차 관련 어플리케이션이 실행되도록 할 수 있다.

예를 들어, 사용자는 자신의 집 현관문의 도어락 장치를 촬영하고, 촬영된 자기 집 도어락 장치에 상응하는 객체 인식부(220)의 인식 결과 생성에 기반하여 현관문 개폐 어플리케이션 등 현관문과 관련된 어플리케이션이 실행되도록 할 수 있다.

이 때, 객체 인식부(220)는 사전에 사용자의 자동차에 대한 스틸사진 및 동영상을 수신하여 저장해두고, 사용자가 객체 인식을 위해 자신의 자동차를 촬영하면 촬영 이미지와 기저장된 스틸사진 및 동영상(동영상의 프레임)을 비교하여 객체 인식을 수행할 수 있다.

동작 수행부(230)는 상기 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 동작을 수행한다.

이 때, 동작 수행부(230)는 상기 비교 결과에 기반하여 상기 하이브리드 단말 장치의 잠금을 해제하고, 잠금이 해제된 후 상기 비교 결과에 상응하는 어플리케이션을 실행할 수 있다. 이 때, 잠금 해제를 위해 활용되는 비교 결과는 사용자 인식에 상응하는 비교 결과일 수 있고, 어플리케이션을 실행하기 위해 활용되는 비교 결과는 객체 인식에 상응하는 비교 결과일 수 있다.

사용자 인식부(210) 및 객체 인식부(220)의 사용자 인식 및 객체 인식을 위해서 사전에 사전 인식 준비, 매칭율 설정 및 어플리케이션 연계 작업이 수행되어 있을 수 있다.

예를 들어, 사전 인식 준비 작업은 사용자가 자신의 목소리를 하이브리드 인식 단말 장치를 통해 녹음해두고, 자신의 얼굴을 정면, 좌측면, 우측면에서 촬영하고 동영상을 좌측에서 우측으로 또한 위에서 아래로 촬영하고, 인식을 원하는 객체를 정지영상과 동영상으로 촬영하는 것일 수 있다. 이 때, 인식을 원하는 객체는 자동차 전체 외관, 자동차의 스티어링 휠, 사무실의 필기구, 현관문, 바이올린 등일 수 있다.

예를 들어, 매칭율 설정은 음성 인식, 얼굴 인식 및 객체 인식 각각에 대하여 매칭율 구간을 정해두거나, 음성 인식, 얼굴 인식 및 객체 인식의 매칭율을 기설정된 가중치로 가중 평균한 평균 매칭율에 대하여 매칭율 구간을 정해 두는 것일 수 있다. 예를 들어, 어플리케이션 연계 작업은 매칭율 구간마다 수행되는 어플리케이션을 설정해두는 것일 수 있다.

사용자는 철저한 보안이 필요한 어플리케이션(현관문 개방이나 자동차 시동 등)에 대해서는 사용자 인증 및 객체 인증에 높은 매칭율을 설정해둘 수 있고, 낮은 보안수준이 요구되는 어플리케이션(날씨 정보 제공 등)에 대해서는 사용자 인증 및 객체 인증에 낮은 매칭율을 설정해둘 수 있다.

나아가, 사용자는 음성 인식, 얼굴 인식 및 객체 인식 등의 세부 인식에 대한 가중치를 적절히 설정함으로써 자신이 원하는 보안 수준으로 자신이 원하는 어플리케이션이 자동 실행되도록 할 수 있다.

도 3은 도 2에 도시된 동작 수행부의 일 예를 나타낸 블록도이다.

도 3을 참조하면, 동작 수행부는 잠금 해제부(310) 및 어플리케이션 실행부(320)를 포함한다.

잠금 해제부(310)는 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 기반하여 하이브리드 인식 단말 장치의 잠금을 해제한다.

이 때, 잠금 해제부(310)가 고려하는 비교 결과는 사용자 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과일 수 있다.

어플리케이션 실행부(320)는 잠금이 해제된 후 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 어플리케이션을 실행한다.

이 때, 어플리케이션 실행부(320)가 고려하는 비교 결과는 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과일 수 있다.

실시예에 따라서는 사용자 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과, 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과가 종합적으로 고려되어, 잠금 해제 및 실행 어플리케이션 선택이 수행될 수 있다.

이 때, 어플리케이션 실행부(320)는 실제 매칭율에 따라 서로 다른 어플리케이션을 실행할 수 있다.

이 때, 어플리케이션 실행부(320)는 상기 사용자 인식 및 상기 객체 인식에 상응하는 사용자 매칭율 기준값 구간 및 상기 사용자 매칭율 기준값 구간에 상응하는 동작을 매핑하여 저장한 매핑율 테이블을 이용하여 상기 어플리케이션을 실행할 수 있다.

이 때, 매칭율 테이블은 상기 사용자 인식 및 상기 객체 인식의 가중 평균 매칭율 기준값 구간별로 상기 동작을 매핑하여 저장한 것일 수 있다.

도 4는 도 2에 도시된 사용자 인식부의 일 예를 나타낸 블록도이다.

도 4를 참조하면, 사용자 인식부는 음성 인식부(410) 및 얼굴 인식부(420)를 포함한다.

음성 인식부(410)는 사용자의 음성에 대한 음성 인식 결과를 생성한다.

이 때, 음성 인식부(410)는 먼저 수신되는 음원의 파장을 분해하여 수신되는 음원의 유형을 분류할 수 있다. 이 때, 음원의 유형은 사람소리, 주변 소음 및 악기소리 등일 수 있다.

이 때, 음성 인식부(410)는 인식율을 높이기 위해 사전이 미리 정의된 텍스트에 대한 음성 인식을 수행할 수 있다.

실시예에 따라, 음성 인식부(410)의 인식 결과가 기설정된 최저 매칭율을 넘지 못하는 경우에는 얼굴 인식부(420)의 얼굴 인식으로 넘어갈 것도 없이 사용자 인식이 실패한 것으로 볼 수도 있다.

실시예에 따라, 음성 인식부(410)의 인식 결과가 기설정된 매칭율을 넘는 경우에는 얼굴 인식부(420)의 얼굴 인식을 수행하지 않고 바로 기설정된 어플리케이션을 실행할 수도 있다.

얼굴 인식부(420)는 사용자의 얼굴에 대한 얼굴 인식 결과를 생성한다.

얼굴 인식을 위해서 사용자는 기존에 자신의 얼굴을 최적 상태에서 촬영하여 저장해둘 수 있다. 인식율을 높이기 위해 얼굴 인식부(420)는 사전에 사용자의 얼굴 스틸 사진 및 얼굴 스캔 동영상을 저장해둘 수 있다. 이 때, 얼굴 인식부(420)는 스틸 사진에서 사용자 인식이 되지 않는 경우 동영상의 프레임별로 입력된 영상과의 비교를 통해 얼굴 인식을 수행할 수 있다. 스틸 사진 및 동영상의 프레임 중 가장 높은 매칭율이 해당 인식의 매칭율이 될 수 있다.

이 때, 음성 인식부(410) 및 얼굴 인식부(420)는 모두 직접 음성 인식 및 얼굴 인식을 수행하여 상기 음성 인식 결과 및 얼굴 인식 결과를 생성할 수도 있고, 서버로부터 얼굴 인식 결과 및 음성 인식 결과를 수신하여 상기 음성 인식 결과 및 얼굴 인식 결과를 생성할 수도 있다.

도 5는 본 발명의 일실시예에 따른 매칭율 테이블을 이용한 매칭율 비교 과정을 설명하기 위한 도면이다.

도 5를 참조하면, 3가지 케이스의 사용자 및 객체 인식 결과에 상응하는 실행 어플리케이션 매핑이 수행되는 것을 알 수 있다.

도 5에 도시된 예에서, 가중 평균 매칭율 기준값 구간(510)별로 실행 어플리케이션(520)이 저장되어 있는 것을 매칭율 테이블로 볼 수 있다.

먼저, 케이스 1의 경우 음성인식의 매칭율은 70%이고, 얼굴인식의 매칭율은 50%이고, 객체인식의 매칭율은 50%이므로 평균 매칭율은 56.8%인 것을 알 수 있다. 매칭율 테이블에 50%~60% 구간에 대한 실행 어플리케이션이 잠금해제만 수행되는 것으로 정의되어 있으므로, 케이스 1의 경우에는 잠금해제만이 수행될 수 있다.

케이스 2의 경우 음성인식의 매칭율은 70%이고, 얼굴인식의 매칭율은 70%이고, 객체인식의 매칭율은 70%이므로 평균 매칭율은 70%인 것을 알 수 있다. 매칭율 테이블에 61%~94% 구간에 대한 실행 어플리케이션이 네비게이션 어플리케이션을 지정되어 있으므로, 케이스 2의 경우에는 잠금해제 후 네비게이션 어플리케이션이 실행될 수 있다.

케이스 3의 경우 음성인식의 매칭율은 90%이고, 얼굴인식의 매칭율은 100%이고, 객체인식의 매칭율은 92%이므로 평균 매칭율은 96%인 것을 알 수 있다. 매칭율 테이블에 94% 초과 구간에 대한 실행 어플리케이션이 현관문 개방 어플리케이션으로 지정되어 있으므로, 케이스 3의 경우에는 잠금해제 후 현관문 개방 어플리케이션이 실행될 수 있다.

도 5에 도시된 예에서 매칭율 테이블에 저장된 구간의 경계값에 해당하는 값들(50%, 60%, 61%, 94%)은 청구항에 기재된 기설정된 사용자 매칭율 기준값에 해당하는 것일 수 있다.

도 5에 도시된 예에서는 음성인식, 얼굴인식 및 객체인식의 경우를 예로 들었고, 평균 매칭율 산출에 있어서 각 인식의 매칭율을 산술평균한 경우를 예로 들었으나, 본 발명은 지문인식, 홍채인식 등 다른 인식방법에도 적용될 수 있고, 각 인식방법에 대한 매칭율에 사용자가 정의한 가중치를 적용한 가중평균에 의해 평균 매칭율이 산출될 수도 있다.

도 6은 도 1에 도시된 하이브리드 인식 서버 장치의 일 예를 나타낸 블록도이다.

도 6을 참조하면, 하이브리드 인식 서버 장치는 사용자 인식 정보 수신부(610), 객체 인식 정보 수신부(620) 및 매칭율 비교부(630)를 포함한다.

사용자 인식 정보 수신부(610)는 하이브리드 인식 단말 장치로부터 사용자에 대한 사용자 인식 정보를 수신한다.

이 때, 사용자 인식 정보 수신부(610)는 사용자의 음성 인식을 위한 음성 인식 정보 및 사용자의 얼굴 인식을 위한 얼굴 인식 정보를 수신할 수 있다.

객체 인식 정보 수신부(620)는 하이브리드 인식 단말 장치로부터 사용자에 의하여 촬영된 객체 이미지에 상응하는 객체 인식 정보를 수신한다.

매칭율 비교부(630)는 사용자 인식 정보에 기반한 사용자 인식 및 객체 인식 정보에 기반한 객체 인식을 수행하고, 사용자 인식 및 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교하여 비교 결과에 상응하는 동작 수행 정보를 생성하고, 이를 하이브리드 인식 단말 장치로 제공한다.

이 때, 동작 수행 정보는 하이브리드 인식 단말 장치가 상기 비교 결과에 기반하여 잠금 해제를 수행하고, 비교 결과에 상응하는 어플리케이션을 실행하는데 사용될 수 있다.

이 때, 매칭율 비교부(630)는 사용자 인식 및 객체 인식의 가중 평균 매칭율 기준값 구간별로 상기 가중 평균 매칭율 기준값 구간에 상응하는 동작을 매핑하여 저장한 매칭율 테이블을 이용하여 상기 비교를 수행할 수 있다.

도 7은 도 6에 도시된 사용자 인식 정보 수신부의 일 예를 나타낸 블록도이다.

도 7을 참조하면, 사용자 인식 정보 수신부는 음성 인식 정보 수신부(710) 및 얼굴 인식 정보 수신부(720)를 포함한다.

음성 인식 정보 수신부(710)는 사용자의 음성 인식을 위한 음성 인식 정보를 수신한다.

이 때, 음성 인식 정보는 사용자가 하이브리드 인식 단말 장치를 통해 녹음한 음성일 수 있다.

얼굴 인식 정보 수신부(720)는 사용자의 얼굴 인식을 위한 얼굴 인식 정보를 수신한다.

이 때, 얼굴 인식 정보는 사용자가 하이브리드 인식 단말 장치를 통해 촬영한 자신의 얼굴의 스틸 이미지 및 동영상 이미지일 수 있다.

도 8은 본 발명의 일실시예에 따른 하이브리드 인식 방법(단말 관점)을 나타낸 동작 흐름도이다.

도 8을 참조하면, 본 발명의 일실시예에 따른 하이브리드 인식 방법은 사용자에 대한 사용자 인식 결과를 생성한다(S810).

이 때, 단계(S810)는 사용자의 음성에 대한 음성 인식 결과를 생성하는 단계 및 사용자의 얼굴에 대한 얼굴 인식 결과를 생성하는 단계를 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 하이브리드 인식 방법은 상기 사용자에 의하여 촬영된 객체에 대한 객체 인식 결과를 생성한다(S820).

이 때, 단계(S810) 및 단계(S820)는 직접 사용자 인식 및 얼굴 인식을 수행하여 사용자 인식 결과 및 얼굴 인식 결과를 생성할 수도 있고, 외부(서버)에서 사용자 인식 결과 및 얼굴 인식 결과를 수신함으로써 상기 사용자 인식 결과 및 얼굴 인식 결과를 생성할 수도 있다.

또한, 본 발명의 일실시예에 따른 하이브리드 인식 방법은 상기 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 동작을 수행한다(S830).

이 때, 단계(S830)는 상기 실제 매칭율에 따라 서로 다른 어플리케이션을 실행할 수 있다.

이 때, 단계(S830)는 사용자 인식 및 객체 인식에 상응하는 사용자 매칭율 기준값 구간 및 상기 사용자 매칭율 기준값 구간에 상응하는 동작을 매핑하여 저장한 매칭율 테이블을 이용하여 상기 동작을 수행할 수 있다. 이 때, 매칭율 테이블은 상기 사용자 인식 및 객체 인식의 가중 평균 매칭율 기준값 구간별로 상기 동작을 매핑하여 저장한 것일 수 있다.

도 9는 도 8에 도시된 동작 수행 단계(S830)의 일 예를 나타낸 동작 흐름도이다.

도 9를 참조하면, 동작 수행 단계는 상기 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 기반하여 하이브리드 인식 단말 장치의 잠금을 해제한다(S910).

또한, 동작 수행 단계는 상기 잠금이 해제된 후, 상기 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 어플리케이션을 실행한다(S920).

도 10은 본 발명의 일실시예에 따른 하이브리드 인식 방법(서버 관점)을 나타낸 동작 흐름도이다.

도 10을 참조하면, 본 발명의 일실시예에 따른 하이브리드 인식 방법은 하이브리드 인식 단말 장치로부터 사용자에 대한 사용자 인식 정보를 수신한다(S1010).

이 때, 단계(S1010)는 사용자의 음성 인식을 위한 음성 인식 정보를 수신하는 단계 및 사용자의 얼굴 인식을 위한 얼굴 인식 정보를 수신하는 단계를 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 하이브리드 인식 방법은 상기 사용자에 의하여 촬영된 객체 이미지에 상응하는 객체 인식 정보를 수신한다(S1020).

또한, 본 발명의 일실시예에 따른 하이브리드 인식 방법은 상기 사용자 인식 정보에 기반한 사용자 인식 및 상기 객체 인식 정보에 기반한 객체 인식을 수행한다(S1030).

또한, 본 발명의 일실시예에 따른 하이브리드 인식 방법은 상기 사용자 인식 및 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교하여 비교 결과에 상응하는 동작 수행 정보를 전송한다(S1040).

이 때, 동작 수행 정보는 하이브리드 인식 단말 장치가, 사용자 인식 및 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 기반하여 잠금을 해제하고, 어플리케이션을 실행하는데 사용되는 것일 수 있다.

이 때, 단계(S1040)는 사용자 인식 및 객체 인식의 가중 평균 매칭율 기준값 구간별로 상기 가중 평균 매칭율 기준값 구간에 상응하는 동작을 매핑하여 저장한 매칭율 테이블을 이용하여 상기 비교를 수행할 수 있다.

도 11은 본 발명의 일실시예에 따른 하이브리드 인식 방법을 전체적으로 나타낸 동작 흐름도이다.

도 11에 도시된 예에서 하이브리드 인식을 위한 사전 인식 준비, 인식비율 설정 및 어플리케이션 연계 작업은 이미 완료되어 있는 것으로 가정한다.

도 11을 참조하면, 하이브리드 인식 단말 장치(120-1)는 사용자에 대한 사용자 인식 정보를 생성하여 하이브리드 인식 서버 장치(110)로 전송한다(S1201).

또한, 하이브리드 인식 단말 장치(120-1)는 사용자에 의하여 촬영된 객체 이미지에 상응하는 객체 인식 정보를 생성하여 하이브리드 인식 서버 장치(110)로 전송한다(S1203).

하이브리드 인식 서버 장치(110)는 수신된 사용자 인식 정보에 포함된 음성 인식 정보를 이용하여 음성 인식을 수행한다(S1101).

하이브리드 인식 서버 장치(110)는 음성 인식 결과에 상응하는 매칭율 또는 인식율이 기설정된 최소기준 이상인지 여부를 판단한다(S1102).

단계(S1102)의 판단 결과, 최소기준 이상으로 판단되면 하이브리드 인식 서버 장치(110)는 사용자 인식 정보에 포함된 얼굴 인식 정보를 이용하여 얼굴 인식을 수행한다(S1103).

하이브리드 인식 서버 장치(110)는 얼굴 인식 결과에 상응하는 매칭율 또는 인식율이 기설정된 최소기준 이상인지 여부를 판단한다(S1104).

단계(S1104)의 판단 결과, 최소기준 이상으로 판단되면 하이브리드 인식 서버 장치(110)는 객체 인식 정보를 이용하여 객체 인식을 수행한다(S1105).

하이브리드 인식 서버 장치(110)는 사용자 인식 및 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 동작 수행 정보를 하이브리드 인식 단말 장치(120-1)로 전송한다(S1106).

하이브리드 인식 단말 장치(120-1)는 수신된 동작 수행 정보에 기반하여 잠금 해제를 수행하고(S1204), 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 어플리케이션을 실행한다(S1205).

도 8, 도 9, 도 10 및 도 11에 도시된 각 단계는 도 8, 도 9, 도 10 및 도 11에 도시된 순서, 그 역순 또는 동시에 수행될 수 있다.

본 발명에 따른 하이브리드 인식 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서와 같이 본 발명에 따른 하이브리드 인식 시스템, 하이브리드 인식 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

본 발명에 의하면 사용자가 복수의 인식 기술마다 기준이 되는 매칭율을 정해두고, 각각의 매칭율 구간에 해당하는 어플리케이션을 지정하여 단말의 잠금 해제와 동시에 원하는 어플리케이션을 실행할 수 있다. 나아가, 인식 기술마다 적절한 매칭율 및 가중치를 설정함으로써 적절한 보안 레벨로 단말의 잠금해제와 어플리케이션 실행이 가능하므로 사용자가 비밀번호나 잠금패턴을 입력하는 번거로움을 크게 줄일 수 있고, 모바일 단말에 대한 정보 입력이 용이하지 않은 장애인이나 아동의 모바일 단말 사용 활성화에 기여할 수 있다.

110: 하이브리드 인식 서버 장치
120-1~ 120-N: 하이브리드 인식 단말 장치
130: 네트워크
210: 사용자 인식부
220: 객체 인식부
230: 동작 수행부
310: 잠금 해제부
320: 어플리케이션 실행부
410: 음성 인식부
420: 얼굴 인식부

Claims (18)

1. 사용자에 대한 사용자 인식 결과를 생성하는 사용자 인식부;
   상기 사용자에 의하여 촬영된 객체에 대한 객체 인식 결과를 생성하는 객체 인식부; 및
   상기 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 동작을 수행하는 동작 수행부; 를 포함하되,
   상기 동작 수행부는,
   상기 실제 매칭율에 따라 서로 다른 어플리케이션을 실행하는 것을 특징으로 하는 하이브리드 인식 단말 장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 청구항 1에 있어서,
   상기 동작 수행부는
   상기 사용자 인식 및 상기 객체 인식에 상응하는 사용자 매칭율 기준값 구간 및 상기 사용자 매칭율 기준값 구간에 상응하는 동작을 매핑하여 저장한 매칭율 테이블을 이용하여 상기 어플리케이션을 실행하는 것을 특징으로 하는 하이브리드 인식 단말 장치.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 사용자에 대한 사용자 인식 결과를 생성하는 단계;
    상기 사용자에 의하여 촬영된 객체에 대한 객체 인식 결과를 생성하는 단계; 및
    상기 사용자에 대한 사용자 인식 및 상기 객체에 대한 객체 인식에 대하여 기설정된 사용자 매칭율 기준값과 실제 매칭율을 비교한 비교 결과에 상응하는 동작을 수행하는 단계; 를 포함하되,
    상기 비교 결과에 상응하는 동작을 수행하는 단계는,
    상기 실제 매칭율에 따라 서로 다른 어플리케이션을 실행하는 것을 특징으로 하는 하이브리드 인식 방법.
15. 삭제
16. 삭제
17. 삭제
18. 삭제

Images