[go: up one dir, main page]

KR101808840B1 - 학습 기반 깊이 정보 추출 방법 및 장치 - Google Patents

학습 기반 깊이 정보 추출 방법 및 장치 Download PDF

Info

Publication number
KR101808840B1
KR101808840B1 KR1020150125759A KR20150125759A KR101808840B1 KR 101808840 B1 KR101808840 B1 KR 101808840B1 KR 1020150125759 A KR1020150125759 A KR 1020150125759A KR 20150125759 A KR20150125759 A KR 20150125759A KR 101808840 B1 KR101808840 B1 KR 101808840B1
Authority
KR
South Korea
Prior art keywords
depth information
learning
model
depth
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150125759A
Other languages
English (en)
Other versions
KR20170028749A (ko
Inventor
김혜진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150125759A priority Critical patent/KR101808840B1/ko
Priority to US15/256,447 priority patent/US10043285B2/en
Publication of KR20170028749A publication Critical patent/KR20170028749A/ko
Application granted granted Critical
Publication of KR101808840B1 publication Critical patent/KR101808840B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시 예들은, 대상 영상으로부터 깊이 정보를 추출하는 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 학습 기반 깊이 정보 추출 방법은, 학습 영상 및 상기 학습 영상에 대응하는 다수의 깊이 정보를 이용하여 학습을 수행함으로써 상기 학습 영상에 대응하는 깊이 정보 모델을 생성하는 단계; 및 상기 깊이 정보 모델을 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는 단계를 포함한다. 본 발명의 실시 예들에 따르면, 대상 영상으로부터 정확한 깊이 정보를 추출할 수 있다.

Description

학습 기반 깊이 정보 추출 방법 및 장치{Depth information extracting method based on machine learning and apparatus thereof}
본 발명의 실시 예들은, 영상으로부터 깊이 정보를 추출하는 방법 및 장치에 관한 것이다.
다양한 깊이 정보 추출 방법들과 다양한 3D 센서들이 깊이 정보 추출에 이용되고 있다. 예를 들어, 스테레오(stereo) 방식, TOF(time of flight) 방식, 구조광(structured light) 방식 및 다수 카메라 배열(multi camera array) 방식 등이 깊이 정보 추출에 이용되고 있다. 또한, 라이다(light detection and ranging; LIDAR) 센서 또는 레이저 센서 등과 같은 다양한 3D센서들이 깊이 정보 추출에 이용되고 있다.
종래의 깊이 정보 추출 방법은, 저마다의 제약을 가진다. 예를 들어, 스테레오 방식은 실시간으로 정확한 깊이 정보를 획득하기 어렵고, TOF 방식은 실내에서만 사용할 수 있는 제약이 있으며, 레이저 센서를 이용하는 방식은 고비용이 소요되는 단점이 있다.
본 발명의 실시 예들은, 종래의 다양한 방식들이 갖는 제약을 극복한, 깊이 정보 추출 방법을 제공한다.
본 발명의 일 실시 예에 따른 학습 기반 깊이 정보 추출 방법은, 적어도 하나의 학습 영상 및 상기 적어도 하나의 학습 영상에 대응하는 다수의 깊이 정보를 이용하여 학습을 수행함으로써 상기 적어도 하나의 학습 영상에 대응하는 하나의 깊이 정보 모델을 생성하는 단계; 및 상기 깊이 정보 모델을 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는 단계를 포함한다.
일 실시 예에서, 상기 깊이 정보 모델을 생성하는 단계는, 상기 적어도 하나의 학습 영상 및 상기 적어도 하나의 학습 영상에 대응하는 제 N 깊이 정보를 이용하여 학습을 수행함으로써 제 N 깊이 정보 서브 모델을 생성하는 단계; 및 생성된 N개의 깊이 정보 서브 모델들을 이용하여 학습을 수행함으로써 상기 깊이 정보 모델을 생성하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 깊이 정보를 추출하는 단계는, 상기 대상 영상에 대응하는 깊이 정보 모델을 로딩하고, 로딩된 깊이 정보 모델을 상기 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 다수의 깊이 정보는, 서로 다른 깊이 정보 추출 방식을 통하여 획득될 수 있다.
일 실시 예에서, 상기 다수의 깊이 정보는, 스테레오 방식, 다수 카메라 배열 방식, 구조광 방식, TOF 방식, 라이다 방식, 레이저 방식 및 초음파 방식 중 적어도 하나의 방식을 통하여 획득될 수 있다.
일 실시 예에서, 상기 깊이 정보 모델은, 상기 학습 영상과 상기 다수의 깊이 정보 간의 관계를 표현할 수 있다.
본 발명의 일 실시 예에 따른 학습 기반 깊이 정보 추출 장치는, 적어도 하나의 학습 영상 및 상기 적어도 하나의 학습 영상에 대응하는 다수의 깊이 정보를 이용하여 학습을 수행함으로써 상기 적어도 하나의 학습 영상에 대응하는 하나의 깊이 정보 모델을 생성하는 깊이 정보 모델 학습부; 및 상기 깊이 정보 모델을 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는 깊이 정보 센싱부를 포함한다.
일 실시 예에서, 상기 깊이 정보 모델 학습부는, 상기 적어도 하나의 학습 영상 및 상기 적어도 하나의 학습 영상에 대응하는 제 N 깊이 정보를 이용하여 학습을 수행함으로써 제 N 깊이 정보 서브 모델을 생성하고, 생성된 N개의 깊이 정보 서브 모델들을 이용하여 학습을 수행함으로써 상기 깊이 정보 모델을 생성할 수 있다.
일 실시 예에서, 상기 깊이 정보 센싱부는, 상기 대상 영상에 대응하는 깊이 정보 모델을 로딩하고, 로딩된 깊이 정보 모델을 상기 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출할 수 있다.
일 실시 예에서, 상기 장치는, 상기 다수의 깊이 정보를 획득하는 깊이 정보 획득부를 더 포함할 수 있다.
일 실시 예에서, 상기 다수의 깊이 정보는, 서로 다른 깊이 정보 추출 방식을 통하여 획득될 수 있다.
일 실시 예에서, 상기 다수의 깊이 정보는, 스테레오 방식, 다수 카메라 배열 방식, 구조광 방식, TOF 방식, 라이다 방식, 레이저 방식 및 초음파 방식 중 적어도 하나의 방식을 통하여 획득될 수 있다.
일 실시 예에서, 상기 깊이 정보 모델은, 상기 학습 영상과 상기 다수의 깊이 정보 간의 관계를 표현할 수 있다.
본 발명의 일 실시 예에 따른 학습 기반 깊이 정보 추출 장치는, 다수의 학습 영상 및 상기 다수의 학습 영상에 대응하는 적어도 하나의 깊이 정보를 이용하여 학습을 수행함으로써 상기 다수의 학습 영상에 대응하는 하나의 깊이 정보 모델을 생성하는 깊이 정보 모델 학습부; 및 상기 깊이 정보 모델을 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는 깊이 정보 센싱부를 포함한다.
일 실시 예에서, 상기 깊이 정보 모델 학습부는, 상기 적어도 하나의 깊이 정보 및 상기 적어도 하나의 깊이 정보에 대응하는 제 N 학습 영상을 이용하여 학습을 수행함으로써 제 N 깊이 정보 서브 모델을 생성하고, 생성된 N 개의 깊이 정보 서브 모델들을 이용하여 학습을 수행함으로써 상기 깊이 정보 모델을 생성할 수 있다.
일 실시 예에서, 상기 깊이 정보 센싱부는, 상기 대상 영상에 대응하는 깊이 정보 모델을 로딩하고, 로딩된 깊이 정보 모델을 상기 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출할 수 있다.
일 실시 예에서, 상기 장치는, 상기 다수의 깊이 정보를 획득하는 깊이 정보 획득부를 더 포함할 수 있다.
일 실시 예에서, 상기 다수의 깊이 정보는, 서로 다른 깊이 정보 추출 방식을 통하여 획득될 수 있다.
일 실시 예에서, 상기 다수의 깊이 정보는, 스테레오 방식, 다수 카메라 배열 방식, 구조광 방식, TOF 방식, 라이다 방식, 레이저 방식 및 초음파 방식 중 적어도 하나의 방식을 통하여 획득될 수 있다.
일 실시 예에서, 상기 깊이 정보 모델은, 상기 다수의 학습 영상과 상기 깊이 정보 간의 관계를 표현할 수 있다.
본 발명의 실시 예들에 따르면, 영상으로부터 정확한 깊이 정보를 추출할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 학습 기반 깊이 정보 추출 방법의 개념을 설명하기 위한 예시도,
도 2는 본 발명의 일 실시 예에 따른 깊이 정보 모델 생성 방법을 설명하기 위한 예시도,
도 3은 본 발명의 일 실시 예에 따른 깊이 정보 추출 방법을 설명하기 위한 예시도,
도 4는 본 발명의 일 실시 예에 따른 깊이 정보 모델 생성 방법을 설명하기 위한 흐름도,
도 5는 본 발명의 일 실시 예에 따른 깊이 정보 추출 방법을 설명하기 위한 흐름도,
도 6은 본 발명의 일 실시 예에 따른 깊이 정보 추출 장치를 설명하기 위한 블록도.
이하에서, 본 발명의 실시 예들을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
전술한 바와 같이, 종래 이용되는 깊이 정보 추출 방법들은 저마다의 제약을 가지고 있다. 예를 들어, 능동적 깊이 센서(active depth sensors) 방식을 통하여 획득된 깊이 정보는 정확도가 높지만 해상도가 낮고, 수동적 깊이 센서(passive depth sensors) 방식을 통하여 획득된 깊이 정보는 해상도가 높지만 정확도가 낮은 단점이 있다.
한편, 대상물로부터 원거리에 위치한 센서를 통하여 획득된 깊이 정보는 대상물 전체에 대한 깊이 정보를 표현할 수 있지만 해상도가 낮고, 대상물로부터 근거리에 위치한 센서를 통하여 획득된 깊이 정보는 대상물 일부에 대한 깊이 정보만을 표현할 수 있지만 해상도가 높은 장점이 있다.
즉, 깊이 정보 추출에 이용된 방식 또는 깊이 정보가 추출된 환경에 따라, 깊이 정보의 품질이 상이할 수 있다.
따라서, 예를 들어 능동적 깊이 센서 방식을 통하여 획득된 깊이 정보와, 수동적 깊이 센서 방식을 통하여 획득된 깊이 정보를 모두 반영하여 대상물에 대한 모델을 생성한다면, 해당 모델을 이용하여 대상물과 관련된 다양한 영상으로부터 해상도가 높으면서도 정확도가 높은 깊이 정보를 획득할 수 있을 것이다.
또한, 예를 들어, 대상물로부터 근거리에 위치한 센서를 통하여 획득된 깊이 정보와, 대상물로부터 원거리에 위치한 센서를 통하여 획득된 깊이 정보를 모두 반영하여 대상물에 대한 모델을 생성한다면, 해당 모델을 이용하여 대상물과 관련된 다양한 영상으로부터 대상물 전체를 나타내면서도 대상물의 특정 부위를 세밀하게 표현하는 깊이 정보를 획득할 수 있을 것이다.
이에, 본 발명의 실시 예들에서는, 대상물을 가장 잘 표현할 수 있는 깊이 정보들을 이용한 학습을 수행하여, 해당 대상물에 대한 깊이 정보 모델을 생성하는 방안을 제공한다. 그리고, 생성된 깊이 정보 모델을 이용하여 대상 영상으로부터 향상된 깊이 정보를 추출하는 방안을 제공한다.
이하, 첨부되는 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명의 일 실시 예에 따른 학습 기반 깊이 정보 추출 방법의 개념을 설명하기 위한 예시도이다.
단계(101)에서, 학습 기반 깊이 정보 추출 장치는, 학습에 이용되는 영상(이하, 학습 영상이라 함) 및 학습 영상에 대응하는 다수의 깊이 정보를 이용하여 학습을 수행함으로써, 해당 학습 영상에 대응하는 깊이 정보 모델을 생성할 수 있다. 학습 영상은 RGB 영상일 수 있으며, 다수의 깊이 정보는 서로 다른 방식의 깊이 추출 방법을 이용하여 획득되거나 서로 다른 환경에서 획득될 수 있다.
전술한 바와 같이, 본 발명의 실시 예들에서는, 대상물을 가장 잘 표현할 수 있는 깊이 정보들을 이용한 학습을 수행하여, 해당 대상물에 대한 깊이 정보 모델을 생성할 수 있다. 예를 들어, 대상물이 사람인 경우, 사람으로부터 원거리에 위치한 센서를 통하여 획득된 사람 신체 전체에 대한 깊이 정보와, 사람으로부터 근거리에 위치한 센서를 통하여 획득된 사람의 신체 일부(예를 들어, 손)에 대한 깊이 정보를 이용한 학습을 수행함으로써, 사람에 대한 깊이 정보 모델을 생성할 수 있다. 이러한 경우, 사람에 대한 깊이 정보 모델은, 사람 신체 전체에 전반적인 깊이 정보와 사람 신체 일부(예를 들어, 손)에 대한 세밀한 깊이 정보를 나타낼 수 있다.
단계(103)에서, 학습 기반 깊이 정보 추출 장치는, 대상 영상(RGB 영상일 수 있다)에 깊이 정보 모델을 적용하여 대상 영상에 대한 깊이 정보를 추출할 수 있다. 즉, 학습 기반 깊이 정보 추출 장치는, 다양한 방식을 이용하여 획득된 또는 다양한 환경에서 획득된 깊이 정보들이 반영된 깊이 정보 모델을 이용하여, 대상 영상으로부터 향상된 깊이 정보를 추출할 수 있다.
예를 들어, 대상 영상이 사람 신체를 촬영한 영상이라면, 학습 기반 깊이 정보 추출 장치는, 사람 신체에 대한 깊이 정보 모델을 대상 영상에 적용함으로써 향상된 깊이 정보를 추출할 수 있다.
전술한 바와 같이, 예를 들어 사람 신체에 대한 깊이 정보 모델은, 사람으로부터 근거리에 위치한 센서를 통하여 획득된 깊이 정보와 사람으로부터 원거리에 위치한 센서를 통하여 획득된 깊이 정보가 모두 반영된 모델일 수 있다. 따라서, 이러한 깊이 정보 모델을 대상 영상에 적용하는 경우 사람 신체에 대한 전반적인 깊이 정보와 사람 신체 일부(예를 들어, 손)에 대한 세밀한 깊이 정보가 모두 추출될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 깊이 정보 모델 생성 방법을 설명하기 위한 예시도이다.
도 2를 참조하여 설명하는 실시 예에서, 사람의 신체 전체에 대한 학습 영상(202), 사람으로부터 원거리에 위치한 센서를 통하여 획득된 깊이 정보(204) 및 사람으로부터 근거리에 위치한 센서를 통하여 획득된 깊이 정보(206)를 이용하여 깊이 정보 모델을 생성하는 경우를 가정한다. 그리고, 사람으로부터 원거리에 위치한 센서를 통하여 획득된 깊이 정보(204)는 사람 신체 전체에 대한 깊이 정보를 나타내며, 사람으로부터 근거리에 위치한 센서를 통하여 획득된 깊이 정보(206)는 사람의 특정 신체 부위(이하, 손인 것으로 가정한다)에 대한 세밀한 깊이 정보를 나타내는 것으로 가정한다.
학습 기반 깊이 정보 추출 장치는, 학습 영상(202), 깊이 정보(204) 및 깊이 정보(206)를 이용하여 학습을 수행할 수 있다.
먼저, 학습 기반 깊이 정보 추출 장치는, 학습 영상(202)과 깊이 정보(204)를 이용하여 학습을 수행할 수 있다. 학습은 다양한 알고리즘을 이용하여 이루어질 수 있다. 예를 들어, 학습은 딥 러닝(deep learning) 방식을 이용하여 이루어질 수 있다. 학습 영상(202)과 깊이 정보(204)를 이용한 학습이 수행되면 사람 신체 전체에 대한 깊이 정보를 나타내는 깊이 정보 모델이 생성될 수 있다. 이를, 설명의 편의상 제 1 깊이 정보 서브 모델이라 한다. 제 1 깊이 정보 서브 모델은, 학습 영상(202)과 깊이 정보(204) 간의 관계를 표현할 수 있다. 제 1 깊이 정보 서브 모델이 학습 영상(202)과 깊이 정보(204) 간의 관계를 표현한다는 것은, 제 1 깊이 정보 서브 모델이 학습 영상(202)과 깊이 정보(204) 간의 관계를 나타내는 파라미터들을 보유하는 것을 의미할 수 있다. 이러한 파라미터들은, 딥 러닝 등의 다양한 학습 방법을 통한 모델링 과정에서 결정되고 조절될 수 있다.
또한, 학습 기반 깊이 정보 추출 장치는, 학습 영상(202)과 깊이 정보(206)를 이용하여 학습을 수행할 수 있다. 이에 따라, 사람의 손에 대한 깊이 정보를 나타내는 깊이 정보 모델이 생성될 수 있다. 이를, 설명의 편의상 제 2 깊이 정보 서브 모델이라 한다. 제 2 깊이 정보 서브 모델은, 학습 영상(202)과 깊이 정보(206) 간의 관계를 표현할 수 있다. 제 2 깊이 정보 서브 모델은, 제 1 깊이 정보 서브 모델에 비하여 사람의 손에 대한 세밀한 깊이 정보를 나타낼 수 있다.
이후, 학습 기반 깊이 정보 추출 장치는, 제 1 깊이 정보 서브 모델과 제 2 깊이 정보 서브 모델을 학습하여 하나의 깊이 정보 모델을 생성할 수 있다. 깊이 정보 모델 역시, 딥 러닝 등의 다양한 학습 방법을 통하여 생성될 수 있다. 깊이 정보 모델은, 학습 영상(202)과 깊이 정보들(204, 206) 간의 관계를 표현할 수 있다. 깊이 정보 모델은, 제 1 깊이 정보 서브 모델과 제 2 깊이 정보 서브 모델이 갖는 장점을 모두 보유할 수 있다. 예를 들어, 깊이 정보 모델은, 사람 신체 전체에 대한 깊이 정보를 나타내면서도 사람의 손에 대한 세밀한 깊이 정보를 나타낼 수 있다.
한편, 깊이 정보 모델 생성을 위한 학습 시에, 동일한 대상물에 대한 두 개 이상의 학습 영상과 하나 이상의 깊이 정보를 이용할 수도 있다. 이러한 경우, 더욱 세밀하고 많은 깊이 정보를 나타내는 깊이 정보 모델이 생성될 수 있고, 따라서 테스트 단계(도 3을 참조하여 설명할 깊이 정보 추출 단계)에서 더 좋은 품질을 갖는 깊이 정보를 얻을 수 있다.
이렇게 생성된 깊이 정보 모델은, 데이터 베이스에 저장될 수 있다. 한편, 실시 예에 따라, 깊이 정보(204)와 깊이 정보(206)를 이용한 학습이 먼저 수행되고, 이러한 학습 결과가 학습 영상에 적용되어 깊이 정보 모델이 생성될 수도 있다.
또한, 깊이 정보 모델 생성 이후에, 깊이 정보 모델과 학습 영상을 이용한 학습이 더 수행되어, 깊이 정보 모델이 갱신될 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 깊이 정보 추출 방법을 설명하기 위한 예시도이다.
도 3을 참조하여 설명하는 실시 예에서, 사람의 신체에 대한 대상 영상(302)으로부터 깊이 정보를 추출하는 경우를 가정한다.
학습 기반 깊이 정보 추출 장치는, 대상 영상(302)을 확인하고 대상 영상(302)에 대응하는 깊이 정보 모델을 로딩할 수 있다. 대상 영상(302)은, 다양한 방법으로 확인될 수 있다. 예를 들어, 대상 영상(302)의 확인에는 종래 이용되는 영상 인식 기법이 이용될 수 있다.
대상 영상(302) 확인 결과, 대상 영상(302)이 사람 신체 대한 영상인 경우, 학습 기반 깊이 정보 추출 장치는, 사람 신체에 대응하는 깊이 정보 모델을 로딩할 수 있다. 여기서, 사람 신체에 대응하는 깊이 정보 모델은, 도 2를 참조하여 설명한 깊이 정보 모델이라 가정한다.
학습 기반 깊이 정보 추출 장치는, 로딩된 깊이 정보 모델을 대상 영상(302)에 적용하여, 대상 영상(302)에 대한 깊이 정보(304)를 추출할 수 있다. 전술한 바와 같이, 깊이 정보 모델은, 사람 신체 전체에 대한 전반적인 깊이 정보와 사람의 손에 대한 세밀한 깊이 정보를 나타낼 수 있다. 따라서, 깊이 정보 모델을 대상 영상(302)에 적용하는 경우, 대상 영상(302)으로부터 사람 신체 전체에 대한 전반적인 깊이 정보와 사람의 손에 대한 세밀한 깊이 정보가 추출될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 깊이 정보 모델 생성 방법을 설명하기 위한 흐름도이다. 실시 예에 따라, 단계(401) 내지 단계(405) 중 적어도 하나의 단계는 생략될 수 있다.
단계(401)에서, 학습 기반 깊이 정보 추출 장치는, 학습 영상 및 학습 영상에 대응하는 다수의 깊이 정보를 획득할 수 있다.
학습 영상에 대응하는 다수의 깊이 정보는, 서로 다른 깊이 정보 추출 방식에 의하여 획득된 것이거나, 서로 다른 환경에서 획득된 것일 수 있다. 예를 들어, 다수의 깊이 정보 중 하나는 구조광 방식을 이용하여 획득된 깊이 정보이고, 다수의 깊이 정보 중 다른 하나는 레이저 방식을 이용하여 획득된 깊이 정보일 수 있다. 단계(403)에서, 학습 기반 깊이 정보 추출 장치는, 학습 영상 및 학습 영상에 대응하는 다수의 깊이 정보를 이용하여 학습을 수행할 수 있다. 이에 따라, 학습 영상에 대응하는 깊이 정보 모델이 생성될 수 있다.
단계(405)에서, 학습 기반 깊이 정보 추출 장치는, 생성된 깊이 정보 모델을 깊이 정보 모델 데이터 베이스에 저장할 수 있다.
이상에서는, 하나의 학습 영상과 다수의 깊이 정보를 이용하여 깊이 정보 모델을 생성하는 방법을 설명하였다. 실시 예에 따라, 다수의 학습 영상과 하나의 깊이 정보를 이용하여 깊이 정보 모델을 생성할 수도 있고, 다수의 학습 영상과 다수의 깊이 정보를 이용하여 깊이 정보 모델을 생성할 수도 있다.
도 5는 본 발명의 일 실시 예에 따른 깊이 정보 추출 방법을 설명하기 위한 흐름도이다. 실시 예에 따라, 단계(501) 내지 단계(505) 중 적어도 하나의 단계는 생략될 수 있다.
단계(501)에서, 학습 기반 깊이 정보 추출 장치는, 대상 영상을 입력받을 수 있다. 대상 영상은, 카메라를 통하여 획득된 RGB 영상일 수 있다.
단계(503)에서, 학습 기반 깊이 정보 추출 장치는, 대상 영상을 확인하고 대상 영상에 대응하는 깊이 정보 모델을 로딩할 수 있다. 예를 들어, 대상 영상이 사람 신체에 대한 영상이라고 판단되는 경우, 학습 기반 깊이 정보 추출 장치는, 깊이 정보 모델 데이터 베이스로부터 사람 신체에 대응하는 깊이 정보 모델을 로딩할 수 있다.
단계(505)에서, 학습 기반 깊이 정보 추출 장치는, 로딩된 깊이 정보 모델을 이용하여 대상 영상에 대한 깊이 정보를 추출할 수 있다, 즉, 학습 기반 깊이 정보 추출 장치는, 로딩된 깊이 정보 모델을 대상 영상에 적용함으로써, 대상 영상에 대한 깊이 정보를 추출할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 깊이 정보 추출 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시 예에 따른 학습 기반 깊이 정보 추출 장치는, 영상 획득부(610), 깊이 정보 센싱부(620), 깊이 정보 변환부(630), 깊이 정보 모델 학습부(640), 깊이 정보 모델 데이터 베이스(650) 및 깊이 정보 계산부(660)를 포함한다. 실시 예에 따라, 전술한 구성 요소 중 적어도 일부는 생략될 수 있다.
영상 획득부(610)는, 학습 영상 및 대상 영상 중 적어도 하나를 획득할 수 있다. 학습 영상 및 대상 영상은, RGB 영상일 수 있다. 영상 획득부(610)는, 학습 영상 및 대상 영상 중 적어도 하나를 촬영하는 카메라를 포함할 수 있다. 실시 예에 따라, 영상 획득부(610)는, 외부 디바이스와 통신 가능한 통신 인터페이스를 포함할 수 있다. 이러한 경우, 영상 획득부(610)는, 외부 디바이스로부터 학습 영상 및 대상 영상 중 적어도 하나를 수신할 수 있다.
깊이 정보 센싱부(620)는, 적어도 하나의 학습 영상에 대응하는 적어도 하나의 다수의 깊이 정보를 획득할 수 있다. 깊이 정보 센싱부(620)는, 다양한 깊이 정보 추출 방식을 이용하여 깊이 정보를 획득할 수 있다. 예를 들어, 깊이 정보 센싱부(620)는, 능동적 깊이 센서 방식을 이용하거나, 수동적 깊이 센서 방식을 이용하여 학습 영상으로부터 깊이 정보를 획득할 수 있다. 예를 들어, 깊이 정보 센싱부(620)는, 스테레오 방식, 다수 카메라 배열 방식, 구조광 방식, TOF 방식, 라이다 방식, 레이저 방식 및 초음파 방식 중 적어도 하나의 방식을 이용하여 학습 영상으로부터 깊이 정보를 획득할 수 있다. 또한, 깊이 정보 센싱부(620)는, 다양한 환경에서 깊이 정보를 획득할 수 있다. 예를 들어, 깊이 정보 센싱부(620)는 대상물로부터 근거리에 위치한 센서를 이용하여 깊이 정보를 획득하거나, 대상물로부터 원거리에 위치한 센서를 이용하여 깊이 정보를 획득할 수 있다.
깊이 정보 변환부(630)는, 학습 영상으로부터 획득된 다수의 깊이 정보가 동일한 스펙을 갖도록 변환할 수 있다. 이를 위하여, 깊이 정보 변환부(630)는, 깊이 정보 센싱부(620)에서 획득된 깊이 정보가 설정된 스펙을 갖도록 변환하는 데 이용되는 변환 규칙을 저장할 수 있다
깊이 정보 모델 학습부(640)는, 적어도 하나의 학습 영상 및 적어도 하나의 학습 영상에 대응하는 다수의 깊이 정보를 이용하여 학습을 수행함으로써, 적어도 하나의 학습 영상에 대응하는 하나의 깊이 정보 모델을 생성할 수 있다. 예를 들어, 깊이 정보 모델 학습부(640)는, 적어도 하나의 학습 영상 및 적어도 하나의 학습 영상에 대응하는 제 N 깊이 정보를 이용하여 학습을 수행함으로써 제 N 깊이 정보 서브 모델을 생성하고, 생성된 N개의 깊이 정보 서브 모델들을 이용하여 학습을 수행함으로써 하나의 깊이 정보 모델을 생성할 수 있다.
실시 예에 따라, 깊이 정보 모델 학습부(640)는, 다수의 학습 영상 및 다수의 학습 영상에 대응하는 적어도 하나의 깊이 정보를 이용하여 학습을 수행함으로써, 다수의 학습 영상에 대응하는 하나의 깊이 정보 모델을 생성할 수도 있다. 예를 들어, 깊이 정보 모델 학습부(640)는, 적어도 하나의 깊이 정보 및 적어도 하나의 깊이 정보에 대응하는 제 N 학습 영상을 이용하여 학습을 수행함으로써 제 N 깊이 정보 서브 모델을 생성하고, 생성된 N 개의 깊이 정보 서브 모델들을 이용하여 학습을 수행함으로써 깊이 정보 모델을 생성할 수 있다.
학습에는 다양한 방법이 이용될 수 있다. 예를 들어, 학습에는 딥 러닝(deep learning) 방법이 이용될 수 있다. 즉, 학습 영상과 다수의 깊이 정보들을 이용한 비선형적인 연산을 통하여 다단계 추상화 작업이 이루어질 수 있다. 이에 따라, 학습 영상에 대응하는 깊이 정보 모델이 생성될 수 있다. 그러나, 본 발명의 실시 예들이 딥 러닝 방법에 한정되는 것은 아니다. 깊이 정보 모델은, 학습 영상과 다수의 깊이 정보 간의 관계를 표현할 수 있다.
깊이 정보 모델 학습부(640)는, 생성된 깊이 정보 모델을 레이블링하고, 레이블링된 깊이 정보 모델을 깊이 정보 모델 데이터 베이스(650)에 저장할 수 있다. 예를 들어, 깊이 정보 모델이 사람 신체에 대한 대상 영상을 이용하여 생성된 경우, 깊이 정보 모델 생성부(640)는, 해당 깊이 정보 모델을 '사람 신체'로 레이블링하여 저장할 수 있다.
깊이 정보 계산부(660)는, 대상 영상이 입력되는 경우 대상 영상을 확인하고, 대상 영상에 대응하는 깊이 정보 모델을 깊이 정보 모델 데이터 베이스(650)로부터 로딩할 수 있다. 깊이 정보 추출부(660)는, 로딩된 깊이 정보 모델을 대상 영상에 적용하여, 대상 영상에 대한 깊이 정보를 추출할 수 있다.
이상에서 설명된 본 발명의 실시 예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영 체제 또는 플랫폼을 이용하는 하나 이상의 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행 가능한 기계어 코드 또는 중간 코드로 컴파일 될 수 있다.
또한, 본 발명의 실시 예들이 하나 이상의 프로세서 상에서 실행되는 경우 이상에서 논의된 본 발명의 다양한 실시 예들을 구현하는 방법을 수행하기 위한 하나 이상의 프로그램이 기록된 프로세서 판독 가능 매체(예를 들어, 메모리, 플로피 디스크, 하드 디스크, 콤팩트 디스크, 광학 디스크 또는 자기 테이프 등)로 구현될 수 있다.

Claims (20)

  1. 다수의 학습 영상 및 상기 다수의 학습 영상에 대응하고, 서로 다른 방식의 깊이 추출 방법 및 서로 다른 환경에 의해 획득되는 다수의 깊이 정보를 대상물에 따라 선택적으로 이용하여 학습을 수행함으로써 상기 학습 영상과 깊이 정보 간 관계를 나타내는 깊이 정보 모델을 생성하는 단계; 및
    상기 깊이 정보 모델을 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는 단계
    를 포함하는 학습 기반 깊이 정보 추출 방법.
  2. 제 1 항에 있어서, 상기 깊이 정보 모델을 생성하는 단계는,
    상기 다수의 학습 영상 및 상기 다수의 학습 영상에 대응하는 상기 다수의 깊이 정보를 이용하여 학습을 수행함으로써 적어도 하나의 깊이 정보 서브 모델을 생성하는 단계; 및
    생성된 상기 적어도 하나의 깊이 정보 서브 모델들을 이용하여 학습을 수행함으로써 상기 깊이 정보 모델을 생성하는 단계
    를 포함하는 학습 기반 깊이 정보 추출 방법.
  3. 제 1 항에 있어서, 상기 깊이 정보를 추출하는 단계는,
    상기 대상 영상에 대응하는 깊이 정보 모델을 로딩하고, 로딩된 깊이 정보 모델을 상기 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는 단계
    를 포함하는 학습 기반 깊이 정보 추출 방법.
  4. 제 1 항에 있어서, 상기 다수의 깊이 정보는,
    서로 다른 깊이 정보 추출 방식을 통하여 획득되는
    학습 기반 깊이 정보 추출 방법.
  5. 제 1 항에 있어서, 상기 다수의 깊이 정보는,
    스테레오 방식, 다수 카메라 배열 방식, 구조광 방식, TOF(time of flight) 방식, 라이다 방식, 레이저 방식 및 초음파 방식 중 적어도 하나의 방식을 통하여 획득되는
    학습 기반 깊이 정보 추출 방법.
  6. 제 1 항에 있어서, 상기 깊이 정보 모델은,
    상기 학습 영상과 상기 다수의 깊이 정보 간의 관계를 표현하는
    학습 기반 깊이 정보 추출 방법.
  7. 다수의 학습 영상 및 상기 다수의 학습 영상에 대응하고, 서로 다른 방식의 깊이 추출 방법 및 서로 다른 환경에 의해 획득되는 다수의 깊이 정보를 대상물에 따라 선택적으로 이용하여 학습을 수행함으로써 상기 다수의 학습 영상과 깊이 정보 간 관계를 나타내는 깊이 정보 모델을 생성하는 깊이 정보 모델 학습부; 및
    상기 깊이 정보 모델을 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는 깊이 정보 센싱부
    를 포함하는 학습 기반 깊이 정보 추출 장치.
  8. 제 7 항에 있어서, 상기 깊이 정보 모델 학습부는,
    상기 다수의 학습 영상 및 상기 다수의 학습 영상에 대응하는 상기 다수의 깊이 정보를 이용하여 학습을 수행함으로써 적어도 하나의 깊이 정보 서브 모델을 생성하고, 생성된 상기 적어도 하나의 깊이 정보 서브 모델들을 이용하여 학습을 수행함으로써 상기 깊이 정보 모델을 생성하는
    학습 기반 깊이 정보 추출 장치.
  9. 제 7 항에 있어서, 상기 깊이 정보 센싱부는,
    상기 대상 영상에 대응하는 깊이 정보 모델을 로딩하고, 로딩된 깊이 정보 모델을 상기 대상 영상에 적용하여 상기 대상 영상에 대한 깊이 정보를 추출하는
    학습 기반 깊이 정보 추출 장치.
  10. 제 7 항에 있어서,
    상기 다수의 깊이 정보를 획득하는 깊이 정보 획득부
    를 더 포함하는 학습 기반 깊이 정보 추출 장치.
  11. 제 7 항에 있어서, 상기 다수의 깊이 정보는,
    서로 다른 깊이 정보 추출 방식을 통하여 획득되는
    학습 기반 깊이 정보 추출 장치.
  12. 제 7 항에 있어서, 상기 다수의 깊이 정보는,
    스테레오 방식, 다수 카메라 배열 방식, 구조광 방식, TOF(time of flight) 방식, 라이다 방식, 레이저 방식 및 초음파 방식 중 적어도 하나의 방식을 통하여 획득되는
    학습 기반 깊이 정보 추출 장치.
  13. 제 7 항에 있어서, 상기 깊이 정보 모델은,
    상기 학습 영상과 상기 다수의 깊이 정보 간의 관계를 표현하는
    학습 기반 깊이 정보 추출 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020150125759A 2015-09-04 2015-09-04 학습 기반 깊이 정보 추출 방법 및 장치 Active KR101808840B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150125759A KR101808840B1 (ko) 2015-09-04 2015-09-04 학습 기반 깊이 정보 추출 방법 및 장치
US15/256,447 US10043285B2 (en) 2015-09-04 2016-09-02 Depth information extracting method based on machine learning and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150125759A KR101808840B1 (ko) 2015-09-04 2015-09-04 학습 기반 깊이 정보 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170028749A KR20170028749A (ko) 2017-03-14
KR101808840B1 true KR101808840B1 (ko) 2017-12-13

Family

ID=58190495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150125759A Active KR101808840B1 (ko) 2015-09-04 2015-09-04 학습 기반 깊이 정보 추출 방법 및 장치

Country Status (2)

Country Link
US (1) US10043285B2 (ko)
KR (1) KR101808840B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168264A1 (ko) * 2018-02-27 2019-09-06 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101808840B1 (ko) * 2015-09-04 2017-12-13 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
JP6586532B2 (ja) 2016-03-03 2019-10-02 グーグル エルエルシー ロボットの把持のための深層機械学習方法および装置
WO2017151926A1 (en) 2016-03-03 2017-09-08 Google Inc. Deep machine learning methods and apparatus for robotic grasping
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
EP3568804A2 (en) * 2017-02-07 2019-11-20 Mindmaze Holding S.A. Systems, methods and apparatuses for stereo vision and tracking
KR101866135B1 (ko) * 2017-05-12 2018-06-08 연세대학교 산학협력단 2d 영상에 대한 깊이 정보 생성 장치 및 방법과 이에 관한 기록 매체
KR101963042B1 (ko) * 2017-10-13 2019-03-27 연세대학교 산학협력단 3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법
KR102285064B1 (ko) 2017-10-30 2021-08-04 한국전자통신연구원 은닉 변수를 이용하는 영상 및 신경망 압축을 위한 방법 및 장치
KR101976290B1 (ko) * 2017-12-13 2019-05-07 연세대학교 산학협력단 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체
US11166014B2 (en) 2017-12-14 2021-11-02 Electronics And Telecommunications Research Institute Image encoding and decoding method and device using prediction network
KR102435595B1 (ko) 2017-12-15 2022-08-25 한국전자통신연구원 분산 처리 환경에서의 학습 파라미터의 압축 및 전송을 제공하는 방법 및 장치
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
US10841577B2 (en) 2018-02-08 2020-11-17 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
US11019355B2 (en) 2018-04-03 2021-05-25 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus using reference frame generated based on deep learning
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备
KR102631741B1 (ko) 2019-10-15 2024-02-01 한국전자통신연구원 방송 신호 검출 장치 및 방법
KR102229861B1 (ko) * 2019-10-24 2021-03-18 연세대학교 산학협력단 저채널 라이다와 스테레오 카메라를 이용한 깊이 추정 장치 및 방법
US12112468B2 (en) 2020-01-30 2024-10-08 Electronics And Telecommunications Research Institute Method and apparatus for detecting dimension error
CN113947207B (zh) * 2020-07-15 2025-09-26 杭州海康威视数字技术股份有限公司 应用于模型转换的管理方法、系统、装置及电子设备
KR20220104531A (ko) 2021-01-18 2022-07-26 한국전자통신연구원 평균 계층과 손실함수를 이용한 딥러닝 네트워크 기반의 깊이 추정 방법 및 이를 이용한 장치
US11823402B2 (en) 2021-05-03 2023-11-21 Electronics And Telecommunications Research Institute Method and apparatus for correcting error in depth information estimated from 2D image
KR102827059B1 (ko) * 2022-12-22 2025-06-30 한국전자기술연구원 깊이 영상 기반의 음함수 학습을 통한 단안 영상 기반의 3차원 휴먼 객체 복원 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008657A (ja) * 2010-06-22 2012-01-12 Toshiba Corp 物体形状生成装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120287249A1 (en) 2011-05-12 2012-11-15 Electronics And Telecommunications Research Institute Method for obtaining depth information and apparatus using the same
KR20120127323A (ko) 2011-05-12 2012-11-21 한국전자통신연구원 깊이 정보 획득 방법 및 이를 이용한 장치
KR20130030117A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
US9142025B2 (en) 2011-10-05 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for obtaining depth information using optical pattern
EP2808760B1 (en) * 2013-05-29 2023-08-16 Dassault Systèmes Body posture tracking
US9025863B2 (en) * 2013-06-27 2015-05-05 Intel Corporation Depth camera system with machine learning for recognition of patches within a structured light pattern
KR102106135B1 (ko) 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
US10452992B2 (en) * 2014-06-30 2019-10-22 Amazon Technologies, Inc. Interactive interfaces for machine learning model evaluations
US10339465B2 (en) * 2014-06-30 2019-07-02 Amazon Technologies, Inc. Optimized decision tree based models
KR101808840B1 (ko) * 2015-09-04 2017-12-13 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
US10169922B2 (en) * 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008657A (ja) * 2010-06-22 2012-01-12 Toshiba Corp 物体形状生成装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:한국정보과학회*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168264A1 (ko) * 2018-02-27 2019-09-06 삼성전자주식회사 전자 장치 및 그 제어 방법
US11657520B2 (en) 2018-02-27 2023-05-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Also Published As

Publication number Publication date
US20170069094A1 (en) 2017-03-09
KR20170028749A (ko) 2017-03-14
US10043285B2 (en) 2018-08-07

Similar Documents

Publication Publication Date Title
KR101808840B1 (ko) 학습 기반 깊이 정보 추출 방법 및 장치
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
CN111060101B (zh) 视觉辅助的距离slam方法及装置、机器人
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
KR20220042313A (ko) 포인트 클라우드 데이터 라벨링 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
KR20130066438A (ko) 영상 처리 장치 및 영상 처리 방법
KR20210056149A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
KR20130101942A (ko) 자세 인식 방법 및 장치
JP7133971B2 (ja) ３次元モデル生成装置及び３次元モデル生成方法
KR20180097915A (ko) 개인 맞춤형 3차원 얼굴 모델 생성 방법 및 그 장치
US11580784B2 (en) Model learning device, model learning method, and recording medium
CN117312992B (zh) 多视角人脸特征与音频特征融合的情绪识别方法及系统
US11182951B2 (en) 3D object modeling using scale parameters and estimated distance
KR20220082260A (ko) 3차원 콘텐츠를 렌더링하기 위한 단말 및 그 동작 방법
KR102641108B1 (ko) 깊이맵 완성 장치 및 방법
KR102068489B1 (ko) 3차원 객체 생성 장치
KR102660084B1 (ko) 3d 객체 탐지 장치 및 방법
JP2009301242A (ja) 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体
KR102067423B1 (ko) 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법
US20250095285A1 (en) Generation of a dense point cloud of a physical object
KR100917755B1 (ko) 가상 객체의 물리적 특성 변경 장치 및 방법
KR102325121B1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
JP2023107676A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150904

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170830

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150904

Comment text: Patent Application

PA0302 Request for accelerated examination

Patent event date: 20170830

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20150904

Patent event code: PA03021R01I

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171206

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171207

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201120

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211125

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221201

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20231120

Start annual number: 7

End annual number: 9