[go: up one dir, main page]

KR102254174B1 - 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치 - Google Patents

야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치 Download PDF

Info

Publication number
KR102254174B1
KR102254174B1 KR1020190163216A KR20190163216A KR102254174B1 KR 102254174 B1 KR102254174 B1 KR 102254174B1 KR 1020190163216 A KR1020190163216 A KR 1020190163216A KR 20190163216 A KR20190163216 A KR 20190163216A KR 102254174 B1 KR102254174 B1 KR 102254174B1
Authority
KR
South Korea
Prior art keywords
night vision
night
head
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190163216A
Other languages
English (en)
Inventor
최치원
배영헌
정희재
이원석
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190163216A priority Critical patent/KR102254174B1/ko
Application granted granted Critical
Publication of KR102254174B1 publication Critical patent/KR102254174B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G1/00—Sighting devices
    • F41G1/32—Night sights, e.g. luminescent
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • F41G3/06—Aiming or laying means with rangefinder
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치로서, 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계; 상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 야간 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이; 상기 HMD 프레임에 장착되며, 야간 환경에서 사용자의 시선 방향의 야간 투시 영상을 촬영하는 야간 투시 카메라; 상기 야간 투시 카메라에서 촬영된 야간 투시 영상에 기초하여, 상기 야간 투시 영상에 촬영된 오브젝트에 대한 부가 정보를 생성하는 정보 생성부; 및 상기 야간 투시 카메라에서 촬영된 야간 투시 영상 및 상기 정보 생성부가 생성한 부가 정보를 증강현실 기반으로 제공하는 야간 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 야간 투시 카메라에서 촬영된 야간 투시 영상과 야간 투시 영상에 촬영된 오브젝트에 대해 생성된 부가 정보를 포함하는 야간 영상 정보를 증강현실 기반으로 사용자에게 제공함으로써, 부가 정보를 통해 야간 환경에서 오브젝트의 위치나 거리 등을 정확하게 식별할 수 있고, 이를 통해 시야 확보가 어려운 환경에서 효율적인 작전 수행 또는 군사 훈련을 할 수 있다.

Description

야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치{A HEAD MOUNTED DISPLAY APPARATUS WITH NIGHT VISION FUNCTION}
본 발명은 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
한편, 군사 작전에서 전투는 야간에도 벌어지며, 시야 확보가 어려운 동굴, 조명이 없는 건물 내부에서도 전투가 벌어질 수 있다. 이러한 조건의 작전 상황이나 군사 훈련에서 시야 확보를 위해 사용하는 것이 야간 투시경(Night Vision Device)이다.
인간의 눈은 감지하지 못하지만, 야간에도 적은 양의 가시광선은 존재한다. 야간 투시경은 투시경의 렌즈를 통과한 광자를 광전 음극에 충돌시킨 후 연쇄 증폭 반응을 통해 수천 개의 전자를 방출시킨다. 그 후 이러한 전자는 가시광선을 발산하기 위해 형광 화학 물질로 코팅된 화면과 충돌하면서 적은 양의 오리지널 광자로부터 수천 개의 전자가 생성되어 훨씬 더 밝은 화상이 만들어진다. 이와 같은 방식의 야간 투시경을, 광증폭식 야간 투시경이라 한다.
빛은 여러 색상을 띠지만 일단 광자가 자신들의 에너지를 전자에게 전달하면 색상 정보가 없어진다. 따라서 야간 투시경을 통해 보게 되는 이미지는 흑백이어야 하지만 실제로는 녹색으로 보인다. 이는 야간 투시경 화면에 녹색 형광 물질을 사용하였기 때문이다. 녹색이 색조의 어두운 부분을 더욱 잘 식별할 수 있도록 해주기 때문에, 가능한 한 자세하게 화상을 표시하기 위해 야간 투시경 화면에는 녹색 형광 물질이 주로 사용된다.
이러한 야간 투시경을 이용하면 사용자의 나안을 보완할 수 있으나, 야간 환경에서 객체의 식별이나 거리 판단 등은 여전히 어려우므로, 효율적인 야간 작전 또는 야간 군사 훈련 등을 위한 추가적인 기술 개발이 필요한 실정이다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1605866호(발명의 명칭: 쌍안용 야간 투시경, 공고일자: 2016년 03월 23일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 야간 투시 카메라에서 촬영된 야간 투시 영상과 야간 투시 영상에 촬영된 오브젝트에 대해 생성된 부가 정보를 포함하는 야간 영상 정보를 증강현실 기반으로 사용자에게 제공함으로써, 부가 정보를 통해 야간 환경에서 오브젝트의 위치나 거리 등을 정확하게 식별할 수 있고, 이를 통해 시야 확보가 어려운 환경에서 효율적인 작전 수행 또는 군사 훈련을 할 수 있는, 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치는,
머리 착용형 디스플레이 장치로서,
사용자가 머리에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계;
상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 야간 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이;
상기 HMD 프레임에 장착되며, 야간 환경에서 사용자의 시선 방향의 야간 투시 영상을 촬영하는 야간 투시 카메라;
상기 야간 투시 카메라에서 촬영된 야간 투시 영상에 기초하여, 상기 야간 투시 영상에 촬영된 오브젝트에 대한 부가 정보를 생성하는 정보 생성부; 및
상기 야간 투시 카메라에서 촬영된 야간 투시 영상 및 상기 정보 생성부가 생성한 부가 정보를 증강현실 기반으로 제공하는 야간 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 HMD 프레임은,
사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다.
바람직하게는, 상기 야간 투시 카메라는,
광증폭식 야간 투시경, 열영상장비(Thermal Observation Device), 또는 광증폭식과 열영상장비의 결합 방식으로 구현될 수 있다.
바람직하게는, 상기 야간 투시 카메라는,
상기 HMD 프레임에 탈부착 가능하도록 구성될 수 있다.
바람직하게는, 상기 정보 생성부는,
상기 야간 투시 영상에 기초하여, 적군 위치 및 사정거리를 포함하는 군에서 선택된 적어도 하나 이상의 부가 정보를 생성할 수 있다.
바람직하게는, 상기 제어부는,
미리 정해진 조건이 만족되면 상기 야간 투시 카메라에서 상기 야간 투시 영상을 촬영하도록 제어하며, 상기 야간 영상 정보를 생성하여 증강현실 기반으로 사용자에게 제공되도록 상기 디스플레이로 전송 제어할 수 있다.
바람직하게는, 상기 머리 착용형 디스플레이 장치는,
군작전 상황 또는 군사 훈련에 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치로 구성되고, 복수의 머리 착용형 디스플레이 장치 중 하나의 머리 착용형 디스플레이 장치의 야간 투시 카메라에서 야간 투시 영상이 촬영되고 디스플레이를 통해 야간 영상 정보의 출력 시, 상기 제어부의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치에서도 상기 야간 영상 정보가 공유되도록 전파할 수 있다.
바람직하게는,
상기 HMD 프레임에 장착되어 위치 정보를 제공하기 위한 GPS 모듈;
상기 머리 착용형 디스플레이 장치의 구동을 위한 전원을 공급하기 위한 전원 공급부;
상기 전원 공급부의 온/오프를 위한 스위치부; 및
상기 제어부의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치와 상기 야간 영상 정보를 송수신하기 위한 데이터 통신을 수행하는 통신부를 더 포함하여 구성할 수 있다.
본 발명에서 제안하고 있는 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 야간 투시 카메라에서 촬영된 야간 투시 영상과 야간 투시 영상에 촬영된 오브젝트에 대해 생성된 부가 정보를 포함하는 야간 영상 정보를 증강현실 기반으로 사용자에게 제공함으로써, 부가 정보를 통해 야간 환경에서 오브젝트의 위치나 거리 등을 정확하게 식별할 수 있고, 이를 통해 시야 확보가 어려운 환경에서 효율적인 작전 수행 또는 군사 훈련을 할 수 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치의 모습을 예를 들어 도시한 도면.
도 5 및 도 6은 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치의 디스플레이 화면을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치들 사이에 야간 영상 정보를 공유하는 구현 일례의 구성을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 3은 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)의 구성을 기능블록으로 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110), 광학계(120), 디스플레이(130), 야간 투시 카메라(140), 정보 생성부(150) 및 제어부(160)를 포함하여 구성될 수 있으며, GPS 모듈(170), 카메라(180), 전원 공급부(190), 스위치부(200) 및 통신부(210)를 더 포함하여 구성될 수 있다.
HMD 프레임(110)은, 야간 환경 또는 시야 확보가 어려운 환경에서 군사 작전 또는 군사 훈련에 투입되는 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(130) 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다. 여기서, 야간 환경은 시야 확보가 어려운 환경을 모두 포함할 수 있으며, 야간 환경뿐 아니라, 어두운 동굴이나 전기가 차단된 건물 내부, 두꺼운 안개나 연기 등의 상황 등을 포함할 수 있다.
광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 투명한 렌즈로 구성될 수 있다.
디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 야간 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 후술하게 될 제어부(160)의 제어 하에, 야간 환경 또는 시야 확보가 어려운 환경에서 군사 작전 또는 군사 훈련에 투입된 사용자가 작전 수행이나 훈련이 가능하도록 시야를 확보하고 필요한 정보를 제공하는 야간 영상 정보를 출력할 수 있다.
야간 투시 카메라(140)는, HMD 프레임(110)에 장착되며, 야간 환경에서 사용자의 시선 방향의 야간 투시 영상을 촬영할 수 있다. 보다 구체적으로, 야간 투시 카메라(140)는, 광증폭식 야간 투시경, 열영상장비(Thermal Observation Device), 또는 광증폭식과 열영상장비의 결합 방식으로 구현될 수 있다. 여기서, 광증폭식 야간 투시경은 렌즈를 통해 들어온 미약한 빛을 증폭시키는 방식을 이용하지만, 아주 미약한 빛이라도 있는 경우에 사용이 가능한 한계가 있다. 열영상장비는 사물이 방출하는 적외선을 감지하는 방식으로, 빛이 전혀 없는 동굴이나 건물 내부 등의 차단된 환경, 안개나 연기 등으로 시야가 차단되는 환경 등에서도 사용이 가능하다. 특히, 열영상장비는 적외선을 감지하여 시각화하기 때문에, 야간이 아닌 낮에도 은폐한 적을 찾는 등의 목적으로 군사 작전이나 훈련 시에 사용이 가능한 장점이 있다. 실시예에 따라서는, 본 발명의 야간 투시 카메라(140)는, 광증폭식 야간 투시경과 열영상장비의 장점을 결합하여, 광증폭식과 열영상장비의 결합 방식으로 구현된 카메라 장치로 구현될 수도 있다.
도 4는 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)의 모습을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)에서, 야간 투시 카메라(140)는 HMD 프레임(110)에 사용자의 시선 방향을 향하도록 장착될 수 있다. 도 4에 도시된 바와 같이, 단안식으로 HMD 프레임(110)에 하나의 야간 투시 카메라(140)가 장착될 수 있으나, 실시예에 따라서는 양안식으로 2개의 야간 투시 카메라(140)가 사용자의 좌안과 우안의 상측에 각각 장착될 수도 있다. 이때, 야간 투시 카메라(140)는 HMD 프레임(110)의 상측, 하측, 좌측, 우측 등 일측에 장착될 수 있으며, 그 장착 위치가 정해진 것은 아니다.
한편, 야간 투시 카메라(140)는, HMD 프레임(110)에 탈부착 가능하도록 구성될 수 있다. 즉, 사용자의 필요에 따라 야간 투시 카메라(140)를 HMD 프레임(110)에 부착하거나 탈착할 수 있도록 하여, 사용 편의를 향상시킬 수 있다.
또한, 야간 투시 카메라(140)는 야간 투시 영상을 촬영할 뿐 아니라, 촬영된 야간 투시 영상을 저장할 수 있으며, 저장된 야간 투시 영상을 추후 또는 실시간으로 서버 또는 다른 머리 착용형 디스플레이 장치(100)와 공유할 수도 있다.
정보 생성부(150)는, 야간 투시 카메라(140)에서 촬영된 야간 투시 영상에 기초하여, 야간 투시 영상에 촬영된 오브젝트에 대한 부가 정보를 생성할 수 있다. 보다 구체적으로, 정보 생성부(150)는, 야간 투시 영상에 기초하여, 적군 위치 및 사정거리를 포함하는 군에서 선택된 적어도 하나 이상의 부가 정보를 생성할 수 있다.
여기서, 정보 생성부(150)는, 야간 투시 카메라(140)에서 촬영된 야간 투시 영상의 특성에 따라 서로 다른 알고리즘을 이용해 부가 정보를 생성할 수 있다. 예를 들어, 광증폭식 야간 투시경 방식으로 촬영된 야간 투시 영상의 경우, 영상 처리 기술을 이용해 적군이나 장애물 등의 오브젝트를 추출하고, 추출한 오브젝트의 위치(적군 위치)와 오브젝트까지의 거리(사정거리) 등의 부가 정보를 생성할 수 있다. 또한, HMD에 장착된 각종 센서에서 수집된 센싱 데이터를 부가 정보의 생성에 활용할 수도 있다. 예를 들어, 거리 감지 센서나 IMU 센서 등을 이용해 오브젝트의 위치나 오브젝트까지의 거리 등 부가 정보의 정확도를 향상시킬 수 있다.
한편, 정보 생성부(150)는, 야간 투시 카메라(140)를 기초로 부가 정보를 생성하기 위해, 머신러닝 알고리즘을 사용할 수 있다. 특히, 영상 처리에 특화된 CNN(Convolutional Neural Network)을 사용할 수 있다.
제어부(160)는, 야간 투시 카메라(140)에서 촬영된 야간 투시 영상 및 정보 생성부(150)가 생성한 부가 정보를 증강현실 기반으로 제공하는 야간 영상 정보를 생성하여 디스플레이(130)로 전송 제어할 수 있다. 사용자는 야간 투시 영상뿐 아니라 부가 정보를 증강현실로 제공받게 되므로 야간 환경에서 객체의 식별이나 거리 판단 등을 쉽게 할 수 있다.
도 5 및 도 6은 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)의 디스플레이 화면을 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)는, 사용자의 뷰 필드(20)의 일부에 야간 투시 영상(11) 및 부가 정보(12)를 포함하는 야간 영상 정보(10)를 증강현실로 표시할 수 있다. 사용자가 광학계(120)를 통해 보는 실제 세계는, 가시광선이 거의 없으므로 시야 확보가 불가능하여 사물을 시각적으로 인지할 수 없는 상황이지만, 야간 영상 정보(10)를 증강현실로 제공받음으로써, 야간 투시 영상(11)을 통해 전체적인 상황을 파악할 수 있고, 부가 정보(12)를 통해 적군 위치 및 사정거리 등 세부적이고 정확한 정보를 획득할 수 있다.
또한, 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)는, 사용자의 뷰 필드(20)의 전체로 야간 영상 정보(10)를 표시할 수도 있다. 도 5에 도시된 바와 같이, 나안으로 보는 실제 세계는 사물 식별이 불가능하므로, 도 6에 도시된 바와 같이 야간 영상 정보(10)를 뷰 필드(20) 전체로 제공할 수 있다. 이때, 사용자의 버튼 입력, 음성 명령 등 입력 신호에 따라 야간 영상 정보(10)를 뷰 필드(20)의 일부 또는 전체로 전환하여 제공되도록 구성함으로써, 사용자의 편의에 따라 도 5나 도 6에 도시된 바와 같은 디스플레이(130) 화면을 선택할 수 있다.
한편, 제어부(160)는, 미리 정해진 조건이 만족되면 야간 투시 카메라(140)에서 야간 투시 영상(11)을 촬영하도록 제어하며, 야간 영상 정보(10)를 생성하여 증강현실 기반으로 사용자에게 제공되도록 디스플레이(130)로 전송 제어할 수 있다. 여기서, 미리 정해진 조건은, HMD 프레임(110)에 구비된 센서에 의해 감지된 외부 조도가 임계값 미만일 수 있으며, 제어부(160)는 외부가 어두워져서 미리 정해진 조건이 만족되면 야간 투시 영상(11)을 촬영하도록 야간 투시 카메라(140)를 제어할 수 있다.
또한, 실시예에 따라서는, 야간 투시 카메라(140)가 광증폭식 야간 투시경과 열영상장비를 모두 포함하는 경우, 제어부(160)는 상황에 따라 광증폭식 야간 투시경과 열영상장비를 선택적으로 제어하여 야간 투시 영상(11)을 촬영할 수 있다. 예를 들어, 외부 광량은 임계값 이상이나, 안개 또는 연기로 인해 시야 확보가 어려운 경우, 제어부(160)는 열영상장비를 제어하여 열영상장비에 의한 야간 투시 영상(11)을 촬영할 수 있다. 제어부(160)는 HMD 프레임(110) 등에 구비된 센서에 의해 감지된 외부 조도, 화학 성분, 습도 등의 센싱 데이터로부터 주변 상황을 판단하여 자동으로 야간 투시 카메라(140)를 제어할 수 있으며, 사용자의 입력 신호에 따라 야간 투시 카메라(140)를 제어할 수도 있다.
한편, 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(170)과, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(180)와, 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(190)와, 전원 공급부(190)의 온/오프를 위한 스위치부(200)와, 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)와 야간 영상 정보(10)를 송수신하기 위한 데이터 통신을 수행하는 통신부(210)를 더 포함하여 구성될 수 있다.
또한, GPS 모듈(170)은 야간 환경 또는 시야 확보가 어려운 환경에서 군사 작전 또는 군사 훈련에 투입된 사용자의 현재 위치 정보를 제공하고, 카메라(180)는 군사 작전 또는 군사 훈련에 투입된 사용자가 바라보는 시선의 실제 세계를 촬영할 수 있다. 또한, 스위치부(200)는 전원 공급부(190)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 또한, 통신부(210)는 인접하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(210) 또는 서버와 연동하여 연결 접속되고, 야간 영상 정보(10)가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 여기서, 통신부(210)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
한편, 머리 착용형 디스플레이 장치(100)는, 군작전 상황 또는 군사 훈련에 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성되고, 복수의 머리 착용형 디스플레이 장치(100) 중 하나의 머리 착용형 디스플레이 장치(100)의 야간 투시 카메라(140)에서 야간 투시 영상(11)이 촬영되고 디스플레이(130)를 통해 야간 영상 정보(10)의 출력 시, 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)에서도 야간 영상 정보(10)가 공유되도록 전파할 수 있다.
도 7은 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)들 사이에 야간 영상 정보(10)를 공유하는 구현 일례의 구성을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)는, 야간 투시 카메라(140)를 장착한 머리 착용형 디스플레이 장치(100)가, 야간 투시 카메라(140)를 이용해 생성한 야간 영상 정보(10)를 주변의 다른 머리 착용형 디스플레이 장치(100)와 공유하도록 전파함으로써, 모든 머리 착용형 디스플레이 장치(100)에 야간 투시 카메라(140)를 장착하지 않더라도 야간 환경에서 어느 정도 시야를 확보할 수 있다. 따라서, 착용 장비의 무게를 줄이고 활동성을 높이면서도, 예상치 못하게 시야 확보가 어려운 환경에 효과적으로 대응할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100)에 따르면, 야간 투시 카메라(140)에서 촬영된 야간 투시 영상(11)과 야간 투시 영상(11)에 촬영된 오브젝트에 대해 생성된 부가 정보(12)를 포함하는 야간 영상 정보(10)를 증강현실 기반으로 사용자에게 제공함으로써, 부가 정보(12)를 통해 야간 환경에서 오브젝트의 위치나 거리 등을 정확하게 식별할 수 있고, 이를 통해 시야 확보가 어려운 환경에서 효율적인 작전 수행 또는 군사 훈련을 할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 야간 영상 정보
11: 야간 투시 영상
12: 부가 정보
20: 뷰 필드
100: 본 발명에 따른 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 야간 투시 카메라
150: 정보 생성부
160: 제어부
170: GPS 모듈
180: 카메라
190: 전원 공급부
200: 스위치부
210: 통신부

Claims (8)

  1. 머리 착용형 디스플레이 장치(100)로서,
    야간 환경 또는 시야 확보가 어려운 환경에서 군사 작전 또는 군사 훈련에 투입되는 사용자가 머리에 착용할 수 있는 HMD 프레임(110);
    상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120);
    상기 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 야간 영상 정보(10)가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이(130);
    상기 HMD 프레임(110)에 장착되며, 야간 환경에서 사용자의 시선 방향의 야간 투시 영상(11)을 촬영하는 야간 투시 카메라(140);
    상기 야간 투시 카메라(140)에서 촬영된 야간 투시 영상(11)에 기초하여, 상기 야간 투시 영상(11)에 촬영된 오브젝트에 대한 부가 정보(12)를 생성하는 정보 생성부(150); 및
    상기 야간 투시 카메라(140)에서 촬영된 야간 투시 영상(11) 및 상기 정보 생성부(150)가 생성한 부가 정보(12)를 증강현실 기반으로 제공하는 야간 영상 정보(10)를 생성하여 상기 디스플레이(130)로 전송 제어하는 제어부(160)를 포함하며,
    상기 야간 투시 카메라(140)는,
    광증폭식과 열영상장비(Thermal Observation Device)의 결합 방식으로 구현되고,
    상기 제어부(160)는,
    상기 HMD 프레임(110)에 구비된 센서에 의해 감지된 외부 조도, 화학 성분 및 습도를 포함하는 센싱 데이터로부터 주변 상황을 판단하여 자동으로 상기 야간 투시 카메라(140)를 제어하며, 상황에 따라 광증폭식 야간 투시경과 열영상장비를 선택적으로 제어하여 상기 야간 투시 영상(11)을 촬영하며,
    상기 정보 생성부(150)는,
    상기 야간 투시 영상(11)에 기초하여, 적군 위치 및 사정거리를 포함하는 군에서 선택된 적어도 하나 이상의 부가 정보(12)를 생성하되, 거리 감지 센서 및 IMU 센서를 이용해 상기 부가 정보(12)의 정확도를 향상시키며,
    상기 제어부(160)는,
    상기 HMD 프레임(110)에 구비된 센서에 의해 감지된 외부 조도가 임계값 미만인 미리 정해진 조건이 만족되면 상기 야간 투시 카메라(140)에서 상기 야간 투시 영상(11)을 촬영하도록 제어하며, 상기 야간 영상 정보(10)를 생성하여 증강현실 기반으로 사용자에게 제공되도록 상기 디스플레이(130)로 전송 제어하고,
    사용자의 버튼 입력 또는 음성 명령의 입력 신호에 따라 상기 야간 영상 정보(10)를 뷰 필드(20)의 일부 또는 전체로 전환하여 제공되도록 구성하며,
    상기 머리 착용형 디스플레이 장치(100)는,
    군작전 상황 또는 군사 훈련에 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성되고, 복수의 머리 착용형 디스플레이 장치(100) 중 하나의 머리 착용형 디스플레이 장치(100)의 야간 투시 카메라(140)에서 야간 투시 영상(11)이 촬영되고 디스플레이(130)를 통해 야간 영상 정보(10)의 출력 시, 상기 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)에서도 상기 야간 영상 정보(10)가 공유되도록 전파하는 것을 특징으로 하는, 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100).
  2. 제1항에 있어서, 상기 HMD 프레임(110)은,
    사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성되는 것을 특징으로 하는, 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100).
  3. 삭제
  4. 제1항에 있어서, 상기 야간 투시 카메라(140)는,
    상기 HMD 프레임(110)에 탈부착 가능하도록 구성되는 것을 특징으로 하는, 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100).
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항, 제2항 및 제4항 중 어느 한 항에 있어서, 상기 머리 착용형 디스플레이 장치(100)는,
    상기 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(170);
    상기 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(190);
    상기 전원 공급부(190)의 온/오프를 위한 스위치부(200); 및
    상기 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)와 상기 야간 영상 정보(10)를 송수신하기 위한 데이터 통신을 수행하는 통신부(210)를 더 포함하여 구성하는 것을 특징으로 하는, 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치(100).
KR1020190163216A 2019-12-10 2019-12-10 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치 Active KR102254174B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190163216A KR102254174B1 (ko) 2019-12-10 2019-12-10 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190163216A KR102254174B1 (ko) 2019-12-10 2019-12-10 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR102254174B1 true KR102254174B1 (ko) 2021-05-20

Family

ID=76142655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163216A Active KR102254174B1 (ko) 2019-12-10 2019-12-10 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR102254174B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023034632A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Artificial reality device capture control and sharing
KR102554615B1 (ko) 2022-10-14 2023-07-12 주식회사 셀리코 영상 공유 야간투시경
KR20240103817A (ko) * 2022-12-27 2024-07-04 주식회사 셀코스 Ar 및 vr 겸용 헤드셋 장치 및 그 영상 제공 방법
WO2024155305A1 (en) * 2022-10-31 2024-07-25 Applied Research Associates, Inc. Graphical user interface builder for a heads-up display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160008916A (ko) * 2014-07-15 2016-01-25 (주)소셜네트워크 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR20170143064A (ko) * 2016-06-17 2017-12-29 한국항공우주산업 주식회사 헬멧에 탈부착 가능한 야간 투시 카메라
KR101941904B1 (ko) * 2016-08-11 2019-01-24 편창현 다기능 스마트 헬멧
KR20190013868A (ko) * 2016-06-02 2019-02-11 탈레스 디펜스 앤드 시큐리티, 인크. 확장된 동적 범위를 갖는 소형 비전-관성 내비게이션 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160008916A (ko) * 2014-07-15 2016-01-25 (주)소셜네트워크 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR20190013868A (ko) * 2016-06-02 2019-02-11 탈레스 디펜스 앤드 시큐리티, 인크. 확장된 동적 범위를 갖는 소형 비전-관성 내비게이션 시스템
KR20170143064A (ko) * 2016-06-17 2017-12-29 한국항공우주산업 주식회사 헬멧에 탈부착 가능한 야간 투시 카메라
KR101941904B1 (ko) * 2016-08-11 2019-01-24 편창현 다기능 스마트 헬멧

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023034632A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Artificial reality device capture control and sharing
KR102554615B1 (ko) 2022-10-14 2023-07-12 주식회사 셀리코 영상 공유 야간투시경
WO2024155305A1 (en) * 2022-10-31 2024-07-25 Applied Research Associates, Inc. Graphical user interface builder for a heads-up display
KR20240103817A (ko) * 2022-12-27 2024-07-04 주식회사 셀코스 Ar 및 vr 겸용 헤드셋 장치 및 그 영상 제공 방법
KR102852564B1 (ko) * 2022-12-27 2025-08-29 주식회사 셀코스 Ar 및 vr 겸용 헤드셋 장치 및 그 영상 제공 방법

Similar Documents

Publication Publication Date Title
KR102254174B1 (ko) 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치
US12066635B2 (en) Stray light suppression for head worn computing
EP2756350B1 (en) Optical display system and method with virtual image contrast control
US9998687B2 (en) Face mounted extreme environment thermal sensor system
US7786424B2 (en) Electronic day and night vision goggles having dual camera
US20020030637A1 (en) Aremac-based means and apparatus for interaction with computer, or one or more other people, through a camera
WO2015012280A1 (ja) 視線検出装置
US10921592B2 (en) Self-contained breathing apparatus face piece lens vision system
JP7418075B2 (ja) 撮像表示装置、ウェアラブルデバイスおよび撮像表示システム
EP1300716A1 (en) Head mounted display apparatus
WO2016171190A1 (ja) 暗視装置、暗視方法およびプログラム
KR102260393B1 (ko) 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치
KR102857945B1 (ko) 주변 장면의 야간 비전 및 직접적인 비전을 제공하는 비전 장치
KR102410872B1 (ko) 프로젝터 모드를 포함하는 머리 착용형 디스플레이 장치
US20190011702A1 (en) Helmet-Mounted Visualization Device Without Parallax and its Operation Method
JP5151359B2 (ja) 頭部装着型画像取得装置及びそれを用いた頭部装着型表示装置
JP2013120988A (ja) 頭部装着型表示装置
JP2007212577A (ja) 頭部装着型表示装置
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP5151358B2 (ja) 頭部装着型表示装置
GB2538256A (en) Optical data insertion device
JP2018129800A (ja) シールド付ウェアラブルコンピュータ及びウェアラブルコンピュータに用いられるシールド
CA2358900A1 (en) Aremac--based means and apparatus for interaction with a computer, or one or more people, through a wearable camera system
WO2010087584A2 (ko) 시선 결합장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000