[go: up one dir, main page]

KR102282456B1 - 평면도에 히트맵을 표시하는 장치 및 방법 - Google Patents

평면도에 히트맵을 표시하는 장치 및 방법 Download PDF

Info

Publication number
KR102282456B1
KR102282456B1 KR1020140174257A KR20140174257A KR102282456B1 KR 102282456 B1 KR102282456 B1 KR 102282456B1 KR 1020140174257 A KR1020140174257 A KR 1020140174257A KR 20140174257 A KR20140174257 A KR 20140174257A KR 102282456 B1 KR102282456 B1 KR 102282456B1
Authority
KR
South Korea
Prior art keywords
plan
view
cameras
displaying
horizontal distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140174257A
Other languages
English (en)
Other versions
KR20160068461A (ko
Inventor
배순민
유연걸
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140174257A priority Critical patent/KR102282456B1/ko
Priority to US14/790,224 priority patent/US10733774B2/en
Priority to CN201510888714.5A priority patent/CN105674878B/zh
Publication of KR20160068461A publication Critical patent/KR20160068461A/ko
Application granted granted Critical
Publication of KR102282456B1 publication Critical patent/KR102282456B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치는 적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부; 상기 검출된 객체의 수평거리를 계산하는 수평거리계산부; 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및 상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하는 것을 특징으로 한다.

Description

평면도에 히트맵을 표시하는 장치 및 방법{Device and Method for displaying heatmap on the floor plan}
본 발명은 평면도에 히트맵을 표시하는 장치 및 방법에 관한 것이다.
카메라 또는 감시 시스템의 호스트 장치는 카메라와 목표물 사이의 거리를 구하여 디스플레이할 필요가 있다.
예를 들어, 감시 시스템에서 카메라들이 연동하면서 사람 또는 차량 등의 목표물을 추적할 경우, 현재 목표물을 촬영중인 카메라와 목표물 사이의 거리를 디스플레이할 필요가 있다.
본 발명에서는 감시 카메라 등에서 촬영된 영상의 왜곡을 수정하여 평면도에 표시하고, 이 정보를 이용하여 정확한 히트맵을 제공하고자 한다.
본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치는 적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부; 상기 검출된 객체의 수평거리를 계산하는 수평거리계산부; 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및 상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치는 적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부; 상기 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)을 트래킹하는 트래킹부; 상기 검출된 객체의 수평거리를 계산하는 수평거리계산부; 상기 적어도 하나 이상의 카메라에서 촬영한 영상을 기초로 평면도를 작성하는 평면도생성부; 상기 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및 상기 평면도 상에 상기 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나 또는 상기 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법은 적어도 하나 이상의 카메라에서 객체를 검출하는 단계; 상기 검출된 객체의 수평거리를 계산하는 단계; 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 단계;및 상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법은 적어도 하나 이상의 카메라에서 객체를 검출하는 단계; 상기 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)을 트래킹하는 단계; 상기 검출된 객체의 수평거리를 계산하는 단계; 상기 적어도 하나 이상의 카메라에서 촬영한 영상을 기초로 평면도를 생성하는 단계; 상기 생성된 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 단계;및 상기 평면도 상에 상기 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나, 또는 상기 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서는 감시 카메라 등에서 촬영된 영상의 왜곡을 수정하여 평면도에 표시하고, 이 정보를 이용하여 정확한 히트맵을 제공하는 효과가 있다.
도 1은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하기 위해 이용하는 시스템의 일 예를 도시한다.
도 2는 본 발명의 바람직한 일 실시예로서, 특정 영역을 표시하는 평면도에 히트맵을 표시하는 장치의 내부 구성도를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 각 카메라에서 촬영한 객체의 왜곡을 교정하여 수평거리를 기준으로 객체를 평면도 상에 표시한 일 예를 도시한다.
도 4 내지 5는 본 발명의 바람직한 일 실시예로서, 수평거리를 계산하는 실시예를 도시한다. 도 4는 광학계의 광축이 지면과 평행한 경우를 나타내고, 도 5는 광학계의 광축이 지면과 평행하지 않은 경우의 일 실시예를 도시한다.
도 6 내지 7은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시한 일 예를 도시한다.
도 8 내지 9 는 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법의 흐름도를 도시한다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.
도 1은 본 발명의 바람직한 일 실시예로서, 단말기(13)에서 평면도에 히트맵을 표시하기 위해 이용하는 시스템의 일 예를 도시한다.
도 1을 참조하면, 카메라들(101, 111, 121)은, 통신 신호(Sco)를 교환하면서 단말기(13)와 통신을 수행한다. 또한, 카메라(101, 111, 121) 상호간에도 유무선 통신 수행이 가능하며, 정보 교환이 이루어질 수 있다.
카메라들(101, 111, 121)은 라이브-뷰(live-view)의 비디오 신호(Svid)를 단말기(13)에 전송할 수 있다. 또한, 카메라들(101, 111, 121)은 상호간에 라이브-뷰(live-view)의 비디오 신호(Svid)를 교환하여 평면도를 생성하도록 구현될 수 있다.
단말기(13)에서 수신된 비디오 신호(Svid)는, 디스플레이 장치를 통하여 디스플레이되는 한편, 기록 장치 예를 들어, 하드 디스크 드라이브(Hard Disk Drive)에 저장되도록 구현할 수 있다. 또한, 단말기(13)는 사용자로부터 제어 신호를 입력받아 각각의 카메라(101, 111, 121)의 PTZ(Pan, Tilt, Zoom)를 수행할 수 있다.
도 2는 본 발명의 바람직한 일 실시예로서, 특정 영역을 표시하는 평면도에 히트맵을 표시하는 장치의 내부 구성도를 도시한다. 도 3 을 참고하여, 평면도에 히트맵을 표시하는 장치의 구성을 설명하겠다. 도 3 은 본 발명의 바람직한 일 실시예로서, 각 카메라에서 촬영한 객체의 왜곡을 교정하여 수평거리를 기준으로 객체를 평면도 상에 표시한 일 예를 도시한다.
카메라(도 3, 310, 320, 330, 340) 각각에서 검출한 객체의 크기는 카메라(도 3, 310, 320, 330, 340)와의 거리, 각도 등에 따라 왜곡될 수 있다. 일 예로, 동일한 객체(301)를 촬영하는 경우에도, 객체(301)와 가까운 거리에 있는 카메라(310)에서는 객체(301)의 크기가 상대적으로 크게 검출되고, 객체(301)와 상대적으로 먼 거리에 있는 카메라(340)에서는 객체(301)의 크기가 상대적으로 작게 검출되는 등의 왜곡이 발생할 수 있다.
본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치(200)는 각 카메라(도 3, 310, 320, 330, 340)에서 검출된 객체의 크기를 수평거리로 조정하여, 평면도에 표시한다. 이상의 과정을 통해 카메라에서 발생하는 왜곡현상을 교정할 수 있다. 본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치(200)는 각 카메라(도 3, 310, 320, 330, 340)에서 객체 검출시 발생하는 왜곡현상을 교정한 이후, 각 객체를 평면도에 표시하고 각 객체의 밀집도 또는 각 객체의 아이트래킹 내지 핸드트래킹에 따라 히트맵을 제공하는 특징이 있다.
본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치(200)는 객체검출부(210), 수평거리계산부(220), 객체표시부(230) 및 히트맵표시부(240)를 포함한다.
본 발명의 바람직한 일 실시예로서, 특정영역에 대한 평면도(300)를 미리 보유하고 있을 수도 있고, 또는 카메라(도 3, 310, 320, 330, 340)에서 촬영한 영상의 왜곡을 보정한 후, 카메라(도 3, 310, 320, 330, 340) 상호 간에 촬영한 영상 정보 등을 교환하여 평면도를 생성할 수 있다. 평면도는 2차원 또는 3차원으로 구현이 가능하다.
객체검출부(210)는 적어도 하나 이상의 카메라(도 3, 310, 320, 330, 340)에서 객체(301, 302)를 검출한다. 적어도 하나 이상의 카메라(도 3, 310, 320, 330, 340)는 또한 객체(301, 302)의 이동 경로 내지, 객체(301, 302)의 눈(eye) 또는 손(hand)의 움직임을 추적하도록 구현될 수 있다.
수평거리계산부(220)는 객체검출부(210)에서 검출된 객체의 수평거리를 계산한다. 일 예로, 특정 객체가 복수의 카메라에서 동시에 검출된 경우, 삼각 거리 계산법을 이용하여 특정 객체의 위치 및 크기를 계산할 수 있다. 또 다른 일 실시예로서, 특정 객체가 단일 카메라에서 검출된 경우 도 4 내지 5에 도시된 일 실시예와 같이 수평거리를 계산할 수 있다. 수평거리를 계산하는 방법은 도 4 내지 5의 설명을 참고한다. 이 외에도 본 발명의 바람직한 일 실시예에서 수평거리계산부(220)는 수평거리를 계산하는 다양한 방법을 이용할 수 있다.
객체표시부(230)는 기설정된 평면도 또는 카메라에서 영상 교환을 통해 생성한 평면도 상에 수평거리계산부(220)에서 계산된 수평거리를 이용하여 객체검출부(210)에서 검출한 객체를 표시한다.
도 3 을 참고하면, 평면도(300)에는 수평거리를 기준으로 왜곡이 교정된 객체가 표시될 뿐만 아니라, 카메라가 설치되어 있는 위치(310, 320, 330, 340) 및 각 카메라의 촬영범위가 함께 도시된다.
또한, 평면도(300) 내의 특정 영역을 복수 개의 카메라가 촬영하고 있는 경우 이에 대한 정보도 제공할 수 있다. 평면도(300)에는 단일 카메라에 의해 촬영되는 영역(S310, S320), 두 대의 카메라에 의해 촬영되는 범위(S340), 세 대의 카메라에 의해 촬영되는 범위(S330) 등의 정보가 표시된다. 또한, 카메라에 의해 촬영되지 않는 사각영역(S350) 역시 검출이 가능하다.
평면도(300)를 표시하는 객체표시부(230)는 사용자에게 평면도(300)에 표시된 각 카메라를 선택하거나, 또는 카메라의 위치를 변경할 경우 예상되는 촬영 범위 등을 조절하는 인터페이스를 지원하도록 구현이 가능하다.
히트맵표시부(240)는 평면도(300) 상에 표시된 객체의 밀집도에 따라 히트맵을 표시하도록 구현된다. 히트 맵(heat map)은 색상으로 표현할 수 있는 다양한 정보를 평면도(300)위에 열분포 형태의 비쥬얼한 그래픽으로 출력하도록 구현된다.
히트맵표시부(240)는 또한 객체의 아이트래킹 또는 핸드트래킹 결과를 평면도(300) 상에 추가로 표시할 수 있다. 객체의 눈의 움직임 또는 손의 움직임을 추적하여 표시할 수 있다.
히트맵표시부(240)는 또한 눈의 움직임 또는 손의 움직임을 추적한 정보를 이용하여 평면도(도 3, 300) 위에 객체의 눈이나 손이 많이 머문 위치 또는 좌표에 열분포 이미지를 제공할 수 있다.
도 4 내지 5에 도시된 일 실시예와 같이, 수평거리 z(S400)는 카메라 높이 H(S410), 지평선에서의 거리 x(S420) 및 초점 거리 f(focal length)(S430)를 이용하여 계산할 수 있다. 카메라(101)의 높이(H)는 카메라(101)를 설치하는 사용자에 의하여 설정될 수 있다.
도 4 는 광학계(201)의 광축(231)이 지면(EP2)과 평행한 경우의 수평거리를 계산하는 일 예를 도시하고, 도 5는 광학계(201)의 광축(231)이 지면(EP2)과 평행하지 않은 경우 수평거리를 계산하는 일 예를 도시한다.
도 4에서 참조 부호 101은 카메라, 201은 광학계, 202는 광전 변환 소자, 211은 목표물, 221은 카메라-목표물 연결선, 231은 광학계의 광축, α는 상대적 목표물 각도, Ec는 지면 착지 지점, Ei는 영상 수직 거리, EP1은 지평선, EP2는 지면, f는 초점 거리, H는 카메라의 높이, Lc는 광학계의 중심 지점, Pe는 목표물-영상 착지 지점, Sc는 센서 중심 지점, y는 목표물 수직 길이, yi는 목표물-영상의 수직 길이, 그리고 z는 카메라와 목표물 사이의 수평 거리를 각각 가리킨다.
도 4는 광학계(201)의 광축(231)이 지면(EP2)과 평행한 경우이다. 이 경우, 지평선을 촬영하면 지평선의 영상은 센서 중심 지점(Sc)의 수평 라인에 위치한다. 여기에서, 아래의 수학식 1이 성립한다.
Figure 112014118793558-pat00001
따라서, 카메라(101)와 목표물(211) 사이의 수평 거리(z)는 아래의 수학식 2에 의하여 구해질 수 있다.
Figure 112014118793558-pat00002
도 5는 광학계(201)의 광축(231)이 지면(EP2)과 평행하지 않은 경우의 일 예이다.
도 5에서 도 4 와 동일한 참조 부호는 동일한 대상을 가리킨다. 도 5에서 참조 부호 Pe는 목표물-영상 착지 지점, Ec는 센서 수평 지점, Et는 센서 틸팅 거리, θ는 지면-카메라 각도, 그리고 ρ는 카메라-목표물 각도를 각각 가리킨다.
카메라 또는 단말기는, 지면-카메라 각도(θ)와 카메라-목표물 각도(ρ)의 차이값을 상대적 목표물 각도(α)로서 설정한다. 여기에서, 상대적 목표물 각도(α)는 카메라(101)의 파라미터들(parameters)의 설정 값들로부터 계산될 수 있다.
Figure 112014118793558-pat00003
카메라 또는 단말기는, 카메라의 높이(H)를 상대적 목표물 각도(α)의 탄젠트(tangent) 값(tan-1α)으로 나눈 결과를 카메라(101)와 목표물(211) 사이의 수평 거리(z)로서 설정한다.
수학식 4에 의하여 카메라(101)와 목표물(211) 사이의 수평 거리(z)가 구해진다.
Figure 112014118793558-pat00004
도 6 내지 7은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시한 일 예를 도시한다.
도 6은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 객체의 밀집도에 따른 히트맵을 표시한 일 실시예이다. 도 6 을 참고하면, 객체들이 입구(S610) 영역에 가장 많이 몰려있고, 그 다음으로 중앙 영역(S620)에 많이 몰려있음을 파악할 수 있다.
관리자는 이와 같은 히트맵을 참고하여, 객체들이 많이 밀집되어 있는 영역(S610)에 카메라를 추가 설치할 수 있다. 또한 객체들이 많이 밀집되어 있는 영역(S610)에 대한 정보를 활용하여 해당 영역에 중요한 공고를 붙이거나, 또는 판매 제품을 디스플레이 하는 등으로 활용이 가능하다.
도 7은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 객체의 아이트래킹 또는 핸드트래킹의 밀집도에 따른 히트맵을 표시한 일 실시예이다. 도 6 내지 7 을 참고하면, 객체들이 많이 밀집되어 있던 영역(도 6, S610, S620)과 객체들의 눈 또는 손이 많이 머문 영역(도 7, S710, S720)이 상이함을 파악할 수 있다.
이러한 정보를 활용하여 관리자는 객체들의 눈 또는 손이 많이 머문 영역(도 7, S710, S720)에 객체들이 사기 쉬운 물품과 함께 판매도를 높이고자 하는 물품을 함께 배치하는 등으로 활용할 수 있다. 또한 객체들의 눈 또는 손이 많이 머문 영역(도 7, S710, S720)에 추가로 카메라를 설치하도록 구현할 수 있다.
도 8 은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법의 흐름도를 도시한다.
특정 영역에 설치되어 있는 적어도 하나 이상의 카메라에서 상기 특정 영역을 이동하는 객체를 검출한다(S810). 이 경우 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)의 트래킹을 수행할 수 있다. 이 후, 단말기에서는 적어도 하나 이상의 카메라로부터 수신한 객체 정보와 촬영 영상 정보를 이용하여 검출된 객체의 수평거리를 계산한다(S820). 수평거리를 계산하는 일 실시예는 도 4 내지 5와 관련된 설명을 참고한다.
단말기는 평면도(도 3 참고) 상에 검출된 객체를 표시한다. 이 경우 검출된 객체는 수평거리를 이용하여 각 카메라에서 촬영시 왜곡되게 검출되었던 크기 및 위치가 교정되어 표시된다(S830). 단말기는 평면도 상에 객체의 밀집도에 따라 히트맵을 표시한다(S840).
주의할 것은 도 8에서는 S830 단계와 S840 단계를 시계열적으로 표시하였으나, 단말기에서는 S830과 S840을 동시에 구현하거나 또는 S830 단계를 수행하지 않은 채 S840 단계만을 수행하도록 구현될 수 있다.
도 9 는 본 발명의 또 다른 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법의 흐름도를 도시한다.
특정 영역에 설치되어 있는 적어도 하나 이상의 카메라에서 상기 특정 영역을 이동하는 객체를 검출한다(S910). 이 경우 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)의 트래킹을 수행할 수 있다(S920). 이 후, 단말기에서는 적어도 하나 이상의 카메라로부터 수신한 객체 정보와 촬영 영상 정보를 이용하여 검출된 객체의 수평거리를 계산한다(S930). 수평거리를 계산하는 일 실시예는 도 4 내지 5와 관련된 설명을 참고한다.
특정 영역에 설치되어 있는 적어도 하나 이상의 카메라는 상호간에 유무선 통신을 통하여 촬영한 영상 정보, 검출한 객체 정보 등을 교환할 수 있다. 본 발명의 바람직한 일 실시예에서는 특정 영역에 설치되어 있는 적어도 하나 이상의 카메라가 상호간에 교환한 정보를 이용하여 평면도를 생성할 수 있다(S940). 주의할 것은 도 9에서는 S940 단계가 시계열적으로 S910, S920 및 S930 단계 이후에 기술되었으나, S940 단계가 가장 먼저 수행된 이후 시계열적으로 S910, S920 및 S930 단계가 수행되도록 변형이 가능하다. 또는 S910, S920, S930 단계와 함께 S940 단계가 구현될 수 있다.
이상의 과정을 통해 적어도 하나 이상의 카메라가 촬영하고 있는 특정 영역에 대한 평면도가 생성되고, 상기 특정 영역을 이동하는 객체가 검출된 경우, 평면도 상에 수평거리를 이용하여 검출된 객체를 표시한다(S950).
이 경우 검출된 객체는 수평거리를 이용하여 각 카메라에서 촬영시 왜곡되게 검출되었던 크기 및 위치가 교정되어 표시된다(S950). 단말기는 평면도 상에 평면도 상에 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나, 또는 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시한다(S960). 이 경우 단말기는 또한 객체의 밀집도에 따라 히트맵을 표시할 수 있다(S960).
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (15)

  1. 평면도에 히트맵을 표시하는 장치로서,
    적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부;
    상기 검출된 객체의 수평거리를 계산하는 수평거리계산부;
    평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및
    상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하고,
    상기 적어도 하나 이상의 카메라는 상호간에 라이브뷰의 비디오 신호를 교환하여 상기 평면도를 생성하고, 상기 객체표시부는 상기 적어도 하나 이상의 카메라 각각에서 검출된 객체의 크기를 상기 수평거리로 조정하여 생성된 상기 평면도에 표시하는 것을 특징으로 하는 장치.
  2. 제 1 항에 있어서,
    상기 평면도는 특정 영역을 표시하는 기설정된 지도 정보로서, 상기 특정 영역에는 상기 적어도 하나 이상의 카메라가 설치되어 있으며, 상기 평면도에는 상기 적어도 하나 이상의 카메라에 대한 정보가 표시되고,
    이 경우, 상기 평면도는
    상기 적어도 하나 이상의 카메라 각각의 촬영 범위를 표시하고,
    상기 적어도 하나 이상의 카메라 중 복수개의 카메라가 촬영하는 영역이 중복되는 경우, 중복되는 영역을 표시하며,
    상기 특정 영역 중 상기 적어도 하나 이상의 카메라의 촬영 범위에 해당하지 않는 사각지대를 표시하는 것을 특징으로 하는 장치.
  3. 삭제
  4. 제 1 항에 있어서, 상기 평면도는
    2차원 또는 3차원이며, 상기 평면도가 3차원인 경우,
    상기 평면도 상에 객체의 높이도 상기 계산된 수평거리를 이용하여 표시하는 것을 특징으로 하는 장치.
  5. 삭제
  6. 적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부;
    상기 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)을 트래킹하는 트래킹부;
    상기 검출된 객체의 수평거리를 계산하는 수평거리계산부;
    상기 적어도 하나 이상의 카메라에서 촬영한 영상을 기초로 평면도를 작성하는 평면도생성부;
    상기 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및
    상기 평면도 상에 상기 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나 또는 상기 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하고,
    상기 적어도 하나 이상의 카메라는 상호간에 라이브뷰의 비디오 신호를 교환하여 상기 평면도를 생성하고, 상기 객체표시부는 상기 적어도 하나 이상의 카메라 각각에서 검출된 객체의 크기를 상기 수평거리로 조정하여 생성된 상기 평면도에 표시하는 것을 특징으로 하는 평면도에 히트맵을 표시하는 장치.
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제 6 항에 있어서, 상기 적어도 하나 이상의 카메라는
    상호간에 유무선 통신을 통해 정보 교환이 가능한 것을 특징으로 하는 평면도에 히트맵을 표시하는 장치.
  8. 삭제
  9. 제 6 항에 있어서, 상기 평면도에
    상기 적어도 하나 이상의 카메라에 대한 정보가 표시되고,
    이 경우, 상기 평면도는
    상기 적어도 하나 이상의 카메라 각각의 촬영 범위를 표시하고,
    상기 적어도 하나 이상의 카메라 중 복수개의 카메라가 촬영하는 영역이 중복되는 경우, 중복되는 영역을 표시하는 것을 특징으로 하는 평면도에 히트맵을 표시하는 장치.
  10. 삭제
  11. 단말기에서 평면도에 히트맵을 표시하는 방법으로서,
    적어도 하나 이상의 카메라에서 객체를 검출하는 단계;
    상기 검출된 객체의 수평거리를 계산하는 단계;
    평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 단계;및
    상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 단계;를 포함하고, 상기 평면도는
    특정 영역에는 상기 적어도 하나 이상의 카메라가 설치되어 있으며, 상기 평면도에는 상기 적어도 하나 이상의 카메라에 대한 정보가 표시되며,
    이 경우 상기 평면도는 특정 영역을 표시하는 기설정된 지도 정보로서, 상기 적어도 하나 이상의 카메라는 상호간에 라이브뷰의 비디오 신호를 교환하여 상기 평면도를 생성하고, 상기 객체를 표시하는 단계는 상기 적어도 하나 이상의 카메라 각각에서 검출된 객체의 크기를 상기 수평거리로 조정하여 생성된 상기 평면도에 표시하며, 상기 평면도는 상기 적어도 하나 이상의 카메라 각각의 촬영 범위를 표시하며, 상기 적어도 하나 이상의 카메라 중 복수개의 카메라가 촬영하는 영역이 중복되는 경우, 중복되는 영역을 표시하고, 상기 특정 영역 중 상기 적어도 하나 이상의 카메라의 촬영 범위에 해당하지 않는 사각지대를 표시하는 것을 특징으로 하는 방법.
  12. 삭제
  13. 삭제
  14. 단말기에서 평면도에 히트맵을 표시하는 방법으로서,
    적어도 하나 이상의 카메라에서 객체를 검출하는 단계;
    상기 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)을 트래킹하는 단계;
    상기 검출된 객체의 수평거리를 계산하는 단계;
    상기 적어도 하나 이상의 카메라에서 촬영한 영상을 기초로 평면도를 생성하는 단계;
    상기 생성된 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 단계;및
    상기 평면도 상에 상기 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나, 또는 상기 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시하는 단계;를 포함하고,
    상기 적어도 하나 이상의 카메라는 상호간에 라이브뷰의 비디오 신호를 교환하여 상기 평면도를 생성하며, 상기 객체를 표시하는 단계는 상기 적어도 하나 이상의 카메라 각각에서 검출된 객체의 크기를 상기 수평거리로 조정하여 생성된 상기 평면도에 표시하고, 상기 평면도는 상기 적어도 하나 이상의 카메라 각각의 촬영 범위를 표시하며, 상기 적어도 하나 이상의 카메라 중 복수개의 카메라가 촬영하는 영역이 중복되는 경우, 중복되는 영역을 표시하는 것을 특징으로 하는 방법.
  15. 삭제
KR1020140174257A 2014-12-05 2014-12-05 평면도에 히트맵을 표시하는 장치 및 방법 Active KR102282456B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140174257A KR102282456B1 (ko) 2014-12-05 2014-12-05 평면도에 히트맵을 표시하는 장치 및 방법
US14/790,224 US10733774B2 (en) 2014-12-05 2015-07-02 Device and method of displaying heat map on perspective drawing
CN201510888714.5A CN105674878B (zh) 2014-12-05 2015-12-07 在透视图上显示热图的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140174257A KR102282456B1 (ko) 2014-12-05 2014-12-05 평면도에 히트맵을 표시하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160068461A KR20160068461A (ko) 2016-06-15
KR102282456B1 true KR102282456B1 (ko) 2021-07-28

Family

ID=56094758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140174257A Active KR102282456B1 (ko) 2014-12-05 2014-12-05 평면도에 히트맵을 표시하는 장치 및 방법

Country Status (3)

Country Link
US (1) US10733774B2 (ko)
KR (1) KR102282456B1 (ko)
CN (1) CN105674878B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110249626B (zh) * 2017-10-26 2020-07-31 腾讯科技（深圳）有限公司 增强现实图像的实现方法、装置、终端设备和存储介质
KR102526113B1 (ko) * 2018-05-31 2023-04-26 삼성에스디에스 주식회사 혼잡도 시각화 장치 및 방법
KR102528983B1 (ko) * 2019-02-19 2023-05-03 한화비전 주식회사 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법
US11763209B1 (en) * 2019-03-06 2023-09-19 American Airlines, Inc. Virtual measurement system for baggage management
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
CN111161138B (zh) * 2019-12-31 2021-05-07 北京城市网邻信息技术有限公司 用于二维全景图像的目标检测方法、装置、设备、介质
KR102333143B1 (ko) * 2021-03-15 2021-12-02 다인스 주식회사 무인 계수 서비스 제공 시스템
CN113115000B (zh) * 2021-04-12 2022-06-17 浙江商汤科技开发有限公司 地图生成方法及装置、电子设备和存储介质
US12086301B2 (en) 2022-06-01 2024-09-10 Sphere Entertainment Group, Llc System for multi-user collaboration within a virtual reality environment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010010542A1 (en) 1996-09-20 2001-08-02 Yoichi Takagi Image processor, intruder monitoring apparatus and intruder monitoring method
US20030085992A1 (en) * 2000-03-07 2003-05-08 Sarnoff Corporation Method and apparatus for providing immersive surveillance
US20060187305A1 (en) 2002-07-01 2006-08-24 Trivedi Mohan M Digital processing of video images
US20070024704A1 (en) 2005-07-26 2007-02-01 Activeye, Inc. Size calibration and mapping in overhead camera view
US20080292140A1 (en) 2007-05-22 2008-11-27 Stephen Jeffrey Morris Tracking people and objects using multiple live and recorded surveillance camera video feeds
US20120314030A1 (en) 2011-06-07 2012-12-13 International Business Machines Corporation Estimation of object properties in 3d world
US20120327220A1 (en) * 2011-05-31 2012-12-27 Canon Kabushiki Kaisha Multi-view alignment based on fixed-scale ground plane rectification
WO2014087620A1 (ja) 2012-12-06 2014-06-12 日本電気株式会社 視界表示システム、視界表示方法および視界表示プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101362630B1 (ko) 2007-06-21 2014-02-12 엘지전자 주식회사 디지털 비디오 레코더에서의 피사체 이동 경로 추적 방법
JP2009145061A (ja) 2007-12-11 2009-07-02 Mitsubishi Electric Corp 位置計測装置
KR101080073B1 (ko) 2009-02-27 2011-11-04 숭실대학교산학협력단 다수의 가상 평면 정보를 이용한 3차원 물체의 기하 정보 추출 방법
DE102010003336A1 (de) 2010-03-26 2011-09-29 Robert Bosch Gmbh Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen
KR101172747B1 (ko) * 2010-08-16 2012-08-14 한국표준과학연구원 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
EP2719168A2 (en) 2011-06-10 2014-04-16 Flir Systems, Inc. Systems and methods for intelligent monitoring of thoroughfares using thermal imaging
CN102376061B (zh) * 2011-08-26 2015-04-22 浙江工业大学 基于全方位视觉的消费者购买行为分析装置
US20130063592A1 (en) 2011-09-08 2013-03-14 Scott Michael Kingsley Method and system for associating devices with a coverage area for a camera
KR20140073773A (ko) 2012-12-07 2014-06-17 한국전자통신연구원 매장 방문을 실시간으로 확인하고 보상을 제공하는 체크인 장치와 그 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010010542A1 (en) 1996-09-20 2001-08-02 Yoichi Takagi Image processor, intruder monitoring apparatus and intruder monitoring method
US20030085992A1 (en) * 2000-03-07 2003-05-08 Sarnoff Corporation Method and apparatus for providing immersive surveillance
US20060187305A1 (en) 2002-07-01 2006-08-24 Trivedi Mohan M Digital processing of video images
US8599266B2 (en) 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images
US20070024704A1 (en) 2005-07-26 2007-02-01 Activeye, Inc. Size calibration and mapping in overhead camera view
US20080292140A1 (en) 2007-05-22 2008-11-27 Stephen Jeffrey Morris Tracking people and objects using multiple live and recorded surveillance camera video feeds
US8350908B2 (en) 2007-05-22 2013-01-08 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
US20120327220A1 (en) * 2011-05-31 2012-12-27 Canon Kabushiki Kaisha Multi-view alignment based on fixed-scale ground plane rectification
US20120314030A1 (en) 2011-06-07 2012-12-13 International Business Machines Corporation Estimation of object properties in 3d world
WO2014087620A1 (ja) 2012-12-06 2014-06-12 日本電気株式会社 視界表示システム、視界表示方法および視界表示プログラム

Also Published As

Publication number Publication date
CN105674878B (zh) 2021-03-16
US10733774B2 (en) 2020-08-04
CN105674878A (zh) 2016-06-15
KR20160068461A (ko) 2016-06-15
US20160163075A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
KR102282456B1 (ko) 평면도에 히트맵을 표시하는 장치 및 방법
EP2652948B1 (en) Zooming factor computation
US10116922B2 (en) Method and system for automatic 3-D image creation
US9621982B2 (en) Directivity control apparatus, directivity control method, storage medium and directivity control system
CN106101522A (zh) 使用非光场成像设备获得光场数据的方法和设备
KR101494066B1 (ko) 공간 광 패턴에 기초한 깊이 데이터의 생성
JP6620394B2 (ja) 制御装置、制御方法及びプログラム
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
GB2577009A (en) Video and chart image fusion systems and methods
KR102263725B1 (ko) 주행 정보 제공 장치 및 주행 정보 제공 방법
WO2017077708A1 (en) Pilotless flying object detection system and pilotless flying object detection method
US10397525B2 (en) Monitoring system and monitoring method
TWI518305B (zh) 影像擷取方法
KR102001950B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
RU2016118756A (ru) Способ и устройство для определения пространственного параметра на основе изображения, а также оконечное устройство
WO2020020021A1 (zh) 测温处理方法、装置及热成像设备
JP2014153890A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2018205648A5 (ko)
WO2022126430A1 (zh) 辅助对焦方法、装置及系统
CN105227948B (zh) 一种查找图像中畸变区域的方法及装置
WO2018014517A1 (zh) 一种信息处理方法、装置及存储介质
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program
JP2015185896A5 (ko)
TW201722145A (zh) 具攝影機自動調派功能之3d影像監控系統及其監控方法
US9232132B1 (en) Light field image processing

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141205

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20180919

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191128

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20141205

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201215

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20210531

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20201215

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20210531

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20210205

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20191128

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20210706

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20210630

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20210531

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20210205

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20191128

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210721

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210722

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240625

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250624

Start annual number: 5

End annual number: 5