[go: up one dir, main page]

KR20210084141A - Augmented Reality Object Recognition System And Method For Power Generating Facility - Google Patents

Augmented Reality Object Recognition System And Method For Power Generating Facility Download PDF

Info

Publication number
KR20210084141A
KR20210084141A KR1020190177145A KR20190177145A KR20210084141A KR 20210084141 A KR20210084141 A KR 20210084141A KR 1020190177145 A KR1020190177145 A KR 1020190177145A KR 20190177145 A KR20190177145 A KR 20190177145A KR 20210084141 A KR20210084141 A KR 20210084141A
Authority
KR
South Korea
Prior art keywords
field
view
mobile device
map
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190177145A
Other languages
Korean (ko)
Other versions
KR102273993B1 (en
Inventor
최현호
김정렬
이영호
정욱
황진상
하창수
이창윤
Original Assignee
한국서부발전 주식회사
인하대학교 산학협력단
(주)부품디비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국서부발전 주식회사, 인하대학교 산학협력단, (주)부품디비 filed Critical 한국서부발전 주식회사
Priority to KR1020190177145A priority Critical patent/KR102273993B1/en
Publication of KR20210084141A publication Critical patent/KR20210084141A/en
Application granted granted Critical
Publication of KR102273993B1 publication Critical patent/KR102273993B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention provides an augmented reality (AR) object recognition system for power generation facilities to recognize power generation parts and facilities in response to on the basis of images captured at a site with a mobile device and provide information about the same, and a method thereof. According to one embodiment of the present invention, the augmented reality object recognition system for power generation facilities comprises: a map preparation unit receiving a location and a field-of-view image of at least one part and facility from a first mobile device; a location and field-of-view tracking unit receiving an operator's location and field-of-view image from a second mobile device; and a database storing the locations and field-of-view images for parts and facilities from the map preparation unit. The location and field-of-view tracking unit compares the field-of-view image of the map generation unit stored in the database with the field-of-view image secured by the location and field-of-view tracking unit to determine the parts and facilities at the operator's location.

Description

발전 설비용 증강 현실 객체 인식 시스템 및 방법{Augmented Reality Object Recognition System And Method For Power Generating Facility}Augmented Reality Object Recognition System And Method For Power Generating Facility

본 발명은 모바일 디바이스로 현장에서 촬영된 이미지를 기준으로 발전 부품 설비를 실시간으로 인식하고 이에 대한 정보를 제공할 수 있는 증강 현실 객체 인식 시스템 및 방법에 관한 것이다.The present invention relates to an augmented reality object recognition system and method capable of recognizing power generation parts and facilities in real time based on an image taken in the field with a mobile device and providing information thereon.

일반적인 증강현실 기술은 객체에 마커를 미리 부착하고, 증강 현실 장비가 마커를 인식하여 객체를 식별하는 방법을 사용하고 있다. 그러나 이러한 방법은 화력 발전소와 같이 규모가 방대하고 물리적 혹은 안전을 이유로 접근이 어려운 위치에 마커를 부착하기 어렵고, 위험이 따르게 되어 적용하기 어렵다. 또한, 마커가 발전 설비의 외벽에 부착되는 경우, 야외에 노출되어 분진, 침출수 등의 영향으로 오염될 가능성이 있어서 적용하기에 한계가 있다.A general augmented reality technology uses a method in which a marker is attached to an object in advance, and an augmented reality device recognizes the marker to identify the object. However, this method is difficult to apply because it is difficult to attach a marker to a location that is large and difficult to access due to physical or safety reasons, such as a thermal power plant, and there is a risk. In addition, when the marker is attached to the outer wall of the power generation facility, there is a possibility of being exposed to the outdoors and contaminated by the influence of dust, leachate, etc., so there is a limit to the application.

본 발명은 모바일 디바이스로 현장에서 촬영된 이미지를 기준으로 발전 부품 설비를 실시간으로 인식하고 이에 대한 정보를 제공할 수 있는 증강 현실 객체 인식 시스템 및 방법을 제공한다.The present invention provides an augmented reality object recognition system and method capable of recognizing power generation parts and facilities in real time based on an image taken in the field with a mobile device and providing information thereon.

본 발명의 실시예에 따른 발전 설비용 증강 현실 객체 인식 시스템은 제 1 모바일 디바이스로부터 적어도 하나의 부품 설비의 위치 및 시야 이미지를 입력받는 지도 작성부; 제 2 모바일 디바이스로부터 작업자의 위치 및 시야 이미지를 입력받는 위치 및 시야 추적부; 및 상기 지도 작성부로부터 부품 설비에 대한 위치 및 시야 이미지를 저장하는 데이터베이스를 포함하고, 상기 위치 및 시야 추적부는 상기 데이터베이스에 저장된 지도 작성부의 시야 이미지와 상기 위치 및 시야 추적부에서 확보한 시야 이미지를 비교하여, 작업자의 위치에 있는 부품 설비를 판단할 수 있다.Augmented reality object recognition system for power generation equipment according to an embodiment of the present invention is a map preparation unit for receiving the location and view image of at least one component equipment from the first mobile device; a position and field of view tracking unit receiving an image of the operator's position and field of view from the second mobile device; and a database for storing a position and a field of view image for parts and equipment from the map preparation unit, wherein the position and field of view tracking unit stores the field image of the map preparation unit stored in the database and a field of view image secured by the position and field of view tracking unit. By comparison, it is possible to determine the parts equipment in the position of the operator.

여기서, 상기 지도 작성부는 3D 맵과 상기 부품 설비의 3D 도면의 좌표계를 일치시켜서 상기 3D 맵 내에서의 부품 설비들의 좌표를 파악하고, 상기 데이터베이스에 저장할 수 있다.Here, the map creation unit may match the coordinate system of the 3D map and the 3D drawing of the parts and equipment to determine the coordinates of the parts in the 3D map, and store the coordinates in the database.

그리고 상기 지도 저장부는 상기 제 1 모바일 디바이스의 고유한 좌표축을 기준으로 상기 부품 설비의 상대적인 위치 및 시야 이미지를 획득하여 상기 데이터베이스에 저장할 수 있다.In addition, the map storage unit may acquire the relative position and view image of the parts and equipment based on the unique coordinate axis of the first mobile device and store the acquired images in the database.

또한, 상기 위치 및 시야 추적부는 상기 제 2 모바일 디바이스의 좌표값, 방향값을 상기 데이터베이스에 업로드하여, 상기 제 2 모바일 디바이스의 현재 위치와 부품 설비를 파악할 수 있다.In addition, the position and field of view tracking unit uploads the coordinate values and direction values of the second mobile device to the database, so that the current position and parts facilities of the second mobile device may be identified.

또한, 상기 위치 및 시야 추적부는 상기 데이터베이스에 저장된 시야 이미지와 상기 제 2 모바일 디바이스에서 획득한 시야 이미지를 비교하여, 오차 보정을 줄일 수 있다.Also, the position and field of view tracking unit may reduce error correction by comparing the field of view image stored in the database with the field of view image obtained from the second mobile device.

더불어, 본 발명에 따른 발전설비용 증강 현실 객체 인식 방법은 지도 작성부가 제 1 모바일 디바이스로부터 적어도 하나의 부품 설비의 위치 및 시야 이미ㅌ지를 입력받는 단계; 데이터베이스가 상기 지도 작성부로부터 부품 설비에 대한 위치 및 시야 이미지를 저장하는 단계; 위치 및 시야 추적부가 제 2 모바일 디바이스로부터 작업자의 위치 및 시야 이미지를 입력받는 단계; 및 상기 위치 및 시야 추적부가 상기 데이터베이스에 저장된 지도 작성부의 시야 이미지와 상기 위치 및 시야 추적부에서 확보한 시야 이미지를 비교하여, 작업자의 위치에 있는 부품 설비를 판단하는 단계를 포함할 수 있다.In addition, the augmented reality object recognition method for power generation facilities according to the present invention comprises the steps of: receiving, by a map maker, a location and a view image of at least one component facility from a first mobile device; storing, by a database, a location and field of view image for parts and equipment from the map making unit; A step of receiving a position and field of vision tracking unit position and field of view image of the operator from the second mobile device; and comparing the position and field of view tracking unit with the field of view image of the map maker stored in the database with the field of view image secured by the position and field of tracking unit, determining the parts equipment at the operator's position.

여기서, 상기 지도 작성부는 3D 맵과 상기 부품 설비의 3D 도면의 좌표계를 일치시켜서 상기 3D 맵 내에서의 부품 설비들의 좌표를 파악하고, 상기 데이터베이스에 저장할 수 있다.Here, the map creation unit may match the coordinate system of the 3D map and the 3D drawing of the parts and equipment to determine the coordinates of the parts in the 3D map, and store the coordinates in the database.

그리고 상기 지도 저장부는 상기 제 1 모바일 디바이스의 고유한 좌표축을 기준으로 상기 부품 설비의 상대적인 위치 및 시야 이미지를 획득하여 상기 데이터베이스에 저장할 수 있다.In addition, the map storage unit may acquire the relative position and view image of the parts and equipment based on the unique coordinate axis of the first mobile device and store the acquired images in the database.

또한, 상기 위치 및 시야 추적부는 상기 제 2 모바일 디바이스의 좌표값, 방향값을 상기 데이터베이스에 업로드하여, 상기 제 2 모바일 디바이스의 현재 위치와 부품 설비를 파악할 수 있다.In addition, the position and field of view tracking unit uploads the coordinate values and direction values of the second mobile device to the database, so that the current position and parts facilities of the second mobile device may be identified.

또한, 상기 위치 및 시야 추적부는 상기 데이터베이스에 저장된 시야 이미지와 상기 제 2 모바일 디바이스에서 획득한 시야 이미지를 비교하여, 오차 보정을 줄일 수 있다.Also, the position and field of view tracking unit may reduce error correction by comparing the field of view image stored in the database with the field of view image obtained from the second mobile device.

본 발명의 실시예에 따른 증강 현실 객체 인식 시스템 및 방법은 마커리스 방법을 통해 발전 설비 부품들에 대한 위치 및 시야 이미지로서 데이터베이스를 구성하고, 작업자의 모바일 디바이스에서 입려된 위치 및 시야 이미지와 비교하여 작업자의 현재 위치에서의 설비 부품에 대한 파악을 용이하게 수행할 수 있다.Augmented reality object recognition system and method according to an embodiment of the present invention configures a database as position and view images for power generation equipment parts through a markerless method, and compares it with the position and view images applied on the operator's mobile device. It is possible to easily identify the equipment parts at the operator's current location.

도 1은 본 발명의 일 실시예에 따른 증강 현실 객체 인식 시스템의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 객체 인식 시스템의 3D 맵 생성 과정을 도시한 것이다.
도 3은 본 발명의 일 실시예에 다른 증강 현실 객체 인식 방법을 설명한 플로우차트이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 증강 현실 객체 인식 방법에서 모바일 디바이스의 포즈 추적 및 부품 설비 인식 단계를 설명하기 위한 도면이다.1 is a schematic block diagram of an augmented reality object recognition system according to an embodiment of the present invention.
2 is a diagram illustrating a 3D map generation process of the augmented reality object recognition system according to an embodiment of the present invention.
3 is a flowchart illustrating an augmented reality object recognition method according to an embodiment of the present invention.
4A and 4B are diagrams for explaining the steps of tracking poses and recognizing parts and equipment of a mobile device in the augmented reality object recognition method according to an embodiment of the present invention.

본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 도면을 참조하여 상세하게 설명하면 다음과 같다.Preferred embodiments of the present invention will be described in detail with reference to the drawings to the extent that those of ordinary skill in the art to which the present invention pertains can easily carry out the present invention.

도 1은 본 발명의 일 실시예에 따른 증강 현실 객체 인식 시스템의 개략적인 블록도이다. 도 2는 본 발명의 일 실시예에 따른 증강 현실 객체 인식 시스템의 3D 맵 생성 과정을 도시한 것이다.1 is a schematic block diagram of an augmented reality object recognition system according to an embodiment of the present invention. 2 is a diagram illustrating a 3D map generation process of the augmented reality object recognition system according to an embodiment of the present invention.

먼저, 본 발명의 일 실시예에 따른 증강 현실 객체 인식 시스템은 지도 작성부(100)와 위치 및 시야 추적부(200)에서 기존과 달리 마커리스(makerless) 방식으로 3D맵을 생성하고 객체를 인식할 수 있다. 이러한 방식은 알려진 SLAM(Simultaneous Localization and Mapping) 기술을 통해 이루어질 수 있고, 후술할 바와 같이 대상 공간과 부품 설비에 대한 포인트 클라우드를 생성하고, 생성 시 촬영됐던 이미지와 포인트 클라우드를 비교한 후 이를 상호 동기화 과정을 거쳐 사용자의 위치를 추적하는 방식을 통해 가능하다.First, the augmented reality object recognition system according to an embodiment of the present invention generates a 3D map in a markerless method and recognizes an object in the map creation unit 100 and the location and view tracking unit 200 differently from the existing ones. can do. This method can be achieved through the known Simultaneous Localization and Mapping (SLAM) technology, and as will be described later, a point cloud for the target space and parts equipment is generated, and the image taken at the time of creation is compared with the point cloud and then synchronized with each other. This is possible through a method that tracks the user's location through the process.

특히, 본 발명의 일 실시예에 따른 증강 현실 객체 인식 시스템은 오픈소스 로봇 개발 플랫폼 ROS(Robot Operating System)를 활용하여 마커리스 자동객체인식을 위한 작업자 위치 및 시야 추적 방법론을 제시한다. 작업자의 위치 및 시야 추적은 지도 작성부(100)가 모바일 디바이스로부터 데이터를 수집하는 지도 작성(Mapping) 과정과, 작성된 지도를 바탕으로 위치 및 시야 추적부(200)가 작업자의 위치를 추적하는 위치 및 시야 추적(Localization) 과정으로 구성될 수 있다.In particular, the augmented reality object recognition system according to an embodiment of the present invention uses an open source robot development platform ROS (Robot Operating System) to present a method for tracking a worker position and a field of view for automatic markerless object recognition. The location and field of view tracking of the worker is a mapping process in which the map creation unit 100 collects data from the mobile device, and the location and the field of view tracking unit 200 tracks the location of the worker based on the created map and a field of vision tracking (Localization) process.

이하에서는 본 발명의 일 실시예에 따른 증강 현실 객체 인식 시스템의 각 구성을 보다 상세하게 설명하도록 한다.Hereinafter, each configuration of the augmented reality object recognition system according to an embodiment of the present invention will be described in more detail.

도 1을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 객체 인식 시스템은 지도 작성부(100), 위치 및 시야 추적부(200) 및 데이터베이스(300)를 포함할 수 있다. 이하에서는 도 1의 각 구성들을 도 2를 함께 참조하여 설명하도록 한다.Referring to FIG. 1 , the augmented reality object recognition system according to an embodiment of the present invention may include a map preparation unit 100 , a location and view tracking unit 200 , and a database 300 . Hereinafter, each configuration of FIG. 1 will be described with reference to FIG. 2 .

본 방식을 위해, 지도 작성부(100)는 모바일 디바이스로부터 데이터를 수집하고 이를 통해 3D 맵을 생성할 수 있다. 특히, 지도 작성부(100)는 모바일 디바이스에 구성된 뎁스 카메라(110), 관성 센서(120) 및 카메라(130)를 이용할 수 있다.For this method, the map maker 100 may collect data from a mobile device and generate a 3D map through this. In particular, the map maker 100 may use the depth camera 110 , the inertial sensor 120 , and the camera 130 configured in the mobile device.

도 1 및 도 2를 참조하면, 모바일 디바이스에 구비된 뎁스 카메라(110)는 입체 영상을 제작하려고 촬영하는 장면 또는 물체의 깊이 정보를 획득하는 카메라를 의미한다. 예를 들어, 뎁스 카메라(110)는 적외선 센서에서 발생된 적외선이 물체에 반사되어 돌아오는 시간을 계산하여 물체의 깊이를 산출할 수 있다. 또한, 뎁스 카메라(110)에서 획득한 깊이 정보는 스테레오 정합 방법으로 얻은 깊이 정보보다 정확도가 높은 것으로 알려져 있다.1 and 2 , a depth camera 110 provided in a mobile device refers to a camera that acquires depth information of a scene or object to be photographed to produce a stereoscopic image. For example, the depth camera 110 may calculate the depth of the object by calculating the time it takes for infrared rays generated by the infrared sensor to be reflected by the object and return. Also, it is known that depth information obtained by the depth camera 110 has higher accuracy than depth information obtained by a stereo matching method.

관성 센서(Inertial Measurement Unit, IMU, 120)는 관성체에 작용하는 관성력을 검출하는 소자로서, 가속도, 속도, 방향, 거리 등을 제공할 수 있다. 관성 센서(120)는 모바일 디바이스의 현재 위치에 대한 정보를 제공할 수 있다.The inertial sensor (Inertial Measurement Unit, IMU, 120) is an element that detects an inertial force acting on an inertial body, and may provide acceleration, speed, direction, distance, and the like. The inertial sensor 120 may provide information on the current location of the mobile device.

한편, 카메라(130)는 모바일 디바이스의 현재 위치에서의 이미지를 촬영할 수 있다. 따라서, 3D 맵핑을 위해, 해당 위치에서의 시야를 생성할 수 있다.Meanwhile, the camera 130 may capture an image at the current location of the mobile device. Therefore, for 3D mapping, a field of view at the corresponding position can be generated.

지도 작성부(100)는 모바일 디바이스의 뎁스 카메라(110), 관성 센서(120) 및 카메라(130)로부터 데이터를 인가받고, 모바일 디바이스의 위치에서 3차원 점군 데이터(point cloud)를 수지하고, 한편으로 위치 및 시야를 데이터베이스(300)에 저장할 수 있다. 특히, 지도 작성부(100)는 뎁스 카메라(110)를 통해 획득한 뎁스 이미지를 분석하여 3차원 점군 데이터(point cloud)를 추출하고, 이를 관성 센서(120)의 위치 정보, 카메라(130)의 시야와 함께 데이터 베이스(300)에 저장할 수 있다. 따라서, 모바일 디바이스를 통해, 해당 설비에 대한 설비 부품들을 촬영하게 되면, 지도 작성부(100)에서 각 설비 부품별로 3차원 점군 데이터, 위치 및 시야를 데이터베이스(300)에 저장할 수 있다. 또한, 후술할 바와 같이 현장의 작업자 등이 모바일 디바이스를 통해 정보를 알고자 하는 부품 설비를 촬영하는 경우, 모바일 디바이스에서 획득되는 위 정보들을 데이터베이스(300)와 비교하여 매칭하고, 매칭 결과를 토대로 현장 작업자에게 해당 설비 부품의 정보를 제공할 수 있다.The map creation unit 100 receives data from the depth camera 110 , the inertial sensor 120 and the camera 130 of the mobile device, and stores 3D point cloud data at the location of the mobile device, while position and field of view may be stored in the database 300 . In particular, the map maker 100 analyzes the depth image acquired through the depth camera 110 to extract 3D point cloud data, and uses the information on the position of the inertial sensor 120 and the camera 130 . It may be stored in the database 300 together with the field of view. Accordingly, when the equipment parts for the corresponding equipment are photographed through the mobile device, the map maker 100 may store the 3D point cloud data, the location, and the field of view for each equipment part in the database 300 . In addition, as will be described later, when an on-site worker or the like takes a picture of a part facility to know information through a mobile device, the above information obtained from the mobile device is compared with the database 300 and matched, and based on the matching result, the field It is possible to provide the operator with information about the equipment parts.

위치 및 시야 추적부(200)도 역시 모바일 디바이스에 구비된 카메라(210), 관성 센서(220) 및 뎁스 카메라(230)를 활용할 수 있다. 여기서, 각 구성들은 상술한 지도 작성부(100)에서 사용된 모바일 디바이스와 동일할 수 있으나, 편의상 순서를 변경하여 도시 및 설명한다.The position and field of view tracking unit 200 may also utilize the camera 210 , the inertial sensor 220 , and the depth camera 230 provided in the mobile device. Here, each configuration may be the same as the mobile device used in the above-described map maker 100, but for convenience, the order is changed and illustrated and described.

위치 및 시야 추적부(200)는 현장의 작업자이 갖고 있는 모바일 디바이스로의 카메라(210)로부터 현재 위치의 시야를 제공받고, 데이터베이스(300)에 저장된 기존의 시야와 비교할 수 있다. The position and field of view tracking unit 200 may receive a field of view of the current position from the camera 210 of a mobile device owned by a field worker, and may compare it with an existing field of view stored in the database 300 .

또한, 위치 및 시야 추적부(200)는 관성 센서(220)로부터 현재 위치의 정보를 제공받을 수 있고, 위치 및 시야 추적부(200)는 이를 토대로 기존 데이터베이스(300)에 저장된 관성 센서(120)의 누적된 오차를 보정할 수 있다. 구체적으로, 관성 센서를 사용하는 연속적인 위치 추적은 오차가 누적되며 초기화되지 않는 특성을 갖는데, 본 발명의 경우, 현재 시야의 이미지와 데이터베이스(300)에 저장된 시야의 이미지 비교를 통해 오차를 보정할 수 있는 장점을 가질 수 있다.In addition, the position and field of view tracking unit 200 may receive information of the current position from the inertial sensor 220 , and the position and field of view tracking unit 200 uses the inertial sensor 120 stored in the existing database 300 based on this information. It is possible to correct the accumulated error of Specifically, continuous position tracking using an inertial sensor accumulates errors and is not initialized. In the present invention, the error can be corrected by comparing the image of the current field of view with the image of the field of view stored in the database 300. may have advantages.

위치 및 시야 추적부(200)는 이를 토대로, 현장의 작업자의 현재 위치 및 시야를 확인할 수 있다. 특히, 위치 및 시야 추적부(200)는 지도 작성부(100)의 지도 작성 과정에서 경로의 각 위치마다 저장된 시야 이미지와 모바일 디바이스의 현재 위치의 시야 이미지에 대해 특징점 비교(Feature Matching)를 진행하여, 초기 위치를 추정한다. 또한, 관성 센서(220) 기반으로 연속적인 위치를 추적하는 과정에서 저장된 시야 이미지와 현재의 시야 이미지와의 특징점 비교를 통해 관성 센서 기반의 위치 추적 과정에서 누적된 오차를 보정할 수 있다.The position and field of view tracking unit 200 may check the current position and field of view of a field worker based on this. In particular, the location and view tracking unit 200 performs feature matching on the view image stored for each location of the route and the view image of the current location of the mobile device in the map creation process of the map making unit 100, , to estimate the initial position. In addition, an error accumulated in the position tracking process based on the inertial sensor may be corrected by comparing the characteristic points between the stored view image and the current view image in the process of continuously tracking the position based on the inertial sensor 220 .

또한, 위치 및 시야 추적부(200)는 위치 및 시야 추적을 통해 획득한 디바이스의 위치값(x, y, z)과 방향값(Quaternion)을 시간, 모바일 디바이스의 ID, 해당 Map ID와 함께 데이터베이스(300)에 업로드하여 위치 추적 기반의 증강현실 가시화를 위한 디바이스의 위치 정보 값으로 활용할 수 있으며, 외부의 데이터베이스(300)를 공유 매체로 활용할 수 있다.In addition, the location and view tracking unit 200 stores the location values (x, y, z) and direction values (Quaternion) of the device acquired through location and view tracking in a database together with time, ID of the mobile device, and corresponding Map ID. It can be uploaded to 300 and used as a location information value of a device for location tracking-based augmented reality visualization, and an external database 300 can be used as a shared medium.

데이터베이스(300)는 앞서 설명한 것과 같이, 뎁스 카메라(110)의 , 관성 센서(120), 카메라(130)로부터 3D 점군 데이터, 위치 및 시야 이미지 데이터를 저장할 수 있다. 또한, 데이터 베이스(300)는 작업자의 모바일 디바이스를 통해 입력받은 현재의 시야 이미지와 저장된 시야 이미지의 특징점 비교를 피드백받아 관성 센서 기반의 위치 추적 과정에서 누적된 오차를 보정할 수 있다.As described above, the database 300 may store 3D point cloud data of the depth camera 110 , the inertial sensor 120 , and 3D point cloud data from the camera 130 , and position and field of view image data. In addition, the database 300 may receive feedback from a comparison between the current field of view image input through the operator's mobile device and the stored field image and feature points, and correct the accumulated error in the inertial sensor-based position tracking process.

이하에서는 본 발명의 일 실시예에 따른 증강 현실 객체 인식 방법을 설명하도록 한다.Hereinafter, an augmented reality object recognition method according to an embodiment of the present invention will be described.

도 3은 본 발명의 일 실시예에 따른 증강 현실 객체 인식 방법을 설명한 플로우차트이다. 도 4a 및 도 4b는 본 발명의 일 실시예에 따른 증강 현실 객체 인식 방법에서 모바일 디바이스의 포즈 추적 및 부품 설비 인식 단계를 설명하기 위한 도면이다. 이하에서는 도 3의 각 단계들을 도 4a 및 도 4b를 함께 참조하여 설명하도록 한다.3 is a flowchart illustrating an augmented reality object recognition method according to an embodiment of the present invention. 4A and 4B are diagrams for explaining the steps of tracking poses and recognizing parts and equipment of a mobile device in the augmented reality object recognition method according to an embodiment of the present invention. Hereinafter, each step of FIG. 3 will be described with reference to FIGS. 4A and 4B together.

도 3을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 객체 인식 방법은 부품설비의 3D 좌표 파악 단계(S1), 3D 맵에서 좌표 파악 단계(S2), 모바일 디바이스의 포즈 추적 단계(S3), 부품 설비 인식 단계(S4)를 포함할 수 있다.Referring to FIG. 3 , the augmented reality object recognition method according to an embodiment of the present invention includes a 3D coordinate identification step (S1) of parts equipment, a coordinate identification step (S2) in a 3D map, and a pose tracking step (S3) of a mobile device , it may include a component equipment recognition step (S4).

부품 설비의 3D 좌표 파악 단계(S1)에서 지도 작성부(100)는 각 부품설비의 3D 도면(Building Information Modeling, BIM) 또는 2D 도면과 현장 실측 등을 기반으로 부품설비의 실제 3차원 좌표를 파악할 수 있다. In the 3D coordinate identification step (S1) of parts equipment, the map creation unit 100 grasps the actual three-dimensional coordinates of parts equipment based on 3D drawings (Building Information Modeling, BIM) or 2D drawings of each parts equipment and on-site measurement, etc. can

3D 맵에서 좌표 파악 단계(S2)에서 지도 작성부(100)는 상술한 것처럼 ROS 측위(Localization)를 통해 제작한 3D 맵과 3D 도면의 좌표계를 일치시켜 3D 맵 내에서의 부품설비들을 의 좌표를 파악할 수 있다.In the 3D map coordinate identification step (S2), the map creation unit 100 matches the coordinate system of the 3D map with the 3D map produced through ROS localization as described above to determine the coordinates of parts and equipment in the 3D map. can figure out

또한, 모바일 디바이스의 포즈 추적 단계(S3)에서 위치 및 시야 추적부(200)는 3D 맵 내에서의 모바일 디바이스의 포즈(pose), 3차원 좌표 및 시야 각도를 추적할 수 있다. In addition, in the pose tracking step ( S3 ) of the mobile device, the position and view tracking unit 200 may track a pose, 3D coordinates, and a viewing angle of the mobile device in the 3D map.

부품 설비 인식 단계(S4)에서 위치 및 시야 추적부(200)에서 앞 단계에서 획득된 정보와 3D 맵 내의 부품설비들의 위치 정보를 이용하여 모바일 디바이스를 기준으로 한 부품설비의 상대 좌표를 구하는 방식으로 디바이스 시야 기준의 부품설비를 인식하도록 할 수 있다.In the component facility recognition step (S4), the position and view tracking unit 200 uses the information obtained in the previous step and the location information of the component facilities in the 3D map to obtain the relative coordinates of the component facilities based on the mobile device. It is possible to recognize parts and equipment based on the device field of view.

본 발명의 일 실시예에 따른 증강 현실 객체 인식 방법에서 필요한 정보는 부품 설비의 좌표 기준이 되는 모바일 디바이스의 위치, 방향 정보와 각 부품 설비의 위치 정보이며 디바이스의 위치 및 방향 정보는 위치 및 시야 추적의 과정을 통해 획득하게 된다. 또한, 추가적으로 각 부품 설비의 위치 정보를 획득하는 작업을 진행할 수 있다.The information required in the augmented reality object recognition method according to an embodiment of the present invention is the location and direction information of the mobile device, which is the coordinate reference of the parts equipment, and the location information of each part equipment, and the location and direction information of the device is the location and view tracking obtained through the process of In addition, it is possible to proceed with the operation of additionally acquiring the location information of each part and equipment.

모바일 디바이스는 도 4a에서 도시된 바와 같이 고유의 좌표축(x, y ,z)을 가지고 있으며 고유의 좌표축은 모바일 디바이스의 방향(시야)에 맞춰 축이 달라지기 때문에 모바일 디바이스를 기준으로 각 부품 설비의 상대적인 위치, 방향 추적을 해야 한다. 또한, 이후 위치 및 시야 추적 작업을 통해 획득한 모바일 디바이스의 위치와 방향을 기준으로 각 부품설비의 상대적인 위치를 추적하여 모바일 디바이스의 좌표축을 기준으로 하는 각 부품설비의 위치 정보 값을 획득할 수 있다.The mobile device has its own coordinate axes (x, y, z) as shown in FIG. 4A, and since the unique coordinate axis changes according to the direction (field of view) of the mobile device, the Relative position and orientation should be tracked. In addition, by tracking the relative position of each component facility based on the location and direction of the mobile device obtained through the subsequent location and field of view tracking operation, the position information value of each component facility based on the coordinate axis of the mobile device can be obtained. .

또한, 위치 및 시야 추적부(200)는 모바일 디바이스의 좌표축을 기준으로 각 부품설비의 위치값(x, y, z), 방향값(Quaternion)을 시간, 해당 부품 설비의 ID 그리고 맵 ID와 함께 데이터베이스(300)에 업로드하여 도 4b에서와 같이 위치 추적 기반의 증강현실 가시화를 위한 위치 정보 값으로 활용할 수 있다.In addition, the location and view tracking unit 200 is based on the coordinate axis of the mobile device, the location value (x, y, z), the direction value (Quaternion) of each component facility with time, the ID of the corresponding component facility, and the map ID It can be uploaded to the database 300 and used as a location information value for location tracking-based augmented reality visualization as shown in FIG. 4B .

이 때, 데이터베이스(300)에 업로드 된 부품 설비의 상대적 위치 정보를 기반으로 증강현실 디스플레이 디바이스가 증강현실 모델을 가시화하고 데이터베이스(300)에 있는 위치 정보와의 주기적인 동기화를 통해 모델을 추적하여 증강현실 가시화 단계를 진행하는 것도 가능하다.At this time, the augmented reality display device visualizes the augmented reality model based on the relative position information of parts and equipment uploaded to the database 300 and tracks the model through periodic synchronization with the position information in the database 300 and augments it. It is also possible to proceed with the reality visualization phase.

이상에서 설명한 것은 본 발명에 의한 발전 설비용 증강 현실 객체 인식 시스템 및 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing the augmented reality object recognition system and method for power generation equipment according to the present invention, and the present invention is not limited to the above embodiment, but as claimed in the claims below. Likewise, without departing from the gist of the present invention, it will be said that the technical spirit of the present invention exists to the extent that various modifications can be made by anyone with ordinary knowledge in the field to which the invention pertains.

Claims (10)

발전 설비용 증강 현실 객체 인식 시스템에 있어서,
제 1 모바일 디바이스로부터 적어도 하나의 부품 설비의 위치 및 시야 이미지를 입력받는 지도 작성부;
제 2 모바일 디바이스로부터 작업자의 위치 및 시야 이미지를 입력받는 위치 및 시야 추적부; 및
상기 지도 작성부로부터 부품 설비에 대한 위치 및 시야 이미지를 저장하는 데이터베이스를 포함하고,
상기 위치 및 시야 추적부는 상기 데이터베이스에 저장된 지도 작성부의 시야 이미지와 상기 위치 및 시야 추적부에서 확보한 시야 이미지를 비교하여, 작업자의 위치에 있는 부품 설비를 판단하는 증강 현실 객체 인식 시스템.In the augmented reality object recognition system for power generation equipment,
a map creation unit receiving an image of a location and a field of view of at least one component equipment from the first mobile device;
a position and field of view tracking unit receiving an image of the operator's position and field of view from the second mobile device; and
Includes a database for storing the location and view images for parts and equipment from the map making unit,
The augmented reality object recognition system for determining the parts and equipment in the position of the operator by comparing the position and view tracking unit with the view image of the map maker stored in the database and the view image secured from the position and view tracking unit. 제 1 항에 있어서,
상기 지도 작성부는 3D 맵과 상기 부품 설비의 3D 도면의 좌표계를 일치시켜서 상기 3D 맵 내에서의 부품 설비들의 좌표를 파악하고, 상기 데이터베이스에 저장하는 증강 현실 객체 인식 시스템.The method of claim 1,
The augmented reality object recognition system for the map creation unit to match the coordinate system of the 3D map and the 3D drawing of the parts and equipment to determine the coordinates of the parts in the 3D map, and store the coordinates in the database. 제 1 항에 있어서,
상기 지도 저장부는 상기 제 1 모바일 디바이스의 고유한 좌표축을 기준으로 상기 부품 설비의 상대적인 위치 및 시야 이미지를 획득하여 상기 데이터베이스에 저장하는 증강 현실 객체 인식 시스템.The method of claim 1,
The map storage unit acquires the relative position and view image of the parts and equipment based on the unique coordinate axis of the first mobile device and stores the image in the database. 제 1 항에 있어서,
상기 위치 및 시야 추적부는 상기 제 2 모바일 디바이스의 좌표값, 방향값을 상기 데이터베이스에 업로드하여, 상기 제 2 모바일 디바이스의 현재 위치와 부품 설비를 파악하는 증강 현실 객체 인식 시스템.The method of claim 1,
The augmented reality object recognition system that the position and view tracking unit uploads the coordinate values and direction values of the second mobile device to the database to identify the current position and parts facilities of the second mobile device. 제 1 항에 있어서,
상기 위치 및 시야 추적부는 상기 데이터베이스에 저장된 시야 이미지와 상기 제 2 모바일 디바이스에서 획득한 시야 이미지를 비교하여, 오차 보정을 줄이는 증강 현실 객체 인식 시스템.The method of claim 1,
The augmented reality object recognition system for reducing error correction by comparing the position and view tracking unit with the view image stored in the database with the view image obtained from the second mobile device. 발전 설비용 증강 현실 객체 인식 방법에 있어서,
지도 작성부가 제 1 모바일 디바이스로부터 적어도 하나의 부품 설비의 위치 및 시야 이미ㅌ지를 입력받는 단계;
데이터베이스가 상기 지도 작성부로부터 부품 설비에 대한 위치 및 시야 이미지를 저장하는 단계;
위치 및 시야 추적부가 제 2 모바일 디바이스로부터 작업자의 위치 및 시야 이미지를 입력받는 단계; 및
상기 위치 및 시야 추적부가 상기 데이터베이스에 저장된 지도 작성부의 시야 이미지와 상기 위치 및 시야 추적부에서 확보한 시야 이미지를 비교하여, 작업자의 위치에 있는 부품 설비를 판단하는 단계를 포함하는 증강 현실 객체 인식 방법.In the augmented reality object recognition method for power generation equipment,
receiving, by the map maker, a position and a field of view image of at least one component equipment from the first mobile device;
storing, by a database, a location and field of view image for parts and equipment from the map making unit;
A step of receiving a position and field of vision tracking unit position and field of view image of the operator from the second mobile device; and
Augmented reality object recognition method comprising the step of determining, by the position and field of vision tracking unit, the field of vision image of the map creation unit stored in the database and the field of view image secured by the position and field of tracking unit, to determine the parts and equipment at the position of the operator . 제 6 항에 있어서,
상기 지도 작성부는 3D 맵과 상기 부품 설비의 3D 도면의 좌표계를 일치시켜서 상기 3D 맵 내에서의 부품 설비들의 좌표를 파악하고, 상기 데이터베이스에 저장하는 증강 현실 객체 인식 방법.7. The method of claim 6,
The augmented reality object recognition method for the map creation unit to match the coordinate system of the 3D map and the 3D drawing of the parts and equipment to identify the coordinates of the parts in the 3D map, and store the coordinates in the database. 제 6 항에 있어서,
상기 지도 저장부는 상기 제 1 모바일 디바이스의 고유한 좌표축을 기준으로 상기 부품 설비의 상대적인 위치 및 시야 이미지를 획득하여 상기 데이터베이스에 저장하는 증강 현실 객체 인식 방법.7. The method of claim 6,
The augmented reality object recognition method for the map storage unit to acquire the relative position and view image of the parts and equipment based on the unique coordinate axis of the first mobile device and store the image in the database. 제 6 항에 있어서,
상기 위치 및 시야 추적부는 상기 제 2 모바일 디바이스의 좌표값, 방향값을 상기 데이터베이스에 업로드하여, 상기 제 2 모바일 디바이스의 현재 위치와 부품 설비를 파악하는 증강 현실 객체 인식 방법.7. The method of claim 6,
The augmented reality object recognition method, wherein the position and view tracking unit uploads the coordinate values and direction values of the second mobile device to the database, and identifies the current position and parts facilities of the second mobile device. 제 6 항에 있어서,
상기 위치 및 시야 추적부는 상기 데이터베이스에 저장된 시야 이미지와 상기 제 2 모바일 디바이스에서 획득한 시야 이미지를 비교하여, 오차 보정을 줄이는 증강 현실 객체 인식 방법.7. The method of claim 6,
The augmented reality object recognition method for reducing error correction by comparing the position and view tracking unit with the view image stored in the database with the view image obtained from the second mobile device.
KR1020190177145A 2019-12-27 2019-12-27 Augmented Reality Object Recognition System And Method For Power Generating Facility Active KR102273993B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190177145A KR102273993B1 (en) 2019-12-27 2019-12-27 Augmented Reality Object Recognition System And Method For Power Generating Facility

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190177145A KR102273993B1 (en) 2019-12-27 2019-12-27 Augmented Reality Object Recognition System And Method For Power Generating Facility

Publications (2)

Publication Number Publication Date
KR20210084141A true KR20210084141A (en) 2021-07-07
KR102273993B1 KR102273993B1 (en) 2021-07-29

Family

ID=76862496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190177145A Active KR102273993B1 (en) 2019-12-27 2019-12-27 Augmented Reality Object Recognition System And Method For Power Generating Facility

Country Status (1)

Country Link
KR (1) KR102273993B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439768A (en) * 2022-09-01 2022-12-06 广西电网有限责任公司 Computer room AR positioning correction system and method and medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150063703A (en) * 2013-12-02 2015-06-10 에스티엑스조선해양 주식회사 A Method for Block Inspection of a Vessel Using Augmented Reality Technology
KR20170126843A (en) * 2017-11-13 2017-11-20 현대자동차주식회사 Wearable device and apparatus for vehicles diagnosis having the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150063703A (en) * 2013-12-02 2015-06-10 에스티엑스조선해양 주식회사 A Method for Block Inspection of a Vessel Using Augmented Reality Technology
KR20170126843A (en) * 2017-11-13 2017-11-20 현대자동차주식회사 Wearable device and apparatus for vehicles diagnosis having the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439768A (en) * 2022-09-01 2022-12-06 广西电网有限责任公司 Computer room AR positioning correction system and method and medium

Also Published As

Publication number Publication date
KR102273993B1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US11127203B2 (en) Leveraging crowdsourced data for localization and mapping within an environment
US9953461B2 (en) Navigation system applying augmented reality
Goncalves et al. A visual front-end for simultaneous localization and mapping
Chai et al. Three-dimensional motion and structure estimation using inertial sensors and computer vision for augmented reality
US10197399B2 (en) Method for localizing a robot in a localization plane
Dorfmüller-Ulhaas Robust optical user motion tracking using a kalman filter
Hübner et al. Marker-based localization of the microsoft hololens in building models
JP2014529727A (en) Automatic scene calibration
WO2014048590A1 (en) Image processing method, particularly used in a vision-based localization of a device
CA2835306A1 (en) Sensor positioning for 3d scanning
US10838515B1 (en) Tracking using controller cameras
EP2851868A1 (en) 3D Reconstruction
Gourlay et al. Head‐Mounted‐Display tracking for augmented and virtual reality
JP6229041B2 (en) Method for estimating the angular deviation of a moving element relative to a reference direction
KR102075844B1 (en) Localization system merging results of multi-modal sensor based positioning and method thereof
Brunetto et al. Fusion of inertial and visual measurements for rgb-d slam on mobile devices
US20180350216A1 (en) Generating Representations of Interior Space
Huai et al. Real-time large scale 3D reconstruction by fusing Kinect and IMU data
KR102273993B1 (en) Augmented Reality Object Recognition System And Method For Power Generating Facility
CN109032330B (en) AR system, AR device and method for establishing and seamlessly bridging reference states thereof
US8717579B2 (en) Distance measuring device using a method of spanning separately targeted endpoints
JP2021164135A (en) Video management support system and video management support method
Voges et al. Finding timestamp offsets for a multi-sensor system using sensor observations
EP4332631A1 (en) Global optimization methods for mobile coordinate scanners
Li et al. A combined vision-inertial fusion approach for 6-DoF object pose estimation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191227

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201125

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210602

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210701

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210701

End annual number: 3

Start annual number: 1

PG1501 Laying open of application
PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240626

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250701

Start annual number: 5

End annual number: 5