[go: up one dir, main page]

KR102583945B1 - 투명 물체 인식 자율 주행 서비스 로봇 수단 - Google Patents

투명 물체 인식 자율 주행 서비스 로봇 수단 Download PDF

Info

Publication number
KR102583945B1
KR102583945B1 KR1020210125307A KR20210125307A KR102583945B1 KR 102583945 B1 KR102583945 B1 KR 102583945B1 KR 1020210125307 A KR1020210125307 A KR 1020210125307A KR 20210125307 A KR20210125307 A KR 20210125307A KR 102583945 B1 KR102583945 B1 KR 102583945B1
Authority
KR
South Korea
Prior art keywords
information
driving
service robot
robot
slam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210125307A
Other languages
English (en)
Other versions
KR20230041547A (ko
Inventor
정호정
Original Assignee
주식회사 알지티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알지티 filed Critical 주식회사 알지티
Priority to KR1020210125307A priority Critical patent/KR102583945B1/ko
Priority to PCT/KR2022/012690 priority patent/WO2023043079A1/ko
Priority to US18/685,427 priority patent/US20240353853A1/en
Publication of KR20230041547A publication Critical patent/KR20230041547A/ko
Application granted granted Critical
Publication of KR102583945B1 publication Critical patent/KR102583945B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/242—Means based on the reflection of waves generated by the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/667—Delivering or retrieving payloads
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/20—Details of software or hardware architectures used for the control of position using external object recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/20—Specific applications of the controlled vehicles for transportation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/80—Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/87—Specific applications of the controlled vehicles for information gathering, e.g. for academic research for exploration, e.g. mapping of an area
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/40—Indoor domestic environment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/60—Open buildings, e.g. offices, hospitals, shopping areas or universities
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G05D2111/17—Coherent light, e.g. laser signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은, 투명 물체를 인식하고, 이의 정보를 주행 정보에 반영하여, 자율 주행하는 서비스 로봇 수단에 관한 것이다.
또한, 다양한 목적으로, 다양한 장소 내부에서 자율 주행하는 서비스 로봇 수단이, 투명 물체를 인식, 정의할 수 있도록 하는 시스템에 관한 것이다.
상세하게는,
투명 물체 인식 자율 주행 서비스 로봇 수단(2)에 있어서,
정해진 실내 공간을 특정 경로 및 특정 신호에 따라 이동, 주행하여, 서비스하는 자율주행서비스로봇(1); 및 상기 자율주행서비스로봇(1)의 지도 작성 시, 정해진 실내 공간 내에 위치하는 투명 물체를 인식, 정의하고, 자율주행서비스로봇(1)의 이동, 주행에 있어 인식, 정의된 투명 물체에 대한 정보를 반영하여, 투명 물체로 인한 자율주행서비스로봇(1)의 이동, 주행의 오류를 방지할 수 있도록 하는 투명물체정의루프작성부(300);로 구성되되,
투명물체정의루프작성부(300)에 의해 작성되는 투명 물체의 인식, 정의는,
자율주행서비스로봇(1)에 형성된 주변환경정보획득센싱수단(140)으로부터 획득되는 센싱 정보를 바탕으로, 가공되어, 투명 물체에 대한 정보가 인식, 정의되는 것을 특징으로 한다.
이로 인해, 본 발명은, 자율주행서비스로봇(1)이 특정 실내 공간 정보에 대한 지도 작성 시, 투명 물체 정보를 인식, 정의할 수 있도록 함으로서, 불투명한 물체와, 투명한 물체의 정보 및 위치, 관계를 정립, 투명 물체로 인해 발생할 수 있는 주행 오류를 미연에 방지하여, 자율주행서비스로봇(1)의 보다 안전하고, 안정적인 최적의 경로 정보의 생성은 물론, 장애물의 인식, 회피에 대한 능력이 극대화되도록 한다는 이점이 있다.

Description

투명 물체 인식 자율 주행 서비스 로봇 수단{Self-driving service robot of recognizing transparent objects}
본 발명은, 투명 물체 인식 자율 주행 서비스 로봇 수단에 관한 것으로서, 더욱 상세하게는, 다양한 목적에 의해 운영되는 자율 주행 서비스 로봇의 SLAM(simultaneous localization map-building) 작성 시, 투명 물체에 대한 정보를 인식, 정의하여, 투명 물체에 대한 정보가 고려된 정확한 지도가 작성되도록 함으로서, 자율 주행 서비스 로봇이 투명 물체를 인식, 판단의 오류 없이, 안전하고, 안정적인 서비스를 위한 자율 주행이 이루어지도록 하는 투명 물체 인식 자율 주행 서비스 로봇 수단에 관한 것이다.
최근 대두되는 서비스 응대 문제는 물론, 주 52시간 근무제 도입, 최저 임금 인상, 이로 인한 인건비의 부담 등이 진행됨에 따라, 음식점과 같은 서비스를 제공하는 서비스 산업분야에서, 종업원을 고용하지 않는 무인화 서비스 시장이 빠르게 확장되고 있다.
특히, 주문과 결제를 무인으로 제공하는 무인 종합정보 안내 시스템인 키오스크(kiosk)가 서비스 산업분야에서 활발하게 활용되고 있으나,
조리나 가공을 통해 완성된 요리나 음료 등의 음식을 제공하는 서비스의 경우에는 무인화 기술의 개발이 미비한 실정이다.
이러한 기술 개발의 미비함으로, 현재, 우리나라는, 서비스 로봇에 대한 수요를, 서비스 로봇을 수입하여 판매 또는 임대하는 사업으로 충족되고 있다.
그러나, 이렇게 수입되는 서비스 로봇이 다소 비싸, 도입 경제성과 생산성 측면에서도 하나의 서비스 기능 로봇은 외식업체의 부담이 되고 있다.
따라서, 기업들이 미래형, 무인 음식점 등의 새로운 형태의 음식점을 고려하는 시점에, 저렴하고 기능이 우수한 국내 개발 제품이 절실하다.
또한, 현재의 서비스 로봇은, 실내 주행을 위해 천장에 실내 위치 인식용 마커가 필요하다.
즉, 서비스 로봇을 활용하기 위해서는, 반드시 실내 위치 인식용 마커가 필요하므로, 실내 천장의 리모델링 공사(工事)가 동반되어야 한다는 문제점이 있다.
또한, 종래의 서비스 로봇의 대부분은 투명 물체를 인식하지 못해, 주행의 오류 및 부자연스러운 주행으로, 경로 이탈 및 이로 인한 안전사고가 발생할 우려가 있으며, 투명 물체를 인식할 수 있는 서비스 로봇이라 하더라도, 고가(高價)의 장비로 구성되어야 하므로, 쉽게 이를 활용하지 못하고 있다.
본 발명은,
마커 없이, 고가(高價)의 장비를 구성하지 않아도, 음식점, 커피숍, 패스트푸드, 패밀리 레스토랑, 스페셜 레스토랑 등, 외식 및 요식업체는 물론, 박물관, 백화점, 공공기관 등 다양한 서비스가 필요한 산업분야에서 종업원 및 안내원을 대신해 고객의 니즈(needs)를 충족시킬 수 있는 서비스 로봇 개발과, 투명 물체를 인식하여, 투명 물체에 대한 정보가 고려된 주행 경로로 서비스 로봇이 자율 주행할 수 있도록 하는 서비스 로봇을 제공하고자 한다.
이에, 투명 물체 인식 자율 주행 서비스 로봇 수단에 관한 선행기술로서,
도 16의 (a)에 도시된 바와 같이, 대한민국 공개특허공보 제10-2019-0106910호의 "이동 로봇과 그의 제어 방법"(이하, '선행기술 1'이라 함.)은,
이동 로봇이 소정 서비스 요청을 포함하는 사용자 입력을 수신하는 단계, 상기 이동 로봇이 서빙될 물품을 수령하는 단계, 상기 이동 로봇이 사용자를 탐색하고 사용자 제스처를 분석하여 서빙 위치를 추출하는 단계, 상기 서빙 위치의 영상을 분석하여 상기 서빙 위치의 거리 및 높이를 추출하는 단계, 상기 서빙 위치로 이동하고, 상기 서빙될 물품을 상기 서빙 위치의 높이까지 올리는 단계, 및 상기 서빙 위치까지 상기 서빙될 물품을 수평 이동하여 상기 서빙 위치 위에 상기 서빙될 물품을 내려놓는 단계를 포함하는 이동 로봇의 제어 방법을 제공하는, 이동 로봇과 그의 제어 방법에 관한 것이다.
또 다른 선행기술로는,
도 16의 (b)에 도시된 바와 같이, 대한민국 공개특허공보 제10-2019-0092337호의 "서빙 로봇 및 그를 이용한 고객 접대 방법"(이하, '선행기술 2'라 함.)으로,
음식과 관련된 고객의 표정 및 제스쳐 중 적어도 하나를 포함하는 이미지 데이터를 획득하는 카메라, 상기 음식과 관련된 고객의 음성을 포함하는 음성 데이터를 획득하는 마이크로폰, 및 상기 카메라와 상기 마이크로폰 중 적어도 하나를 통해, 상기 이미지 데이터와 상기 음성 데이터 중 적어도 하나를 포함하는 고객 반응 데이터를 획득하고, 획득된 고객 반응 데이터로부터 상기 음식에 대한 상기 고객의 반응을 추정하고, 추정된 반응에 기초하여 상기 고객에 대응하는 고객 관리 정보를 생성 또는 업데이트하는 프로세서를 포함하여, 인공지능 기반의 학습 모델을 통해 상기 고객 반응 데이터로부터 고객의 반응을 추정할 수 있는, 서빙 로봇 및 그를 이용한 고객 접대 방법에 관한 것이다.
살펴본 바와 같이, 상기 선행기술 1 내지 선행기술 2는, 현장에서 고객을 응대하는 서빙 로봇에 관한 기술로, 본 발명과 기술분야가 유사하지만, 발명의 기술적 특징이 상이하다.
즉, 선행기술 1은,
사용자가 서빙 물품을 인출하지 않고, 사용자가 원하는 위치에서 서빙 로봇이 수용하고 있는 서빙 물품을 직접 인출하여 사용자에게 제공할 수 있도록 하는 이동 로봇에 대한 기술이며,
선행기술 2는,
서빙 로봇이 카메라나 마이크로폰 등을 이용하여 획득된 고객 반응 데이터로부터 고객의 반응(음식 관련 고객 표정 및 제스처)을 추정하여 해당 고객에 대한 관리 정보를 업데이트함으로서, 매장을 이용하는 고객의 취향 등을 용이하게 파악하여 관리할 수 있도록 하는 서빙 로봇에 대한 기술이다.
따라서, 본 발명과는,
발명이 해결하고자 하는 과제, 이를 해결하기 위한 수단, 이를 해결함으로서 발휘되는 효과가 상이하다.
그러므로, 상기 선행기술 1 내지 선행기술 2를 포함한 종래의 서비스 로봇과 관련된 기술과는 다른, 본 발명만의 발명의 해결하고자 하는 과제(발명의 목적), 이를 해결하기 위한 해결수단(구성요소) 및 이를 해결함으로서 발휘되는 효과를 기반으로, 그 기술적 특징을 꾀하고자 한다.
(문헌 01) 대한민국 공개특허공보 제10-2019-0106910호 (2019.09.18. 공개) (문헌 02) 대한민국 공개특허공보 제10-2019-0092337호 (2019.08.07. 공개)
이에, 본 발명은 상기 전술한 종래의 문제점을 해결하기 위하여 안출된 것으로서,
다양한 목적으로 다양한 특정 실내 장소에서 운영되는 자율 주행 서비스 로봇의 SLAM(simultaneous localization map-building) 작성 시, 투명 물체를 인식, 정의하여, 정의된 투명 물체에 대한 정보가 포함된 정확한 지도가 작성되도록 하는, 자율 주행 서비스 로봇 수단을 제공하는 데 목적이 있다.
본 발명의 또 다른 목적은,
자율 주행 서비스 로봇이 투명 물체를 인식, 정의함에 있어, 고가(高價)의 센서를 활용하지 않고, 라이다 센서 중의 하나인 2D-Lidar와, 카메라 센서 중의 하나인 RGB-D만을 이용하여, 투명 물체를 인식, 정의할 수 있도록 함으로서, 자율 주행 서비스 로봇의 용이한 양산화 및 관리, 가격 경쟁의 우위의 효과가 극대화되는 자율 주행 서비스 로봇 수단을 제공하는 데에 그 목적이 있다.
상기 목적을 이루기 위한 본 발명은 해결하고자 하는 과제를 달성하기 위해 안출된 것으로서,
투명 물체 인식 자율 주행 서비스 로봇 수단에 있어서,
정해진 실내 공간을 특정 경로 및 특정 신호에 따라 이동, 주행하여, 서비스하는 자율주행서비스로봇;
상기 자율주행서비스로봇의 지도 작성 시, 정해진 실내 공간 내에 위치하는 투명 물체를 인식, 정의하고, 자율주행서비스로봇의 이동, 주행에 있어 인식, 정의된 투명 물체에 대한 정보를 반영하여, 투명 물체로 인한 자율주행서비스로봇의 이동, 주행의 오류를 방지할 수 있도록 하는 투명물체정의루프작성부;로 구성되되,
투명물체정의루프작성부에 의해 작성되는 투명 물체의 인식, 정의는,
자율주행서비스로봇에 형성된 주변환경정보획득센싱수단으로부터 획득되는 센싱 정보를 바탕으로, 가공되어, 투명 물체에 대한 정보가 인식, 정의되는 것을 특징으로 한다.
이때, 투명물체정의루프작성부는,
주변환경정보획득센싱수단으로부터 획득될 수 있는 라이다, 레이더, 초음파, 카메라, 적외선 센서 정보 중, 어느 하나 이상의 정보의 조합으로,
지도 작성 시, 투명 물체를 인식, 정의할 수 있도록 하고,
더욱 구체적으로는,
주변환경정보획득센싱수단으로부터 획득될 수 있는 2D-Lidar와, RGB-D 센서 정보 중, 어느 하나 이상의 정보의 조합으로,
지도 작성 시, 투명 물체를 인식, 정의할 수 있도록 하는 것을 특징으로 한다.
또한, 투명물체정의루프작성부는,
지도 작성을 위한 정보를 수집하는 투명물체인식SLAM작성정보준비모듈;
불투명 물체로부터 획득되는 포인트클라우드 정보를 바탕으로, 공간 분석, 맵핑하여, 불투명 물체와 투명 물체를 인식, 정의하는 투명물체인식SLAM작성확정모듈;
공간 분석, 맵핑을 위한 새로운 정보의 유무(有無)를 확인, 점검하는 투명물체인식SLAM작성완료모듈;로 구성되어,
자율주행서비스로봇에 의한 지도 작성 시, 투명 물체와, 불투명 물체가 구분, 정의되고, 이가 적용된 특정 실내 공간에 대한 완벽한 지도가 작성되도록 하는 것을 특징으로 한다.
한편, 이에 앞서 본 명세서는 특허등록청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이상의 구성 및 작용에서 상기 설명한 바와 같이, 본 발명에 따르면,
1. 특정 실내 공간을, 특정 신호 및 경로 정보를 바탕으로, 자율 주행하는 서비스 로봇이 투명 물체를 인식하여, 안전하고, 안정적인 주행이 이루어지도록 한다.
2. 고가(高價)의 센서를 활용하지 않고도, 자율 주행 서비스 로봇으로부터 획득되는 센싱 정보를 바탕으로, 이를 가공하여, 투명 물체를 완벽하게 인식, 정의할 수 있는 자율 주행 서비스 로봇을 제공할 수 있다.
즉, 라이다 센서 중의 하나인 2D-Lidar와, 카메라 센서 중의 하나인 RGB-D만으로부터 센싱되는 정보를 바탕으로, 자율 주행 서비스 로봇이 투명 물체를 완벽하게 인식, 정의하여, 지도 작성 시, 이에 대한 정보를 반영, 투명 물체가 위치한 특정 공간에 대한 지도가 완벽하게 작성되도록 한다.
3. 자율 주행 서비스 로봇이 불투명 물체와 투명 물체를 분별할 수 있으므로, 이의 정보가 반영된 특정 실내 공간에 대한 최적 경로를 생성할 수 있도록 한다.
4. 자율 주행 서비스 로봇의 장애물 인식 및 회피 능력이 극대화되도록 한다.
즉, 본 발명은,
상술한 바와 같이, 투명 물체를 인식, 정의하여, 서비스 로봇의 자율 주행 시, 투명 물체의 존재로 인한 주행 판단 오류 및 부자연스러운 동작 없이, 완벽하게 투명 물체의 존재를 고려한 완벽한 주행이 이루어지도록 하는 매우 효과적인 발명이라 하겠다.
도 1은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단에 대한 개념도를 나타낸 것이다.
도 2는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단에 대한 구성도를 나타낸 것이다.
도 3은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇에 대한 개념도를 나타낸 것이다.
도 4는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇에 대한 제 1실시 예를 나타낸 것이다.
도 5는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇에 대한 제 2실시 예를 나타낸 것이다.
도 6은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 로봇몸체시스템에 대한 개념도를 간략하게 나타낸 것이다.((a)는, H/W 배열 및 S/W stack에 대한 개념도이고, (b)는, guidance, navigation, control에 대한 개념도이다.)
도 7은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇의 작동 순서도를 간략하게 나타낸 것이다.
도 8은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 로봇제어수단에 대한 블록도를 간략하게 나타낸 것이다.
도 9는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 로봇몸체시스템과 로봇기능탈착모듈의 결합 실시 예를 나타낸 것이다.
도 10은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇의 또 다른 실시 예를 나타낸 것이다.(서빙로봇도킹스테이션시스템(S)이 적용된 개념도이다.)
도 11은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부에 대한 블록도 및 순서도를 간략하게 나타낸 것이다.
도 12는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부의 전체적인 순서도를 나타낸 것이다.
도 13은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부의 투명물체인식SLAM작성정보준비모듈에 대한 순서도를 보다 상세히 나타낸 것이다.
도 14는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부의 투명물체인식SLAM작성확정모듈에 대한 순서도를 보다 상세히 나타낸 것이다.
도 15는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부의 투명물체인식SLAM작성완료모듈에 대한 순서도를 보다 상세히 나타낸 것이다.
도 16은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단에 대한 선행기술의 대표도를 나타낸 것이다.
이하, 첨부된 도면을 참조하여, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단(2)에 대한 기능, 구성 및 작용을 상세히 설명하기로 한다.
도 1은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단에 대한 개념도를 나타낸 것이며, 도 2는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단에 대한 구성도를, 도 3은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇에 대한 개념도를, 도 4는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇에 대한 제 1실시 예를, 도 5는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇에 대한 제 2실시 예를, 도 6은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 로봇몸체시스템에 대한 개념도를, 도 7은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇의 작동 순서도를, 도 8은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 로봇제어수단에 대한 블록도를, 도 9는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 로봇몸체시스템과 로봇기능탈착모듈의 결합 실시 예를, 도 10은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇의 또 다른 실시 예를, 도 11은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부에 대한 블록도 및 순서도를, 도 12는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부의 전체적인 순서도를, 도 13은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부의 투명물체인식SLAM작성정보준비모듈에 대한 순서도를, 도 14는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부의 투명물체인식SLAM작성확정모듈에 대한 순서도를, 도 15는, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 투명물체정의루프작성부의 투명물체인식SLAM작성완료모듈에 대한 순서도를 보다 상세히 나타낸 것이다.
도 1 내지 도 15에 도시된 바와 같이, 본 발명은,
투명 물체 인식 자율 주행 서비스 로봇 수단(2)에 있어서,
정해진 실내 공간을 특정 경로 및 특정 신호에 따라 이동, 주행하여, 서비스하는 자율주행서비스로봇(1);
상기 자율주행서비스로봇수단(1)에 의해 지도 작성 시, 정해진 실내 공간 내에 위치하는 투명 물체를 인식, 정의하고, 자율주행서비스로봇(1)의 이동, 주행에 있어 인식, 정의된 투명 물체에 대한 정보를 반영하여, 투명 물체로 인한 자율주행서비스로봇수단(1)의 이동, 주행의 오류를 방지할 수 있도록 하는 투명물체정의루프작성부(300);로 구성되되,
투명물체정의루프작성부(300)에 의해 작성되는 투명 물체의 인식, 정의는,
자율주행서비스로봇(1)에 형성된 주변환경정보획득센싱부(140)를 이용하여, 투명 물체에 대한 정보가 인식, 정의되는 것을 특징으로 한다.
즉, 본 발명은,
자율주행서비스로봇(1)에 의한 특정 실내 공간 지도 작성 시, 투명물체정의루프작성부(300)로 인해, 투명 물체와 불투명 물체가 구분된 지도를 작성할 수 있도록 함으로서, 특정 실내 공간을 주행하는 자율주행서비스로봇(1)이 투명 물체와 불투명 물체를 식별할 수 있도록 하는, 투명 물체 인식 자율 주행 서비스 로봇 수단(2)에 대한 것이다.
도 1 내지 도 10을 참조하여, 본 발명의 자율주행서비스로봇(1)을 좀 더 구체적으로 살펴보면,
자율주행서비스로봇(1) 은,
실시 예로, 서빙로봇으로 설명하면,
정해진 실내 공간을 특정 경로 및 특정 신호에 따라 이동, 주행할 수 있도록 하는 동력원수단(110), 상부, 하부 중, 어느 하나 이상에 로봇의 기능을 추가, 장착할 수 있는 추가기능모듈장착수단(120), 특정 경로 및 특정 신호와, 추가기능모듈장착수단(120)에 장착되는 로봇의 기능에 따라 동력원수단(110)을 제어하는 로봇제어수단(130)으로 형성되는 로봇몸체시스템(100);
상기 로봇몸체시스템(100)의 추가기능모듈장착수단(120)에 장착, 분리되어, 로봇에 기능을 추가하거나, 변환시켜, 관리자가 상황에 맞게 로봇을 활용할 수 있도록 하는 로봇기능탈착모듈(200);로 구성되어,
서빙은 물론, 관리자가 상황에 맞게 로봇기능탈착모듈(200)을 이용하여, 용이하게 서빙과 함께 활성화될 수 있는 기능을 추가하거나, 필요에 따라 별도의 다른 기능의 로봇으로 변환시켜 활용되도록 함으로서,
서빙로봇의 활용성 및 효용성을 극대화시킬 수 있다.
즉, 자율주행서비스로봇(1)은,
서빙로봇의 기본 기능인 서빙 기능을 기본으로, 서빙로봇의 일측(추가기능모듈장착수단(120))에 다양한 고유 기능이 탑재된 독립식 모듈을 장착, 분리하여, 서빙 기능 이외에, 장착된 독립식 모듈의 고유 기능이 활성화되도록 함으로서, 복합적인 기능을 할 수 있도록 한다.
보다 구체적으로는,
로봇몸체시스템(100)은, 상술한 바와 같이,
서빙 기능을 할 수 있도록 형성된 서빙로봇하우징(H);
상기 서빙로봇하우징(H)의 하부에 위치, 형성되어, 정해진 실내 공간을 특정 경로 및 특정 신호에 따라 이동, 주행할 수 있도록 하는 동력원수단(110);
상기 서빙로봇하우징(H)의 상부, 하부 중, 어느 하나 이상에 로봇의 기능을 추가, 장착할 수 있도록 하는 추가기능모듈장착수단(120);
특정 경로 및 특정 신호와, 추가기능모듈장착수단(120)에 장착되는 로봇의 기능에 따라 동력원수단(110)을 제어하는 로봇제어수단(130);으로 구성되되,
서빙로봇하우징(H)의 일측에는,
주변 정보를 실시간 획득하여, 공간 정보 및 경로 정보를 생성, 업데이트시킬 수 있도록 하는 주변환경정보획득센싱수단(140);이 구성되어,
서빙로봇 주행에 관한 모든 정보를 획득하여, 로봇제어수단(130)을 통해 안전하게 작동, 주행할 수 있도록 한다.
특히, 주변환경정보획득센싱수단(140)은,
예를 들어, 서빙로봇의 동적환경 인식(recognition)의 정확성을 위해,
2D Lidar와, RGB-D 센서 퓨전 기술이 적용된다.
또한, 추가기능모듈장착수단(120)은,
로봇기능탈착모듈(200)이 로봇몸체시스템(100)의 일측에 탈착되도록 형성, 로봇제어수단(130)에 의해, 장착된 로봇기능탈착모듈(200)의 고유 기능을 해독할 수 있도록 하는 모듈장착인터페이스부(121);가 구성되어,
로봇기능탈착모듈(200)과 로봇몸체시스템(100)이 용이하게 연결, 분리되도록 한다.
또한, 로봇제어수단(130)은, 도 8에 도시된 바와 같이,
이미 서빙 기능으로 코딩되어 있는 서빙모드(M1)가 저장된 서빙모드활성화부(131);
로봇기능탈착모듈(200)로부터 입력되는 정보를 해독하는 모듈해독부(132);
상기 서빙모드활성화부(131) 및 모듈해독부(132)로부터 전달되는 정보를 바탕으로 동력원수단(110)을 제어하는 동력원제어부(133);로 구성되되,
모듈해독부(132)는,
추가기능모듈장착수단(120)으로 장착되는 로봇기능탈착모듈(200)의 장착 여부를 확인하는 모듈장착확인요소(132a);
추가기능모듈장착수단(120)에 장착된 로봇기능탈착모듈(200)의 코딩된 프로그램을 해독하는 모듈로딩요소(132b);
상기 모듈로딩요소(132b)에 의해 해독된 로봇기능탈착모듈(200)의 고유의 기능모드(M2)를 활성화시키는 추가기능활성화요소(132c);
로봇기능탈착모듈(200)의 고유의 기능모드(M2)와, 상기 서빙모드활성화부(131)에 저장된 서빙모드(M1)를 동기화하여, 로봇기능탈착모듈(200)의 고유의 기능모드(M2)와, 서빙모드활성화부(131)에 저장된 서빙모드(M1)가 공존하여 활성화되도록 하거나, 정해진 시간에 따라 서빙모드(M1)와 기능모드(M2)가 교대로 활성화되도록 하거나, 로봇기능탈착모듈(200)의 고유의 기능모드(M2)만 활성화되도록 하는 추가기능모드동기화결정요소(132d);로 구성되어,
로봇기능탈착모듈(200) 내에 코딩된 프로그램을 해독하고, 해독된 로봇기능탈착모듈(200)의 고유의 기능모드(M2)에 맞게, 로봇몸체시스템(100)을 제어할 수 있도록 한다.
이때, 추가기능모드동기화결정요소(132d)는,
서빙 임무만을 활성화시키는 서빙모드(M1);
장착된 로봇기능탈착모듈(200)의 특정 고유의 기능만을 활성화시키는 기능모드(M2);
상기 서빙모드(M1)와, 기능모드(M2)를 동시에 활성화시키는 복합모드(M12);
상기 서빙모드(M1)와, 기능모드(M2)가 관리자에 의해 설정된 스케줄에 맞게 활성화되도록 하는 시간차모드(M1/2);로 구성되어,
서빙로봇의 기능의 다양성이 도모되도록 한다.
또한, 로봇제어수단(130)에는,
동력원제어부(133)에 의해 작동, 주행되는 서빙로봇의 주행 공간을 생성하는 주행공간작성부(134);가 구성되어,
서빙로봇이 특정 공간을 특정 신호에 따라 자율주행 할 수 있도록 하되,
주행공간작성부(134)는,
주변환경정보획득센싱수단(140)과, IMU, Odometry로부터 획득되는 정보를 바탕으로 실시간 위치 및 특정 공간의 지도를 작성, 생성하는 SLAM실행모듈(134a);
상기 SLAM실행모듈(134a)로부터 작성, 생성되는 특정 공간의 지도를 보정하여, 서빙로봇의 주행 및 작동의 정확성을 향상시키는 작성지도보정모듈(134b);
주변환경정보획득센싱수단(140)에 의해 생성되는 주변 환경에 대한 3D 정보를 2D 정보로 변환하는 작성지도2D변환모듈(134c);
RTAB-MAP 결과와, 상기 SLAM실행모듈(134a), 작성지도보정모듈(134b), 작성지도2D변환모듈(134c)의 결과를 하나의 2D 맵(map)으로 통합하여, 서빙로봇의 주행 공간 지도를 작성하는 최종주행공간지도작성모듈(134d);로 구성되어,
상술한 바와 같이 서빙로봇의 주행 공간 지도가 작성되도록 하고,
또한, 상기 주행공간작성부(134)로부터 작성된 정보를 바탕으로, 서빙로봇의 주행 경로를 생성, 설정하는 경로설정부(135);가 구성되되,
목표 좌표 입력에 따른 최단 거리의 path planning, path following을 수행하는, 확률 원 기반의 공간 검색(PCSS) 알고리즘이 적용되는 주행경로실행모듈(135a);
IMU Dead reckoning 및 서빙로봇의 주행 위치의 타당성을 검증하는 주행경로타당성검증모듈(135b);
서빙로봇 주행 중, 주변환경정보획득센싱수단(140)에 의한 장애물 인식 및 회피를 위한 local cost-map을 작성하여, 지역 경로 및 전역 경로의 복귀를 설정하는 지역전역복귀설정모듈(135c);
서빙로봇의 주행 차이 보정(navigation difference calibration)을 실시하는 주행차이보정모듈(135d);로 구성되어,
전역 경로(global path) 및 지역 경로(local path)와, 이에 대한 서빙로봇의 주행(navigation)이 성립되도록 한다.
즉, 서빙로봇이 목적지까지의 이동을 위해서는, 전역 경로(global path)와, 지역 경로(local path)가 요구되는데,
전역 경로(global path)란,
서빙로봇의 운용 환경 내에서 시작 지점부터 목적지까지의 전체 경로를 의미하고,
지역 경로(local path)란,
서빙로봇이 이동 중, 검출되는 정보를 활용하여, 장애물 회피 등의 지역적인 경로를 생성하는 것을 의미한다.
전역 경로(global path)는, 주행 환경의 모든 영역에 대한 정보가 제공될 때 가능하고, 지역 경로(local path)는, 사람과 가까이에서 서빙하는 서빙로봇이 사람, 자산, 환경에 대한 안전을 확보하기 위해 필요하다.
이에, 본 발명의 자율주행서비스로봇(1)은,
사람 또는 그 외의 이동 컴포넌트와의 접촉에 의한 제 1위험원(1st-risk cause)의 위치 인식과, 자율주행 오류의 제 2위험원(2nd-risk cause)을 사전에 감지, 관리하기 위해, 장애물 인지와 회피 방법에 있어, RGB-D 센서를 사용하여, 장애물의 검출과 추적을 수행하고,
추적된 장애물 이동 경향 계산 및 확률 원 기반의 공간 검색(PCSS) 알고리즘을 적용하여, 현시점 이후 장애물의 이동 경로를 예측할 수 있도록 한다.
이때, 장애물 예측 경로는,
서빙로봇과의 충돌 가능성 예상에 사용되며,
장애물의 이동 경로는,
확률 모형화를 통해 주의 비용(caution cost) 함수 계산으로 장애물의 이동성을 고려한 지역 경로 생성 및 Kanayama 제어를 통해 로봇의 무의미한 주행 및 보행자 위협을 최소화할 수 있도록 한다.
이로 인해, RGB-D 센서 정보만을 활용하여 빠르고 정확한 장애물의 검출과 추적이 가능하도록 하고,
동적 장애물의 현재 위치만을 고려하는 것이 아닌, 확률 원 기반의 공간 검색(PCSS) 알고리즘을 적용하여, 주행 경로와 더불어, 장애물의 이동성까지 고려한 경로 계획 방식으로 실제 주행이 이루어지도록 한다.
즉, 장애물에 대한 주의 비용 함수 비교로, 서빙로봇 주행 중, 보행자 위협이 작고, 목적지까지의 효율적인 주행 경로를 생성할 수 있어, 동적 장애물이 존재하는 복잡한 환경에서도 안전하게 주행할 수 있도록 한다.
또한, 로봇제어수단(130)에는,
상기 모듈해독부(132), 주행공간작성부(134), 경로설정부(135)로부터 로딩, 생성, 설정되는 정보를 바탕으로 동력원제어부(133)를 작동시켜 서빙로봇의 주행을 제어하는 로봇주행제어부(136);가 구성되되,
로봇주행제어부(136)는,
동력원수단(110)을 제어하기 위한 노드(node)를 형성, 제어하는 액추에이터노드제어모듈(136a);
주변환경정보획득센싱수단(140) 및 동력원수단(110)을 제어하거나 모니터링하는 오픈보드모듈(136b);
상기 오픈보드모듈(136b)의 개발 도구(arduino IDE)를 설정하고, 오픈보드모듈(136b)에 제어 플랫폼(ROS_Lib)을 이식하는 제어플랫폼포팅모듈(136c);
로봇주행제어부(136)의 안정된 운용을 위해 상기 제어플랫폼포팅모듈(136c)의 연동을 확인하는 연동확인모듈(136d);로 구성되어,
자율주행서비스로봇(1)의 주행을 제어할 수 있도록 한다.
이때, 오픈보드모듈(136b)은,
예를 들어, 아두이노(Arduino) ROS serial Multiple Servo OpenCR 보드가 적용될 수 있다.
아두이노(Arduino)는,
마이크로 프로세서와 입력, 출력 기능이 가능한 마이컴 보드의 일종이라 할 수 있다.
한편, 로봇몸체시스템(100)에 장착, 분리되고, 다양한 기능이 탑재되어 서빙로봇이 서빙 기능 이외에 별도의 고유 기능이 활성화될 수 있도록 하는, 로봇기능탈착모듈(200)은,
로봇몸체시스템(100)의 추가기능모듈장착수단(120)에 형성된 모듈장착인터페이스부(121)에 장착, 분리될 수 있도록 하는 모듈장착분리요소(210);
특정 고유 기능이 탑재되는 고유기능발현요소(220);
상기 모듈장착분리요소(210)가 모듈장착인터페이스부(121)에 장착될 시, 로봇제어수단(130)에 의해 고유기능발현요소(220)가 활성화되도록, 특정 고유 기능이 코딩된 고유기능코딩요소(230);로 구성되어,
서빙 이외에, 별도의 다양한 기능을 발휘할 수 있도록 함으로서, 서빙로봇에 복합적인 기능이 가능하도록 한다.
상기 모듈장착분리요소(210)는, 상술한 바와 같이,
로봇몸체시스템(100)의 추가기능모듈장착수단(120)에 형성된 모듈장착인터페이스부(121)의 구조에 대응하여, 용이하게 장착, 분리될 수 있도록 형성되고,
고유기능발현요소(220)는,
예를 들어,
적외선 CCTV 카메라가 포함되어, 감시 기능을 하는 방범기능모듈객체(221);
3D 홀로그램 프로젝터가 포함되어, 홍보 콘텐츠를 출력, 홍보 기능을 하는 광고기능모듈객체(222);
짐을 운반할 수 있는 트레이가 포함되어, 운반 기능을 하는 운반기능모듈객체(223);
청소 기기가 포함되어, 청소 기능을 하는 청소기능모듈객체(224);
방역, 소독 기기가 포함되어, 방역 및 소독 기능을 하는 방역소독기능모듈객체(225);
공기 청정 기기가 포함되어, 주변 공기의 청정 기능을 하는 공기청정기능모듈객체(226);로 구성될 수 있다.
또한, 고유기능코딩요소(230)는,
상술한, 다양한 고유기능발현요소(220)가 형성됨에 따라, 그 기능에 맞게 작동되도록, 고유의 특정 기능모드(M2)가 코딩되어, 형성된다.
즉, 서빙로봇의 본연(本然)의 기능인 서빙모드(M1) 이외에, 서빙모드(M1)와 동시에, 복합적인 기능을 할 수 있도록 하거나, 상황에 맞게 서빙모드(M1)가 비활성화되고, 단독으로 다른 기능을 할 수 있는 고유 기능모드(M2)가 코딩, 탑재된다.
기능모드(M2)라 함은,
예를 들어,
방범모드, 광고모드, 운반모드, 청소모드, 방역소독모드, 공기청정모드 등, 시장의 니즈(needs)에 맞게 다양한 모드로 구성될 수 있다.
즉, 상술한 바와 같이, 본 발명의 자율주행서비스로봇(1)은,
다양한 기능을 할 수 있는 독립식 모듈인 로봇기능탈착모듈(200)과, 이가 장착, 분리되어, 장착될 시, 복합적인 기능을 할 수 있도록 로봇기능탈착모듈(200)의 정보를 인식, 동기화하여 작동되는 로봇몸체시스템(100)의 구성으로,
본연(本然)의 기능인 서빙모드(M1)가 탑재된 서빙로봇에, 서빙모드(M1) 이외의 다른 기능모드(M2)를 용이하게 적용시킬 수 있는, 독립식 모듈의 장착, 분리가 용이한 구조로 인해,
관리자가 서빙로봇에 서빙 기능 이외의 다른 기능을 용이하게 추가하여, 서빙 임무와 동시에, 다른 기능이 발현되도록 하거나,
서빙 임무 이후에, 다른 기능을 단독적으로 수행할 수 있는 서빙로봇으로 변환시켜, 서빙만 하는 로봇이 아닌, 서빙 이외의 다른 기능들을 적용, 활용할 수 있도록 한다.
예를 들어, 방범기능모듈객체(221)가 형성되고, 방범모드(M2)가 코딩된 로봇기능탈착모듈(200)이 로봇몸체시스템(100)에 장착될 경우에는,
서빙로봇이 서빙해야 하는 시간대에는 서빙 임무를 수행하고, 서빙이 필요 없는 시간대에는, 적외선 CCTV 카메라를 이용하여, 사각지대가 없이 특정 공간을 감시할 수 있도록 하고,
광고기능모듈객체(222)가 형성되고, 광고모드(M2)가 코딩된 로봇기능탈착모듈(200)이 로봇몸체시스템(100)에 장착될 경우에는,
서빙과 함께, 3D 홀로그램 프로젝터를 이용하여, 홍보 콘텐츠(요리하는 영상, 완성된 요리 영상 등)를 출력, 광고 및 홍보 기능을 할 수 있도록 한다.
상술한 바와 같은, 본 발명의 자율주행서비스로봇(1)의 가장 핵심적인 특징은,
로봇기능탈착모듈(200)의 독립식 모듈화이다.
이는, 국내, 국외 시장에서 서빙로봇 본연(本然)의 기능 이외에, 추가로 필요한, 새로운 복합 기능이 요구될 시에, 그 필요한 기능이 탑재된 로봇기능탈착모듈(200)만 개발, 설계하여, 시장의 니즈(needs) 및 변화에 빠르게 대응할 수 있도록 하기 위함이다.
도 7은, 본 발명인 투명 물체 인식 자율 주행 서비스 로봇 수단의 구성요소 중, 자율주행서비스로봇의 작동 순서도를 간략하게 나타낸 것으로,
좀 더 구체적으로 설명하면,
로봇몸체시스템(100)에 로봇기능탈착모듈(200)이 장착되는 독립식모듈도킹단계(S100);
상기 독립식모듈도킹단계(S100)를 통해, 로봇몸체시스템(100)에 장착된 로봇기능탈착모듈(200)의 고유의 기능모드(M2)가 실행되도록 올바르게 장착되었는지를 확인하는 독립식모듈도킹여부확인단계(S200);
로봇몸체시스템(100)에서, 상기 독립식모듈도킹여부확인단계(S200)를 통해, 장착 여부가 확인된 로봇기능탈착모듈(200)로부터 고유의 기능모드(M2) 정보를 로딩하는 독립식모듈기능모드로딩단계(S300);
로봇몸체시스템(100)에 기본적으로 탑재된 서빙모드(M1)와, 상기 독립식모듈기능모드로딩단계(S300)로부터 로딩된 고유의 기능모드(M2)의 활성화 여부를 확인하는 서빙로봇복합적기능수행확인단계(S400);
상기 서빙로봇복합적기능수행확인단계(S400)를 통해, 서빙모드(M1)와 기능모드(M2)가 동시에, 또는, 서빙모드(M1)와 기능모드(M2)가 다른 시간대에 활성화되도록 하는 서빙로봇복합적기능활성화단계(S500);
상기 독립식모듈도킹여부확인단계(S200)로부터 로봇기능탈착모듈(200)의 장착 여부가 불안정할 경우, 관리자에게 호출하여, 재차 올바르게 장착될 수 있도록 하는 관리자호출단계(S600);로 구성된다.
또한, 본 발명의 자율주행서비스로봇(1)은,
부가적인 양상에 따라,
로봇몸체시스템(100)에는,
고객 접점의 감성을 고려하여, 테이블 고객들에게 주문된 음식을 서빙하면서, 고객과 대화가 이루어질 수 있도록 하는 감성스피치제공출력수단(P);이 더 포함, 구성되어,
예를 들어, 기상청 위치기반서비스(LBS, location based service)로부터 정보를 전달받아, 매일 날씨에 따라 간단한 인사말을 디스플레이 및 스피커를 이용, 고객에게 표현할 수 있도록 한다.
또한, 궁극적으로는, 도 10에 도시된 바와 같이,
본 발명의 자율주행서비스로봇(1)이, 관리자에 의한 스케줄링에 의해, 스스로, 특정 고유의 기능모드(M2)가 탑재된 로봇기능탈착모듈(200)을 장착, 분리하고, 스케줄에 따라, 서빙모드(M1) 및 기능모드(M2)를 활성화하여, 그 기능을 수행할 수 있도록 하는 서빙로봇도킹스테이션시스템(S);을 구축하여,
전용 단말기 또는 스마트 기기를 통해, 관리자는 스케줄을 계획, 설정하고, 계획, 설정된 스케줄링 정보를 서빙로봇도킹스테이션시스템(S) 또는, 로봇몸체시스템(100)으로 전송하는 것만으로, 자율주행서비스로봇(1)의 기능 및 스케줄에 따른 작동을 제어할 수 있도록 한다.
참고하여, 본 발명의 자율주행서비스로봇(1)에 구성되는 로봇제어수단(130)은,
ROS(robot operating system) 소프트웨어 플랫폼이 적용된다.
ROS는,
로봇 응용 프로그램에 필요한 하드웨어 추상화, 디바이스 제어, 센싱 및 인식, 지도 작성, 모션플래닝 기능의 제공과 프로세스 메시지 패싱, 패키지 관리 등, 개발 환경에 필요한 라이브러리와 다양한 개발 및 디버깅 도구를 제공하는 메타 운영체제이다.
ROS는, 또한,
Ubuntu 같은 OS 위에서 동작하기 때문에 PC에서 개발용으로 사용하기 편하다.
실제 로봇 내에서 ROS 구동에 필요한 Raspberry Pi, ODROID, Intel Edison, BeagleBone, TX2 등과 같은 대표적 SBC(single board computer)를 사용하고 있다.
또한, 개발 단가를 낮추기 위한 서빙로봇은, AVR 같은 8bit MCU들을 사용하여, 하드웨어 구성과 로봇 동작의 프로그램 개발상 어려움이 많고, 로봇의 위치 인식과 주행에 있어 정확성도 많이 떨어진다.
따라서, 본 발명의 자율주행서비스로봇(1)은,
하드웨어 구성은 Nvidia Jetson TX2(8GB) SBC를 사용하고,
OS로는, Ubuntu 16.04, ROS Melodic을 탑재시켜, 서빙로봇 응용프로그램 개발과 주행 기술에 있어, 가장 안전하고 신뢰성을 보장할 수 있는 하드웨어, 소프트웨어 플랫폼이 구성되도록 한다.
또한, 본 발명의 자율주행서비스로봇(1)에 구성되는 동력원수단(110)은,
바퀴, 샤프트, 모터, 로봇 암(arm) 등, 자율주행서비스로봇(1)이 이동, 특정 임무(서빙모드(M1), 기능모드(M2), 복합모드(M12), 시간차모드(M1/2))를 수행하기 위해 물리적으로 작동되어야 하는 기계적 요소의 집합을 의미한다.
또한, 본 발명에서의 '특정 경로'라 함은,
로봇제어수단(130), 구체적으로는, 주행공간작성부(134), 경로설정부(135)에 의해 생성되는 주행 공간 정보 및 주행 경로 정보를 의미하고,
'특정 신호'라 함은,
로봇제어수단(130), 구체적으로는, 동력원제어부(133), 로봇주행제어부(136)로부터 전달, 입력되는 제어 신호를 의미한다.
도 9는, 본 발명의 자율주행서비스로봇(1)의 구성요소 중, 로봇몸체시스템(100)과, 로봇기능탈착모듈(200) 간의 결합 실시 예, 즉, 슬라이드 방식으로 장착, 분리되는 결합 구조를 실시 예로 나타낸 것이다.
요약하자면, 본 발명의 자율주행서비스로봇(1)은,
정해진 실내 공간을 특정 경로 및 특정 신호에 따라 이동, 주행할 수 있도록 하는 동력원수단(110), 상부, 하부 중, 어느 하나 이상에 로봇의 기능을 추가, 장착할 수 있는 추가기능모듈장착수단(120), 특정 경로 및 특정 신호와, 추가기능모듈장착수단(120)에 장착되는 로봇의 기능에 따라 동력원수단(110)을 제어하는 로봇제어수단(130)으로 형성되는 로봇몸체시스템(100), 상기 로봇몸체시스템(100)의 추가기능모듈장착수단(120)에 장착, 분리되어, 로봇에 기능을 추가하거나, 변환시켜, 관리자가 상황에 맞게 로봇을 활용할 수 있도록 하는 로봇기능탈착모듈(200)로 구성되어,
서빙은 물론, 관리자가 상황에 맞게 로봇기능탈착모듈(200)을 이용하여, 용이하게 서빙과 함께 활성화될 수 있는 기능을 추가하거나, 필요에 따라 별도의 다른 기능의 로봇으로 변환시켜 활용되도록 함으로서,
서빙 로봇의 활용성 및 효용성을 극대화시키는,
자율주행서비스로봇(1)에 있어서,
로봇몸체시스템(100)은,
서빙 기능을 할 수 있도록 형성된 서빙로봇하우징(H);
상기 서빙로봇하우징(H)의 하부에 위치, 형성되어, 정해진 실내 공간을 특정 경로 및 특정 신호에 따라 이동, 주행할 수 있도록 하는 동력원수단(110);
상기 서빙로봇하우징(H)의 상부, 하부 중, 어느 하나 이상에 로봇의 기능을 추가, 장착할 수 있도록 하는 추가기능모듈장착수단(120);
특정 경로 및 특정 신호와, 추가기능모듈장착수단(120)에 장착되는 로봇의 기능에 따라 동력원수단(110)을 제어하는 로봇제어수단(130);으로 구성되되,
서빙로봇하우징(H)의 일측에는,
주변 정보를 실시간 획득하여, 공간 정보 및 경로 정보를 생성, 업데이트시킬 수 있도록 하는 주변환경정보획득센싱수단(140);이 구성되어,
서빙 로봇 주행에 관한 모든 정보를 획득하여, 로봇제어수단(130)을 통해 안전하게 작동, 주행할 수 있도록 하고,
주변환경정보획득센싱수단(140)은,
서빙 로봇의 동적환경 인식(recognition)의 정확성을 위해, 2D Lidar와, RGB-D 센서 퓨전 기술이 적용되고,
추가기능모듈장착수단(120)은,
로봇기능탈착모듈(200)이 로봇몸체시스템(100)의 일측에 탈착되도록 형성, 로봇제어수단(130)에 의해, 장착된 로봇기능탈착모듈(200)의 고유 기능을 해독할 수 있도록 하는 모듈장착인터페이스부(121);가 구성되어,
로봇기능탈착모듈(200)과 로봇몸체시스템(100)이 용이하게 연결, 분리되도록 하고,
로봇제어수단(130)은,
이미 서빙 기능으로 코딩되어 있는 서빙모드(M1)가 저장된 서빙모드활성화부(131);
로봇기능탈착모듈(200)로부터 입력되는 정보를 해독하는 모듈해독부(132);
상기 서빙모드활성화부(131) 및 모듈해독부(132)로부터 전달되는 정보를 바탕으로 동력원수단(110)을 제어하는 동력원제어부(133);로 구성되되,
모듈해독부(132)는,
추가기능모듈장착수단(120)으로 장착되는 로봇기능탈착모듈(200)의 장착 여부를 확인하는 모듈장착확인요소(132a);
추가기능모듈장착수단(120)에 장착된 로봇기능탈착모듈(200)의 코딩된 프로그램을 해독하는 모듈로딩요소(132b);
상기 모듈로딩요소(132b)에 의해 해독된 로봇기능탈착모듈(200)의 고유의 기능모드(M2)를 활성화시키는 추가기능활성화요소(132c);
로봇기능탈착모듈(200)의 고유의 기능모드(M2)와, 상기 서빙모드활성화부(131)에 저장된 서빙모드(M1)를 동기화하여, 로봇기능탈착모듈(200)의 고유의 기능모드(M2)와, 서빙모드활성화부(131)에 저장된 서빙모드(M1)가 공존하여 활성화되도록 하거나, 정해진 시간에 따라 서빙모드(M1)와 기능모드(M2)가 교대로 활성화되도록 하거나, 로봇기능탈착모듈(200)의 고유의 기능모드(M2)만 활성화되도록 하는 추가기능모드동기화결정요소(132d);로 구성되어,
로봇기능탈착모듈(200) 내에 코딩된 프로그램을 해독하고, 해독된 로봇기능탈착모듈(200)의 고유의 기능모드(M2)에 맞게, 로봇몸체시스템(100)을 제어할 수 있도록 하고,
추가기능모드동기화결정요소(132d)는,
서빙 임무만을 활성화시키는 서빙모드(M1);
장착된 로봇기능탈착모듈(200)의 특정 고유의 기능만을 활성화시키는 기능모드(M2);
상기 서빙모드(M1)와, 기능모드(M2)를 동시에 활성화시키는 복합모드(M12);
상기 서빙모드(M1)와, 기능모드(M2)가 관리자에 의해 설정된 스케줄에 맞게 활성화되도록 하는 시간차모드(M1/2);로 구성되어,
서빙 로봇의 기능의 다양성이 도모되도록 하고,
로봇제어수단(130)에는,
동력원제어부(133)에 의해 작동, 주행되는 서빙 로봇의 주행 공간을 생성하는 주행공간작성부(134);가 구성되어,
서빙 로봇이 특정 공간을 특정 신호에 따라 자율주행 할 수 있도록 하되,
주행공간작성부(134)는,
주변환경정보획득센싱수단(140)과, IMU, Odometry로부터 획득되는 정보를 바탕으로 실시간 위치 및 특정 공간의 지도를 작성, 생성하는 SLAM실행모듈(134a);
상기 SLAM실행모듈(134a)로부터 작성, 생성되는 특정 공간의 지도를 보정하여, 서빙 로봇의 주행 및 작동의 정확성을 향상시키는 작성지도보정모듈(134b);
주변환경정보획득센싱수단(140)에 의해 생성되는 주변 환경에 대한 3D 정보를 2D 정보로 변환하는 작성지도2D변환모듈(134c);
상기 SLAM실행모듈(134a), 작성지도보정모듈(134b), 작성지도2D변환모듈(134c)의 결과를 하나의 2D 맵(map)으로 통합하여, 서빙 로봇의 주행 공간 지도를 작성하는 최종주행공간지도작성모듈(134d);로 구성되어,
서빙 로봇의 주행 공간 지도가 작성되도록 하고,
또한, 상기 주행공간작성부(134)로부터 작성된 정보를 바탕으로, 서빙 로봇의 주행 경로를 생성, 설정하는 경로설정부(135);가 구성되되,
목표 좌표 입력에 따른 최단 거리의 path planning, path following을 수행하는 알고리즘이 적용되는 주행경로실행모듈(135a);
IMU Dead reckoning 및 서빙 로봇의 주행 위치의 타당성을 검증하는 주행경로타당성검증모듈(135b);
서빙 로봇 주행 중, 주변환경정보획득센싱수단(140)에 의한 장애물 인식 및 회피를 위한 local cost-map을 작성하여, 지역 경로 및 전역 경로의 복귀를 설정하는 지역전역복귀설정모듈(135c);
서빙 로봇의 주행 차이 보정(navigation difference calibration)을 실시하는 주행차이보정모듈(135d);로 구성되어,
전역 경로(global path) 및 지역 경로(local path)와, 이에 대한 서빙 로봇의 주행(navigation)이 성립되도록 하는 것이다.
상술한 자율주행서비스로봇(1)의 실시 예는,
다기능 모듈형 서빙로봇에 대한 것이고,
본 발명의 목적인 투명 물체와 불투명 물체를 구분, 인식, 정의하게 하는 투명물체정의루프작성부(300)는,
실시 예인 다기능 모듈형 서빙로봇 뿐만 아니라, 로봇몸체시스템(100)으로만 이루어진 일반 서빙로봇 및 다양한 목적을 위해, 다양한 장소에 적용될 수 있는 서비스 로봇에 적용될 수 있다.
한편, 자율주행서비스로봇(1)에 의한, 특정 실내 공간의 지도 작성 시, 주행공간작성부(134)에 적용되도록, 특정 실내 공간에 존재하는 투명 물체와 불투명 물체에 대한 정보를 정의함으로서, 자율주행서비스로봇(1)이 투명 물체와 불투명 물체를 식별하여 주행할 수 있도록 하는 투명물체정의루프작성부(300) 는,
도 11 내지 도 15를 참조하여, 좀 더 구체적으로 살펴보면,
지도 작성을 위한 정보를 수집하는 투명물체인식SLAM작성정보준비모듈(310);
불투명 물체로부터 획득되는 포인트클라우드 정보를 바탕으로, 공간 분석, 맵핑하여, 불투명 물체와 투명 물체를 인식, 정의하는 투명물체인식SLAM작성확정모듈(320);
공간 분석, 맵핑을 위한 새로운 정보의 유무(有無)를 확인, 점검하는 투명물체인식SLAM작성완료모듈(330);로 구성되어,
자율주행서비스로봇(1)에 의한 지도 작성 시, 투명 물체와, 불투명 물체가 구분, 정의되고, 이가 적용된 특정 실내 공간에 대한 완벽한 지도가 작성되도록 하는 것을 특징으로 한다.
이때, 상술한 바와 같이,
투명물체정의루프작성부(300)는,
지도 작성을 위한 정보를 수집하는 투명물체인식SLAM작성정보준비모듈(310);
불투명 물체로부터 획득되는 포인트클라우드 정보를 바탕으로, 공간 분석, 맵핑하여, 불투명 물체와 투명 물체를 인식, 정의하는 투명물체인식SLAM작성확정모듈(320);
공간 분석, 맵핑을 위한 새로운 정보의 유무(有無)를 확인, 점검하는 투명물체인식SLAM작성완료모듈(330);로 구성되되,
투명물체인식SLAM작성정보준비모듈(310)은,
자율주행서비스로봇(1)으로부터 획득된 특정 실내 공간에 대한 정보 중, 지도 작성 시 필요한 변수(parameter)를 가져오는 SLAM매개변수로딩요소(311);
상기 SLAM매개변수로딩요소(311)로부터 로딩, 입력된 3차원 공간의 포인트 클라우드 정보와, 라이다(lidar) 스캔 정보, 주행거리 정보의 타당성(정상적인 데이터)을 확인, 점검하는 SLAM매개변수확인요소(312);
상기 SLAM매개변수확인요소(312)에 의해 확인, 점검되는 정보들의 time sync가 이루어지는지 확인하는 SLAM매개변수정보시간동기화확인요소(313);
상기 SLAM매개변수정보시간동기화확인요소(313)로부터 time sync가 일치된 경우, 라이다(lidar) 스캔 정보, 3차원 공간의 포인트 클라우드 정보에, 자율주행서비스로봇(1) 자신의 현재 위치, 방향 및 위치 이동을 적용하는 자율주행서비스로봇트랜스폼적용요소(314);
상기 자율주행서비스로봇트랜스폼적용요소(314)로부터 적용된 3차원 공간의 포인트 클라우드 정보와, 라이다(lidar) 스캔 정보, 자율주행서비스로봇(1)의 현재 위치가 적용된 주행거리 정보를 게시(publish)하는 자율주행서비스로봇주행환경정보게시요소(315);
상기 자율주행서비스로봇주행환경정보게시요소(315)에 게시(publish)되는 3차원 공간의 포인트 클라우드 정보와, 라이다(lidar) 스캔 정보, 자율주행서비스로봇(1)의 현재 위치가 적용된 주행거리 정보를 구독(subscribe)하는 자율주행서비스로봇주행환경정보구독요소(316);로 구성되어,
자율주행서비스로봇(1)으로부터 획득되는 다양한 정보를 바탕으로, 특정 실내 공간에 대한 지도 작성을 준비하고,
투명물체인식SLAM작성확정모듈(320)은,
현재와 이전의 주행거리 정보의 상대 위치를 계산하는 주행거리정보산출요소(321);
투명물체인식SLAM작성정보준비모듈(310)로부터 준비된 정보를 바탕으로 자율주행서비스로봇(1)의 자기 위치와 방향 정보의 최적화 및 루프 결합(loop closure) 작업을 진행, 등록하는 루프결합노이즈제거SLAM최적화요소(322);
숄레스키 분해법(cholesky factorization)을 활용하여, 일차원의 선형적 문제점(linear problem)을 해결, 문제를 최소화하는 숄레스키분해법활용문제해결요소(323);
3차원 공간의 포인트 클라우드 정보와, 라이다(lidar) 스캔 정보에 의해 생성되는 포인트 클라우드 정보를 특정 조건으로 필터링하여, 지도가 작성되도록 하는 SLAM투명물체인식확정요소(324);
상기 SLAM투명물체인식확정요소(324)에 의해 확정된 3차원 공간 및 라이다(lidar) 포인트 클라우드 정보에 복셀(voxel) 필터를 적용하는 포인트클라우드복셀필터적용요소(325);
3차원 공간 및 라이다(lidar) 포인트 클라우드 정보가, 최적화된 자율주행서비스로봇(1)의 현재 위치, 방향 및 위치 이동에 적용되도록 하는 SLAM최적화정보적용요소(326);
3차원 공간 및 라이다(lidar) 포인트 클라우드 정보의 x, y, z 좌표에서 최소, 최대 값을 산출하여 지도 크기를 설정하는 공간SLAM크기설정요소(327);
3차원 공간 포인트 클라우드 정보로 기록된 지도, 라이다(lidar) 포인트 클라우드 정보로 기록된 지도, 3차원 공간 및 라이다(lidar) 포인트 클라우드 정보가 융합된 특정 실내 공간의 지도를 생성하는 실내공간SLAM생성요소(328);
상기 실내공간SLAM생성요소(328)로부터 생성된 지도에 비율 및 크기 정보가 담긴 파일을 생성하는 SLAM비율크기정보생성요소(329);로 구성되되,
SLAM투명물체인식확정요소(324)는,
3차원 공간의 포인트 클라우드 정보에, 상기 루프결합노이즈제거SLAM최적화요소(322)로부터 인식, 정의된 투명 물체에 대한 정보를 적용하여, 투명 물체로 인식, 정의되는 제 1특정기준치(SD1) 보다 고저(高低)인 포인트 클라우드 정보를 필터링하는 3차원공간SLAM투명물체인식확정필터(324a);
3차원 공간 및 라이더(lidar) 스캔 정보에 의해 생성되는 포인트 클라우드 정보를 바탕으로, 제 2특정기준치(SD2)를 기준하여, 최대 거리 이상, 최소 거리 이하의 거리의 포인트 클라우드 정보를 필터링하는 투명불투명물체포인트클라우드분별확정필터(324b);로 구성되어,
투명 물체 및 불투명 물체 정보가 적용된 특정 실내 공간에 대한 지도가 작성되도록 하고,
투명물체인식SLAM작성완료모듈(330)은,
자율주행서비스로봇(1)의 주행과 관련하여, 추가로 획득되는 정보의 유무(有無)를 확인하는 SLAM작성추가정보확인요소(331);
상기 SLAM작성추가정보확인요소(331)에 의해 확인되는 자율주행서비스로봇(1)의 주행과 관련된 추가 정보가 없을 시에, SLAM 작업을 종료하는 자율주행서비스로봇SLAM작업종료요소(332);로 구성되어,
투명 물체 및 불투명 물체 정보가 적용된 특정 실내 공간에 대한 지도 작성이 완료되도록 한다.
도 11의 (b)는, 투명물체정의루프작성부(300)에 대한 순서도를 간략하게 나타낸 것으로,
투명물체인식SLAM작성정보준비모듈(310)을 통해, 특정 실내 공간에 대한 지도 작성을 준비하는 투명물체인식SLAM작성정보준비단계(S1);
상기 투명물체인식SLAM작성정보준비단계(S1)로부터 준비된 특정 실내 공간에 대한 정보를 바탕으로, 투명물체인식SLAM작성확정모듈(320)을 통해, 지도를 작성하는 투명물체인식SLAM작성확정단계(S2);
상기 투명물체인식SLAM작성확정단계(S2) 후, 특정 실내 공간에 대한 지도가 작성, 완성되기 전, 투명물체인식SLAM작성완료모듈(330)을 통해, 지도 작성을 위해 추가되는 정보의 유무(有無)를 확인하고, 지도를 완성하는 투명물체인식SLAM작성완료단계(S3);로,
투명물체정의루프작성부(300)를 통해, 자율주행서비스로봇(1)에 투명 물체와, 불투명 물체에 대한 정보가 포함된 특정 실내 공간의 지도가 작성되도록 한다.
한편, 본 발명에서는, 자율주행서비스로봇(1)의 실시 예로, 실내 음식점, 푸드 코트 및 레스토랑의 내부를 자율 주행하는 서빙로봇을 예로 들었을 뿐,
자율주행서비스로봇(1)이라 함은,
다양한 상황 및 목적, 역할에 따라 정해진 실내 공간을 자율 주행하여, 고객에게, 그 상황에 대응되는 서비스를 제공하는 로봇 수단을 의미하며,
예를 들어, 상술한 바와 같이, 음식점, 푸드 코트, 레스토랑, 백화점, 박물관, 미술관, 관공서, 공공기관 등, 정해진 실내 공간에서 다양한 서비스를 제공할 수 있는 로봇 수단이 될 수 있다.
즉, 본 발명은,
상술한 바와 같은, 다양한 서비스를 제공할 수 있는 자율주행서비스로봇(1)이, 투명물체정의루프작성부(300)를 통해, 지도 작성 시, 투명 물체와, 불투명 물체가 구분, 정의된 지도가 작성되도록 함으로서,
자율주행서비스로봇(1)의 자율 주행이 보다 안전하고, 완벽하도록 한다.
이상에서와 같이, 본 발명은, 기재된 실시 예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다.
따라서, 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있으므로, 본 발명의 실시 예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 아니되며, 다양하게 변형하여 실시할 수 있다.
본 발명은, 투명 물체 인식 자율 주행 서비스 로봇 수단에 관한 것으로서,
서비스를 주 목적으로 개발, 제작되는 로봇 하드웨어 및 소프트웨어, 프로그램 실행의 최적화 산업, 특히, 자율 주행 서비스 로봇의 하드웨어와 소프트웨어, 프로그램 실행의 최적화 산업 분야 증진에 기여하는 데에 적용할 수 있다.
2: 투명 물체 인식 자율 주행 서비스 로봇 수단
1: 자율주행서비스로봇
100: 로봇몸체시스템 110: 동력원수단
120: 추가기능모듈장착수단 121: 모듈장착인터페이스부
130: 로봇제어수단 131: 서빙모드활성화부
132: 모듈해독부 132a: 모듈장착확인요소
132b: 모듈로딩요소 132c: 추가기능활성화요소
132d: 추가기능모드동기화결정요소 133: 동력원제어부
134: 주행공간작성부 134a: SLAM실행모듈
134b: 작성지도보정모듈 134c: 작성지도2D변환모듈
134d: 최종주행공간지도작성모듈 135: 경로설정부
135a: 주행경로실행모듈 135b: 주행경로타당성검증모듈
135c: 지역전역복귀설정모듈 135d: 주행차이보정모듈
136: 로봇주행제어부 136a: 액추에이터노드제어모듈
136b: 오픈보드모듈 136c: 제어플랫폼포팅모듈
136d: 연동확인모듈 140: 주변환경정보획득센싱수단
200: 로봇기능탈착모듈 210: 모듈장착분리요소
220: 고유기능발현요소 221: 방범기능모듈객체
222: 광고기능모듈객체 223: 운반기능모듈객체
224: 청소기능모듈객체 225: 방역소독기능모듈객체
226: 공기청정기능모듈객체 230: 고유기능코딩요소
300: 투명물체정의루프작성부
310: 투명물체인식SLAM작성정보준비모듈 311: SLAM매개변수로딩요소
312: SLAM매개변수확인요소
313: SLAM매개변수정보시간동기화확인요소
314: 자율주행서비스로봇트랜프폼적용요소
315: 자율주행서비스로봇주행환경정보게시요소
316: 자율주행서비스로봇주행환경정보구독요소
320: 투명물체인식SLAM작성확정모듈 321: 주행거리정보산출요소
322: 루프결합노이즈제거SLAM최적화요소
323: 숄레스키분해법활용문제해결요소 324: SLAM투명물체인식확정요소
324a: 3차원공간SLAM투명물체인식확정필터
324b: 투명불투명물체포인트클라우드분별확정필터
325: 포인트클라우드복셀필터적용요소 326: SLAM최적화정보적용요소
327: 공간SLAM크기설정요소 328: 실내공간SLAM생성요소
329: SLAM비율크기정보생성요소
330: 투명물체인식SLAM작성완료모듈 331: SLAM작성추가정보확인요소
332: 자율주행서비스로봇SLAM작업종료요소
S1: 투명물체인식SLAM작성정보준비단계
S2: 투명물체인식SLAM작성확정단계
S3: 투명물체인식SLAM작성완료단계
S100: 독립식모듈도킹단계
S200: 독립식모듈도킹여부확인단계
S300: 독립식모듈기능모드로딩단계
S400: 서빙로봇복합적기능수행확인단계
S500: 서빙로봇복합적기능활성화단계
S600: 관리자호출단계
H: 서빙로봇하우징 P: 감성스피치제공출력수단
SD1: 제 1특정기준치 SD2: 제 2특정기준치

Claims (4)

  1. 정해진 실내 공간을 특정 경로 및 특정 신호에 따라 이동, 주행하여, 서비스하는 자율주행서비스로봇(1),
    상기 자율주행서비스로봇(1)의 지도 작성 시, 정해진 실내 공간 내에 위치하는 투명 물체를 인식, 정의하고, 자율주행서비스로봇(1)의 이동, 주행에 있어 인식, 정의된 투명 물체에 대한 정보를 반영하여, 투명 물체로 인한 자율주행서비스로봇(1)의 이동, 주행의 오류를 방지할 수 있도록 하는 투명물체정의루프작성부(300)로 구성되되,
    투명물체정의루프작성부(300)에 의해 작성되는 투명 물체의 인식, 정의는,
    자율주행서비스로봇(1)에 형성된 주변환경정보획득센싱수단(140)으로부터 획득되는 센싱 정보를 바탕으로, 가공되어, 투명 물체에 대한 정보가 인식, 정의되도록 하는,
    투명 물체 인식 자율 주행 서비스 로봇 수단(2)에 있어서,
    투명물체정의루프작성부(300)는,
    주변환경정보획득센싱수단(140)으로부터 획득될 수 있는 2D-Lidar와, RGB-D 센서 정보 중, 어느 하나 이상의 정보의 조합으로,
    지도 작성 시, 투명 물체를 인식, 정의할 수 있도록 하되,
    지도 작성을 위한 정보를 수집하는 투명물체인식SLAM작성정보준비모듈(310);
    불투명 물체로부터 획득되는 포인트클라우드 정보를 바탕으로, 공간 분석, 맵핑하여, 불투명 물체와 투명 물체를 인식, 정의하는 투명물체인식SLAM작성확정모듈(320);
    공간 분석, 맵핑을 위한 새로운 정보의 유무(有無)를 확인, 점검하는 투명물체인식SLAM작성완료모듈(330);로 구성되어,
    자율주행서비스로봇(1)에 의한 지도 작성 시, 투명 물체와, 불투명 물체가 구분, 정의되고, 이가 적용된 특정 실내 공간에 대한 완벽한 지도가 작성되도록 하고,
    투명물체인식SLAM작성정보준비모듈(310)은,
    자율주행서비스로봇(1)으로부터 획득된 특정 실내 공간에 대한 정보 중, 지도 작성 시 필요한 변수(parameter)를 가져오는 SLAM매개변수로딩요소(311);
    상기 SLAM매개변수로딩요소(311)로부터 로딩, 입력된 3차원 공간의 포인트 클라우드 정보와, 라이다(lidar) 스캔 정보, 주행거리 정보의 타당성(정상적인 데이터)을 확인, 점검하는 SLAM매개변수확인요소(312);
    상기 SLAM매개변수확인요소(312)에 의해 확인, 점검되는 정보들의 time sync가 이루어지는지 확인하는 SLAM매개변수정보시간동기화확인요소(313);
    상기 SLAM매개변수정보시간동기화확인요소(313)로부터 time sync가 일치된 경우, 라이다(lidar) 스캔 정보, 3차원 공간의 포인트 클라우드 정보에, 자율주행서비스로봇(1) 자신의 현재 위치, 방향 및 위치 이동을 적용하는 자율주행서비스로봇트랜스폼적용요소(314);
    상기 자율주행서비스로봇트랜스폼적용요소(314)로부터 적용된 3차원 공간의 포인트 클라우드 정보와, 라이다(lidar) 스캔 정보, 자율주행서비스로봇(1)의 현재 위치가 적용된 주행거리 정보를 게시(publish)하는 자율주행서비스로봇주행환경정보게시요소(315);
    상기 자율주행서비스로봇주행환경정보게시요소(315)에 게시(publish)되는 3차원 공간의 포인트 클라우드 정보와, 라이다(lidar) 스캔 정보, 자율주행서비스로봇(1)의 현재 위치가 적용된 주행거리 정보를 구독(subscribe)하는 자율주행서비스로봇주행환경정보구독요소(316);로 구성되어,
    자율주행서비스로봇(1)으로부터 획득되는 다양한 정보를 바탕으로, 특정 실내 공간에 대한 지도 작성을 준비하고,
    투명물체인식SLAM작성확정모듈(320)은,
    현재와 이전의 주행거리 정보의 상대 위치를 계산하는 주행거리정보산출요소(321);
    투명물체인식SLAM작성정보준비모듈(310)로부터 준비된 정보를 바탕으로 자율주행서비스로봇(1)의 자기 위치와 방향 정보의 최적화 및 루프 결합(loop closure) 작업을 진행, 등록하는 루프결합노이즈제거SLAM최적화요소(322);
    숄레스키 분해법(cholesky factorization)을 활용하여, 일차원의 선형적 문제점(linear problem)을 해결, 문제를 최소화하는 숄레스키분해법활용문제해결요소(323);
    3차원 공간의 포인트 클라우드 정보와, 라이다(lidar) 스캔 정보에 의해 생성되는 포인트 클라우드 정보를 특정 조건으로 필터링하여, 지도가 작성되도록 하는 SLAM투명물체인식확정요소(324);
    상기 SLAM투명물체인식확정요소(324)에 의해 확정된 3차원 공간 및 라이다(lidar) 포인트 클라우드 정보에 복셀(voxel) 필터를 적용하는 포인트클라우드복셀필터적용요소(325);
    3차원 공간 및 라이다(lidar) 포인트 클라우드 정보가, 최적화된 자율주행서비스로봇(1)의 현재 위치, 방향 및 위치 이동에 적용되도록 하는 SLAM최적화정보적용요소(326);
    3차원 공간 및 라이다(lidar) 포인트 클라우드 정보의 x, y, z 좌표에서 최소, 최대 값을 산출하여 지도 크기를 설정하는 공간SLAM크기설정요소(327);
    3차원 공간 포인트 클라우드 정보로 기록된 지도, 라이다(lidar) 포인트 클라우드 정보로 기록된 지도, 3차원 공간 및 라이다(lidar) 포인트 클라우드 정보가 융합된 특정 실내 공간의 지도를 생성하는 실내공간SLAM생성요소(328);
    상기 실내공간SLAM생성요소(328)로부터 생성된 지도에 비율 및 크기 정보가 담긴 파일을 생성하는 SLAM비율크기정보생성요소(329);로 구성되어,
    투명 물체 및 불투명 물체 정보가 적용된 특정 실내 공간에 대한 지도가 작성되도록 하고,
    투명물체인식SLAM작성완료모듈(330)은,
    자율주행서비스로봇(1)의 주행과 관련하여, 추가로 획득되는 정보의 유무(有無)를 확인하는 SLAM작성추가정보확인요소(331);
    상기 SLAM작성추가정보확인요소(331)에 의해 확인되는 자율주행서비스로봇(1)의 주행과 관련된 추가 정보가 없을 시에, SLAM 작업을 종료하는 자율주행서비스로봇SLAM작업종료요소(332);로 구성되어,
    투명 물체 및 불투명 물체 정보가 적용된 특정 실내 공간에 대한 지도 작성이 완료되도록 하는 것을 특징으로 하는,
    투명 물체 인식 자율 주행 서비스 로봇 수단.
  2. 삭제
  3. 삭제
  4. 삭제
KR1020210125307A 2021-09-17 2021-09-17 투명 물체 인식 자율 주행 서비스 로봇 수단 Active KR102583945B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210125307A KR102583945B1 (ko) 2021-09-17 2021-09-17 투명 물체 인식 자율 주행 서비스 로봇 수단
PCT/KR2022/012690 WO2023043079A1 (ko) 2021-09-17 2022-08-25 투명 물체 인식 자율 주행 서비스 로봇 수단
US18/685,427 US20240353853A1 (en) 2021-09-17 2022-08-25 Transparent object recognition autonomous driving service robot means

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210125307A KR102583945B1 (ko) 2021-09-17 2021-09-17 투명 물체 인식 자율 주행 서비스 로봇 수단

Publications (2)

Publication Number Publication Date
KR20230041547A KR20230041547A (ko) 2023-03-24
KR102583945B1 true KR102583945B1 (ko) 2023-10-05

Family

ID=85603142

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210125307A Active KR102583945B1 (ko) 2021-09-17 2021-09-17 투명 물체 인식 자율 주행 서비스 로봇 수단

Country Status (3)

Country Link
US (1) US20240353853A1 (ko)
KR (1) KR102583945B1 (ko)
WO (1) WO2023043079A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250040788A (ko) * 2023-09-15 2025-03-25 한국전자기술연구원 로봇의 공간 분석 시스템 및 방법
KR102710722B1 (ko) * 2024-06-14 2024-09-30 주식회사 쉐어플랫 인공지능 기반 스마트 안내서비스 자율주행 무인로봇

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100906991B1 (ko) * 2007-11-07 2009-07-10 전자부품연구원 로봇의 비시인성 장애물 탐지방법
KR102461938B1 (ko) * 2017-04-04 2022-10-31 엘지전자 주식회사 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
CN107092264A (zh) * 2017-06-21 2017-08-25 北京理工大学 面向银行厅堂环境的服务机器人自主导航与自动充电方法
KR20200036678A (ko) * 2018-09-20 2020-04-07 삼성전자주식회사 청소 로봇 및 그의 태스크 수행 방법
CN119927939A (zh) * 2018-09-20 2025-05-06 三星电子株式会社 清洁机器人及其控制方法
US11413764B2 (en) 2019-06-07 2022-08-16 Lg Electronics Inc. Serving robot and method for receiving customer using the same
US11370123B2 (en) 2019-06-17 2022-06-28 Lg Electronics Inc. Mobile robot and method of controlling the same
CN111207753A (zh) * 2020-02-13 2020-05-29 苏州大学 一种多玻璃隔断环境下的同时定位与建图的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박정수 외 1명, "레이저 거리 측정기 기반 투명 장애물 인식 방법", Journal of Korean Institute of Intelligent Systems, Vol.24, No.2, pp.111~116(2014.04.)*

Also Published As

Publication number Publication date
WO2023043079A1 (ko) 2023-03-23
KR20230041547A (ko) 2023-03-24
US20240353853A1 (en) 2024-10-24

Similar Documents

Publication Publication Date Title
US10311400B2 (en) Intelligent service robot and related systems and methods
JP7422434B2 (ja) 多機能型自律走行サービングロボット
US12283096B2 (en) System for spot cleaning by a mobile robot
US9796093B2 (en) Customer service robot and related systems and methods
WO2018106719A1 (en) Intelligent service robot and related systems and methods
US10378906B2 (en) Systems and methods for autonomous drone navigation
US9895802B1 (en) Projection of interactive map data
US10546169B2 (en) Augmented reality navigation system
JP4630146B2 (ja) 位置管理システムおよび位置管理プログラム
KR102583945B1 (ko) 투명 물체 인식 자율 주행 서비스 로봇 수단
KR20140040094A (ko) 이동형 원격현전 로봇과의 인터페이싱
Chen et al. Non-contact service robot development in fast-food restaurants
KR102821756B1 (ko) 자동문 인식 자율 주행 서비스 로봇 수단
KR102810336B1 (ko) 자동문 인식 자율 주행 서비스 로봇 수단
Wei et al. An approach to navigation for the humanoid robot nao in domestic environments
KR20180109125A (ko) 대형 매장 내에서 로봇 이동 시, 인명사고 없는 안전한 동선 확보 방법
KR102735911B1 (ko) 장애물의 감지 위치에 따라 회피 경로를 생성하여 이동하는 이동 로봇, 그 방법 및 프로그램
Kümpel et al. Semantic Digital Twins for Omni-Channel Localisation
Cheong+ et al. Development of a Robotics Waiter System for the food and beverage industry

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601