[go: up one dir, main page]

KR102420568B1 - 차량의 위치를 결정하는 방법 및 이를 위한 차량 - Google Patents

차량의 위치를 결정하는 방법 및 이를 위한 차량 Download PDF

Info

Publication number
KR102420568B1
KR102420568B1 KR1020180049095A KR20180049095A KR102420568B1 KR 102420568 B1 KR102420568 B1 KR 102420568B1 KR 1020180049095 A KR1020180049095 A KR 1020180049095A KR 20180049095 A KR20180049095 A KR 20180049095A KR 102420568 B1 KR102420568 B1 KR 102420568B1
Authority
KR
South Korea
Prior art keywords
vehicle
map
road surface
information
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180049095A
Other languages
English (en)
Other versions
KR20190134861A (ko
Inventor
최믿음
박창수
백아론
류제웅
나인학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180049095A priority Critical patent/KR102420568B1/ko
Priority to CN201980028605.2A priority patent/CN112055839B/zh
Priority to EP19792482.2A priority patent/EP3756055A4/en
Priority to PCT/KR2019/005028 priority patent/WO2019209057A1/en
Priority to US16/396,799 priority patent/US11255974B2/en
Publication of KR20190134861A publication Critical patent/KR20190134861A/ko
Application granted granted Critical
Publication of KR102420568B1 publication Critical patent/KR102420568B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00184—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00186—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/20—Stereoscopic displays; Three-dimensional displays; Pseudo-three-dimensional displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/24—Cathode-ray tube displays or other two dimensional or three-dimensional displays the display being orientated or displaced in accordance with movement of object carrying the transmitting and receiving apparatus, e.g. true-motion radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)

Abstract

2 차원으로 표현된 도로면 정보 및 3 차원으로 표현된 구조물 정보를 포함하는 지도를 저장하는 저장부, 차량 주변의 도로면에 대한 2 차원 이미지를 획득하는 카메라, 차량 주변의 구조물에 대한 3 차원 공간 정보를 획득하는 라이다 및 차량 주변의 도로면 또는 구조물에 관한 정보를 획득할 수 있는지 여부에 기초하여, 카메라 및 라이다 중 적어도 하나를 위치 센서로써 결정하고, 결정된 위치 센서를 이용하여 차량의 현재 위치에 대응하는 지도 내의 위치를 결정하고, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행하는 제어부를 포함하는, 일 실시예에 따른 자율 주행 차량이 개시된다.

Description

차량의 위치를 결정하는 방법 및 이를 위한 차량 {METHOD FOR DETERMINING A POSITION OF A VEHICLE AND VEHICLE THEREOF}
본 개시는, 차량의 위치를 결정하는 방법 및 이를 위한 차량에 관한 것이다. 보다 구체적으로, 자율 주행 시 내비게이션 지도 내에서의 차량의 위치를 결정하는 방법 및 이를 위한 차량에 관한 것이다.
자율 주행을 위한 지도는 도로와 주변 지형의 정보를 포함하고, 지형 또는 지물이 오차범위 10~20cm 이내에서 식별될 수 있는 지도일 수 있다. 자율 주행을 위한 지도는 실시예에 따라, 정밀 지도(Precision digital map), 초정밀 지도(High-precision digital map) 또는 라이브 지도(Live map)로써 언급될 수 있다.
자율 주행을 위한 지도는 기존의 전자 지도 보다 10 배 이상 정확하며, 지형의 고저, 도로의 곡선 반경, 곡률 및 주변 환경을 3 차원적으로 표현할 수 있다. 구체적으로, 자율 주행을 위한 지도는 사물을 이루는 각각의 지점을 3 차원 좌표로써 정확하게 표현할 수 있다.
또한, 자율 주행을 위한 지도는 차선뿐만 아니라, 차로의 중심선, 도로의 경계선, 도로 중심선, 정지선 등과 같은 규제선의 위치에 관한 정보 포함할 수 있으며, 중앙 분리대, 터널, 교량 및 지하차도와 같은 도로 시설의 위치에 관한 정보를 포함할 수 있고, 교통 안전 표지, 노면 표시 및 신호기와 같은 표지 시설의 위치에 관한 정보를 포함할 수 있다. 또한, 자율 주행을 위한 지도는 지형, 지물, 규제선의 위치와 같은 정적인 정보뿐만 아니라, 실시간 도로 상황, 차량 및 사람과 같은 이동 객체의 위치와 같은 동적인 정보를 포함할 수 있다.
또한, 자율 주행 차량은, 측위 센서를 이용하여 차량의 현재 위치에 대응하는 지도 내의 위치를 산출하고, 산출된 위치에 기초하여 자율 주행을 수행할 수 있다.
본 개시는, 차량의 주변 상황 또는 차량의 주행 상황에 따라, 카메라 및 라이다를 선택적으로 이용하여 지도 내에서의 차량의 위치를 결정하기 위한 다양한 실시예가 제공된다.
또한, 본 개시는, 2 차원 정보 및 3 차원 정보가 결합된 자율 주행을 위한 지도에 대한 다양한 실시예가 제공된다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 2 차원으로 표현된 도로면 정보 및 3 차원으로 표현된 구조물 정보를 포함하는 지도를 저장하는 저장부, 차량 주변의 도로면에 대한 2 차원 이미지를 획득하는 카메라, 차량 주변의 구조물에 대한 3 차원 공간 정보를 획득하는 라이다 및 차량 주변의 도로면 또는 구조물에 관한 정보를 획득할 수 있는지 여부에 기초하여, 카메라 및 라이다 중 적어도 하나를 위치 센서로써 결정하고, 결정된 위치 센서를 이용하여 차량의 현재 위치에 대응하는 지도 내의 위치를 결정하고, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행하는 제어부를 포함하는, 자율 주행 차량을 제공할 수 있다.
또한, 제어부는, 카메라를 위치 센서로써 결정함에 따라, 카메라를 이용하여 차량 주변의 도로면에 대한 2 차원 이미지를 획득하고, 2 차원 이미지 내의 차선 또는 노면 정보를 지도 내의 2 차원 도로면 정보와 매핑함으로써, 차량의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
또한, 제어부는, 라이다를 위치 센서로써 결정함에 따라, 라이다를 이용하여 차량 주변의 구조물에 대한 3 차원 공간 정보를 획득하고, 3 차원 공간 정보를 지도 내의 3 차원 구조물 정보와 매핑함으로써, 차량의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
또한, 제어부는, 지도 내에 표현된 차량 주변의 도로면에 차선 또는 노면 표시가 있는지 여부 또는 차량의 지도 내의 위치 주변에 구조물이 있는지 여부를 판단함으로써, 차량 주변의 도로면 또는 구조물에 관한 정보를 획득할 수 있는지 여부를 결정할 수 있다.
또한, 제어부는, 카메라로부터 획득된 차량 주변의 도로면에 대한 2 차원 이미지로부터 도로면에 표시된 차선 또는 노면 표시를 획득할 수 있는지 여부를 판단함으로써, 차량 주변의 도로면에 대한 관한 정보를 획득할 수 있는지 여부를 결정할 수 있다.
또한, 제어부는, 차량 주변에 대응하는 지도 내의 도로면에 차선 또는 노면 표시가 없는 것으로 결정함에 따라, 라이다를 위치 센서로써 결정할 수 있다.
또한, 제어부는, 2 차원 이미지로부터 도로면에 표시된 차선 또는 노면 표시를 획득할 수 없는 것으로 결정함에 따라, 라이다를 위치 센서로서 결정할 수 있다.
또한, 제어부는, 지도에 기초하여, 차량 주변에 라이다로 감지할 수 있는 구조물이 존재하는지 여부를 결정하고, 차량 주변에 구조물이 없는 것으로 결정됨에 따라, 카메라를 위치 센서로써 결정할 수 있다.
또한, 제어부는, 차량 주변의 도로면 및 구조물에 관한 정보를 함께 획득할 수 있고, 차량의 주행 상황이 차선 변경, 회전 및 유턴 중 적어도 하나인 경우, 카메라 및 라이다를 함께 위치 센서로서 결정할 수 있다.
또한, 지도는 지도 내의 객체에 대응하여 객체를 신뢰할 수 있는 정도를 나타내는 신뢰도 인덱스 정보가 결정된 지도이고, 제어부는, 지도 내의 객체에 대응하는 신뢰도 인덱스에 기초하여, 차량의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
도 1은 일부 실시예에 따른, 차량이 지도 내에서의 차량의 위치를 결정하는 방법을 나타내는 도면이다.
도 2은 일부 실시예에 따른, 차량이 차량 주변의 상황에 따라, 카메라 또는 라이다를 선택적으로 이용하여 지도 내에서의 차량의 위치를 결정하는 방법을 나타내는 흐름도이다.
도 3a 내지 3b는 일부 실시예에 따른, 차량이 자율 주행을 위한 지도를 생성하는 방법을 나타내는 도면이다.
도 4a 및 4b는 일부 실시예에 따른, 차량이 지도 내의 도로면으로부터 차선 또는 노면 정보를 획득할 수 없는 경우, 차량의 위치를 결정하는 방법을 도시한다.
도 5a 및 도 5b는 다른 실시예에 따른, 차량이 지도 내의 도로면으로부터 차선 또는 노면 정보를 획득할 수 없는 경우, 차량의 위치를 결정하는 방법을 도시한다.
도 6a 및 6b는 일부 실시예에 따른, 차량이 차량 주변의 구조물에 대한 정보를 획득할 수 없는 경우, 차량의 위치를 결정하는 방법을 도시한다.
도 7a 및 7b는 일부 실시예에 따른, 차량이 기 설정된 상황에서, 카메라 및 라이다를 이용하여 차량의 위치를 결정하는 방법을 도시한다.
도 8은 일부 실시예에 따른, 차량이 현재 이용 중인 위치 센서의 식별 정보를 디스플레이하는 방법을 도시한다.
도 9a 및 9b는 일부 실시예에 따른, 차량이 지도 내의 객체의 신뢰도 인덱스에 기초하여 지도 내의 위치를 결정하는 방법을 도시한다.
도 10은 일부 실시예에 따른, 차량의 블록도를 도시한다.
도 11는 다른 실시예에 따른 차량의 블록도를 도시한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 지도 내의 3 차원 정보란, 실제의 영역 또는 사물이 3 차원 좌표로써 표현된 지도 정보를 의미할 수 있다.
명세서 전체에서, 지도 내의 2 차원 정보란, 실제의 영역 또는 사물에 표시된 정보를 표현하는 지도 정보를 의미할 수 있다. 사물에 표시된 정보는, 사물에 표시된 텍스트, 숫자, 모양 및 색을 의미할 수 있으나 이에 제한되지 않는다. 2 차원 정보는 실제의 사물에 표시된 색, 모양 및 정보와 유사하게 표현된 이미지일 수 있으며, 카메라로 촬영된 실제 이미지가 확대, 축소 또는 회전됨으로써 생성된 이미지일 수도 있다.
도 1은 일부 실시예에 따른, 차량(100)이 지도 내에서의 차량(100)의 위치를 결정하는 방법을 나타내는 도면이다.
차량(100)은, 측위 센서로부터 획득된 정보와 자율 주행을 위한 지도의 정보를 매핑함으로써 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 정밀하게 산출할 수 있다. 실시예에 따라, 차량(100)의 지도 내의 위치를 결정하는 과정은 로컬라이제이션(Localization)으로 언급될 수 있다.
측위 센서는 라이다(LiDAR, light detection and ranging), 카메라(Camera), 레이더(Radar), GPS(Global Positioning System), 자이로스코프(Gyroscope) 및 초음파 센서(Ultrasonic wave sensor)를 포함할 수 있으나, 이에 제한되지 않는다.
GPS는 GPS 위성에서 전송하는 신호를 수신함으로써, 차량(100)의 현재 위치를 산출하는 위성항법시스템일 수 있다. 차량(100)은 GPS를 이용하여 씨드(Seed) 위치를 결정하고, 씨드 위치를 기준으로, 카메라 또는 라이다를 이용하여 획득된 차량(100) 주변의 정보를 지도와 매핑함으로써 차량(100)의 정확한 위치를 결정할 수 있다.
레이더는 전파를 출력하고, 레이더와 인접한 사물로부터 반사된 전파의 소요 시간 및 주파수 편이를 측정함으로써, 레이더와 인접한 사물의 속도 및 사물과의 거리를 검출할 수 있다. 레이더는 기능에 따라 장거리용 레이더와 중/단거리용 레이더로 나누어 질 수 있다. 예를 들어, 앞차와의 간격을 자동으로 조절하기 위해 장거리 레이더가 사용될 수 있으며, 긴급제동 또는 사각지대 경보를 위해 중/단거리용 레이더가 사용될 수 있다.
라이다는 펄스 레이저 빔을 출력하고, 물체로부터 반사된 레이저 빔의 소요 시간을 측정함으로써 물체의 거리 정보를 획득할 수 있다. 이에 따라, 차량(100)은 라이다를 이용하여 차량(100)과 인접한 물체뿐만 아니라, 차량(100)과 멀리 떨어진 물체에 대해 3 차원 지도를 생성할 수 있다. 레이더 또한 주변 사물과의 거리를 검출할 수 있으나, 라이다는 파장이 짧은 레이저 광선을 사용함으로써, 라이다에 의해 표현된 사물 이미지는 해상도 및 정밀도가 뛰어나며, 3 차원 지도 매핑(Mapping)에 적합할 수 있다.
또한, 차량(100)은 라이다를 이용하여 차량(100) 주변의 물체의 형태 정보 및 주변의 물체까지의 거리 정보를 획득하고, 획득된 정보를 3 차원 지도와 비교함으로써 차량(100)의 현재 위치에 대응하는 3 차원 지도 내의 위치를 결정할 수 있다.
그러나, 차량(100)은 라이다를 이용하여 차선 또는 표지판의 표시 정보와 같은 사물에 표현된 정보를 인식하기 어렵기 때문에, 차량(100)의 라이다로부터 획득된 정보와 2 차원 지도를 비교함으로써, 차량(100)의 현재 위치에 대응하는 2 차원 지도 내의 위치를 결정하기는 어려울 수 있다. 또한, 라이다는 전력 소비가 많아 장시간 사용이 어려울 수 있다.
반면, 차량(100)은 카메라를 이용하여 차량(100) 주변의 2 차원 이미지를 획득하고, 획득된 이미지로부터 사물 및 사물에 표시된 정보를 인식할 수 있다. 따라서, 차량(100)은 카메라를 이용하여 도로면에 그려진 차선이나 표지판의 정보를 획득할 수 있다. 그러나, 카메라는 물체와의 거리 정보를 알기 어려우며, 물체를 3 차원적으로 인식할 수 있더라도 계산량이 많아 처리 속도가 늦어질 수 있다. 따라서, 차량(100)은 카메라로부터 획득된 정보와 3 차원 지도를 비교함으로써, 현재 위치에 대응하는 3 차원 지도 내의 위치를 결정하기는 어려울 수 있다.
도 1을 참조하면, 일부 실시예에 따른, 차량(100)은 2 차원으로 표현된 도로면 정보(10) 및 3 차원으로 표현된 구조물 정보(20)를 포함하는 자율 주행을 위한 지도(30)를 저장할 수 있다.
예를 들어, 자율 주행을 위한 지도(30) 내에서 도로면(10)은 2 차원으로 표현되고 도로면을 제외한 나머지 영역(20)은 3 차원으로 표현될 수 있다. 도로면(10)은 차도를 의미할 수 있으며, 도로면(10)을 제외한 나머지 영역(20)은 차도와 인도를 나누는 연석, 인도, 건물, 나무 및 사람을 의미할 수 있으나 이에 제한되지 않는다. 도로면(10)에는 도로, 차선, 속도 제한 표시, 방향 표시, 목적지 표시가 표현될 수 있다.
2 차원 도로면 정보(10)는 카메라로 촬영된 실제 이미지가 확대, 축소 또는 회전됨으로써 생성된 정보일 수 있다. 이 경우, 2 차원 도로면 정보(10)가 카메라로 촬영된 도로면 이미지와 유사할수록, 차량(100)은 카메라로부터 획득된 2 차원 이미지와 지도(30) 내의 2 차원 도로면 정보(10)를 매핑하기 용이하며, 보다 빠르고 정확하게 매핑할 수 있다.
3 차원 구조물 정보(20)는 라이다를 이용하여 획득된 3 차원 정보일 수 있다. 3 차원 구조물 정보(20)는 포인트 클라우드 맵(Point cloud map) 및 그리드 맵(Grid map) 형태로 표현될 수 있으나, 이에 제한되지 않는다. 3 차원 구조물 정보(20)는 사물의 형태 및 거리에 대한 정보를 포함할 수 있다.
차량(100)은 차량(100)의 주변 상황 정보에 기초하여, 2 차원 도로면 정보(10) 및 3 차원 구조물 정보(20)를 선택적으로 또는 동시에 참조하여 차량(100)의 현재 위치에 대응하는 지도(30)내의 위치를 결정할 수 있다.
예를 들어, 차량(100)은 카메라를 이용하여 차량(100) 주변의 도로면의 이미지를 획득하고, 획득된 도로면의 이미지를 2 차원 도로면 정보(10)와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도(30) 내의 위치를 결정할 수 있다.
그러나, 차량(100) 주변에 차량(100)이 많을 때, 차량(100)은 차량(100) 주변의 도로면의 이미지를 획득하지 못할 수 있다. 또한, 눈 또는 비로 인해 도로에 표시된 정보가 가려지는 경우, 차량(100)은 도로면의 정확한 이미지를 획득하지 못할 수 있다. 또한, 비 포장 도로인 경우, 도로면에 표시된 정보가 없을 수 있다. 이 경우, 차량(100)은 라이다를 이용하여 차량(100)의 주변의 구조물의 형태 및 위치 중 적어도 하나를 검출하고, 검출된 정보를 3 차원 구조물 정보(20)와 매핑함으로써 차량(100)의 현재 위치에 대응하는 자율 주행을 위한 지도(30) 내의 위치를 결정할 수 있다.
또한, 평야 지대에 위치하는 고속도로에서는 차량(100) 주변에 구조물이 존재하지 않을 수 있다. 이 경우, 차량(100)은 카메라를 이용하여 차량(100) 주변의 도로면의 이미지를 획득하고, 획득된 도로면의 이미지를 2 차원 도로면 정보(10)와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도(30) 내의 위치를 결정할 수 있다.
또한, 차량(100)은 실시간으로 차량(100)의 정확한 포즈 또는 위치를 검출하는 것이 중요하다고 판단되는 경우, 카메라 및 라이다를 함께 이용하여, 차량(100) 주변의 도로면의 이미지 정보와 함께 구조물의 형태 및 위치의 정보를 획득하고, 획득된 정보를 2 차원 도로면 정보(10) 및 3 차원 구조물 정보(20)와 각각 매핑함으로써 보다 정확한 지도(30) 내의 위치를 검출할 수 있다. 예를 들어, 차량(100)은 차선 변경 시 카메라 및 라이다를 함께 이용할 수 있다.
또한, 사용자의 입력에 따라, 카메라만을 이용하거나, 라이다만을 이용하거나, 카메라 또는 라이다를 동시에 이용할 수도 있다.
도 2은 일부 실시예에 따른, 차량(100)이 차량(100) 주변의 상황에 따라, 카메라 또는 라이다를 선택적으로 이용하여 지도 내에서의 차량(100)의 위치를 결정하는 방법을 나타내는 흐름도이다.
단계 S210에서, 차량(100)은, 2 차원으로 표현된 도로면 정보 및 3 차원으로 표현된 구조물 정보를 포함하는 지도를 저장할 수 있다.
기존의 자율 주행을 위한 지도는 2 차원 지도 또는 3 차원 지도와 같은 단일 차원의 지도일 수 있다. 자율 주행을 위한 2 차원 지도는 카메라를 이용하여 획득된 이미지에 기초하여 구성될 수 있으며, 3 차원 지도는 라이다를 이용하여 획득된 3 차원 정보에 기초하여 구성될 수 있다.
일부 실시예에 따른, 차량(100)은 카메라 및 라이다를 함께 이용하여 도로면은 2 차원으로 표현되고, 구조물은 3 차원으로 표현된 자율 주행을 위한 지도를 생성할 수 있다. 차량(100)이 카메라 및 라이다를 이용하여 2 차원 도로면 및 3 차원 구조물을 포함하는 지도를 생성하는 방법은, 도 3a 및 3b를 참조하여 상세히 후술된다.
차량(100)은 직접 지도를 생성할 수 있으며, 외부 서버로부터 수신할 수도 있다.
단계 S220에서, 차량(100)은, 차량(100) 주변의 도로면 또는 구조물에 관한 정보를 획득할 수 있는지 여부에 기초하여, 카메라 및 라이다 중 적어도 하나를 위치 센서로써 결정할 수 있다.
차량(100)은, 차량(100) 주변의 도로면에 관한 정보를 획득할 수 없는 경우, 라이다를 위치 센서로써 결정할 수 있다. 또한, 차량(100)은 차량(100) 주변의 구조물에 관한 정보를 획득할 수 없는 경우, 카메라를 위치 센서로써 결정할 수 있다.
차량(100)은 지도 내에 표현된 차량(100) 주변의 도로면에 차선 또는 노면 표시가 없는 경우, 차량(100) 주변의 실제 도로면에 차선 또는 노면 표시가 없는 것으로 결정하고, 차량(100) 주변의 도로면에 관한 정보를 획득될 수 없는 것으로 결정할 수 있다.
또한, 차량(100)은 카메라로부터 획득된 차량(100) 주변의 도로면에 대한 2 차원 이미지로부터 도로면에 표시된 차선 또는 노면 표시를 획득할 수 있는지 여부를 판단하고, 차선 또는 노면 표시가 다른 물체에 의해 가려지는 등의 이유로 도로면에 대한 2 차원 이미지로부터 차선 또는 노면 표시가 식별되지 않는 경우, 차량(100) 주변의 도로면에 관한 정보를 획득될 수 없는 것으로 결정할 수 있다.
또한, 차량(100)은 지도 내의 차량(100) 위치 주변에 구조물이 표시되어 있지 않는 경우, 실제 차량(100) 주변에 구조물이 존재하지 않는 것으로 결정하고, 차량(100) 주변의 구조물에 관한 정보를 획득할 수 없는 것으로 결정할 수 있다.
또한, 차량(100)은, 차량(100) 주변의 도로면 및 구조물에 관한 정보를 모두 획득할 수 있고, 차량(100)의 주행 상황이 차량(100)의 정확한 포즈 또는 위치를 검출할 필요가 있는 기 결정된 상황인 경우, 카메라 및 라이다를 모두 위치 센서로서 결정하고, 카메라로부터 획득된 도로면에 대한 2 차원 이미지를 지도 내의 2 차원 도로면 정보와 매핑하고 및 라이다로부터 획득된 3 차원 정보를 지도 내의 3 차원 구조물 정보와 매핑함으로써 보다 빠르고 정확하게 지도 내의 차량(100)의 위치를 결정할 수 있다. 기 결정된 주행 상황은 예를 들어, 차선 변경, 좌회전, 우회전 및 유턴 등 일 수 있으나, 이에 제한되지 않는다.
단계 S230에서, 차량(100)은, 결정된 위치 센서를 이용하여 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
예를 들어, 차량(100)은, 카메라를 위치 센서로써 결정함에 따라, 카메라를 이용하여 차량(100) 주변의 도로면에 대한 2 차원 이미지를 획득하고, 2 차원 이미지 내의 차선 또는 노면 정보를 지도 내의 2 차원 도로면 정보와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
예를 들어, 차량(100)은 2 차원 이미지로부터 차선의 특징점을 검출하고, 검출된 특징점을 2 차원 도로면 정보와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
또한, 차량(100)은, 라이다를 위치 센서로써 결정함에 따라, 라이다를 이용하여 차량(100) 주변의 구조물에 대한 3 차원 공간 정보를 획득하고, 3 차원 공간 정보를 지도 내의 3 차원 구조물 정보와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
예를 들어, 차량(100)은 3 차원 공간 정보로부터 건물의 모서리의 특징점을 검출하고, 검출된 특징점을 3 차원 공간 정보와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
단계 S240에서, 차량(100)은, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행할 수 있다.
차량(100)은, 차량(100)의 지도 내의 위치에 기초하여, 차량(100)의 진행 방향 또는 차량(100)의 다음 동작을 결정할 수 있다.
도 3a 내지 3b는 일부 실시예에 따른, 차량(100)이 자율 주행을 위한 지도를 생성하는 방법을 나타내는 도면이다.
도 3a를 참조하면, 차량(100)은 2 차원으로만 표현된 지도(310)를 생성할 수 있다. 예를 들어, 차량(100)은 주행을 하면서, 차량(100)에 구비된 카메라를 이용하여 차량(100) 주위의 사물에 대한 2 차원 이미지를 획득하고, 주행 거리, 각도 및 획득된 2 차원 이미지에 기초하여 2 차원 지도(310)를 생성할 수 있다.
또한, 차량(100)은 3 차원으로만 표현된 지도(320)를 생성할 수 있다. 예를 들어, 차량(100)은 주행을 하면서, 차량(100)에 구비된 라이다를 이용하여 차량(100) 주위의 사물에 대한 3 차원 정보를 획득하고, 주행 거리, 각도 및 획득된 3 차원 정보에 기초하여 3 차원 지도(320)를 생성할 수 있다. 3 차원 지도(320)는 도 3a에 도시된 바와 같이, 라이다로부터 획득된 사물의 위치가 다수의 점으로 표현된 포인트 클라우드(Point cloud) 지도 일 수 있다. 또한, 3 차원 지도(320)는 사물의 위치가 복셀(Voxel)로 표현된 지도 일 수 있으나, 이에 제한되지 않는다.
2 차원으로만 표현된 지도(310)는 도로면이나 사물에 표현된 정보를 정확하게 표현할 수 있지만, 카메라만으로 사물의 거리 정보를 알 수 없으므로 사물의 정확한 위치를 표현하기 어려울 수 있다. 또한, 조명 환경 또는 그림자에 의해 특징점의 오검출이 많을 수 있다.
반면, 3 차원으로만 표현된 지도(320)는 사물의 거리 정보를 정확히 표현할 수 있으며, 조명 환경 및 그림자에 의한 특징점의 오검출이 적지만, 도로면이나 사물에 표현된 정보를 정확하게 표현하지 못할 수 있다.
도 3b를 참조하면, 차량(100)은 도로면(332)은 2 차원으로 표현하고, 도로면 이외의 구조물(331)은 3 차원으로 표현한 지도(30)를 생성할 수 있다.
예를 들어, 차량(100)은 주행을 하면서, 카메라를 이용하여 차량(100) 주위의 도로면에 대한 2 차원 이미지를 획득하고, 동시에 라이다를 이용하여 주행 차량(100) 주위의 구조물에 대한 3 차원 정보를 획득하고, 주행 거리, 각도 및 획득된 도로면에 대한 2 차원 이미지 및 구조물에 대한 3 차원 정보에 기초하여, 도로면(331)은 2 차원으로 표현되고, 도로면 이외의 영역(332)은 3 차원으로 표현된 지도(30)를 생성할 수 있다.
2 차원으로만 표현된 지도(310)와 3 차원으로만 표현된 지도 (320)의 스케일이 정확히 일치하는 경우, 차량(100)은 2 차원으로만 표현된 지도(310)로부터 도로면에 대한 정보를 참조하고, 3 차원으로만 표현된 지도(320)로부터 구조물에 대한 정보를 참조할 수도 있다.
2 차원으로만 표현된 지도(310)와 3 차원으로만 표현된 지도 (320)의 스케일을 정확히 일치시키기 위해, 차량(100)은 지도 생성 시, 주행 진로의 각각의 위치에서 도로면에 대한 2 차원 정보 및 구조물에 대한 3 차원 정보를 함께 생성할 필요가 있다. 이를 위해, 차량(100)은 지도 생성 시, 카메라 및 라이다를 함께 이용하여 주행 진로의 각각의 위치에서 도로면에 대한 2 차원 정보 및 구조물에 대한 3 차원 정보를 동시에 획득할 필요가 있다.
따라서, 차량(100)은 지도 생성 시 2 차원으로만 표현된 지도(310)와 3 차원으로만 표현된 지도 (320)를 따로 생성할 필요 없이 도로면(332)은 2 차원 정보로 표현하고, 구조물(331)은 3 차원 정보로 표현한 하나의 지도(30)를 생성할 수 있다.
예를 들어, 차량(100)은 주행 진로에서 차량(100)이 이동할 때 마다, 주기적으로 노드(Node)를 생성하고, 하나의 노드에서 획득된 센서 데이터를 각 노드에 대응하여 저장할 수 있다. 센서 데이터 정보는 GPS 정보, IMU(Inertial Measurement Unit) 정보, 카메라 정보 및 라이다 정보를 포함할 수 있으나, 이에 제한되지 않는다.
센서 데이터를 저장함에 따라, 차량(100)은 카메라로부터 획득된 이미지에서 도로 영역과 비도로 영역을 구분할 수 있다. 또한, 차량(100)은 라이다로부터 획득된 3 차원 정보에서, 도로 영역과 비도로 영역을 구분할 수 있다.
이 후, 차량(100)은 각각의 노드에 대응하여 저장된 데이터들을 이용하여 초기 포즈 그래프(Pose graph)를 생성할 수 있다. 예를 들어, 차량(100)은 스캔 매핑(Scan matching) 방법 또는 특징 매핑(Feature matching) 방법을 이용하여 포즈 그래프를 생성할 수 있다. 차량(100)은 생성된 포즈 그래프를 최적화함으로써 차량(100)의 정밀한 포즈를 산출할 수 있다. 차량(100)의 포즈는 차량(100)이 움직인 거리 및 각도를 의미할 수 있다. 차량(100)은 각각의 노드에 대응하여 저장된 데이터 및 산출된 포즈에 기초하여, 2 차원 도로면 정보 및 3 차원 구조물 정보를 포함하는 하나의 지도(30)를 생성할 수 있다.
도 4a 및 4b는 일부 실시예에 따른, 차량(100)이 지도 내의 도로면으로부터 차선 또는 노면 정보를 획득할 수 없는 경우, 차량(100)의 위치를 결정하는 방법을 도시한다.
도 4a의 단계 S410을 참조하면, 차량(100)은 지도에 기초하여, 차량(100) 주변의 도로면에 차선 또는 노면 표시가 있는지 여부를 판단 할 수 있다.
차량(100)은 라이다가 아닌 카메라만을 이용하여 차량(100)의 현재 위치를 결정할 수 있다. 예를 들어, 카메라가 디폴트 위치 센서로써 설정되어 있는 경우, 차량(100)은 카메라만을 이용하여 차량(100)의 현재 위치를 결정할 수 있다. 또한, 라이다의 경우 소비 전력이 크므로 차량(100)의 배터리의 소모가 커질 수 있다. 이에 따라, 차량(100)은 남은 배터리의 양이 기준 이하인 경우, 카메라만을 이용하여 차량(100)의 현재 위치를 결정할 수도 있다.
차량(100)은 차량(100)의 현재 위치에 기초하여, 차량(100) 주변의 도로면에 대한 지도 정보를 획득할 수 있다. 차량(100) 주변의 도로면은 예를 들어, 차량(100)이 위치한 지점을 기준으로 반경 3m 일 수 있으나 3m 보다 짧을 수 있으며, 3m 보다 길 수도 있다. 또한, 차량(100) 주변의 도로면은 차량(100)에 탑재된 카메라의 위치 및 카메라의 시야각 중 적어도 하나에 기초하여 결정될 수 있다. 예를 들어, 카메라가 차량(100)의 앞 유리창 부근에 위치하는 경우, 차량(100) 주변의 도로면은, 차량(100)으로부터 전방 4m인 도로면 일 수 있다.
차량(100)은 차량(100) 주변의 도로면에 대한 지도 정보에 기초하여, 차량(100) 주변의 도로면에 차선 또는 노면 표시가 있는지 여부를 판단할 수 있다. 차량(100)이 위치하는 장소가 골목길이거나 비포장 도로인 경우, 도로면에 차선 또는 노면 표시가 없을 수 있다.
단계 S420을 참조하면, 차량(100)은 차량(100) 주변의 도로면에 차선 또는 노면 표시가 없는 것으로 결정함에 따라, 라이다를 위치 센서로써 결정할 수 있다.
차량(100) 주변의 도로면에 차선 또는 노면 표시가 없는 경우, 차량(100)은 카메라로부터 획득된 이미지로부터 차량(100)의 현재 위치를 결정하기 위한 정보를 획득할 수 없다. 이에 따라, 차량(100)은 차량(100) 주변의 도로면에 차선 또는 노면 표시가 없는 것으로 결정함에 따라, 라이다를 이용하여 차량(100)의 현재 위치를 결정할 수 있다.
예를 들어, 도 4b를 참조하면, 차량(100)은 차도에서 골목길로 진입함에 따라, 도로면에 차선 또는 노면 표시가 없는 것으로 결정하고, 라이다(227)를 제어하여, 차량(100) 주변의 3 차원 정보를 획득할 수 있다.
단계 S430을 참조하면, 차량(100)은 라이다를 이용하여 차량(100) 주변의 구조물에 대한 3 차원 공간 정보를 획득하고, 3 차원 공간 정보를 지도 내의 3 차원 구조물 정보와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다. 단계 S440을 참조하면, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행할 수 있다. 단계 S430 내지 S440은 도 2의 단계 S230 내지 단계 S240을 참조하여 설명될 수 있다.
또한, 골목길을 주행 중 차량(100)은, 지도에 기초하여, 주행 경로 상의 도로면에 참조할 수 있는 차선 또는 노면 표시가 있는지 여부를 주기적으로 확인할 수 있다. 차량(100)은, 주행 경로 상의 도로면에 참조할 수 있는 차선 또는 노면 표시가 있는 것으로 결정함에 따라, 차선 또는 노면 표시가 위치하는 부근에서 카메라를 이용하여 차량(100)의 현재 위치를 결정할 수도 있다.
도 5a 및 도 5b는 다른 실시예에 따른, 차량(100)이 지도 내의 도로면으로부터 차선 또는 노면 정보를 획득할 수 없는 경우, 차량(100)의 위치를 결정하는 방법을 도시한다.
단계 S510에서, 차량(100)은, 카메라로부터 획득된 차량(100) 주변의 도로면에 대한 2 차원 이미지로부터 도로면에 표시된 차선 또는 노면 표시를 획득할 수 있는지 여부를 판단할 수 있다.
차량(100)은, 지도에 기초하여, 차량(100) 주위의 도로면에 표시된 차선 또는 노면 표시에 대한 정보를 획득할 수 있다. 차량(100)은 차량(100) 주위의 실제 도로면에 차선 또는 노면 표시가 있는 것으로 결정함에 따라, 획득된 2 차원 이미지로부터 차선 또는 노면 표시를 검출할 수 있는지 여부를 판단할 수 있다.
또한, 차량(100)은, 지도를 참조하지 않고, 획득된 2 차원 이미지로부터 기 저장된 차선 또는 노면 표시의 특징점을 검출할 수 있는지 여부에 기초하여, 2 차원 이미지로부터 도로면에 표시된 차선 또는 노면 표시를 획득할 수 있는지 여부를 판단할 수도 있다.
실제 도로면에 차선 또는 노면 표시가 있으나, 차량(100) 주변에 다른 차량(100)이 많거나, 눈, 비, 그림자에 차선 또는 노면 표시가 가려지거나 또는 주위 조도가 낮은 경우, 차량(100)은 2 차원 이미지로부터 차선 또는 노면 표시에 대한 정보를 획득하지 못할 수 있다.
예를 들어, 도 5b를 참조하면, 차량(100) 주위에 다른 차량(100)이 많아, 다른 차량(100)이 도로면 상의 차선 또는 노면 표시를 가리는 경우, 카메라로부터 획득된 2 차원 이미지 내에서는 차선 또는 노면 표시가 포함되지 않을 수 있다.
단계 S520에서, 차량(100)은, 차량(100) 주변에 대응하는 지도 내의 도로면에 차선 또는 노면 표시가 없는 것으로 결정함에 따라, 라이다를 위치 센서로써 결정할 수 있다.
차량(100) 주변의 도로면에 차선 또는 노면 표시가 있는 것으로 지도 상에 표시되어 있으나, 차선 또는 노면 표시가 촬영되지 못하는 경우, 차량(100)은 라이다(227)를 위치 센서로써 결정할 수 있다.
단계 S530에서, 차량(100)은, 라이다를 이용하여 차량(100) 주변의 구조물에 대한 3 차원 공간 정보를 획득하고, 3 차원 공간 정보를 지도 내의 3 차원 구조물 정보와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다. 단계 S4540에서, 차량(100)은, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행할 수 있다.
도 6a 및 6b는 일부 실시예에 따른, 차량(100)이 차량(100) 주변의 구조물에 대한 정보를 획득할 수 없는 경우, 차량(100)의 위치를 결정하는 방법을 도시한다.
단계 S610에서, 차량(100)은, 지도에 기초하여, 차량(100) 주변에 라이다로 감지할 수 있는 구조물이 존재하는지 여부를 결정할 수 있다.
라이다가 디폴트 위치 센서로써 설정되는 경우, 차량(100)은 라이다를 이용하여 차량(100)의 현재 위치를 결정할 수 있다. 차량(100)은 라이다를 이용하여 차량(100)의 현재 위치를 결정하는 중에, 지도에 기초하여, 차량(100) 주변 또는 차량(100)의 진행 경로 상에 구조물이 존재하는지 여부를 결정할 수 있다.
예를 들어, 도 6b를 참조하면, 차량(100)이 없는 평야 지역 또는 사막 지역을 주행하는 경우, 차량(100) 주변에 라이다로 감지할 수 있는 구조물이 존재하지 않을 수 있다.
단계 S620에서, 차량(100)은, 차량(100) 주변에 구조물이 없는 것으로 결정됨에 따라, 카메라(228)를 위치 센서로써 결정할 수 있다. 단계 S630에서, 차량(100)은, 카메라(228)를 이용하여 차량(100) 주변의 도로면에 대한 2 차원 이미지를 획득하고, 2 차원 이미지 내의 차선 또는 노면 정보를 지도 내의 2 차원 도로면 정보와 매핑함으로써, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다. 단계 S640에서, 차량(100)은, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행할 수 있다.
도 7a 및 7b는 일부 실시예에 따른, 차량(100)이 기 설정된 상황에서, 카메라 및 라이다를 이용하여 차량(100)의 위치를 결정하는 방법을 도시한다.
단계 S710에서, 차량(100)은, 차량(100) 주변의 도로면 및 구조물에 관한 정보를 획득할 수 있는지 판단할 수 있다.
차량(100)은, 지도에 기초하여, 차량(100)의 주변의 도로면에 차선 또는 노면 표시가 있는지 여부 및 차량(100)의 주변에 구조물이 있는지 여부를 판단 할 수 있다. 차량(100)의 주변의 도로면에 차선 또는 노면 표시가 있고, 차량(100)의 주변에 구조물이 있는 경우, 차량(100) 주변의 도로면 및 구조물에 관한 정보를 획득할 수 있는 것으로 판단할 수 있다.
단계 S720에서, 차량(100)은, 차량(100)의 주행 상황이 차선 변경, 회전 및 유턴 인지 여부를 판단할 수 있다.
차량(100)의 주행 상황이 기 설정된 상황인지 여부를 판단할 수 있다. 기 설정된 상황은 차량(100)이 이동하는 중에 실시간으로 차량(100)의 포즈 또는 위치를 정확하게 판단할 필요가 있는 상황을 의미할 수 있다.
예를 들어, 도 7b를 참조하면, 기 설정된 상황은, 차선 변경, 우회전, 좌회전 및 유턴을 포함할 수 있으나, 이에 제한되지 않는다. 차선을 변경하거나, 회전하는 경우, 직진이 아니므로 차량(100)이 진행 경로를 벗어날 가능성이 높으며, 주위의 차량(100)과의 충돌을 고려하면서 빠른 시간 안에 차량(100)의 위치를 변경하여야 하므로, 빠르고 정확한 위치 결정이 필요할 수 있다.
단계 S730에서, 차량(100)은, 차량(100) 주변의 도로면 및 구조물에 관한 정보를 함께 획득할 수 있고, 차량(100)의 주행 상황이 차선 변경, 회전 및 유턴 중 적어도 하나인 경우, 카메라 및 라이다를 함께 위치 센서로서 결정할 수 있다.
차량(100) 주변의 도로면 및 구조물에 관한 정보를 함께 획득할 수 있고, 차량(100)의 주행 상황이 기 설정된 상황인 것으로 결정됨에 따라, 차량(100)은 카메라(228) 및 라이다를(227) 함께 위치 센서로서 결정할 수 있다.
단계 S740에서, 차량(100)은, 카메라 및 라이다를 함께 이용하여, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다. 단계 S750에서, 차량(100)은, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행 할 수 있다.
도 8은 일부 실시예에 따른, 차량(100)이 현재 이용 중인 위치 센서의 식별 정보를 디스플레이하는 방법을 도시한다.
도 8을 참조하면, 차량(100)은 현재 이용 중인 위치 센서의 식별 정보를 디스플레이 화면 상에 디스플레이할 수 있다.
예를 들어, 차량(100)은 내비게이션 화면 상에 GPS 아이콘(810), 카메라 아이콘(820) 및 라이다 아이콘(830)을 디스플레이할 수 있다.
또한, 차량(100)은 현재 이용 중인 위치 센서는 활성화된 이미지로 디스플레이하고, 현재 이용 중이지 않는 위치 센서는 비활성화된 이미지로 디스플레이함으로써, 현재 이용 중인 위치 센서를 디스플레이 화면 상에 디스플레이할 수 있다.
또한, 차량(100)은 위치 센서를 선택하는 사용자 입력을 수신하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 예를 들어, 비활성화된 라이다 아이콘(830)을 터치하는 사용자 입력을 수신함에 따라, 차량(100)은 라이다를 활성화 시킬 수 있다.
도 9a 및 9b는 일부 실시예에 따른, 차량(100)이 지도 내의 객체의 신뢰도 인덱스에 기초하여 지도 내의 위치를 결정하는 방법을 도시한다.
단계 S910에서, 차량(100)은, 카메라 및 라이다를 이용하여 차량(100) 주변의 정보를 획득할 수 있다.
차량(100)은 카메라를 이용하여 차량(100) 주변의 2 차원 이미지를 획득할 수 있다. 또한, 차량(100)은 라이다를 이용하여 차량(100) 주변의 3 차원 정보를 획득할 수 있다.
단계 S920에서, 차량(100)은, 획득된 차량(100) 주변의 정보로부터 객체의 특징점을 검출할 수 있다.
객체는 사물, 사물의 일부 또는 사물에 표시된 정보일 수 있다. 예를 들어, 객체는, 건물의 모서리, 표지판, 차선, 이동 중인 차량(100), 건물, 건물 내 유리창, 가로수 및 공사 표지판일 수 있으나, 이에 제한되지 않는다.
객체의 특징점은 객체에 대응하여 기 결정되어 있을 수 있다. 예를 들어, 건물의 모서리의 특징점, 표지판의 특징점, 건물 내 유리창의 특징점, 공사 표시판의 특징점이 각각의 객체에 대응하여 저장되어 있을 수 있다.
단계 S930에서, 차량(100)은 객체의 특징점에 기초하여, 객체를 식별할 수 있다.
예를 들어, 차량(100)은 라이다로부터 획득된 3 차원 정보로부터 건물의 모서리의 특징점을 검출함에 따라, 건물의 존재 및 건물의 모서리의 위치를 식별할 수 있다. 또한, 차량(100)은 카메라로부터 획득된 2 차원 이미지로부터 차선의 특징점을 검출함에 따라, 차선의 존재 및 차선의 위치를 식별할 수 있다.
단계 S940에서, 차량(100)은, 식별된 객체에 대응하는 신뢰도에 기초하여, 차량(100)의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
차량(100)은 객체에 대응하여 신뢰도가 결정된 지도를 저장할 수 있다. 신뢰도는 차량(100)이 차량(100)의 지도내의 위치를 결정하기 위해 객체를 신뢰할 수 있는 정도를 의미할 수 있으며, 객체의 변경 가능성, 객체의 특징점의 특정 가능성 및 객체의 반복성을 의미할 수 있다.
예를 들어, 객체가 변경되기 쉬울수록, 객체의 특징점을 특정하기 어려울수록 또는 객체가 기준 거리 이하에서 반복적으로 나타날수록 신뢰도가 낮아질 수 있다. 예를 들어, 신뢰도를 0부터 1까지의 숫자로 표현하는 경우, 건물의 모서리는 변경 가능성이 매우 낮으므로 0.99, 표지판 또한 변경 가능성이 낮으므로 0.9, 차선은 변경 가능성은 낮으나 횡방향으로 반복적으로 나타나므로 0.8, 건물 내 유리창 또한 변경 가능성이 낮으나 반복적으로 나타나므로 0.7, 가로수는 특징점이 명확하지 않으며 반복적이므로 0.5, 공사 표시는 변경 가능성이 높으므로 0.3, 이동 중인 차량은 0으로 지정될 수 있다. 객체의 신뢰도는 지도 생성시 결정될 수 있다.
신뢰도가 낮은 객체의 경우, 차량(100)은 차량(100) 주변의 정보로부터 객체를 식별하더라도, 차량(100)의 지도 내의 위치를 결정할 때 식별된 객체를 고려하지 않거나, 객체의 가중치를 낮출 수 있다. 또한, 신뢰도가 높은 객체의 경우, 차량(100)은 차량(100)의 지도 내의 위치를 결정할 때, 객체의 가중치를 높일 수 있다.
예를 들어, 도 9b를 참조하면, 차량(100)은 3 차원 지도들(910, 920)을 저장할 수 있다. 또한, 차량(100)은, 라이다로부터 획득된 3 차원 정보로부터 차선(913)의 특징점을 검출할 수 있다. 또한, 차량(100)은 라이다로부터 획득된 3 차원 정보로부터 이동 차량(925)의 특징점을 검출할 수 있다. 또한, 차량(100)은 라이다로부터 획득된 3 차원 정보로부터 건물의 모서리의(923) 특징점을 검출할 수 있다.
차선의 신뢰도가 0.8, 건물의 모서리의 신뢰도가 0.99이고, 이동 차량(100)의 신뢰도가 0인 경우, 차량(100)은 건물의 모서리에 가중치 0.99를 부가하고, 차선에 가중치 0.8을 부가하고, 이동 차량(100)에 가중치 0을 부가함으로써, 차량(100)의 지도 내의 위치를 결정할 수 있다.
단계 S950에서, 차량(100)은, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행할 수 있다.
도 10은 일부 실시예에 따른, 차량(100)의 블록도를 도시한다.
일부 실시예에 따른, 차량(100)은 제어부(290), 저장부(270), 라이다(227) 및 카메라(228)를 포함할 수 있다. 그러나, 도 10에 도시된 구성 요소 모두가 차량(100)의 필수 구성 요소인 것은 아니다. 도 10에 도시된 구성 요소보다 많은 구성 요소에 의해 차량(100)이 구현될 수도 있고, 도 10에 도시된 구성 요소보다 적은 구성 요소에 의해 차량(100)이 구현될 수도 있다.
예를 들어, 일부 실시예에 따른 차량(100)은 제어부(290), 저장부(270) 및 라이다(227)만으로 구현될 수 있으며, 제어부(290), 저장부(270) 및 카메라(228)만으로 구현될 수도 있다.
제어부(290)는 통상적으로 차량(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(290)는, 저장부(270)에 저장된 프로그램들을 실행함으로써, 저장부(270), 라이다(227) 및 카메라(228)등을 전반적으로 제어할 수 있다. 제어부(290)는, 도 1 내지 도 9b에 설시된 차량(100)의 기능을 수행하기 위하여, 차량(100)의 동작을 제어할 수 있다.
저장부(270)는 차량의 주행을 위한 데이터를 저장할 수 있다. 예를 들어, 저장부(270)는 자율 주행을 위한 내비게이션 지도를 저장할 수 있다. 저장부(270)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
저장부(270)는 2 차원으로 표현된 도로면 정보 및 3 차원으로 표현된 구조물 정보를 포함하는 지도를 저장할 수 있다.
카메라(228)는 차량 주변의 도로면에 대한 2 차원 이미지를 획득할 수 있다.
라이다(227)은 차량 주변의 구조물에 대한 3 차원 공간 정보를 획득할 수 있다.
제어부(290)는 차량 주변의 도로면 또는 구조물에 관한 정보를 획득할 수 있는지 여부에 기초하여, 카메라 및 라이다 중 적어도 하나를 위치 센서로써 결정하고, 결정된 위치 센서를 이용하여 차량의 현재 위치에 대응하는 지도 내의 위치를 결정하고, 결정된 지도 내의 위치에 기초하여 자율 주행을 수행할 수 있다.
또한, 제어부(290)는 카메라(228)를 위치 센서로써 결정함에 따라, 카메라(228)를 이용하여 차량 주변의 도로면에 대한 2 차원 이미지를 획득하고, 2 차원 이미지 내의 차선 또는 노면 정보를 지도 내의 2 차원 도로면 정보와 매핑함으로써, 차량의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
또한, 제어부(290)는 라이다(227)를 위치 센서로써 결정함에 따라, 라이다(227)를 이용하여 차량 주변의 구조물에 대한 3 차원 공간 정보를 획득하고, 3 차원 공간 정보를 지도 내의 3 차원 구조물 정보와 매핑함으로써, 차량의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
또한, 제어부(290)는, 지도 내에 표현된 차량 주변의 도로면에 차선 또는 노면 표시가 있는지 여부 또는 차량의 지도 내의 위치 주변에 구조물이 있는지 여부를 판단함으로써, 차량 주변의 도로면 또는 구조물에 관한 정보를 획득할 수 있는지 여부를 결정할 수 있다.
또한, 제어부(290)는, 카메라(228)로부터 획득된 차량 주변의 도로면에 대한 2 차원 이미지로부터 도로면에 표시된 차선 또는 노면 표시를 획득할 수 있는지 여부를 판단함으로써, 차량 주변의 도로면에 대한 관한 정보를 획득할 수 있는지 여부를 결정할 수 있다.
또한, 제어부(290)는, 차량 주변에 대응하는 지도 내의 도로면에 차선 또는 노면 표시가 없는 것으로 결정함에 따라, 라이다(227)를 위치 센서로써 결정할 수 있다.
또한, 제어부(290)는, 2 차원 이미지로부터 도로면에 표시된 차선 또는 노면 표시를 획득할 수 없는 것으로 결정함에 따라, 라이다(227)를 위치 센서로서 결정할 수 있다.
또한, 제어부(290)는, 지도에 기초하여, 차량 주변에 라이다(227)로 감지할 수 있는 구조물이 존재하는지 여부를 결정하고, 차량 주변에 구조물이 없는 것으로 결정됨에 따라, 카메라(228)를 위치 센서로써 결정할 수 있다.
또한, 제어부(290)는, 차량 주변의 도로면 및 구조물에 관한 정보를 함께 획득할 수 있고, 차량의 주행 상황이 차선 변경, 회전 및 유턴 중 적어도 하나인 경우, 카메라(228) 및 라이다(227)를 함께 위치 센서로서 결정할 수 있다.
지도는 지도 내의 객체에 대응하여 객체를 신뢰할 수 있는 정도를 나타내는 신뢰도 인덱스 정보가 결정된 지도이고, 제어부(290)는, 지도 내의 객체에 대응하는 신뢰도 인덱스에 기초하여, 차량의 현재 위치에 대응하는 지도 내의 위치를 결정할 수 있다.
도 11는 다른 실시예에 따른 차량(100)의 블록도를 도시한다.
일부 실시예에 따른 차량(100)는 자율 주행 차량일 수 있다.
차량(100)은, 추진 장치(210), 전원 공급 장치(299), 통신 장치(250), 입력 장치(260), 출력 장치(280), 저장 장치(270), 주행 장치(220), 센싱 장치(230), 주변 장치(240), 및 제어 장치(290)를 포함할 수 있다. 다만, 차량(100)에는 도 11에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함되거나, 또는 차량(100)에는 도 11에 도시된 구성요소들 중 일부가 포함되지 않을 수 도 있음을, 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
추진 장치(210)는 엔진/모터(211), 에너지원(212), 변속기(213) 및 휠/타이어(214)를 포함할 수 있다.
엔진/모터(211)는 내연 기관, 전기 모터, 증기 기관, 및 스틸링 엔진(stirling engine) 간의 임의의 조합이 될 수 있다. 예를 들어, 차량(100)이 가스-전기 하이브리드 자동차(gas-electric hybrid car)인 경우, 엔진/모터(211)는 가솔린 엔진 및 전기 모터가 될 수 있다.
에너지원(212)은 엔진/모터(211)에 전체적으로 또는 부분적으로 동력을 제공하는 에너지의 공급원일 수 있다. 즉, 엔진/모터(211)는 에너지원(212)을 기계 에너지로 변환하도록 구성될 수 있다. 에너지원(212)의 예로는 가솔린, 디젤, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양광 패널(solar panel), 배터리, 및 다른 전기 전력원들 중 적어도 하나가 될 수 있다. 또는, 에너지원(212)은 연료 탱크, 배터리, 커패시터, 및 플라이휠(flywheel) 중 적어도 하나가 될 수 있다. 에너지원(212)은 차량(100)의 시스템 및 장치에 에너지를 제공할 수 있다.
변속기(213)는 기계적 동력을 엔진/모터(211)로부터 휠/타이어(214)에 전달하도록 구성될 수 있다. 예를 들어, 변속기(213)는 기어박스, 클러치, 차동 장치(differential), 및 구동축 중 적어도 하나를 포함할 수 있다. 변속기(213)가 구동축들을 포함하는 경우, 구동축들은 휠/타이어(214)에 결합되도록 구성되는 하나 이상의 차축들을 포함할 수 있다.
휠/타이어(214)은 외발 자전거, 자전거/오토바이, 삼륜차, 또는 자동차/트럭의 사륜 형식을 포함한 다양한 형식들로 구성될 수 있다. 예를 들어, 6개 이상의 휠을 포함하는 것과 같은 다른 휠/타이어 형식이 가능할 수 있다. 휠/타이어(214)는 변속기(213)에 고정되게 부착되어 있는 적어도 하나의 휠, 및 구동면(driving surface)과 접촉할 수 있는 휠의 림(rim)에 결합되어 있는 적어도 하나의 타이어를 포함할 수 있다.
주행 장치(220)는 브레이크 유닛(221), 조향 유닛(222) 및 스로틀(223)을 포함할 수 있다.
조향 유닛(222)은 차량(100)의 방향을 조절하도록 구성되는 매커니즘들의 조합이 될 수 있다.
스로틀(223)은 엔진/모터(211)의 동작 속도를 제어하여, 차량(100)의 속도를 제어하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀(223)은 스로틀 개방량을 조절하여 엔진/모터(211)로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있으며, 스로틀 개방량을 조절하여 동력 및 추력을 제어할 수 있다.
브레이크 유닛(221)은 차량(100)을 감속시키도록 구성되는 매커니즘들의 조합이 될 수 있다. 예를 들어, 브레이크 유닛(221)은 휠/타이어(214)의 속도를 줄이기 위해 마찰을 사용할 수 있다.
센싱 장치(230)는 차량(100)이 위치해 있는 환경에 관한 정보를 감지하도록 구성되는 다수의 센서들을 포함할 수 있고, 뿐만 아니라 센서들의 위치 및/또는 배향을 수정하도록 구성되는 하나 이상의 액추에이터들을 포함할 수 있다. 예를 들어, 센싱 장치(230)는 GPS(Global Positioning System)(224), IMU(Inertial Measurement Unit)(225), RADAR 유닛(226), LIDAR 유닛(227), 및 이미지 센서(228)를 포함할 수 있다. 또한, 센싱 장치(230)는 온/습도 센서(232), 적외선 센서(233), 기압 센서(235), 근접 센서(236), 및 RGB 센서(illuminance sensor)(237) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
또한, 센싱 장치(230)는 차량(100)의 움직임을 센싱할 수 있는 움직임 센싱 장치(238)를 포함할 수 있다. 움직임 센싱 장치(238)는 지자기 센서(Magnetic sensor)(229), 가속도 센서(Acceleration sensor)(231), 및 자이로스코프 센서(234)를 포함할 수 있다.
GPS(224)는 차량(100)의 지리적 위치를 추정하도록 구성되는 센서일 수 있다. 즉, GPS(224)는 지구에 대한 차량(100)의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다.
IMU(225)는 관성 가속도에 기초하여 차량(100)의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합이 될 수 있다. 예를 들어, 센서들의 조합은, 가속도계들 및 자이로스코프들을 포함할 수 있다.
RADAR 유닛(226)은 무선 신호를 사용하여 차량(100)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다. 또한, RADAR 유닛(226)은, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.
LIDAR 유닛(227)은 레이저를 사용하여 차량(100)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 잇다. 보다 구체적으로, LIDAR 유닛(227)은 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 잇다. LIDAR 유닛(227)은 코히런트(coherent)(예컨대, 헤티로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다.
이미지 센서(228)는 차량(100)의 내부 및 외부의 영상들을 기록하도록 구성되는 스틸 카메라 또는 비디오 카메라가 될 수 있다. 예를 들어, 이미지 센서(228)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 차량(100)의 내부 및 외부 상의 다수의 위치들에 배치될 수 있다.
주변 장치(240)는 라이트(242), 방향 지시등(243), 와이퍼(244), 내부 조명(245), 히터(246), 및 에어컨(247)을 포함할 수 있다.
저장 장치(270)는 마그네틱 디스크 드라이브, 광학 디스크 드라이브, 플래쉬 메모리를 포함할 수 있다. 또는 저장 장치(270)는 휴대 가능한 USB 데이터 저장 장치가 될 수 있다. 저장 장치(270)는 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어를 저장할 수 있다. 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어는 휴대 가능한 저장 매체에 저장될 수 있다.
통신 장치(250)는 다른 디바이스와 무선으로 통신하기 위한 적어도 하나의 안테나를 포함할 수 있다. 예를 들어, 통신 장치(250)는 와이파이 또는 블루투스를 통해 무선으로 셀룰러 네트워크 또는 다른 무선 프로토콜 및 시스템과 통신하기 위해 이용될 수 있다. 제어 장치(290)에 의해 제어되는 통신 장치(250)는 무선 신호를 송수신할 수 있다. 예를 들어, 제어 장치(290)는, 통신 장치(250)가 셀룰러 네트워크와 무선 신호를 송수신하기 위해, 저장 장치(270)에 포함된 프로그램을 실행시킬 수 있다.
입력 장치(260)는 차량(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력 장치(260)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 또한, 입력 장치(260)는 마이크를 포함할 수 있는 바, 마이크는 차량(100)의 탑승자로부터 오디오(예를 들어, 음성 명령)를 수신하도록 구성될 수 있다.
출력 장치(280)는 오디오 신호 또는 비디오 신호를 출력할 수 있으며, 출력 장치(280)는 디스플레이부(281), 및 음향 출력부(282)를 포함할 수 있다.
디스플레이부(281)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 출력 장치(280)의 구현 형태에 따라 출력 장치(280)는 디스플레이부(281)를 2개 이상 포함할 수도 있다.
음향 출력부(282)는 통신 장치(250)로부터 수신되거나 저장 장치(270)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(282)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
입력 장치(260) 및 출력 장치(280)는 네트워크 인터페이스를 포함할 수 있고, 터치 스크린으로 구현될 수 있다.
제어 장치(290)는, 통상적으로 차량(100)의 전반적인 동작을 제어한다. 예를 들어, 제어 장치(290)는, 저장 장치(270)에 저장된 프로그램들을 실행함으로써, 추진 장치(210), 주행 장치(220), 센싱 장치(230), 주변 장치(240), 통신 장치(250), 입력 장치(260), 저장 장치(270), 출력 장치(280), 및 전원 공급 장치(299)를 전반적으로 제어할 수 있다. 또한, 제어 장치(290)는 차량(100)의 움직임을 제어할 수 있다.
또한, 제어 장치(290)는, 센싱된 데이터 및 정밀 지도에 기초하여 차량(100)의 자율 주행을 제어할 수 있다.
전원 공급 장치(299)는 차량(100)의 구성요소들 중 일부 또는 전부에 전력을 제공하도록 구성될 수 있다. 예를 들어, 전원 공급 장치(299)는 재충전가능 리튬 이온 또는 납산(lead-acid) 배터리를 포함할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 차량

Claims (20)

  1. 2 차원으로 표현된 도로면 정보 및 3 차원으로 표현된 구조물 정보를 포함하는 지도를 저장하는 저장부;
    차량 주변의 도로면에 대한 2 차원 이미지를 획득하는 카메라;
    상기 차량 주변의 구조물에 대한 3 차원 공간 정보를 획득하는 라이다; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 카메라를 이용하여 상기 차량 주변의 도로면에 대한 2 차원 이미지를 획득하고, 상기 2 차원 이미지 내의 차선 또는 노면 정보를 상기 지도 내의 상기 2 차원 도로면 정보와 매핑함으로써, 상기 차량의 현재 위치에 대응하는 상기 지도 내의 위치를 식별하고,
    상기 차량 주변에 대응하는 상기 지도 내의 도로면에 차선 또는 노면 표시가 없는 것으로 결정함에 따라, 상기 라이다를 위치 센서로써 결정하고,
    상기 라이다를 상기 위치 센서로써 결정함에 따라, 상기 라이다를 이용하여 상기 차량 주변의 구조물에 대한 3 차원 공간 정보를 획득하고, 상기 3 차원 공간 정보를 상기 지도 내의 3 차원 구조물 정보와 매핑함으로써, 상기 차량의 현재 위치에 대응하는 상기 지도 내의 위치를 식별하고,
    상기 식별된 지도 내의 위치에 기초하여 자율 주행을 수행하는, 자율 주행 차량.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 지도 내에 표현된 상기 차량 주변의 도로면에 차선 또는 노면 표시가 있는지 여부 또는 상기 차량의 상기 지도 내의 위치 주변에 구조물이 있는지 여부를 판단함으로써, 상기 차량 주변의 도로면 또는 구조물에 관한 정보를 획득할 수 있는지 여부를 결정하는, 자율 주행 차량.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 카메라로부터 획득된 상기 차량 주변의 도로면에 대한 2 차원 이미지로부터 상기 도로면에 표시된 차선 또는 노면 표시를 획득할 수 있는지 여부를 판단함으로써, 상기 차량 주변의 도로면에 대한 관한 정보를 획득할 수 있는지 여부를 결정하는, 자율 주행 차량.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 2 차원 이미지로부터 상기 도로면에 표시된 차선 또는 노면 표시를 획득할 수 없는 것으로 결정함에 따라, 상기 라이다를 상기 위치 센서로서 결정하는, 자율 주행 차량.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 지도에 기초하여, 상기 차량 주변에 상기 라이다로 감지할 수 있는 구조물이 존재하는지 여부를 결정하고, 상기 차량 주변에 구조물이 없는 것으로 결정됨에 따라, 상기 카메라를 상기 위치 센서로써 결정하는, 자율 주행 차량.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 차량 주변의 도로면 및 구조물에 관한 정보를 함께 획득할 수 있고, 상기 차량의 주행 상황이 차선 변경, 회전 및 유턴 중 적어도 하나인 경우, 상기 카메라 및 라이다를 함께 상기 위치 센서로서 결정하는, 자율 주행 차량.
  10. 제 1 항에 있어서,
    상기 지도는 상기 지도 내의 객체에 대응하여 상기 객체를 신뢰할 수 있는 정도를 나타내는 신뢰도 인덱스 정보가 결정된 지도이고,
    상기 적어도 하나의 프로세서는, 상기 지도 내의 객체에 대응하는 신뢰도 인덱스에 기초하여, 상기 차량의 현재 위치에 대응하는 상기 지도 내의 위치를 결정하는, 자율 주행 차량.
  11. 2 차원으로 표현된 도로면 정보 및 3 차원으로 표현된 구조물 정보를 포함하는 지도를 저장하는 단계;
    카메라를 이용하여 차량 주변의 도로면에 대한 2 차원 이미지를 획득하고, 상기 2 차원 이미지 내의 차선 또는 노면 정보를 상기 지도 내의 상기 2 차원 도로면 정보와 매핑함으로써, 상기 차량의 현재 위치에 대응하는 상기 지도 내의 위치를 식별하는 단계;
    상기 차량 주변에 대응하는 상기 지도 내의 도로면에 차선 또는 노면 표시가 없는 것으로 결정함에 따라, 라이다를 위치 센서로써 결정하는 단계;
    상기 라이다를 상기 위치 센서로써 결정함에 따라, 상기 라이다를 이용하여 상기 차량 주변의 구조물에 대한 3 차원 공간 정보를 획득하고, 상기 3 차원 공간 정보를 상기 지도 내의 3 차원 구조물 정보와 매핑함으로써, 상기 차량의 현재 위치에 대응하는 상기 지도 내의 위치를 식별하는 단계; 및
    상기 식별된 지도 내의 위치에 기초하여 자율 주행을 수행하는 단계를 포함하는, 자율 주행 방법.
  12. 삭제
  13. 삭제
  14. 제 11 항에 있어서,
    상기 자율 주행 방법은,
    상기 지도 내에 표현된 상기 차량 주변의 도로면에 차선 또는 노면 표시가 있는지 여부 또는 상기 차량의 상기 지도 내의 위치 주변에 구조물이 있는지 여부를 판단함으로써, 상기 차량 주변의 도로면 또는 구조물에 관한 정보를 획득할 수 있는지 여부를 결정하는, 단계를 포함하는, 자율 주행 방법.
  15. 제 11 항에 있어서,
    상기 자율 주행 방법은,
    상기 카메라로부터 획득된 상기 차량 주변의 도로면에 대한 2 차원 이미지로부터 상기 도로면에 표시된 차선 또는 노면 표시를 획득할 수 있는지 여부를 판단함으로써, 상기 차량 주변의 도로면에 대한 관한 정보를 획득할 수 있는지 여부를 결정하는 단계를 포함하는, 자율 주행 방법.

  16. 삭제
  17. 제 11 항에 있어서,
    상기 자율 주행 방법은,
    상기 카메라로부터 획득된 2 차원 이미지로부터 상기 도로면에 표시된 차선 또는 노면 표시를 획득할 수 없는 것으로 결정함에 따라, 상기 라이다를 상기 위치 센서로서 결정하는 단계를 포함하는, 자율 주행 방법.
  18. 제 11 항에 있어서,
    상기 자율 주행 방법은,
    상기 지도에 기초하여, 상기 차량 주변에 상기 라이다로 감지할 수 있는 구조물이 존재하는지 여부를 결정하고, 상기 차량 주변에 구조물이 없는 것으로 결정됨에 따라, 상기 카메라를 상기 위치 센서로써 결정하는 단계를 포함하는, 자율 주행 방법.
  19. 제 11 항에 있어서,
    상기 자율 주행 방법은,
    상기 차량 주변의 도로면 및 구조물에 관한 정보를 함께 획득할 수 있고, 상기 차량의 주행 상황이 차선 변경, 회전 및 유턴 중 적어도 하나인 경우, 상기 카메라 및 라이다를 함께 상기 위치 센서로서 결정하는 단계를 포함하는, 자율 주행 방법.
  20. 제 11 항에 있어서,
    상기 지도는 상기 지도 내의 객체에 대응하여 상기 객체를 신뢰할 수 있는 정도를 나타내는 신뢰도 인덱스 정보가 결정된 지도이고,
    상기 자율 주행 방법은,
    상기 지도 내의 객체에 대응하는 신뢰도 인덱스에 기초하여, 상기 차량의 현재 위치에 대응하는 상기 지도 내의 위치를 결정하는 단계를 더 포함하는, 자율 주행 방법.
KR1020180049095A 2018-04-27 2018-04-27 차량의 위치를 결정하는 방법 및 이를 위한 차량 Active KR102420568B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180049095A KR102420568B1 (ko) 2018-04-27 2018-04-27 차량의 위치를 결정하는 방법 및 이를 위한 차량
CN201980028605.2A CN112055839B (zh) 2018-04-27 2019-04-25 确定车辆的位置的方法和使用该方法的车辆
EP19792482.2A EP3756055A4 (en) 2018-04-27 2019-04-25 VEHICLE POSITION DETERMINATION METHOD AND VEHICLE USING IT
PCT/KR2019/005028 WO2019209057A1 (en) 2018-04-27 2019-04-25 Method of determining position of vehicle and vehicle using the same
US16/396,799 US11255974B2 (en) 2018-04-27 2019-04-29 Method of determining position of vehicle and vehicle using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180049095A KR102420568B1 (ko) 2018-04-27 2018-04-27 차량의 위치를 결정하는 방법 및 이를 위한 차량

Publications (2)

Publication Number Publication Date
KR20190134861A KR20190134861A (ko) 2019-12-05
KR102420568B1 true KR102420568B1 (ko) 2022-07-13

Family

ID=68292425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049095A Active KR102420568B1 (ko) 2018-04-27 2018-04-27 차량의 위치를 결정하는 방법 및 이를 위한 차량

Country Status (5)

Country Link
US (1) US11255974B2 (ko)
EP (1) EP3756055A4 (ko)
KR (1) KR102420568B1 (ko)
CN (1) CN112055839B (ko)
WO (1) WO2019209057A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015224442A1 (de) * 2015-11-05 2017-05-11 Continental Teves Ag & Co. Ohg Situationsabhängiges Teilen von MAP-Botschaften zur Verbesserung digitaler Karten
JP6421782B2 (ja) * 2016-04-22 2018-11-14 トヨタ自動車株式会社 周辺情報収集システム
US12060074B2 (en) * 2018-03-30 2024-08-13 Toyota Motor Europe System and method for adjusting external position information of a vehicle
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
US11585672B1 (en) * 2018-04-11 2023-02-21 Palantir Technologies Inc. Three-dimensional representations of routes
US11650059B2 (en) * 2018-06-06 2023-05-16 Toyota Research Institute, Inc. Systems and methods for localizing a vehicle using an accuracy specification
CN112149659B (zh) * 2019-06-27 2021-11-09 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
US11003928B2 (en) 2019-08-08 2021-05-11 Argo AI, LLC Using captured video data to identify active turn signals on a vehicle
WO2021042069A1 (en) 2019-08-29 2021-03-04 Piper Networks, Inc. Enhanced transit location systems and methods
US11767042B2 (en) 2019-09-09 2023-09-26 Piper Networks, Inc. Enhanced transit location systems and methods
US11780460B2 (en) * 2019-09-30 2023-10-10 Ghost Autonomy Inc. Determining control operations for an autonomous vehicle
EP3825731B1 (de) * 2019-11-21 2022-01-05 Sick Ag Optoelektronischer sicherheitssensor und verfahren zur sicheren bestimmung der eigenen position
KR102237485B1 (ko) * 2019-12-23 2021-04-07 한국항공우주연구원 도로 시설물에 기초한 차량 위치 결정 방법 및 장치
US11335100B2 (en) * 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
US12024862B2 (en) * 2020-02-07 2024-07-02 Caterpillar Inc. System and method of autonomously clearing a windrow
US11741728B2 (en) * 2020-04-15 2023-08-29 Toyota Research Institute, Inc. Keypoint matching using graph convolutions
CN111959505B (zh) * 2020-06-29 2022-10-11 阿波罗智能技术(北京)有限公司 车辆巡航控制方法、装置、电子设备和存储介质
KR102427463B1 (ko) * 2020-07-16 2022-08-01 주식회사 비젼그리드 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置
US12372370B2 (en) 2020-11-23 2025-07-29 Electronics And Telecommunications Research Institute Method and apparatus for generating a map for autonomous driving and recognizing location
KR102844461B1 (ko) * 2020-11-23 2025-08-11 한국전자통신연구원 자율 주행을 위한 지도 생성 및 관리 방법 그리고 이를 이용한 위치 인식 방법 및 장치
CN112668428A (zh) * 2020-12-21 2021-04-16 北京百度网讯科技有限公司 车辆变道的检测方法、路侧设备、云控平台和程序产品
JP2022111524A (ja) * 2021-01-20 2022-08-01 株式会社豊田自動織機 自己位置推定装置及び方法
JP7141480B2 (ja) * 2021-02-25 2022-09-22 本田技研工業株式会社 地図生成装置
KR102316097B1 (ko) * 2021-04-27 2021-10-26 주식회사 모빌테크 라이다 좌표를 이용하여 맵 정보의 동기화를 수행하는 맵 정보 제공 시스템
CN113865602A (zh) * 2021-08-18 2021-12-31 西人马帝言(北京)科技有限公司 一种车辆定位方法、装置、设备及存储介质
KR102729020B1 (ko) * 2021-09-08 2024-11-13 한국과학기술원 3차원 포인트 클라우드 맵을 이용한 차선 레벨 지도 구축 방법 및 시스템
KR20240172362A (ko) * 2023-05-31 2024-12-10 현대자동차주식회사 자율 주행 모빌리티 장치 및 이를 구동하는 방법
KR102678694B1 (ko) * 2023-10-05 2024-06-27 주식회사 우리강산시스템 이동체 흔들림의 보정 기능을 갖춘 mms 데이터 수치 오류 보정 처리시스템
KR102684074B1 (ko) * 2023-10-05 2024-07-12 주식회사 우리강산시스템 Mms 취득정보의 자동처리를 통한 3d 맵핑 시스템
CN117664136B (zh) * 2023-12-06 2024-08-13 浙江大学 基于流形表示的不平坦环境下类车机器人轨迹生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
US20170307743A1 (en) * 2016-04-22 2017-10-26 Delphi Technologies, Inc. Prioritized Sensor Data Processing Using Map Information For Automated Vehicles

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51128080A (en) 1975-04-30 1976-11-08 Toyoda Mach Works Ltd Machine tool provided with multi spindle tool changing device
JP5162103B2 (ja) * 2006-05-15 2013-03-13 トヨタ自動車株式会社 支援制御装置
US8989972B2 (en) * 2008-09-11 2015-03-24 Deere & Company Leader-follower fully-autonomous vehicle with operator on side
US8452535B2 (en) * 2010-12-13 2013-05-28 GM Global Technology Operations LLC Systems and methods for precise sub-lane vehicle positioning
JP5714940B2 (ja) 2011-03-04 2015-05-07 国立大学法人 熊本大学 移動体位置測定装置
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
JP6022386B2 (ja) 2013-03-21 2016-11-09 株式会社ジオ技術研究所 ３次元地図表示装置、３次元地図表示方法、および、コンピュータプログラム
US9719801B1 (en) * 2013-07-23 2017-08-01 Waymo Llc Methods and systems for calibrating sensors using road map data
KR20160002178A (ko) * 2014-06-30 2016-01-07 현대자동차주식회사 자차 위치 인식 장치 및 방법
CN105313782B (zh) 2014-07-28 2018-01-23 现代摩比斯株式会社 车辆行驶辅助系统及其方法
KR101613849B1 (ko) 2014-12-04 2016-04-29 현대모비스 주식회사 자동차 주행보조 시스템
CN104236548B (zh) * 2014-09-12 2017-04-05 清华大学 一种微型无人机室内自主导航方法
KR20160059376A (ko) 2014-11-18 2016-05-26 엘지전자 주식회사 전자 기기 및 그 제어방법
US9483059B2 (en) * 2014-11-26 2016-11-01 Toyota Motor Engineering & Manufacturing North America, Inc. Method to gain driver's attention for autonomous vehicle
EP3032221B1 (en) * 2014-12-09 2022-03-30 Volvo Car Corporation Method and system for improving accuracy of digital map data utilized by a vehicle
US20170023659A1 (en) 2015-05-08 2017-01-26 5D Robotics, Inc. Adaptive positioning system
US20160363647A1 (en) 2015-06-15 2016-12-15 GM Global Technology Operations LLC Vehicle positioning in intersection using visual cues, stationary objects, and gps
EP3109589B1 (en) * 2015-06-23 2019-01-30 Volvo Car Corporation A unit and method for improving positioning accuracy
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
JP6776513B2 (ja) * 2015-08-19 2020-10-28 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム
US10082797B2 (en) * 2015-09-16 2018-09-25 Ford Global Technologies, Llc Vehicle radar perception and localization
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US9707961B1 (en) * 2016-01-29 2017-07-18 Ford Global Technologies, Llc Tracking objects within a dynamic environment for improved localization
KR101751298B1 (ko) * 2016-02-18 2017-07-11 한국전자통신연구원 차량 경로 예측 방법 및 장치
US10209081B2 (en) * 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
CN114627664B (zh) * 2016-08-26 2025-09-30 松下电器（美国）知识产权公司 三维信息处理方法以及三维信息处理装置
US10592805B2 (en) * 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
US10066946B2 (en) * 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
JP6614107B2 (ja) * 2016-11-18 2019-12-04 株式会社デンソー 地図データ提供システム
KR102745668B1 (ko) * 2016-12-09 2024-12-23 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
EP3346418A1 (en) * 2016-12-28 2018-07-11 Volvo Car Corporation Method and system for vehicle localization from camera image
WO2018125848A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Route generation using high definition maps for autonomous vehicles
CN111108342B (zh) * 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准
WO2018140748A1 (en) * 2017-01-26 2018-08-02 The Regents Of The University Of Michigan Localization using 2d maps which capture vertical structures in 3d point data
US10430968B2 (en) * 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
US10552691B2 (en) * 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US10534092B2 (en) * 2017-06-01 2020-01-14 Tesla, Inc. Technologies for vehicle positioning
CN107450577A (zh) * 2017-07-25 2017-12-08 天津大学 基于多传感器的无人机智能感知系统和方法
US10762673B2 (en) * 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10684372B2 (en) * 2017-10-03 2020-06-16 Uatc, Llc Systems, devices, and methods for autonomous vehicle localization
US10552689B2 (en) * 2017-11-09 2020-02-04 Here Global B.V. Automatic occlusion detection in road network data
US10739459B2 (en) * 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization
US11073403B2 (en) * 2018-01-12 2021-07-27 Uatc, Llc Map selection for vehicle pose system
WO2019152488A2 (en) * 2018-02-01 2019-08-08 ThorDrive, Inc. Method for estimating position of ego vehicle for autonomous driving and autonomous driving apparatus
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
US20170307743A1 (en) * 2016-04-22 2017-10-26 Delphi Technologies, Inc. Prioritized Sensor Data Processing Using Map Information For Automated Vehicles

Also Published As

Publication number Publication date
EP3756055A1 (en) 2020-12-30
EP3756055A4 (en) 2021-04-14
CN112055839A (zh) 2020-12-08
US20190332120A1 (en) 2019-10-31
WO2019209057A1 (en) 2019-10-31
KR20190134861A (ko) 2019-12-05
US11255974B2 (en) 2022-02-22
CN112055839B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
KR102420568B1 (ko) 차량의 위치를 결정하는 방법 및 이를 위한 차량
CN112740134B (zh) 电子装置和电子装置的车辆控制方法、服务器和提供服务器的精确地图数据的方法
US20240219203A1 (en) Methods and Systems for Calibrating Sensors Using Road Map Data
KR102323394B1 (ko) 차량의 주행을 보조하는 장치 및 방법
JP6734951B2 (ja) 複数の光検出及び測距装置（ｌｉｄａｒ）付きの車両
US9255805B1 (en) Pose estimation using long range features
CN104822573B (zh) 确定并显示自主车辆中的自动驾驶车道的方法和系统
CN103718124B (zh) 传感器域选择
CN107757616B (zh) 使用环境信息辅助用于自主车辆的图像处理
US20130197736A1 (en) Vehicle control based on perception uncertainty
US12060080B2 (en) Puddle occupancy grid for autonomous vehicles
US20200209005A1 (en) Systems and methods for loading object geometry data on a vehicle
KR20180090610A (ko) 차선 정보를 출력하는 방법 및 장치.
US8885151B1 (en) Condensing sensor data for transmission and processing
KR102719930B1 (ko) 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치.
CN116635746A (zh) 用于从lidar数据检测道路标记点的系统、方法和计算机程序产品
CN117716312A (zh) 用于解决自主车辆的雷达系统的层次模糊性的方法、系统和计算机程序产品
WO2020139331A1 (en) Systems and methods for loading object geometry data on a vehicle
CN113748418B (zh) 用于在车辆上加载和跟踪地图的系统和方法
CN116203506A (zh) 一种检测自主车辆上的俯仰角的雷达安装误差的方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180427

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201027

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180427

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211021

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220411

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220708

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220711

End annual number: 3

Start annual number: 1

PG1601 Publication of registration