[go: up one dir, main page]

KR102669246B1 - 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법 및 제어 유닛 - Google Patents

차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법 및 제어 유닛 Download PDF

Info

Publication number
KR102669246B1
KR102669246B1 KR1020217035342A KR20217035342A KR102669246B1 KR 102669246 B1 KR102669246 B1 KR 102669246B1 KR 1020217035342 A KR1020217035342 A KR 1020217035342A KR 20217035342 A KR20217035342 A KR 20217035342A KR 102669246 B1 KR102669246 B1 KR 102669246B1
Authority
KR
South Korea
Prior art keywords
content measurement
vehicle
road segment
road
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020217035342A
Other languages
English (en)
Other versions
KR20210145244A (ko
Inventor
레오 라이네
메츠 조나슨
Original Assignee
볼보 트럭 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 볼보 트럭 코퍼레이션 filed Critical 볼보 트럭 코퍼레이션
Publication of KR20210145244A publication Critical patent/KR20210145244A/ko
Application granted granted Critical
Publication of KR102669246B1 publication Critical patent/KR102669246B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/10—Buses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/17—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/40—Coefficient of friction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/30—Wheel torque
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3017—Radars
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

본 발명은 차량(10)을 지지하는 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법에 관한 것이다. 차량(10)은 차량(10)의 의도된 이동 방향에서 볼 때, 차량(10)의 전방에 있는 도로 세그먼트(16)의 일부의 표면으로부터 반사되는 신호(20, 22)에 기초하여 정보 패키지를 생성하도록 구성되는 센서(18)를 포함하고, 차량(10)은 복수의 지면 결합 부재(12, 14)를 더 포함한다.
상기 방법은 다음을 포함한다:
- 기준 시점(T1)에서 상기 센서(18)에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 기준 컨텐츠 측정을 결정하는 단계;
- 기준 시점(T1) 이전에 발생하는 이전 시점(T0)에 센서(18)에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 이전 컨텐츠 측정과, 기준 컨텐츠 측정을 비교하는 단계;
- 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위를 벗어난 것을 검출하는 경우, 차량(10)을 지지하는 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터를 결정하기 위한 결정 절차의 실행을 허용하는 단계;
- 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위 내에 있음을 검출하는 경우, 결정 절차의 실행을 허용하지 않는 단계; 및
- 결정 절차는 지면 결합 부재(12, 14) 중 하나 이상의 작동을 수정하는 단계;

Description

차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법 및 제어 유닛
본 발명은 차량을 지지하는 도로 세그먼트(road segment)의 도로 능력(road capability)을 나타내는 파라미터를 결정하기 위한 방법에 관한 것이다. 뿐만 아니라, 본 발명은 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 제어 유닛에 관한 것이다. 또한, 본 발명은 차량에 관한 것이다.
본 발명은 트럭, 버스 및 건설 장비와 같은 대형 차량에 적용될 수 있다. 본 발명은 트럭과 관련하여 설명될 것이지만, 본 발명은 이러한 특정 차량에 제한되지 않으며, 버스 및 작업 기계와 같은 다른 차량에도 이용될 수 있다.
차량을 운행할 때, 자율 차량이든 수동 차량이든, 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 정보를 수신하는 것이 유리할 수 있다.
순전히 예로서, 도로 세그먼트와 차량의 지면 결합 부재 사이의 마찰을 나타내는 정보를 획득하는 것이 바람직할 수 있다. 이러한 정보는 예를 들면 차량의 작동을 제어하는데 이용될 수 있다.
다른 비제한적인 예로서, 도로 세그먼트의 하중 지지 능력(load bearing capability)에 관한 정보를 얻는 것이 유리할 수 있다.
노면 마찰 계수를 나타내는 값을 결정하기 위해, US 2015/0224925 A1은 로컬 마찰 계수가 특히 카메라로부터 수신된 정보와 병합되는 방법을 제안한다.
그러나 상기 병합은 로컬 마찰 계수가 적절하게 높은 신뢰도로 결정될 때만 신뢰할 수 있는 결과를 제공한다. 이러한 결정은 가속 또는 감속과 같은 차량 동역학의 변화를 요구할 수 있다.
이러한 차량 동역학의 변화가 병합의 필요성이 높은 상황에서 발생한다는 것은 확실하지 않다. 이와 같이, US 2015/0224925 A1에 제시된 방법의 문제점은 병합이 반드시 유용한 병합 결과를 제공할 필요는 없다는 것에 있다.
본 발명의 목적은 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법을 제공하는 것이며, 상기 방법은 선호되는 시점에 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 결정 절차(determination procedure)를 개시한다.
상기 목적은 청구항 1에 따른 방법에 의해 달성된다.
이와 같이, 본 발명은 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법에 관한 것이다. 차량은 차량의 의도된 이동 방향에서 볼 때, 차량의 전방에 있는 도로 세그먼트의 일부의 표면으로부터 반사되는 신호에 기초하여 정보 패키지를 생성하도록 구성되는 센서를 포함한다. 차량은 복수의 지면 결합 부재를 더 포함한다.
상기 방법은,
- 기준 시점에서 센서에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 기준 컨텐츠 측정을 결정하는 단계;
- 기준 시점 이전에 발생하는 이전 시점에 센서에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 이전 컨텐츠 측정과, 기준 컨텐츠 측정을 비교하는 단계;
- 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위를 벗어난 것을 검출하는 경우, 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 결정 절차의 실행을 허용하는 단계;
- 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위 내에 있음을 검출하는 경우, 결정 절차의 실행을 허용하지 않는 단계; 및
- 결정 절차는 하나 이상의 지면 결합 부재의 작동을 수정하는 단계;를 포함한다.
상기 방법에 의해, 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 결정 절차는 기준 시점과 이전 시점에 각각 센서에 의해 제공되는 정보 패키지 사이에 적절하게 큰 차이가 검출될 때 실행될 수 있다. 이러한 차이는 도로 상태의 변화를 의미하며, 이는 도로 능력을 나타내는 파라미터의 새로운 값이 결정될 수 있도록 하기 위해 결정 절차가 허용될 수 있다.
이와 같이, 결정 절차를 정기적으로 실행하는 방식을 이용하기 보다는 오히려 유사한 다수의 파라미터 값을 생성하는 방식을 이용할 수 있고, 이에 따라 예컨대 차량의 위치 또는 센서에 의해 생성된 정보 패키지에 대한 파라미터 값의 신뢰할 수 있는 매핑을 구축하는데 기여할 수 있으며, 본 발명의 방법은 센서에 의해 생성된 이미지와 같은 정보 패키지의 변화가 파라미터 값의 변화가 예상됨을 나타내는 경우에만 새로운 파라미터 값이 결정될 수 있음을 의미한다.
위의 내용은 각각의 새로운 파라미터 값이 관련 파라미터에 대한 지식 기반 개선에 기여할 가능성이 더 높다는 것을 의미한다.
선택적으로, 정보 패키지는 색 이미지(colour image)를 포함한다.
본 명세서에서 이용되는 "색 이미지"라는 표현은 복수의 픽셀을 갖는 디지털 이미지에 관한 것으로, 여기에서 각각의 픽셀은 각 픽셀에 대한 색 정보를 포함한다. 이와 같이, 디지털 이미지의 각 픽셀은 세 개의 값/채널을 가지며, 각 값/채널은 빛의 강도(intensity)와 색차(chrominance of light)를 나타내는 측정(measure)이다.
색 이미지의 이용은 다양한 도로 유형이 간단한 방식으로 결정될 수 있음을 의미한다. 예를 들면, 색 이미지를 이용하면 예컨대 눈, 아스팔트 및 자갈을 포함하는 도로 세그먼트들을 쉽게 구별할 수 있다.
선택적으로, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색 이미지의 적어도 일부에 대한, 색조(hue), 채도(saturation) 및 명도(lightness)의 파라미터들 중 적어도 하나에 기초하여 결정된다.
상기 파라미터들을 이용하는 것은 서로 다른 도로 유형들을 구별하기 위한 편리한 방식을 의미한다.
선택적으로, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색 이미지의 적어도 일부에 대한, 색조, 채도 및 값의 파라미터들 중 적어도 하나에 기초하여 결정된다.
선택적으로, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색조, 채도 및 명도, 또는, 색조, 채도 및 값에 의해 정의되는 공간의 평면에 기초하여 결정된다.
선택적으로, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색 이미지의 적어도 일부에 대한 HOG(Histogram of Oriented Gradients)에 기초하여 결정된다.
HOG의 이용은 센서에 의해 생성된 이미지를 이용하여 적절한 객체 검출이 수행될 수 있음을 의미한다. 이러한 객체 검출은 예컨대 도로 세그먼트에서 자갈을 검출할 때 유용할 수 있고, 이러한 검출은 도로 세그먼트가 자갈 도로임을 나타낼 수 있으며, 또는, 도로 세그먼트가 아스팔트로 구성되어 있음을 나타내는 도로 표시와 같은 도로 세그먼트의 패턴을 감지할 때 유용할 수 있다.
선택적으로, 지면 결합 부재와 연관된 도로 세그먼트의 도로 능력을 나타내는 파라미터는 지면 결합 부재 중 적어도 하나와 도로 세그먼트 사이의 마찰 값이다.
마찰 값은 차량의 작동을 제어하는데 이용될 수 있다. 더욱이, 마찰 값과 센서에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 기준 컨텐츠 측정 사이의 상대적으로 강한 상관관계를 식별하는 것이 가능할 수 있다.
선택적으로, 지면 결합 부재와 연관된 도로 세그먼트의 도로 능력을 나타내는 파라미터는 차량을 지지하는 지면 세그먼트의 하중 지지 능력(load bearing capability)을 나타내는 하중 지지 능력 값이다.
선택적으로, 결정 절차는 지면 결합 부재 중 적어도 하나에 토크(torque)를 부여하는 단계를 포함한다. 지면 결합 부재 중 적어도 하나에 토크를 부여하는 것은 예컨대 부여된 토크의 결과로 차량 동역학이 변할 수 있기 때문에 차량의 운전자에게 방해가 되는 것으로 인식될 수 있다. 본 발명에 따른 방법에 의해, 결정 절차의 불필요한 실행이 회피될 수 있다. 이와 같이, 상기 방법은 하나 이상의 지면 결합 부재에 대한 토크의 부여를 허용할 수 있는데, 이는 그러한 부여가 관련 파라미터의 매핑을 개선하는 결과를 낼 가능성이 있기 때문이다.
선택적으로, 상기 방법은, 현재 시점 이전의 미리 결정된 차량 작동 시간 범위 동안 결정 절차가 실행된 횟수를 결정하는 단계를 더 포함하고, 상기 방법은, 결정 절차가 미리 결정된 차량 작동 시간 범위 동안 미리 결정된 임계 횟수 미만으로 실행되었고, 결정 절차의 실행이 허용되었음을 검출하는 경우, 결정 절차를 실행하는 단계를 더 포함한다.
본 명세서에 사용된 “차량 작동 시간”이라는 표현은 차량이 작동되었던 시간에 관한 것이다. 따라서, “차량 예정 작동 시간 범위”라는 용어는 차량이 작동되는 미리 결정된 시간 범위에 관한 것이다.
이상에서 개시된 바와 같이, 결정 절차의 실행은 차량 작동 관점에서 덜 바람직할 수 있다. 이와 같이, 이리 결정된 차량 작동 시간 범위 내에서 실행 횟수를 최대 횟수로 제한하는 것이 바람직할 수 있다.
선택적으로, 상기 방법은, 기준 컨텐츠 측정을 미리 결정된 도로 세그먼트 유형 세트의 도로 세그먼트 유형에 연관시키는 단계를 더 포함한다.
선택적으로, 상기 방법은, 결정 절차가 실행되었을 때, 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 기준 컨텐츠 측정과 연관시키는 단계를 더 포함한다.
본 발명의 제 2 측면은 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 제어 유닛에 관한 것이다. 차량은 차량의 의도된 이동 방향에서 볼 때, 차량의 전방에 있는 도로 세그먼트의 일부의 표면으로부터 반사되는 신호에 기초하여 정보 패키지를 생성하도록 구성되는 센서를 포함한다. 차량은 복수의 지면 결합 부재를 더 포함한다.
제어 유닛은,
- 기준 시점에서 센서에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 기준 컨텐츠 측정을 결정하도록 구성되고,
- 기준 시점 이전에 발생하는 이전 시점에 센서에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 이전 컨텐츠 측정과, 기준 컨텐츠 측정을 비교하도록 구성되고,
- 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위를 벗어난 것을 검출하는 경우, 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 결정 절차의 실행을 허용하도록 구성되고,
- 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위 내에 있음을 검출하는 경우, 결정 절차의 실행을 허용하지 않도록 구성되고,
- 결정 절차는 지면 결합 부재(12, 14) 중 하나 이상의 작동을 수정하는 단계를 포함한다.
선택적으로, 정보 패키지는 색 이미지를 포함한다.
선택적으로, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색 이미지의 적어도 일부에 대한, 색조, 채도 및 명도의 파라미터들 중 적어도 하나에 기초하여 결정된다.
선택적으로, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색 이미지의 적어도 일부에 대한, 색조, 채도 및 값의 파라미터들 중 적어도 하나에 기초하여 결정된다.
선택적으로, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색조, 채도 및 명도, 또는, 색조, 채도 및 값에 의해 정의되는 공간의 평면에 기초하여 결정된다.
선택적으로, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색 이미지의 적어도 일부에 대한 HOG에 기초하여 결정된다.
선택적으로, 지면 결합 부재와 연관된 도로 세그먼트의 도로 능력을 나타내는 파라미터는 지면 결합 부재 중 적어도 하나와 도로 세그먼트 사이의 마찰 값이다.
선택적으로, 지면 결합 부재와 연관된 도로 세그먼트의 도로 능력을 나타내는 파라미터는 차량을 지지하는 지면 세그먼트의 하중 지지 능력을 나타내는 하중 지지 능력 값이다.
선택적으로, 결정 절차는 지면 결합 부재 중 적어도 하나에 토크를 부여하는 단계를 포함한다.
선택적으로, 제어 유닛은, 현재 시점 이전의 미리 결정된 차량 작동 시간 범위 동안 결정 절차가 실행된 횟수를 결정하도록 더 구성되고, 제어 유닛은, 결정 절차가 미리 결정된 차량 작동 시간 범위 동안 미리 결정된 임계 횟수 미만으로 실행되었고, 결정 절차의 실행이 허용되었음을 검출하는 경우, 결정 절차를 실행하기 위해 신호를 발행하도록 더 구성된다.
선택적으로, 제어 유닛은, 기준 컨텐츠 측정을 미리 결정된 도로 세그먼트 유형 세트의 도로 세그먼트 유형에 연관시키도록 더 구성된다.
선택적으로, 제어 유닛은, 결정 절차가 실행되었을 때, 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 기준 컨텐츠 측정과 연관시키도록 더 구성된다.
본 발명의 제 3 측면은 제 2 측면에 따른 제어 유닛을 포함하는 차량에 관한 것이다.
선택적으로, 복수의 지면 결합 부재는 하나 이상의 바퀴를 포함한다.
첨부된 도면을 참조하여, 이하에서는 예시로서 인용된 본 발명의 실시 예들에 대해서 보다 구체적으로 설명하도록 한다.
도면에서:
도 1은 본 발명의 일 실시 예에 따른 차량의 개략적인 측면도이다.
도 2는 이전 시점에서 센서에 의해 제공되는 색 이미지의 그레이 스케일 표현을 도시하고 있다.
도 3은 기준 시점에서 센서에 의해 제공되는 색 이미지의 그레이 스케일 표현을 도시하고 있다.
도 4는 원기둥으로 도시된 색조, 채도 및 명도 색 공간의 사시도를 나타낸다.
도 5는 본 발명에 따른 방법의 일 실시 예를 도시하는 흐름도이다.
본 발명은 도 1에 도시된 트럭과 같은 트럭(10) 형태의 차량에 대해 이하에서 설명될 것이다. 트럭(10)은 본 발명의 방법이 수행될 수 있는 본 발명에 따른 제어 유닛을 포함할 수 있는 차량의 예시로서 이해되어야 한다. 그러나, 본 발명은 복수의 상이한 유형의 차량에서 구현될 수 있다. 순전히 예로서, 본 발명은 트럭, 트랙터, 자동차, 버스, 휠 로더와 같은 작업 기계 또는 임의의 다른 유형의 건설 장비에서 구현될 수 있다.
도 1의 차량(10)은 한 세트의 지면 결합 부재(12, 14)를 포함하며, 이들 각각은 지면 세그먼트(16)에 의해 지지되도록 구성된다. 지면 결합 부재(12, 14)는 도 1에서 바퀴로 구현되고 있으나, 지면 결합 부재는 크롤러(crawlers) 등과 같은 다른 유형일 수 있음 또한 알 수 있다. 비록 도 1에 있는 차량(10)의 실시 예는 한 쌍의 전륜(12) 및 한 쌍의 후륜(14)을 포함하지만, 차량(10)의 다른 실시 예가 더 적거나 더 많은 바퀴를 포함할 수 있음은 물론이다. 이하의 설명에서는, 단 하나의 전륜(12) 및 단 하나의 후륜(14)이 일반적으로 참조된다. 그러나, 전륜(12)에 대한 참조는 한 쌍의 전륜에 동일하게 적용될 수 있음을 이해해야 할 것이다. 유사한 맥락에서, 후륜(14)에 대한 참조는 한 쌍의 후륜에 동일하게 적용될 수 있다.
또한, 도 1은 차량이 종축(L)을 따라 길이 방향으로 연장되고, 수직축(V)을 따라 수직 방향으로 연장되는 것을 나타냅니다. 종축(L)은 차량(10)의 의도된 이동 방향과 평행한 방향으로 연장되고, 수직축(V)은 지면 세그먼트(16)의 평면에 수직한 방향으로 연장된다. 도 1은 횡축(T)이 종축(L) 및 수직축(V) 각각에 수직으로 연장되는 것을 추가적으로 도시하고 있다.
도 1은 차량(10)이 차량(10)의 의도된 이동 방향, 즉, 종축(L)에서 볼 때, 차량(10)의 전방에 있는 도로 세그먼트(16)의 일부의 표면으로부터 반사된 신호(20, 22)에 기초하여 정보 패키지를 생성하도록 구성된 센서(18)를 포함하는 것을 추가적으로 도시하고 있다.
순전히 예로서, 센서(18)는 카메라일 수 있고, 정보 패키지는 차량(10)의 전방에 있는 도로 세그먼트(16)의 일부의 표면의 이미지, 바람직하게는 디지털 이미지일 수 있다. 그러나, 센서(18)는 다른 방식으로 구현될 수 있음 또한 알 수 있다. 순전히 예로서, 센서(18)는 LIDAR 센서, RADAR 센서 등을 포함하거나 이에 의해 구성될 수 있다.
도 1은 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 제어 유닛(24)을 추가적으로 도시하고 있다. 도 1에서, 제어 유닛(24)은 차량(10)의 일부를 형성한다. 그러나, 제어 유닛(24)은 차량(10)으로부터 분리될 수 있으며, 예컨대 무선 통신 수단(도 1에 미도시됨)을 이용하여 특히 센서와 통신할 수 있다는 것 또한 알 수 있다. 차량(10) 및/또는 센서(18)에 대한 그 위치의 위치와 무관하게, 제어 유닛(24)은 바람직하게는 센서(18)로부터 정보를 수신하도록 구성된다.
제어 유닛(24)은,
- 기준 시점(T1)에서 센서(18)에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 기준 컨텐츠 측정(reference content measure)을 결정하도록 구성되고,
- 기준 시점(T1) 이전에 발생하는 이전 시점(T0)에 센서(18)에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 이전 컨텐츠 측정(previous content measure)과, 기준 컨텐츠 측정을 비교하도록 구성되고,
- 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위를 벗어난 것을 검출하는 경우, 차량(10)을 지지하는 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터를 결정하기 위한 결정 절차의 실행을 허용하도록 구성되고,
- 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위 내에 있음을 검출하는 경우, 결정 절차의 실행을 허용하지 않도록 구성되고,
- 여기에서, 결정 절차는 지면 결합 부재(12, 14) 중 하나 이상의 작동을 수정하는 단계를 포함한다.
순전히 예로서, 정보 패키지는 색 이미지를 포함한다. 이를 위해, 도 2는 이전 시점(T0)에서 센서에 의해 제공되는 색 이미지(26)의 그레이 스케일 표현을 도시하고 있다. 유사한 맥락에서, 도 3은 기준 시점(T1)에서 센서에 의해 제공되는 색 이미지(28)의 그레이 스케일 표현을 도시하고 있다.
도 2로부터 알 수 있듯이, 색 이미지(26)는 차량(도 2에 미도시됨)의 전방에 있는 도로 세그먼트(16)의 일부를 도시한다. 또한, 도 2의 색 이미지(26)는 도로 세그먼트(16)를 둘러싸는 영역(30, 32)을 도시한다.
유사한 맥락에서, 도 3의 색 이미지(28)는 차량(도 3에 미도시됨)의 전방에 있는 도로 세그먼트(16)의 일부를 도시한다. 또한, 도 3의 색 이미지(28)는 도로 세그먼트(16)를 둘러싸는 영역(30, 32)을 도시한다.
도 2와 도 3의 이미지를 비교하여 알 수 있듯이, 도 3의 도로 세그먼트(16)는 도 2의 도로 세그먼트(16)보다 가볍다. 이는 도로 상태가 변경되었다는 표시일 수 있고, 예를 들면, 도 3의 도로 세그먼트(16)는 눈으로 덮인 반면, 도 2의 도로 세그먼트(16)는 눈으로 덮여 있지 않으며, 이는 차례로 차량(10)을 지지하는 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터를 결정하기 위한 결정 절차를 차례로 트리거할 수 있다.
이상으로부터 알 수 있듯이, 예컨대 도 2 및 도 3 각각에 도시된 도로 세그먼트(16)의 일부가 실질적으로 동일한지 또는 실질적으로 상이한지를 결정할 수 있는 컨텐츠 측정을 이용하는 것이 바람직할 수 있다.
이러한 컨텐츠 측정의 몇 가지 예시는 다음과 같다.
제 1 예시로서, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색 이미지의 적어도 일부에 대한, 색조, 채도 및 명도의 파라미터들 중 적어도 하나에 기초하여 결정된다. 이상에서 개시된 바와 같이, 색 이미지의 일부는 바람직하게는 도로 세그먼트(16)의 일부를 나타내는 것으로 간주될 수 있다.
적색, 녹색 및 청색이 색 모델(colour model)을 생성하는 것으로 간주되는 것과 유사한 맥락에서, 이는 RGB 색 모델이라고 할 수 있고 - 색 모델을 생성하는데 색조(hue, H), 채도(saturation, S) 및 명도(lightness, L)의 파라미터들이 이용될 수 있음 - HSL 색 모델이라고 할 수 있다 - 색을 정의하고 하나의 색을 다른 색과 구별하기 위한 것임.
HSL 색 모델은 색조(H)가 각도 좌표이고, 채도(S)가 방사 거리이고, 명도(L)가 높이인, 원기둥형 좌표계로 간주될 수 있다. 이를 위해, 도 4는 색조(H)가 원기둥(34)을 통하는 임의의 단면의 원주 주변의 상이한 위치에 의해 표현되는 원형 단면을 갖는 HSL 원기둥(34)를 도시하고 있다. 색조는 이에 따라 0 내지 360° 사이의 값, 즉, 원기둥(34)의 중심선(36) 둘레의 각도 위치를 나타내는 값으로 표현될 수 있다. 따라서, 원기둥(34)의 바깥 원주는 0.5의 밝기 값, 즉, 원기둥(34)의 절반에서 원기둥(34) 원주 주변의 적색, 녹색, 청색 및 황색 색 조합을 이용하여 색 휠(colour wheel)을 형성하는 것으로 볼 수 있다.
채도(S)는 색조(H)에 추가되는 백색의 양을 의미한다. 도 4에서 알 수 있듯이, 채도(S)는 HSL 원기둥(34)에서 방사상으로 연장되는 축으로 간주될 수 있으므로, 원기둥(34)의 방사 거리를 나타낸다. 비제한적인 예로서, - 원기둥(34)의 원주에 위치하는 - 적색은 분홍색이 적색과 백색의 혼합으로 간주될 수 있기 때문에, - 원기둥(34) 내에 위치하는 - 분홍색보다 더 높은 채도를 갖는 것으로 간주된다.
마지막으로, 명도(L)는 회색을 포함하고, 명도 0(즉, L=0, 원기둥(34)의 맨 아래)의 흑색에서 명도 1(즉, L=1, 원기둥(34)의 맨 위)의 백색으로 확장된다.
HSL 색 모델을 이용하는 대신에, 색조(H), 채도(S) 및 값(value, V)을 이용하는 모델 - 소위, HSV 색 모델 - 을 이용할 수 있다. HSV 색 모델은 HSV 색 모델의 값이 V=0의 흑색에서 V=1의 포화된 색까지 다양하기는 하지만 HSL 색 모델과 유사하다.
이상으로부터 알 수 있듯이, HSL 색 모델 또는 HSV 색 모델은 예컨대 도 2 및 도 3 각각에 의해 도시된 도로 세그먼트(16)의 일부가 실질적으로 동일한지 또는 실질적으로 상이한지를 결정하기 위한 복수의 방식으로 이용될 수 있다. 달리 말하면, HSL 색 모델 또는 HSV 색 모델 각각은 이상에서 언급한 기준 컨텐츠 측정 및 이전 컨텐츠 측정을 결정하는데 이용될 수 있다.
순전히 예로서, 컨텐츠 측정은 색조(H)를 포함할 수 있다. 이와 같이, 기준 컨텐츠 측정은 기준 색조(H1)를 나타낼 수 있고, 이전 컨텐츠 측정은 이전 색조(H0)를 나타낼 수 있다. 기준 색조(H1)와 이전 색조(H0) 간의 차이의 절대값이 미리 결정된 색조 차이 임계값보다 큰 경우, 이것은 예를 들면 도로 세그먼트(16)를 구성하는 재료 유형이 이전 시점(T0)에서 변경되었음을 나타낼 수 있다. 예를 들면, 미리 결정된 색조 차이 임계값을 초과하는 색조 차이의 절대값은, 이전 시점(T0)의 도로 세그먼트(16)가 제 1 유형의 아스팔트로 구성되었고 기준 시점(T1)의 도로 세그먼트(16)가 제 2 유형의 아스팔트 또는 자갈로 구성되었다는 사실에 기인할 수 있다. 이와 같이 검출된 도로 세그먼트 유형의 변화는 이상에서 언급한 결정 절차의 실행을 허용할 수 있다.
다른 비제한적인 예로서, 컨텐츠 측정은 채도(S)를 포함할 수 있다. 이와 같이, 기준 컨텐츠 측정은 기준 채도(S1)를 나타낼 수 있고, 이전 컨텐츠 측정은 이전 채도(S0)를 나타낼 수 있다. 기준 채도(S1)와 이전 채도(S0) 간의 차이의 절대값이 미리 결정된 채도 차이 임계값보다 큰 경우, 이것은 강수(precipitation), 예컨대, 눈이나 비를 나타낼 수 있고, 이상에서 언급한 결정 절차의 실행을 다시 허용할 수 있다.
또 다른 비제한적인 예에서, 컨텐츠 측정은 명도(L)를 포함할 수 있다. 이와 같이, 기준 컨텐츠 측정은 기준 명도(L1)를 나타낼 수 있고, 이전 컨텐츠 측정은 이전 명도(L0)를 나타낼 수 있다. 기준 명도(L1)와 이전 명도(L0) 간의 차이의 절대값이 미리 결정된 명도 차이 임계값보다 큰 경우, 이것은 변경된 낙뢰 조건, 예컨대, 기준 시점(T1)과 이전 시점(T0) 사이에 태양 복사의 변화된 수준을 나타낼 수 있으며, 이상에서 언급된 결정 절차의 실행을 다시 허용할 수 있다.
HSV 색 모델에 대해서, 이전 단락에서 서술한 명도(L) 대신 값(V)을 사용할 수 있다.
다른 예로서, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색조, 채도 및 명도, 또는, 색조, 채도 및 값으로 정의되는 공간의 평면에 기초하여 결정된다.
또 다른 예로서, 기준 컨텐츠 측정 및 이전 컨텐츠 측정 각각은 색 이미지의 적어도 일부에 대한 HOG에 기초하여 결정된다. HOG는 객체 검출에 이용될 수 있다. 본 발명에 대한 관련 객체 유형은 예를 들면 자갈, 도로 표시, 도로의 트랙(예: 눈 덮인 도로의 트랙) 또는 웅덩이 중 하나일 수 있다. 객체 유형 중 하나가 기준 시점(T1)에서 감지되었으나 이전 시점(T0)에서는 감지되지 않은 경우, 이는 도로 세그먼트 유형이 이전 시점(T0)에서 기준 시점(T1)으로 변경되었음을 나타낼 수 있으며, 이러한 표시는 차례로 상술한 결정 절차의 실행을 허용할 수 있다. 이와 같이, 위의 예에서, 컨텐츠 측정은 정보 패키지 또는 이미지에서 검출된 특정 유형 또는 클래스의 객체의 수를 나타내는 숫자를 포함하거나 심지어 이에 의해 구성될 수도 있다.
결정 절차의 실행이 허용되어야 하는지가 어떻게 결정되는지와 무관하게, 결정 절차는 차량(10)을 지지하는 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터를 결정하도록 구성될 수 있으며, 파라미터는 차량을 작동시킬 때 관련될 수 있다.
비제한적인 예로서, 지면 결합 부재와 연관된 도로 세그먼트의 도로 능력을 나타내는 파라미터는 지면 결합 부재(12, 14) 중 적어도 하나와 도로 세그먼트(16) 사이의 마찰 값(μ)일 수 있다. 이러한 마찰 값(μ)은 복수의 상이한 방식으로 결정될 수 있다. 순전히 예로서, 마찰 값(μ)은 감속 또는 가속과 같은 차량 동역학의 변화를 차량(10)에 부여함으로써 결정될 수 있고, 그로부터 마찰 값(μ)을 결정할 수 있다. 예를 들면, 이러한 차량 동역학의 변화는 지면 결합 부재(12, 14) 중 적어도 하나에 토크(torque)를 부여하는 것을 포함할 수 있다.
다른 비제한적인 예로서, 지면 결합 부재와 관련된 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터는 차량을 지지하는 지면 세그먼트의 하중 지지 능력(load bearing capability)(예: 강성(stiffness))을 나타내는 하중 지지 능력 값일 수 있다. 마찰 값(μ)에 대해, 하중 지지 능력은 차량의 기울기 변화와 같은 차량 동역학의 변화를 차량(10)에 부여함으로써 결정될 수 있고, 그 후 하나 이상의 지면 결합 부재(12, 14)가 도로 세그먼트(16)로 함몰되는 것을 결정할 수 있다.
이상으로부터 알 수 있듯이, 결정 절차는 바람직하지 않을 수 있는 차량 동역학의 변화를 초래할 수 있다. 이와 같이, 순전히 예로서, 제어 유닛(24)은 현재 시점(T1) 이전의 미리 결정된 차량 작동 시간 범위 동안 결정 절차가 실행된 횟수를 결정하도록 구성될 수 있다. 또한, 제어 유닛(24)은 결정 절차가 미리 결정된 차량 작동 시간 범위 동안 미리 결정된 임계 횟수 미만으로 실행되었고 결정 절차의 실행이 허용되었음을 검출하는 경우, 결정 절차를 실행하기 위한 신호를 발행하도록 더 구성될 수 있다.
따라서, 순전히 예로서, 제어 유닛(24)은 4 작동 시간 동안 3개의 결정 절차의 실행만을 허용하도록 구성될 수 있다. 이와 같이, 기준 컨텐츠 측정 및 이전 컨텐츠 측정의 비교가 결정 절차의 실행이 선호될 것임을 나타내더라도, 제어 유닛(24)은 차량의 마지막 4 작동 시간 동안 3개의 결정 절차가 이미 실행된 경우에는 결정 절차를 실행하지 않도록 구성될 수 있다.
이상에서 개시된 바와 같이, 제어 유닛(24)은 기준 컨텐츠 측정을 미리 결정된 도로 세그먼트 유형 세트의 도로 세그먼트 유형에 연관시키도록 구성될 수 있다. 순전히 예로서, 미리 결정된 도로 세그먼트 유형 세트는 아스팔트, 콘크리트 또는 자갈과 같은 유형을 포함할 수 있다.
또한, 제어 유닛(24)은 결정 절차가 실행되었을 때 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 기준 컨텐츠 측정과 연관시키도록 구성될 수 있다.
또한, 본 발명은 차량(10)을 지지하는 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법에 관한 것이다. 차량(10)은 차량의 의도된 이동 방향에서 볼 때 차량(10)의 전방에 있는 도로 세그먼트(16)의 일부의 표면으로부터 반사되는 신호에 기초하여 정보 패키지를 생성하도록 구성되는 센서(18)를 포함한다. 차량은 복수의 지면 결합 부재(12, 14)를 더 포함한다. 본 발명에 따른 방법의 실시 예의 흐름도가 도 5에 제시되어 있다.
도 5를 참조하면, 방법 실시 예는 다음을 포함한다:
S10 - 기준 시점(T1)에서 센서에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 기준 컨텐츠 측정을 결정하는 단계;
S12 - 기준 시점 이전에 발생하는 이전 시점(T0)에 센서에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 이전 컨텐츠 측정과, 기준 컨텐츠 측정을 비교하는 단계;
S14 - 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위를 벗어난 것을 검출하는 경우, 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 결정 절차의 실행을 허용하는 단계;
S16 - 기준 컨텐츠 측정과 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위 내에 있음을 검출하는 경우, 결정 절차의 실행을 허용하지 않는 단계;
S18 - 결정 절차는 지면 결합 부재(12, 14) 중 하나 이상의 작동을 수정하는 단계;
상기 방법은 예컨대 상술한 제어 유닛(24)을 이용하여 수행될 수 있다. 그러나, 본 발명에 따른 방법은 다른 수단을 사용하여 수행될 수도 있음 또한 알 수 있다.
본 발명은 이상에서 설명되고 도면에 예시된 실시 예에 한정되지 않는다는 것을 이해해야 한다. 오히려, 당업자는 첨부된 청구항의 범위 내에서 다양한 변형 및 수정이 이루어질 수 있음을 이해해야 할 것이다.

Claims (26)

  1. 차량(10)을 지지하는 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법에 있어서,
    상기 차량(10)은 상기 차량(10)의 의도된 이동 방향에서 볼 때, 상기 차량(10)의 전방에 있는 상기 도로 세그먼트(16)의 일부의 표면으로부터 반사되는 신호(20, 22)에 기초하여 정보 패키지를 생성하도록 구성되는 센서(18)를 포함하고, 상기 차량(10)은 복수의 지면 결합 부재(12, 14)를 더 포함하고,
    상기 방법은,
    - 기준 시점(T1)에서 상기 센서(18)에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 기준 컨텐츠 측정을 결정하는 단계;
    - 상기 기준 시점(T1) 이전에 발생하는 이전 시점(T0)에 상기 센서(18)에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 이전 컨텐츠 측정과, 상기 기준 컨텐츠 측정을 비교하는 단계;
    - 상기 기준 컨텐츠 측정과 상기 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위를 벗어난 것을 검출하는 경우, 상기 차량(10)을 지지하는 상기 도로 세그먼트(16)의 상기 도로 능력을 나타내는 상기 파라미터를 결정하기 위한 결정 절차의 실행을 허용하는 단계;
    - 상기 기준 컨텐츠 측정과 상기 이전 컨텐츠 측정 사이의 상기 차이가 상기 미리 결정된 허용 범위 내에 있음을 검출하는 경우, 상기 결정 절차의 실행을 허용하지 않는 단계; 및
    - 상기 결정 절차는, 상기 지면 결합 부재(12, 14) 중 하나 이상의 작동을 수정하는 단계;를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 정보 패키지는 색 이미지(colour image)를 포함하는, 방법.
  3. 제 2 항에 있어서,
    상기 기준 컨텐츠 측정 및 상기 이전 컨텐츠 측정 각각은 상기 색 이미지의 적어도 일부에 대한, 색조(H), 채도(S) 및 명도(L)의 파라미터들 중 적어도 하나에 기초하여 결정되는, 방법.
  4. 제 2 항에 있어서,
    상기 기준 컨텐츠 측정 및 상기 이전 컨텐츠 측정 각각은 상기 색 이미지의 적어도 일부에 대한, 색조(H), 채도(S) 및 값(V)의 파라미터들 중 적어도 하나에 기초하여 결정되는, 방법.
  5. 제 3 항에 있어서,
    상기 기준 컨텐츠 측정 및 상기 이전 컨텐츠 측정 각각은 색조(H), 채도(S) 및 명도(L), 또는, 색조(H), 채도(S) 및 값(V)에 의해 정의되는 공간의 평면에 기초하여 결정되는, 방법.
  6. 제 2 항에 있어서,
    상기 기준 컨텐츠 측정 및 상기 이전 컨텐츠 측정 각각은 상기 색 이미지의 적어도 일부에 대한 HOG(Histogram of Oriented Gradients)에 기초하여 결정되는, 방법.
  7. 제 1 항에 있어서,
    상기 지면 결합 부재와 연관된 도로 세그먼트(16)의 도로 능력을 나타내는 상기 파라미터는 상기 지면 결합 부재(12, 14) 중 적어도 하나와 상기 도로 세그먼트(16) 사이의 마찰 값(μ)인, 방법.
  8. 제 1 항에 있어서,
    지면 결합 부재와 연관된 도로 세그먼트(16)의 도로 능력을 나타내는 상기 파라미터는 상기 차량(10)을 지지하는 지면 세그먼트의 하중 지지 능력(load bearing capability)을 나타내는 하중 지지 능력 값인, 방법.
  9. 제 1 항에 있어서,
    상기 결정 절차는 상기 지면 결합 부재(12, 14) 중 적어도 하나에 토크(torque)를 부여하는 단계를 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 방법은, 현재 시점 이전의 미리 결정된 차량 작동 시간 범위 동안 결정 절차가 실행된 횟수를 결정하는 단계를 더 포함하고,
    상기 방법은, 상기 결정 절차가 상기 미리 결정된 차량 작동 시간 범위 동안 미리 결정된 임계 횟수 미만으로 실행되었고, 상기 결정 절차의 실행이 허용되었음을 검출하는 경우, 상기 결정 절차를 실행하는 단계를 더 포함하는, 방법.
  11. 제 1 항에 있어서,
    상기 방법은, 상기 기준 컨텐츠 측정을 미리 결정된 도로 세그먼트(16) 유형 세트의 도로 세그먼트(16) 유형에 연관시키는 단계를 더 포함하는, 방법.
  12. 제 1 항에 있어서,
    상기 방법은, 상기 결정 절차가 실행되었을 때, 상기 차량(10)을 지지하는 상기 도로 세그먼트(16)의 상기 도로 능력을 나타내는 상기 파라미터를 상기 기준 컨텐츠 측정과 연관시키는 단계를 더 포함하는, 방법.
  13. 차량(10)을 지지하는 도로 세그먼트(16)의 도로 능력을 나타내는 파라미터를 결정하기 위한 제어 유닛(24)에 있어서,
    상기 차량(10)은 상기 차량(10)의 의도된 이동 방향에서 볼 때, 상기 차량(10)의 전방에 있는 상기 도로 세그먼트(16)의 일부의 표면으로부터 반사되는 신호(20, 22)에 기초하여 정보 패키지를 생성하도록 구성되는 센서(18)를 포함하고, 상기 차량(10)은 복수의 지면 결합 부재(12, 14)를 더 포함하고,
    상기 제어 유닛(24)은,
    - 기준 시점(T1)에서 상기 센서(18)에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 기준 컨텐츠 측정을 결정하도록 구성되고,
    - 상기 기준 시점(T1) 이전에 발생하는 이전 시점(T0)에 상기 센서(18)에 의해 제공되는 정보 패키지의 정보 컨텐츠를 나타내는 이전 컨텐츠 측정과, 상기 기준 컨텐츠 측정을 비교하도록 구성되고,
    - 상기 기준 컨텐츠 측정과 상기 이전 컨텐츠 측정 사이의 차이가 미리 결정된 허용 범위를 벗어난 것을 검출하는 경우, 상기 차량(10)을 지지하는 상기 도로 세그먼트(16)의 상기 도로 능력을 나타내는 상기 파라미터를 결정하기 위한 결정 절차의 실행을 허용하도록 구성되고,
    - 상기 기준 컨텐츠 측정과 상기 이전 컨텐츠 측정 사이의 상기 차이가 상기 미리 결정된 허용 범위 내에 있음을 검출하는 경우, 상기 결정 절차의 실행을 허용하지 않도록 구성되고,
    - 상기 결정 절차는 상기 지면 결합 부재(12, 14) 중 하나 이상의 작동을 수정하는 단계를 포함하는, 제어 유닛(24).
  14. 제 13 항에 있어서,
    상기 정보 패키지는 색 이미지(colour image)를 포함하는, 제어 유닛(24).
  15. 제 14 항에 있어서,
    상기 기준 컨텐츠 측정 및 상기 이전 컨텐츠 측정 각각은 상기 색 이미지의 적어도 일부에 대한, 색조(H), 채도(S) 및 명도(L)의 파라미터들 중 적어도 하나에 기초하여 결정되는, 제어 유닛(24).
  16. 제 14 항에 있어서,
    상기 기준 컨텐츠 측정 및 상기 이전 컨텐츠 측정 각각은 상기 색 이미지의 적어도 일부에 대한, 색조(H), 채도(S) 및 값(V)의 파라미터들 중 적어도 하나에 기초하여 결정되는, 제어 유닛(24).
  17. 제 15항에 있어서,
    상기 기준 컨텐츠 측정 및 상기 이전 컨텐츠 측정 각각은 색조(H), 채도(S) 및 명도(L), 또는, 색조(H), 채도(S) 및 값(V)에 의해 정의되는 공간의 평면에 기초하여 결정되는, 제어 유닛(24).
  18. 제 14 항에 있어서,
    상기 기준 컨텐츠 측정 및 상기 이전 컨텐츠 측정 각각은 상기 색 이미지의 적어도 일부에 대한 HOG(Histogram of Oriented Gradients)에 기초하여 결정되는, 제어 유닛(24).
  19. 제 13 항에 있어서,
    상기 지면 결합 부재와 연관된 도로 세그먼트(16)의 도로 능력을 나타내는 상기 파라미터는 상기 지면 결합 부재(12, 14) 중 적어도 하나와 상기 도로 세그먼트(16) 사이의 마찰 값(μ)인, 제어 유닛(24).
  20. 제 13 항에 있어서,
    지면 결합 부재와 연관된 도로 세그먼트(16)의 도로 능력을 나타내는 상기 파라미터는 상기 차량(10)을 지지하는 지면 세그먼트의 하중 지지 능력(load bearing capability)을 나타내는 하중 지지 능력 값인, 제어 유닛(24).
  21. 제 13 항에 있어서,
    상기 결정 절차는 상기 지면 결합 부재(12, 14) 중 적어도 하나에 토크(torque)를 부여하는 단계를 포함하는, 제어 유닛(24).
  22. 제 13 항에 있어서,
    상기 제어 유닛(24)은, 현재 시점 이전의 미리 결정된 차량 작동 시간 범위 동안 결정 절차가 실행된 횟수를 결정하도록 더 구성되고,
    상기 제어 유닛(24)은, 상기 결정 절차가 상기 미리 결정된 차량 작동 시간 범위 동안 미리 결정된 임계 횟수 미만으로 실행되었고, 상기 결정 절차의 실행이 허용되었음을 검출하는 경우, 결정 절차를 실행하기 위해 신호를 발행하도록 더 구성되는, 제어 유닛(24).
  23. 제 13 항에 있어서,
    상기 제어 유닛(24)은, 상기 기준 컨텐츠 측정을 미리 결정된 도로 세그먼트(16) 유형 세트의 도로 세그먼트(16) 유형에 연관시키도록 더 구성되는, 제어 유닛(24).
  24. 제 13 항에 있어서,
    상기 제어 유닛(24)은, 상기 결정 절차가 실행되었을 때, 상기 차량(10)을 지지하는 상기 도로 세그먼트(16)의 상기 도로 능력을 나타내는 상기 파라미터를 상기 기준 컨텐츠 측정과 연관시키도록 더 구성되는, 제어 유닛(24).
  25. 제 13 항 내지 제 24 항 중 어느 한 항에 따른 제어 유닛(24)을 포함하는, 차량(10).
  26. 제 25 항에 있어서,
    상기 복수의 지면 결합 부재(12, 14)는 하나 이상의 바퀴를 포함하는, 차량(10).
KR1020217035342A 2019-04-05 2019-04-05 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법 및 제어 유닛 Active KR102669246B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/058711 WO2020200483A1 (en) 2019-04-05 2019-04-05 A method and a control unit for determining a parameter indicative of a road capability of a road segment supporting a vehicle

Publications (2)

Publication Number Publication Date
KR20210145244A KR20210145244A (ko) 2021-12-01
KR102669246B1 true KR102669246B1 (ko) 2024-05-29

Family

ID=66218055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217035342A Active KR102669246B1 (ko) 2019-04-05 2019-04-05 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법 및 제어 유닛

Country Status (6)

Country Link
US (1) US12054162B2 (ko)
EP (1) EP3947088B1 (ko)
JP (1) JP7348302B2 (ko)
KR (1) KR102669246B1 (ko)
CN (1) CN113727901A (ko)
WO (1) WO2020200483A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002536659A (ja) * 1999-02-11 2002-10-29 メガスケール アクティエボラーグ 路面の荷重支持能力を測定するための測定装置および測定方法
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2017128191A (ja) * 2016-01-19 2017-07-27 株式会社Ｓｕｂａｒｕ 車両の制御装置及び車両の制御方法
JP2017182757A (ja) * 2016-03-31 2017-10-05 日本電気株式会社 画像収集装置、画像収集システム、車載システム、画像収集方法、画像要求処理方法及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4046059B2 (ja) 2002-11-08 2008-02-13 株式会社豊田中央研究所 路面状態推定装置
JP2010060299A (ja) * 2008-09-01 2010-03-18 Omron Corp 物体検出装置
JP5457224B2 (ja) * 2010-02-24 2014-04-02 国立大学法人九州工業大学 路面状態検出装置
US9404540B2 (en) * 2011-09-29 2016-08-02 Ntn Corporation Wheel bearing apparatus with sensor
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
US9139204B1 (en) 2014-06-12 2015-09-22 GM Global Technology Operations LLC Road surface condition detection with recursive adaptive learning and validation
KR101618551B1 (ko) * 2014-07-02 2016-05-09 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
JP6456173B2 (ja) * 2015-02-04 2019-01-23 日立建機株式会社 車体外部移動物体検知装置
CN111351494B (zh) * 2015-02-10 2024-07-26 御眼视觉技术有限公司 导航系统及计算机可读介质
EP3059129B1 (en) * 2015-02-17 2020-04-15 Hexagon Technology Center GmbH Method and system for determining a road condition
US20170096144A1 (en) * 2015-10-05 2017-04-06 Ford Global Technologies, Llc System and Method for Inspecting Road Surfaces
US9460613B1 (en) * 2016-05-09 2016-10-04 Iteris, Inc. Pedestrian counting and detection at a traffic intersection based on object movement within a field of view
JP6544302B2 (ja) * 2016-06-22 2019-07-17 株式会社Ｓｏｋｅｎ 路面状況推定装置
US10311599B2 (en) * 2016-11-03 2019-06-04 Caterpillar Inc. System and method for diagnosis of lighting system
JP6654999B2 (ja) * 2016-12-12 2020-02-26 株式会社Ｓｏｋｅｎ 物標検出装置
LU93431B1 (en) * 2016-12-27 2018-06-28 Iee Sa Polarimetric Radar System and Method for Object Classification and Road Condition Estimation in Stationary Applications
EP3544856B1 (en) * 2017-01-12 2023-12-20 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
US10754035B2 (en) * 2017-01-17 2020-08-25 Aptiv Technologies Limited Ground classifier system for automated vehicles
KR102331651B1 (ko) * 2017-03-20 2021-11-30 후아웨이 테크놀러지 컴퍼니 리미티드 겉보기 특징의 기술 속성을 인식하기 위한 방법 및 장치
JP6624152B2 (ja) * 2017-04-26 2019-12-25 株式会社Ｓｏｋｅｎ タイヤ側装置およびそれを含むタイヤ装置
KR20200016886A (ko) * 2017-05-31 2020-02-17 카메라, 인크. 고해상도의 거의 실시간 맵 생성을 위한 이미징 장비를 구비한 차량들의 시스템
US10953887B2 (en) * 2017-06-20 2021-03-23 Nira Dynamics Ab Road condition monitoring
JP2019043173A (ja) * 2017-08-29 2019-03-22 スズキ株式会社 自動追従走行支援システム
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
KR102800301B1 (ko) * 2018-12-19 2025-04-28 삼성전자 주식회사 전자 장치 및 이를 이용한 v2x 서비스를 제공하는 방법
JP7415380B2 (ja) * 2019-09-04 2024-01-17 株式会社Soken タイヤ側装置およびそれを含む路面状態判別装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002536659A (ja) * 1999-02-11 2002-10-29 メガスケール アクティエボラーグ 路面の荷重支持能力を測定するための測定装置および測定方法
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2017128191A (ja) * 2016-01-19 2017-07-27 株式会社Ｓｕｂａｒｕ 車両の制御装置及び車両の制御方法
JP2017182757A (ja) * 2016-03-31 2017-10-05 日本電気株式会社 画像収集装置、画像収集システム、車載システム、画像収集方法、画像要求処理方法及びプログラム

Also Published As

Publication number Publication date
WO2020200483A1 (en) 2020-10-08
US20220172492A1 (en) 2022-06-02
CN113727901A (zh) 2021-11-30
EP3947088B1 (en) 2024-03-13
US12054162B2 (en) 2024-08-06
JP7348302B2 (ja) 2023-09-20
KR20210145244A (ko) 2021-12-01
EP3947088C0 (en) 2024-03-13
EP3947088A1 (en) 2022-02-09
JP2022534838A (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
JP5792678B2 (ja) 車線境界線検出装置およびプログラム
US9679204B2 (en) Determining the characteristics of a road surface by means of a 3D camera
US9505340B2 (en) Method and evaluation and control unit for adapting a headlight beam boundary of a light cone
US9171215B2 (en) Image processing device
US9319647B2 (en) Image processing device
US20140301094A1 (en) Method, control unit, and computer program product for setting a range of a headlight of a vehicle
CN111563405B (zh) 图像处理装置和图像处理方法
US9802533B2 (en) Machine roof integrated lighting system
US20120229644A1 (en) Edge point extracting apparatus and lane detection apparatus
JP2514779B2 (ja) カメラ姿勢パラメ―タ算出方法
US20140125794A1 (en) Vehicle environment monitoring device
KR102669246B1 (ko) 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법 및 제어 유닛
CN108256470A (zh) 一种车道偏移判断方法及汽车
JP3358247B2 (ja) 道路消失点の算出方法
JP6378547B2 (ja) 車外環境認識装置
CN110570347B (zh) 用于车道线检测的彩色图像灰度化方法
JP2870372B2 (ja) 物体認識装置
KR101237374B1 (ko) 신호등 판별용 영상 처리 방법
CN115830099B (zh) 基于图像识别的货运车辆整车质量估算方法
CN110884429A (zh) 基于激光雷达的辅助驾驶系统及方法
US11348344B2 (en) Line detection device, line detection method, program, and storage medium
JPH0778255A (ja) 画像の直線部抽出方法
JP7167834B2 (ja) 障害物・段差検知システム、及び移動体の注意喚起システム
JP4282158B2 (ja) 車両端点検出方法
CN115830852A (zh) 基于车道保持辅助系统的道路货运车辆质量估计方法

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601