KR20250086673A

KR20250086673A - 라이다 시스템 및 라이다 시스템을 작동하기 위한 방법

Info

Publication number: KR20250086673A
Application number: KR1020257014589A
Authority: KR
Inventors: 라이언 토마스 데이비스; 마크 앨런 잇즐러; 야히아 타흐왈리; 지예 이; 미카엘 쇤베르크; 사무엘 리처드 윌튼
Original assignee: 엘지이노텍 주식회사
Priority date: 2022-10-12
Filing date: 2023-10-12
Publication date: 2025-06-13
Also published as: CN120035772A; EP4602393A1; WO2024080801A1; US20240125940A1

Abstract

본 발명의 일 실시예에 따른 LiDAR 시스템은, 차량으로부터 송신 축을 따라 광 펄스를 송신하여 Tx FoV (transmission field-of-view)를 형성하도록 구성된 일련의 송신기; 수신 축을 따라 Rx FoV (reception field-of-view) 내의 물체에 반사되는 상기 광 펄스의 적어도 일부를 수신하도록 구성된 적어도 하나의 검출기; 및 횡축을 따라 이동하기 위해 장착되고, 상기 Rx FoV를 조정하지 않으면서 상기 Tx FoV를 조정하기 위해 상기 수신 축과 교차하지 않으며 각각의 상기 전송 축과 교차하도록 구성된 송신 광학 장치를 포함한다.

Description

라이다 시스템 및 라이다 시스템을 작동하기 위한 방법

본 발명의 실시예는 라이더 시스템에 관한 것이다. 본 발명의 실시예는 라이더 시스템을 작동시키는 방법에 관한 것이다.

차량은 장애물 탐지와 회피를 위하여 외부 환경을 모니터링하는 센서 시스템을 포함할 수 있다. 센서 시스템은 차량 근처의 근거리에 위치한 물체들과 멀리 떨어진 원거리의 물체들을 모니터링하기 위해 복수의 센서 어셈블리를 포함할 수 있다. 각 센서 어셈블리는 카메라, 레이더(radio detection and ranging, radar) 센서, 라이다(light detection and ranging, lidar) 센서 및 마이크로폰(microphone) 중 적어도 하나의 센서를 포함할 수 있다. 라이다(lidar) 센서는 차량으로부터 광 펄스를 외부로 송출하는 하나 이상의 방출기와 반사된 광 펄스를 수신하고 분석하는 하나 이상의 검출기를 포함한다. 라이더 센서는 차량 외부의 시야(field-of-view, FOV) 내에서 송출된 광과 수신된 광을 집중시키고 유도하기 위한 하나 이상의 광학적 요소를 포함할 수 있다. 센서 시스템은 센서들로부터 획득된 데이터에 기초하여 외부 환경 내 물체들의 위치를 결정할 수 있다. 차량은 상기 물체들의 위치에 따라 동력전달장치(powertrain), 제동장치(braking systems) 및 조향장치(steering systems)를 포함한 하나 이상의 차량 시스템을 제어할 수 있다.

고정 해상도 그리드(fixed resolution grid)를 사용하는 라이다 시스템은 일정 개수의 펄스 또는 검출기 판독값(detector reading)을 통합하여 슈퍼 픽셀(super pixel)을 형성한다. 그러나 물체가 슈퍼 픽셀의 시야를 충분히 채우지 못할 경우, 물체에서 반사되지 않은 펄스나 검출기 판독값까지 통합하게 되어 추정된 포인트 클라우드의 품질이 저하된다. 또한 라이더 시스템은 항공기(aircraft), 선박(ship) 및/또는 지도 시스템(mapping system)과 같은 다른 응용 분야에서도 사용될 수 있다.

일 실시예에 있어서, 라이다 시스템은 일련의 방출기를 포함하며, 각 방사기는 차량으로부터 송신 축을 따라 광 펄스를 송신하여 송신 시야(transmission field-of-view, Tx FoV)를 형성하도록 구성된다. 적어도 하나의 검출기는 수신 축을 따라 수신 시야(reception field-of-view, Rx FoV) 내의 물체로부터 반사된 광 펄스의 적어도 일부를 수신하도록 구성된다. 송신 광학 장치(transmit optic)는 가로 축(transverse axis)을 따라 이동 가능하게 설치되며, 수신 축을 교차(intersect)하지 않으면서 각 송신 축과 교차하여 Rx FoV를 조정하지 않고 Tx FoV만 조정하도록 구성된다.

다른 실시예에서, 송신 시야(transmission field-of-view, Tx FoV)를 조정하기 위한 방법이 제공된다. 차량으로부터 적어도 하나의 송신 축(transmission axis)을 따라 광 펄스를 송출하여 송신 시야(Tx FoV)를 형성한다. 수신 시야(reception field-of-view, Rx FoV) 내의 물체로부터 반사된 광 펄스의 적어도 일부를 수신 축(reception axis)을 따라 수신한다. 송신 광학 장치는 가로 축을 따라 이동되어, 수신 축을 교차하지 않으면서 각 송신 축과 교차하여 Rx FoV를 조정하지 않고 Tx FoV만을 조정한다.

또 다른 실시예에서, 비휘발성 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)는 저장된 명령어를 포함하며, 이 명령어는 하나 이상의 컴퓨팅 장치에 의해 실행될 때 다음의 작업을 수행하게 한다: 차량으로부터 광 펄스를 송출하여 송신 시야(transmission field-of-view, Tx FoV)를 형성하는 단계, 수신 시야(reception field-of-view, Rx FoV) 내의 물체로부터 반사된 광 펄스의 적어도 일부를 수신하는 단계, 그리고 송신 광학 장치를 가로 축을 따라 이동시켜 Rx FoV를 조정하지 않고 Tx FoV만을 조정하는 단계.

본 개시는 라이다 시스템을 작동하기 위한 시스템 및 방법의 구현에 관한 것이다. 방법은, 각 광 검출기가 라이더 시스템 외부 물체로부터 반사된 광 신호와 관련된 측정을 용이하게 하는 동작을 수행하는 단계; 프로세서가 광 검출기들로부터 타겟 파장에서 또는 그 근처에서 광자를 검출한 시간들을 나타내는 결과 값을 수신하는 단계; 프로세서가 상기 결과 값들의 서로 다른 집합을 결합하여 복수의 슈퍼 픽셀을 생성하는 단계; 프로세서가 생성된 슈퍼 픽셀들을 사용하여 시공간적 코히어런스 메트릭(spatiotemporal coherence metrics)을 얻는 단계; 프로세서가 시공간적 코히어런스 메트릭에 기초하여 광 펄스의 하위집합 또는 결과 값의 그룹을 선택하는 단계; 및/또는 프로세서가 선택된 광 펄스의 하위집합 또는 결과 값의 그룹에 기초하여 라이다 시스템과 물체 간의 거리를 검출하는 단계 중 적어도 하나를 포함한다.

구현된 시스템은 프로세서와 프로세서가 라이더 시스템을 운용하는 방법을 실행하도록 구성된 프로그래밍 명령어가 저장된 비휘발성 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다. 위에서 설명된 방법들은 또한 프로세서가 동작을 수행하도록 구성된 프로그래밍 명령어와 메모리를 포함하는 컴퓨터 프로그램 제품에 의해서도 구현될 수 있다.

본 개시는 라이다 시스템을 운용하는 시스템 및 방법의 구현에 관한 것이다. 방법은, 프로세서가 픽셀들을 그리드로 배열하는 단계(이때 픽셀들은 라이다 시스템의 광 검출기에서 생성된 처리 파형에서 생성된 결과값들을 포함함), 프로세서가 픽셀들과 관련된 거리 값 간의 상관관계 및/또는 픽셀들과 관련된 강도 값 간의 상관관계에 기초하여 그리드 내에서 제1 관심 영역을 식별하는 단계; 프로세서가 제1 관심 영역 내에 위치한 픽셀들과 연관된 결과 값들을 결합하여 특징 값들을 생성하는 단계; 그리고 프로세서가 생성된 특징 값들로 값이 설정된 슈퍼픽셀을 생성하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 Tx FoV 및 상기 Rx FoV는 겹치고, 상기 조정된 Tx FoV는 상기 Tx FoV의 영역 내에 위치한다.

본 발명의 일 실시예에 따르면, 상기 일련의 방출기에 인접하게 장착되고, 집합적으로 송신 빔을 형성하기 위해 각 송신 축을 따라 상기 광 펄스를 집중시키고 유도하도록 구성되는 시준기(collimator)를 더 포함한다.

본 발명의 일 실시예에 따르면, 상기 송신 광학 장치는 상기 시준기에 인접하게 배열되며, 상기 조정된 Tx FoV를 형성하기 위해 상기 송신 빔을 상기 Tx FoV의 영역에 집중시키도록 구성된다. 상기 송신 광학 장치는 원통형 렌즈를 포함한다.

본 발명의 일 실시예에 따르면, 상기 일련의 방출기는 상기 횡축과 평행하게 배열되는 방출기의 선형 배열을 포함하고, 상기 방출기의 선형 배열은 근위 방출기와 상기 근위 방출기의 반대편에 배열된 원위 방출기를 포함한다. 본 발명의 일 실시예에 따르면, 상기 송신 광학 장치에 연결되고, 정지 위치 - 상기 광학 장치는 상기 방출기의 선형 배열의 어떠한 송신 축과 교차하지 않음 - 및 상기 원위 방출기의 상기 송신 축과 교차하기 위한 원위 위치 사이의 범위를 통해 상기 송신 광학 장치를 이동시키도록 구성되는 액추에이터를 더 포함한다.

본 발명의 일 실시예에 따르면, 상기 횡축을 따라 상기 송신 광학 장치를 이동시키도록 구성되는 컨트롤러를 더 포함하고, 상기 컨트롤러는, 상기 수신된 광 펄스로부터, 상기 물체가 알려지지 않은 물체인지 결정하고; 그리고, 상기 송신 광학 장치를 통해서 광 펄스가 송신되는 동안 근위 위치와 원위 위치 사이의 상기 횡축을 따라서 상기 송신 광학 장치를 이동시키도록 추가로 구성된다.

본 발명의 일 실시예에 따르면, 상기 컨트롤러는, 상기 송신 광학 장치를 이동시키는 동안 상기 알려지지 않은 물체에서 반사되는 상기 광 펄스를 나타내는 스위프 데이터를 수신하고; 상기 스위프 데이터에 기초하여 상기 알려지지 않은 물체의 위치를 결정하고; 그리고 상기 조정된 Tx FoV를 상기 알려지지 않은 물체의 상기 위치와 정렬되도록 상기 송신 광학 장치를 상기 횡축을 따라 위치로 이동시키도록 추가로 구성된다.

본 발명의 일 실시예에 따른 LiDAR 시스템은, 프로세서; 상기 프로세서가 LiDAR 시스템을 작동하기 위한 방법을 구현하도록 구성된 프로그래밍 명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 상기 프로그래밍 명령어는, 광검출기로부터 상기 광검출기가 타겟 파장에서 또는 근처에서 광자를 검출하는 시간을 나타내는 시간을 결과 값으로 수신하고; 슈퍼 픽셀을 생성하기 위해 상기 결과 값의 다른 집합을 결합하고; 제1 시공간적 코히어런스 메트릭(coherence metric)을 획득하기 위해 상기 슈퍼 픽셀을 사용하고; 상기 제1 시공간적 코히어런스 메트릭에 기초하여 광 펄스의 하위집합 또는 결과 값의 그룹을 선택하고; 그리고 상기 선택된 광 펄스의 하위집합 또는 상기 선택된 결과 값의 그룹에 기초하여 상기 LiDAR 시스템 및 상기 물체 사이의 거리를 검출하는 명령어를 포함한다.

본 발명의 일 실시예에 따르면, 상기 제1 시공간적 코히어런스 메트릭은 상기 복수의 광검출기에 의한 두 개의 펄스 또는 두 개의 펄스의 그룹의 검출 사이의 분포의 변화를 각각 지정하는 메트릭을 포함하고, 상기 광 펄스의 하위집합 또는 상기 결과 값의 그룹은 상기 메트릭 중 가장 큰 값에 기초하여 선택된다.

본 발명의 일 실시예에 따르면, 상기 제1 시공간적 코히어런스 메트릭은, 각 펄스에 대해서, 가장 낮은 값에서 가장 높은 값 또는 가장 낮은 값에서 가장 높은 값으로 분류된 연속적인 타임스탬프 사이의 차이의 측정된 분산을 포함하고, 선택된 상기 광 펄스의 하위집합 또는 상기 결과 값의 그룹은 상대적으로 낮은 측정된 분산과 연관된 광 펄스 또는 결과 값을 포함한다.

본 발명의 일 실시예에 따르면, 상기 제1 시공간적 코히어런스 메트릭은 물체 검출의 신뢰도 또는 유효성을 나타내는 광 신호의 각 펄스에 대한 점수를 포함하고, 상기 펄스는 상기 점수가 값을 초과하면 상기 하위집합에 포함되도록 선택된다.

본 발명의 일 실시예에 따른 LiDAR시스템은, 프로세서; 상기 프로세서가 LiDAR 시스템을 작동하기 위한 방법을 구현하도록 구성된 프로그래밍 명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 상기 프로그래밍 명령어는, 그리드에 복수의 픽셀 - 상기 복수의 픽셀은 상기 LiDAR 시스템의 광검출기에 의해 생성된 처리 파형에서 생성되는 결과 값을 포함함 - 을 배열하고; 상기 복수의 픽셀과 연관된 범위 값들 사이의 상관 관계와 상기 복수의 픽셀과 연관된 강도 값들 사이의 상관 관계 중 적어도 하나에 기초하여 제1 관심 영역을 식별하고; 적어도 하나의 제1 특징 값을 생성하기 위해 상기 제1 관심 영역 내에 위치한 픽셀에 연관된 결과 값을 결합하고; 그리고 상기 적어도 하나의 제1 특징 값으로 설정된 값을 가지는 제1 슈퍼 픽셀을 생성하는 명령어를 포함한다.

본 발명의 일 실시예에 따르면, 상기 프로그래밍 명령어는 커널 사이즈를 획득하고, 상기 그리드의 상기 관심 지역을 식별하기 위해 상기 커널 사이즈를 사용하는 명령어를 더 포함한다.

본 발명의 일 실시예에 따르면, 상기 커널 사이즈는, 적어도 범위의 측면에서 상기 그리드의 관심 픽셀에 가장 가까운 이웃인 상기 복수의 픽셀 중 적어도 하나의 위치를 찾고; 그리고 상기 그리드 내의 상기 가장 가까운 이웃의 위치에 기초하여 상기 커널 사이즈를 정의함으로써 획득된다.

본 발명의 일 실시예에 따르면, 상기 커널 사이즈는, 기준 커널 사이즈를 획득하고; 상기 기준 커널 사이즈를 사용하여 상기 그리드 내 영역을 식별하고; 상기 영역의 중심 픽셀을 식별하고; 상기 영역의 각 픽셀에 대한 점수 - 상기 점수는 상기 픽셀과 연관된 결과 값과 상기 중심 픽셀 사이의 상관 관계의 정도를 나타냄 - 를 그와 연관된 상기 결과 값을 사용하여 계산하고; 상기 점수에 기초하여 상기 복수의 픽셀으로부터 픽셀을 선택하고; 그리고 상기 그리드 내의 상기 선택된 픽셀의 위치에 기초하여 상기 커널 사이즈를 정의함으로써 획득된다.

본 발명의 일 실시예에 따른 LiDAR 시스템을 작동하기 위한 방법은, 프로세서에 의해, 복수의 광검출기로부터 상기 복수의 광검출기가 타겟 파장에서 또는 근처에서 광자를 검출하는 시간을 나타내는 시간을 결과 값 - 상기 결과 값은 상기 LiDAR 시스템 외부의 물체에서 반사된 광 신호와 연관된 측정을 용이하게 하기 위해 상기 복수의 광검출기 각각에 의해 수행되는 동작에 기초함- 으로 수신하는 단계; 상기 프로세서에 의해, 슈퍼 픽셀을 생성하기 위해 상기 결과 값의 다른 집합을 결합하는 단계; 상기 프로세서에 의해, 제1 시공간적 코히어런스 메트릭을 획득하기 위해 상기 슈퍼 픽셀을 사용하는 단계; 상기 제1 시공간적 코히어런스 메트릭에 기초하여 광 펄스의 하위집합 또는 결과 값의 그룹을 선택하는 단계; 및 상기 프로세서에 의해, 상기 선택된 광 펄스의 하위집합 또는 상기 선택된 결과 값의 그룹에 기초하여 상기 LiDAR 시스템 및 상기 물체 사이의 거리를 검출하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 제1 시공간적 코히어런스 메트릭은 분포 비교 메트릭, 비행 시간(time-of-flight) 통계 메트릭 및 검출 신뢰도 점수 중 적어도 하나를 포함하고, 상기 제1 시공간적 코히어런스 메트릭은 상기 복수의 광검출기에 의한 두 개의 펄스 또는 두 개의 펄스의 그룹의 검출 사이의 분포의 변화를 각각 지정하는 메트릭을 포함하고, 상기 광 펄스의 하위집합 또는 상기 결과 값의 그룹은 상기 메트릭 중 가장 큰 값에 기초하여 선택된다.

도 1은 본 개시의 측면에 따른, 조정 가능한 송신 시야(Tx FoV)를 가지는 라이다 센서를 포함한 자율 주행 시스템(SDS, Self-driving system)을 구비한 차량을 예시하는 정면 사시도이다.
도 2는 본 개시의 측면에 따른, SDS와 기타 시스템 및 장치들 간의 통신을 설명하는 개략도이다.
도 3은 본 개시의 측면에 따른, SDS의 라이다 센서의 예시적인 구조를 나타내는 도면이다.
도 4는 본 개시의 측면에 따른, 라이다 센서의 평면도이다.
도 5는 본 개시의 측면에 따른, 선 V-V를 따라 취한 도 4의 라이더 센서의 단면도이다.
도 6은 본 개시의 측면에 따른, Tx FoV를 제공하는 라이더 센서의 개략도이다.
도 7은 본 개시의 측면에 따른, Tx FoV를 전체 Tx FoV에 대한 제1 영역으로 조정하기 위해 제1 위치로 조정된 송신 광학 장치를 설명하는 다른 라이더 센서의 개략도이다.
도 8은 본 개시의 측면에 따른, Tx FoV를 전체 Tx FoV에 대한 제2 영역으로 조정하기 위해 제2 위치로 조정된 송신 광학 장치를 설명하는 도 7의 라이더 센서의 또 다른 개략도이다.
도 9는 Tx FoV를 전체 Tx FoV에 대한 제3 영역으로 조정된 송신 광학 장치를 설명하는 도 7의 라이더 센서의 또 다른 개략도이다.
도 10은 본 개시의 측면에 따른, 도 7의 전체 Tx FoV와 수신 시야(Rx FoV)를 설명하기 위한 도면이다.
도 11은 본 개시의 측면에 따른, 조정된 Tx FoV와 Rx FoV 간의 관계를 설명하기 위한 도면이다.
도 12는 본 개시의 측면에 따른, Tx FoV를 조정하는 방법을 설명하는 흐름도이다.
도 13은 도 3에 도시된 라이다 시스템의 광검출기로부터의 결과를 결합하기 위한 기법을 설명하는 도면이다.
도 14A-14E(집합적으로 "도 14"라 함)는 도 3에 도시된 라이다 시스템의 광검출기로부터의 겹치지 않는 결과 집합을 결합하기 위한 합성곱 오버샘플링 기법(convolutional oversampling technique)의 설명을 제공한다. 결합은 함수 F1 내지 F5에 의해 행해진다.
도 15는 해당 예시의 5개의 펄스 P1-P5 중 2개만 물체에서 반사되어 통합되는 예시를 설명하기 위한 도면이다.
도 16은 가이거 모드 라이더에서 가변 해상도 정제(variable resolution refinement)를 설명하는 방법의 흐름도를 제공하는 도면이다.
도 17은 비닝(binning)을 이해하는 데 유용한 예시를 제공하는 도면이다.
도 18은 히스토그램의 예시를 제공하는 도면이다.
도 19는 타겟 물체를 예시하는 도면이다.
도 20은 본 해결수단에 따른 라이다 데이터의 공간적 처리를 위한 예시적인 방법의 흐름도를 제공하는 도면이다.
도 21A-21G(집합적으로 "도 21"이라 함)는 라이다 파형에서 생성된 결과를 결합하기 위한 또 다른 기법의 예시를 제공하는 도면이다.
도 22-23은 각각 수정 또는 조정된 커널 사이즈 및/또는 관심 영역(ROI)을 보여주는 예시를 제공하는 도면이다.
도 24는 그리드에서 조정되거나 수정된 위치를 가지는 ROI의 예시를 제공하는 도면이다.
도 25는 본 해결방법에 따른 라이다 데이터의 공간적 처리를 위한 또 다른 예시적인 방법의 흐름도를 제공하는 도면이다.
도 26은 시스템의 예시를 제공하는 도면이다.
도 27은 자율 주행 차량의 보다 자세한 예시를 제공하는 도면이다
도 28은 차량 궤적 플래닝 프로세스(vehicle trajectory planning process)의 예시적인 블록도를 제공하는 도면이다.
도 29는 컴퓨터 시스템의 예시를 제공하는 도면이다.

필요에 따라서, 상세한 실시예들이 본 명세서에서 개시되지만, 개시된 실시예들은 단지 예시적인 것일 뿐이며, 다양한 형태 또는 대체 가능한 형태로 구현될 수 있음을 이해하여야 한다. 도면들은 반드시 축척에 따라 작성된 것은 아니며, 특정 구성요소들의 세부 사항을 명확히 나타내기 위해 일부 특징이 과장되거나 축소되어 나타날 수 있다. 따라서 본 명세서에 개시된 구체적인 구조적 및 기능적 세부 사항들은 한정적인 것으로 해석되지 않으며, 단지 본 개시 내용을 통상의 기술자에게 교시하여 이를 다양하게 구현할 수 있도록 안내하는 대표적인 기준으로 간주되어야 한다.

라이다 시스템은 고정된 해상도를 가질 수 있다. 이 해상도는 하드웨어 및 소프트웨어 시스템의 속성으로 정의되며, 라이더 시스템의 반사 성능과는 무관하다. 실제로 이것은 일정한 크기를 가진 특정 타겟 물체에 대해, 라이다 시스템이 특정 반사율 및 거리의 함수로서 일정한 탐지 확률을 가지며, 동시에 고정된 해상도를 갖는다는 것을 의미한다. 그러나 이것은 후술하는 컴퓨터 비전 파이프라인에서 반드시 바람직한 특성이 아닐 수 있다. 그러한 파이프라인은 특정 범위에 대해 일정한 탐지 확률을 유지하기를 원할 수 있으며, 이를 얻기 위해 범위 감지 시스템의 다른 특성(예: 해상도)을 희생할 수도 있다. 예컨대, 속도 추정 성능이 저하되거나 데이터 연관성(data association)이 낮아질 가능성은 있더라도, 낮은 반사율을 가진 물체에 대해 더 적은 수의 측정 포인트가 생성되더라도 일정한(높은) 탐지 확률을 유지하는 것이 가능하다면, 지각(perception) 시스템은 반사율이 낮더라도 물체가 존재한다는 사실에 대해 확신을 가질 수 있게 된다.

본 명세서는 기존 라이다 시스템에서의 탐지 확률 문제를 해결하기 위하여, 가이거 모드 라이더 시스템의 해상도를 가변적으로 정밀화(variable-resolution refinement)하는 시스템, 장치, 디바이스, 방법 및/또는 컴퓨터 프로그램 제품의 실시예들 및 이들의 조합 및 하위 조합을 설명한다. 본 발명의 이러한 특징은 라이다 시스템의 운용을 향상시키고, 라이다 데이터를 이용한 물체 탐지 및 차량 제어의 성능을 향상시킬 수 있다.

방법은 일반적으로 다음을 포함한다: 각 광 검출기가 라이더 시스템 외부 물체로부터 반사된 광 신호와 관련된 측정을 용이하게 하는 동작을 수행하는 단계; 프로세서가 광 검출기들로부터 타겟 파장에서 또는 그 근처에서 광자를 검출한 시간들을 나타내는 결과 값을 수신하는 단계; 프로세서가 상기 결과 값들의 서로 다른 집합을 결합하여 복수의 슈퍼 픽셀을 생성하는 단계; 프로세서가 생성된 슈퍼 픽셀들을 사용하여 시공간적 코히어런스 메트릭(spatiotemporal coherence metrics)을 얻는 단계; 프로세서가 시공간적 코히어런스 메트릭에 기초하여 광 펄스의 하위집합 또는 결과 값의 그룹을 선택하는 단계; 프로세서가 선택된 광 펄스의 하위집합 또는 결과 값의 그룹에 기초하여 라이다 시스템과 물체 간의 거리를 검출하는 단계; 및/또는 프로세서가 차량의 작동을 제어하기 위해 거리를 사용하도록 하는 단계.

시공간적 코히어런스 메트릭은 고정되거나 가변적인 개수의 광 신호 펄스에 대한 슈퍼 픽셀을 고려하여 얻어질 수 있다. 두 경우 모두에서, 시공간적 코히어런스 메트릭은 분포 비교 지표, 비행시간(ToF, time-of-flight) 통계 지표 및/또는 검출 신뢰도 점수를 포함할 수 있으나, 이에 한정되지 않는다. 분포 비교 지표의 경우, 시공간적 코히어런스 메트릭은 복수의 광검출기에 의한 두 펄스 또는 두 그룹의 펄스의 검출 간에 나타난 분포 변화를 각각 나타내는 지표들을 포함할 수 있다. 광 펄스의 하위집합 또는 결과값 그룹은 지표들 중에서 가장 큰 값을 가진 지표를 기준으로 선택된다. 비행시간 통계 지표의 경우, 시공간적 일관성 지표는 각 펄스마다 타임스탬프들을 최소값에서 최대값 또는 최대값에서 최소값 순서로 정렬했을 때 연속적인 타임스탬프 간 차이에 대한 측정된 분산값을 포함할 수 있다. 선택된 광 펄스의 하위집합 또는 결과 값 그룹은 상대적으로 낮은 측정된 분산 값과 연관된 광 펄스 또는 결과값을 포함한다. 검출 신뢰도 점수의 경우, 시공간적 코히어런스 메트릭은 물체 검출의 신뢰도 또는 유효성을 나타내는 광 신호의 각 펄스에 대한 점수를 포함할 수 있다. 점수가 특정 값을 초과하면 펄스는 부분집합에 포함되도록 선택된다. 유사하게, 특정 펄스와 연관된 점수가 특정 값을 초과하면 결과 값들이 그룹에 포함되도록 선택될 수 있다.

본 문서에서 사용되는 단수형 "a", "an", 및 "the"는 문맥상 명백히 달리 해석되지 않는 한 복수의 의미도 포함한다. 달리 정의되지 않는 한, 본 문서에서 사용된 모든 기술적 및 과학적 용어는 해당 기술 분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 갖는다. 본 문서에서 사용된 "포함하는"이라는 용어는 "포함하되 이에 한정되지 않는"이라는 의미를 가진다. 본 문서에서 "차량"이라는 용어는 하나 이상의 사람 탑승자와/또는 화물을 운반할 수 있고, 어떠한 형태로든 에너지를 이용하여 움직일 수 있는 모든 형태의 운송수단을 지칭한다. "차량"이라는 용어는 자동차, 트럭, 밴, 기차, 자율주행 차량, 항공기, 무인항공기 등을 포함하나, 이에 한정되지 않는다. "자율주행 차량(autonomous vehicle, AV)"은 프로세서와 프로그래밍 명령 및 프로세서가 사람 운전자의 개입 없이 구동 장치를 제어할 수 있는 구동 부품을 갖춘 차량이다. 자율주행 차량은 대부분 또는 모든 주행 조건과 기능에서 사람 운전자를 필요로 하지 않는 완전자율주행일 수도 있으며, 특정 조건이나 특정 운행에서 사람 운전자가 필요하거나 사람이 자율 시스템을 무효화하고 차량을 제어할 수 있는 반자율주행일 수도 있다.

회전식 라이다 센서와 같은 회전식 광학 센서는 복잡한 물리적 및 전기적 구조를 포함할 수 있다. 회전식 라이다 센서는 차량 주변의 넓은 360도 시야(FoV)를 스캔할 수 있다. 라이다 센서의 방사기들이 광을 송출하는 영역은 송신 시야(Tx FoV)라 불리며, 라이다 센서의 검출기들이 광을 수신하는 영역은 수신 시야(Rx FoV)라 불린다. 일반적으로, Tx FoV와 Rx FoV는 서로 겹친다. 회전식 라이다 센서는 넓은 수직 영역에 걸쳐 확장된 Tx FoV를 제공하기 위해 방사기의 선형 배열을 포함할 수 있다. 이러한 회전식 라이다 센서에서는 탐지 거리와 Tx FoV가 역의 관계를 가진다. Tx FoV가 클수록 광학 출력이 더 넓게 분산되며 작은 타겟에 도달하는 광의 양은 줄어든다. 특정 상황에서 자율 주행 시스템(SDS)은 Tx FoV를 최대화하는 데 더 관심이 있을 수 있지만, 다른 상황에서는 더 제한된 Tx FoV 내에서 탐지 거리를 최대화하는 데 관심이 있을 수 있으며, 예를 들어 먼 거리에 있는 알려지지 않은 물체를 식별할 때가 있다. 타이어 파편과 같은 특정 물체들은 반사성이 낮고 불규칙한 형태를 가지므로 식별이 어려울 수 있다.

일부 측면에 따르면, SDS는 특정 조건에서는 Rx FoV를 최대로 유지하기 위해 Rx FoV를 조정하지 않으면서 Tx FoV만을 조정하고, 다른 조건에서는 보다 좁은 Rx FoV에서 탐지 거리를 최대화하기 위해 Tx FoV를 조정한다. 라이다 센서는 송신 광학부를 수직 방향으로 이동시켜 Rx FoV를 조정하지 않고 Tx FoV만을 조정하도록 제어되는 조정 가능한 송신 광학 장치를 포함하는 송신부 어셈블리를 갖는다. 송신 광학 장치는 송신되는 빔의 발산각을 변경하여 Tx FoV를 Rx FoV의 더 작은 영역에 집중시키며, 이는 분석해야 할 전체 포인트 클라우드(point cloud)의 크기를 줄여 라이다 센서의 처리 성능을 높인다. Tx FoV를 감소시킴으로써 방출기에서 표적에 조사되는 광자의 수가 관심이 있는 더 작은 영역에서는 증가하게 된다. 이 경우, Rx FoV가 변하지 않으므로 공간 해상도가 증가하는 것은 아니다.

라이다 센서가 Tx FoV와 Rx FoV를 모두 조정하려고 한다면, 방출기와 검출기가 같은 시야 영역을 스캔하도록 조정을 동기화할 필요가 있다. Rx FoV를 조정하지 않고 Tx FoV만을 조정할 때의 이점은, Rx FoV 내에 있기만 하면 검출기가 Tx FoV가 조정된 정확한 위치를 알 필요가 없다는 것이다. Rx FoV를 조정하지 않고 Tx FoV만을 조정하는 또 다른 이점은, 방출기와 검출기 및 관련된 검출기 렌즈가 이동하지 않으므로 추가적인 움직이는 전자장치가 필요하지 않다는 것이다.

도 1을 참조하면, 하나 이상의 실시예에 따른 라이다 센서가 도시되며 일반적으로 참조 번호(100)으로 나타난다. 라이다 센서(100)는 자율주행 차량과 같은 차량(104)의 자율 주행 시스템(SDS)(102)과 통합되어 있다. SDS(102)는 차량(104)의 외부 환경을 모니터링하는 복수의 센서(106)를 포함한다. 라이다 센서(100)는 차량(104) 외부 환경에 존재하는 타이어 파편과 같은 특정 미확인 물체(110)를 모니터링하기 위해 수신 시야(Rx FoV)를 조정하지 않고 송신 시야(Tx FoV)만을 조정한다.

SDS(102)는 근거리 및 원거리에서 차량(104) 주변의 360도 시야를 모니터링하는 하나 이상의 센서(106)를 각각 포함하는 다수의 센서 어셈블리를 포함한다. SDS(102)는 상부 센서 어셈블리(112), 두 개의 측면 센서 어셈블리(114), 두 개의 전방 센서 어셈블리(116), 그리고 후방 센서 어셈블리(118)를 포함한다. 각 센서 어셈블리는 카메라, 라이다 센서 및 레이더 센서 중 하나 이상의 센서(106)를 포함한다.

상부 센서 어셈블리(112)는 차량(104)의 루프에 장착되며, 라이다 센서 및 복수의 카메라와 같은 복수의 센서(106)를 포함한다. 라이다 센서는 축을 중심으로 회전하여 차량(104)의 주변 360도 시야(FoV)를 스캔한다. 측면 센서 어셈블리(114)는 도 1에 도시된 바와 같이 차량(104)의 전방 펜더 또는 사이드미러 내부와 같은 차량(104)의 측면에 장착된다. 각 측면 센서 어셈블리(114)는, 예를 들어서 라이다 센서 및 카메라와 같은 복수의 센서(106)를 포함하며, 차량(104) 주변의 근거리 시야를 모니터링한다. 전방 센서 어셈블리(116)는 헤드라이트 아래와 같은 차량(104)의 전방에 장착된다. 각 전방 센서 어셈블리(116)는, 예를 들어서 라이다 센서, 레이더 센서 및 카메라와 같은 복수의 센서(106)를 포함하며, 차량(104)의 전방 원거리 시야를 모니터링한다. 후방 센서 어셈블리(118)는 예를 들어 차량(104)의 후방 상단부, 중앙 상단 정지등(CHMSL) 근처에 장착된다. 후방 센서 어셈블리(118)는 차량(104)의 후방 시야를 모니터링하기 위한 카메라와 라이다 센서와 같은 복수의 센서(106)를 포함한다.

도 2는 본 발명의 다양한 측면에 따라 SDS(102)와 다른 시스템 및 장치들 간의 통신을 나타낸다. SDS(102)는 센서 시스템(200)과 컨트롤러(202)를 포함한다. 컨트롤러(202)는 다른 시스템 및 장치들과 직접 또는 송수신기(204)를 통해 통신할 수 있다.

센서 시스템(200)은 상부 센서 어셈블리(112) 및 전방 센서 어셈블리(116)와 같은 센서 어셈블리들을 포함한다. 상부 센서 어셈블리(112)는 라이다 센서(100), 레이더 센서(208) 및 카메라(210)와 같은 하나 이상의 센서를 포함한다. 카메라(210)는 가시광선 카메라 또는 적외선 카메라일 수 있다. 센서 시스템(200)은 마이크로폰, 소나(SONAR) 센서, 온도 센서, 위치 센서(예: GPS 등), 위치 추적 센서, 연료 센서, 모션 센서(예: 관성 측정 장치(IMU) 등), 습도 센서, 탑승 감지 센서 등의 추가 센서들을 포함할 수 있다. 센서 시스템(200)은 차량(104)의 외부 환경을 나타내는 센서 데이터(212)를 제공한다. 컨트롤러(202)는 센서 데이터를 분석하여 신호등, 원거리 차량, 보행자 등과 같은 차량(104) 외부 물체들의 위치를 식별하고 결정한다.

SDS(102)는 또한 송수신기(204)를 통해 엔진, 변속기, 내비게이션 시스템, 브레이크 시스템과 같은 하나 이상의 차량 시스템(214)과 통신한다. 컨트롤러(202)는 차량 속도, 엔진 속도, 방향 지시등 상태, 브레이크 위치, 차량 위치, 조향 각도, 주변 온도 등과 같은 현재의 작동 상태를 나타내는 정보를 차량 시스템(214)으로부터 수신할 수 있다. 컨트롤러(202)는 센서 데이터(212)를 기반으로 하나 이상의 차량 시스템(214)을 제어할 수도 있으며, 예를 들어 컨트롤러(202)는 장애물 회피를 위해 브레이크 시스템과 조향 시스템을 제어할 수 있다. 컨트롤러(202)는 차량 시스템(214)과 직접 통신하거나, CAN 버스(216)와 같은 차량 통신 버스를 통해 간접적으로 차량 시스템(214)과 통신할 수 있다.

SDS(102)는 외부 차량 및 구조물과 같은 외부 물체(218)와 통신하여 외부 환경 정보를 공유하거나 추가적인 외부 환경 정보를 수집할 수도 있다. SDS(102)는 물체(218)와 통신하기 위해 컨트롤러(202)에 연결된 차량-사물 간(V2X) 송수신기(220)를 포함할 수 있다. 예를 들어, SDS(102)는 V2X 송수신기(220)를 이용하여 원격 차량과 차량-차량 간(V2V) 통신을 직접 수행하거나, 구조물(예를 들어서, 표지판, 건물, 신호등)과 차량-인프라 간(V2I) 통신을 수행하거나, 오토바이와 차량-오토바이 간(V2M) 통신을 수행할 수 있다.

SDS(102)는 통신 네트워크(224)를 통해 원격 컴퓨팅 장치(222)와 송수신기(204, 220) 중 하나 이상을 사용하여 통신할 수 있으며, 예를 들어 센서 데이터(212)에 기초하여 차량(104)에 대한 물체(218)의 위치를 나타내는 메시지 또는 시각적 정보를 제공할 수 있다. 원격 컴퓨팅 장치(222)는 본 명세서에서 기술한 기술의 하나 이상의 프로세스를 처리하기 위한 하나 이상의 서버를 포함할 수 있다. 원격 컴퓨팅 장치(222)는 또한 네트워크(224)를 통해 데이터베이스(226)와 데이터를 교환할 수 있다.

DS(102)는 차량(104)의 사용자에게 정보를 제공하는 사용자 인터페이스(228)를 포함한다. 컨트롤러(202)는 센서 데이터(212)를 기반으로 차량(104)에 대한 물체(218)의 위치를 나타내는 메시지 또는 시각적 정보를 제공하도록 사용자 인터페이스(228)를 제어할 수 있다.

컨트롤러(202)는 단일 컨트롤러로 설명되었지만, 다수의 컨트롤러를 포함하거나 하나 이상의 다른 컨트롤러 내에서 소프트웨어 코드 형태로 구현될 수도 있다. 컨트롤러(202)는 일련의 동작을 수행하기 위해 서로 상호작용하는 마이크로프로세서, ASIC, IC, 메모리(예: FLASH, ROM, RAM, EPROM, EEPROM 등) 및 소프트웨어 코드를 포함할 수 있는 처리 유닛 또는 프로세서(230)를 포함한다. 이러한 하드웨어 및/또는 소프트웨어는 특정 기능을 수행하도록 어셈블리로 함께 그룹화될 수 있다. 본 명세서에서 설명된 하나 이상의 컨트롤러 또는 장치 중 어느 하나는 다양한 프로그래밍 언어나 기술을 이용하여 생성된 컴퓨터 프로그램에서 컴파일 또는 해석된 컴퓨터 실행 가능한 명령어를 포함할 수 있다. 컨트롤러(202)는 또한 소프트웨어 프로그램의 명령어를 실행할 수 있는 메모리(232) 또는 비휘발성 컴퓨터 판독 가능한 저장 매체를 포함한다. 메모리(232)는 전자 저장 장치, 자기 저장 장치, 광학 저장 장치, 전자기 저장 장치, 반도체 저장 장치 또는 이들의 임의의 적합한 조합일 수 있으나, 이에 한정되지 않는다. 일반적으로 프로세서(230)는 메모리(232), 컴퓨터 판독 가능한 매체 등으로부터 명령어를 수신하여 이를 실행한다. 컨트롤러(202)는 또한 메모리에 저장된 미리 정해진 데이터 또는 "룩업 테이블"을 포함할 수 있다.

도 3은 상부 센서 어셈블리(112)의 라이다 센서(100)와 같은 라이다 센서(300)의 예시적 구조를 도시한다. 라이다 센서(300)는 차량(104)에 장착되는 베이스(302)를 포함한다. 베이스(302)는 축(A-A)을 따라 연장되는 샤프트(306)를 갖춘 모터(304)를 포함한다. 라이다 센서(300)는 또한 샤프트(306)에 고정되어 베이스(302)에 대해 축(A-A)을 중심으로 회전 가능하게 장착되는 하우징(308)을 포함한다. 하우징(308)은 개구(310)와, 개구(310)에 고정된 커버(312)를 포함한다. 커버(312)는 유리 등 광에 투명한 물질로 형성된다. 도 3에서는 하나의 커버(312)가 도시되었으나, 라이다 센서(300)는 복수의 커버(312)를 포함하거나 하우징(308)의 전체 외부 표면을 덮는 하나의 커버(312)를 포함할 수 있다. 라이다 센서(300)는 모터(304)의 중심 축 또는 허브(306)를 중심으로 하우징(308)이 360도 회전 가능할 수 있다. 하우징(308)은 광에 투명한 재료로 제작된 방출기/수신기 개구부(310)를 포함할 수 있다. 도 3에는 하나의 개구만이 도시되어 있지만, 본 발명의 해결 방안은 이에 한정되지 않으며, 다른 상황에서는 광을 방출하거나 수신하기 위한 복수의 개구부가 제공될 수 있다. 어떤 경우에서든, 라이다 센서(300)는 하우징(308)이 내부 부품 주변을 회전하면서 하나 이상의 개구(310)를 통해 광을 방출하고 다시 반사된 광을 하나 이상의 개구(310)를 통해 수신할 수 있다. 대체적인 상황에서는, 하우징(308)의 외부 쉘이 적어도 부분적으로 광에 투명한 물질로 만들어진 고정된 돔 형태이고, 하우징(308) 내부에 회전 가능한 부품이 배치될 수 있다.

회전하는 쉘 또는 고정된 돔의 내부에는 하나 이상의 레이저 방출 칩 또는 기타 발광 장치를 통해 개구(310) 또는 하우징(308)의 투명한 돔을 통하여 광 펄스를 생성하고 방출하도록 구성 및 배치된 방출기(316)가 있다. 방출기(316)는 임의의 수의 개별 방출기를 포함할 수 있다(예를 들어, 8개 방출기, 64개 방출기 또는 128개 방출기). 방출기들은 거의 동일한 강도로 광을 방출할 수도 있고, 서로 다른 강도로 광을 방출할 수도 있다. 라이다 센서(300)는 또한 광검출기 배열을 포함하는 검출기(318)를 포함한다. 광검출기는 시스템으로 다시 반사되어 돌아오는 광을 수신하도록 배치되고 구성된다. 반사된 광을 수신하면, 광 검출기는 라이다 센서 외부의 물체에서 반사된 광 신호의 측정된 강도를 나타내는 결과(또는 전기적 펄스)를 생성한다. 가이거 모드 응용 분야에서는 광 검출기가 타겟 파장 근처 또는 타겟 파장의 단일 광자를 검출할 때 동작하게 된다. 광 검출기가 동작한 시간은 타임스탬프로 기록된다. 방출기(316)와 검출기(318)는 회전하는 쉘과 함께 회전하거나, 하우징(308)의 고정된 돔 내부에서 회전한다. 하나 이상의 광학 장치 구조물(322)은 방출기(316) 및/또는 검출기(318)의 앞에 위치하여 렌즈 또는 파장판으로 작용하며, 광학 장치 구조물(322)을 통과하는 광을 집속하고 유도할 수 있다. 라이다 센서(300)는 차량(104)으로부터 멀리 떨어진 송신 시야(Tx FoV, 도 1 참조)로 커버(312)를 통과하는 광 펄스(320)를 송신하기 위한 하나 이상의 방출기(316)를 포함한다. 광 펄스(320)는 Rx FoV 내의 하나 이상의 물체에 입사한 후 반사된 광 펄스(328)로서 라이다 센서(300)로 되돌아온다. 라이다 센서(300)는 커버(312)를 통과하여 들어오는 반사된 광 펄스(328)를 수신하기 위한 하나 이상의 검출기(318)를 또한 포함한다. 검출기(318)는 또한 태양과 같은 외부 광원에서 나오는 광을 수신하기도 한다. 라이다 센서(300)는 축(A-A)을 중심으로 회전하여 자신의 시야(FoV) 내의 영역을 스캔한다. 방출기(316)와 검출기(318)는 베이스(302)에 장착되어 정지할 수도 있고, 하우징(308)에 장착되어 움직일 수도 있다. 방출기(316)는 광 방출기이며, 검출기(318)는 광 검출기이다.

방출기(316)는 레이저 방출 칩 또는 다른 발광 장치를 포함할 수 있으며, 임의의 수의 개별 방출기를 포함할 수 있다(예: 8개 방출기, 64개 방출기 또는 128개 방출기). 방출기들은 도 3에 도시된 바와 같이 선형 배열 또는 레이저 바 형태로 배열될 수 있다. 방출기(316)는 거의 동일하거나 다양한 강도의 광 펄스(320)를 송신할 수 있으며, 다양한 파형(예: 사인파, 구형파, 톱니파 등)을 가질 수 있다. 라이다 센서(300)는 커버(312)를 통과하는 광을 집속하고 안내하기 위한 하나 이상의 광학 장치(322)를 포함할 수 있다. 하나 이상의 광학 장치 구조물(322)은 거울(도시되지 않음) 앞에 위치하여 광학 장치 구조물을 통과하는 광을 집속하고 안내할 수 있다. 도 3에 도시된 바와 같이, 단일 광학 장치 구조물(322)이 거울 앞에 위치하고 시스템의 회전 부품에 연결되어 있어서 광학 장치 구조물(322)은 거울과 함께 회전한다. 선택적으로, 광학 장치 구조물(322)은 복수의 구조물(예: 렌즈 및/또는 파장판)을 포함할 수 있다. 선택적으로, 복수의 광학 장치 구조물(322)은 하우징(308)의 쉘 부분에 배열되거나 일체형으로 형성될 수 있다.

검출기(318)는 반사된 광 펄스(328)를 수신하도록 배치된 광 검출기 또는 광 검출기 배열을 포함할 수 있다. 검출기(318)는 도 3에 도시된 바와 같이 선형 배열로 배치될 수 있다. 본 발명의 일 측면에 따르면, 검출기(318)는 복수의 픽셀을 포함하며, 각각의 픽셀은 복수의 검출 프레임 중 각 프레임에서 광 펄스의 반사를 검출하기 위한 가이거 모드 애벌란시 광다이오드를 포함한다. 다른 실시예에서는 검출기(318)는 수동 이미저를 포함할 수 있다.

라이다 센서(300)는 프로세서(332) 및 메모리(334)를 포함하는 컨트롤러(330)를 포함하며, 모터(304), 방출기(316), 검출기(318)와 같은 다양한 구성 요소를 제어한다. 컨트롤러(330)는 또한 검출기(318)로부터 수집된 데이터를 분석하여 수신된 광의 특성을 측정하고, 차량(104) 외부 환경에 대한 정보를 생성한다. 예를 들어, 컨트롤러(330)는 검출기(318)로부터 수집된 데이터를 기반으로 3차원 포인트 클라우드를 생성할 수 있다. 컨트롤러(330)는 SDS(102)의 컨트롤러(202)와 같은 다른 컨트롤러와 통합될 수 있다. 라이다 센서(300)는 또한 차량 배터리(338)로부터 전력을 공급받아 모터(304), 방출기(316), 검출기(318) 및 컨트롤러(330)에 전기적 전원을 공급하는 전력 장치(336)를 포함한다. 라이다 센서(300)는 프로세서(332)와 프로그래밍 명령을 포함하는 비휘발성 컴퓨터 판독 가능 메모리(334)와 같은 요소를 갖춘 분석기(330A)를 포함한다. 프로그래밍 명령은 시스템이 광 검출기(318)로부터 데이터를 수신하고 분석하여 환경 데이터를 생성하도록 구성된다. 선택적으로, 분석기(330A)는 도면에 도시된 바와 같이 라이다 센서(300)와 일체형일 수 있거나, 외부에 배치되어 유선 또는 무선 네트워크를 통해 라이다 센서와 연결될 수 있다. 분석기(330A)는 컨트롤러(330)를 포함할 수 있다.

가이거 모드 라이다 시스템의 시나리오에서는 광 검출기(318)가 타겟 파장 부근 또는 근처에서 단일 광자를 검출할 때 동작한다. 광 검출기가 동작한 시간(및 관련된 방출기 발사 시간)은 히스토그램으로 축적된다. 이후 이 히스토그램에 대해 피크 찾기 작업이 수행되어 광 검출기가 담당하는 공간 영역에서 타겟 파장 광자를 반사한 물체의 깊이를 얻는다. 즉, 시야를 가로지르는 일련의 개별 레이저 방출 결과가 얻어지고, 집계되며, 관측되는 광자의 비행 시간의 함수(적어도, 다른 신호가 포함될 수 있음)로서 타겟 물체의 깊이를 피크를 찾는 알고리즘을 사용하여 결정한다.

종래의 시스템에서 가이거 모드 라이다 시스템이 히스토그램의 피크를 복원하기 위해 픽셀당 동일한 레이저 발사 횟수를 사용해야 한다는 제약은 없다. 실제로, 레이저 발사를 계속 누적할 때 발생하는 물리적 결과는 회전 센서로 기술된 절두체(frustum)가 관련 축을 따라 확장되는 것뿐이다(즉, 시스템이 여러 표면으로부터의 반사를 합산할 가능성이 증가한다). 더욱이, 인접한 광 검출기의 반환 신호를 통합하는 것을 막는 제한 또한 없으며, 이는 특정 라이다 포인트가 이미징하는 절두체를 단순히 조정하는 것일 뿐이다. 실제로, 간격이 없는 센서에서는 각 포인트가 특정 절두체 내 각 광선(ray)에서 가장 가까운 표면의 평균 깊이를 나타낸다. 이러한 통찰을 종합하여 본 발명에 따라 기존의 가이거 모드 라이다 시스템은 반사도 또는 이의 대리 지표(예: 반환 횟수, 반환 신호 노이즈, 카메라와 같은 다른 상관 센서 시스템의 관측 결과 등)에 따라 가변 크기의 집계 창을 사용하도록 변경된다.

라이다 센서(300)는 광 검출기(318)로부터의 결과값을 사용하여, 광 검출기의 결과들을 집계함으로써 측정된 3D 포인트를 생성한다. 단일 광 검출기는 일반적으로 충분한 깊이 측정값을 제공하지 못하므로, 복수의 광 검출기에서 얻은 결과가 슈퍼 픽셀로 결합된다. 슈퍼 픽셀을 생성하는 하나의 예시적 기술은 도 13에 도시되어 있다.

도 4 및 도 5는 예시적인 라이다 센서(400)를 도시한다. 도 3의 라이다 센서(300)와 유사하게, 라이다 센서(400)는 개구(410)와, 개구(410)에 고정된 커버(412)를 포함하는 하우징(408)을 포함한다. 라이다 센서(400)는 커버(412)를 통해 광 펄스를 송신하는 하나 이상의 방출기(416)와, 커버(412)를 통과한 반사된 광 펄스를 수신하는 하나 이상의 검출기(418)를 포함한다. 본 발명의 측면에 따르면, 방출기(416)와 검출기(418)는 각각 선형 배열로 배치된다. 라이다 센서(400)는 방출기(416)를 포함하는 송신 어셈블리(424)와 검출기(418)를 포함하는 수신 어셈블리(426)를 포함한다.

송신 어셈블리(424)는 방출기(416)를 제어하는 회로기판 어셈블리(428)를 포함한다. 회로기판 어셈블리(428)는 회로기판(435)에 장착된 프로세서(432)와 메모리(434)를 포함하는 컨트롤러(430)를 포함한다.

송신 어셈블리(424)는 또한 시준기(collimator)(436) 및 송신 광학 장치(438)를 포함한 복수의 광학 장치를 포함한다. 시준기(436)는 도 7에 도시된 바와 같이, 각 방출기(416)로부터의 광 펄스를 송신(Tx) 축(440)을 따라 집속하고 유도하여 전체적으로 하나의 Tx 빔을 형성한다. 송신 광학 장치(438)는 Tx 빔을 Tx FoV의 더 작은 영역으로 집중시키기 위해 시준기(436)와 커버(412) 사이에 배치된다. 송신 광학 장치(438)는 광 펄스를 단일 축으로 집속하는 원통형 렌즈와 같은 수렴 렌즈일 수 있다. 송신 어셈블리(424)는 또한 송신 광학 장치(438)에 연결되고 컨트롤러(430)에 의해 제어되는 선형 액추에이터와 같은 액추에이터(442)를 포함한다. 액추에이터(442)는 송신 축(440)에 수직으로 배치된 횡축(444)을 따라 송신 광학 장치(438)를 이동시킨다. 액추에이터(442)는 송신 광학 장치(438)를 어떤 Tx 축과도 교차하지 않는 정치 위치(446)에서 선형 배열된 방출기(416) 중 가장 멀리 위치한 방출기의 Tx 축과 교차하는 최대한으로 확장된 위치(448)로 선형 이동시킨다. 본 발명의 측면에 따라 액추에이터(442)는 라이다 센서(400)의 회전 속도에 따라 송신 광학 장치(438)를 조정할 수 있다. 예컨대, 한 실시예에서는 라이다 센서(400)가 10 Hz, 즉 분당 600 회전(rpm)으로 회전할 때, 액추에이터(442)는 송신 광학 장치(438)를 정지 위치(446)에서 원위 위치(448)까지 100밀리초(ms)에 걸쳐 조정할 수 있다. 액추에이터(442)는 보이스 코일과 같은 선형 액추에이터일 수 있다. 본 발명의 측면에 따라 액추에이터(442)의 스트로크 또는 선형 조정은 방출기(416)의 선형 배열 길이에 따라 결정된다.

수신 어셈블리(426)는 회로기판(450)에 장착된 검출기(418)를 포함한다. 컨트롤러(430)는 검출기(418)로부터 데이터를 수신하기 위해 회로기판(450)에 연결된다. 컨트롤러(430)는 검출기(418)가 수집한 데이터를 분석하고, 라이다 센서(400) 주변 환경에 대한 정보를 생성한다. 수신 어셈블리(426)는 또한 하나 이상의 검출기 광학 장치(452)를 포함한다. 검출기 광학 장치(452)는 수신(Rx) 축(454)을 따라 수신된 광 펄스를 각 검출기(418)로 집속하고 유도하는 시준기를 포함할 수 있다.

도 4를 참조하면, 송신 어셈블리(424)는 수신 어셈블리(426)와 오프셋되어 있다. 송신 광학 장치(438)가 횡축(444)을 따라 이동할 때, 송신 광학 장치(438)는 Tx 축(440)과 교차하지만 Rx 축(454)과는 교차하지 않는다. 도 4에 도시된 바와 같이, Tx FoV와 Rx FoV는 서로 겹친다. 그러나 송신 광학 장치(438)는 Rx 축(454)과 교차하지 않으므로, 라이다 센서(400)는 Rx FoV를 조정하지 않으면서 물체(510)를 추적하기 위해 Tx FoV만을 조정할 수 있다.

도 6은 예시적인 라이다 센서(600)를 도시한다. 라이다 센서(400)와 유사하게, 라이다 센서(600)는 Tx FoV 내에서 전체적으로 Tx 빔(660)을 형성하는 광 펄스를 송신한다. 라이다 센서(400)와 달리, 라이다 센서(600)는 Tx FoV를 조정하기 위한 송신 광학 장치(438)를 포함하지 않는다.

도 7 내지 도 9는 또 다른 예시적인 라이다 센서(700)를 도시한다. 라이다 센서(400)와 유사하게, 라이다 센서(700)는 Tx FoV 내에서 전체적으로 Tx 빔(760)을 형성하는 광 펄스를 방출하는 일련의 방출기(716)를 포함한다. 또한 라이다 센서(400)와 마찬가지로, 라이다 센서(700)는 조정된 Tx FoV(Tx FoVADJ)를 형성하기 위한 송신 광학 장치(738)를 포함한다. 라이다 센서(700)는 원위 방출기(762), 중앙 방출기(764) 및 근위 방출기(766)를 포함하는 선형 배열의 방출기(716)를 포함한다. 도 7 내지 도 9는 송신 광학 장치(738)가 횡축(744)을 따라 이동함에 따라 Tx FoV와 조정된 Tx FoV(Tx FoVADJ) 간의 비교를 나타낸다.

도 7은 송신 광학 장치(738)가 원위 위치(748)로 조정되어 원위 방출기(762)의 Tx 축과 교차하고, 전체 Tx FoV의 상부 영역(768)에 Tx FoVADJ를 형성하는 것을 나타낸다. 도 8은 송신 광학 장치(738)가 중앙 위치(770)로 조정되어 중앙 방출기(764)의 Tx 축과 교차하고, 전체 Tx FoV의 중앙 영역(772)에 Tx FoVADJ를 형성하는 것을 나타낸다. 도 9는 송신 광학 장치(738)가 근위 위치(774)로 조정되어 근위 방출기(766)의 Tx 축과 교차하고, 전체 Tx FoV의 하부 영역(776)에 Tx FoVADJ를 형성하는 것을 나타낸다. 컨트롤러(430)는 타이어 또는 타이어 파편과 같은 물체(710)를 추적하기 위해 송신 광학 장치(738)의 위치를 조정하여 조정된 Tx FoV를 생성할 수 있다.

도 10 및 도 11은 Tx FoV와 Rx FoV의 비교를 나타낸다. 도 10을 참조하면, Tx FoV와 Rx FoV는 서로 인접하게 도시되어 두 시야가 동일한 크기를 가지지만, 도 11에 도시된 바와 같이 차량(104) 외부 환경에서는 서로 겹친다. 도 11은 송신 광학 장치(438)에 의해 조정된 후의 조정된 Tx FoV도 나타낸다. 송신 광학 장치(438)가 횡축(444)을 따라 이동할 때, 조정된 Tx FoV는 Rx FoV의 서로 다른 영역과 겹치도록 이동한다. 예를 들어, 도 6 내지 도 9를 참조하면, 송신 광학 장치(738)가 원위 위치(748)(도 7 참조)에 있을 때 라이다 센서(700)는 Rx FoV의 상부 영역(768)에 Tx FoVADJ를 생성한다. 송신 광학 장치(738)가 중앙 위치(770)(도 8 참조)로 조정되면 라이다 센서(700)는 Rx FoV의 중앙 영역(772)에 Tx FoVADJ를 생성한다. 송신 광학 장치(738)가 근위 위치(774)(도 9 참조)로 조정되면 라이다 센서(700)는 Rx FoV의 하부 영역(776)에 Tx FoVADJ를 생성한다. 송신 광학 장치(738)가 어느 Tx 축과도 교차하지 않는 정지 위치(또는 초기 위치)(도 4 참조)로 조정되면, Tx FoV는 도 11의 우측에 도시된 바와 같이 원래의 전체 범위로 돌아가 Rx FoV와 겹친다.

조정된 Tx FoV가 서로 다른 영역 사이에서 이동할 때 Rx FoV는 변경되지 않은 채로 유지된다. 이를 통해 더 넓은 FoV로부터 더 긴 탐지 거리가 확보된다. 일반적으로 FoV가 넓어질수록 광학 장치는 작은 타겟 영역을 스캔하는 능력이 저하된다. 즉, 넓은 FoV는 물체를 스캔하는 데 사용할 수 있는 광의 양이 감소하므로 명확한 이미지를 얻기 위해 FoV의 폭을 줄이게 된다. 그러나 Rx FoV를 조정하지 않고 Tx FoV만을 조정함으로써, FoV의 폭을 줄이지 않고도 타이어 또는 타이어 파편과 같은 알려지지 않은 물체(710)를 식별하기 위해 더 많은 양의 광을 작은 타겟 영역에 집중시킬 수 있다.

도 12를 참조하면, Tx FoV를 조정하는 방법을 나타내는 흐름도가 도시되어 있으며, 일반적으로 참조번호(600)으로 나타낸다. 방법(600)은 하나 이상의 실시예에 따라 컨트롤러(430)에 의해 실행되는 소프트웨어 코드로 구현된다. 흐름도는 일련의 순차적인 단계로 도시되었으나, 하나 이상의 단계는 생략되거나 다른 방식으로 실행될 수 있다.

단계(602)에서 컨트롤러(430)는 라이다 센서(400)를 제어하여 전체 Tx FoV로 차량(104) 주변 360도 시야를 스캔한다. 송신 광학 장치(438)는 초기 위치(446)(도 4 참조)에 위치하여 Tx FoV를 조정하지 않는다. 컨트롤러(430)는 방출기(416)의 데이터를 분석하여 환경 변화를 관찰한다. 단계(604)에서 센서(400)는 타이어 또는 타이어 파편과 같은 알려지지 않은 물체(710)가 Rx FoV 내에 탐지되었는지 여부를 판단한다. 해당 물체가 탐지되지 않으면 컨트롤러(430)는 단계(602)로 돌아간다. 컨트롤러(430)가 단계(604)에서 미확인 물체(710)를 탐지하면 단계(606)으로 진행한다.

단계(606)에서 컨트롤러(430)는 Tx FoV를 스윕하며 라이다 센서(400)를 제어하여 추가적인 스캔 또는 일련의 스캔을 수행한다. 단계(606) 동안 컨트롤러(430)는 액추에이터(442)를 제어하여 송신 광학 장치(438)를 근위 위치(774)와 원위 위치(748) 사이와 같은 정해진 범위 내에서 미리 정해진 속도로 이동시켜 Tx FoV를 스윕한다. 한 실시예에서 컨트롤러(430)는 송신 광학 장치(438)를 100ms 동안 10mm의 전체 이동 범위로 이동시키거나 0.1m/s로 이동시킬 수 있다.

단계(608)에서, 컨트롤러(430)는 스위프 데이터(sweep data)를 분석하여 알려지지 않은 물체(710)의 위치를 결정한다. 만약 컨트롤러(430)가 알려지지 않은 물체(710)의 위치를 결정하면 단계(610)으로 진행한다. 컨트롤러(430)가 알려지지 않은 물체(710)의 위치를 결정하지 못하면 단계(604)로 되돌아간다

단계(610)에서, 알려지지 않은 물체(710)의 위치를 결정한 후, 컨트롤러(430)는 알려지지 않은 물체(710)에 초점을 맞추어 송신 광학 장치(438)를 이동시킨 상태에서 추가적인 스캔 또는 일련의 스캔을 수행하여 라이다 센서(400)가 알려지지 않은 물체(710)를 추적하도록 제어한다. 이 단계 동안 송신 광학 장치(438)는 알려지지 않은 물체(710)가 위치한 시야(FoV)의 영역에 해당하는 위치로 이동된다.

단계(612)에서, 컨트롤러(430)는 초점이 맞추어진 스캔 데이터를 분석하여 알려지지 않은 물체(710)를 식별한다. 컨트롤러(430)가 알려지지 않은 물체(710)를 식별하지 못하면 단계(610)으로 되돌아간다. 컨트롤러(430)가 알려지지 않은 물체(710)를 식별하면 단계(614)로 진행하고, 송신 광학 장치(438)를 초기 위치로 복귀시킨 후, 다시 단계(602)로 되돌아간다.

알려지지 않은 물체(710)에 Tx FoV를 집중함으로써, 라이다 센서(700)는 전체 Tx FoV 내에서 관심 영역에 더 많은 광을 투사하여 더 많은 반사 광을 수집함으로써 알려지지 않은 물체(710)를 신속히 식별할 수 있다. 이러한 접근법은 도 6에 도시된 라이다 센서(600)와 같이 Tx FoV를 조정하지 않는 다른 라이다 시스템과 비교하여 알려지지 않은 물체(710)를 식별하고 이에 반응하는 SDS(102)의 응답성을 향상시킨다. Tx FoV를 조정하는 방법은 컨트롤러(430) 또는 도 29에 도시된 컴퓨터 시스템(1300)과 같은 하나 이상의 컨트롤러를 사용하여 구현될 수 있다.

라이다 센서(300)는 광 검출기(318)에서 출력된 결과를 사용하여 광 검출기의 결과들을 집계하여 측정된 3차원 포인트를 생성한다. 단일 광 검출기는 일반적으로 충분한 깊이 측정값을 생성하지 못하므로, 복수의 광 검출기에서 얻은 결과가 슈퍼 픽셀로 결합된다. 슈퍼 픽셀을 생성하는 하나의 예시적 기법은 도 3 및 도 13에 도시되어 있다.

도 3 및 도 13에서 광 검출기 어레이는 그리드 형태로 배열된 광 검출기들을 포함한다. 광 검출기에서 얻어진 결과 p1, p2, ..., pk는 복수의 셀로 정의된 그리드(550)로 나타낼 수 있으며, 각 셀(552)은 각각의 광 검출기와 대응되고, 여기서 k는 어레이 내의 전체 광 검출기의 수와 동일한 정수이다. 그리드(550)의 셀(552)은 광 검출기와 동일한 패턴(예: 256Х256 그리드 패턴)으로 배열될 수 있다. 각 결과는 라이다 이미지의 픽셀로도 지칭된다. 광 검출기의 픽셀 p1, p2, ..., pk는 슈퍼 셀 단위로 단순 집계될 수 있으며, 이를 통해 일련의 3차원 포인트가 생성된다. 슈퍼 셀의 크기는 WХW이며, 여기서 W는 정수이다. 도 13에서 각 슈퍼 셀은 2셀Х6셀이다. 각 슈퍼 셀(204)에 연결된 3차원 포인트는 각각의 6개 픽셀을 서로 결합하여 슈퍼 픽셀 SP1, SP2, ..., SPy를 얻음으로써 도출된다. 제1 슈퍼 픽셀 SP1은 다음 수학식으로 정의될 수 있다.

다른 슈퍼 픽셀 SP2, ..., SPy 또한 유사한 수학식으로 정의될 수 있다. 픽셀을 집계하는 방식은 개별 라이다 센서의 설계에 따라 달라질 수 있으며, 응용 분야에 따라 달라질 수 있다. 예컨대, 픽셀 집계를 위해 단순 합산 또는 합성곱(convolution) 방식이 사용될 수 있다.

합성곱 접근 방식을 이해하는 데 유용한 예시가 도 13에 제공되어 있다. 합성곱 접근 방식은 라이다 이미지(550)에 적용되어 특징 F ₁ , F ₂ , F ₃ , F ₄ , ..., F ₁₂ 를 계산하는 하나 이상의 합성곱 필터(또는 커널)(552)를 사용할 수 있다. 복수의 연산 커널이 사용되는 경우, 각각의 연산 커널은 라이다 이미지에서 서로 다른 특징을 추출한다. 연산 커널의 크기는 2Х6이며, 이미지의 크기는 12Х12이고, 스트라이드는 6이다. 이에 따라 연산 커널(552)에 의해 생성되는 특징은 다음 수학식 (1)~(4)에 의해 정의된다.

...

F ₁ , F ₂ , F ₃ , and F ₄ 는 프로세서(또는 연산 커널)(552)에 의해 생성된 특징을 나타낸다. 이러한 특징들은 슈퍼 픽셀로도 지칭된다. p ₁ , p ₂ , ..., p ₁₄₄ 각각은 라이다 시스템(예를 들어서, 도 3의 라이다 센서(300))의 광 검출기에서 출력된 결과를 나타낸다. 이러한 결과는 라이다 이미지의 픽셀로도 지칭된다. 수학식 (1)~(4)에 나타난 바와 같이, 합성곱 오버샘플링(convolutional oversampling) 연산은 일반적으로 픽셀 값을 결합하여 슈퍼 픽셀을 생성하는 것을 포함한다. 프로세서(또는 연산 커널)(552)의 출력은 도 14e에 도시된 특징(또는 슈퍼 픽셀)의 그리드(554)로 배열된다. 그리드(554)는 특징 이미지로도 지칭된다. 특징은 깊이, 강도, 노이즈, 신뢰도 또는 포인트 클라우드와 연관된 다른 특징을 포함할 수 있으며, 이에 한정되지 않는다. 본 발명의 해결방안은 도 14의 특정 방식에 한정되지 않으며, 다른 합성곱 오버샘플링 기법이 사용될 수도 있다.

라이다 센서(300)는 가이거 모드 라이다 시스템을 포함할 수 있다. 가이거 모드 라이다 시스템에서 광 검출기는 타겟 파장 근처 또는 타겟 파장에서 단일 광자를 검출할 때 동작하며, 검출 동작 시간(및 관련 방출기의 발사 시간)은 히스토그램으로 누적된다. 이후 피크 탐색 작동이 이 히스토그램에 대해 수행되어 광 검출기의 공간 영역에서 타겟 파장의 광자를 반사한 물체의 깊이를 얻는다. 즉, 시야(FoV)를 가로지르는 일련의 개별 레이저 방출 결과들이 획득되고, 이를 집계하여 피크를 찾는 알고리즘을 사용하여 관측된 광자의 비행 시간(ToF)의 함수로서(또는 추가적인 신호를 포함하여) 깊이를 결정한다.

라이다 센서(300)가 히스토그램의 피크를 찾기 위해 픽셀당 동일한 수의 레이저 방출을 사용할 필요는 없다. 실제로 레이저 방출을 계속 누적할 때 나타나는 물리적 결과는 회전 센서에 의해 정의된 절두체(frustum)가 관련 축 방향으로 확장되는 것뿐이다. 즉, 둘 이상의 표면으로부터의 반환 신호가 슈퍼 픽셀 내로 병합될 확률이 증가한다. 또한 라이다 센서(300)가 인접한 광 검출기의 반환 신호를 통합하는 것도 방해받지 않으며, 이는 특정 라이다 포인트로 이미징되는 절두체만을 조정하는 것일 뿐이다. 간격이 없는 센서의 경우, 각 포인트는 실제로 절두체의 각 광선(ray)마다 가장 가까운 표면의 평균 깊이를 나타낸다. 이러한 통찰을 결합하여, 라이다 센서(300)는 반사도 또는 그 대리 지표(예: 반환 횟수, 반환 신호 노이즈, 카메라와 같은 연관된 다른 센서 시스템의 관측값 등)의 함수로 가변 크기의 집계 윈도우를 사용하도록 구성된다.

라이다 센서(300)는 하나의 타겟 또는 하나의 표면에서부터 통합된 측정값이 얻어지도록 구성된다. 이는 라이다 센서(300)에서 얻은 거리 측정값의 시간적 및 공간적 다양성을 함께 활용하는 시공간적 코히어런스 메트릭을 사용하여 이루어진다. 즉, 다중 측정값은 공간 축(여러 픽셀을 슈퍼 픽셀로 통합) 및 시간 축(여러 펄스를 통합)에 걸쳐 얻어진다. 동일 표면으로부터 측정값이 얻어졌다면 측정값의 통계적 특성은 유사해야 하며, 즉 시간 및 공간 영역에서 일관성을 가져야 한다.

예를 들어, 라이다 시스템은 광 검출기와 2Х6 크기의 연산 커널을 사용하는 프로세서를 이용하여 픽셀 px를 슈퍼 픽셀 SPy로 결합하도록 구성된다. 다음 표 1은 라이다 시스템에서 방출된 5개의 펄스에 대해 얻어진 12개의 비행 시간(ToF) 측정값 또는 타임스탬프를 나타낸다. 표 1의 예시는 하나의 슈퍼 픽셀이 5개 펄스와 12개 픽셀의 측정값을 통합하는 상황을 나타내고 있다. 그러나, 타겟 물체는 주어진 모든 펄스를 덮을 만큼 충분히 크지 않다. 여기서 라이다 시스템은 펄스를 송신하면서 회전하는 것에 이해하여야 한다. 라이다 시스템이 회전하므로, 수평 방향으로 물체의 확장은 모든 5개의 펄스를 가로질러 반사하기에 충분할 수 있다.

펄스	슈퍼 픽셀
	p1	p2	p3	p4	p5	p6	p7	p8	p9	p10	p11	p12
P1	684	559	629	192	835	763	707	359	9	723	277	754	Noise
P2	804	599	70	472	600	396	314	705	486	551	87	174	Noise
P3	600	849	677	537	845	72	777	916	115	976	755	709	Noise
P4	100	100	101	100	100	99	97	101	101	99	102	99	Noise
P5	100	100	102	101	100	100	99	98	100	100	101	101	Noise

표 1에 있어서, 각 셀은 방출된 5개의 펄스 중 하나와 연관된 슈퍼 픽셀에서 보고된 검출 이벤트의 비행 시간 측정값 또는 타임스탬프를 포함한다. 도 15에 도시된 바와 같이 각 슈퍼 픽셀은 하나의 검출 이벤트(540)를 보고하며, 각 펄스 P1, P2, P3, P4, P5에 대해 총 12개의 검출 이벤트(540)가 있다. 펄스 P1에 대해 픽셀 p1은 타임스탬프 684, 픽셀 p2는 559, 픽셀 p3은 629, 픽셀 p4는 192, 픽셀 p5는 835, 픽셀 p6는 763, 픽셀 p7은 707, 픽셀 p8은 359, 픽셀 p9는 9, 픽셀 p10은 723, 픽셀 p11은 277, 픽셀 p12는 754를 갖는다. 실제로 펄스 P1이 이미징한 장면은 도 15에 나타난 바와 같이 노이즈만 있으며(슈퍼 픽셀의 시야에 타겟 물체가 존재하지 않음), 유사하게 다른 펄스 P2, P3, P4, P5 각각도 표 1 및 도 15에 12개의 검출 타임스탬프를 갖는다. 처음 세 펄스(P1, P2, P3)는 노이즈만을 캡처하고(시야에 타겟 물체 없음), 마지막 두 펄스(P4, P5)는 타겟 물체의 측정값을 캡처한다.

고정 해상도 시스템에서는 고정된 수의 펄스가 통합된다. 그러나 타겟 물체가 통합 시간의 범위보다 작으면 전체 검출 품질이 저하될 수 있다. 위 표 1과 도 15의 예시에서, 만약 5개의 펄스(P1, P2, P3, P4, P5)로부터 모든 측정값을 통합하여 타겟 물체의 거리를 추정한다면, 처음 세 펄스(P1, P2, P3)의 측정값은 타겟 물체의 거리 정보가 없어 품질에 부정적인 영향을 미친다.

본 발명의 해결수단의 본질은 타겟 물체의 거리 추정을 수행하기 위해 광 검출기 결과를 통합할 광 펄스의 하위집합을 선택하는 구현 시스템 및 방법을 제공하는 것이다. 이러한 선택은 시공간적 통계 코히어런스 메트릭을 기반으로 이루어진다. 시공간적 통계 코히어런스를 측정하는 방식으로는 분포 비교 메트릭, 비행 시간(ToF)의 시간적 통계, 및/또는 솔루션의 차이점 또는 이점 등을 사용할 수 있다.

분포 비교 메트릭

분포 비교 메트릭의 한 예는 쿨백-라이블러(KL, Kullback-Leibler) 발산이다. 각 펄스에 대해 시스템은 100의 크기를 갖는 시간 빈(time bin)을 사용하여 슈퍼 픽셀 내 픽셀들의 검출값을 통합해 새로운 확률 분포(정규화된 히스토그램)를 얻는다. 다시 말해, 12개의 측정값이 100의 너비를 갖는 빈(bin)에 할당된다. 앞서 설명한 바와 같이, 표 1에서 펄스(P1)와 연관된 타임스탬프는 [684, 559, 629, 192, 835, 763, 707, 359, 9, 723, 277, 754]이다. 이 타임스탬프들은 다음과 같이 빈에 할당될 수 있다: 684는 빈(b600-700)에 배치되고, 559는 빈(b500-600)에 배치되는 방식으로 할당된다. 타임스탬프의 히스토그램(H)은 다음 표현에 따라 결정된다: 빈(b0-100)에 1개(9), 빈(b100-200)에 1개(192), 빈(b200-300)에 1개(277), 빈(b300-400)에 1개(359), 빈(b400-500)에 0개, 빈(b500-600)에 1개(559), 빈(b600-700)에 2개(629, 684), 빈(b700-800)에 4개(763, 707, 723, 754), 빈(b800-900)에 1개(835)의 검출값이 있다. 따라서 히스토그램(H)은 다음과 같이 정의된다:

H = [1, 1, 1, 1, 0, 1, 2, 4, l ].

이 히스토그램(H)은 다음 표현에 나타난 바와 같이 전체 검출 수(12)로 나누어 확률 분포(또는 확률 질량 함수, PMF)로 변환될 수 있다:

PMF1 = [1/12, 1/12, 1/12, 1/12, 0/12, 1/12, 2/12, 4/12, 1/12] =

[0.0833, 0.0833, 0.0833, 0.0833, 0.0, 0.0833, 0.1667, 0.3333, 0.0833].

같은 절차(빈 할당, 히스토그램 생성 및 변환)를 수행하여 펄스(P2, P3, P4, P5)에 대해 다음의 추가적인 PMF를 얻는다:

PMF2: [0.1667, 0.0833, 0.0, 0.1667, 0.1667, 0.1667, 0.0833, 0.0833, 0.0833]

PMF3: [0.1, 0.1, 0.0, 0.0, 0.0, 0.1, 0.2, 0.3, 0.2]

PMF4: [.3333, 0.6667, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]

PMF5: [0.1667, 0.8333, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]

다음으로 KL 발산 메트릭은 분포 변화를 검출하기 위해 사용된다. KL 메트릭은 일반적으로 분포 간 비교 방법을 제공한다. 분포의 차이는 분포 변화의 신호로 활용될 수 있으며, 이는 다른 통합 범위가 시작되는 것을 나타낸다. KL 발산 메트릭은 다음의 수학식으로 정의된다:

여기서 Q는 현재 분포이고, P는 추가할 분포이다. KL 발산은 다음과 같이 계산된다.

KL[P=PMF2, Q=PMF1] = 0.18

KL[P=PMF3, Q=PMF2] = 0.65

KL[P=PMF4, Q=PMF3] = 1.67

KL[P=PMF5, Q=PMF4] = 0.07

KL 발산 KL[P=PMF4, Q=PMF3]은 다른 KL 발산 값 KL[P=PMF2, Q=PMF1], KL[P=PMF3, Q=PMF2], KL[P=PMF5, Q=PMF4]보다 크다. 이는 두 펄스(P3와 P4) 사이의 검출 분포 변화가 있음을 나타낸다. 결과적으로 펄스 통합은 펄스(P3)까지 중단되고, 펄스(P4)부터 통합이 시작(또는 재시작)된다.

비행시간(Tof)의 시간적 통계:

ToF 시간적 통계는 ToF 시간 분산 등을 포함할 수 있다. ToF 시간 분산은 정렬된 ToF 차이 값의 분산을 계산하여 얻을 수 있다. 우선 각 슈퍼 픽셀에 대한 ToF 측정값 또는 타임스탬프는 다음 표현과 같이 작은 값부터 큰 값으로 분류된다:

P1: [9, 192, 277, 359, 559, 629, 684, 707, 723, 754, 763, 835]

P2: [70, 87, 174, 314, 396, 472, 486, 551, 599, 600, 705, 804]

P3: [72, 115, 537, 600, 677, 709, 755, 777, 845, 849, 916, 976]

P4: [7, 99, 99, 99, 100, 100, 100, 100, 101, 101, 101, 102]

P5: [98, 99, 100, 100, 100, 100, 100, 100, 101, 101, 101, 102]

다음으로 각 펄스의 타임스탬프 차이값 집합 D를 계산한다. 제1 펄스(P1)의 타임스탬프 차이값 집합 Dp1은 다음과 같이 계산되며, 각 차이값은 연속된 두 타임스탬프 간 차이이다:

Dp1: [192-9, 277-192, 359-277, 559-359, 629-559, 684-629, 707-684, 723-707, 754-723, 763-754, 835-763] = [183, 85, 82, 200, 70, 55, 23, 16, 31, 9, 72]

유사한 계산을 통해 나머지 펄스(P2, P3, P4, P5)에 대해 다음과 같은 타임스탬프 차이값 집합 Dp2, Dp3, Dp4, Dp5를 얻는다:

Dp2 = [17, 87, 140, 82, 76, 14, 65, 48, 1, 105, 99]

Dp3 = [43, 422, 63, 77, 32, 46, 22, 68, 4, 67, 60]

Dp4 = [2, 0, 0, 1, 0, 0, 0, 1, 0, 0, l]

Dp5 = [1, 1, 0, 0, 0, 0, 0, 1, 0, 0, l]

다음으로, 시스템은 각 차이값 집합 Dp1, Dp2, Dp3, Dp4, Dp5에 대해 분산을 측정한다. 각 분산은 평균값을 구한 후, 평균과의 차이의 제곱 합을 집합 크기로 나누어 계산된다. 예를 들어, 집합 Dp1의 분산 VDP1은 다음과 같이 계산된다: (i) 서로 다른 타임스탬프 값의 집합의 평균을 계산한다. (ii) 집합의 각 차이 타임스탬프 값에서 평균을 뺀다. (iii) 단계 (ii)에서 얻은 값의 제곱을 구한다. (iv) (iii)에서 얻은 모든 값을 더한다. (v) (iv)에서 얻은 값을 집합의 총 차이 타임스탬프 값 수로 나눈다. 예를 들어, 집합 D _p1 에 대한 분산 V _Dp1 은 다음과 같이 결정된다.

(i) Mean = (183+85+82+200+70+55+23+16+31+9+72)/11=75.09

(ii) (183-75.09=107.91), (85-75.09-9.91), (82-75.09=6.91), (200-75.09=124.91), (70-75.09=-5.09), (55-75.09=-20.09), (23-75.09=-52.09), (16-75.09=-59.09), (31-75.09=-44.09), (9-75.09=-66.09), (72-75.09=-3.09)

(iii) (107.91²=11,644.5681), (9.91²=98.2081), (6.91²=47.7481), 124.91²=15602.5081), (-5.09²=25.9081), (-20.09²=403.6081), (-52.09²=2713.3681), (-59.09²=3491.6281), (-44.09²=1943.9281), (-66.09²=4367.8881), (-3.09²=9.5481)

(iv) 11644.5681 + 98.2081 + 47.7481 + 15602.5081 + 25.9081 + 403.6081 + 2713.3681 + 3491.6281 + 1943.9281 + 4367.8881 + 9.5481= 40,348.9091

(v) 40,348.9091/11=3668.08

다른 집합 Dp2, Dp3, Dp4, Dp5에 대한 다음의 분산은 비슷한 방식으로 계산할 수 있다.

VDp2 = 1684.74

VDp3 = 11990.15

VDp4 = 0.43

VDp5 = 0.23

분산 값에서 분명히 드러나듯이, 펄스(P1-P3)와 관련된 시간적 분산이 펄스(P4, P5)에 비해 매우 크다. 이는 펄스(P4, P5)가 펄스(P1-P3)에 의해 캡처된 것과 다른 타겟 물체의 측정값을 통합하고 있음을 나타내는 지표로 고려될 수 있다.

제2 방법(시간적 통계)은 제1 방법(KL 발산)처럼 히스토그램을 생성할 필요가 없으므로 계산 비용이 더 낮다는 점이 중요하다(단, KL 발산에서도 매우 거친 히스토그램은 사용할 수 있다). 하지만 제2 방법은 두 개의 서로 다른 거리에서 얻어진 두 목표물 측정값이 비슷한 시간적 분산(두 거리에서 모두 국부적으로 측정값이 모임)을 보일 경우 이를 구분할 수 없다. 이 경우에는 평균값과 분산값을 결합한 측정을 함께 고려할 수 있다.

측정값 통합의 중지하는 기준을 사용하는 대신 시공간적 코히어런스를 사용하여 노이즈가 많은 측정값을 제거하는 것도 가능하다. 예를 들어 10개 펄스 중 제3 펄스(P3)는 간섭으로 인해 통계적으로 비일관적인 측정값을 가질 수 있다. 시스템은 펄스 2개에서 통합을 중단하는 대신, 제3 펄스에서 얻은 비일관성 측정값을 제거한 후 통합을 계속할 수 있다.

상술한 중지 기준 외에도 다양한 '중지 기준'을 사용할 수 있다. 새로운 중지 기준의 몇 가지 예는 다음과 같다: 검출된 피크의 신뢰도(또는 다른 통계적 검출 확률 메트릭)가 임계값을 초과할 때까지 고정된 수의 레이저 발사를 누적하는 방법; 추가적인 펄스를 통합함에 따라 검출된 피크의 신뢰도가 감소하기 시작할 때까지 고정된 수의 레이저 발사를 누적하는 방법; 위 두 가지 기준 중 하나를 만족할 때까지 레이저 발사를 슬라이딩 윈도우 방식으로 누적하는 방법; 및/또는 이웃 포인트의 집계 윈도우 크기 및 반사도 추정값에 따라 고정된 수의 레이저 발사를 집계하여, 라이다 센서가 2D 거리 이미지 평면상에서 쿼드트리(quadtree)를 방출하는 방법이다.

각기 다른 축에 대해 동일한 집계 함수 또는 값을 사용할 필요는 없다. 따라서 시스템은 설계 시점에서 선택할 경우, 전체 센서 절두체의 사각 또는 비사각 입체각(solid angle)에 대응하는 포인트를 방출할 수 있다. 특히 슬라이딩 윈도우 집계 방식은 개별 레이저 발사의 훨씬 더 작은 단위로 동작할 수 있기 때문에 '이미지 평면 픽셀'과 정확히 대응할 필요는 없다. 거리 이미징 시스템에서 관측값을 포인트로 표현하는 것은 상당히 단순화된 것이며, 더 나은 1차 근사값은 방향을 갖는 평면이나 표면 요소일 수 있다.

또한 반사도나 유사 지표를 사용하여 집계를 안내해야 할 필수적인 요구도 없다. 대신 중간 측정값의 다른 특성을 사용할 수 있다. 예를 들어, 복구된 거리(depth) 자체가 계속적인 집계를 안내하는 데 사용될 수 있으며, 이는 차량 가까운 표면의 데이터를 감소시키는 기능을 라이다 축적 장치 자체로 옮기는 것을 의미한다. 이러한 구현은 월드 공간에서 일정한 포인트 밀도를 유지하는 데 유용하며(일반적으로 거리 센서는 먼 거리에서 충분한 포인트 밀도를 얻기 위해 센서에 가까운 영역에서 '데이터 과부하'가 발생하기 쉽다), 유리한 해결 방안이다.

본 발명의 해결 방안은 반사도 성능, 검출 확률, 탐지 거리 및 해상도와 같은 거리 이미징 시스템의 특성 간에 소프트웨어적으로 효율적인 절충(trade-off)을 설계할 수 있다. 기존 시스템에서 이러한 축은 일반적으로 설계 시점에 고정되고 하드웨어의 함수로 결정되지만, 본 발명은 이러한 결정을 소프트웨어 영역으로 옮길 수 있다. 더욱이 본 발명의 사용은 라이다 시스템의 일부로서 월드 공간의 임의 부피에 대해 일정한 밀도의 포인트 클라우드를 생성하거나(이는 매우 독특한 방식이다), 추정된 표면 반사도와 같은 다른 이미징 특성의 함수로서 가변 밀도의 포인트 클라우드 또는 표면 클라우드를 생성하는 것을 가능하게 한다.

시공간적 코히어런스 메트릭은 특히 두 가지 이점이 있다: 노이즈 및 간섭에 대한 내성을 제공하고; 가변 해상도 구조를 지원하기 위한 강건한 통합 중지 기준을 제공한다.

자율 주행 차량(AV)은 상황 인식을 위해 센서를 사용한다. 자율 주행 차량의 자율 주행 시스템(SDS)의 일부인 센서는 카메라, 라이다 장치, 관성 측정 장치(IMU) 등을 포함할 수 있다. 이 센서들은 자율 주행 차량 주변의 장면을 캡처하고 분석하는 데 사용된다. 장면 분석은 정적 물체(예: 고정 구조물)와 동적 물체(예: 보행자와 다른 차량)를 포함한 물체를 검출하기 위해 수행된다. 센서로부터의 데이터는 또한 도로 표시, 차선 곡률, 신호등 및 교통 표지판과 같은 조건을 검출하는 데 사용될 수도 있다. 때로는 AV의 라이다 장치로부터 얻어진 포인트 클라우드와 카메라의 영상을 결합하여 AV 주변 장면이나 상황에 대한 추가적인 통찰력을 얻을 수도 있다.

자율 주행 차량(AV)에서 동작하는 라이다 장치는 송수신 장치를 포함하며, 이는 송신 어셈블리와 수신 어셈블리를 포함할 수 있다. 송신기는 광 신호를 송신하고, 수신기는 수신된 광 신호를 수신하고 처리할 수 있다.

일부 기존 구현에서는, 라이다 장치가 고정된 픽셀 크기(각도 분해능)를 사용하며, 포인트 당 고정된 양의 원시 데이터를 통합한다. 그러나 일부 응용 분야에서는 검출 확률 및 데이터 품질(거리 및 강도의 정확성 및 정밀도)을 향상시키기 위해 목표의 특성에 맞춰 더 지능적인 데이터 통합 방식을 사용하는 것이 바람직하다. 도 19에 도시된 바와 같이, 타겟 물체(예: 차량)는 기본 픽셀 크기보다 크지만, 더 큰 픽셀 크기를 사용하면 거리와 강도가 크게 변동하는 영역에서 데이터를 병합할 위험이 있어, 데이터가 흐려지거나 왜곡될 수 있다.

최초로, 입력 데이터 선택이 고려될 수 있다. 예를 들어, 공간적 처리를 위해 어떤 데이터 단계(stage)를 사용할지 결정해야 한다.

옵션 1: 원시 데이터: 견고하며, 높은 연산 비용이 필요하고, 펌웨어 수정을 요구한다.

옵션 2: 파형 데이터: 견고하며, 펌웨어 수정을 요구한다.

옵션 3: 라이다 데이터: 연산 비용이 낮고, 펌웨어 또는 소프트웨어에서 후처리 단계로 구현할 수 있다.

라이다 데이터는 초기 비용이 상대적으로 낮으며, 펌웨어 및 소프트웨어 양쪽에서 구현할 수 있으므로 좋은 선택이 될 수 있다.

일부 측면에 따르면, 상술한 옵션 각각에 대해 다음과 같은 공간적 처리 방식을 구현할 수 있다. 위에 제시된 옵션 1-2에 대해서는 데이터 처리에 사용하는 두 가지 접근 방식이 있다. 원시 데이터와 관련된 옵션 1에 대한 제1 접근 방식은 다음과 같다: 고정된 슈퍼 픽셀 크기를 사용하여 원시 데이터를 완전히 처리하여 각 슈퍼 픽셀의 거리 및 신호 강도를 얻고, 이웃 픽셀과의 거리 및 강도 상관관계를 기반으로 가변 슈퍼 픽셀 크기를 사용하여 원시 데이터를 다시 처리한다. 제2 접근 방식은 다음과 같다: 고정된 슈퍼 픽셀 크기를 사용하여 각 픽셀의 총 강도를 계산하고, 이웃 픽셀과의 총 강도 상관관계를 기반으로 가변 슈퍼 픽셀 크기를 사용하여 원시 데이터를 처리한다. 신호 강도는 두 개의 독립 필드(신호 강도 및 노이즈 강도)와 한 개의 종속 필드(총 강도 = 신호 + 노이즈)를 갖는다.

파형 데이터와 관련된 옵션 2에 대한 제1 접근 방식은 다음과 같다: 고정된 슈퍼 픽셀 크기를 사용하여 각 슈퍼 픽셀의 거리 및 신호 강도를 얻기 위해 파형을 완전히 처리하고, 이웃 픽셀과의 거리 및 강도 상관관계를 기반으로 가변 슈퍼 픽셀 크기로 파형을 재생성하고 처리한다. 제2 접근 방식은 다음과 같다: 히스토그램을 고정된 슈퍼 픽셀 크기로 완전히 처리하여 근사 거리 및 신호 강도를 얻고(파형 분석 이전), 근사 거리 및 강도를 이용해 이웃 픽셀과의 거리 및 강도 상관관계를 기반으로 가변 슈퍼 픽셀 크기를 사용하여 파형을 통합한다.

라이다 데이터와 관련된 옵션 3에 대해 본 발명은 새로운 접근 방식을 구현한다. 이 새로운 접근 방식은 일반적으로 라이다 데이터 프레임에서 이웃 픽셀을 거리 및 강도 상관관계를 기반으로 통합하고; 각 슈퍼 픽셀에서 보고된 데이터 필드를 기반으로 새로운 거리, 신호 강도, 노이즈 강도 및 신뢰도를 재계산하는 방식을 포함할 수 있다.

보다 구체적으로, 새로운 접근 방식은 픽셀을 그리드(grid)에 배열하고(픽셀은 라이다 시스템의 광 검출기가 생성한 파형 처리 결과값을 포함함), 픽셀 간의 상관 관계를 기반으로 그리드에서 관심 영역(ROI)을 식별하는 것을 포함할 수 있다. 이러한 상관 관계는 픽셀과 연관된 거리 값 간의 상관 관계 및/또는 강도 값 간의 상관 관계 등을 포함할 수 있으며, 이에 한정되지 않는다. 일부 상황에서 ROI는 커널(kernel) 크기를 얻고, 이 커널 사이즈를 사용하여 그리드에서 관심 영역을 정의함으로써 식별될 수 있다. 이 커널 사이즈는 가변적일 수 있다. 커널 사이즈는 그리드 내의 관심 지점(POI)에 거리 측면에서 가장 가까운 픽셀들을 찾고, 이 최근접 픽셀들의 위치를 기반으로 커널 사이즈를 정의함으로써 얻을 수 있다. 또는, 참조 커널 사이즈를 얻고, 이 참조 커널 사이즈를 이용하여 그리드 내 영역을 식별한 후, 영역의 중앙 픽셀을 식별하고, 영역 내 각 픽셀에 대해 그 픽셀의 결과값과 중앙 픽셀의 결과값 간 상관 정도를 나타내는 점수를 계산하며, 이 점수를 기반으로 픽셀을 선택한 후, 선택된 픽셀들의 위치를 기반으로 커널 사이즈를 정의함으로써 얻을 수도 있다. 상점수는 거리, 강도 및/또는 노이즈의 함수일 수 있다.

그리드 내 관심 영역(ROI)의 크기 및/또는 위치는 ROI가 물체와 연관된 픽셀을 더 많이 포함할 가능성을 최대화하기 위해 조정될 수 있다. 이러한 조정은 관심 지점(POI, point of interest)을 ROI 내에서 식별하고, 최소한 거리 측면에서 POI와 가장 근접한 픽셀들을 식별하며, 최근접 픽셀들의 중심(centroid)을 사용하여 POI가 물체 표면의 모서리 또는 가장자리 지점과 관련될 가능성을 얻고, 이 가능성을 기반으로 ROI의 크기 및/또는 위치를 조정함으로써 달성될 수 있다. POI는 ROI의 중심 픽셀일 수 있다.

ROI 내 하나 이상의 픽셀은 ROI 내 다른 픽셀들과의 집계에서 선택적으로 배제될 수 있다. 이러한 배제는 픽셀이 POI 및/또는 표면과의 하나 이상의 차원에서 얼마나 떨어져 있는지를 기준으로 할 수 있다. 이러한 차원은 거리, 강도, 노이즈 및 신뢰도를 포함할 수 있으며, 이에 한정되지 않는다. ROI 내에 위치한 나머지 픽셀(즉, 선택된 픽셀)과 관련된 결과값들은 서로 결합되어 특징 값을 생성한다. 특징 값으로 값을 설정한 슈퍼 픽셀이 생성된다.

상술한 새로운 접근 방식의 동작들은 추가적인 슈퍼 픽셀을 생성하기 위해 반복적으로 수행될 수 있다. 제1 슈퍼 픽셀을 생성하기 위한 제1 반복에서 사용된 ROI의 크기 및/또는 형태는 제2 슈퍼 픽셀을 생성하기 위한 다른 반복에서 사용된 ROI의 크기 및/또는 형태와 같거나 다를 수 있다. 슈퍼 픽셀은 일부 시나리오에서 자율 주행 차량 또는 다른 로봇 장치(예: 관절형 팔 또는 전자 수술 도구)의 작동을 제어하는 데 사용될 수 있다.

도 2 및 도 13에 도시된 바와 같이, 라이다 센서(300)는 광 검출기(226)의 출력 파형을 사용하여 결과 p1, p2, ??, px를 생성한다. 각각의 결과 p1, p2, ??, px는 이에 연관된 값들을 가진다. 값들은 거리값, 강도값, 노이즈값, 신뢰도값 및/또는 시험값(trial value)을 포함할 수 있고, 이에 한정되지 않는다. 결과들은 슈퍼 픽셀을 생성하기 위해 집계될 수 있다. 슈퍼 픽셀을 생성하기 위한 하나의 예시적이고 단순한 기법이 아래에서 도 13과 관련하여 논의될 것이다.

가이거 모드 라이다 시스템에서 센서는 방출된 광 신호와 동일하거나 유사한 파장의 광자 흡수에 응답하여 특정 진폭의 전기 펄스를 생성하도록 구성된 애벌런치 검출기(또는 광다이오드)를 포함한다. 이후 많은 측정을 통해 히스토그램이 구성될 수 있으며, 물체 표면의 위치는 히스토그램의 피크로부터 추정될 수 있다. 여기서 사용되는 "측정(test)"이라는 용어는 각각의 측정 시도를 의미한다. 측정 시도는 펄스를 송신하고 검출 시간을 기록하는 것을 포함한다. 측정은 펄스와 연관되지만 반드시 펄스와 일치할 필요는 없다. 여러 검출기의 검출 결과를 집합하여 단일 펄스로부터 여러 측정을 얻을 수도 있다. 각 검출기의 출력은 하나의 측정값이다. 그러나 히스토그램의 정확성은 기본적으로 빈(bin)의 너비에 의해 제한된다. 따라서 본 발명은 거리, 강도, 노이즈 및/또는 신뢰도 값을 업데이트하는 후처리 동작에 관한 것이다. 이 후처리 동작은 도 20과 관련하여 상세히 논의될 것이다.

이제 도 13 및 도 21을 참조하면, 결과 p1, p2, ??, px는 복수의 셀(552)로 정의된 그리드(550)로 나타낼 수 있다. 각 결과는 라이다 영상의 픽셀로도 지칭된다. 픽셀 p1, p2, ??, px는 슈퍼 셀 단위로 단순 집계될 수 있으며, 이를 통해 일련의 3차원 포인트를 생성할 수 있다. 슈퍼 셀의 크기는 Q Х Z이며, 여기서 Q와 Z는 각각 정수이다. 도 13에서 각 슈퍼 셀은 2셀 Х 6셀이다. 각 슈퍼 셀(554)에 연관된 3차원 포인트는 각각의 6개 픽셀을 서로 결합하여 슈퍼 픽셀 SP1, SP2, ??, SPy를 얻음으로써 도출된다. 제1 슈퍼 픽셀 SP1은 다음의 수학식(6)에 의해 정의될 수 있다.

도 13의 접근 방식은 특정한 단점이 있다. 이 기법은 고정된 픽셀 크기(각도 해상도)와 슈퍼 픽셀당 고정된 픽셀 수를 사용하기 때문에, 거리와 강도가 크게 변하는 영역으로부터 픽셀들을 결합할 위험이 있으며, 이는 슈퍼 픽셀로 구성된 라이다 영상에서 흐림과 같은 왜곡을 유발할 수 있다. 본 발명의 해결 방안은 슈퍼 픽셀을 생성하는 새로운 접근 방식을 구현하여 이러한 단점들을 해결한다. 이러한 새로운 접근 방식은 이제 도 20과 관련하여 논의될 것이다.

도 20 및 도 21은 슈퍼 픽셀을 생성 및/또는 사용하는 예시적 방법(650)의 흐름도를 제공한다. 방법(650)은 라이다 시스템(예: 도 3의 라이다 센서(200))의 프로세서(예: 도 3의 프로세서(222))에 의해 전체 또는 부분적으로 수행될 수 있다.

방법(650)은 단계(652)에서 시작하여 단계(654)로 계속 진행하여, 라이다 시스템으로부터 광 펄스가 송신된다. 송신된 광은 물체에 반사되어 다시 라이다 시스템으로 돌아올 수 있다. 반사된 광은 단계(656)에서 광 검출기에 의해 수신될 수 있다. 이후 광 검출기에서 출력된 파형은 단계(658)에서 처리되어 결과를 생성한다. 각각의 결과는 이와 연관된 값을 가진다. 이러한 값들은 거리값, 강도값, 노이즈값, 신뢰도값, 계산값 및 시험값(trial value)을 포함할 수 있으며, 이에 한정되지 않는다. 단계(660)에서 결과는 셀로 구성된 그리드에 배열된다. 도 21a에 도시된 예시적인 그리드(500)는 결과 p1, p2, ??, p144가 각각 그의 셀(502)에 할당된 것을 나타낸다.

이 그리드는 본 발명의 해결 방안에 따라 슈퍼 픽셀을 생성하는 데 사용된다. 이 새로운 접근 방식은 그리드를 통과하면서 특징을 계산하는 최소 하나의 필터(또는 커널)를 사용할 수 있다. 복수의 컴퓨팅 커널이 사용될 경우, 각 커널은 그리드에서 서로 다른 특징을 추출한다.

이에 따라, 도 20의 단계(662)에서 프로세서는 커널 사이즈와 스트라이드(stride)를 얻는다. 커널 사이즈는 미리 정의된 고정 값이거나 가변적인 값일 수 있다. 커널 사이즈는 Q개의 셀 Х Z개의 셀로 정의될 수 있다. 여기서 Q와 Z는 각각 정수이며 서로 같을 수도 있고 다를 수도 있다. 방위각과 고도각에서 고유 각도 해상도가 같을 경우, Q와 Z가 동일한 값으로 선택된다. 예를 들어 도 21A에 도시된 바와 같이 3Х3 셀(3Х3), 또는 도시되지 않았지만 5Х5 셀, 7Х7 셀과 같이 선택될 수 있다. 본 발명의 해결 방안은 이 예시적인 세부 사항에 한정되지 않는다. Q와 Z로 짝수 값이 사용될 수도 있다. 그러나 일부 응용 분야에서는 중심 픽셀을 POI로 사용할 수 있게 해주는 홀수 값이 바람직할 수 있다. 커널 사이즈가 클수록 생성된 특징이 더 우수하나, 계산 비용이 높아진다. 스트라이드(S)는 미리 정의된 고정 값이거나 가변적인 값일 수 있으며, 여기서 S는 정수이다(예: 1 또는 6).

고정된 Q Х Z 커널로 검색 영역을 제한하는 대신, 최근접 픽셀을 찾는 것이 더 견고할 수 있다. 최근접 픽셀은 카테시안 공간(cartesian space) 및/또는 픽셀 공간에서 식별될 수 있다. 픽셀 공간은 구면 좌표(거리, 방위각, 고도각)와 유사하다. 최근접 픽셀은 거리 허용 범위 내의 점들을 포함하고 POI와 인접 픽셀 간의 각도를 최소화하여 찾을 수 있다. 따라서 가변 커널 사이즈 및/또는 스트라이드 시나리오에서는 커널 사이즈 및/또는 스트라이드가 최근접 픽셀 접근법을 기반으로 동적으로 결정되거나 얻어질 수 있다. 최근접 픽셀 접근법은 예를 들어 참조 커널 사이즈를 얻고, 이 커널 사이즈를 사용하여 관심 지점(POI)을 식별하며(여기서 POI는 커널 사이즈로 정의된 영역의 중앙 픽셀), 각 픽셀(예: 결과 p1, p2, ??, p144)의 연관된 값을 이용해 각 픽셀의 점수(A)를 계산하고, 이 점수를 기반으로 POI의 일정 수(예: 12개)의 최근접 픽셀을 선택하며, 선택된 최근접 픽셀을 기준으로 새로운 커널 사이즈를 정의하거나 점수 및/또는 새로운 커널 사이즈를 기준으로 스트라이드를 선택할 수 있다. 점수(A)는 픽셀 간 상관 정도를 나타낸다. 각각의 점수(A)는 다음의 수학식 (2) 또는 (3)으로 정의될 수 있다.

여기서 R은 거리, I는 강도, N은 노이즈, C는 신뢰도, T는 시험값, K는 계산 수를 나타내며, w1, ??, w6은 각각 가중치를 나타낸다. 본 발명의 해결 방안은 수학식 (2) 및 (3)에 제한되지 않는다. 점수(A)는 위에서 나열된 값(예를 들어서, R, I, N, C, 및/또는 T) 중 하나 이상을 임의로 조합한 함수일 수 있다. 본 발명의 해결 방안은 특정한 가장 가까운 픽셀 접근법에 제한되지 않으며, 다른 가장 가까운 픽셀 접근법도 사용할 수 있다. 결과적인 커널 사이즈에서 Q와 Z는 서로 같을 수도 있으며 다를 수도 있다.

커널 사이즈와 스트라이드가 결정되면, 방법(650)은 단계(664)로 진행하여 그리드에서 ROI를 식별한다. 도 21a에 예시적인 ROI(804)가 도시되어 있다. ROI(804)는 그리드 내에서 커널 사이즈의 검색 윈도우로 제한된 영역 안에 위치한 셀들로 구성된다. ROI는 길이와 너비가 동일하여 정사각형 형태로 도시되어 있으나, 본 발명의 해결 방안은 여기에 한정되지 않는다. ROI는 도 21a의 점선(850)으로 표시된 선형 형태 등과 같이 길이와 너비가 다른 형태를 가질 수도 있다.

다음으로 단계(666)에서는 ROI 내에서 POI(point of interest)가 식별된다. POI는 ROI의 중심 픽셀을 포함하되 이에 제한되지 않는다. 예를 들어, 도 21B에 도시된 바와 같이 POI(806)는 ROI(804)의 중심 픽셀이므로 픽셀 p14로 구성된다. 본 발명의 해결 방안은 이에 제한되지 않는다. 예를 들어, 중심 픽셀의 신뢰도가 신뢰도 임계값을 초과한다면 이는 보고된 데이터 필드의 충분한 확실성 또는 정확성을 의미하며, 다른 POI를 선택하는 것에 의미가 없음을 나타낸다. 그러나, 중심 픽셀의 신뢰도가 신뢰도 임계값보다 낮다면, 보고된 거리가 정확하지 않을 가능성이 높아지며, 이는 공간 처리를 완전히 실패하게 만들 수 있다. 이 경우 특정 상황에서는 중심 픽셀 POI의 거리값을 ROI로부터의 대표 거리값으로 대체할 수 있다. 이 접근 방식은, 먼저, 픽셀 공간에서 신뢰도가 신뢰도 임계값보다 큰 최근접 이웃을 찾고, 중심 픽셀 POI의 거리를 이 값으로 대체하는 것을 포함한다. 다른 POI 필드는 수정하지 않는다. 둘째로, 시스템은 평소처럼 공간 처리를 수행하고, ROI 내에 포함된 상관된 픽셀들의 사분면 위치를 추적하며, 상관된 픽셀이 ROI의 최소 N개 사분면(가장 보수적으로는 네 개 모두)에 존재할 경우에만 최종 결과를 유지한다. 그렇지 않은 경우 해당 포인트는 무시하고 다음 스트라이드의 픽셀로 진행한다.

단계(668-670)에서 도시된 바와 같이 ROI의 크기 및/또는 위치는 선택적으로 조정될 수 있다. 그리드 내 ROI의 위치를 이동함으로써, 시스템은 커널이 POI(예: 도 21a의 픽셀 p14)와 동일한 목표 물체에 속하는 픽셀을 더 많이 포함하거나, POI와 잘 상관된 픽셀을 더 많이 포함할 가능성을 최대화할 수 있다.

POI에 대해 최근접 픽셀들의 중심은 POI가 물체의 표면상 어느 위치에 위치하는지를 나타낼 수 있다. 만약 중심이 POI를 기준으로 위쪽, 아래쪽, 왼쪽 또는 오른쪽으로 치우쳐 있다면, POI는 물체의 가장자리(edge) 포인트일 가능성이 높다. 반대로 중심이 POI 또는 ROI의 모서리 쪽으로 치우쳐 있다면, POI는 모서리(corner) 포인트일 가능성이 높다. 이러한 정보는 커널의 크기를 하나 이상의 방향으로 조정하는 데 사용될 수 있다(예: 확대/증가 또는 축소/감소). 예를 들어서, POI가 물체의 가장자리 포인트라고 판단되면, 커널 사이즈 및/또는 그리드 내 ROI 위치는 POI가 ROI의 중심이 아닌 가장자리에 위치하도록 변경된다. POI가 목표 물체의 좌하단 모서리 포인트라고 판단되면, 커널 사이즈 및/또는 그리드 내 ROI 위치는 POI가 ROI의 중심이 아닌 좌하단 모서리에 위치하도록 변경된다. 마찬가지로, POI가 목표 물체의 좌상단 모서리 포인트라고 판단되면, 커널 사이즈 및/또는 ROI 위치는 POI가 ROI의 좌상단 모서리에 위치하도록 변경된다. 본 발명의 해결 방안은 이에 제한되지 않는다.

커널 사이즈는 Q 및 Z 방향 모두에서 ROI를 확장하기 위해 조정될 수 있다. 예를 들어 도 21A 및 도 21C에 도시된 바와 같이, 커널 사이즈는 3셀 Х 3셀(3x3)에서 4셀 Х 4셀(4x4)로 확장된다. 이 결과로 ROI(804)는 Q 및 Z 방향 모두로 확장되어 ROI(804를 형성하게 된다. 본 발명의 해결 방안은 이에 제한되지 않는다. 커널 사이즈는 추가적으로 또는 대안적으로 도 22에 도시된 바와 같이 Q 방향으로만, 도 23에 도시된 바와 같이 Z 방향으로만 조정될 수 있다. 또한, 그리드 내 ROI의 위치도 추가적으로 또는 대안적으로 변경될 수 있다. 예를 들어 도 24에 도시된 바와 같이, 3x3 ROI는 제1 위치(850)(즉, Q 방향과 Z 방향으로 각각 1셀 이동한 위치)에서 제2 위치(852)로 이동된다. 본 발명의 해결 방안은 이에 제한되지 않는다. ROI의 위치는 주어진 응용에 따라 선택된 셀 수만큼 한 방향 또는 양 방향 모두로 이동될 수 있다.

도 20을 다시 참조하면, 방법은 단계(650)에서 단계(672)로 계속되며, 이 단계에서는 거리 허용오차, 강도 허용오차, 노이즈 허용오차 및/또는 신뢰도 임계값이 데이터 저장소로부터 획득된다. 이 값들은 미리 구성된 값일 수 있다. 단계(674)에서는 하나 이상의 픽셀이 거리 허용오차, 강도 허용오차, 노이즈 허용오차 및/또는 신뢰도 임계값에 따라 ROI에서의 집계 대상에서 제외될 수 있다.

해당 허용오차는 하나 이상의 차원에서 POI와 너무 멀리 떨어진 포인트를 집계에서 제외하는 데 사용된다. 예를 들어, POI의 거리값이 10이고 거리 허용오차가 ±1이라면, 시스템은 ROI 내 다른 픽셀의 거리값이 9 이상 11 이하인지 여부를 판단한다. 그렇다면, 해당 픽셀은 집계 대상이 된다. 그렇지 않으면, 해당 픽셀은 집계 대상에서 제외된다. 본 발명의 해결 방안은 이 예시에 한정되지 않는다. 만약 라이다 시스템이 픽셀당 복수의 반환값을 보고한다면, ROI 내 모든 픽셀의 모든 반환값에 대해 (부)적합성을 검사해야 한다.

일부 시나리오에서는, 픽셀은 다음 중 하나에 해당할 경우 적합 픽셀로 간주될 수 있다: (i) 연관된 거리, 강도 및/또는 노이즈 값이 허용오차 내에 있을 경우, (ii) 연관된 신뢰도 값이 신뢰도 임계값 이상일 경우. 픽셀은 다음 중 하나에 해당할 경우 부적합 픽셀로 간주될 수 있다: (i) 연관된 거리, 강도 및/또는 노이즈 값이 허용오차를 벗어날 경우, (ii) 연관된 신뢰도 값이 신뢰도 임계값보다 낮을 경우. 예를 들어, 도 21D에 도시된 바와 같이 ROI(804의 픽셀 p3, p37, p40은 집계에 부적합한 픽셀(808)로 간주된다. 본 발명의 해결 방안은 이에 한정되지 않는다.

다른 시나리오에서는, 표면 법선을 추정하고 거리 허용오차는 POI가 아니라 표면을 기준으로 적용될 수 있다. 예를 들어, 픽셀이 도로를 향하고 있다면, 표면 법선은 위쪽을 향하게 된다. 다른 시나리오에서는, 표면 법선을 추정하고 거리 허용오차는 POI가 아니라 표면을 기준으로 적용될 수 있다. 예를 들어, 픽셀이 도로를 향하고 있다면, 표면 법선은 위쪽을 향하게 된다. 이 경우, 통합 창 안의 픽셀은 거리값이 POI와 가까운 경우가 아니라 도로 표면과 충분히 가까운 경우 포함될 수 있다. 또한 또는 대안적으로, 신호 강도의 신뢰도 구간이 겹치는 경우 이웃 픽셀은 적합 픽셀 집합에 포함될 수 있다. 가이거 모드 라이다의 강도는 노이즈가 있지만, 반환 신호를 포함한 구간에서의 계산 수와 시험 수를 바탕으로 이항 통계를 통해 신뢰도 구간을 계산할 수 있다. 이웃 픽셀은 대안적으로 또는 추가적으로, 노이즈 강도 신뢰도 구간이 겹칠 경우 적합 픽셀 집합에 포함될 수 있다. 이 경우, 노이즈 강도 신뢰도 구간은 노이즈 계산 수 및 노이즈 시험 수의 함수이며, 이는 전체 카운트 수 및 시험 수에서 반환 신호가 포함된 구간의 카운트 수 및 시험 수를 뺀 값으로부터 도출될 수 있다.

단계(674)가 완료되면, 방법은 단계(676)으로 계속되며, 이 단계에서는 ROI(804') 내의 나머지 픽셀들이 커널에 의해 결합되어 슈퍼 픽셀이 생성된다. 예를 들어, 도 21E에 도시된 바와 같이 커널(810)은 나머지 픽셀들 p1, p2, p4, p13, p14, p15, p16, p25, p26, p27, p28, p38, p39에 함수를 적용하여 특징 F1을 산출한다. 특징 F1은 다음 수학식 (4)에 의해 정의될 수 있다.

특징 F1은 슈퍼 픽셀로 간주된다(즉, SP1 = F1). 해당 특징(또는 슈퍼 픽셀)은 거리, 강도, 노이즈 및/또는 신뢰도를 포함할 수 있으며, 이에 국한되지 않는다. 픽셀이 집계되는 방식은 개별 라이다 시스템 설계에 따라 달라지며 응용에 따라 변할 수 있다. 예를 들어, 픽셀 집계에는 단순 합산 또는 평균값이 사용될 수 있다. 이와 관련하여, 특징 F1의 거리값은 ROI 내 나머지 픽셀들의 평균 거리일 수 있으며, 이에 국한되지 않는다. 특징 F1의 강도값은 ROI 내 나머지 픽셀들의 신호 카운트 및 시험 수의 합에서 도출된 강도값, 또는 (카운트 및 시험 값이 제공되지 않는 경우) 나머지 적합 픽셀들의 평균 강도일 수 있다. 특징 F1의 노이즈 값은 ROI 내 나머지 픽셀들의 노이즈 카운트 및 시험 수의 합에서 도출된 노이즈 값, 또는 나머지 픽셀들의 평균 노이즈일 수 있다. 특징 F1의 신뢰도 값은 갱신된 노이즈 값과 커널 내 신호 카운트 및 시험 수의 합에서 도출된 신뢰도 값일 수 있으며, 이에 제한되지 않는다.

단계(662-676)의 과정은 스트라이드에 따라 다른 슈퍼 픽셀들을 생성하기 위해 반복된다. 예를 들어, 다음 ROI는 커널 검색 윈도우를 스트라이드에 따라 이동시켜 식별되며, 상술한 과정에 따라 다음 슈퍼 픽셀이 생성된다. 예를 들어, 도 21F에 도시된 바와 같이 스트라이드가 4인 경우 커널 검색 윈도우는 오른쪽으로 네 개의 셀만큼 이동된다. 그 결과, 다음 슈퍼 픽셀은 다음 수학식 (5)로 정의되는 특징 F2로 설정된다.

다른 특징 F3, ..., F12는 유사한 방식으로 생성된다. 이러한 특징들은 도 21G에 도시된 특징 맵(512)을 정의한다. 다른 슈퍼 픽셀들은 각각 이들 특징에 대응하여 설정된다(예: SP2 = F2, SP3 = F3, ..., SP12 = F12). 이러한 슈퍼 픽셀들은 도 20의 선택적인 단계(680)에서 도시된 바와 같이 차량의 동작을 제어하거나 현장에 인력을 배치하는 데 사용될 수 있다. 그 후, 단계(682)에서는 방법의 단계(650)가 종료되거나 다른 작업이 수행된다.

전술한 방법 단계 650은 기존 시스템 및 방법들에 비해 여러 가지 장점을 제공한다. 예를 들어, 구현 시스템 및 방법 단계 650은 다음을 제공한다: (i) 향상된 거리 정확도 및 정밀도; (ii) 향상된 거리 및 강도 정밀도; (iii) 도로의 차선 표시 등 페인트 라인의 탐지성과 품질 향상; (iv) 고강도 아티팩트 제거 및 유효 동적 범위 증가; (v) 검정색 또는 어두운 목표물의 탐지 확률 향상; (vi) 장거리에서 목표물의 탐지 확률 증가. 항목 (v)와 관련하여서, 결과(또는 픽셀) 데이터는 오염될 수 있으며(예: 잘못된 거리값을 및/또는 임계값 이하의 상대적으로 낮은 신뢰도 값을 포함할 수 있음), 이는 어두운 물체의 탐지를 방해할 수 있다. 신뢰도 값이 낮은 시나리오에서, 본 발명의 해결 방안은 신뢰도 값을 임계값 이상으로 증가시킬 수 있으므로, 어두운 물체를 더 높은 신뢰도로 탐지할 수 있게 한다.

방법 단계(650)는 Geiger-모드 애벌랜치 포토다이오드(GmAPD) 데이터 수준에서 검출 및 파형 분석 단계에서의 지능형 오버샘플링의 형태로 구현될 수 있다. 방법 단계(650)는 또한 다음과 같은 방식으로 신호 검출 단계에서 구현될 수 있다: 제1 검출 시도의 데이터를 제2 검출 시도에 피드백하는 이중 패스 프로세스를 사용하는 것; 또는 히스토그램 생성 이전의 원시 데이터를 바탕으로 사전정보(prior)를 계산하여 어떤 픽셀을 단일 히스토그램에 통합할지를 결정하는 것. 후자의 경우, 각 GmAPD 픽셀에 대해 총 플럭스(flux)를 계산할 수 있으며, 이는 거리, 신호 강도 및 노이즈를 결합한 값이다.

이제 도 25를 참조하면, 라이다 시스템을 동작시키기 위한 또 다른 방법(900)의 흐름도(flow diagram)가 제공된다. 방법(900)은 라이다 시스템(예: 도 3의 라이다 센서(300))의 프로세서(예: 도 3의 프로세서(332))에 의해 전체 또는 부분적으로 수행될 수 있다.

방법(900)은 단계(902)로 시작하여, 단계(904)에서는 픽셀들(예: 도 21의 픽셀 p1, ..., p144)이 그리드(예: 도 21의 그리드(800))에 배열된다. 픽셀들은 라이다 시스템의 광 검출기들(예: 도 3의 광 검출기(318))로부터 생성된 파형을 처리함으로써 생성된 결과값을 포함한다. 단계(906)에서는, 프로세서가 픽셀들 간의 상관관계를 기반으로 그리드에서 ROI를 식별하는 작업을 수행한다. 이 상관관계는 픽셀과 연관된 거리값 간의 상관관계 및/또는 강도값 간의 상관관계를 포함하되 이에 제한되지 않는다.

일부 시나리오에서, ROI는 다음과 같이 식별될 수 있다: 커널 사이즈를 획득하고; 이 커널 사이즈를 사용하여 그리드 내 관심 영역을 정의함. 커널 사이즈는 가변적일 수 있다. 커널 사이즈는 다음의 과정을 통해 획득될 수 있다: 그리드 내에서 POI에 대해 최소한 거리 측면에서의 최근접 픽셀들을 찾고; 최근접 픽셀들의 위치를 기반으로 커널 사이즈를 정의함. 대안적으로, 커널 사이즈는 다음 방식으로 획득될 수 있다: 참조(기준) 커널 사이즈를 획득하고; 이 커널 사이즈를 사용하여 그리드 내의 영역을 식별하고; 해당 영역의 중심 픽셀을 식별하고; 해당 영역 내의 각 픽셀에 대해 연관된 결과값을 사용하여 점수(예: 상기에서 언급한 점수 A)를 계산하며; 이 점수는 해당 픽셀과 중심 픽셀 간 결과값의 상관 정도를 나타내고; 이 점수를 바탕으로 픽셀들을 선택하고; 선택된 픽셀들의 위치를 기반으로 커널 사이즈를 정의함. 점수는 거리, 강도 및/또는 노이즈의 함수일 수 있다.

단계 908에서는, 그리드 내 ROI의 크기 및/또는 위치가 물체와 연관된 픽셀을 더 많이 포함할 가능성을 극대화하기 위해 선택적으로 조정된다. 이러한 조정은 다음의 방식으로 수행될 수 있다: ROI 내의 POI를 식별하고; 최소한 거리 측면에서 POI의 최근접 픽셀들을 식별한 후; 이들 최근접 픽셀의 중심점을 사용하여 POI가 객체 표면의 에지 포인트 또는 코너 포인트와 연관되어 있을 가능성을 산출하고; 그 가능성에 따라 ROI의 크기 및/또는 위치를 조정한다. POI는 ROI의 중심 픽셀일 수 있다.

단계(910)에서는, ROI 내의 하나 이상의 픽셀이 다른 픽셀과의 집계에서 선택적으로 제외될 수 있다. 해당 제외는 특정 픽셀이 POI 및/또는 도로 표면과 하나 이상의 차원에서 얼마나 멀리 떨어져 있는지를 기준으로 판단된다. 이러한 차원은 거리, 강도, 노이즈 및 신뢰도를 포함하되 이에 제한되지 않는다.

단계(912)에서는, 프로세서가 ROI 내에 위치한 픽셀들과 연관된 결과값을 결합하여 특징값(예: 도 21g의 특징값 F1)을 생성한다. 단계(914)에서는 이 특징값을 값으로 갖는 슈퍼픽셀이 생성된다. 단계(906-914)의 동작은, 도 21g의 단계(916)에서 도시된 바와 같이, 다른 슈퍼픽셀들을 생성하기 위해 반복적으로 수행될 수 있다. 제1 반복에서 슈퍼픽셀을 생성하는 데 사용된 ROI는, 제2 반복에서 다른 슈퍼픽셀을 생성하는 데 사용된 ROI와 크기 및/또는 형태가 다를 수 있다. 그 후 단계(918)가 수행되어 방법(900)이 종료되거나, 예를 들어서, 단계(902)로 되돌아가는 등의 다른 작업이 수행된다.

상기에서 설명된 라이다 시스템은 다양한 응용에 사용할 수 있다. 본 발명의 해결 방안은 자율주행 차량의 문맥에서 설명되지만, 자율주행 차량 응용에 한정되지 않는다. 본 발명의 해결 방안은 로봇 응용(예: 관절형 로봇팔의 움직임 제어 등) 및/또는 시스템 성능 향상 응용에서도 사용할 수 있다.

도 26은 본 발명의 일 측면에 따른 예시적인 시스템 1000을 도시한다. 시스템(1000)은 도로를 반자율 또는 완전 자율적으로 주행하는 차량(1002)을 포함한다. 차량(1002)는 이 문서 내에서 AV(1002)라고도 불린다. AV(1002)는 지상 차량(도 26에 도시된 바와 같이), 항공기 또는 수상 차량을 포함하되 이에 한정되지 않는다. 상기에서 언급한 바와 같이, 별도로 명시되지 않는 한 본 명세서의 개시는 반드시 자율주행 차량 구현에 한정되지 않으며, 일부 구현에서는 비자율 차량도 포함될 수 있다.

AV(1002)는 일반적으로 그 주변에서 물체를 감지하도록 구성된다. 해당 물체는 차량(1003), 자전거 이용자(1014)(예를 들어서, 자전거, 전동 스쿠터, 오토바이 또는 그 유사체의 탑승자 등), 보행자(1016) 등을 포함하되 이에 한정되지 않는다.

도 26에 도시된 바와 같이, 자율 주행 차량(AV)(1002)은 센서 시스템(1018), 차량 내 컴퓨팅 장치(1022), 통신 인터페이스(1020), 사용자 인터페이스(1024)를 포함할 수 있다. 자율 주행 차량 시스템은, 또한 도 27에 도시된 바와 같이 차량에 포함된 특정 구성요소들을 더 포함할 수 있으며, 이러한 구성요소들은 차량 내 컴퓨팅 장치(1022)에 의해 가속 신호 또는 명령, 감속 신호 또는 명령, 조향 신호 또는 명령, 제동 신호 또는 명령 등과 같은 다양한 통신 신호 및/또는 명령을 이용하여 제어될 수 있다.

센서 시스템(1018)은 AV(1002)에 결합되거나 포함된 하나 이상의 센서를 포함할 수 있다. 예를 들어, 이러한 센서는, 제한되지 않고, LiDAR 시스템, 레이더(radar) 시스템, 레이저 탐지 및 거리 측정(LADAR, laser detection and ranging) 시스템, 소나(sonar, sound navigation and ranging) 시스템, 하나 이상의 카메라(예: 가시광 스펙트럼 카메라, 적외선 카메라 등), 온도 센서, 위치 센서(예: 글로벌 포지셔닝 시스템(GPS) 등), 위치 감지 센서, 연료 센서, 모션 센서(예: 관성 측정 장치(IMU) 등), 습도 센서, 점유 센서 또는 이와 유사한 센서를 포함할 수 있다. 센서 데이터는 AV (1002)의 주변 환경 내 객체의 위치를 설명하는 정보, 환경 자체에 대한 정보, AV (1002)의 이동에 관한 정보, 차량의 경로에 관한 정보 또는 이와 유사한 정보를 포함할 수 있다. AV (1002)가 지면을 따라 이동할 때, 적어도 일부 센서들은 해당 지면에 관한 데이터를 수집할 수 있다.

AV (1002)는 또한 센서 시스템에 의해 수집된 센서 데이터를 통신 네트워크(1008)를 통해 원격 컴퓨팅 장치(1010)(예: 클라우드 처리 시스템)로 송신할 수 있다. 원격 컴퓨팅 장치(1010)는 본 명세서에서 설명된 기술의 하나 이상의 프로세스를 수행하기 위해 하나 이상의 서버로 구성될 수 있다. 원격 컴퓨팅 장치(1010)는 또한 네트워크(1008)를 통해 AV (1002)와 데이터/명령을 송수신하고, 서버 및/또는 데이터 저장소(1012)와도 송수신할 수 있도록 구성될 수 있다. 데이터 저장소(1012)는 데이터베이스를 포함하되 이에 한정되지 않는 저장소일 수 있다.

네트워크(1008)는 하나 이상의 유선 또는 무선 네트워크를 포함할 수 있다. 예를 들어, 네트워크(1008)는 셀룰러 네트워크(예: 롱텀에볼루션(LTE) 네트워크, 코드분할다중접속(CDMA) 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크, 기타 차세대 네트워크 등)를 포함할 수 있다. 이 네트워크는 또한 공중 육상이동통신망(PLMN), 근거리 통신망(LAN), 광역 통신망(WAN), 도시 지역 네트워크(MAN), 전화망(예: 공중교환전화망(PSTN)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 또는 이와 유사한 네트워크 및/또는 이러한 네트워크들의 조합을 포함할 수 있다.

AV (1002)는 로컬 애플리케이션으로부터 생성된 정보 또는 데이터 저장소(1012)로부터 네트워크(1008)를 통해 전송된 정보를 검색, 수신, 표시 및 편집할 수 있다. 데이터 저장소(1012)는 원시 데이터, 인덱스된 데이터, 구조화된 데이터, 로드맵 데이터(1060), 프로그램 명령 또는 기타 구성정보를 저장하고 제공하도록 구성될 수 있다.

통신 인터페이스(1020)는 AV (1002)와 외부 시스템(예: 외부 장치, 센서, 다른 차량, 서버, 데이터 저장소, 데이터베이스 등) 간의 통신을 가능하게 하도록 구성될 수 있다. 통신 인터페이스(1020)는 제한 없이 Wi-Fi, 적외선 링크, 블루투스 등과 같은 현재 또는 향후에 알려진 프로토콜, 보안 체계, 인코딩, 포맷, 패키징 등을 사용할 수 있다. 사용자 인터페이스 시스템(1024)은 AV (1002)에 구현된 주변 장치의 일부로서 키보드, 터치스크린 디스플레이 장치, 마이크, 스피커 등을 포함할 수 있다. 차량은 또한 통신 인터페이스(1020)를 통한 통신 링크(예: 차량 간(V2V), 차량-객체 간(V2O), 기타 차량-외부(V2X) 통신 링크)를 통해 주변 환경 내 장치나 객체에 관한 상태 정보, 설명 정보 또는 기타 정보를 수신할 수 있다. 용어 "V2X"는 차량이 주변 환경에서 마주하거나 영향을 줄 수 있는 어떤 객체와의 통신을 의미한다.

도 27은 본 발명의 내용에 따라 차량에 대한 예시적인 시스템 아키텍처(1100)를 도시한 것이다. 도 26의 차량(1002) 및/또는 (1003)은 도 27에 도시된 것과 동일하거나 유사한 시스템 아키텍처를 가질 수 있다. 따라서 시스템 아키텍처(1100)에 대한 다음 설명은 도 26의 차량(1002, 1003)을 이해하는 데 충분하다. 그러나 본 명세서에서 설명된 기술의 범위 내에는 다른 유형의 차량도 포함되며, 이는 도 27과 관련하여 설명된 구성요소보다 많거나 적은 요소를 포함할 수 있다. 비제한적인 예로, 항공 차량은 브레이크 또는 기어 제어기를 포함하지 않을 수 있지만, 고도 센서를 포함할 수 있다. 또 다른 비제한적인 예로, 수상 차량은 수심 센서를 포함할 수 있다. 이 기술 분야의 통상의 기술자라면 차량의 유형에 따라 다양한 추진 시스템, 센서 및 제어기가 포함될 수 있음을 이해할 것이다.

도 27에 도시된 바와 같이, 차량용 시스템 아키텍처(1100)는 엔진 또는 모터(1102) 및 차량의 다양한 매개변수를 측정하기 위한 다양한 센서(1104-1118)를 포함한다. 연료 기반 엔진을 가지는 가솔린 차량 또는 하이브리드 차량의 경우, 센서는 예를 들어 엔진 온도 센서(1104), 배터리 전압 센서(1106), 엔진 회전 속도(RPM) 센서(1108), 스로틀 위치 센서(1110)를 포함할 수 있다. 차량이 전기차 또는 하이브리드 차량인 경우, 해당 차량은 전기 모터를 가질 수 있으며, 이에 따라 배터리의 전류, 전압 및/또는 온도를 측정하기 위한 배터리 모니터링 시스템(1112), 모터 전류(1114) 및 전압(1116) 센서, 리졸버 또는 엔코더와 같은 모터 위치 센서(1118)와 같은 센서를 포함할 수 있다.

두 유형의 차량에 공통적인 동작 매개변수 센서에는 예를 들어: 가속도계, 자이로스코프 및/또는 관성 측정 장치와 같은 위치 센서(1136), 속도 센서(1138), 주행 거리계 센서(1140)가 포함된다. 차량은 또한 시스템이 작동 중 차량의 시간을 결정하기 위해 사용하는 시계(1142)를 포함할 수 있다. 시계(1142)는 차량 내 컴퓨팅 장치에 내장될 수도 있고, 별도의 장치일 수도 있으며, 다수의 시계가 존재할 수도 있다.

차량은 또한 차량이 주행 중인 환경에 대한 정보를 수집하기 위해 작동하는 다양한 센서를 포함할 수 있다. 이러한 센서는 예를 들어 글로벌 포지셔닝 시스템(GPS) 장치와 같은 위치 센서(1160), 하나 이상의 카메라(1162)와 같은 객체 감지 센서, 라이다 시스템(1164), 레이더 및/또는 소나 시스템(1166)을 포함할 수 있다. 이 센서들은 또한 강수 센서 및/또는 외기 온도 센서와 같은 환경 센서(1168)를 포함할 수 있다. 객체 감지 센서는 차량의 임의의 방향으로 일정 거리 범위 내에 있는 객체를 차량이 감지할 수 있도록 하며, 환경 센서는 차량의 이동 영역 내 환경 조건에 대한 데이터를 수집한다.

작동 중, 센서로부터의 정보는 차량 내 컴퓨팅 장치(1120)로 송신된다. 차량 내 컴퓨팅 장치(1120)는 도 29의 컴퓨터 시스템을 사용하여 구현될 수 있다. 차량 내 컴퓨팅 장치(1120)는 센서에 의해 수집된 데이터를 분석하고 선택적으로 분석 결과에 기반하여 차량의 작동을 제어할 수 있다. 예를 들어, 차량 내 컴퓨팅 장치(1120)는 브레이크 제어기(1122)를 통한 제동 제어, 조향 제어기(1124)를 통한 방향 제어, 가솔린 차량의 경우 스로틀 제어기(1126)를 통한 속도 및 가속 제어, 전기차의 경우 전류 레벨 제어기와 같은 모터 속도 제어기(1128)를 통한 속도 및 가속 제어, 변속기가 있는 차량의 경우 차동기어 제어기(1130), 그리고/또는 기타 제어기를 제어할 수 있다. 보조 장치 제어기(1134)는 테스트 시스템, 보조 센서, 차량에 의해 운반되는 모바일 장치 등 하나 이상의 보조 장치를 제어하도록 구성될 수 있다.

지리적 위치 정보는 위치 센서(1160)로부터 차량 내 컴퓨팅 장치(1120)로 송신될 수 있으며, 이 장치는 해당 위치 정보에 대응되는 환경의 지도를 접근하여 도로, 건물, 정지 신호 및/또는 정지/진행 신호와 같은 고정된 환경 요소들을 식별할 수 있다. 카메라(1162)로부터 캡처된 이미지 및/또는 라이다 시스템(1164) 등의 센서로부터 수집된 객체 감지 정보는 해당 센서로부터 차량 내 컴퓨팅 장치(1120)로 송신된다. 객체 감지 정보 및/또는 캡처된 이미지는 차량 내 컴퓨팅 장치(1120)에 의해 처리되어 차량 주변의 객체들을 감지한다. 센서 데이터 및/또는 캡처된 이미지를 기반으로 한 객체 감지를 수행하는 데에는 본 명세서에 개시된 실시예에서 사용 가능한 기지의 또는 향후 기지될 수 있는 모든 기술을 사용할 수 있다.

라이다 정보는 라이다 시스템(1164)으로부터 차량 내 컴퓨팅 장치(1120)로 송신된다. 또한, 캡처된 이미지는 카메라(1162)로부터 차량 내 컴퓨팅 장치(1120)로 송신된다. 라이다 정보 및/또는 캡처된 이미지는 차량 내 컴퓨팅 장치(1120)에 의해 처리되어 차량 근처의 객체를 감지한다. 차량 내 컴퓨팅 장치(1120)에 의해 수행되는 객체 감지 방식에는 본 명세서에 상세히 기술된 기능들이 포함된다.

또한, 시스템 아키텍처(1100)는 차량의 탑승자에게 센서 데이터, 차량 상태 정보 또는 본 명세서에 설명된 프로세스에 의해 생성된 출력을 표시하는 인터페이스를 생성 및 출력할 수 있는 온보드 디스플레이 장치(1154)를 포함할 수 있다. 디스플레이 장치는 이러한 정보를 오디오 형식으로 제공하는 오디오 스피커를 포함하거나, 별도의 장치가 될 수 있다.

차량 내 컴퓨팅 장치(1120)는 자율 주행 차량의 출발 위치에서 목적지 위치까지의 내비게이션 경로를 생성하는 라우팅 제어기(1132)를 포함하거나, 이에 통신 가능하게 연결될 수 있다. 라우팅 제어기(1132)는 지도 데이터 저장소에 접근하여 차량이 출발 위치에서 목적지 위치까지 이동할 수 있는 가능한 경로 및 도로 구간들을 식별할 수 있다. 라우팅 제어기(1132)는 가능한 경로들에 점수를 부여하고 목적지에 도달하기 위한 선호 경로를 식별할 수 있다. 예를 들어, 라우팅 제어기(1132)는 유클리드 거리의 최소화 또는 경로상의 기타 비용 함수 최소화를 기반으로 내비게이션 경로를 생성할 수 있으며, 특정 경로를 주행하는 데 걸리는 시간에 영향을 미칠 수 있는 교통 정보 및/또는 추정 정보에 접근할 수 있다. 구현예에 따라, 라우팅 제어기(1132)는 다익스트라 알고리즘(Dijkstra's algorithm), 벨만-포드 알고리즘(Bellman-Ford algorithm) 또는 기타 알고리즘과 같은 다양한 라우팅 방법을 사용하여 하나 이상의 경로를 생성할 수 있다. 라우팅 제어기(1132)는 또한 교통 정보를 이용하여 해당 경로의 예상 조건(예: 현재 요일 또는 시간대 등)을 반영한 내비게이션 경로를 생성할 수 있으며, 이로 인해 출퇴근 시간대의 경로는 심야 시간대의 경로와 다를 수 있다. 라우팅 제어기(1132)는 또한 목적지까지의 하나 이상의 내비게이션 경로를 생성할 수 있으며, 다양한 가능한 경로 중 사용자 선택을 위해 둘 이상의 경로를 사용자에게 송신할 수 있다.

다양한 실시예에서, 차량 내 컴퓨팅 장치(1120)는 AV 주변 환경에 대한 인지(perception) 정보를 결정할 수 있다. 하나 이상의 센서에 의해 제공된 센서 데이터 및 획득된 위치 정보를 기반으로, 차량 내 컴퓨팅 장치(1120)는 AV의 주변 환경에 대한 인지 정보를 결정할 수 있다. 인지 정보는 일반 운전자가 차량 주변 환경에서 인지할 수 있는 것을 나타낼 수 있다. 인지 데이터는 AV의 주변 환경 내 하나 이상의 객체에 관련된 정보를 포함할 수 있다. 예를 들어, 차량 내 컴퓨팅 장치(1120)는 센서 데이터(예: 라이다 또는 레이더 데이터, 카메라 이미지 등)를 처리하여 AV 환경 내 객체 및/또는 특징을 식별할 수 있다. 객체는 교통 신호, 도로 경계, 다른 차량, 보행자, 장애물 등을 포함할 수 있다. 차량 내 컴퓨팅 장치(1120)는 인지를 결정하기 위해 현재 또는 향후에 알려질 수 있는 객체 인식 알고리즘, 영상 추적 알고리즘 및 컴퓨터 비전 알고리즘(예: 수 많은 시간 구간에 걸쳐 객체를 프레임 간 반복적으로 추적)을 사용할 수 있다.

일부 실시예에서, 차량 내 컴퓨팅 장치(1120)는 환경 내 식별된 하나 이상의 객체에 대해 객체의 현재 상태를 결정할 수도 있다. 상태 정보는 제한 없이 각 객체에 대해 다음을 포함할 수 있다: 현재 위치, 현재 속도 및/또는 가속도, 현재 방향, 현재 자세, 현재 형태, 크기 또는 점유 영역, 유형(예: 차량, 보행자, 자전거, 정지된 객체 또는 장애물), 및/또는 기타 상태 정보.

차량 내 컴퓨팅 장치(1120)는 하나 이상의 예측 및/또는 예보 작업을 수행할 수 있다. 예를 들어, 차량 내 컴퓨팅 장치(1120)는 하나 이상의 객체의 미래 위치, 궤적 및/또는 동작을 예측할 수 있다. 예를 들어, 차량 내 컴퓨팅 장치(1120)는 인지 정보(예: 아래에 설명된 바와 같이 추정된 형태 및 자세를 포함하는 각 객체의 상태 데이터), 위치 정보, 센서 데이터, 그리고/또는 객체, AV, 주변 환경 및/또는 이들 간의 관계에 대한 과거 및/또는 현재 상태를 설명하는 기타 데이터를 적어도 부분적으로 기반으로 하여 객체의 미래 위치, 궤적 및/또는 동작을 예측할 수 있다. 예를 들어, 객체가 차량이고 현재 주행 환경에 교차로가 포함되는 경우, 차량 내 컴퓨팅 장치(1120)는 해당 객체가 직진할 가능성이 있는지 또는 회전할 가능성이 있는지를 예측할 수 있다. 인지 데이터가 해당 교차로에 교통 신호가 없음을 나타내는 경우, 차량 내 컴퓨팅 장치(1120)는 해당 차량이 교차로 진입 전에 완전히 정지해야 할 가능성도 예측할 수 있다.

다양한 실시예에서, 차량 내 컴퓨팅 장치(1120)는 자율 주행 차량을 위한 주행 계획(motion plan)을 결정할 수 있다. 예를 들어, 차량 내 컴퓨팅 장치(1120)는 인지 데이터 및/또는 예측 데이터를 기반으로 자율 주행 차량의 주행 계획을 결정할 수 있다. 구체적으로, 인접 객체들의 미래 위치에 대한 예측 및 기타 인지 데이터를 바탕으로, 차량 내 컴퓨팅 장치(1120)는 해당 미래 위치에 있는 객체들을 고려하여 자율 주행 차량을 최적으로 주행시키는 주행 계획을 결정할 수 있다.

일부 실시예에서, 차량 내 컴퓨팅 장치(1120)는 예측 정보를 수신하고 AV의 환경 내 객체 및/또는 행위자에 대해 어떻게 처리할지를 결정할 수 있다. 예를 들어, 특정 행위자(예: 특정 속도, 방향, 회전 각도를 가진 차량)에 대해 차량 내 컴퓨팅 장치(1120)는 교통 상황, 지도 데이터, 자율 주행 차량의 상태 등을 기준으로 추월할지, 양보할지, 정지할지, 그리고/또는 통과할지를 결정한다. 또한, 차량 내 컴퓨팅 장치(1120)는 AV가 주어진 경로를 따라 주행할 수 있도록 경로뿐만 아니라 주행 매개변수(예: 거리, 속도, 그리고/또는 회전 각도 등)를 계획한다. 즉, 주어진 객체에 대해 차량 내 컴퓨팅 장치(1120)는 해당 객체에 대해 무엇을 할지를 결정하고, 그것을 어떻게 실행할지를 결정한다. 예를 들어, 주어진 객체에 대해 차량 내 컴퓨팅 장치(1120)는 해당 객체를 통과하기로 결정할 수 있으며, 객체의 왼쪽 측면 또는 오른쪽 측면 중 어느 쪽으로 통과할지를 결정할 수 있다(속도와 같은 이동 매개변수가 포함됨). 차량 내 컴퓨팅 장치(1120)는 또한 감지된 객체와 AV 간의 충돌 위험을 평가할 수 있다. 충돌 위험이 허용 가능한 임계값을 초과하는 경우, 자율 주행 차량이 정의된 차량 궤적을 따르거나 사전 정의된 시간 내(예: N 밀리초)에 하나 이상의 동적으로 생성된 긴급 회피 기동을 수행하는 경우 충돌을 회피할 수 있는지를 판단할 수 있다. 충돌을 회피할 수 있는 경우, 차량 내 컴퓨팅 장치(1120)는 조심스러운 회피 기동(예: 속도 완만 감소, 가속, 차선 변경 또는 급선회)을 수행하기 위한 하나 이상의 제어 명령을 실행할 수 있다. 반대로, 충돌을 피할 수 없는 경우, 차량 내 컴퓨팅 장치(1120)는 긴급 기동(예: 제동 및/또는 주행 방향 변경)을 수행하기 위한 하나 이상의 제어 명령을 실행할 수 있다.

상기에서 설명한 바와 같이, 자율 주행 차량의 움직임에 대한 계획 및 제어 데이터는 실행을 위해 생성된다. 차량 내 컴퓨팅 장치(1120)는 예를 들어 브레이크 제어기를 통한 제동, 조향 제어기를 통한 방향 제어, 가솔린 차량의 경우 스로틀 제어기를 통한 속도 및 가속 제어, 전기차의 경우 전류 레벨 제어기와 같은 모터 속도 제어기를 통한 속도 및 가속 제어, 변속기가 있는 차량의 경우 차동 기어 제어기, 그리고/또는 기타 제어기를 제어할 수 있다.

도 28은 본 발명의 솔루션에 따라 AV의 동작 또는 움직임이 어떻게 달성되는지를 이해하는 데 유용한 블록 다이어그램을 제공한다. 블록(1202-1212)에서 수행되는 모든 동작은 차량(예: 도 26의 AV(1002))의 온보드 컴퓨팅 장치(예: 도 26의 온보드 컴퓨팅 장치(1022) 및/또는 도 27의 (1120))에 의해 수행될 수 있다.

블록(1202)에서는 AV(예: 도 26의 AV (1002))의 위치가 감지된다. 이 감지는 AV의 위치 센서(예: 도 27의 위치 센서(1160))로부터 출력된 센서 데이터를 기반으로 수행될 수 있다. 이 센서 데이터는 GPS 데이터 등을 포함하되 이에 한정되지 않는다. 감지된 AV의 위치는 블록(1206)으로 전달된다.

블록(1204)에서는 AV(예: 도 26의 (1002)) 근처(예: 100미터 미만)에서 객체(예: 도 26의 차량(1003))가 감지된다. 이 감지는 AV의 카메라(예: 도 27의 카메라(1162)) 및/또는 라이다 시스템(예: 도 27의 라이다 시스템(1164))로부터 출력된 센서 데이터(1216)를 기반으로 수행된다. 예를 들어, 특정 클래스의 객체(예: 차량, 자전거 이용자 또는 보행자)의 인스턴스를 이미지에서 감지하기 위해 영상 처리가 수행된다. 이 영상 처리/객체 감지는 현재 또는 향후에 알려질 수 있는 영상 처리/객체 감지 알고리즘에 따라 수행될 수 있다. 라이다 센서 데이터는 방법(500, 600, 650 및 900)에서 설명된 방법에 따라 생성된 슈퍼픽셀 등을 포함하되 이에 한정되지 않는다.

또한, 블록(1204)에서는 객체에 대한 예측 궤적이 결정된다. 블록(1204)에서는 객체의 클래스, 입방체 기하(geometry)(들), 입방체 방향(heading)(들) 및/또는 지도(1218)의 내용(예: 보도 위치, 차선 위치, 차선 주행 방향, 주행 규칙 등)을 기반으로 객체의 궤적이 예측된다. 입방체 기하(들) 및 방향(들)이 어떻게 결정되는지는 이후의 설명에서 명확해질 것이다. 이 시점에서, 입방체 기하(들) 및/또는 방향(들)은 다양한 유형의 센서 데이터(예: 2D 이미지, 3D 라이다 포인트 클라우드) 및 벡터 지도(1218)(예: 차선 기하)를 사용하여 결정된다는 점을 주목해야 한다. 입방체 기하 및 방향을 기반으로 객체 궤적을 예측하는 기술은 예를 들어 객체가 입방체의 방향과 동일한 방향으로 직선 경로를 따라 이동한다고 예측하는 것을 포함할 수 있다. 예측된 객체 궤적은 다음의 궤적들을 포함하되 이에 한정되지 않는다: 객체의 실제 속도(예: 시속 1마일) 및 실제 주행 방향(예: 서쪽)에 의해 정의되는 궤적; 객체의 실제 속도(예: 시간당 1마일)와 다른 가능한 이동 방향(예: 남, 남서 또는 객체의 실제 이동 방향에서 AV 방향으로 X(예: 40°)도)으로 정의된 궤적; 객체의 다른 가능한 속도(예: 시간당 2-10마일)와 객체의 실제 이동 방향(예: 서쪽)으로 정의된 궤적; 및/또는 객체의 다른 가능한 속도(예: 시간당 2-10마일)와 다른 가능한 이동 방향(예: 남, 남서 또는 객체의 실제 이동 방향에서 AV 방향으로 X(예: 40°)도)으로 정의된 궤적. 가능한 속도 및/또는 가능한 주행 방향은 객체와 동일한 클래스 및/또는 서브클래스에 대한 사전 정의된 값일 수 있다. 다시 한번 주목할 점은, 입방체는 객체의 전체 범위와 방향을 정의한다는 것이다. 방향은 객체의 전방이 향하는 방향을 정의하며, 따라서 객체의 실제 및/또는 가능한 주행 방향에 대한 정보를 제공한다.

객체의 예측된 궤적, 입방체 기하(들)/방향(들)을 지정하는 정보(1220)는 블록(1206)으로 제공된다. 일부 시나리오에서는 객체의 분류(classification)도 블록(1206)으로 전달된다. 블록(1206)에서는 블록(1202) 및 (1204)로부터의 정보를 사용하여 차량 궤적이 생성된다. 입방체를 사용하여 차량 궤적을 결정하는 기술은 예를 들어 다음의 조건이 만족될 때 AV가 객체를 통과할 수 있는 궤적을 결정하는 것을 포함할 수 있다: 객체가 AV 앞에 위치하고, 입방체의 방향이 AV의 주행 방향과 정렬되어 있으며, 입방체의 길이가 임계값보다 큰 경우. 본 발명의 솔루션은 이러한 특정 시나리오에 한정되지 않는다. 차량 궤적(1208)은 블록(1202)로부터의 위치 정보, 블록(1204)로부터의 객체 감지 정보, 그리고/또는 차량의 데이터 저장소에 사전 저장된 지도 정보(1214)를 기반으로 결정될 수 있다.

지도 정보(1214)는 도 26의 도로 지도(1060)의 전체 또는 일부를 포함하되 이에 한정되지 않는다. 차량 궤적(1208)은 승객의 불편을 초래할 수 있는 급격한 변화가 없는 부드러운 경로를 나타낼 수 있다. 예를 들어, 차량 궤적은 객체가 주어진 시간 내에 주행하지 않을 것으로 예측되는 도로의 특정 차선을 따라 주행하는 경로로 정의된다. 차량 궤적(1208)은 이후 블록(1210)으로 제공된다.

블록(1210)에서는 차량 궤적(1208)을 기반으로 조향각 및 속도 명령이 생성된다. 조향각 및 속도 명령은 차량 동역학 제어를 위해 블록(1210)으로 제공되며, 즉, 조향각 및 속도 명령은 AV가 차량 궤적(1208)을 따르도록 한다.

다양한 실시예는 예를 들어 도 29에 도시된 컴퓨터 시스템(1300)과 같은 하나 이상의 컴퓨터 시스템을 사용하여 구현될 수 있다. 컴퓨터 시스템(1300)은 본 명세서에서 설명된 기능을 수행할 수 있는 임의의 컴퓨터일 수 있다.

도 29에 도시된 바와 같이, 컴퓨터 시스템(1300)은 본 명세서에서 설명된 기능을 수행할 수 있는 임의의 컴퓨터일 수 있다. 컴퓨터 시스템(1300)은 또한 사용자 입출력 인터페이스(1302) 및 버튼, 모니터, 키보드, 포인팅 장치 등의 사용자 입출력 장치(1303)를 포함한다.

컴퓨터 시스템(1300)은 하나 이상의 프로세서(중앙처리장치 또는 CPU라고도 함)를 포함하며, 예를 들어 프로세서(1304)를 포함한다. 프로세서(1304)는 통신 인프라 또는 버스(1306)에 연결되어 있다. 프로세서(1304)는 수학적으로 복잡한 애플리케이션을 처리하기 위해 설계된 병렬 구조의 전문 전자 회로인 그래픽 처리 장치(GPU)일 수 있으며, 이는 컴퓨터 그래픽 애플리케이션, 이미지, 비디오 등에 공통적인 수학적으로 복잡한 데이터를 병렬로 처리하기 위한 것이다.

컴퓨터 시스템(1300)은 또한 메인 메모리(1308)(예: 캐시가 포함된 하나 이상의 수준과 제어 로직(즉, 컴퓨터 소프트웨어) 및/또는 데이터를 저장하는 랜덤 액세스 메모리(RAM))를 포함한다. 컴퓨터 시스템(1300)은 또한 하나 이상의 보조 저장 장치 또는 보조 메모리(1310)(예: 하드 디스크 드라이브(1312)) 및/또는 이동식 저장 장치(1314)(이동식 저장 유닛(1318)과 상호작용할 수 있음)를 포함할 수 있다. 이동식 저장 장치(1314) 및 이동식 저장 유닛(1318)은 플로피 디스크 드라이브, 자기 테이프 드라이브, 콤팩트 디스크 드라이브, 광 저장 장치, 테이프 백업 장치 및/또는 기타 저장 장치/드라이브일 수 있다.

보조 메모리(1310)는 컴퓨터 시스템(1300)이 컴퓨터 프로그램 및/또는 기타 명령 및/또는 데이터에 접근할 수 있도록 하는 다른 수단, 장치 또는 접근 방법을 포함할 수 있다. 예를 들어, 인터페이스(1320) 및 이동식 저장 유닛(1322)(예: 프로그램 카트리지 및 카트리지 인터페이스(비디오 게임 장치에서 발견되는 것과 같은), 이동식 메모리 칩(EPROM 또는 PROM 등) 및 관련 소켓, 메모리 스틱 및 USB 포트, 메모리 카드 및 관련 메모리 카드 슬롯, 그리고/또는 기타 이동식 저장 유닛 및 관련 인터페이스)을 포함할 수 있다.

컴퓨터 시스템(1300)은 또한 네트워크 또는 통신 인터페이스(1324)를 포함하여, 원격 장치, 원격 네트워크, 원격 엔터티 등의 임의의 조합(개별적으로 또는 집합적으로 참조 번호(1328)로 참조됨)과 통신하고 상호작용할 수 있다. 예를 들어, 통신 인터페이스(1324)는 컴퓨터 시스템(1300)이 유선 및/또는 무선일 수 있는 통신 경로(1326)를 통해 원격 장치(1328)와 통신할 수 있도록 한다. 이 통신 경로(1326)는 LAN, WAN, 인터넷 등의 임의의 조합을 포함할 수 있다. 제어 로직 및/또는 데이터는 통신 경로(1326)를 통해 컴퓨터 시스템(1300)으로 송신 및 컴퓨터 시스템(1300)으로부터 송신될 수 있다.

일 실시예에서, 물리적이고 비일시적인 장치 또는 제조물품으로서, 제어 로직(소프트웨어)이 저장된 물리적이고 비일시적인 컴퓨터 사용 가능 또는 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품 또는 프로그램 저장 장치로도 본 명세서에서 지칭된다. 여기에는 컴퓨터 시스템(1300), 메인 메모리(1308), 보조 메모리(1310), 이동식 저장 유닛(1318 및 1322)뿐만 아니라, 이들의 조합을 구현한 물리적 제조물품이 포함되되 이에 한정되지 않는다. 이러한 제어 로직은 하나 이상의 데이터 처리 장치(예: 컴퓨터 시스템(1300))에 의해 실행될 때, 해당 데이터 처리 장치를 본 명세서에 설명된 대로 동작하게 한다.

본 명세서의 교시에 기반하여, 관련 기술 분야의 숙련자라면 도 29에 도시된 것과는 다른 데이터 처리 장치, 컴퓨터 시스템 및/또는 컴퓨터 아키텍처를 사용하여 본 명세서의 실시예를 제조하고 사용하는 방법을 명확히 이해할 수 있을 것이다. 특히, 실시예는 본 명세서에 설명된 것과는 다른 소프트웨어, 하드웨어 및/또는 운영 체제 구현과 함께 동작할 수 있다.

본 명세서에 관련된 용어에는 다음이 포함된다:

용어"전자 장치" 또는 "컴퓨팅 장치"는 프로세서와 메모리를 포함하는 장치를 지칭한다. 각 장치는 자체적인 프로세서 및/또는 메모리를 가질 수 있으며, 또는 가상 머신 또는 컨테이너 구성과 같이 프로세서 및/또는 메모리가 다른 장치와 공유될 수 있다. 해당 메모리는 프로그래밍 명령을 포함하거나 수신하게 되며, 이러한 명령이 프로세서에 의해 실행될 때, 전자 장치는 해당 프로그래밍 명령어에 따라 하나 이상의 동작을 수행하게 된다.

용어 "메모리(memory)", "메모리 장치(memory device)", "데이터 저장소(data store)", "데이터 저장 설비(data storage facility)" 등은 컴퓨터 판독 가능한 데이터, 프로그래밍 명령 또는 이 둘 모두가 저장되는 비일시적(non-transitory) 장치를 지칭한다. 명시적으로 달리 언급된 경우를 제외하고, 용어 "메모리", "메모리 장치", "데이터 저장소", "데이터 저장 설비" 등은 단일 장치로 구성된 실시예, 복수의 메모리 장치들이 함께 또는 공동으로 하나의 데이터 또는 명령 집합을 저장하는 실시예, 그리고 그러한 장치 내의 개별 섹터들을 포함하는 것으로 의도된다. 컴퓨터 프로그램 제품은 프로그래밍 명령이 저장된 메모리 장치이다.

용어 "프로세서(processor)" 및 "처리 장치(processing device)"는 프로그래밍 명령을 실행하도록 구성된 전자 장치의 하드웨어 구성요소를 지칭한다. 명시적으로 달리 언급된 경우를 제외하고, 단수형 용어 "프로세서" 또는 "처리 장치"는 단일 처리 장치로 구성된 실시예뿐만 아니라, 하나의 장치의 구성요소이거나 별도의 장치의 구성요소일 수 있는 복수의 처리 장치들이 함께 또는 공동으로 프로세스를 수행하는 실시예를 포함하는 것으로 의도된다.

용어 "객체, 물체(object)"는 차량 인지 시스템에 의해 감지되거나 시뮬레이션 시스템에 의해 시뮬레이션되는 객체를 지칭할 때, 명시적으로 "행위자(actor)" 또는 "정지 객체(stationary object)"라는 용어가 사용된 경우를 제외하고, 정지된 객체와 움직이거나 움직일 가능성이 있는 행위자 모두를 포함하는 것으로 의도된다.

자율 주행 차량의 움직임 계획(motion planning)과 관련된 맥락에서 사용될 때, 용어 "궤적(trajectory)"은 차량의 움직임 계획 시스템이 생성하고, 차량의 움직임 제어 시스템이 차량의 움직임을 제어할 때 따르게 될 계획을 의미한다. 궤적은 시간 지평선 상의 여러 시점에서의 차량의 계획된 위치와 자세뿐만 아니라, 동일한 시간 지평선 상에서의 차량의 계획된 조향각과 조향각 변화율을 포함한다. 자율 주행 차량의 움직임 제어 시스템은 이 궤적을 활용하여 차량의 조향 제어기, 브레이크 제어기, 스로틀 제어기 및/또는 기타 움직임 제어 하위 시스템에 명령을 송신하여, 차량이 계획된 경로를 따라 움직이도록 한다.

차량의 인지 시스템 또는 예측 시스템이 생성할 수 있는 행위자의 "궤적"은 시간 지평선에 걸쳐 해당 행위자가 따를 것으로 예측되는 경로와, 해당 경로의 여러 지점에서의 예측된 행위자의 속도 및/또는 위치를 지칭한다.

본 명세서에서는 "거리(street)", "차선(lane)", "도로(road)", "교차로(intersection)"라는 용어들이 하나 이상의 도로에서 주행하는 차량을 예시로 하여 설명되지만, 실시예는 주차장 등의 다른 위치에 있는 차선 및 교차로도 포함하는 것으로 의도된다. 또한, 창고 내 자동 픽업 장치와 같이 실내에서 사용되도록 설계된 자율 주행 차량의 경우, "도로"는 창고의 복도를 의미할 수 있고, "차선"은 복도의 일부분을 의미할 수 있다. 자율 주행 차량이 드론 또는 기타 항공기인 경우, "도로" 또는 "차선"은 항공로 또는 그 일부를 의미할 수 있다. 자율 주행 차량이 선박인 경우, "도로" 또는 "차선"은 수로 또는 그 일부를 의미할 수 있다.

본 명세서에서 "제1(first)" 및 "제2(second)"와 같은 용어가 명사를 수식할 때, 그러한 사용은 단지 하나의 항목을 다른 항목과 구별하기 위한 것이며, 특별히 명시되지 않는 한 순차적 순서를 요구하는 것은 아니다. 또한, "수직(vertical)" 및 "수평(horizontal)", "전방(front)" 및 "후방(rear)" 등의 상대적 위치를 나타내는 용어는 서로에 대한 상대적인 관계를 나타내기 위한 것이며 절대적인 의미일 필요는 없으며, 해당 용어들과 관련된 장치의 방향에 따라 가능한 하나의 위치만을 지칭한다.

명세서의 다른 부분이 아닌, 상세한 설명(Detailed Description) 부분이 청구항을 해석하는 데 사용되도록 의도되었음을 인지해야 한다. 다른 섹션들은 발명자들이 고려한 하나 이상의 예시적인 실시예를 제시할 수 있지만, 본 발명 또는 첨부된 청구항을 어떤 방식으로든 제한하려는 의도는 아니다.

본 명세서는 예시적인 분야 및 적용 예에 대한 실시예들을 설명하고 있지만, 본 명세서는 공개된 예에 국한되지 않는다는 점을 이해해야 한다. 다른 실시예 및 그에 대한 변형이 가능하며, 본 발명의 사상 및 범위에 포함된다. 예를 들어, 이 문단의 일반성을 제한하지 않고, 실시예는 본 개시에서 도시되거나 설명된 소프트웨어, 하드웨어, 펌웨어 및/또는 구성 요소에 한정되지 않는다. 또한, (명시적으로 설명되지 않았더라도) 실시예는 본 명세서에서 설명된 예시를 넘어서는 분야 및 응용에서도 유의미한 활용 가능성을 가진다.

본 명세서에서는 특정 기능 및 관계의 구현을 설명하기 위하여 기능적 구성 블록을 이용한 실시예들이 설명되었다. 이러한 기능적 구성 블록의 경계는 설명의 편의를 위해 본 명세서에서 임의로 정의되었다. 지정된 기능 및 관계(또는 그에 상응하는 기능 및 관계)가 적절하게 수행되는 한, 대체적인 경계를 정의할 수 있다.

또한, 대체 실시예들은 본 명세서에서 설명된 순서와는 다른 순서로 기능 블록, 단계, 동작, 방법 등을 수행할 수 있다. 본 명세서에서 개시된 서로 다른 실시예의 특징들은 자유롭게 결합될 수 있다. 예를 들어, 방법 실시예의 하나 이상의 특징은 시스템 또는 제품 실시예 중 임의의 것과 결합될 수 있다. 유사하게, 시스템 또는 제품 실시예의 특징은 본 명세서에서 개시된 임의의 방법 실시예와 결합될 수 있다.

본 명세서에서 "하나의 실시예(one embodiment)", "일 실시예(an embodiment)", "예시적인 실시예(an example embodiment)" 또는 이와 유사한 문구는, 설명된 실시예가 특정한 특징, 구조 또는 특성을 포함할 수 있음을 나타내지만, 모든 실시예가 반드시 그 특정한 특징, 구조 또는 특성을 포함하는 것은 아님을 나타낸다. 또한, 이러한 문구들은 반드시 동일한 실시예를 지칭하는 것은 아니다. 더 나아가, 특정한 특징, 구조 또는 특성이 하나의 실시예와 관련하여 설명되는 경우, 관련 기술 분야의 통상의 기술자는 본 명세서에서 명시적으로 언급되거나 설명되지 않았더라도 그러한 특징, 구조 또는 특성을 다른 실시예에 포함시킬 수 있음을 이해할 수 있다. 또한, 일부 실시예는 "결합(coupled)" 및 "연결됨(connected)"이라는 표현과 그 파생어를 사용하여 설명될 수 있다. 이러한 용어들은 반드시 서로 동의어로 사용되는 것은 아니다. 예를 들어, 일부 실시예는 두 개 이상의 요소가 서로 직접적인 물리적 또는 전기적 접촉 상태에 있음을 나타내기 위하여 "연결됨" 및/또는 "결합됨"이라는 용어를 사용할 수 있다. 그러나 "결합됨"이라는 용어는 두 개 이상의 요소가 서로 직접적인 접촉 상태에 있지 않더라도 서로 협력하거나 상호 작용함을 의미할 수 있다. 본 명세서에서 개시된 서로 다른 실시예의 특징들은 자유롭게 결합될 수 있다. 예를 들어, 방법 실시예의 하나 이상의 특징은 시스템 또는 제품 실시예 중 임의의 것과 결합될 수 있다. 유사하게, 시스템 또는 제품 실시예의 특징은 본 명세서에서 개시된 임의의 방법 실시예와 결합될 수 있다.

Claims

LiDAR 시스템으로서,
차량으로부터 송신 축을 따라 광 펄스를 송신하여 Tx FoV (transmission field-of-view)를 형성하도록 구성된 일련의 송신기;
수신 축을 따라 Rx FoV (reception field-of-view) 내의 물체에 반사되는 상기 광 펄스의 적어도 일부를 수신하도록 구성된 적어도 하나의 검출기; 및
횡축을 따라 이동하기 위해 장착되고, 상기 Rx FoV를 조정하지 않으면서 상기 Tx FoV를 조정하기 위해 상기 수신 축과 교차하지 않으며 각각의 상기 전송 축과 교차하도록 구성된 송신 광학 장치를 포함하는,
LiDAR 시스템.
제1항에 있어서,
상기 Tx FoV 및 상기 Rx FoV는 겹치고, 상기 조정된 Tx FoV는 상기 Tx FoV의 영역 내에 위치하는,
LiDAR 시스템.
제1항에 있어서,
상기 일련의 방출기에 인접하게 장착되고, 집합적으로 송신 빔을 형성하기 위해 각 송신 축을 따라 상기 광 펄스를 집속시키고 유도하도록 구성되는 시준기(collimator)를 더 포함하는,
LiDAR 시스템.
제3항에 있어서,
상기 송신 광학 장치는 상기 시준기에 인접하게 배열되며, 상기 조정된 Tx FoV를 형성하기 위해 상기 송신 빔을 상기 Tx FoV의 영역에 집중시키도록 구성되는,
LiDAR 시스템.
제4항에 있어서,
상기 송신 광학 장치는 원통형 렌즈를 포함하는,
LiDAR 시스템.
제1항에 있어서,
상기 일련의 방출기는 상기 횡축과 평행하게 배열되는 방출기의 선형 배열을 포함하고, 상기 방출기의 선형 배열은 근위 방출기와 상기 근위 방출기의 반대편에 배열된 원위 방출기를 포함하는,
LiDAR 시스템.
제6항에 있어서,
상기 송신 광학 장치에 연결되고, 정지 위치 - 상기 광학 장치는 상기 방출기의 선형 배열의 어떠한 송신 축과 교차하지 않음 - 및 상기 원위 방출기의 상기 송신 축과 교차하기 위한 원위 위치 사이의 범위를 통해 상기 송신 광학 장치를 이동시키도록 구성되는 액추에이터를 더 포함하는,
LiDAR 시스템.
제1항에 있어서,
상기 횡축을 따라 상기 송신 광학 장치를 이동시키도록 구성되는 컨트롤러를 더 포함하고,
상기 컨트롤러는,
상기 수신된 광 펄스로부터, 상기 물체가 알려지지 않은 물체인지 결정하고; 그리고,
상기 송신 광학 장치를 통해서 광 펄스가 송신되는 동안 근위 위치와 원위 위치 사이의 상기 횡축을 따라서 상기 송신 광학 장치를 이동시키도록 추가로 구성되는,
LiDAR 시스템.
제9항에 있어서,
상기 컨트롤러는,
상기 송신 광학 장치를 이동시키는 동안 상기 알려지지 않은 물체에서 반사되는 상기 광 펄스를 나타내는 스위프 데이터를 수신하고;
상기 스위프 데이터에 기초하여 상기 알려지지 않은 물체의 위치를 결정하고; 그리고
상기 조정된 Tx FoV를 상기 알려지지 않은 물체의 상기 위치와 정렬되도록 상기 송신 광학 장치를 상기 횡축을 따라 위치로 이동시키도록 추가로 구성되는,
LiDAR 시스템.
LiDAR 시스템으로서,
프로세서;
상기 프로세서가 LiDAR 시스템을 작동하기 위한 방법을 구현하도록 구성된 프로그래밍 명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체를 포함하고,
상기 프로그래밍 명령어는,
광검출기로부터 상기 광검출기가 타겟 파장에서 또는 근처에서 광자를 검출하는 시간을 나타내는 시간을 결과 값으로 수신하고;
슈퍼 픽셀을 생성하기 위해 상기 결과 값의 다른 집합을 결합하고;
제1 시공간적 코히어런스 메트릭(coherence metric)을 획득하기 위해 상기 슈퍼 픽셀을 사용하고;
상기 제1 시공간적 코히어런스 메트릭에 기초하여 광 펄스의 하위집합 또는 결과 값의 그룹을 선택하고; 그리고
상기 선택된 광 펄스의 하위집합 또는 상기 선택된 결과 값의 그룹에 기초하여 상기 LiDAR 시스템 및 상기 물체 사이의 거리를 검출하는 명령어를 포함하는,
LiDAR 시스템.
제10항에 있어서,
상기 제1 시공간적 코히어런스 메트릭은 상기 복수의 광검출기에 의한 두 개의 펄스 또는 두 개의 펄스의 그룹의 검출 사이의 분포의 변화를 각각 지정하는 메트릭을 포함하고, 상기 광 펄스의 하위집합 또는 상기 결과 값의 그룹은 상기 메트릭 중 가장 큰 값에 기초하여 선택되는,
LIDAR 시스템.
제10항에 있어서,
상기 제1 시공간적 코히어런스 메트릭은, 각 펄스에 대해서, 가장 낮은 값에서 가장 높은 값 또는 가장 낮은 값에서 가장 높은 값으로 분류된 연속적인 타임스탬프 사이의 차이의 측정된 분산을 포함하고, 선택된 상기 광 펄스의 하위집합 또는 상기 결과 값의 그룹은 상대적으로 낮은 측정된 분산과 연관된 광 펄스 또는 결과 값을 포함하는,
LiDAR 시스템.
제10항에 있어서,
상기 제1 시공간적 코히어런스 메트릭은 물체 검출의 신뢰도 또는 유효성을 나타내는 광 신호의 각 펄스에 대한 점수를 포함하고, 상기 펄스는 상기 점수가 값을 초과하면 상기 하위집합에 포함되도록 선택되는,
LiDAR 시스템.
LiDAR 시스템으로서,
프로세서;
상기 프로세서가 LiDAR 시스템을 작동하기 위한 방법을 구현하도록 구성된 프로그래밍 명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체를 포함하고,
상기 프로그래밍 명령어는,
그리드에 복수의 픽셀 - 상기 복수의 픽셀은 상기 LiDAR 시스템의 광검출기에 의해 생성된 처리 파형에서 생성되는 결과 값을 포함함 - 을 배열하고;
상기 복수의 픽셀과 연관된 범위 값들 사이의 상관 관계와 상기 복수의 픽셀과 연관된 강도 값들 사이의 상관 관계 중 적어도 하나에 기초하여 제1 관심 영역을 식별하고;
적어도 하나의 제1 특징 값을 생성하기 위해 상기 제1 관심 영역 내에 위치한 픽셀에 연관된 결과 값을 결합하고; 그리고
상기 적어도 하나의 제1 특징 값으로 설정된 값을 가지는 제1 슈퍼 픽셀을 생성하는 명령어를 포함하는,
LiDAR 시스템.
제14항에 있어서,
상기 프로그래밍 명령어는 커널 사이즈를 획득하고, 상기 그리드의 상기 관심 지역을 식별하기 위해 상기 커널 사이즈를 사용하는 명령어를 더 포함하는,
LiDAR 시스템.
제15항에 있어서,
상기 커널 사이즈는,
적어도 범위의 측면에서 상기 그리드의 관심 픽셀에 가장 가까운 이웃인 상기 복수의 픽셀 중 적어도 하나의 위치를 찾고; 그리고
상기 그리드 내의 상기 가장 가까운 이웃의 위치에 기초하여 상기 커널 사이즈를 정의함으로써 획득되는,
LiDAR 시스템.
제15항에 있어서,
상기 커널 사이즈는,
기준 커널 사이즈를 획득하고;
상기 기준 커널 사이즈를 사용하여 상기 그리드 내 영역을 식별하고;
상기 영역의 중심 픽셀을 식별하고;
상기 영역의 각 픽셀에 대한 점수 - 상기 점수는 상기 픽셀과 연관된 결과 값과 상기 중심 픽셀 사이의 상관 관계의 정도를 나타냄 - 를 그와 연관된 상기 결과 값을 사용하여 계산하고;
상기 점수에 기초하여 상기 복수의 픽셀으로부터 픽셀을 선택하고; 그리고
상기 그리드 내의 상기 선택된 픽셀의 위치에 기초하여 상기 커널 사이즈를 정의함으로써 획득되는,
LiDAR 시스템.
LiDAR 시스템을 작동하기 위한 방법에 있어서,
프로세서에 의해, 복수의 광검출기로부터 상기 복수의 광검출기가 타겟 파장에서 또는 근처에서 광자를 검출하는 시간을 나타내는 시간을 결과 값 - 상기 결과 값은 상기 LiDAR 시스템 외부의 물체에서 반사된 광 신호와 연관된 측정을 용이하게 하기 위해 상기 복수의 광검출기 각각에 의해 수행되는 동작에 기초함- 으로 수신하는 단계;
상기 프로세서에 의해, 슈퍼 픽셀을 생성하기 위해 상기 결과 값의 다른 집합을 결합하는 단계;
상기 프로세서에 의해, 제1 시공간적 코히어런스 메트릭을 획득하기 위해 상기 슈퍼 픽셀을 사용하는 단계;
상기 제1 시공간적 코히어런스 메트릭에 기초하여 광 펄스의 하위집합 또는 결과 값의 그룹을 선택하는 단계; 및
상기 프로세서에 의해, 상기 선택된 광 펄스의 하위집합 또는 상기 선택된 결과 값의 그룹에 기초하여 상기 LiDAR 시스템 및 상기 물체 사이의 거리를 검출하는 단계를 포함하는,
방법.
제18항에 있어서,
상기 제1 시공간적 코히어런스 메트릭은 분포 비교 메트릭, 비행 시간(time-of-flight) 통계 메트릭 및 검출 신뢰도 점수 중 적어도 하나를 포함하고,
상기 제1 시공간적 코히어런스 메트릭은 상기 복수의 광검출기에 의한 두 개의 펄스 또는 두 개의 펄스의 그룹의 검출 사이의 분포의 변화를 각각 지정하는 메트릭을 포함하고, 상기 광 펄스의 하위집합 또는 상기 결과 값의 그룹은 상기 메트릭 중 가장 큰 값에 기초하여 선택되는,
방법.
제19항에 있어서,
상기 제1 시공간적 코히어런스 메트릭은, 각 펄스에 대해서, 가장 낮은 값에서 가장 높은 값 또는 가장 낮은 값에서 가장 높은 값으로 분류된 연속적인 타임스탬프 사이의 차이의 측정된 분산을 포함하고, 선택된 상기 광 펄스의 하위집합 또는 상기 결과 값의 그룹은 상대적으로 낮은 측정된 분산과 연관된 광 펄스 또는 결과 값을 포함하는,
방법.