[go: up one dir, main page]

KR102106890B1 - Mini Integrated-control device - Google Patents

Mini Integrated-control device Download PDF

Info

Publication number
KR102106890B1
KR102106890B1 KR1020140178720A KR20140178720A KR102106890B1 KR 102106890 B1 KR102106890 B1 KR 102106890B1 KR 1020140178720 A KR1020140178720 A KR 1020140178720A KR 20140178720 A KR20140178720 A KR 20140178720A KR 102106890 B1 KR102106890 B1 KR 102106890B1
Authority
KR
South Korea
Prior art keywords
image
sensor data
main processor
processing unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140178720A
Other languages
Korean (ko)
Other versions
KR20160071237A (en
Inventor
김동신
Original Assignee
한화디펜스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화디펜스 주식회사 filed Critical 한화디펜스 주식회사
Priority to KR1020140178720A priority Critical patent/KR102106890B1/en
Priority to PCT/KR2015/001742 priority patent/WO2016093428A1/en
Priority to TW104134778A priority patent/TW201626214A/en
Publication of KR20160071237A publication Critical patent/KR20160071237A/en
Application granted granted Critical
Publication of KR102106890B1 publication Critical patent/KR102106890B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 바람직한 일 실시예에서 소형통합제어장치는 멀티코어CPU를 이용하여 대용량 센서데이터를 처리하는 메인 프로세서와, 상기 메인프로세서와 동일한 클럭을 이용하여 상기 대용량 센서데이터를 병렬로 처리하는 보조프로세서 및 상기 메인프로세서와 동일한 클럭을 이용하며, 상기 대용량 센서데이터 처리시 발생하는 연산을 병렬로 처리하는 그래픽처리부를 포함하는 것을 특징으로 한다. In a preferred embodiment of the present invention, the small integrated control device includes a main processor that processes large-capacity sensor data using a multi-core CPU, and an auxiliary processor that processes the large-capacity sensor data in parallel using the same clock as the main processor. It uses the same clock as the main processor, it characterized in that it comprises a graphics processor for processing in parallel the operation that occurs when processing the large-capacity sensor data.

Description

소형통합제어장치{Mini Integrated-control device}Mini Integrated-control device

본 발명은 대용량의 센서 데이터를 입력받아 병렬처리하여 신속한 결과를 획득하는 소형 통합 제어기에 관한 것이다. The present invention relates to a small integrated controller that receives a large amount of sensor data and processes it in parallel to obtain rapid results.

도 1 은 종래 제어기의 일 예를 도시한다. 기존 제어기 시스템에서는 도 1 에 도시된 바와 같이 대용량 센서 데이터를 처리하기 위하여 많은 수의 CPU core가 요구되었고, 이를 확보하기 위하여 다수의 PC(110, 111, 112, 113, 114 및 115)를 기가비트 스위치(120)를 통해 연결하여 이용하였다. 1 shows an example of a conventional controller. In the existing controller system, as shown in FIG. 1, a large number of CPU cores have been required to process large-capacity sensor data, and a plurality of PCs 110, 111, 112, 113, 114, and 115 are gigabit switches to secure them. It was used by connecting through (120).

또한 다수의 PC 이외에도 시스템을 제어하기 위한 외부 센서와 부가적인 파트들이 각각 개별적 제품으로 연결되어 제어기 시스템은 상당한 크기와 부피를 지녔다. In addition to the multiple PCs, the external sensor and additional parts for controlling the system are connected to individual products, so the controller system has a considerable size and volume.

"Towards Fully Autonomous Driving: Systems and Algorithms", 2011 IEEE Intelligent Vehicles Symposium (IV) Baden-Baden, Germany, June 5-9, 2011"Towards Fully Autonomous Driving: Systems and Algorithms", 2011 IEEE Intelligent Vehicles Symposium (IV) Baden-Baden, Germany, June 5-9, 2011

도 1에 도시된 대용량 센서데이터(100)가 PC1(110)으로 입력되는 경우, PC1(110)은 PC2, PC3, PC4, PC5 및 PC6(111, 112, 113, 114 및 115) 등과 같은 다른 PC 들에게 수신된 대용량의 센서 데이터를 전송하여 공유하였다. 그러나, 데이터를 전송하고 공유함에 있어 기가비트 이더넷 스위치의 경우 이론적으로는 1Gb/s 이지만 실제로는 50MB/s 의 전송속도를 가지게 되므로 PC 간에 대용량의 데이터를 효율적으로 공유하지 못하는 문제점이 있었다. When the large-capacity sensor data 100 shown in FIG. 1 is input to PC1 110, PC1 110 is another PC such as PC2, PC3, PC4, PC5 and PC6 (111, 112, 113, 114 and 115) The large-capacity sensor data received was transmitted and shared. However, in the case of data transmission and sharing, the Gigabit Ethernet switch is theoretically 1 Gb / s, but in reality, it has a transmission speed of 50 MB / s, so there is a problem that it cannot efficiently share large amounts of data between PCs.

이러한 문제점을 해결하기 위하여 PC 1 (110)은 수신된 대용량의 센서 데이터 중 중요한 몇 Frame 만 선정하여 공유하게 되므로 PC 1(110) 이외의 다른 PC 들(111, 112, 113, 114 및 115)은 분해능이 저하된 센서 데이터를 기반으로 연산을 수행하게 되어 정밀한 연산결과 값을 얻을 수 없는 문제점이 있다. To solve this problem, PC 1 (110) selects and shares only a few important frames among the received large-capacity sensor data, so PCs other than PC 1 (110) (111, 112, 113, 114, and 115) There is a problem in that a precise calculation result value cannot be obtained because the calculation is performed based on the sensor data having a reduced resolution.

본 발명의 바람직한 일 실시예에서 소형통합제어장치는 멀티코어CPU를 이용하여 대용량 센서데이터를 처리하는 메인 프로세서와, 상기 메인프로세서와 동일한 클럭을 이용하여 상기 대용량 센서데이터를 병렬로 처리하는 보조프로세서 및 상기 메인프로세서와 동일한 클럭을 이용하며, 상기 대용량 센서데이터 처리시 발생하는 연산을 병렬로 처리하는 그래픽처리부를 포함하는 것을 특징으로 한다. In a preferred embodiment of the present invention, the small integrated control device includes a main processor that processes large-capacity sensor data using a multi-core CPU, and an auxiliary processor that processes the large-capacity sensor data in parallel using the same clock as the main processor. It uses the same clock as the main processor, it characterized in that it comprises a graphics processor for processing in parallel the operation that occurs when processing the large-capacity sensor data.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치는 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하는 메인프로세서; 상기 메인프로세서와 동일한 클럭을 이용하며 상기 대용량 센서데이터를 상기 메인프로세서와 병렬로 처리하는 보조프로세서;및 상기 메인프로세서와 동일한 클럭을 이용하며, 상기 대용량 센서데이터의 연산처리를 멀티코어를 이용하여 병렬로 처리하는 그래픽처리부;를 포함하며, 상기 메인프로세서, 상기 보조프로세서 및 상기 그래픽처리부는 병렬로 상기 대용량 센서데이터를 처리하고, 상기 그래픽처리부는 상기 대용량 센서데이터를 기초로 생성한 교정 영상(Rectified image)에 대해 변환 역행렬을 적용한 정보를 픽셀 단위로 수신하여 처리하는 것을 특징으로 한다. As a preferred embodiment of the present invention, the small integrated control device includes a main processor that processes large-capacity sensor data using at least one multi-core CPU; An auxiliary processor that uses the same clock as the main processor and processes the large-capacity sensor data in parallel with the main processor; and uses the same clock as the main processor and performs parallel processing of the large-capacity sensor data using multi-core. Including, a graphics processing unit for processing, The main processor, the auxiliary processor and the graphics processing unit processes the large-capacity sensor data in parallel, and the graphic processing unit is a calibration image generated based on the large-capacity sensor data (Rectified image Characterized in that it receives and processes the information to which the transform inverse matrix is applied to pixels.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치는 복수의 영상촬영장치 각각으로부터 특정 객체를 촬영한 영상을 수신하고, 상기 복수의 영상촬영장치의 관측 시야(Field Of View : FOV)가 교차하는 영역 내에서 변환행렬(Transform Matrix : TM)을 이용하여 상기 특정 객체에 대해 촬영된 영상의 왜곡을 보정하며, 이를 기초로 교정 영상을 생성하는 영상교정부;및 상기 교정 영상의 각 픽셀에 대해 상기 변환역행렬(TM-1)을 계산하여 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 검출하는 이용가능영역검출부;를 더 포함하고, 상기 그래픽처리부는 상기 이용가능영역검출부에서 검출된 상기 변환역행렬이 적용된 교정 영상의 각 픽셀 정보에 대한 연산을 병렬로 처리하는 것을 특징으로 한다. As a preferred embodiment of the present invention, the small integrated control device receives an image of a specific object from each of a plurality of image photographing devices, and the field of view (FOV) of the plurality of image photographing devices crosses An image correction unit that corrects distortion of an image photographed for the specific object using a transform matrix (TM) in the region, and generates a correction image based on the distortion, and the pixel for each pixel of the correction image A usable area detection unit that detects each pixel information of a correction image to which a transformed inverse matrix is applied by calculating a transformed inverse matrix TM -1 is further included, and the graphic processing unit applies the transformed inverse matrix detected by the available region detection unit. It is characterized in that the operation for each pixel information of the correction image is processed in parallel.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치는 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하는 메인프로세서; 상기 메인프로세서와 동일한 클럭을 이용하며 상기 대용량 센서데이터를 상기 메인프로세서와 병렬로 처리하는 보조프로세서;및 상기 메인프로세서와 동일한 클럭을 이용하며, 상기 대용량 센서데이터의 연산처리를 멀티코어를 이용하여 병렬로 처리하는 그래픽처리부;를 포함하며, 상기 메인프로세서, 상기 보조프로세서 및 상기 그래픽처리부는 병렬로 상기 대용량 센서데이터를 처리하고, 상기 그래픽처리부는 상기 대용량 센서데이터에 포함된 영상정보를 기초로 객체 추적을 수행하기 위한 연산처리를 수행하는 것을 특징으로 한다. As a preferred embodiment of the present invention, the small integrated control device includes a main processor that processes large-capacity sensor data using at least one multi-core CPU; An auxiliary processor that uses the same clock as the main processor and processes the large-capacity sensor data in parallel with the main processor; and uses the same clock as the main processor and performs parallel processing of the large-capacity sensor data using multi-core. Includes; graphics processing unit to include, the main processor, the auxiliary processor and the graphics processing unit processes the large-capacity sensor data in parallel, the graphic processing unit is based on the image information contained in the large-scale sensor data object tracking It characterized in that it performs an operation processing for performing the.

바람직하게, 상기 그래픽처리부는 객체의 기설정된 높이 정보, 상기 객체를 촬영할 영상촬영장치의 촬영 가능 거리 및 관측 시야(FOV) 정보를 기초로 상기 객체를 추적하기 위해 연산이 요구되는 영역을 추적영역으로 설정하고, 상기 객체를 촬영할 영상촬영장치로부터 수신한 입력영상에서 상기 추적영역에 대응되는 영역만 연산처리를 수행하는 것을 특징으로 한다. Preferably, the graphic processing unit is an area in which calculation is required to track the object, based on preset height information of the object, an imageable distance of an image photographing apparatus to photograph the object, and observation field of view (FOV) information as a tracking area It is set, and it is characterized in that only the area corresponding to the tracking area is performed on the input image received from the image photographing apparatus to photograph the object.

바람직하게, 상기 그래픽처리부는 객체가 포함된 영상 내에 하늘 영역이 포함되어 있는 경우, 상기 하늘 영역을 제외한 나머지 영역을 추적영역으로 설정하고, 상기 객체를 촬영할 영상촬영장치로부터 수신한 입력영상에서 상기 추적영역에 대응되는 영역만 연산처리를 수행하는 것을 특징으로 한다. Preferably, when the sky area is included in the image including the object, the graphic processing unit sets the remaining area excluding the sky area as a tracking area, and tracks the input image received from the image photographing apparatus to photograph the object. It is characterized in that only the region corresponding to the region is processed.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치는 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하는 메인프로세서; 상기 메인프로세서와 동일한 클럭을 이용하며 상기 대용량 센서데이터를 상기 메인프로세서와 병렬로 처리하는 보조프로세서; 상기 메인프로세서와 동일한 클럭을 이용하며, 상기 대용량 센서데이터의 연산처리를 멀티코어를 이용하여 병렬로 처리하는 그래픽처리부; 복수의 영상촬영장치 각각으로부터 특정 객체를 촬영한 영상을 수신하고, 상기 복수의 영상촬영장치의 관측 시야(FOV)가 교차하는 영역 내에서 변환행렬(TM)을 이용하여 상기 특정 객체에 대해 촬영된 영상의 왜곡을 보정하고, 교정 영상을 생성하는 영상교정부;및 상기 교정 영상의 각 픽셀에 대해 상기 변환역행렬(TM-1)을 계산하여 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 검출하는 이용가능영역검출부;를 더 포함하고, 상기 그래픽처리부는 상기 이용가능영역검출부에서 검출된 상기 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 기초로, 상기 복수의 영상촬영장치로부터 수신한 영상 내에서 연산처리를 수행할 연산처리영역을 설정하는 것을 특징으로 한다. As a preferred embodiment of the present invention, the small integrated control device includes a main processor that processes large-capacity sensor data using at least one multi-core CPU; An auxiliary processor using the same clock as the main processor and processing the large-capacity sensor data in parallel with the main processor; A graphic processing unit using the same clock as the main processor and processing the processing of the large-capacity sensor data in parallel using a multi-core; An image obtained by photographing a specific object is received from each of a plurality of image photographing apparatuses, and photographed with respect to the specific object by using a transformation matrix (TM) in an area where the field of view (FOV) of the plurality of image photographing devices intersects. An image corrector that corrects distortion of an image and generates a corrected image; and uses to detect each pixel information of a corrected image to which the transformed inverse matrix is applied by calculating the transformed inverse matrix TM- 1 for each pixel of the corrected image Further comprising; a possible area detection unit, the graphic processing unit based on each pixel information of the correction image is applied to the transform inverse matrix detected by the available area detection unit, arithmetic processing within the image received from the plurality of image photographing apparatus It is characterized in that to set the operation processing area to perform the.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치는 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하는 메인프로세서; 상기 메인프로세서와 동일한 클럭을 이용하며 상기 대용량 센서데이터를 상기 메인프로세서와 병렬로 처리하는 보조프로세서;및 상기 메인프로세서와 동일한 클럭을 이용하며, 상기 대용량 센서데이터의 연산처리를 멀티코어를 이용하여 병렬로 처리하는 그래픽처리부;를 포함하며, 상기 메인프로세서, 상기 보조프로세서 및 상기 그래픽처리부는 병렬로 상기 대용량 센서데이터를 처리하고, 상기 그래픽처리부는 스테레오 카메라의 좌측 영상 및 우측 영상을 수신하여 교정 영상을 생성하고, 상기 교정 영상에 픽셀 단위로 변환역행렬을 적용하여 검출된 영역만 연산처리를 수행하는 것을 특징으로 한다.As a preferred embodiment of the present invention, the small integrated control device includes a main processor that processes large-capacity sensor data using at least one multi-core CPU; An auxiliary processor that uses the same clock as the main processor and processes the large-capacity sensor data in parallel with the main processor; and uses the same clock as the main processor and performs parallel processing of the large-capacity sensor data using multi-core. It includes; a graphics processing unit to include, the main processor, the auxiliary processor and the graphics processing unit processes the large-capacity sensor data in parallel, the graphic processing unit receives the left and right images of the stereo camera to correct the correction image It is characterized in that, by applying a transform inverse matrix in units of pixels to the corrected image, only the detected region is processed.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치에서 대용량 센서데이터를 처리하는 방법으로서, 상기 방법은 메인프로세서에서 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하는 단계; 상기 메인프로세서와 동일한 클럭을 이용하는 보조프로세서에서 상기 대용량 센서데이터를 상기 메인프로세서와 병렬로 처리하는 단계;및 상기 메인프로세서와 동일한 클럭을 이용하는 그래픽처리부에서, 상기 대용량 센서데이터의 연산처리를 멀티코어를 이용하여 병렬로 처리하는 단계;를 포함하며, 상기 메인프로세서, 상기 보조프로세서 및 상기 그래픽처리부는 병렬로 상기 대용량 센서데이터를 처리하고, 상기 그래픽처리부는 스테레오 카메라의 좌측 영상 및 우측 영상을 수신하여 교정 영상을 생성하고, 상기 교정 영상에 픽셀 단위로 변환역행렬을 적용하여 검출된 영역만 픽셀단위로 연산처리를 수행하는 것을 특징으로 한다.As a preferred embodiment of the present invention, a method for processing large-capacity sensor data in a small integrated control device, the method comprising: processing a large-capacity sensor data using at least one multi-core CPU in a main processor; Processing the large-capacity sensor data in parallel with the main processor in an auxiliary processor using the same clock as the main processor; and in a graphic processing unit using the same clock as the main processor, multi-core computation processing of the large-capacity sensor data Including; processing in parallel, including, the main processor, the auxiliary processor and the graphics processing unit processes the large-capacity sensor data in parallel, and the graphics processing unit receives the left and right images of the stereo camera for correction The method is characterized in that an image is generated, and a transformed matrix is applied to the corrected image in a pixel unit, so that only the detected area is processed in a pixel unit.

본 발명의 바람직한 일 실시예로서, 소형 통합 제어장치는 인공지능, 군사장비, 공장 자동화, 이동형 서버장비, 자율주행 로봇 분야에서 활용이 가능한 효과가 있다. As a preferred embodiment of the present invention, the small integrated control device has an effect that can be utilized in the fields of artificial intelligence, military equipment, factory automation, mobile server equipment, and autonomous driving robots.

도 1 은 일반적인 제어기의 일 예를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 소형통합장치(200)의 일 예를 도시한다.
도 3 내지 4는 본 발명의 바람직한 일 실시예로서, 소형통합제어장치(300)의 내부 구성도를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 메인프로세서(310)에서 지원하는 계층화된 스택(500)을 도시한다.
도 6 는 본 발명의 바람직한 일 실시예로서, 소형통합제어장치가 장착된 또는 소형통합제어장치를 이용하는 이동 물체의 일 실시예를 도시한다.
도 7 , 9 및 10은 본 발명의 바람직한 일 실시예로서, 소형통합제어장치에서 교정영상을 생성하고, 생성된 교정영상을 이용하여 연산처리가 요구되는 부분만을 설정하는 일 예를 도시한다.
도 8 및 11~14는 본 발명의 바람직한 일 실시예로서, 소형통합제어장치에서 객체를 추적할 때 추적 영역을 한정하는 일 예를 도시한다.
도 15 는 본 발명의 바람직한 일 실시예로서, 소형통합제어장치에서 특징점을 추출할 때 추적 영역을 한정하는 일 예를 도시한다.
도 16 은 본 발명의 바람직한 일 실시예로서, 소형통합제어장치에서 대용량 센서데이터를 처리하는 방법의 흐름도를 도시한다.
도 17은 본 발명의 바람직한 일 실시예로서, 소형통합제어장치에서 교정영상을 생성하고, 생성된 교정영상을 이용하여 연산처리가 요구되는 부분만을 설정하는 흐름도를 도시한다.
도 18은 소형통합제어장치에서 특징점을 추출할 때 추적 영역을 한정하는 흐름도를 도시한다. 1 shows an example of a general controller.
2 is a preferred embodiment of the present invention, showing an example of a small integrated device 200.
3 to 4 is a preferred embodiment of the present invention, showing the internal configuration of the small integrated control device 300.
5 is a preferred embodiment of the present invention, showing a layered stack 500 supported by the main processor 310.
6 is a preferred embodiment of the present invention, showing an embodiment of a moving object equipped with a small integrated control device or using a small integrated control device.
7, 9 and 10 show an example of generating a correction image in a small integrated control device and setting only a portion for which calculation processing is required using the generated correction image as a preferred embodiment of the present invention.
8 and 11 to 14 are preferred embodiments of the present invention, and show an example of limiting a tracking area when tracking an object in a small integrated control device.
15 is a preferred embodiment of the present invention, and shows an example of limiting the tracking area when extracting the feature points in the small integrated control device.
16 is a preferred embodiment of the present invention, showing a flowchart of a method for processing large-capacity sensor data in a small integrated control device.
17 is a preferred embodiment of the present invention, and generates a calibration image in a small integrated control device, and shows a flow chart for setting only a portion that requires arithmetic processing using the generated calibration image.
18 is a flowchart for defining a tracking area when extracting feature points from the small integrated control device.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, "comprises" and / or "comprising" refers to the components, steps, operations and / or elements mentioned above, the presence of one or more other components, steps, operations and / or elements. Or do not exclude additions.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings commonly understood by those skilled in the art to which the present invention pertains. In addition, terms defined in the commonly used dictionary are not ideally or excessively interpreted unless specifically defined.

본 발명의 실시예들은 서버 컴퓨터 시스템, 데스크톱 컴퓨터 시스템들, 랩톱들로 제한되지 않고, 핸드헬드 디바이스들, 스마트폰들, 태블릿들, 다른 씬 노트북들, SOC(systems on a chip, 시스템 온 칩) 디바이스들, 및 임베디드 응용 분야들과 같은 다른 디바이스들에서도 사용될 수 있다. 핸드헬드 디바이스는 셀룰러폰들, 인터넷 프로토콜 디바이스들, 디지털 카메라들, PDA들(personal digital assistants, 개인 휴대 단말기들), 및 핸드헬드 PC들을 포함한다. 또한, 본 명세서에 기술되어 있는 장치들, 방법들, 및 시스템들이 물리 컴퓨팅 디바이스들로 제한되지 않고, 또한 에너지 절감 및 효율을 위한 소프트웨어 최적화를 위해 이용될 수도 있다.Embodiments of the invention are not limited to server computer systems, desktop computer systems, laptops, handheld devices, smartphones, tablets, other thin notebooks, systems on a chip (SOC). It can also be used in devices, and other devices such as embedded applications. Handheld devices include cellular phones, Internet protocol devices, digital cameras, personal digital assistants (PDAs), and handheld PCs. Further, the apparatus, methods, and systems described herein are not limited to physical computing devices, but may also be used for software optimization for energy savings and efficiency.

도 2 는 본 발명의 바람직한 일 실시예로서, 소형통합장치(200)의 일 예를 도시한다. 2 is a preferred embodiment of the present invention, showing an example of a small integrated device 200.

소형통합장치(200)는 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하는 메인프로세서(210), 메인프로세서(210)와 동일한 클럭을 이용하며 대용량 센서데이터를 처리하는 보조프로세서(220), 메인프로세서와 동일한 클럭을 이용하며, 대용량 센서데이터의 연산처리를 수행하는 그래픽처리부(230)를 포함한다. 본 발명의 바람직한 일 실시예로서, 메인프로세서(210), 보조프로세서(220) 및 그래픽처리부(230)는 대용량 센서데이터를 병렬로 처리가 가능하다. The small integrated device 200 uses the at least one multi-core CPU to process the large-capacity sensor data, the main processor 210, and uses the same clock as the main processor 210, and uses the same processor to process the large-capacity sensor data 220 , It uses the same clock as the main processor, and includes a graphic processing unit 230 that performs arithmetic processing of large-capacity sensor data. As a preferred embodiment of the present invention, the main processor 210, the auxiliary processor 220, and the graphic processing unit 230 can process large-capacity sensor data in parallel.

소형통합장치(200)는 입출력 인터페이스(240)를 이용하여 메인프로세서(210), 보조프로세서(220) 및 그래픽처리부(230)를 직렬 또는 병렬로 확장하도록 구현이 가능하다. The small integrated device 200 may be implemented to expand the main processor 210, the auxiliary processor 220, and the graphic processing unit 230 in series or in parallel using the input / output interface 240.

본 발명의 바람직한 일 실시예에서, 메인프로세서(210)는 범용 또는 특수 목적 중앙 처리 장치(CPU), 주문형 반도체(ASIC) 또는 디지털 신호 프로세서(DSP)를 포함하는 임의의 타입의 데이터 프로세서일 수 있다. In one preferred embodiment of the present invention, the main processor 210 may be any type of data processor, including a general purpose or special purpose central processing unit (CPU), an on-demand semiconductor (ASIC) or a digital signal processor (DSP). .

예를 들어, 메인프로세서(210)는 Core™ i3, i5, i7, 2 Duo 및 Quad, Xeon™, 또는 Itanium™ 프로세서 등의 범용 프로세서일 수 있다. 메인프로세서(210)는 특수 목적을 위해 제작된 프로세서, 예를 들어, 네트워크 또는 통신 프로세서, 압축 엔진, 그래픽 프로세서, 코-프로세서, 내장형 프로세서 등일 수 있다. 메인프로세서(210)는 하나 이상의 패키지들 내에 포함된 하나 이상의 칩들로 구현될 수 있다. 메인프로세서(210)는, 예를 들어, BiCMOS, CMOS 또는 NMOS 등의 다수의 프로세스 기술들 중 임의의 기술을 이용할 수 있다.For example, the main processor 210 may be a general-purpose processor such as a Core ™ i3, i5, i7, 2 Duo and Quad, Xeon ™, or Itanium ™ processor. The main processor 210 may be a processor manufactured for a special purpose, for example, a network or communication processor, a compression engine, a graphics processor, a co-processor, or an embedded processor. The main processor 210 may be implemented with one or more chips included in one or more packages. The main processor 210 can use any of a number of process technologies, such as, for example, BiCMOS, CMOS, or NMOS.

본 발명의 바람직한 일 실시예에서, 메인프로세서(210)는 적어도 하나 이상의 멀티코어CPU(212, 214)를 포함할 수 있다. 적어도 하나 이상의 멀티코어CPU(212, 214) 간에는 QPI(Quick Path Interconnect)프로토콜을 이용하여 통신이 가능하다. 메인프로세서(210)는 패킷 기반의 점대점(point-to-point) 상호 연결 버스를 이용하여 상기 적어도 하나 이상의 멀티코어 CPU(210, 212)를 상호 연결할 수 있다. In one preferred embodiment of the present invention, the main processor 210 may include at least one multi-core CPU (212, 214). Communication between the at least one or more multi-core CPUs 212 and 214 is possible using a Quick Path Interconnect (QPI) protocol. The main processor 210 may interconnect the at least one multicore CPU 210 and 212 using a packet-based point-to-point interconnect bus.

본 발명의 바람직한 일 실시예에서, 그래픽처리부(230)는 3D 또는 2D 그래픽 커맨드들 등의 그래픽 커맨드들을 실행하기 위한 로직을 포함한다. 그래픽처리부(230)는 Open GL 및/또는 Direct X 응용 프로그래밍 인터페이스들(API들)(예를 들어, OpenGL 4.1 및 Direct X 11)에 의해 지정된 커맨드들 등의 산업 표준 그래픽 커맨드들을 실행할 수 있다.In one preferred embodiment of the present invention, the graphics processing unit 230 includes logic for executing graphic commands, such as 3D or 2D graphic commands. The graphics processing unit 230 may execute industry standard graphic commands such as commands designated by Open GL and / or Direct X application programming interfaces (APIs) (eg, OpenGL 4.1 and Direct X 11).

입출력 인터페이스(240)는 근거리 통신망, 광역 통신망 또는 인터넷 등의네트워크 통신, 내부 유닛 또는 외부 장치와의 통신을 지원할 수 있다. 입출력 인터페이스(240)는 내부 유닛 또는 외부 장치와의 액세스 및 네트워크 통신을 제공하기 위해 어댑터, 허브 등을 추가로 더 포함할 수 있다. 입출력 인터페이스(240)는 메인프로세서(210)와 동일한 칩 또는 동일한 보드에 구현되거나 또는 메인프로세서(210)에 연결된 별개의 칩 및/또는 패키지에 구현될 수 있다. The input / output interface 240 may support a network communication such as a local area network, a wide area network or the Internet, and communication with an internal unit or an external device. The input / output interface 240 may further include an adapter, a hub, and the like to provide access to the internal unit or external devices and network communication. The input / output interface 240 may be implemented on the same chip as the main processor 210 or on the same board, or may be implemented on a separate chip and / or package connected to the main processor 210.

도 3 내지 4는 본 발명의 바람직한 일 실시예로서, 소형통합제어장치(300)의 내부 구성도를 도시한다. 3 to 4 is a preferred embodiment of the present invention, showing the internal configuration of the small integrated control device 300.

소형통합제어장치(300)는 메인프로세서(310), 보조프로세서(320) 및 그래픽처리부(330)를 포함한다. The small integrated control device 300 includes a main processor 310, an auxiliary processor 320, and a graphic processing unit 330.

바람직하게, 소형통합제어장치(300)는 입출력인터페이스(340) 또는 이더넷 스위치(350)를 더 포함할 수 있다.Preferably, the small integrated control device 300 may further include an input / output interface 340 or an Ethernet switch 350.

바람직하게, 소형통합제어장치(300)는 메인프로세서(310), 보조프로세서(320) 및 그래픽처리부(330)에 전원을 공급하는 전원부(미 도시)를 더 포함할 수 있다.Preferably, the small integrated control device 300 may further include a power supply unit (not shown) that supplies power to the main processor 310, the auxiliary processor 320, and the graphic processing unit 330.

바람직하게, 소형통합제어장치(300)는 메인프로세서(310), 보조프로세서(320) 및 그래픽처리부(330)를 제어하는 MCU(Micro Control Unit)(미 도시)를 더 포함할 수 있다. 이 경우 MCU는 메인프로세서(310)와 이더넷 또는 RS232 등의 통신으을 수행할 수 있고, 전원부와는 CAN 통신으로 연결되어 있어, 전원 상태와 Fault 상황에 대해 주변 장치들의 후속 대책을 제어하도록 구현될 수 있다.Preferably, the small integrated control device 300 may further include a microcontrol unit (MCU) (not shown) that controls the main processor 310, the auxiliary processor 320, and the graphics processor 330. In this case, the MCU can perform communication such as Ethernet or RS232 with the main processor 310, and is connected by CAN communication with the power supply unit, so that it can be implemented to control subsequent measures of peripheral devices for the power status and fault conditions. have.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치(300)는 동일한 시스템 클럭을 이용하는 메인프로세서(310), 보조프로세서(320) 및 그래픽처리부(330)를 이용하여 대용량 센서데이터를 병렬로 처리할 수 있다. As a preferred embodiment of the present invention, the small integrated control device 300 processes the large-capacity sensor data in parallel using the main processor 310, the auxiliary processor 320, and the graphics processor 330 using the same system clock. You can.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치(300)가 자율 주행 로봇, 이동 로봇, 이동 물체 등에 구현될 경우의 예를 가정할 수 있다.As a preferred embodiment of the present invention, an example in the case where the small integrated control device 300 is implemented in an autonomous driving robot, a mobile robot, a moving object, or the like can be assumed.

이 경우, 메인프로세서(310)는 자율 주행 로봇, 이동 로봇, 이동 물체 등에서 스스로 주행 경로를 선택하고 장애물을 피해 목적지로 이동하기 위해 대용량 센서데이터에서 획득한 자율 주행 로봇, 이동 로봇, 이동 물체 등의 위치 데이터 및 자율 주행 로봇, 이동 로봇, 이동 물체 등과 근접한 위치에 있는 장애물에 대한 데이터를 기반으로 자율주행을 위한 이동 경로를 표시하는 주행 맵 또는 지도를 생성할 수 있다. In this case, the main processor 310 selects a driving path from an autonomous driving robot, a mobile robot, a moving object, etc., and moves to a destination to avoid an obstacle, such as an autonomous driving robot, a mobile robot, a moving object, etc. Based on the location data and data on obstacles in a location close to an autonomous driving robot, a mobile robot, a moving object, etc., a driving map or a map showing a moving path for autonomous driving may be generated.

이 경우, 보조프로세서(320)는 메인프로세서(310)에서 수신한 대용량 센서데이터 중 환경인식과 관련된 연산을 처리하고, 그래픽처리부(330)는 대용량 센서데이터 중 영상과 관련된 연산을 처리하도록 병렬 처리를 수행할 수 있다. In this case, the auxiliary processor 320 processes the calculation related to environmental recognition among the large-capacity sensor data received from the main processor 310, and the graphic processor 330 performs parallel processing to process the image-related calculation among the large-capacity sensor data. Can be done.

보조프로세서(320)에서 수행하는 환경인식과 관련된 연산은 레이저 기반 센서데이터를 처리하는 연산을 포함한다. 레이저 기반 센서데이터는 레이저 스캐너 등에서 검출된 센서데이터를 포함한다. Operations related to environmental recognition performed by the coprocessor 320 include operations for processing laser-based sensor data. The laser-based sensor data includes sensor data detected by a laser scanner or the like.

그래픽처리부(330)에서 수행하는 영상과 관련된 연산은 카메라 영상, 연산처리 등을 포함한다. 또한 레이저 기반 센서데이터로부터 도출된 연산처리도 그래픽처리부(330)에서 처리할 수 있다. Operations related to an image performed by the graphic processing unit 330 include a camera image, arithmetic processing, and the like. Also, the calculation processing derived from the laser-based sensor data may be processed by the graphic processing unit 330.

본 발명의 바람직한 일 실시예에서, 메인프로세서(310)는 자율 주행 로봇, 이동 로봇, 이동 물체 등에서 위치 데이터, 거리데이터, 근접한 위치에 있는 장애물에 대한 데이터 등을 나타내는 LADAR 센서정보, 2D, 3D LADAR 거리정보, CAMERA 영상정보 등을 수신할 수 있다. 이 경우, 메인프로세서(310)는 이더넷 스위치(350) 등을 이용하여 대용량 센서데이터를 수신하도록 구현될 수 있다. In one preferred embodiment of the present invention, the main processor 310 is LADAR sensor information, 2D, 3D LADAR indicating autonomous driving robot, mobile robot, moving object, etc., location data, distance data, data about obstacles in an adjacent location, etc. Distance information, CAMERA image information, etc. can be received. In this case, the main processor 310 may be implemented to receive a large amount of sensor data using an Ethernet switch 350 or the like.

메인프로세서(310)는 대용량 센서데이터 중 거리데이터 및 근접한 위치에 있는 장애물에 대한 데이터의 연산처리는 그래픽처리부(330)에서 수행하도록 데이터를 전송하고, 그래픽처리부(330)에서 연산처리가 끝나면, 결과를 수신하여, 그에 기초하여 주행맵 또는 지도를 생성하도록 구현될 수 있다. The main processor 310 transmits data so that the graphic data processing unit 330 performs the calculation processing of the distance data and the obstacles in the adjacent position among the large-capacity sensor data, and when the graphic processing unit 330 ends the calculation processing, the result It may be implemented to receive, and generate a driving map or a map based thereon.

도 5은 본 발명의 바람직한 일 실시예로서, 메인프로세서(310)에서 지원하는 계층화된 스택(500)을 도시한다. 5 is a preferred embodiment of the present invention, showing a layered stack 500 supported by the main processor 310.

계층화된 스택(500)은 시스템 계층(System Layer)(510), 인터페이스 계층(Interface Layer)(520), 코어 계층(Core Layer)(530) 및 애플리케이션 계층(Application Layer)(540)을 포함한다. The layered stack 500 includes a system layer (510), an interface layer (Interface Layer) 520, a core layer (Core Layer) 530 and an application layer (Application Layer) 540.

인터페이스 계층(Interface Layer)(520)은 MCU, 센서 및 통신 인터페이스를 지원한다. The interface layer 520 supports MCU, sensor, and communication interfaces.

코어 계층(Core Layer)(530)은 동적 환경 실시간 파악, 시각 주행거리 파악, 레이저 스캔 매칭 등과 같은 위치추정, 동적 장애물 탐지 및 추적, 레이저기반 환경인식 등과 같은 환경인식, RRT 샘플링 기반 전역 경로 계획, costom planning 및 동적 장애물 회피 등과 같은 planning, Basic Waypoint following 및 Fast Waypoint following 과 같은 주행제어, 그 외 수학라이브러리 및 유틸 라이브러리를 지원한다. The core layer 530 includes dynamic environment real-time detection, visual mileage detection, location estimation such as laser scan matching, dynamic obstacle detection and tracking, environment recognition such as laser-based environmental recognition, RRT sampling-based global route planning, It supports planning such as costom planning and dynamic obstacle avoidance, driving control such as Basic Waypoint following and Fast Waypoint following, and other math libraries and utility libraries.

보조프로세서(320)는 코어 계층(Core Layer)(530) 중 동적 장애물 탐지 및 추적, 레이저기반 환경인식 등과 같은 환경인식을 지원하여 처리가 가능하다. 또한, 병렬처리를 최적화 할 수 있는 부분을 처리하도록 구현이 가능하다. Planning SW에서도 각 격자로 나누어 처리할 수 있어 병렬화가 가능하다면 보조프로세서(320)에서 처리될 수 있다.The coprocessor 320 may support and process environmental obstacles, such as dynamic obstacle detection and tracking, and laser-based environmental recognition among the core layers 530. In addition, it can be implemented to process the part that can optimize parallel processing. Planning SW can also be processed by dividing it into each grid so that it can be processed by the coprocessor 320 if parallelization is possible.

도 6은 본 발명의 바람직한 일 실시예로서, 소형통합제어장치가 장착된 또는 소형통합제어장치를 이용하는 이동 물체의 일 실시예를 도시한다. 6 is a preferred embodiment of the present invention, showing an embodiment of a moving object equipped with a small integrated control device or using a small integrated control device.

이동 물체(600)는 3D 센서부, 센서부, GPS 송수신부, 제어부 및 출력부 (내부 구성 미도시)을 포함하도록 구현될 수 있다. 센서부는 스티어링(steering) 감지부, 속도 센서, 가속 센서, 위치 센서 등을 포함할 수 있다.The moving object 600 may be implemented to include a 3D sensor unit, a sensor unit, a GPS transceiver unit, a control unit, and an output unit (not shown inside). The sensor unit may include a steering sensing unit, a speed sensor, an acceleration sensor, and a position sensor.

3D 센서부는 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위, 후방위 및/또는 측방위를 한번에 촬영하는 카메라 시스템으로서, 보안 시설과 감시 카메라, 로봇 비전 등에 응용된다. 회전체 반사경의 형상으로는 쌍곡면이나 구면, 원추형, 복합형 등 다양하다. 또한, 촬상 소자로는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)가 사용된다. 이 촬상 소자의 촬상면에 투영되는 화상(즉 전방위 영상)은 회전체 반사경에 반사된 것이어서 인간이 그대로 관찰하기에는 적합하지 않은 일그러진 화상이다. 따라서 3D 센서부는 화상의 정확한 관찰을 위해 촬상 소자의 출력을 마이크로프로세서 등을 통해 그 좌표를 변환하여 새로운 파노라마 영상을 만들어낸다.The 3D sensor unit is a camera system that photographs the omnidirectional, posterior and / or lateral directions at once using a rotating reflector, a condenser lens, and an imaging device, and is applied to security facilities, surveillance cameras, and robot vision. The shape of the rotating reflector is various, such as a hyperbolic surface, a spherical surface, a cone, or a complex type. In addition, a CCD (Charge Coupled Device) or a Complementary Metal Oxide Semiconductor (CMOS) is used. The image projected on the imaging surface of the imaging element (that is, the omnidirectional image) is a distorted image that is not suitable for human observation as it is reflected by a rotating reflector. Therefore, the 3D sensor unit generates a new panoramic image by converting the coordinates of the output of the imaging element through a microprocessor or the like for accurate observation of the image.

3D 센서부는 전방위를 3차원적으로 촬영하여 3차원 거리 데이터를 획득하기 위해 스테레오 카메라(stereo camera), 깊이 카메라(depth camera), 이동식 스테레오 카메라(moving stereo camera) 및 라이다(Light Detection and Ranging; LIDAR) 장비 중 하나 이상을 포함하여 구성될 수 있다.The 3D sensor unit photographs omnidirectionally in three dimensions to obtain three-dimensional distance data, such as a stereo camera, a depth camera, a moving stereo camera, and a lidar (Light Detection and Ranging; LIDAR) may include one or more of the equipment.

스테레오 카메라는 복수의 카메라로 구성되는 영상 장치이다. 3D 센서부를 통해 얻은 전방위 영상은 3D 센서부 주변에 대한 2차원적인 정보를 제공한다. 만약 복수의 카메라를 통해 서로 다른 방향에서 촬영한 복수의 영상을 이용하면 3D 센서부 주변에 대한 3차원적인 정보를 얻을 수 있다. 이와 같은 스테레오 카메라를 이동 물체 또는 이동 로봇의 위치 인식 및 지도 생성에 이용하기도 한다.A stereo camera is an imaging device composed of a plurality of cameras. The omnidirectional image obtained through the 3D sensor unit provides two-dimensional information about the surroundings of the 3D sensor unit. If a plurality of images photographed in different directions through a plurality of cameras are used, 3D information about the surroundings of the 3D sensor unit may be obtained. Such stereo cameras are also used for location recognition and map generation of moving objects or mobile robots.

깊이 카메라는 장애물을 촬영 또는 측정하여 영상과 거리 데이터를 추출하는 카메라이다. 즉, 깊이 카메라는 일반적인 카메라와 같이 장애물을 촬상하여 영상 또는 이미지 데이터를 만들고, 각 영상의 픽셀에 해당하는 실제 위치에서 카메라로부터의 거리를 측정하여 거리 데이터를 만든다.The depth camera is a camera that captures or measures obstacles and extracts image and distance data. That is, the depth camera generates image or image data by imaging an obstacle like a general camera, and measures distance from the camera at an actual location corresponding to a pixel of each image to generate distance data.

이동식 스테레오 카메라는 스테레오 카메라의 위치가 장애물의 거리에 따라 능동적으로 변하여 관측 장애물에 대한 주시각을 고정시키는 카메라를 말한다. 스테레오 카메라는 일반적으로 두 대의 카메라를 평행하게 배치하고 영상을 획득하며, 획득 영상의 스테레오 시차에 따라 장애물까지의 거리를 계산할 수 있다. The mobile stereo camera refers to a camera in which the position of the stereo camera is actively changed according to the distance of the obstacle to fix the viewing angle for the observed obstacle. In general, a stereo camera can place two cameras in parallel and acquire an image, and calculate a distance to an obstacle according to the stereo parallax of the acquired image.

이러한 스테레오 카메라는 광축이 항상 평행하게 배치되어 고정된 형태의 수동적인 카메라이다. 반면, 이동식 스테레오 카메라는 광축의 기하학적 위치를 능동적으로 변화시켜 주시각을 고정시킨다. 이렇게 스테레오 카메라의 주시 각도를 장애물의 거리에 따라 제어하는 것을 주시각 제어라 한다. Such a stereo camera is a passive camera in which the optical axes are always arranged in parallel and fixed. On the other hand, the mobile stereo camera actively changes the geometrical position of the optical axis to fix the viewing angle. Controlling the viewing angle of the stereo camera according to the distance of the obstacle is referred to as the viewing angle control.

주시각 제어 스테레오 카메라는 움직이는 장애물에 대한 스테레오 시차를 항상 일정하게 유지하여 입체 영상 관측자에게 보다 자연스러운 입체 영상을 제공하며 장애물에 대한 거리 측정이나 스테레오 영상 처리에 있어서 유용한 정보를 제공한다.The stereoscopic viewing angle control stereo camera maintains a constant stereo parallax for a moving obstacle to provide a more natural stereoscopic image to a stereoscopic image observer, and provides useful information in measuring a distance to an obstacle or processing stereo images.

라이다(LIDAR) 장비는 이동 물체(600)의 전면에 위치한 장애물의 존재와 거리를 감지하기 위해 구비된다. 라이다 장비는 레이더(Radar)와 동일한 원리를 이용해 사물에 직접적인 접촉 없이 원하는 정보를 취득하는 능동형 원격 탐사(Remote Sensing)의 한 종류다. 라이다 장비는 정보를 취득하고자 하는 목표물에 레이저(Laser)를 쏘아 목표물로부터 반사되어 돌아오는 전자파의 시차와 에너지 변화를 감지해 원하는 거리 정보를 취득한다. LIDAR equipment is provided to detect the presence and distance of obstacles located in front of the moving object 600. LIDAR equipment is a type of active remote sensing that acquires desired information without direct contact with objects using the same principle as radar. The lidar equipment shoots a laser at a target to acquire information, and detects a parallax and energy change of electromagnetic waves reflected back from the target to obtain desired distance information.

라이다 장비는 측정하고자 하는 목적이나 대상물에 따라 DIAL(DIfferentail Absorption LIDAR), 도플러 라이다 (Doppler LIDAR), 거리 측정 라이다(Range finder LIDAR)의 세 종류로 나뉜다. DIAL은 측정하고자 하는 물체에 대한 흡수 정도가 서로 다른 두 개의 레이저를 이용해 대기중의 수증기, 오존, 공해 물질 등의 농도 측정에 활용되고, 도플러 라이다(Doppler LIDAR)는 도플러 원리를 이용해 물체의 이동 속도 측정에 이용된다. 그러나 일반적으로 라이다라고 하면 거리 측정 라이다(Range finder LIDAR)를 지칭하며 이것은 위성 측위 시스템(Global Positioning System; 이하 GPS)과 관성 항법 유도 장치(Inertial Navigation System; 이하 INS), 레이저 스캐너(LASER SCANNER) 시스템을 이용하여 대상물과의 거리 정보를 조합함으로써 3차원 지형 정보를 취득한다.Lidar equipment is divided into three types: DIAL (DIfferentail Absorption LIDAR), Doppler LIDAR, and Range finder LIDAR, depending on the purpose or object to be measured. DIAL is used to measure the concentration of water vapor, ozone, and pollutants in the atmosphere using two lasers with different absorption levels for the object to be measured, and Doppler LIDAR uses the Doppler principle to move the object. Used for speed measurement. In general, however, a lidar refers to a range finder lidar, which is a Global Positioning System (GPS), an Inertial Navigation System (INS), and a laser scanner (LASER SCANNER). ) 3D terrain information is acquired by combining distance information with an object using a system.

라이다 장비는 이동 물체(600)의 이동 경로 전면에 위치한 장애물의 존재와 장애물까지의 거리 및 장애물의 이동을 감지하여 3차원 거리 데이터를 획득하고, 획득된 데이터를 제어부로 전송하여 장애물이 없는 공간으로 이동 물체(600)가 이동할 수 있도록 한다.The lidar equipment detects the existence of an obstacle located in front of the moving path of the moving object 600, the distance to the obstacle, and the movement of the obstacle to obtain 3D distance data, and transmits the obtained data to the control unit, so that there is no obstacle To allow the moving object 600 to move.

출력부는 디스플레이부를 포함하며, 제어부 또는 메인프로세서에서 생성된 주행맵을 통해 결정된 주행 경로를 UI(User Interface) 또는 GUI(Graphic User Interface)를 이용하여 표시하도록 구현될 수 있다.The output unit includes a display unit, and may be implemented to display a driving path determined through a driving map generated by the controller or the main processor using a user interface (UI) or a graphical user interface (GUI).

도 7 은 본 발명의 바람직한 일 실시예로서, 소형통합제어장치(700)의 내부 구성도를 도시한다. 7 is a preferred embodiment of the present invention, showing the internal configuration of the small integrated control device 700.

소형통합제어장치(700)는 메인프로세서(710), 보조프로세서(720), 그래픽처리부(730), 영상교정부(740) 및 이용가능영역 검출부(750)를 포함한다. The small integrated control device 700 includes a main processor 710, an auxiliary processor 720, a graphic processing unit 730, an image correction unit 740, and an available area detection unit 750.

메인프로세서(710), 보조프로세서(720)의 기능은 도 3 내지 4의 설명을 참고한다. 그래픽처리부(730)는 연산처리를 멀티코어를 이용하여 병렬로 처리하며, 이용가능영역검출부(750)에서 검출된 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 기초로, 복수의 영상촬영장치로부터 수신한 영상 내에서 연산처리를 수행할 연산처리영역을 설정한다. The functions of the main processor 710 and the coprocessor 720 are described in FIGS. 3 to 4. The graphic processing unit 730 processes arithmetic processing in parallel using a multi-core, and receives from a plurality of image photographing apparatuses based on each pixel information of a correction image to which a transform inverse matrix detected by the available region detection unit 750 is applied. Set an arithmetic processing area to perform arithmetic processing within one image.

영상교정부(740)은 복수의 영상촬영장치 각각으로부터 특정 객체를 촬영한 영상을 수신하고, 복수의 영상촬영장치의 관측 시야(FOV)가 교차하는 영역 내에서 변환행렬(TM)을 이용하여 특정 객체에 대해 촬영된 영상의 왜곡을 보정하고, 교정 영상을 생성한다. The image correction unit 740 receives an image of a specific object from each of a plurality of image photographing apparatuses, and is identified by using a transformation matrix (TM) within an area where the field of view (FOV) of the plurality of image photographing apparatuses intersects. Distortion of an image captured on an object is corrected, and a corrected image is generated.

이용가능영역검출부(750)는 영상교정부(740)에서 생성한 교정 영상의 각 픽셀에 대해 변환역행렬(TM-1)을 계산하여 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 검출한다. The usable area detection unit 750 detects each pixel information of the correction image to which the transform inverse matrix is applied by calculating a transform inverse matrix TM -1 for each pixel of the correction image generated by the image correction unit 740.

도 9 내지 10의 일 실시예를 참고하면, 본 발명의 바람직한 일 실시예에서 영상교정부(740)는 변환행렬을 이용하여 특정 객체(900)에 대해 촬영한 좌측 영상(910) 및 우측 영상(912) 각각의 왜곡을 보정하고(920, 922), 왜곡이 보정된 좌측 영상 및 왜곡이 보정된 우측 영상을 이용하여 교정영상(930, 932)을 생성한다.9 to 10, in one preferred embodiment of the present invention, the image corrector 740 uses the transformation matrix to record the left image 910 and the right image () for a specific object 900. 912) Each distortion is corrected (920, 922), and a corrected image (930, 932) is generated by using the distortion-corrected left image and the distortion-corrected right image.

변환행렬은, 좌/우측이미지를 Rotation 하고 Translation하여 두 이미지를 같은 epipolar선상에 놓게 하고 마지막으로 scale을 조정하여 좌/우측 이미지가 같은 이미지 backplane에 오도록 만드는 이미지 변환스텝들을 통합하여 말하는 행렬이다. 이것의 역행렬은 그 일련의 변환(transform)을 반대로 행하여 교정된(rectified)된 이미지를 원영상(raw image)으로 변환할 수 있는 행렬이다. The transformation matrix is a matrix that integrates image transformation steps that rotate and translate the left and right images to place the two images on the same epipolar line, and finally adjust the scale so that the left and right images come to the same image backplane. The inverse matrix of this is a matrix capable of converting a corrected image into a raw image by reversing the series of transforms.

도 10을 참고하면, 본 발명의 바람직한 일 실시예에서, 영상교정부(도 7,740)는 교정영상(1000)의 각 픽셀에 대해 변환역행렬(TM-1)을 계산하여 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 검출한다(1010, 1020). Referring to FIG. 10, in a preferred embodiment of the present invention, the image correction unit (FIG. 7,740) calculates a transform inverse matrix (TM -1 ) for each pixel of the corrected image 1000 and displays the corrected image to which the transform inverse matrix is applied. Each pixel information is detected (1010, 1020).

도 8 은 본 발명의 바람직한 또 다른 일 실시예로서, 소형통합제어장치(700)의 내부 구성도를 도시한다. 도 9 내지 15를 참고하여 설명하면 아래와 같다. 8 is another preferred embodiment of the present invention, and shows the internal configuration of the small integrated control device 700. It will be described below with reference to Figures 9 to 15.

도 9는 교정영상을 생성하는 일 실시예를 도시한다. 9 shows an embodiment of generating a correction image.

도 10은 본 발명의 바람직한 일 실시예로서, 교정영상에 변환역행렬을 적용하여 연산처리영역을 설정하는 일 실시예를 도시한다. 10 is a preferred embodiment of the present invention, showing an embodiment of setting a calculation processing area by applying a transform inverse matrix to a corrected image.

도 11 은 영상촬영장치에서 특정 객체를 촬영하는 일 예를 도시한다. 도 12는 본 발명의 바람직한 일 실시예로서, 영상촬영장치가 특정 객체를 촬영할 때 설정되는 추적영역을 월드코디네이터로 표현한 좌표이다. 11 shows an example of photographing a specific object in an image photographing apparatus. FIG. 12 is a preferred embodiment of the present invention, and is a coordinate representing a tracking area set when a video photographing apparatus photographs a specific object with a world coordinator.

도 13은 본 발명의 바람직한 일 실시예로서, 도 12의 월드코디네이터 좌표를 이미지코디네이트 좌표로 변환한 일 예를 도시한다. 13 is a preferred embodiment of the present invention, and shows an example in which the world coordinates of FIG. 12 are converted into image coordinates.

도 14는 본 발명의 바람직한 일 실시예로서, 추적 대상 객체가 추적 영역 내에 존재하는 일 실시예를 도시한다. 14 is a preferred embodiment of the present invention, showing an embodiment in which the object to be tracked exists in the tracking area.

도 15는 본 발명의 바람직한 일 실시예로서, 영상 내에 하늘 영역이 포함되어 있는 경우 하늘 영역을 제외하고 추적영역을 설정하는 일 실시예를 도시한다. 15 is a preferred embodiment of the present invention, and when the sky area is included in the image, shows an embodiment of setting the tracking area except for the sky area.

본 발명의 바람직한 일 실시예에서 소형통합제어장치(700)는 이용가능영역 검출부(750)에서 연산처리영역(도 12, S1210)을 설정한 이후, 이 중 객체추적, 병사 추종에 필요한 정보가 포함된 추적영역(도 12, S1200)을 추가로 설정할 수 있다. 주로 다시점 카메라를 이용하거나 스테레오 카메라 등을 이용할 때 본 방법이 유용하게 이용될 수 있다. In a preferred embodiment of the present invention, after the small integrated control device 700 sets the operation processing area (FIG. 12, S1210) in the usable area detection unit 750, information necessary for object tracking and soldier tracking is included. The traced area (FIG. 12, S1200) may be additionally set. This method can be useful when using a multi-viewpoint camera or a stereo camera.

본 발명의 또 다른 바람직한 일 실시예에서 소형통합제어장치(700)는 추적영역한정부(760)만을 이용하여 객체추적, 병사 추종에 필요한 정보가 포함된 추적영역(도 12, S1200)을 설정할 수 있다. 이 경우, 이용가능영역 검출부(750)에서 연산처리영역(도 12, S1210)을 설정하지 않고, 바로 추적영역한정부(760)를 이용하여 특징점 추출, 객체추적, 병사추종에 필요한 정보가 포함된 추적영역을 설정할 수 있다. In another preferred embodiment of the present invention, the small integrated control device 700 may set a tracking area (FIG. 12, S1200) containing information necessary for object tracking and soldier tracking using only the tracking area limiter 760. have. In this case, the available area detection unit 750 does not set the arithmetic processing area (FIG. 12, S1210), and immediately uses the tracking area limiter 760 to include feature point extraction, object tracking, and information necessary for soldier tracking. Tracking area can be set.

본 발명의 바람직한 일 실시예로서, 소형통합제어장치(700)는 메인프로세서(710), 보조프로세서(720), 그래픽처리부(730), 영상교정부(740), 이용가능영역 검출부(750) 및 추적영역한정부(760)를 포함한다.As a preferred embodiment of the present invention, the small integrated control device 700 includes a main processor 710, an auxiliary processor 720, a graphic processing unit 730, an image correction unit 740, an available area detection unit 750, and The tracking area includes a limit 760.

이 경우, 소형통합제어장치(700)는 도 7, 9 내지 10에서 기술한 바와 같이 교정영상을 생성하고, 교정영상에 변환역행렬을 적용하여 픽셀단위로 정보를 추출한다. 이 방식을 통해 소형통합제어장치(700)는 1차적으로 입력 영상 중 이용가능한 픽셀 정보가 포함되어 있는 영역만을 연산처리영역으로 설정할 수 있다. In this case, the small integrated control device 700 generates a correction image as described in FIGS. 7, 9 to 10, and extracts information in units of pixels by applying a transform inverse matrix to the correction image. Through this method, the small integrated control device 700 may primarily set an area of the input image that includes available pixel information as an operation processing area.

다음으로, 소형통합제어장치(700)는 추적영역한정부(760)를 이용하여 1차적으로 설정한 연산처리영역 중 특징점 정보, 객체 추적에 필요한 정보가 포함되어 있는 영역을 2차로 설정할 수 있다. 이 영역을 추적영역이라 정의한다. Next, the small integrated control device 700 may secondly set an area including feature point information and information necessary for object tracking among the calculation processing areas primarily set by using the tracking area limit unit 760. This area is defined as the tracking area.

도 11 내지 14를 참고하면, 소형통합제어장치(700)는 객체를 추적하는 경우, 입력 영상 중 일부 영역(도 12, S1200)의 정보만이 요구된다. 또한, 도 15를 참고하면, 소형통합제어장치(700)에서 특징점 추출을 수행하는 경우에도 입력 영상에서 하늘 영역을 제외한 일부 영역(S1510)의 정보만이 유효한 정보로 이용할 수 있다. Referring to FIGS. 11 to 14, when the small integrated control device 700 tracks an object, only information of a partial region (FIGS. 12 and S1200) of the input image is required. In addition, referring to FIG. 15, even in the case where feature point extraction is performed by the small integrated control device 700, only information in some areas S1510 excluding the sky area from the input image may be used as valid information.

도 11을 참고하면 이동체, 이동로봇, 자율형 로봇, 핸드헬드 장치 등에서 소형통합제어장치(700)를 이용하여 사람을 추적하는 경우, 소형통합제어장치(700)에서 이용하는 영상센서, 영상촬영장치 등에서 촬영한 영상 중 특정 영역(도 11, S1110 및 도 12, S1200) 이내의 정보만이 사람을 추적하는데 필요한 정보가 포함되어 있다고 정의할 수 있다. Referring to FIG. 11, when a person is tracked using a small integrated control device 700 in a moving object, a mobile robot, an autonomous robot, a handheld device, etc., the image sensor used in the small integrated control device 700, the image taking device, etc. It can be defined that only information within a specific area (FIGS. 11, S1110 and 12, S1200) of the captured image includes information necessary for tracking a person.

도 12 를 참고하면, 추적영역한정부(760)에서는 객체 추적에 필요한 정보가 포함되어 있는 영역인 추적영역(S1200)을 설정하기 위하여, 영상촬영장치의 촬영 가능 거리 및 영상촬영장치의 관측 시야(FOV) 및 객체 또는 사람의 기설정된 높이 정보를 이용한다.Referring to FIG. 12, in order to set the tracking area S1200, which is an area including information necessary for tracking an object, the tracking area limit unit 760, an available viewing distance of the imaging device and an observation field of view of the imaging device ( FOV) and object or person preset height information.

본 발명의 바람직한 일 실시예에서 소형통합제어장치(700)는 이용가능영역 검출부(도 7, 750)에서 연산처리영역(S1210)을 설정한 이후, 이 중 객체추적, 병사 추종에 필요한 정보가 포함된 추적영역(S1200)을 추가로 한정할 수 있다. In one preferred embodiment of the present invention, the small integrated control device 700 includes the information necessary for object tracking and soldier tracking, after setting the operation processing area S1210 in the available area detection unit (FIG. 7, 750). The tracked area S1200 may be further limited.

본 발명의 또 다른 바람직한 일 실시예에서 소형통합제어장치(700)는 연산처리영역을 별도로 설정하지 않고, 영상센서 또는 영상처리장치로부터 들어오는 입력 영상에서 특징점 추출, 객체추적, 병사추종에 필요한 정보가 포함된 추적영역(S1200)만을 설정하여, 그래픽처리부를 통해 추적영역(S1200) 내의 정보만 연산처리를 수행할 수 있다. 그래픽처리부는 추적영역(S1200) 내의 정보를 픽셀단위로 처리한 후 메인프로세서에 처리 결과를 전송할 수 있다. In another preferred embodiment of the present invention, the small integrated control device 700 does not separately set an operation processing area, and has information necessary for feature point extraction, object tracking, and soldier tracking from an input image coming from an image sensor or an image processing device. By setting only the included tracking area S1200, only the information in the tracking area S1200 may be processed through the graphic processing unit. The graphic processing unit may process the information in the tracking area S1200 in units of pixels and then transmit the processing result to the main processor.

도 15는 영상 내에 하늘 영역이 포함되어 있는 경우 하늘 영역을 제외하고 추적영역을 설정하는 일 실시예이다. 본 발명의 바람직한 일 실시예에서, 하늘영역(S1500)을 검출하여 제외하고, 나머지 영역을 추적 영역으로 설정할 수 있다. 이 후 추적 영역내의 데이터만을 처리하여 특징점을 추출할 수 있다. 15 is an embodiment of setting a tracking area excluding the sky area when the sky area is included in the image. In one preferred embodiment of the present invention, the sky area S1500 may be detected and excluded, and the remaining area may be set as a tracking area. Then, only the data in the tracking area can be processed to extract feature points.

본 발명의 바람직한 일 실시예에서는 하늘 영역을 추출하기 위하여 하늘의 색상 데이터 및 하늘의 위치데이터를 이용할 수 있다. 하늘의 색상 데이터는 일반적으로 가우시안 분포를 이용하여 구할 수 있다. 또한 일반적인 영상에서 하늘은 윗부분에 위치하고 있으므로, 하늘의 위치 정보를 추가로 이용하여 하늘 영역을 추출한다. 이 경우 샘플링 기법을 이용하여 멀티-모달 분배 방식을 적용할 수 있다. In a preferred embodiment of the present invention, color data of the sky and position data of the sky may be used to extract the sky area. The sky color data can generally be obtained using a Gaussian distribution. In addition, since the sky is located in the upper part of the general image, the sky region is extracted using additional location information of the sky. In this case, a multi-modal distribution method may be applied using a sampling technique.

본 발명의 바람직한 일 실시예에서, 그래픽 처리부는 수학식 1과 같은 연산을 이용하여 하늘 영역을 제외한 추적 영역을 설정한다. In a preferred embodiment of the present invention, the graphic processing unit sets a tracking area excluding the sky area using an operation such as Equation (1).

Figure 112014120702258-pat00001
Figure 112014120702258-pat00001

수학식 1은 연산처리가 요구되는 영역을 표시하는 행렬 * 이미지 행렬 = 추적영역이 설정되는 실시예를 도시한다. 수학식 1에서 0은 하늘 영역 또는 연산처리를 제외할 영역의 픽셀을 표시하고, 1은 연산처리를 수행할 영역의 영역의 픽셀을 표시한다. Equation 1 shows an embodiment in which a matrix representing an area in which arithmetic processing is required * an image matrix = a tracking area is set. In Equation 1, 0 denotes a pixel in an area to exclude the sky area or arithmetic processing, and 1 denotes a pixel in the area of an area to perform arithmetic processing.

도 16은 본 발명의 바람직한 일 실시예에서, 소형통합제어장치의 그래픽처리부에서 병렬적으로 대용량센서데이터를 처리하는 흐름도를 도시한다.16 is a flowchart of processing large-capacity sensor data in parallel in a graphic processing unit of a small integrated control device in a preferred embodiment of the present invention.

소형통합제어장치에서 대용량 센서데이터를 처리하는 방법은 메인프로세서에서 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하는 단계(S1610), 보조프로세서에서 상기 메인프로세서와 동일한 클럭을 이용하여 상기 대용량 센서데이터 중 환경인식과 관련된 센서데이터를 처리하는 단계(S1620) 및 그래픽처리부에서 멀티코어를 이용하여 상기 메인프로세서와 동일한 클럭을 이용하여 상기 대용량 센서데이터 중 연산처리를 수행하는 단계(S1630)를 병렬적으로 수행하는 특징이 있다.  A method of processing large-capacity sensor data in a small integrated control device includes processing a large-capacity sensor data using at least one multi-core CPU in a main processor (S1610), and using the same clock as the main processor in the auxiliary processor. Paralleling the process of processing sensor data related to environmental recognition among sensor data (S1620) and performing the calculation processing of the large-capacity sensor data using the same clock as the main processor using multi-core in the graphics processing unit (S1630) There is a characteristic to perform as an enemy.

도 17은 본 발명의 바람직한 일 실시예로서, 소형통합제어장치에서 교정영상을 생성하고, 생성된 교정영상을 이용하여 연산처리가 요구되는 부분만을 설정하는 흐름도를 도시한다.17 is a preferred embodiment of the present invention, and generates a calibration image in a small integrated control device, and shows a flow chart for setting only a portion that requires arithmetic processing using the generated calibration image.

소형통합제어장치는 다시점 카메라로부터 특정 객체를 촬영한 복수의 영상을 수신한다(S1710). 이 후, 도 9의 일 실시예와 같이 복수의 영상을 기초로 왜곡이 보정된 교정 영상을 생성하고(S1720), 도 10과 같이 교정영상에 변환 역행렬을 적용한 후, 그래픽처리부에서 픽셀단위로 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 병렬로 처리한다(S1740).The small integrated control device receives a plurality of images of a specific object from a multi-viewpoint camera (S1710). Subsequently, a distortion-corrected correction image is generated based on a plurality of images as shown in one embodiment of FIG. 9 (S1720), and a transform inverse matrix is applied to the correction image as shown in FIG. 10, and then converted in pixel units in the graphic processing unit. Each pixel information of the correction image to which the inverse matrix is applied is processed in parallel (S1740).

도 18은 소형통합제어장치에서 특징점을 추출할 때 추적 영역을 한정하는 흐름도를 도시한다. 18 is a flowchart for defining a tracking area when extracting feature points from the small integrated control device.

소형통합제어장치는 영상센서 또는 영상처리장치로부터 입력영상을 수신한다(S1810). 이 경우 영상센서 또는 영상처리장치는 소형통합제어장치와 동일한 칩, 보드에 장착되어 있거나 또는 유무선으로 통신이 가능한 별도의 칩, 보드 등에 장착되거나 또는 인터페이스, 허브 등을 이용하여 연결이 가능할 수 있다. The small integrated control device receives an input image from an image sensor or an image processing device (S1810). In this case, the image sensor or the image processing device may be mounted on the same chip and board as the small integrated control device, or may be mounted on a separate chip, board, or the like capable of communicating by wire or wireless, or may be connected using an interface or a hub.

소형통합제어장치는 입력영상을 전송한 영상처리장치의 촬영가능 거리 및 FOV, 그리고 기 설정된 사람 또는 추적하고자 하는 객체의 높이 정보를 이용하여 추적영역(도 12, S1200 참고)을 생성한다(S1820). The small integrated control device generates a tracking area (refer to FIGS. 12 and S1200) using the recordable distance and FOV of the image processing device that transmitted the input image, and the height information of a preset person or an object to be tracked (S1820). .

소형통합제어장치는 또한 입력영상에서 특징점을 추출하고자 하는 경우에는 도 15에서 설명한 바와 같이 연산이 요구되는 영역, 일 예로 하늘 영역이 제외된 영역,을 추적영역으로 설정한다. In addition, when the small integrated control device is to extract a feature point from an input image, as described in FIG. 15, an area requiring calculation, for example, an area excluding the sky area, is set as a tracking area.

그래픽처리부는 설정된 추적영역에 대응하는 데이터에 대해서만 연산처리를 수행한다(S1830).The graphic processing unit performs arithmetic processing only on data corresponding to the set tracking area (S1830).

본 발명의 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The method of the present invention can also be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, optical data storage devices, etc., and are also implemented in the form of carrier waves (for example, transmission over the Internet). Includes. The computer-readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서는 도면에 도시된 구체적인 실시예를 참고하여 본 발명을 설명하였으나 이는 예시적인 것에 불과하므로, 본 발명이 속하는 기술 분야에서 통상의 기술을 가진 자라면 이로부터 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 보호 범위는 후술하는 특허청구범위에 의하여 해석되어야 하고, 그와 동등 및 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 보호 범위에 포함되는 것으로 해석되어야 할 것이다.In the above, the present invention has been described with reference to specific embodiments shown in the drawings, but this is only exemplary, and a person having ordinary skill in the art to which the present invention pertains can make various modifications and variations therefrom. Therefore, the protection scope of the present invention should be interpreted by the claims, which will be described later, and all technical ideas within the equivalent and equivalent ranges should be interpreted as being included in the protection scope of the present invention.

Claims (40)

적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하고 시스템계층, 인터페이스 계층, 환경인식과 주행제어를 지원하는 코어 계층 및 애플리케이션 계층을 포함하는 계층화된 스택을 지원하는 메인프로세서;
상기 메인프로세서와 동일한 클럭을 이용하며 상기 코어 계층에서 지원하는 환경인식과 관련된 연산을 처리하고, 상기 환경인식과 관련된 연산은 상기 센서데이터 중 레이저 기반 센서데이터를 처리하는 연산을 포함하는 보조프로세서;
상기 메인프로세서와 동일한 클럭을 이용하며, 연산처리를 멀티코어를 이용하여 처리하고, 상기 센서데이터를 기초로 생성한 교정 영상(Rectified image)에 대해 변환 역행렬을 적용한 정보를 픽셀 단위로 수신하여 처리하는 그래픽처리부;를 포함하고,
상기 메인프로세서의 적어도 하나 이상의 멀티코어 CPU 중 제 1 멀티코어 CPU는 상기 보조프로세서와, 제 2 멀티코어 CPU는 상기 그래픽처리부와 각각 Pcle GEN을 통해 각각 연결되고, 상기 메인프로세서는 상기 그래픽처리부에서 처리한 연산처리 결과를 수신하며, 상기 그래픽처리부는 3D 또는 2D 그래픽 커맨드들 등의 그래픽 커맨드들을 실행하기 위한 로직을 포함하며, Open GL 및/또는 Direct X 응용 프로그래밍 인터페이스들(API들)에 의해 지정된 커맨드들을 포함하는 산업 표준 그래픽 커맨드들을 실행할 수 있는 것을 특징으로 하는 통합제어장치.A main processor supporting a layered stack including a core layer and an application layer supporting a system layer, an interface layer, environment recognition and driving control, and processing a large amount of sensor data using at least one multi-core CPU;
An auxiliary processor that uses the same clock as the main processor and processes an operation related to environmental recognition supported by the core layer, and the operation related to the environmental recognition includes an operation to process laser-based sensor data among the sensor data;
It uses the same clock as the main processor, processes arithmetic processing using multi-cores, and receives and processes information applying a transform inverse matrix to a corrected image generated based on the sensor data in units of pixels. Graphic processing unit; includes,
Among the at least one multicore CPU of the main processor, a first multicore CPU is connected to the auxiliary processor, a second multicore CPU is connected to the graphics processing unit through Pcle GEN, and the main processor is processed by the graphics processing unit. Receive a result of an operation processing, the graphic processing unit includes logic for executing graphic commands such as 3D or 2D graphic commands, and commands designated by Open GL and / or Direct X application programming interfaces (APIs) Integrated control device, characterized in that capable of executing industry standard graphics commands including the. 제 1 항에 있어서, 상기 교정 영상은
복수의 영상촬영장치 각각으로부터 특정 객체를 촬영한 영상을 수신하고, 상기 복수의 영상촬영장치의 관측 시야(Field Of View : FOV)가 교차하는 영역 내에서 변환행렬(Transform Matrix : TM)을 이용하여 상기 특정 객체에 대해 촬영된 영상의 왜곡을 보정하여 생성되는 것을 특징으로 하는 통합제어장치.The method of claim 1, wherein the correction image
Receives an image of a specific object from each of a plurality of image photographing devices, and uses a transformation matrix (TM) within an area where the field of view (FOV) of the plurality of image photographing devices intersects Integrated control device, characterized in that generated by correcting the distortion of the captured image for the specific object. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 3 was abandoned when payment of the set registration fee was made.◈ 제 1 항에 있어서,
복수의 영상촬영장치 각각으로부터 특정 객체를 촬영한 영상을 수신하고, 상기 복수의 영상촬영장치의 관측 시야(Field Of View : FOV)가 교차하는 영역 내에서 변환행렬(Transform Matrix : TM)을 이용하여 상기 특정 객체에 대해 촬영된 영상의 왜곡을 보정하며, 이를 기초로 교정 영상을 생성하는 영상교정부;및
상기 교정 영상의 각 픽셀에 대해 변환역행렬(TM-1)을 계산하여 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 검출하는 이용가능영역검출부;를 더 포함하고, 상기 그래픽처리부는 상기 이용가능영역검출부에서 검출된 상기 변환역행렬이 적용된 교정 영상의 각 픽셀 정보에 대한 연산을 처리하는 것을 특징으로 하는 통합제어장치.According to claim 1,
Receives an image of a specific object from each of a plurality of image photographing devices, and uses a transformation matrix (TM) within an area where the field of view (FOV) of the plurality of image photographing devices intersects An image correction unit that corrects distortion of an image photographed for the specific object and generates a correction image based on the distortion; and
A usable area detection unit that detects each pixel information of a correction image to which the transformed inverse matrix is applied by calculating a transform inverse matrix TM -1 for each pixel of the correction image further includes; and the graphic processing unit detects the available region Integrated control device characterized in that for processing the operation for each pixel information of the correction image is applied to the transformation inverse matrix detected in the. 삭제delete 삭제delete ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 6 was abandoned when payment of the registration fee was set.◈ 제 1 항에 있어서, 상기 센서데이터는
이동 물체에 장착된 적어도 하나 이상의 센서에서 수신한 데이터로서, 상기 이동 물체에 장착된 영상촬영장치에서 촬영한 영상 정보를 포함하는 것을 특징으로 하는 통합제어장치.The method of claim 1, wherein the sensor data
An integrated control device comprising data received from at least one sensor mounted on a moving object, and image information captured by an image photographing device mounted on the moving object. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하고 시스템계층, 인터페이스 계층, 환경인식과 주행제어를 지원하는 코어 계층 및 애플리케이션 계층을 포함하는 계층화된 스택을 지원하는 메인프로세서;
상기 메인프로세서와 동일한 클럭을 이용하며 상기 코어 계층에서 지원하는 환경인식과 관련된 연산을 처리하고, 상기 환경인식과 관련된 연산은 상기 센서데이터 중 레이저 기반 센서데이터를 처리하는 연산을 포함하는 보조프로세서;및
상기 메인프로세서와 동일한 클럭을 이용하며, 연산처리를 멀티코어를 이용하여 처리하고, 상기 연산처리는 상기 센서데이터에 포함된 영상정보를 기초로 객체 추적을 수행하기 위한 연산처리를 포함하는 그래픽처리부;를 포함하고,
상기 메인프로세서의 적어도 하나 이상의 멀티코어 CPU 중 제 1 멀티코어 CPU는 상기 보조프로세서와, 제 2 멀티코어 CPU는 상기 그래픽처리부와 각각 Pcle GEN을 통해 각각 연결되고, 상기 메인프로세서는 상기 그래픽처리부에서 처리한 연산처리 결과를 수신하며, 상기 그래픽처리부는 3D 또는 2D 그래픽 커맨드들 등의 그래픽 커맨드들을 실행하기 위한 로직을 포함하며, Open GL 및/또는 Direct X 응용 프로그래밍 인터페이스들(API들)에 의해 지정된 커맨드들을 포함하는 산업 표준 그래픽 커맨드들을 실행할 수 있는 것을 특징으로 하는 통합제어장치.A main processor supporting a layered stack including a core layer and an application layer supporting a system layer, an interface layer, environment recognition and driving control, and processing a large amount of sensor data using at least one multi-core CPU;
A coprocessor that uses the same clock as the main processor and processes an operation related to environmental recognition supported by the core layer, and the operation related to the environmental recognition includes an operation to process laser-based sensor data among the sensor data; and
A graphic processing unit that uses the same clock as the main processor, processes the calculation processing using a multi-core, and the calculation processing includes calculation processing for performing object tracking based on image information included in the sensor data; Including,
Among the at least one multicore CPU of the main processor, a first multicore CPU is connected to the auxiliary processor, a second multicore CPU is connected to the graphics processing unit through Pcle GEN, and the main processor is processed by the graphics processing unit. Receive a result of an operation processing, the graphic processing unit includes logic for executing graphic commands such as 3D or 2D graphic commands, and commands designated by Open GL and / or Direct X application programming interfaces (APIs) Integrated control device, characterized in that capable of executing industry standard graphics commands including the. 제 19 항에 있어서, 상기 그래픽처리부는
객체의 기설정된 높이 정보, 상기 객체를 촬영할 영상촬영장치의 촬영 가능 거리 및 관측 시야(FOV) 정보를 기초로 상기 객체를 추적하기 위해 연산이 요구되는 영역을 추적영역으로 설정하고, 상기 객체를 촬영할 영상촬영장치로부터 수신한 입력영상에서 상기 추적영역에 대응되는 영역만 연산처리를 수행하는 것을 특징으로 하는 통합제어장치.The method of claim 19, wherein the graphic processing unit
Based on the preset height information of the object, the available shooting distance of the image photographing apparatus to shoot the object, and the field of view (FOV) information, an area that requires calculation to track the object is set as a tracking area, and the object is photographed. An integrated control device, characterized in that only the area corresponding to the tracking area is performed on the input image received from the image taking device. ◈청구항 21은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 21 was abandoned when payment of the set registration fee was made.◈ 제 19 항에 있어서, 상기 그래픽처리부는
객체가 포함된 영상 내에 하늘 영역이 포함되어 있는 경우, 상기 하늘 영역을 제외한 나머지 영역을 추적영역으로 설정하고, 상기 객체를 촬영할 영상촬영장치로부터 수신한 입력영상에서 상기 추적영역에 대응되는 영역만 연산처리를 수행하는 것을 특징으로 하는 통합제어장치.The method of claim 19, wherein the graphic processing unit
When the sky area is included in the image including the object, the remaining areas other than the sky area are set as the tracking area, and only the area corresponding to the tracking area is calculated from the input image received from the image photographing apparatus to photograph the object. Integrated control device characterized in that for performing the processing. 삭제delete ◈청구항 23은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 23 was abandoned when payment of the set registration fee was made.◈ 적어도 하나 이상의 멀티코어 CPU를 이용하여 대용량 센서데이터를 처리하고 시스템계층, 인터페이스 계층, 환경인식과 주행제어를 지원하는 코어 계층 및 애플리케이션 계층을 포함하는 계층화된 스택을 지원하는 메인프로세서;
상기 메인프로세서와 동일한 클럭을 이용하며 상기 코어 계층에서 지원하는 환경인식과 관련된 연산을 처리하고, 상기 환경인식과 관련된 연산은 상기 센서데이터 중 레이저 기반 센서데이터를 처리하는 연산을 포함하는 보조프로세서;
상기 메인프로세서와 동일한 클럭을 이용하며, 연산처리를 멀티코어를 이용하여 처리하고, 상기 연산처리는 상기 센서데이터 중 영상 기반 센서데이터를 처리하는 것을 포함하는 그래픽처리부;
복수의 영상촬영장치 각각으로부터 특정 객체를 촬영한 영상을 수신하고, 상기 복수의 영상촬영장치의 관측 시야(FOV)가 교차하는 영역 내에서 변환행렬(TM)을 이용하여 상기 특정 객체에 대해 촬영된 영상의 왜곡을 보정하고, 교정 영상을 생성하는 영상교정부;및
상기 교정 영상의 각 픽셀에 대해 변환역행렬(TM-1)을 계산하여 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 검출하는 이용가능영역검출부;를 더 포함하고,
상기 메인프로세서의 적어도 하나 이상의 멀티코어 CPU 중 제 1 멀티코어 CPU는 상기 보조프로세서와, 제 2 멀티코어 CPU는 상기 그래픽처리부와 각각 Pcle GEN을 통해 각각 연결되고, 상기 메인프로세서는 상기 그래픽처리부에서 처리한 연산처리 결과를 수신하며, 상기 그래픽처리부는 3D 또는 2D 그래픽 커맨드들 등의 그래픽 커맨드들을 실행하기 위한 로직을 포함하며, Open GL 및/또는 Direct X 응용 프로그래밍 인터페이스들(API들)에 의해 지정된 커맨드들을 포함하는 산업 표준 그래픽 커맨드들을 실행하고, 상기 그래픽처리부는 상기 이용가능영역검출부에서 검출된 상기 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 기초로, 상기 복수의 영상촬영장치로부터 수신한 영상 내에서 연산처리를 수행할 연산처리영역을 설정하고, 상기 연산처리영역에서 수행한 연산 처리 결과를 픽셀 단위로 상기 메인프로세서로 전송하는 것을 특징으로 하는 통합제어장치.A main processor supporting a layered stack including a core layer and an application layer supporting a system layer, an interface layer, environment recognition and driving control, and processing a large amount of sensor data using at least one multi-core CPU;
An auxiliary processor that uses the same clock as the main processor and processes an operation related to environmental recognition supported by the core layer, and the operation related to the environmental recognition includes an operation to process laser-based sensor data among the sensor data;
A graphic processing unit using the same clock as the main processor, processing an arithmetic processing using a multi-core, and processing the arithmetic processing based on image-based sensor data among the sensor data;
An image obtained by photographing a specific object is received from each of a plurality of image photographing apparatuses, and photographed with respect to the specific object by using a transformation matrix (TM) in an area where the field of view (FOV) of the plurality of image photographing devices intersects. An image correction unit that corrects image distortion and generates a correction image; and
Further comprising; an available area detection unit for detecting each pixel information of the correction image to which the transformed inverse matrix is applied by calculating a transform inverse matrix (TM -1 ) for each pixel of the correction image;
Among the at least one multicore CPU of the main processor, a first multicore CPU is connected to the auxiliary processor, a second multicore CPU is connected to the graphics processing unit through Pcle GEN, and the main processor is processed by the graphics processing unit. Receive a result of an operation processing, the graphic processing unit includes logic for executing graphic commands such as 3D or 2D graphic commands, and commands designated by Open GL and / or Direct X application programming interfaces (APIs) Based on each pixel information of the corrected image to which the transform inverse matrix is detected by the available area detection unit, the graphic processing unit executes industry standard graphic commands including those, and within the image received from the plurality of image taking apparatuses Set an arithmetic processing area to perform arithmetic processing, and count in the arithmetic processing area. Integrated control device characterized in that for transmitting the result of the calculation processing performed in units of pixels to the main processor. 삭제delete ◈청구항 25은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 25 was abandoned when payment of the registration fee was set.◈ 제 23 항에 있어서,
상기 보조프로세서는 상기 센서데이터 중 레이저 기반 센서데이터를 처리하고, 상기 레이저 기반 센서데이터는 레이저 스캐너를 통해 획득한 센서데이터를 포함하는 것을 특징으로 하는 통합제어장치. The method of claim 23,
The coprocessor processes laser-based sensor data among the sensor data, and the laser-based sensor data includes sensor data obtained through a laser scanner. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 통합제어장치에서 센서데이터를 처리하는 방법으로서,
메인프로세서에서 적어도 하나 이상의 멀티코어 CPU를 이용하여 센서데이터를 처리하는 단계;
상기 메인프로세서와 동일한 클럭을 이용하는 보조프로세서에서 상기 센서데이터 중 레이저 기반 센서데이터를 처리하는 단계;
상기 메인프로세서와 동일한 클럭을 이용하는 그래픽처리부에서 멀티코어를 이용하여 상기 센서데이터의 연산처리를 수행하는 단계;를 포함하고, 상기 연산처리는 상기 센서데이터에 포함된 영상정보를 기초로 객체 추적을 수행하기 위한 연산처리를 포함하고,
상기 메인프로세서의 적어도 하나 이상의 멀티코어 CPU 중 제 1 멀티코어 CPU는 상기 보조프로세서와, 제 2 멀티코어 CPU는 상기 그래픽처리부와 각각 Pcle GEN을 통해 각각 연결되고, 상기 메인프로세서는 상기 그래픽처리부에서 처리한 연산처리 결과를 수신하며, 상기 그래픽처리부는 3D 또는 2D 그래픽 커맨드들 등의 그래픽 커맨드들을 실행하기 위한 로직을 포함하며, Open GL 및/또는 Direct X 응용 프로그래밍 인터페이스들(API들)에 의해 지정된 커맨드들을 포함하는 산업 표준 그래픽 커맨드들을 실행할 수 있고, 또한 상기 그래픽처리부는 상기 센서데이터를 기초로 생성한 교정 영상(Rectified image)에 대해 변환 역행렬을 적용한 정보를 픽셀 단위로 수신하여 처리하는 것을 특징으로 하는 방법.As a method of processing sensor data in an integrated control device,
Processing the sensor data using at least one multi-core CPU in the main processor;
Processing laser-based sensor data among the sensor data in an auxiliary processor using the same clock as the main processor;
And performing a calculation process of the sensor data using a multi-core in a graphic processing unit using the same clock as the main processor. The calculation processing includes object tracking based on image information included in the sensor data. Includes arithmetic processing to do,
Among the at least one multicore CPU of the main processor, a first multicore CPU is connected to the auxiliary processor, a second multicore CPU is connected to the graphics processing unit through Pcle GEN, and the main processor is processed by the graphics processing unit. Receive a result of an operation processing, the graphic processing unit includes logic for executing graphic commands such as 3D or 2D graphic commands, and commands designated by Open GL and / or Direct X application programming interfaces (APIs) It is possible to execute industry-standard graphic commands including, and the graphic processing unit receives and processes information applying a transform inverse matrix to a corrected image generated based on the sensor data in units of pixels. Way. 제 32 항에 있어서,
영상교정부에서 복수의 영상촬영장치 각각으로부터 특정 객체를 촬영한 영상을 수신하고, 상기 복수의 영상촬영장치의 관측 시야(Field Of View : FOV)가 교차하는 영역 내에서 변환행렬(Transform Matrix : TM)을 이용하여 상기 특정 객체에 대해 촬영된 영상의 왜곡을 보정하며, 이를 기초로 교정 영상을 생성하는 단계;및
이용가능영역검출부에서 상기 교정 영상의 각 픽셀에 대해 변환역행렬(TM-1)을 계산하여 변환역행렬이 적용된 교정 영상의 각 픽셀 정보를 검출하는 단계;를 더 포함하고, 상기 그래픽처리부는 상기 이용가능영역검출부에서 검출된 상기 변환역행렬이 적용된 교정 영상의 각 픽셀 정보에 대한 연산을 처리하는 것을 특징으로 하는 방법.The method of claim 32,
The image correction unit receives an image of a specific object from each of a plurality of image photographing apparatuses, and a transform matrix (TM) within an area where the field of view (FOV) of the plurality of image photographing apparatuses intersects ) To correct the distortion of the captured image for the specific object, and generating a corrected image based on this; and
Further comprising the step of calculating the transform inverse matrix (TM -1 ) for each pixel of the corrected image in the available area detection unit to detect each pixel information of the corrected image to which the transformed inverse matrix is applied; and the graphic processing unit further comprising the available Method for processing the operation for each pixel information of the correction image to which the transform inverse matrix detected by the region detection unit is applied. 삭제delete 통합제어장치에서 센서데이터를 처리하는 방법으로서,
시스템계층, 인터페이스 계층, 환경인식과 주행제어를 지원하는 코어 계층 및 애플리케이션 계층을 포함하는 계층화된 스택을 지원하는 메인프로세서에서 적어도 하나 이상의 멀티코어 CPU를 이용하여 센서데이터를 처리하는 단계;
보조프로세서에서 상기 메인프로세서와 동일한 클럭을 이용하여 상기 코어 계층에서 지원하는 환경인식과 관련된 연산을 처리하는 단계로, 상기 환경인식과 관련된 연산은 상기 센서데이터 중 레이저 기반 센서데이터를 처리하는 연산을 포함하는 단계;
그래픽처리부에서 멀티코어를 이용하여 상기 메인프로세서와 동일한 클럭을 이용하여 상기 센서데이터 중 연산처리를 수행하며, 상기 연산처리는 상기 센서데이터에 포함된 영상정보를 기초로 객체 추적을 수행하기 위한 연산처리를 포함하는 단계;를 포함하고
상기 메인프로세서의 적어도 하나 이상의 멀티코어 CPU 중 제 1 멀티코어 CPU는 상기 보조프로세서와, 제 2 멀티코어 CPU는 상기 그래픽처리부와 각각 Pcle GEN을 통해 각각 연결되고, 상기 메인프로세서는 상기 그래픽처리부에서 처리한 연산처리 결과를 수신하며, 상기 그래픽처리부는 3D 또는 2D 그래픽 커맨드들 등의 그래픽 커맨드들을 실행하기 위한 로직을 포함하며, Open GL 및/또는 Direct X 응용 프로그래밍 인터페이스들(API들)에 의해 지정된 커맨드들을 포함하는 산업 표준 그래픽 커맨드들을 실행할 수 있는 것을 특징으로 하는 방법.As a method of processing sensor data in an integrated control device,
Processing sensor data using at least one multi-core CPU in a main processor supporting a layered stack including a system layer, an interface layer, a core layer supporting environment recognition and driving control, and an application layer;
In a coprocessor, a process related to environmental recognition supported by the core layer is processed using the same clock as the main processor, and the operation related to the environmental recognition includes an operation of processing laser-based sensor data among the sensor data. To do;
The graphics processing unit uses multi-core to perform arithmetic processing among the sensor data using the same clock as the main processor, and the arithmetic processing to perform object tracking based on image information included in the sensor data Including; comprising;
Among the at least one multicore CPU of the main processor, a first multicore CPU is connected to the auxiliary processor, a second multicore CPU is connected to the graphics processing unit through Pcle GEN, and the main processor is processed by the graphics processing unit. Receive a result of an operation processing, the graphic processing unit includes logic for executing graphic commands such as 3D or 2D graphic commands, and commands designated by Open GL and / or Direct X application programming interfaces (APIs) And capable of executing industry standard graphics commands including: 제 35 항에 있어서, 상기 그래픽처리부는
객체의 기설정된 높이 정보, 상기 객체를 촬영할 영상촬영장치의 촬영 가능 거리 및 관측 시야(FOV) 정보를 기초로 상기 객체를 추적하기 위해 연산이 요구되는 영역을 추적영역으로 설정하고, 상기 객체를 촬영할 영상촬영장치로부터 수신한 입력영상에서 상기 추적영역에 대응되는 영역만 연산처리를 수행하는 것을 특징으로 하는 방법. 36. The method of claim 35, The graphics processing unit
Based on the preset height information of the object, the available shooting distance of the image photographing apparatus to shoot the object, and the field of view (FOV) information, an area that requires calculation to track the object is set as a tracking area, and the object is photographed. A method characterized in that only the area corresponding to the tracking area is performed on the input image received from the image capturing apparatus. 삭제delete ◈청구항 38은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 38 was abandoned when payment of the set registration fee was made.◈ 통합제어장치에서 센서데이터를 처리하는 방법으로서,
시스템계층, 인터페이스 계층, 환경인식과 주행제어를 지원하는 코어 계층 및 애플리케이션 계층을 포함하는 계층화된 스택을 지원하는 메인프로세서에서 적어도 하나 이상의 멀티코어 CPU를 이용하여 센서데이터를 처리하는 단계;
보조프로세서에서 상기 메인프로세서와 동일한 클럭을 이용하여 상기 코어 계층에서 지원하는 환경인식과 관련된 연산을 처리하는 단계로, 상기 환경인식과 관련된 연산은 상기 센서데이터 중 레이저 기반 센서데이터를 처리하는 연산을 포함하는 단계;
그래픽처리부에서 멀티코어를 이용하여 상기 메인프로세서와 동일한 클럭을 이용하여 상기 센서데이터 중 연산처리를 수행하며, 상기 연산처리는 상기 센서데이터 중 영상 기반 센서데이터를 처리하는 것을 포함하는 단계;를 포함하고,
상기 메인프로세서의 적어도 하나 이상의 멀티코어 CPU 중 제 1 멀티코어 CPU는 상기 보조프로세서와, 제 2 멀티코어 CPU는 상기 그래픽처리부와 각각 Pcle GEN을 통해 각각 연결되고, 상기 메인프로세서는 상기 그래픽처리부에서 처리한 연산처리 결과를 수신하며, 상기 그래픽처리부는 3D 또는 2D 그래픽 커맨드들 등의 그래픽 커맨드들을 실행하기 위한 로직을 포함하며, Open GL 및/또는 Direct X 응용 프로그래밍 인터페이스들(API들)에 의해 지정된 커맨드들을 포함하는 산업 표준 그래픽 커맨드들을 실행할 수 있고, 상기 그래픽처리부는 또한 스테레오 카메라의 좌측 영상 및 우측 영상을 수신하여 교정 영상을 생성하고, 상기 교정 영상에 픽셀 단위로 변환역행렬을 적용하여 검출된 영역만 픽셀단위로 연산처리를 수행하는 것을 특징으로 하는 방법.As a method of processing sensor data in an integrated control device,
Processing sensor data using at least one multi-core CPU in a main processor supporting a layered stack including a system layer, an interface layer, a core layer supporting environment recognition and driving control, and an application layer;
In a coprocessor, a process related to environmental recognition supported by the core layer is processed using the same clock as the main processor, and the operation related to the environmental recognition includes an operation of processing laser-based sensor data among the sensor data. To do;
The graphic processing unit uses a multi-core to perform calculation processing among the sensor data using the same clock as the main processor, and the calculation processing includes processing image-based sensor data among the sensor data. ,
Among the at least one multicore CPU of the main processor, a first multicore CPU is connected to the auxiliary processor, a second multicore CPU is connected to the graphics processing unit through Pcle GEN, and the main processor is processed by the graphics processing unit. Receive a result of an operation processing, the graphic processing unit includes logic for executing graphic commands such as 3D or 2D graphic commands, and commands designated by Open GL and / or Direct X application programming interfaces (APIs) It is possible to execute industry standard graphic commands, including, and the graphic processing unit also receives a left image and a right image of a stereo camera to generate a correction image, and applies a transform inverse matrix in pixels to the correction image to detect only the region. A method characterized by performing arithmetic processing on a pixel-by-pixel basis. ◈청구항 39은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 39 was abandoned when payment of the set registration fee was made.◈ 제 38항에 있어서,
상기 그래픽처리부는 상기 픽셀단위로 연산처리를 수행한 결과를 상기 메인프로세서에 전송하는 것을 특징으로 하는 방법.The method of claim 38,
The graphic processing unit transmits the result of performing the calculation processing in units of pixels to the main processor. 삭제delete
KR1020140178720A 2014-12-11 2014-12-11 Mini Integrated-control device Active KR102106890B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140178720A KR102106890B1 (en) 2014-12-11 2014-12-11 Mini Integrated-control device
PCT/KR2015/001742 WO2016093428A1 (en) 2014-12-11 2015-02-24 Mini integrated control device
TW104134778A TW201626214A (en) 2014-12-11 2015-10-23 Micro integrated control device (second case)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140178720A KR102106890B1 (en) 2014-12-11 2014-12-11 Mini Integrated-control device

Publications (2)

Publication Number Publication Date
KR20160071237A KR20160071237A (en) 2016-06-21
KR102106890B1 true KR102106890B1 (en) 2020-05-07

Family

ID=56107591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140178720A Active KR102106890B1 (en) 2014-12-11 2014-12-11 Mini Integrated-control device

Country Status (3)

Country Link
KR (1) KR102106890B1 (en)
TW (1) TW201626214A (en)
WO (1) WO2016093428A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510122B1 (en) * 2021-11-24 2023-03-15 (주)카네비모빌리티 Vision-based real-time vehicle detection, tracking method for forward collision warning and apparatus therefor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (en) 2009-06-25 2010-03-24 주식회사 이미지넥스트 Tolerance compensating apparatus and method for automatic vehicle-mounted camera

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353362B2 (en) * 2003-07-25 2008-04-01 International Business Machines Corporation Multiprocessor subsystem in SoC with bridge between processor clusters interconnetion and SoC system bus
US8390631B2 (en) * 2008-06-11 2013-03-05 Microsoft Corporation Synchronizing queued data access between multiple GPU rendering contexts
KR101714783B1 (en) * 2009-12-24 2017-03-23 중앙대학교 산학협력단 Apparatus and method for detecting obstacle for on-line electric vehicle based on GPU
US8462166B2 (en) * 2010-10-01 2013-06-11 Apple Inc. Graphics system which measures CPU and GPU performance
KR101883475B1 (en) * 2013-02-28 2018-07-31 한화지상방산 주식회사 Mini Integrated-control device
WO2014178450A1 (en) * 2013-04-30 2014-11-06 전자부품연구원 Collaboration system between cpu and gpu, and method thereof
CN103713938A (en) * 2013-12-17 2014-04-09 江苏名通信息科技有限公司 Multi-graphics-processing-unit (GPU) cooperative computing method based on Open MP under virtual environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (en) 2009-06-25 2010-03-24 주식회사 이미지넥스트 Tolerance compensating apparatus and method for automatic vehicle-mounted camera

Also Published As

Publication number Publication date
TW201626214A (en) 2016-07-16
WO2016093428A1 (en) 2016-06-16
KR20160071237A (en) 2016-06-21

Similar Documents

Publication Publication Date Title
CN109993793B (en) Visual positioning method and device
CN107111598B (en) Optical flow imaging system and method using ultrasound depth sensing
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
EP2510379B1 (en) System and method for determining geo-location(s) in images
CN112785702A (en) SLAM method based on tight coupling of 2D laser radar and binocular camera
JP6782903B2 (en) Self-motion estimation system, control method and program of self-motion estimation system
WO2017038659A1 (en) Motion detection device and three-dimensional shape measurement device using same
CN106548173A (en) A kind of improvement no-manned plane three-dimensional information getting method based on classification matching strategy
CN102650886A (en) Vision system based on active panoramic vision sensor for robot
CN106228538A (en) Binocular vision indoor orientation method based on logo
CN103093459A (en) Assisting image matching method by means of airborne lidar point cloud data
US11504608B2 (en) 6DoF inside-out tracking game controller
US20240177329A1 (en) Scaling for depth estimation
Nguyen et al. CalibBD: Extrinsic calibration of the LiDAR and camera using a bidirectional neural network
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
US20230104937A1 (en) Absolute scale depth calculation device, absolute scale depth calculation method, and computer program product
CN115597582A (en) Real-time positioning and map construction method, device and system, and storage medium
WO2022083529A1 (en) Data processing method and apparatus
KR102106890B1 (en) Mini Integrated-control device
WO2011047508A1 (en) Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens
An et al. Image-based positioning system using LED Beacon based on IoT central management
WO2024112458A1 (en) Scaling for depth estimation
KR102106889B1 (en) Mini Integrated-control device
Sumikura et al. Scale estimation of monocular SfM for a multi-modal stereo camera
CN109214984B (en) Image acquisition method and device, autonomous positioning navigation system and computing equipment

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141211

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20170919

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180214

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20141211

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190228

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190929

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200406

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200427

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200428

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240327

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250325

Start annual number: 6

End annual number: 6