KR102103418B1

KR102103418B1 - Apparatus and method for generating bird eye view image

Info

Publication number: KR102103418B1
Application number: KR1020180040442A
Authority: KR
Inventors: 류춘우; 이정표; 박재홍
Original assignee: 주식회사 와이즈오토모티브
Priority date: 2018-04-06
Filing date: 2018-04-06
Publication date: 2020-04-23
Anticipated expiration: 2038-04-06
Also published as: KR20190117213A

Abstract

조감도 이미지 합성시 이미지 합성을 위한 픽셀 연산을 최소화하여 이미지 합성 속도를 향상시키도록 한 조감도 이미지 생성 장치 및 방법을 제시한다. 제시된 조감도 이미지 생성 장치는 차량의 카메라를 통해 획득된 카메라 이미지에 대한 조감도 이미지를 생성하고, 프레임 버퍼에 저장된 이전 시점의 합성 조감도 이미지에 현재 시점의 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성하고, 합성 조감도 이미지 중 특정 영역을 추출하여 차량의 디스플레이에 출력되는 출력 조감도 이미지를 검출한다.An apparatus and method for generating a bird's-eye view image to improve image synthesis speed by minimizing pixel operations for image synthesis during bird-eye synthesis. The proposed bird's-eye-view image generating device generates a bird's-eye-view image of the camera image acquired through the vehicle's camera, and synthesizes the bird's-eye view's bird's-eye view image from the previous bird's-eye bird's-eye view image stored in the frame buffer to generate the bird's-eye view bird's-eye view image. Then, a specific area of the composite aerial view image is extracted to detect an output aerial view image output to the vehicle display.

Description

Aerial view image generating device and method {APPARATUS AND METHOD FOR GENERATING BIRD EYE VIEW IMAGE}

본 발명은 조감도 이미지 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량에 설치된 카메라에서 촬영된 카메라 영상을 이용하여 The present invention relates to an apparatus and method for generating a bird's-eye view image, and more specifically, using a camera image captured by a camera installed in a vehicle.

차량의 상면에서 차량 방향을 주시하는 형태의 조감도 이미지를 생성하는 조감도 이미지 생성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a bird's-eye view image generating a bird's-eye-view image in the form of looking at a vehicle direction from an upper surface of a vehicle.

일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.Generally, a vehicle is a device that drives a road, etc. using a prime mover such as an engine mounted on a vehicle body to transport people or cargo or performs various operations, and the driver of the vehicle safely drives the vehicle while watching the driving direction .

하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 또한, 운전자가 전방 방향으로 운전하는 상황에서도 주변에 장애물이 많은 경우, 장애물과 차량 간의 거리를 직관적으로 판단하기 어려워 사고가 발생할 수 있는 가능성이 높다. 따라서, 차량의 주변을 디스플레이하기 위한 장치로서, 차량의 후방 또는 전방에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하거나, 상기 이미지를 변환하여 차량 주변에 대한 조감도 영상을 출력하는 디스플레이 장치가 알려져 있다.However, when the vehicle is retracted, such as parking, it is difficult for the driver of the vehicle to observe the driving direction that is behind the vehicle. In addition, even when the driver is driving in the forward direction, if there are many obstacles in the vicinity, it is difficult to intuitively determine the distance between the obstacle and the vehicle, and thus there is a high possibility of an accident. Therefore, as a device for displaying the surroundings of a vehicle, a display device that outputs an image from a camera installed at the rear or front of the vehicle as it is on a monitor, or converts the image to output a bird's-eye view of the surroundings of the vehicle is known.

여기서, 조감도 영상을 출력하는 기술로서, 차량에 복수의 카메라를 장착하고, 복수의 카메라에서 촬영된 영상을 하나의 영상으로 합성함으로써 차량 주변 영역을 디스플레이하는 방법이 존재한다.Here, as a technique for outputting a bird's-eye view image, there is a method of displaying a region around the vehicle by mounting a plurality of cameras in the vehicle and combining images captured by the plurality of cameras into a single image.

하지만, 이 방법의 경우 조감도 영상의 생성을 위해 적어도 4개의 카메라가 요구되며, 카메라의 개수를 줄이기 위해서는 광각 카메라 등 상대적으로 비용이 많이 드는 카메라를 요구하는 단점이 존재한다.However, in this method, at least four cameras are required for generating a bird's-eye-view image, and there is a disadvantage in that a relatively expensive camera such as a wide-angle camera is required to reduce the number of cameras.

또한, 종래에는 조감도 영상을 출력하는 기술로서, 차량에 하나의 카메라를 장착하고, 단일 카메라에서 촬영된 영상들을 합성함으로써, 조감도를 생성하는 기술이 존재한다.In addition, as a technique for outputting a bird's-eye view image, there is a technique for generating a bird's-eye view by attaching one camera to a vehicle and synthesizing images taken from a single camera.

하지만, 이 기술의 경우 영상들의 합성 및 조감도 이미지 변환 과정에 의해, 다수의 이미지를 처리해야하기 때문에 부하가 높아지는 문제점이 있다.However, in the case of this technique, there is a problem in that a load is increased because a plurality of images have to be processed by a process of synthesizing images and a bird's-eye view image conversion process.

한국공개특허 제2015-0116116호(명칭: 차량 주변 이미지 생성 장치 및 방법)Korean Patent Publication No. 2015-0116116 (Name: Vehicle peripheral image generating device and method)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 조감도 이미지 합성시 이미지 합성을 위한 픽셀 연산을 최소화하여 이미지 합성 속도를 향상시키도록 한 조감도 이미지 생성 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention has been proposed to solve the above-mentioned conventional problems, and it is an object of the present invention to provide a bird's-eye view image generating apparatus and method to improve image synthesis speed by minimizing pixel operations for image synthesis during bird's-eye image synthesis. .

또한, 본 발명은 픽셀 연산향을 최소화하여 저사양의 처리 장치가 적용된 차량에서도 조감도 이미지를 이용할 수 있도록 한 조감도 이미지 생성 장치 및 방법을 제공하는 것을 다른 목적으로 한다.In addition, another object of the present invention is to provide a bird's-eye view image generating apparatus and method that enables a bird's-eye view image to be used even in a vehicle to which a low-spec processing device is applied by minimizing a pixel operation direction.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 조감도 이미지 생성 장치는 카메라 및 디스플레이를 포함하는 차량에 설치되고, 카메라를 통해 획득된 카메라 이미지에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부, 차량의 이동 정보를 검출하는 이동 정보 검출부, 이전 시점의 합성 조감도 이미지를 복수의 텍스쳐로 구성된 프레임 버퍼에 저장하고, 조감도 이미지 생성부에서 생성된 현재 시점의 조감도 이미지를 이전 시점의 합성 조감도 이미지에 합성하여 현재 시점의 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부 및 합성 조감도 이미지 생성부에서 생성된 합성 조감도 이미지 중 특정 영역을 추출하여 디스플레이에 출력되는 출력 조감도 이미지를 검출하는 출력 조감도 이미지 검출부를 포함한다.In order to achieve the above object, a bird's-eye-view image generating apparatus according to an embodiment of the present invention is installed in a vehicle including a camera and a display, and a bird's-eye-view image generation unit for generating a bird's-eye-view image for a camera image obtained through a camera, a vehicle A motion information detector for detecting motion information of the camera, a composite aerial view image of a previous view is stored in a frame buffer composed of a plurality of textures, and a bird's-eye view image generated by the bird's-eye image generator is synthesized into a composite bird's-eye view image of the previous view It includes a composite aerial view image generator for generating a composite aerial view image of the current viewpoint and an output aerial view image detector for extracting a specific area from the composite aerial view image generated by the composite aerial view image generator and detecting an output aerial image displayed on the display.

이동 정보 검출부는 차량의 이동 거리 및 이동 방향을 포함하는 이동 정보를 검출할 수 있다. 프레임 버퍼는 복수의 텍스쳐가 행렬 배치된 프레임 버퍼 오브젝트일 수 있다.The movement information detection unit may detect movement information including a movement distance and a movement direction of the vehicle. The frame buffer may be a frame buffer object in which a plurality of textures are matrixed.

합성 조감도 이미지 생성부는 합성 조감도 이미지의 텍스쳐 경계 이동 여부를 근거로 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 이동시킬 수 있다.The composite aerial view image generation unit may move at least one texture among a plurality of textures based on whether a texture boundary of the composite aerial view image is moved.

합성 조감도 이미지 생성부는 합성 조감도 이미지가 텍스쳐 상하 경계를 넘어서 이동하면 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 수직 이동시킬 수 있다. 즉, 합성 조감도 이미지 생성부는 합성 조감도 이미지가 텍스쳐 상하 경계를 넘어서 이동하면, 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 행의 텍스쳐들을 조감도 이미지가 합성된 방향으로 수직 이동시킬 수 있다.The composite aerial view image generation unit may vertically move at least one of a plurality of textures when the composite aerial view image moves beyond the upper and lower boundaries of the texture. That is, when the composite aerial view image is moved beyond the upper and lower boundaries of the texture, the composite aerial view image displays a row of textures arranged in a direction opposite to the direction in which the aerial view image of the current viewpoint is synthesized in the direction in which the aerial view image is synthesized. It can be moved vertically.

합성 조감도 이미지 생성부는 합성 조감도 이미지가 텍스쳐 좌우 경계를 넘어서 이동하면 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 수평 이동시킬 수 있다. 즉, 합성 조감도 이미지 생성부는 합성 조감도 이미지가 텍스쳐 좌우 경계를 넘어서 이동하면, 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 열의 텍스쳐들을 조감도 이미지가 합성된 방향으로 수평 이동시킬 수 있다.The composite aerial view image generation unit may horizontally move at least one of a plurality of textures when the composite aerial view image moves beyond the left and right boundaries of the texture. In other words, when the composite aerial view image moves beyond the left and right boundaries of the texture, the composite aerial view image horizontally arranges a row of textures arranged in the opposite direction to the direction in which the aerial view image of the current viewpoint is synthesized in the direction in which the aerial view image is synthesized. Can be moved.

이처럼, 합성 조감도 이미지 생성부는 복수의 텍스쳐 중 일부를 이동시켜 이전 시점의 합성 조감도 이미지에 합성된 현재 시점의 조감도 이미지를 프레임 버퍼의 중앙에 위치한 텍스쳐에 배치시킬 수 있다.As described above, the composite aerial view image generation unit may move a portion of the plurality of textures to arrange the aerial view image of the current view synthesized in the composite aerial view image of the previous view to the texture located in the center of the frame buffer.

합성 조감도 이미지 생성부는 이전 시점의 합성 조감도 이미지 및 이동 정보를 근거로 합성 기준 위치를 설정하고, 합성 기준 위치에 현재 시점의 조감도 이미지를 배치할 수 있다.The composite aerial view image generation unit may set a composite reference position based on the composite aerial view image and movement information of the previous view, and place the aerial view image of the current view at the composite reference position.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 조감도 이미지 생성 장치를 이용한 조감도 이미지 생성 방법은 카메라를 통해 획득된 카메라 이미지에 대한 조감도 이미지를 생성하는 단계, 차량의 이동 정보를 검출하는 단계, 복수의 텍스쳐로 구성된 프레임 버퍼에 저장된 이전 시점의 합성 조감도 이미지에 조감도 이미지를 생성하는 단계에서 생성된 현재 시점의 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성하는 단계 및 현재 시점의 합성 조감도 이미지 중 특정 영역을 추출하여 디스플레이에 출력되는 출력 조감도 이미지를 검출하는 단계를 포함한다.In order to achieve the above object, a method of generating a bird's-eye view image using a bird's-eye-view image generating apparatus according to an embodiment of the present invention includes generating a bird's-eye-view image of a camera image obtained through a camera, detecting movement information of a vehicle, Generating a bird's-eye view image of the current view generated in the step of generating a bird's-eye view image in a composite bird's-eye view image of a previous view stored in a frame buffer composed of a plurality of textures, generating a bird's-eye view image of the current view and a bird's-eye view of the current view And detecting an output bird's-eye view image output on the display by extracting a specific region.

이동 정보를 검출하는 단계에서는 차량의 이동 거리 및 이동 방향을 포함하는 이동 정보를 검출할 수 있다. 프레임 버퍼는 복수의 텍스쳐가 행렬 배치된 프레임 버퍼 오브젝트일 수 있다.In the step of detecting the movement information, movement information including the moving distance and the moving direction of the vehicle may be detected. The frame buffer may be a frame buffer object in which a plurality of textures are matrixed.

합성 조감도 이미지의 텍스쳐 경계 이동 여부를 근거로 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 이동시키는 단계를 더 포함할 수 있다.The method may further include moving at least one texture among the plurality of textures based on whether the texture aerial view moves the texture boundary.

텍스쳐를 이동시키는 단계는 합성 조감도 이미지가 텍스쳐 상하 경계를 넘어서 이동하면 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 수직 이동시키는 단계를 포함할 수 있다. 이때, 텍스쳐를 수직 이동시키는 단계에서는 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 행의 텍스쳐들을 조감도 이미지가 합성된 방향으로 수직 이동시킬 수 있다.The step of moving the texture may include vertically moving at least one of the plurality of textures when the composite aerial view image moves beyond the upper and lower boundaries of the texture. At this time, in the step of vertically moving the texture, one row of textures arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized from the current viewpoint among the composite bird's-eye images may be vertically moved in the direction in which the bird's-eye image is synthesized.

텍스쳐를 이동시키는 단계는 합성 조감도 이미지가 텍스쳐 좌우 경계를 넘어서 이동하면 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 수평 이동시키는 단계를 포함할 수 있다. 이때, 텍스쳐를 수평 이동시키는 단계에서는 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 열의 텍스쳐들을 조감도 이미지가 합성된 방향으로 수평 이동시킬 수 있다.The step of moving the texture may include the step of horizontally moving at least one of the plurality of textures when the composite aerial view image moves beyond the left and right boundaries of the texture. At this time, in the step of horizontally moving the texture, a row of textures arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized from the current viewpoint among the composite bird's-eye images may be horizontally moved in the direction in which the bird's-eye image is synthesized.

이를 통해, 텍스쳐를 이동시키는 단계에서는 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 이동시켜 이전 시점의 합성 조감도 이미지에 합성된 현재 시점의 조감도 이미지를 프레임 버퍼의 중앙에 위치한 텍스쳐에 배치시킬 수 있다.Through this, in the step of moving the texture, at least one of the plurality of textures may be moved to place the aerial view image of the current view synthesized in the composite aerial view image of the previous view on the texture located in the center of the frame buffer.

합성 조감도 이미지를 생성하는 단계는 이전 시점의 합성 조감도 이미지 및 이동 정보를 근거로 합성 기준 위치를 설정하는 단계 및 합성 기준 위치에 현재 시점의 조감도 이미지를 배치하는 단계를 포함할 수 있다.The step of generating the composite aerial view image may include setting a composite reference position based on the composite aerial view image and movement information of the previous view and disposing the aerial view image of the current view at the composite reference position.

본 발명에 의하면, 조감도 이미지 생성 장치 및 방법 현재 시점의 합성 조감도 이미지를 생성하기 위해서 현재 시점의 조감도 이미지를 합성하고 합성 조감도 이미지에 대한 이미지 변환을 수행하기 때문에 이미지 처리를 위한 픽셀 연산량이 종래에 비해 감소하는 효과가 있다.According to the present invention, a bird's-eye view image generating apparatus and method are used to synthesize a bird's-eye view image of the current view and perform image conversion on the bird's-eye view image to generate a bird's-eye view image of the current view, so the amount of pixel computation for image processing is higher than that of the prior art. It has a decreasing effect.

또한, 조감도 이미지 생성 장치 및 방법은 프레임 버퍼에 합성 기준 위치를 설정하고, 합성 기준 위치에 현재 시점의 조감도 이미지를 배치함으로써, 합성 조감도 이미지 생성시 이전 시점들의 합성 조감도 이미지를 편집(회전, 이동, 크롭 등)하지 않고, 현재 시점의 조감도 이미지만을 편집하기 때문에, 종래의 조감도 이미지 생성 장치에 비해 픽셀 연산량을 최소화할 수 있다.In addition, the apparatus and method for generating a bird's-eye-view image sets a composite reference position in a frame buffer, and places a bird's-eye view image of the current view at the composite reference position, thereby editing (rotating, moving, or rotating) the bird's-eye view of the previous views when creating the bird's-eye view image. Since only the aerial view image of the current viewpoint is edited without cropping), the amount of pixel calculation can be minimized compared to the conventional aerial view image generating device.

도 1 및 도 2는 종래의 조감도 이미지 생성 장치와 본 발명의 실시 예에 따른 조감도 이미지 생성 장치를 비교 설명하기 위한 도면.
도 3은 본 발명의 실시 예에 따른 조감도 이미지 생성 장치를 설명하기 위한 블록도.
도 4 내지 도 7은 도 3의 합성 조감도 이미지 생성부를 설명하기 위한 도면.
도 8은 도 3의 출력 조감도 이미지 검출부를 설명하기 위한 도면.
도 9 내지 도 11은 도 3의 합성 조감도 이미지 생성부에서 관리하는 프레임 버퍼를 설명하기 위한 도면.
도 12는 본 발명의 실시 예에 따른 조감도 이미지 생성 방법을 설명하기 위한 흐름도.
도 13 및 도 14는 도 12의 합성 조감도 이미지 생성 단계를 설명하기 위한 흐름도.1 and 2 are views for comparing a conventional bird's-eye view image generating device and a bird's-eye view image generating device according to an embodiment of the present invention.
3 is a block diagram illustrating an aerial view image generating apparatus according to an embodiment of the present invention.
4 to 7 are views for explaining a composite aerial view image generation unit of FIG. 3.
8 is a view for explaining an output aerial view image detection unit of FIG. 3.
9 to 11 are views for explaining a frame buffer managed by the composite aerial view image generation unit of FIG. 3.
12 is a flowchart illustrating a method for generating a bird's-eye view image according to an embodiment of the present invention.
13 and 14 are flow charts for explaining the steps of generating a composite aerial view image of FIG. 12.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, the most preferred embodiment of the present invention will be described in detail so that those skilled in the art to which the present invention pertains can easily implement the technical spirit of the present invention. . First, when adding reference numerals to the components of each drawing, it should be noted that the same components have the same reference numerals as possible even though they are displayed on different drawings. In addition, in describing the present invention, when it is determined that detailed descriptions of related well-known structures or functions may obscure the subject matter of the present invention, detailed descriptions thereof will be omitted.

조감도 이미지 생성 장치는 차량에 장착된 카메라에서 촬영된 카메라 영상을 이용한 조감도 이미지를 생성하는 장치이다. 본 발명의 실시 예에 따른 조감도 이미지 생성 장치를 설명하기 전에, 종래 기술에 따른 조감도 이미지 생성 장치를 설명하면 아래와 같다.The bird's-eye-view image generating device is a device that generates a bird's-eye-view image using camera images captured by a camera mounted on a vehicle. Before explaining the bird's-eye view image generating apparatus according to an embodiment of the present invention, the bird's-eye view image generating apparatus according to the prior art will be described below.

도 1을 참조하면, 종래의 조감도 이미지 생성 장치는 카메라 영상(CI)으로부터 현재 시점(t)의 조감도 이미지(BEV_t)를 생성한다. Referring to FIG. 1, a conventional bird's-eye-view image generating apparatus generates a bird's-eye-view image BEV _t of a current viewpoint t from a camera image CI.

종래의 조감도 이미지 생성 장치는 현재 시점(t) 이전에 생성된 복수의 과거 조감도 이미지들(BEV_t-1~BEV_t-4)과 현재 시점(t)의 조감도 이미지(BEV_t)를 합성하여 현재 시점(t)의 합성 조감도 이미지(CBEV_t)를 생성한다.The conventional bird's-eye-view image generating apparatus synthesizes a plurality of past bird's-eye-view images BEV _t-1 to BEV _t-4 generated before the current time t and a bird's-eye-view image BEV _t at the current time t. A composite bird's-eye view image CBEV _t of the viewpoint _t is generated.

이때, 종래의 조감도 이미지 생성 장치는 현재 시점(t)의 조감도 이미지(BEV_t)의 시점에 맞춰 과거 조감도 이미지들(BEV_t-1~BEV_t-4)을 회전시키고, 회전된 과거 조감도 이미지(BEV_t-1~BEV_t-4)와 현재 시점(t)의 조감도 이미지(BEV_t)를 합성하여 합성 조감도 이미지(CBEV_t)를 생성한다.At this time, the conventional bird's-eye view image generating apparatus rotates the bird's-eye view images BEV _t-1 to BEV _t-4 in accordance with the bird's-eye view image BEV _t at the current time t, and rotates the bird's-eye view image ( BEV _t-1 to BEV _t-4 ) and a bird's-eye view image BEV _t of the current viewpoint _t are synthesized to generate a composite bird's-eye view image CBEV _t .

종래의 조감도 이미지 생성 장치는 합성 조감도 이미지(CBEV_t)의 생성시 과거 조감도 이미지들(BEV_t-1~BEV_t-4)을 회전시켜야 하기 때문에 이미지 처리를 위한 픽셀 연산량을 증가하게 된다. 일례로, 카메라 영상을 256×64 사이즈의 조감도 이미지로 변환하고, 1개 내지 100개의 조감도 이미지들을 합성하는 경우, 합성 조감도 이미지 생성을 위한 픽셀 연산량은 대략 16384 내지 1638400 정도이다.The conventional bird's-eye-view image generating apparatus increases the amount of pixel computation for image processing because the previous bird's-eye-view images BEV _t-1 to BEV _t-4 must be rotated when the composite bird's-eye-view image CBEV _t is generated. For example, when a camera image is converted into a bird's-eye-view image of 256 × 64 size and 1 to 100 bird's-eye images are synthesized, a pixel calculation amount for generating the bird's-eye view image is about 16384 to 1638400.

차량은 조감도 이미지 생성 장치의 적용을 고려한 경우 고사양의 처리 장치(예를 들면, CPU, MPU, GPU)가 적용되기 때문에 상술한 연산량이 문제가 되지 않을 수 있다.When considering the application of the bird's-eye view image generating device, the above-described calculation amount may not be a problem because a high-spec processing device (for example, CPU, MPU, GPU) is applied.

하지만, 최근의 차량은 차량 상태, 주행 정보 등을 이미지화하여 제공하고, 다양한 정보를 처리하기 때문에, 연산량의 증가로 인해 제조 비용이 상승하고, 정보 처리에 있어 오류가 발생할 수 있다.However, in recent years, since the vehicle state, driving information, and the like are imaged and provided, and various information is processed, manufacturing cost increases due to an increase in calculation amount, and errors may occur in information processing.

또한, 차량은 조감도 이미지 생성 장치의 적용을 고려하지 않은 경우 저사양의 처리 장치가 적용되기 때문에 조감도 이미지의 합성시 동작 속도가 초당 30 프레임이 되지 않는 경우가 발생한다. 이로 인해, 조감도 이미지가 부드럽게 출력되지 않아 운전자가 이질감을 느끼게 되어, 조감도 이미지 생성 장치를 적용하기 어려워질 수 있다.In addition, when the application of the bird's-eye view image generating device is not considered, a low-spec processing device is applied, and thus, when synthesizing the bird's-eye view image, the operation speed may not be 30 frames per second. Due to this, the aerial view image is not smoothly output, so the driver feels heterogeneous, and it may be difficult to apply the aerial view image generating device.

이에, 본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 조감도 이미지 합성시 이미지 합성을 위한 픽셀 연산을 최소화하여 이미지 합성 속도를 향상시키는 것을 목적으로 한다.Accordingly, the bird's-eye-image generating apparatus according to an embodiment of the present invention aims to improve the speed of image synthesis by minimizing pixel operations for image synthesis during bird-eye image synthesis.

이를 위해, 도 2에 도시된 바와 같이, 본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 이전 시점(t-1)에 생성되어 프레임 버퍼(FB)에 저장된 합성 조감도 이미지(CBEV_t-1)에 현재 시점(t)의 조감도 이미지(BEV_t)를 합성하여 현재 시점(t)의 합성 조감도 이미지(CBEV_t)를 생성한다.To this end, as shown in FIG. 2, the bird's-eye-view image generating apparatus according to an embodiment of the present invention is generated in the previous bird's-eye view t-1 and stored in the frame bird's _- eye view image CBEV _t-1 . A bird's-eye view image BEV _{t of} the current time t is synthesized to generate a bird's-eye view image CBEV _t of the current time t.

이때, 본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 이전 시점(t-n)의 합성 조감도 이미지를 회전시키지 않고, 차량의 이동 정보에 따라 현재 시점(t)의 조감도 이미지(BEV_t)를 합성할 위치를 설정한 후, 이전 시점(t-1)의 합성 조감도 이미지(CBEV_t-1)에 조감도 이미지(BEV_t)를 합성하여 현재 시점(t)의 합성 조감도 이미지(CBEV_t)를 생성한다.At this time, the aerial view image generating apparatus according to an embodiment of the present invention does not rotate the composite aerial view image of the previous view point tn, but the position to synthesize the aerial view image BEV _t of the current view point t according to the vehicle movement information After setting, a bird's _- eye view image BEV _t is synthesized from the bird's _- eye view image CBEV _t-1 of the previous viewpoint t-1 to generate a bird's-eye view image CBEV _t of the current viewpoint t.

본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 생성한 합성 조감도 이미지(CBEV_t)를 스케일 조정, 회전 및 수평 이동 등의 이미지 변환한 후 차량의 화면에 출력한다.The bird's-eye-view image generating apparatus according to an embodiment of the present invention converts the generated bird's-eye-view image (CBEV _t ) into an image such as scale adjustment, rotation, and horizontal movement, and outputs it to the vehicle screen.

본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 현재 시점(t)의 합성 조감도 이미지(CBEV_t)를 생성하기 위해서 현재 시점(t)의 조감도 이미지(BEV_t)만을 합성하고 합성 조감도 이미지(CBEVt)에 대한 이미지 변환을 수행하기 때문에 이미지 처리를 위한 픽셀 연산량이 종래에 비해 감소하게 된다. The bird's-eye view image generating apparatus according to an embodiment of the present invention synthesizes only the bird's-eye view image BEV _t of the current time t to generate a composite bird's-eye view image CBEV _{t of the} current time t, and the bird's-eye view image CBEVt Since the image conversion for is performed, the amount of pixel computation for image processing is reduced compared to the prior art.

일례로, 카메라 영상을 256×64 사이즈의 조감도 이미지로 변환하고, 이전 시점(t-1)의 합성 조감도 이미지(CBEV_t-1)와 현재 시점(t)의 조감도 이미지(BEV_t)를 합성하기 때문에 합성 조감도 이미지 생성을 위한 픽셀 연산량은 대략 147456 정도이다.As an example, converting a camera image into a bird's-eye view image of size 256 × 64 and compositing a bird's _- eye view image (CBEV _t-1 ) from the previous view (t-1) and a bird's _- eye view image (BEV _t ) from the current view (t) Therefore, the amount of pixel computation for generating a composite aerial view image is approximately 147456.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 조감도 이미지 생성 장치를 설명한다.Hereinafter, an aerial view image generating apparatus according to an embodiment of the present invention will be described with reference to the accompanying drawings.

도 3을 참조하면, 조감도 이미지 생성 장치(100)는 카메라 이미지 저장부(110), 조감도 이미지 생성부(120), 이동 정보 검출부(130), 합성 조감도 이미지 생성부(140) 및 출력 조감도 이미지 검출부(160)를 포함한다.Referring to FIG. 3, the bird's-eye-view image generating apparatus 100 includes a camera image storage unit 110, a bird's-eye-viewer image generating unit 120, a movement information detector 130, a composite bird's-eye-image generator 140 and an output bird's-eye-image detector 160.

카메라 이미지 저장부(110)는 차량(10)에 장착된 카메라(12)로부터 각 시점에 촬영된 카메라 이미지들이 저장될 수 있다. 카메라 이미지 저장부(110)는 카메라 이미지들에 생성 시점 정보를 연계하여 저장할 수 있다. 생성 시점 정보는 카메라 이미지의 촬영 시점인 것을 일례로 한다. 여기서, 카메라(12)는 복수개가 포함될 수 있으며, 그 설치 위치도 특정 위치로 제한되지 않는다. 즉, 본 발명의 일 실시예에 따른 조감도 이미지 생성 장치(100)는 카메라(12)의 종류, 설치 위치 및 개수에 관계없이 적용될 수 있다.The camera image storage unit 110 may store camera images captured at each time point from the camera 12 mounted on the vehicle 10. The camera image storage unit 110 may store camera images in association with creation time information. The creation time information is taken as an example when the camera image is taken. Here, a plurality of cameras 12 may be included, and the installation location is not limited to a specific location. That is, the aerial view image generating apparatus 100 according to an embodiment of the present invention can be applied regardless of the type, installation location, and number of the cameras 12.

카메라 이미지 저장부(110)는 조감도 이미지 생성부(120)에서 생성된 조감도 이미지를 저장할 수도 있다. 이때, 카메라 이미지 저장부(110)는 조감도 이미지의 생성 시점 또는 촬영 시점을 조감도 이미지와 연계하여 저장한다.The camera image storage unit 110 may store a bird's-eye view image generated by the bird's-eye view image generator 120. At this time, the camera image storage unit 110 stores a creation time point or a shooting time point of the bird's-eye view image in association with the bird's-eye view image.

조감도 이미지 생성부(120)는 카메라 이미지를 이용하여 현재 시점의 조감도 이미지를 생성한다. 조감도 이미지 생성부(120)는 카메라 이미지를 시점 변환하여 조감도 이미지를 생성한다. 조감도 이미지는 별도의 저장부(미도시) 또는 카메라 이미지 저장부(110)에 저장될 수 있다.The bird's-eye-view image generator 120 generates a bird's-eye-view image of the current viewpoint using the camera image. The bird's-eye-view image generator 120 generates a bird's-eye-view image by converting the camera image into a viewpoint. Aerial view images may be stored in a separate storage unit (not shown) or the camera image storage unit 110.

예를 들어, 조감도 이미지 생성부(120)는 카메라 이미지를 투시 변환하여 조감도 이미지를 생성할 수 있다. 조감도 이미지 생성부(120)는 지면상의 이미지의 위치 데이터가 카메라(12)의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다.For example, the bird's-eye-view image generation unit 120 may generate a bird's-eye-view image by perspective-transforming the camera image. The bird's-eye-view image generating unit 120 may perform perspective transformation in such a way that the position data of the image on the ground is projected from the position R of the camera 12 onto the screen plane T having the focal length f.

조감도 이미지 생성부(120)는 상술한 방법 이외에도 다양한 방법으로 조감도 이미지를 생성할 수 있다.The bird's-eye-view image generating unit 120 may generate the bird's-eye-view image in various ways in addition to the above-described method.

이동 정보 검출부(130)는 차량(10)의 이동 정보를 검출한다. 이동 정보 검출부(130)는 차량(10)의 이동 거리, 이동 방향(각도) 등을 포함하는 이동 정보를 검출할 수 있다.The movement information detection unit 130 detects movement information of the vehicle 10. The movement information detection unit 130 may detect movement information including a movement distance of the vehicle 10, a movement direction (angle), and the like.

이동 정보 검출부(130)는 조감도 이미지 생성부(120)에서 생성된 조감도 이미지를 이용하여 이동 정보를 검출할 수 있다. 이동 정보 검출부(130)는 현재 시점과 이전 시점의 조감도 이미지들을 비교하여 차량(10)의 이동 거리, 이동 방향(각도) 등을 검출한다. The movement information detection unit 130 may detect movement information using the aerial view image generated by the aerial view image generation unit 120. The movement information detector 130 detects a moving distance, a moving direction (angle), and the like of the vehicle 10 by comparing the aerial view images of the current viewpoint and the previous viewpoint.

예를 들어, 이동 정보 검출부(130)는 현재 시점의 조감도 이미지 및 이전 시점의 조감도 이미지를 검출한다.For example, the movement information detection unit 130 detects a bird's-eye view image of the current view point and a bird's-eye view image of the previous view point.

이동 정보 검출부(130)는 검출한 2개의 조감도 이미지들로부터 비교 대상을 검출한다. 이때, 이동 정보 검출부(130)는 조감도 이미지들에 모두 포함된 객체, 특징점, 이미지 등을 비교 대상으로 검출한다.The movement information detector 130 detects a comparison target from two detected bird's-eye images. At this time, the movement information detector 130 detects objects, feature points, images, and the like included in all the bird's-eye images as comparison objects.

이동 정보 검출부(130)는 검출한 비교 대상들의 매칭 과정을 통해 두 시점 간 차량(10)의 이동 정보를 검출한다. 이때, 현재 시점을 제1 시점이라고 하고, 이전 시점을 제2 시점이라고 할 때, 이동 정보 검출부(130)는 제1 시점의 조감도 이미지에 포함된 비교 대상과 제2 시점의 조감도 이미지에 포함된 비교 대상을 매칭함으로써, 차량(10)의 이동 정보를 검출할 수 있다.The movement information detection unit 130 detects movement information of the vehicle 10 between two viewpoints through a matching process of the detected comparison objects. At this time, when the current time point is referred to as the first time point and the previous time point is referred to as the second time point, the movement information detector 130 compares the comparison object included in the bird's-eye view image of the first time point and the bird's-eye view image of the second time point. By matching objects, movement information of the vehicle 10 can be detected.

이동 정보 검출부(130)는 차량(10)에 설치된 각종 센서(14)들의 센싱값을 이용하여 이동 정보를 검출할 수도 있다. 일례로, 이동 정보 검출부(130)는 차량(10)에 장착된 휠 펄스 센서의 감지값을 근거로 차량(10)의 이동 거리를 검출하고, 조향 각도 센서의 검출 조향 각도 값을 근거로 이동 방향(각도)을 검출할 수 있다.The movement information detection unit 130 may detect movement information using sensing values of various sensors 14 installed in the vehicle 10. In one example, the movement information detection unit 130 detects a movement distance of the vehicle 10 based on the detected value of the wheel pulse sensor mounted on the vehicle 10, and the movement direction based on the detected steering angle value of the steering angle sensor (Angle) can be detected.

이동 정보 검출부(130)는 상술한 방법 이외에도 다양한 방법으로 이동 정보를 검출할 수 있다.The movement information detection unit 130 may detect movement information in various ways in addition to the above-described method.

합성 조감도 이미지 생성부(140)는 이전 시점에 생성된 합성 조감도 이미지를 관리한다. 합성 조감도 이미지 생성부(140)는 복수의 텍스쳐(155)를 프레임 버퍼(150)를 통해 이전 시점의 합성 조감도 이미지를 관리한다. The composite aerial view image generator 140 manages the composite aerial view image generated at a previous time. The composite aerial view image generator 140 manages the composite aerial view image of the previous view through the frame buffer 150 of the plurality of textures 155.

이때, 도 4를 참조하면, 프레임 버퍼(150)가 단일 텍스쳐(155)로 구성된 경우, 합성 조감도 이미지가 텍스쳐(155) 영역을 벗어나게 될 수 있다.In this case, referring to FIG. 4, when the frame buffer 150 is composed of a single texture 155, a composite aerial view image may be out of the texture 155 region.

이에, 합성 조감도 이미지 생성부(140)는 복수의 텍스쳐(155)를 N*N 배열로 배치된 프레임 버퍼(150)를 구성한다. 합성 프레임 버퍼(150)는 이전 시점의 합성 조감도 이미지(CBEV_t-1)를 저장한다. 도 5를 참조하면, 합성 조감도 이미지 생성부(140)는 고정된 크기를 갖는 9개의 텍스쳐(155)들이 3행 3열로 배치된 FBO(Frame Buffer Object)인 것을 일례로 한다.Accordingly, the composite aerial view image generator 140 configures the frame buffer 150 in which a plurality of textures 155 are arranged in an N * N arrangement. The composite frame buffer 150 stores a composite bird's _- eye view image (CBEV _t-1 ) of the previous viewpoint. Referring to FIG. 5, the composite bird's-eye view image generating unit 140 is an example in which nine textures 155 having a fixed size are FBOs (Frame Buffer Objects) arranged in 3 rows and 3 columns.

합성 조감도 이미지 생성부(140)는 각각의 텍스쳐(155)의 배치 위치에 따른 물리적 주소를 설정할 수 있다. 합성 조감도 이미지 생성부(140)는 복수의 텍스쳐(155)에 물리적 주소를 설정하고, 하나의 텍스쳐(155)을 기준 텍스쳐(155)로 설정하고, 다른 텍스쳐(155)들에 기준 텍스쳐(155)와의 상대적 위치(주소)를 설정하여 프레임 버퍼(150)를 관리할 수도 있다.The composite aerial view image generator 140 may set a physical address according to the placement position of each texture 155. The composite aerial view image generator 140 sets a physical address to a plurality of textures 155, sets one texture 155 as a reference texture 155, and a reference texture 155 to other textures 155. The frame buffer 150 may be managed by setting a relative position (address) of.

합성 조감도 이미지 생성부(140)는 이동 정보 생성부에서 생성된 이동 정보를 근거로 현재 시점의 합성 조감도 이미지를 생성한다. 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점의 합성 조감도 이미지에 현재 시점의 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성한다. 현재 시점의 합성 조감도 이미지를 생성하는 방법을 상세하게 설명하면 아래와 같다.The composite aerial view image generator 140 generates a composite aerial view image of the current view based on the motion information generated by the motion information generator. The composite aerial view image generator 140 generates a composite aerial view image of the current view by synthesizing the aerial view image of the current view to the composite aerial view image of the previous view stored in the frame buffer 150. The method for generating a composite aerial view image at the present time will be described in detail below.

합성 조감도 이미지 생성부(140)는 이동 정보를 근거로 현재 시점의 조감도 이미지의 합성 위치를 설정한다. 합성 조감도 이미지 생성부(140)는 이동 정보에 포함된 이동 거리, 이동 방향(각도)를 근거로 합성 기준 위치를 설정한다.The composite aerial view image generator 140 sets a composite position of the aerial view image of the current viewpoint based on the movement information. The composite bird's-eye view image generator 140 sets the composite reference position based on the moving distance and the moving direction (angle) included in the moving information.

일례로, 도 6을 참조하면, 차량(10)이 전방으로 제1 거리(D1)만큼 이동한 경우, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점(t-1)의 합성 조감도 이미지(CBEV_t-1) 중에서 차량(10)의 이동 방향에 대응하는 변에서 제1 거리(D1)만큼 이동시킨 선분을 합성 기준 위치(P_th)로 설정한다.For example, referring to FIG. 6, when the vehicle 10 moves forward by a first distance D1, the composite aerial view image generating unit 140 stores the previous view time t-1 stored in the frame buffer 150. A line segment moved by a first distance D1 from a side corresponding to the moving direction of the vehicle 10 in the composite aerial view image CBEV _t-1 is set as the composite reference position P _th .

다른 일례로, 도 7을 참조하면, 차량(10)이 제1 각도(θ1)만큼 좌측 전방 방향으로 회전하면서 제2 거리(D2)만큼 이동한 경우, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점(t-1) 합성 조감도 이미지(CBEV_t-1) 중에서 차량(10)의 이동 방향에 대응하는 변에서 제2 거리(D2)만큼 이동시킨 선분을 제1 각도(θ1)만큼 좌측으로 회전 이동시킨 선분을 합성 기준 위치(P_th)로 설정한다.As another example, referring to FIG. 7, when the vehicle 10 moves by a second distance D2 while rotating in the left front direction by a first angle θ1, the composite aerial view image generator 140 may transmit a frame buffer Among the composite aerial view images (CBEV _t-1 ) stored in the previous view (t-1) stored in (150), the line segment that is moved by the second distance D2 from the side corresponding to the moving direction of the vehicle 10 is the first angle θ1 ), The line segment rotated to the left is set as the composite reference position P _th .

여기서, 합성 조감도 이미지 생성부(140)는 선분을 합성 기준 위치(P_th)로 설정하는 것을 예로 들어 설명하였으나, 이에 한정되지 않고, 하나 이상의 기준점 좌표를 합성 기준 위치로 설정할 수도 있다.Here, the composite aerial view image generation unit 140 has been described as an example in which the line segment is set as the composite reference position P _th , but is not limited thereto, and one or more reference point coordinates may be set as the composite reference position.

즉, 합성 조감도 이미지 생성부(140)는 이전 시점의 조감도 이미지와 현재 시점의 조감도 이미지를 매칭하여 두 조감도 이미지에 공통으로 존재하는 하나 이상의 특징점을 기준점으로 검출하고, 이동 거리를 반영하여 이동시킨 기준점의 좌표를 합성 기준 위치로 설정할 수도 있다.That is, the composite bird's-eye-image generating unit 140 matches the bird's-eye-view image of the previous viewpoint and the bird's-eye-view image of the current viewpoint to detect one or more feature points common to the two bird's-eye images as a reference point, and moves the reference point by reflecting the moving distance. It is also possible to set the coordinates of the as the composite reference position.

합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)의 합성 기준 위치에 현재 시점의 조감도 이미지를 배치한다. 즉, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점의 합성 조감도 이미지에 현재 시점의 조감도 이미지를 배치시켜 이전 시점의 합성 조감도 이미지와 합성함으로써, 현재 시점의 합성 조감도 이미지를 생성한다.The composite bird's-eye-view image generator 140 places the bird's-eye-view image of the current viewpoint at the composite reference position of the frame buffer 150. That is, the composite bird's-eye-image generating unit 140 places the bird's-eye-view image of the current viewpoint on the composite bird's-eye view image stored in the frame buffer 150 and synthesizes it with the bird's-eye view bird's-eye view image. To create.

이때, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 합성 기준 위치를 설정하고, 합성 기준 위치에 현재 시점의 조감도 이미지를 배치함으로써, 합성 조감도 이미지 생성시 이전 시점들의 합성 조감도 이미지를 편집(회전, 이동, 크롭 등)하지 않고, 현재 시점의 조감도 이미지만을 편집하기 때문에, 종래의 조감도 이미지 생성 장치(100)에 비해 픽셀 연산량을 최소화할 수 있다.At this time, the composite aerial view image generating unit 140 sets the composite reference position in the frame buffer 150 and places the aerial view image of the current viewpoint at the composite reference position, thereby editing the composite aerial view images of the previous viewpoints when the composite aerial view image is generated. Since only the bird's-eye view image of the current viewpoint is edited without rotating (moving, moving, cropping, etc.), the amount of pixel calculation can be minimized compared to the conventional bird's-eye view image generating apparatus 100.

합성 조감도 이미지 생성부(140)는 후술할 출력 조감도 이미지 검출부(160)의 출력 조감도 이미지의 검출이 완료된 이후 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지를 이전 시점의 합성 조감도 이미지로 설정한다. 합성 조감도 이미지 생성부(140)는 상술한 합성 조감도 이미지 생성 전에 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지를 이전 시점의 합성 조감도 이미지로 설정할 수도 있다.The composite aerial view image generator 140 sets the composite aerial view image of the current view stored in the frame buffer 150 to the composite aerial view image of the previous view after detection of the output aerial view image of the output aerial view image detector 160 to be described later is completed. . The composite aerial view image generator 140 may set the composite aerial view image of the current view stored in the frame buffer 150 to the composite aerial view image of the previous view before generating the composite aerial view image described above.

출력 조감도 이미지 검출부(160)는 차량(10)의 디스플레이(16)에 출력할 조감도 이미지인 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지 중에서 일부를 크롭(Crop)하여 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 크롭을 통해 현재 시점의 합성 조감도 이미지 중 특정 영역을 출력 조감도 이미지로 검출한다. 출력 조감도 이미지 검출부(160)는 합성 기준 위치를 기준으로 설정된 크기(면적)의 영역을 크롭하여 출력 조감도 이미지를 검출한다. The output aerial view image detector 160 detects an output aerial view image, which is an aerial view image to be output to the display 16 of the vehicle 10. The output aerial view image detector 160 detects an output aerial view image by cropping a portion of the composite aerial view image of the current view stored in the frame buffer 150. The output aerial view image detector 160 detects a specific area of the composite aerial view image of the current viewpoint as an output aerial view image through cropping. The output aerial image detection unit 160 detects an output aerial image by cropping an area of a size (area) set based on the synthesis reference position.

출력 조감도 이미지 검출부(160)는 출력 조감도 이미지에 대한 스케일 조정, 회전, 수평 이동 등의 이미지 변환을 수행한다. 출력 조감도 이미지 검출부(160)는 이미지 변환된 출력 조감도 이미지를 차량(10)의 디스플레이(16)에 출력한다.The output aerial image detection unit 160 performs image conversion such as scaling, rotation, and horizontal movement of the output aerial image. The output aerial view image detection unit 160 outputs the image converted output aerial view image to the display 16 of the vehicle 10.

일례로, 도 8을 참조하면, 출력 조감도 이미지 검출부(160)는 합성 기준 위치를 기준으로 합성 조감도 이미지를 크롭하여 크롭 조감도 이미지(BEV_crop)를 검출한다. 출력 조감도 이미지 검출부(160)는 크롭 조감도 이미지(BEV_crop)의 크기를 차량(10)의 디스플레이(16)에 설정된 크기로 스케일 조정한다. 출력 조감도 이미지 검출부(160)는 차량(10)의 위치를 반영하여 크롭 조감도 이미지(BEV_crop)를 회전 및 수평 이동시켜 출력 조감도 이미지(BEV_output)로 검출한다. 출력 조감도 이미지 검출부(160)는 출력 조감도 이미지(BEV_output)를 차량(10)의 디스플레이(16)에 출력한다.As an example, referring to FIG. 8, the output aerial view image detector 160 crops the composite aerial view image based on the composite reference position to detect the crop aerial image (BEV _crop ). The output aerial view image detector 160 scales the size of the crop aerial image BEV _crop to the size set on the display 16 of the vehicle 10. The output aerial image detection unit 160 reflects the position of the vehicle 10 to rotate and horizontally move the crop aerial image BEV _crop to detect the output aerial image BEBE _output . The output aerial view image detector 160 outputs the output aerial view image BEV _output to the display 16 of the vehicle 10.

이처럼, 조감도 이미지 생성 장치(100)는 조감도 이미지 합성시 이미지 합성을 위한 픽셀 연산을 최소화하여 이미지 합성 속도를 향상시킬 수 있는 효과가 있다.As described above, when the bird's-eye image is synthesized, the bird's-eye-image generating apparatus 100 minimizes pixel operations for image synthesis, thereby improving the image synthesis speed.

또한, 조감도 이미지 생성 장치(100)는 픽셀 연산향을 최소화하여 저사양의 처리 장치가 적용된 차량(10)에서도 조감도 이미지를 이용할 수 있는 효과가 있다.In addition, the aerial view image generating apparatus 100 has an effect that the aerial view image can be used even in the vehicle 10 to which the low-spec processing device is applied by minimizing the pixel computing direction.

한편, 합성 조감도 이미지 생성시 현재 시점의 조감도 이미지의 합성 기준 위치가 프레임 버퍼(150)의 외부에 설정될 수 있다. 합성 기준 위치가 프레임 버퍼(150)의 외부에 설정되면 현재 시점의 조감도 이미지의 일부 또는 전체가 현재 시점의 합성 조감도 이미지에 포함되지 않는다. 그에 따라, 운전자에게 제공되는 출력 조감도 이미지가 현재 상황을 반영하지 못하고 과거 상황만을 표시하게 되어 오히려 운전에 방해가 될 수 있다.Meanwhile, when a composite aerial view image is generated, a composite reference position of the aerial view image at the current time may be set outside the frame buffer 150. When the composite reference position is set outside the frame buffer 150, part or all of the aerial view image of the current view is not included in the composite aerial view image of the current view. Accordingly, the output bird's-eye view image provided to the driver does not reflect the current situation and displays only the past situation, which may interfere with driving.

이에, 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 한다. 합성 조감도 이미지 생성부(140)는 현재 시점의 조감도 이미지의 적어도 일부가 프레임 버퍼(150)의 중앙 영역에 배치되도록 프레임 버퍼(150)의 텍스쳐(155)를 이동시킨다. 합성 조감도 이미지 생성부(140)는 텍스쳐(155)를 수직 이동 또는 수평 이동시켜 현재 시점의 조감도 이미지의 적어도 일부가 프레임 버퍼(150)의 중앙 영역에 배치되도록 한다.Accordingly, the composite aerial view image generator 140 ensures that the composite aerial view image is always arranged in the center of the frame buffer 150. The composite aerial view image generator 140 moves the texture 155 of the frame buffer 150 such that at least a portion of the aerial view image of the current view is disposed in the central region of the frame buffer 150. The composite aerial view image generator 140 moves the texture 155 vertically or horizontally so that at least a portion of the aerial view image of the current view is disposed in the central region of the frame buffer 150.

합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 진행 방향(즉, 차량(10)의 진행 방향)을 고려하여 텍스쳐(155)를 이동시킨다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 최근 합성 위치(즉, 이전 합성 기준 위치)를 고려하여 텍스쳐(155)를 이동시킬 수도 있다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 생성 전 또는 생성 후에 이전 시점의 합성 조감도 이미지의 기준점을 프레임 버퍼(150)의 중앙에 위치시킨다.The composite aerial view image generator 140 moves the texture 155 in consideration of the traveling direction of the composite aerial view image (that is, the traveling direction of the vehicle 10). The composite aerial view image generator 140 may move the texture 155 in consideration of the latest composite position of the composite aerial view image (that is, the previous composite reference position). The composite aerial view image generator 140 places the reference point of the composite aerial view image at the center of the frame buffer 150 before or after the composite aerial view image is generated.

여기서, 텍스쳐(155)의 이동은 텍스쳐(155)에 설정된 물리적 주소를 이동 위치에 대응되는 메모리의 물리적 주소로 변경하는 것일 수 있다. 텍스쳐(155)의 이동은 텍스쳐(155)의 물리적 주소를 유지한체 텍스쳐(155) 간의 상대적 주소를 변경하는 것일 수도 있다.Here, the movement of the texture 155 may be to change the physical address set in the texture 155 to the physical address of the memory corresponding to the movement location. The movement of the texture 155 may be to change the relative address between the textures 155 while maintaining the physical address of the texture 155.

일례로, 도 9를 참조하면, 프레임 버퍼(150)는 제1 텍스쳐(T1) 내지 제9 텍스쳐(T9)가 3행 3열로 배치되어 구성되고, 합성 조감도 이미지(CBEV_t-1)는 제2 텍스쳐(T2) 및 제5 텍스쳐(T5)에 걸쳐 배치된 경우를 가정한다.As an example, referring to FIG. 9, the frame buffer 150 is configured by arranging first textures T1 to ninth textures T9 in three rows and three columns, and the composite aerial view image CBEV _t-1 is second. It is assumed that it is disposed over the texture T2 and the fifth texture T5.

합성 조감도 이미지는 제5 텍스쳐(T5)에서 제2 텍스쳐(T2)로 이동하여 제5 텍스쳐(T5) 및 제2 텍스쳐(T2)의 상하 경계를 넘어서 배치되는 과정이다.The composite bird's-eye view image is a process of moving from the fifth texture T5 to the second texture T2 and arranging beyond the upper and lower boundaries of the fifth texture T5 and the second texture T2.

따라서, 합성 조감도 이미지 생성부(140)는 3행에 배치된 제7 텍스쳐(T7) 내지 제9 텍스쳐(T9)를 제1 텍스쳐(T1) 내지 제3 텍스쳐(T3)의 상부로 수직 이동시킨다.Therefore, the composite aerial view image generator 140 vertically moves the seventh texture T7 to the ninth texture T9 arranged in three rows to the top of the first texture T1 to the third texture T3.

다른 일례로, 도 10을 참조하면, 합성 조감도 이미지는 제4 텍스쳐(T4) 및 제5 텍스쳐(T5)에 걸쳐 배치된 경우를 가정한다.As another example, referring to FIG. 10, it is assumed that the composite aerial view image is disposed over the fourth texture T4 and the fifth texture T5.

합성 조감도 이미지는 제5 텍스쳐(T5)에서 제4 텍스쳐(T4)로 이동하여 제5 텍스쳐(T5) 및 제4 텍스쳐(T4)의 좌우 경계를 넘어서 배치되는 과정이다.The composite bird's-eye view image is a process of moving from the fifth texture T5 to the fourth texture T4 and arranging beyond the left and right boundaries of the fifth texture T5 and the fourth texture T4.

따라서, 합성 조감도 이미지 생성부(140)는 3열에 배치된 제3 텍스쳐(T3), 제6 텍스쳐(T6) 내지 제9 텍스쳐(T9)를 제1 텍스쳐(T1), 제4 텍스쳐(T4) 및 제7 텍스쳐(T7)의 좌측으로 수직 이동시킨다.Therefore, the composite bird's-eye view image generating unit 140 includes the first texture T1, the fourth texture T4, and the third texture T3, the sixth texture T6 to the ninth texture T9 arranged in three rows, and Move vertically to the left of the seventh texture T7.

또 다른 일례로, 도 11을 참조하면, 합성 조감도 이미지가 제1 텍스쳐(T1) 제2 텍스쳐(T2), 제4 텍스쳐(T4) 및 제5 텍스쳐(T5)에 걸쳐 배치된 경우를 가정한다.As another example, referring to FIG. 11, it is assumed that the composite aerial view image is disposed over the first texture T1, the second texture T2, the fourth texture T4, and the fifth texture T5.

합성 조감도 이미지는 제5 텍스쳐(T5)에서 시작하여 제2 텍스쳐(T2)를 거쳐 제1 텍스쳐(T1)로 이동하여 제5 텍스쳐(T5) 및 제2 텍스쳐(T2)의 상하 경계 및 제2 텍스쳐(T2)와 제1 텍스쳐(T1)의 좌우 경계를 넘어서 배치되는 과정이다. The composite aerial view image starts from the fifth texture (T5) and moves through the second texture (T2) to the first texture (T1), and the upper and lower boundaries and the second texture of the fifth texture (T5) and the second texture (T2). It is a process that is arranged beyond the left and right boundaries of (T2) and the first texture (T1).

따라서, 합성 조감도 이미지 생성부(140)는 3행에 배치된 제7 텍스쳐(T7) 내지 제9 텍스쳐(T9)를 제1 텍스쳐(T1) 내지 제3 텍스쳐(T3)의 상부로 수직 이동시킨 후에, 3열에 배치된 제3 텍스쳐(T3), 제6 텍스쳐(T6) 내지 제9 텍스쳐(T9)를 제1 텍스쳐(T1), 제4 텍스쳐(T4) 및 제7 텍스쳐(T7)의 좌측으로 수평 이동시킨다. 이때, 합성 조감도 이미지 생성부(140)는 제3 텍스쳐(T3), 제6 텍스쳐(T6) 내지 제9 텍스쳐(T9)를 수평 이동시킨 후에 제7 텍스쳐(T7) 내지 제9 텍스쳐(T9)를 수직 이동시킬 수도 있다.Therefore, the composite aerial view image generating unit 140 vertically moves the seventh texture T7 to the ninth texture T9 arranged in three rows to the top of the first texture T1 to the third texture T3. , The third texture (T3), the sixth texture (T6) to the ninth texture (T9) arranged in the third row is horizontal to the left of the first texture (T1), the fourth texture (T4) and the seventh texture (T7) To move. In this case, the composite aerial view image generating unit 140 horizontally moves the third texture (T3), the sixth texture (T6) to the ninth texture (T9), and then moves the seventh texture (T7) to the ninth texture (T9). It can also be moved vertically.

이처럼, 조감도 이미지 생성 장치(100)는 합성 조감도 이미지의 이동 방향을 고려하여 텍스쳐(155)를 이동시켜 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 함으로써, 한정된 프레임 버퍼(150)를 이용하여 연속적인 합성 조감도 이미지를 생성할 수 있는 효과가 있다.As described above, the bird's-eye-image generating apparatus 100 moves the texture 155 in consideration of the moving direction of the bird's-eye view image so that the bird's-eye view image is always arranged in the center of the frame buffer 150, thereby limiting the limited frame buffer 150. There is an effect that can generate a continuous composite aerial view image using.

또한, 조감도 이미지 생성 장치(100)는 합성 조감도 이미지의 이동 방향을 고려하여 텍스쳐(155)를 이동시켜 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 함으로써, 현재 상황이 반영되지 않은 합성 조감도 이미지를 운전자에게 제공하는 것을 방지할 수 있는 효과가 있다In addition, the bird's-eye-image generating apparatus 100 moves the texture 155 in consideration of the moving direction of the bird's-eye view image so that the bird's-eye view image is always arranged in the center of the frame buffer 150, so that the current situation is not reflected. It has the effect of preventing the aerial view image from being provided to the driver.

도 12를 참조하여 본 발명의 실시 예에 따른 조감도 이미지 생성 방법을 설명하면 아래와 같다.A method for generating an aerial view image according to an embodiment of the present invention will be described with reference to FIG. 12 as follows.

조감도 이미지 생성부(120)는 현재 시점(t)의 카메라 이미지를 획득한다(S100). 조감도 이미지 생성부(120)는 카메라 이미지 저장부(110)에 저장된 카메라 이미지들 중에서 현재 시점(t)에 대응하는 카메라 이미지를 획득한다.The bird's-eye-view image generator 120 acquires the camera image at the current time t (S100). The bird's-eye view image generation unit 120 acquires a camera image corresponding to the current viewpoint t from among the camera images stored in the camera image storage unit 110.

조감도 이미지 생성부(120)는 획득한 카메라 이미지를 이용하여 조감도 이미지를 생성한다(S200). 조감도 이미지 생성부(120)는 현재 시점의 조감도 이미지를 생성한다. 조감도 이미지 생성부(120)는 카메라 이미지를 투시 변환하여 조감도 이미지를 생성할 수 있다. 조감도 이미지 생성부(120)는 지면상의 이미지의 위치 데이터가 카메라(12)의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다. 조감도 이미지 생성부(120)는 상술한 방법 이외에도 다양한 방법으로 조감도 이미지를 생성할 수 있다.The bird's-eye-view image generator 120 generates a bird's-eye-view image using the acquired camera image (S200). The bird's-eye-view image generation unit 120 generates a bird's-eye-view image of the current viewpoint. The bird's-eye-view image generation unit 120 may generate a bird's-eye-view image by perspective-transforming the camera image. The bird's-eye-view image generating unit 120 may perform perspective transformation in such a way that the position data of the image on the ground is projected from the position R of the camera 12 onto the screen plane T having the focal length f. The bird's-eye-view image generating unit 120 may generate the bird's-eye-view image in various ways in addition to the above-described method.

이동 정보 검출부(130)는 차량(10)의 이동 정보를 검출한다(S300). 이동 정보 검출부(130)는 차량(10)의 이동 거리, 이동 방향(각도) 등을 포함하는 이동 정보를 검출할 수 있다. 이동 정보 검출부(130)는 조감도 이미지 생성부(120)에서 생성된 조감도 이미지를 이용하여 이동 정보를 검출할 수 있다. 이동 정보 검출부(130)는 현재 시점과 이전 시점의 조감도 이미지들을 비교하여 차량(10)의 이동 거리, 이동 방향(각도) 등을 검출한다. The movement information detection unit 130 detects movement information of the vehicle 10 (S300). The movement information detection unit 130 may detect movement information including a movement distance of the vehicle 10, a movement direction (angle), and the like. The movement information detection unit 130 may detect movement information using the aerial view image generated by the aerial view image generation unit 120. The movement information detector 130 detects a moving distance, a moving direction (angle), and the like of the vehicle 10 by comparing the aerial view images of the current viewpoint and the previous viewpoint.

이동 정보 검출부(130)는 차량(10)에 설치된 각종 센서(14)들의 센싱값을 이용하여 이동 정보를 검출할 수도 있다. 일례로, 이동 정보 검출부(130)는 차량(10)에 장착된 휠 펄스 센서(14)의 감지값을 근거로 차량(10)의 이동 거리를 검출하고, 조향 각도 센서(14)의 검출 조향 각도 값을 근거로 이동 방향(각도)을 검출할 수 있다.The movement information detection unit 130 may detect movement information using sensing values of various sensors 14 installed in the vehicle 10. In one example, the movement information detection unit 130 detects the movement distance of the vehicle 10 based on the detected value of the wheel pulse sensor 14 mounted on the vehicle 10, and detects the steering angle of the steering angle sensor 14 The moving direction (angle) can be detected based on the value.

합성 조감도 이미지 생성부(140)는 차량(10)의 이동 정보를 근거로 현재 시점(t)의 합성 조감도 이미지를 생성한다(S400). 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점의 합성 조감도 이미지에 S200 단계에서 생성된 현재 시점의 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성한다.The composite aerial view image generating unit 140 generates a composite aerial view image of the current viewpoint t based on the movement information of the vehicle 10 (S400). The composite aerial view image generator 140 generates a composite aerial view image of the current view by synthesizing the aerial view image of the current view generated in step S200 on the composite aerial view image of the previous view stored in the frame buffer 150.

도 13을 참조하여 조감도 이미지 생성 단계는 합성 기준 위치 설정 단계 및 조감도 이미지 배치 단계를 포함할 수 있다.Referring to FIG. 13, the aerial view image generation step may include a synthesis reference position setting step and a bird's-eye view image placement step.

합성 기준 위치 설정 단계(S410)에서, 합성 조감도 이미지 생성부(140)는 이동 정보를 근거로 합성 기준 위치를 설정한다. 이전 시점의 합성 조감도 이미지는 프레임 버퍼(150)에 저장되어 있으며, 합성 조감도 이미지 생성부(140)는 이동 정보를 근거로 현재 시점의 조감도 이미지의 합성 기준 위치를 설정한다. 이때, 합성 조감도 이미지 생성부(140)는 이동 정보에 포함된 이동 거리, 이동 방향(각도)를 근거로 합성 기준 위치를 설정한다.In the synthesis reference position setting step (S410), the composite aerial view image generator 140 sets the composite reference position based on the movement information. The composite aerial view image of the previous view is stored in the frame buffer 150, and the composite aerial view image generation unit 140 sets the composite reference position of the aerial view image of the current view based on the movement information. At this time, the composite aerial view image generator 140 sets the composite reference position based on the moving distance and the moving direction (angle) included in the moving information.

합성 조감도 이미지 생성부(140)는 이전 시점의 합성 조감도 이미지 중에서 차량(10)의 이동 방향에 대응하는 변에서 차량(10)의 이동 거리 및 이동 방향을 고려하여 이동시킨 선분을 합성 기준 위치로 설정한다. The composite aerial view image generating unit 140 sets the line segment moved in consideration of the moving distance and the moving direction of the vehicle 10 from the side corresponding to the moving direction of the vehicle 10 among the composite aerial view images of the previous viewpoint as the composite reference position do.

합성 조감도 이미지 생성부(140)는 이전 시점의 조감도 이미지와 현재 시점의 조감도 이미지를 매칭하여 두 조감도 이미지에 공통으로 존재하는 하나 이상의 특징점을 기준점으로 검출하고, 이동 거리를 반영하여 이동시킨 기준점의 좌표를 합성 기준 위치로 설정할 수도 있다.The composite bird's-eye-image generating unit 140 matches the bird's-eye-view image of the previous viewpoint with the bird's-eye-view image of the current viewpoint to detect one or more feature points common to the two bird's-eye images as a reference point, and coordinates of the reference point moved by reflecting a moving distance May be set as a composite reference position.

조감도 이미지 배치 단계(S420)에서, 합성 조감도 이미지 생성부(140)는 설정된 합성 기준 위치를 근거로 프레임 버퍼(150)에 현재 시점의 조감도 이미지를 배치한다. 조감도 이미지 생성부(120)는 현재 시점의 조감도 이미지를 합성 기준 위치에 배치하여 이전 시점의 합성 조감도 이미지에 현재 시점의 조감도 이미지를 합성한다. 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150) 상에서 합성 조감도 이미지와 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성한다.In the step S420 of arranging the aerial view image, the composite aerial view image generating unit 140 arranges the aerial view image of the current viewpoint in the frame buffer 150 based on the set composite reference position. The bird's-eye-view image generating unit 120 places the bird's-eye-view image of the current viewpoint at the composition reference position, and synthesizes the bird's-eye view image of the current viewpoint to the bird's-eye view of the previous viewpoint. The composite bird's-eye-image generating unit 140 synthesizes the bird's-eye view image and the bird's-eye view image on the frame buffer 150 to generate a bird's-eye view image at the current time.

이처럼, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)의 합성 기준 위치에 현재 시점의 조감도 이미지를 배치시켜 이전 시점의 합성 조감도 이미지와 합성함으로써, 현재 시점의 합성 조감도 이미지를 생성한다. 이때, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 합성 기준 위치를 설정하고, 합성 기준 위치에 현재 시점의 조감도 이미지를 배치함으로써, 합성 조감도 이미지 생성시 이전 시점들의 합성 조감도 이미지를 편집(회전, 이동, 크롭 등)하지 않고, 현재 시점의 조감도 이미지만을 편집하기 때문에, 종래의 조감도 이미지 생성 장치(100)에 비해 픽셀 연산량을 최소화할 수 있다.As described above, the composite aerial view image generator 140 generates a composite aerial view image of the current view by placing the aerial view image of the current view at the composition reference position of the frame buffer 150 and synthesizing it with the composite aerial view image of the previous view. At this time, the composite aerial view image generating unit 140 sets the composite reference position in the frame buffer 150 and places the aerial view image of the current viewpoint at the composite reference position, thereby editing the composite aerial view images of the previous viewpoints when the composite aerial view image is generated. Since only the bird's-eye view image of the current viewpoint is edited without rotating (moving, moving, cropping, etc.), the amount of pixel calculation can be minimized compared to the conventional bird's-eye view image generating apparatus 100.

합성 조감도 이미지 생성부(140)는 후술할 출력 조감도 이미지 검출부(160)의 출력 조감도 이미지의 검출이 완료된 이후 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지를 이전 시점의 합성 조감도 이미지로 설정한다. 합성 조감도 이미지 생성부(140)는 상술한 합성 조감도 이미지 생성 전에 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지를 과거 시점의 합성 조감도 이미지로 설정할 수도 있다.The composite aerial view image generator 140 sets the composite aerial view image of the current view stored in the frame buffer 150 to the composite aerial view image of the previous view after detection of the output aerial view image of the output aerial view image detector 160 to be described later is completed. . The composite aerial view image generator 140 may set the composite aerial view image of the current view stored in the frame buffer 150 to the composite aerial view image of the past view before generating the composite aerial view image.

한편, 합성 조감도 이미지 생성시 현재 조감도 이미지의 합성 기준 위치가 프레임 버퍼(150)의 외부에 설정될 수 있다. 합성 기준 위치가 프레임 버퍼(150)의 외부에 설정되면 현재 조감도 이미지의 일부 또는 전체가 현재 합성 조감도 이미지에 포함되지 않는다. 그에 따라, 운전자에게 제공되는 출력 조감도 이미지가 현재 상황을 반영하지 못하고 과거 상황만을 표시하게 되어 오히려 운전에 방해가 될 수 있다.Meanwhile, when a composite aerial view image is generated, a composite reference position of the current aerial view image may be set outside the frame buffer 150. When the composite reference position is set outside the frame buffer 150, part or all of the current aerial view image is not included in the current composite aerial view image. Accordingly, the output bird's-eye view image provided to the driver does not reflect the current situation and displays only the past situation, which may interfere with driving.

이에, 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 한다. 합성 조감도 이미지 생성부(140)는 현재 조감도 이미지의 적어도 일부가 프레임 버퍼(150)의 중앙 영역에 배치되도록 프레임 버퍼(150)의 텍스쳐(155)를 이동시킨다. 합성 조감도 이미지 생성부(140)는 텍스쳐(155)를 수직 이동 또는 수평 이동시켜 현재 조감도 이미지의 적어도 일부가 프레임 버퍼(150)의 중앙 영역에 배치되도록 한다.Accordingly, the composite aerial view image generator 140 ensures that the composite aerial view image is always arranged in the center of the frame buffer 150. The composite aerial view image generator 140 moves the texture 155 of the frame buffer 150 such that at least a portion of the current aerial view image is disposed in the central region of the frame buffer 150. The composite aerial view image generating unit 140 vertically or horizontally moves the texture 155 so that at least a portion of the current aerial view image is disposed in the central region of the frame buffer 150.

합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 진행 방향(즉, 차량(10)의 진행 방향)을 고려하여 텍스쳐(155)를 이동시킨다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 최근 합성 위치(즉, 이전 합성 기준 위치)를 고려하여 텍스쳐(155)를 이동시킬 수도 있다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 생성 전 또는 생성 후에 과거 합성 조감도 이미지의 기준점을 프레임 버퍼(150)의 중앙에 위치시킨다.The composite aerial view image generator 140 moves the texture 155 in consideration of the traveling direction of the composite aerial view image (that is, the traveling direction of the vehicle 10). The composite aerial view image generator 140 may move the texture 155 in consideration of the latest composite position of the composite aerial view image (that is, the previous composite reference position). The composite aerial view image generating unit 140 places the reference point of the past composite aerial view image in the center of the frame buffer 150 before or after the composite aerial view image is generated.

도 14를 참조하면, 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 텍스쳐(155) 상하 경계 이동 여부를 판단한다. 합성 조감도 이미지 생성부(140)는 현재 시점의 조감도 이미지가 합성된 위치가 텍스쳐(155)들의 상하 경계를 넘어서 이동한 것인지 여부를 판단한다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 이동 경로(즉, 조감도 이미지들의 배치 위치 변화)를 근거로 상하 경계 이동 여부를 판단할 수도 있다.Referring to FIG. 14, the composite aerial view image generator 140 determines whether the texture 155 of the composite aerial view image moves up or down. The composite aerial view image generator 140 determines whether the position where the aerial view image is synthesized at the current point of view has moved beyond the upper and lower boundaries of the textures 155. The composite aerial view image generator 140 may determine whether to move the upper and lower borders based on a moving path of the composite aerial view image (ie, a change in the arrangement position of the aerial view images).

합성 조감도 이미지가 텍스쳐(155)들의 상하 경계를 넘어 이동한 것으로 판단하면(S430; 예), 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)의 텍스쳐(155)들 중 일부를 수직 이동시킨다(S440). 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 행의 텍스쳐(155)들을 조감도 이미지가 합성된 방향으로 수직 이동시킨다.If it is determined that the composite aerial view image has moved beyond the upper and lower boundaries of the textures 155 (S430; YES), the composite aerial view image generating unit 140 vertically moves some of the textures 155 of the frame buffer 150. (S440). The composite aerial view image generator 140 vertically moves the textures 155 of one row arranged in a direction opposite to the direction in which the aerial view image of the current viewpoint is synthesized in the composite aerial view image in the direction in which the aerial view image is synthesized.

합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 텍스쳐(155) 좌우 경계 이동 여부를 판단한다. 합성 조감도 이미지 생성부(140)는 현재 시점의 조감도 이미지가 합성된 위치가 텍스쳐(155)들의 좌우 경계를 넘어서 이동한 것인지 여부를 판단한다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 이동 경로(즉, 조감도 이미지들의 배치 위치 변화)를 근거로 좌우 경계 이동 여부를 판단할 수도 있다.The composite aerial view image generating unit 140 determines whether to move the left and right borders of the texture 155 of the composite aerial view image. The composite aerial view image generator 140 determines whether the position where the aerial view image is synthesized at the current point of view has moved beyond the left and right boundaries of the textures 155. The composite aerial view image generator 140 may determine whether to move the left and right borders based on a moving path of the composite aerial view image (ie, a change in the arrangement position of the aerial view images).

합성 조감도 이미지가 텍스쳐(155)들의 좌우 경계를 넘어 이동한 것으로 판단하면(S450; 예), 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)의 텍스쳐(155)들 중 일부를 수평 이동시킨다(S460). 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 행의 텍스쳐(155)들을 조감도 이미지가 합성된 방향으로 수평 이동시킨다.When it is determined that the composite aerial view image has moved beyond the left and right boundaries of the textures 155 (S450; YES), the composite aerial view image generator 140 horizontally moves some of the textures 155 of the frame buffer 150. (S460). The composite aerial view image generator 140 horizontally moves the textures 155 of one row arranged in a direction opposite to the direction in which the aerial view image of the current viewpoint is synthesized in the composite aerial view image in the direction in which the aerial view image is synthesized.

여기서, 도 14에서는 합성 조감도 이미지를 생성한 후 텍스쳐(155)들을 이동시키는 것으로 기재하고 있으나, 이에 한정되지 않고 합성 조감도 이미지 생성 전에 수행될 수도 있다.Here, in FIG. 14, it is described as moving the textures 155 after generating the composite aerial view image, but is not limited thereto, and may be performed before the composite aerial view image is generated.

또한, 조감도 이미지 생성 장치(100)는 합성 조감도 이미지의 이동 방향을 고려하여 텍스쳐(155)를 이동시켜 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 함으로써, 현재 상황이 반영되지 않은 합성 조감도 이미지를 운전자에게 제공하는 것을 방지할 수 있는 효과가 있다.In addition, the bird's-eye-image generating apparatus 100 moves the texture 155 in consideration of the moving direction of the bird's-eye view image so that the bird's-eye view image is always arranged in the center of the frame buffer 150, so that the current situation is not reflected. This has the effect of preventing the aerial view image from being provided to the driver.

출력 조감도 이미지 검출부(160)는 합성 조감도 이미지를 이용하여 출력 조감도 이미지를 검출하여 차량(10)의 디스플레이(16)를 통해 출력한다(S500). 출력 조감도 이미지 검출부(160)는 차량(10)의 디스플레이(16)에 출력할 조감도 이미지인 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지 중에서 일부를 크롭(Crop)하여 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 크롭을 통해 현재 시점의 합성 조감도 이미지 중 특정 영역을 출력 조감도 이미지로 검출한다. 출력 조감도 이미지 검출부(160)는 합성 기준 위치를 기준으로 설정된 크기(면적)의 영역을 크롭하여 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 출력 조감도 이미지에 대한 스케일 조정, 회전, 수평 이동 등의 이미지 변환을 수행한다. 출력 조감도 이미지 검출부(160)는 이미지 변환된 출력 조감도 이미지를 차량(10)의 디스플레이(16)에 출력한다.The output aerial view image detection unit 160 detects the output aerial view image using the composite aerial view image and outputs it through the display 16 of the vehicle 10 (S500). The output aerial view image detector 160 detects an output aerial view image, which is an aerial view image to be output to the display 16 of the vehicle 10. The output aerial view image detector 160 detects an output aerial view image by cropping a portion of the composite aerial view image of the current view stored in the frame buffer 150. The output aerial view image detector 160 detects a specific area of the composite aerial view image of the current viewpoint as an output aerial view image through cropping. The output aerial image detection unit 160 detects an output aerial image by cropping an area of a size (area) set based on the synthesis reference position. The output aerial image detection unit 160 performs image conversion such as scaling, rotation, and horizontal movement of the output aerial image. The output aerial view image detection unit 160 outputs the image converted output aerial view image to the display 16 of the vehicle 10.

이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.The preferred embodiment according to the present invention has been described above, but it can be modified in various forms, and those skilled in the art can make various modifications and modifications without departing from the claims of the present invention. It is understood that it can be practiced.

100: 조감도 이미지 생성 장치 110: 카메라 이미지 저장부
120: 조감도 이미지 생성부 130: 이동 정보 검출부
140: 합성 조감도 이미지 생성부 150: 프레임 버퍼
155: 텍스쳐 160: 출력 조감도 이미지 검출부100: aerial view image generating device 110: camera image storage unit
120: bird's-eye view image generation unit 130: movement information detection unit
140: bird's-eye view image generating unit 150: frame buffer
155: texture 160: output aerial image detection unit

Claims

In the vehicle aerial view image generating apparatus,
A bird's-eye-image generating unit for generating a bird's-eye-view image of the camera image obtained through the camera of the vehicle;
A movement information detection unit detecting movement information of the vehicle;
The composite bird's-eye view image of the previous view is stored in a frame buffer in which a plurality of textures are disposed, and the bird's-eye view image generated by the bird's-eye-image generating unit is combined with the bird's-eye view image of the previous view to generate the bird's-eye view image A synthesized aerial view image generator; And
And an output bird's-eye-image detector for extracting a specific area from the bird's-eye view image generated by the bird's-eye view image generator and detecting an output bird's-eye view image displayed on the display of the vehicle,
The composite aerial view image generation unit sets the aerial view image of the current view point to the composite aerial view image of the previous view point after the detection of the output aerial view image is completed,
The composite aerial view image generation unit sets one of the plurality of textures as a reference texture, sets a relative position with the reference texture to the remaining textures, and the composite aerial view image crosses a boundary between textures A bird's-eye view image generating apparatus that changes a position relative to the reference texture with respect to at least one of the textures.

According to claim 1,
The movement information detection unit is a bird's eye view image generating device for detecting movement information including the moving distance and the moving direction of the vehicle.

According to claim 1,
The frame buffer is a bird's-eye view image generating apparatus in which the plurality of textures are arranged in a matrix.

delete

According to claim 1,
The synthesized aerial view image generating unit vertically moves at least one of the plurality of textures when the composite aerial view image moves beyond a texture upper and lower boundary.

According to claim 1,
When the composite aerial view image moves beyond the upper and lower boundaries of the texture, the aerial view image of the current view of the composite aerial view image is arranged in a direction opposite to the direction in which the aerial view image is synthesized. Aerial view image generating device to move vertically.

According to claim 1,
The composite bird's-eye-image generating unit horizontally moves at least one of the plurality of textures when the composite bird's-eye image moves beyond the left and right boundaries of the texture.

According to claim 1,
When the synthesized aerial view image moves beyond the left and right boundaries of the texture, the composite aerial view image displays a row of textures arranged in a direction opposite to the direction in which the aerial view image of the current viewpoint is synthesized in the direction in which the aerial view image is synthesized. Aerial view image generating device to move horizontally.

According to claim 1,
The composite bird's-eye-image generating unit moves the part of the plurality of textures to place the bird's-eye-view image synthesized in the bird's-eye view of the previous viewpoint on a texture located in the center of the frame buffer.

According to claim 1,
The composite bird's-eye-image generating unit sets a bird's-eye-view image based on the bird's-eye view of the previous viewpoint and the movement information, and places a bird's-eye view image of the current viewpoint at the bird's-eye reference position.

In the method for generating a bird's-eye view image using the vehicle's bird's-eye view image generating device,
Generating a bird's-eye view image of the camera image acquired through the camera of the vehicle;
Detecting movement information of the vehicle;
Generating a bird's-eye view image of the current view generated in the step of generating the bird's-eye view image from a previous bird's-eye view image stored in a frame buffer in which a plurality of textures are disposed;
Extracting a specific area of the synthesized aerial view image of the current viewpoint and detecting an output aerial view image output to the display of the vehicle;
After the step of detecting the output aerial view image is completed, setting the aerial view image of the current view point to a composite aerial view image of the previous view point and storing it in the frame buffer; And
And moving at least one texture among the plurality of textures based on whether the texture aerial view moves a texture boundary, and
One of the plurality of textures is set as a reference texture, and the remaining textures are set relative to the reference texture,
In the step of moving the texture, a method of generating a bird's-eye view image of changing a relative position of the texture with respect to at least one of the plurality of textures when a composite bird's-eye image crosses a boundary between textures.

The method of claim 11,
In the detecting of the movement information, a bird's-eye view image generating method of detecting movement information including a movement distance and a movement direction of the vehicle.

The method of claim 11,
The frame buffer is a method of generating a bird's-eye view image in which the plurality of textures are matrixed.

delete

The method of claim 11,
The moving of the texture may include vertically moving at least one of the plurality of textures when the composite aerial view image moves beyond a texture upper and lower boundary.

The method of claim 15,
In the step of vertically moving the texture, a method for generating a bird's-eye view image of vertically shifting textures of a row arranged in a direction opposite to a direction in which the bird's-eye view image is synthesized from the current viewpoint among the composite bird's-eye images.

The method of claim 11,
The moving of the texture may include horizontally moving at least one of the plurality of textures when the synthesized aerial view image moves beyond a left and right boundary of the texture.

The method of claim 17,
In the step of horizontally moving the texture, a method for generating a bird's-eye view image of horizontally shifting a row of textures arranged in a direction opposite to a direction in which the bird's-eye view image is synthesized from the current viewpoint among the composite bird's-eye images.

The method of claim 11,
In the step of moving the texture, a bird's-eye image is generated by moving at least one of the plurality of textures to place the bird's-eye view image synthesized in the bird's-eye view image of the previous viewpoint on a texture located in the center of the frame buffer. Way.

The method of claim 11,
The step of generating the composite aerial view image,
Setting a composite reference position based on the composite aerial view image of the previous viewpoint and the movement information; And
And placing a bird's-eye view image of the current viewpoint at the composite reference position.