[go: up one dir, main page]

KR20150011629A - 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법 - Google Patents

물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법 Download PDF

Info

Publication number
KR20150011629A
KR20150011629A KR1020130086823A KR20130086823A KR20150011629A KR 20150011629 A KR20150011629 A KR 20150011629A KR 1020130086823 A KR1020130086823 A KR 1020130086823A KR 20130086823 A KR20130086823 A KR 20130086823A KR 20150011629 A KR20150011629 A KR 20150011629A
Authority
KR
South Korea
Prior art keywords
image
vehicle
surround view
view image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020130086823A
Other languages
English (en)
Other versions
KR101551697B1 (ko
Inventor
박호성
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020130086823A priority Critical patent/KR101551697B1/ko
Publication of KR20150011629A publication Critical patent/KR20150011629A/ko
Application granted granted Critical
Publication of KR101551697B1 publication Critical patent/KR101551697B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법 및 차량의 어라운드 뷰 제공 방법이 제공된다. 상기 물체의 윤곽을 표시하는 어라운드 뷰 시스템은 차량의 전방, 후방, 좌측, 우측을 각각 촬영하는 복수의 영상촬영부, 상기 차량의 전방, 후방, 좌측, 우측에 위치하는 물체와의 거리를 측정하는 복수의 초음파 센서부, 상기 복수의 영상촬영부가 촬영한 각각의 영상들을 조합하여 어라운드 뷰 영상을 생성하는 AVM 처리부, 및 상기 측정된 물체와의 거리를 이용하여 상기 물체의 윤곽을 판단하고, 상기 어라운드 뷰 영상 상에 상기 물체의 윤곽에 대응되는 이미지를 오버랩하여 어라운드 뷰 영상을 재생성하는 영상처리부를 포함한다.

Description

물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법{AROUND VIEW SYSTEM DISPLAYING OUTLINE OF THE OBJECT AND METHODS PROVIDING AROUND VIEW OF THE VEHICLE}
본 발명은 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법에 관한 것이다. 보다 상세하게는 차량의 외관을 복수의 영상촬영부를 통해 촬영하여 차량의 상태 정보를 제공하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법에 관한 것이다.
자동차 제조사들은 자동차의 운전 성능 개선뿐만 아니라, 안전에 필요한 다양한 장치들을 자동차에 채용함으로써, 운전자의 편의 및 안전운전을 도모하고 있다. 이중 하나가 후방감지시스템으로서, 차량의 후진시 운전자들이 겪는 어려움을 해소하기 위하여 후방 카메라가 채용됨으로써 운전자는 후진시 후방 카메라를 통해 차량의 후방부를 확인할 수 있게 되었다.
최근에는 후방뿐만 아니라,　자동차의 전방, 좌측 및 우측에도 카메라가 장착되어 운전자가 주차 또는 주행시에 전후좌우를 모두 확인하며 안전운행을 할 수 있도록 도와주고 있다. 일반적으로,　자동차의 전후좌우에 장착된 카메라를 이용하여 운전자에게 통합된 영상신호를 제공해주는 시스템을 어라운드 뷰 모니터 시스템(Around View Monitor System)이라 한다.
이와 같은 AVM시스템에서 노이즈 등에 의해 높은 화질의 카메라 영상을 얻지 못하는 경우 차량 주변 물체의 식별이 어려울 수 있고, 카메라 중 일부가 고장이 난 경우, 해당 촬영 영역 상의 물체를 파악하지 못하는 문제점이 있었다.
대한민국등록특허 제01249791호
본 발명이 해결하려는 과제는, 노이즈 등에 의해 높은 화질의 카메라 영상을 얻지 못하는 경우 또는 카메라 중 일부가 고장이 난 경우에도, 어라운드 뷰 영상 상에서 물체를 파악할 수 있도록 하는 어라운드 뷰 시스템 및 어라운드 뷰 제공 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 물체의 윤곽을 표시하는 어라운드 뷰 시스템의 일 태양은 차량의 전방, 후방, 좌측, 우측을 각각 촬영하는 복수의 영상촬영부, 상기 차량의 전방, 후방, 좌측, 우측에 위치하는 물체와의 거리를 측정하는 복수의 초음파 센서부, 상기 복수의 영상촬영부가 촬영한 각각의 영상들을 조합하여 어라운드 뷰 영상을 생성하는 AVM(Around View Monitor) 처리부 및 상기 측정된 물체와의 거리를 이용하여 상기 물체의 윤곽을 판단하고, 상기 어라운드 뷰 영상 상에 상기 물체의 윤곽에 대응되는 이미지를 오버랩하여 어라운드 뷰 영상을 재생성하는 영상처리부를 포함한다.
또한, 상기 영상처리부는 상기 물체가 존재하지 않는 때에는 상기 어라운드 뷰 영상을 재생성하지 않는다.
또한, 상기 영상처리부는 상기 복수의 영상촬영부 중 일부가 고장인 경우에만 상기 어라운드 뷰 영상을 재생성한다.
또한, 상기 영상처리부는 상기 어라운드 뷰 영상 중 상기 고장인 영상촬영부의 촬영 영역 상에 상기 이미지를 오버랩하여 어라운드 뷰 영상을 재생성한다.
또한, 상기 영상처리부는 사용자 입력에 따라 선택적으로 상기 어라운드 뷰 영상을 재생성한다.
또한, 상기 재생성된 어라운드 뷰 영상을 표시하는 디스플레이부를 더 포함한다.
상기 과제를 해결하기 위한 본 발명의 물체의 윤곽을 표시하는 차량의 어라운드 뷰 제공 방법의 일 태양은 복수의 영상촬영부로부터 촬영된 각각의 영상들을 수신하는 단계, 복수의 초음파 센서부로부터 측정된 차량과 물체와의 거리를 수신하는 단계, AVM 처리부에서 상기 수신된 각각의 영상들을 조합하여 어라운드 뷰 영상을 생성하는 단계, 영상처리부에서 상기 측정된 물체와의 거리를 이용하여 상기 물체의 윤곽을 판단하고, 상기 어라운드 뷰 영상 상에 상기 물체의 윤곽에 대응되는 이미지를 오버랩하여 어라운드 뷰 영상을 재생성하는 단계, 및 상기 재생성된 어라운드 뷰 영상을 디스플레이하는 단계를 포함한다.
또한, 상기 어라운드 뷰 영상을 재생성하는 단계는, 상기 물체가 존재하지 않는 때에는 상기 어라운드 뷰 영상을 재생성하지 않는다.
또한, 상기 어라운드 뷰 영상을 재생성하는 단계는, 상기 복수의 영상촬영부 중 일부가 고장인 경우에만 상기 어라운드 뷰 영상을 재생성한다.
또한, 상기 어라운드 뷰 영상을 재생성하는 단계는, 사용자 입력에 따라 선택적으로 상기 어라운드 뷰 영상을 재생성한다.
상기 본 발명의 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법에 따르면, 노이즈 등에 의해 높은 화질의 카메라 영상을 얻지 못하는 경우 또는 차량 주변 물체의 식별하지 못하거나 카메라 중 일부가 고장이 난 경우, 재생성된 어라운드 뷰 영상을 이용하여 해당 촬영 영역 상의 물체를 파악하지 못하는 문제점을 해결할 수 있고, 차량이 물체와 부딪혀 손상을 입게 되는 것을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 물체의 윤곽을 표시하는 어라운드 뷰 시스템을 설명하기 위한 도면이다.
도 2a는 도 1의 물체의 윤곽을 표시하는 어라운드 뷰 시스템이 설치된 차량에서, 차량 주위에 장애물이 없는 경우의 어라운드 뷰 영상을 설명하기 위한 도면이다.
도 2b는 도 1의 물체의 윤곽을 표시하는 어라운드 뷰 시스템이 설치된 차량에서, 차량 주위에 장애물이 있는 경우의 어라운드 뷰 영상을 설명하기 위한 도면이다.
도 3는 도 1의 물체의 윤곽을 표시하는 어라운드 뷰 시스템이 설치된 차량에서, 영상촬영부 중 일부가 고장난 경우, 해당 촬영 영역 상의 물체의 윤곽에 대응되는 이미지를 오버랩하는 것을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 물체의 윤곽을 표시하는 차량의 어라운드 뷰 제공 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양 한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 물체의 윤곽을 표시하는 어라운드 뷰 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 물체의 윤곽을 표시하는 어라운드 뷰 시스템(1)은 영상촬영부(100), 초음파 센서부(200), AVM 처리부(300), 영상처리부(400), 디스플레이부(500)를 포함한다.
영상촬영부(100)는 차량에 장착된 복수의 카메라를 포함한다. 복수의 카메라는 차량의 전방, 후방, 좌측, 우측의 영상을 각각 촬영하여, 촬영된 영상을 AVM(Around View Monitor) 처리부에 송신한다. 영상촬영부(100)는 차량의 전방, 후방, 좌측, 우측에 각각 한 개 이상의 영상촬영부(100)가 배치될 수 있다. 그리고 영상촬영부(100)에서 촬영된 영상은 AVM 처리부(300)에 유선 또는 무선으로 전송된다. 영상촬영부(100)는 일반적인 카메라 외에 광각 카메라, 열화상 카메라, 적외선 카메라 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
초음파 센서부(200)는 차량에 장착된 복수의 센서를 포함한다. 복수의 센서는 차량의 전방, 후방, 좌측, 우측의 물체를 감지하고, 차량과 물체와의 거리를 측정하여, 측정된 데이터를 영상처리부(400)에 송신한다. 통상적으로 차량의 물체 감지장치에는 초음파　센서가 주로 사용되고 있다. 초음파　센서부는 인간의 귀로는 들을 수 없는 20~30㎑의 고주파대 음을 이용하여 차량 주변의 물체의 위치와 거리를 측정하는 센서로써, 물체에 부딪혀 반사되어 되돌아오는 초음파를 감지하여 차량과 물체 간의 거리를 측정한다. 초음파 센서부(200)는 차량의 전방, 후방, 좌측, 우측에 각각 한 개 이상의 초음파 센서부(200)가 배치될 수 있다. 예를 들어, 초음파센서는 차량의 전방, 후방, 좌측, 우측에 각각 네 개가 설치될 수 있다. 다만, 이에 한정되는 것은 아니다. 그리고 초음파 센서부(200)에서 측정한 차량과 물체 간의 거리는 영상처리부(400)에 유선 또는 무선으로 전송된다.
AVM 처리부(300)는 복수의 영상촬영부(100)가 촬영한 각각의 영상들을 조합하여 어라운드 뷰 영상을 생성한다. 구체적으로, AVM 시스템에는 복수의 영상촬영부(100)와 AVM 처리부(300)가 포함되며, 각　카메라의 촬영된 영상이 AVM 처리부(300)로 전송되면, AVM 처리부(300)는 전송된 영상에 대하여 영상 왜곡보정 등의 과정을 거쳐 하나의 어라운드 뷰 영상을 생성한다. 이렇게 생성된 어라운드 뷰 영상은 영상처리부(400)에 유선 또는 무선으로 전송된다.
영상처리부(400)는 AVM 처리부(300)를 통해 생성된 어라운드 뷰 영상을 수신 및 재생성한다. 영상처리부(400)는 복수의 초음파 센서부(200)에서 측정된 차량과 물체와의 거리를 이용하여 물체의 윤곽을 판단하고, 어라운드 뷰 영상 상에 상기 물체의 윤곽에 대응되는 이미지를 오버랩하여 어라운드 뷰 영상을 재생성한다. 즉, 복수의 초음파 센서부(200)에서 측정된 데이터를 기초로, 차량 주변에 있는 물체들에 대한 윤곽을 계산을 통해 2D 또는 3D로 구현해 낼 수 있다. 이어서, 물체의 윤곽을 어라운드 뷰 영상 상에 표시하여, 영상이 흐릿하여 물체의 식별이 어렵거나, 영상촬영부(100) 중 일부가 고장난 경우, 물체를 식별할 수 있도록 한다.
어라운드 뷰 영상을 재생성할지 여부는 사용자 인터페이스에 의해 입력된 모드 선택을 통해 결정된다. 즉, 사용자는 언제 어라운드 뷰 영상 상에 물체의 윤곽을 오버랩하여 표시할지를 결정할 수 있다. 사용자가 선택할 수 있는 모드에는 어라운드 뷰 영상에 물체의 윤곽에 대응되는 이미지를 오버랩 하여 항상 재생성하는 모드(제1 모드), 복수의 영상촬영부(100) 중 일부가 고장난 경우에만 재생성하는 모드(제2 모드), 항상 재생성 하지 않는 모드(제3 모드)가 포함될 수 있다. 다만, 이에 한정되는 것은 아니다.
영상처리부(400)는 AVM 처리부(300) 및 차량의 전방, 후방, 좌측, 우측에 각각 한 개 이상이 배치 될 수 있는 초음파 센서부(200)와 유선 또는 무선으로 연결되어 있다. 또한, 영상처리부(400)는 AVM 처리부(300)로부터 어라운드 뷰 영상를 수신하고, 디스플레이부(500)에 재생성된 어라운드 뷰 영상을 송신한다.
디스플레이부(500)는 차량 내부에 설치되며, 일반적으로 시각적으로 정보를 표시하기 위한 장치이다. 디스플레이부(500)는 차량에 구비된 각종 디스플레이 장치가 사용될 수 있다. 예를 들어,　디스플레이부(500)는 네비게이션, HUD 디스플레이 장치, 인사이드 미러나 아웃 사이드 미러에 장착되거나 내장된 디스플레이 장치, AV 시스템 등이 사용될 수 있다.
디스플레이부(500)는 차량의 전방 일측 영상에 대한 디스플레이가 요구되는 경우, 영상촬영부(100)에서 촬영한 차량의 전방 일측에 대한 영상을 디스플레이할 수 있다. 이는 전방에만 한정되지 않고, 후방, 좌측, 우측의 영상도 디스플레이할 수 있다. 이러한　디스플레이부(500)는 디스플레이되는 부분이 여러 개인 경우에는 각 부분을 디스플레이하기 위하여 복수개로 구비될 수도 있다. 예를 들어,　디스플레이부(500)는 하나의 화면에서 화면을 분할하여 디스플레이할 수도 있고, 디스플레이부(500)가 복수개로 구비되어 각각 디스플레이할 수도 있다. 디스플레이부(500)는 영상처리부(400)와 유선 또는 무선으로 연결되어 있다. 또한, 디스플레이부(500)는 영상처리부(400)로부터 재생성된 어라운드 뷰 영상를 수신하고, 재생성된 어라운드 뷰 영상을 표시하여 사용자가 영상을 볼 수 있게 한다.
도 2a는 도 1의 물체의 윤곽을 표시하는 어라운드 뷰 시스템이 설치된 차량에서, 차량 주위에 장애물이 없는 경우의 어라운드 뷰 영상을 설명하기 위한 도면이다.
도 2a를 참조하면, 본 발명의 일 실시예에 따른 물체의 윤곽을 표시하는 어라운드 뷰 시스템(1)에서 어라운드 뷰 영상은 탑뷰(차량의 위에서 내려다 보는 관점)에 해당하는 영상으로, 차량 주위의 영역을 전방(A1), 좌측(A2), 우측(A3), 후방(A4)로 영역을 나누어 나타낸다. 각각의 영역을 촬영하는 영상촬영부(100)에서 송신한 영상을 각 영역에 매핑시키고, 각 영역의 경계선을 맞추는 작업을 거친다. 이를 통해, 차량을 위에서 보았을 때, 차량 주변에 어떠한 물체가 있는지를 파악할 수 있게 된다. 예를 들어, 어라운드 뷰 영상의 가운데에는 가상의 차량을 위에서 본 형상이 표시되고, 차량을 기준으로 위쪽에는 차량의 전방의 영상, 아래쪽에는 차량의 후방의 영상, 왼쪽에는 차량의 좌측 영상, 오른쪽에는 차량의 우측 영상이 각각 매핑되어 나타난다. 다만, 이에 한정되는 것은 아니며, 복수의 영상촬영부(100)에서 촬영한 영상을 이용한 다양한 실시예의 구현도 가능하다. 도 2a는 차량 주변에 물체 또는 장애물이 없는 경우에 기본적으로 표시되는 차량의 어라운드 뷰 영상을 나타내고 있다.
도 2b는 도 1의 물체의 윤곽을 표시하는 어라운드 뷰 시스템이 설치된 차량에서, 차량 주위에 장애물이 있는 경우의 어라운드 뷰 영상을 설명하기 위한 도면이다.
도 2b을 참조하면, 본 발명의 일 실시예에 따른 물체의 윤곽을 표시하는 어라운드 뷰 시스템(1)에서 차량 주위에 물체가 있는 경우, 어라운드 뷰 영상 상에 물체를 촬영한 영상이 매핑되어 표시된다. 이를 통해 사용자는 물체와 차량과의 거리가 어느 정도인지 파악할 수 있다.
단, 영상촬영부(100)에서 얻은 영상에 노이즈가 있거나, 심한 잡음이 섞이는 경우, 영상의 품질이 낮아져서 물체의 식별이 어려운 경우가 발생할 수 있다. 이런 경우, 어라운드 뷰 영상이 생성되더라도 어라운드 뷰 영상만으로 물체의 위치를 정확하게 파악하기 어려운 문제점이 발생한다. 또한, 복수의 영상촬영부(100) 중 일부가 비정상적으로 동작하는 경우, 즉, 고장이 난 경우라면 어라운드 부 영상의 전방(A1), 좌측(A2), 우측(A3), 후방(A4)영역 중 일부에 화면이 표시되지 않을 수 있다. 이런 문제점을 해결하기 위해, AVM 처리부(300)는 복수의 영상촬영부(100)에서 촬영한 영상을 조합하여 어라운드 뷰 영상을 생성한 후, 이를 영상처리부(400)에 송신하고, 영상처리부(400)는 수신한 어라운드 뷰 영상을 재생성한다. 이러한 과정을 통해, 물체의 윤곽을 구별할 수 있도록 어라운드 뷰 영상 상에 윤곽선을 표시할 수 있다. 단, 물체가 어라운드 뷰 영상 상에 존재하는 경우에만 물체의 윤곽에 대응되는 이미지을 포함한 어라운드 뷰 영상을 재생성하고, 그렇지 않은 경우에는 어라운드 뷰 영상을 재생성 하지 않고, 디스플레이부(500)에 바로 표시한다.
어라운드 뷰 영상 상에 물체가 존재하는 경우, 사용자가 선택한, 또는 출고시 미리 저장되어 있는 설정 값에 따라 물체의 윤곽에 대응되는 이미지를 포함하여 어라운드 뷰 영상이 재생성될 수 있다. 예를 들어, 물체의 윤곽에 대응되는 이미지를 오버랩 하여 항상 재생성하거나(제1 모드), 복수의 영상촬영부(100) 중 일부가 고장난 경우에만 재생성하거나(제2 모드), 항상 재생성 하지 않을 수 있다(제3 모드). 다만, 이러한 예시에 한정되지 않고, 다양한 작동모드가 포함될 수 있다. 따라서, 사용자는 사용자 인터페이스를 통해, 상기 어라운드 뷰 영상을 재생성하는 모드를 선택할 수 있고, 물체의 윤곽에 대응되는 이미지를 포함하여 어라운드 뷰 영상을 재생성할지 여부를 결정 할 수 있다.
도 2b를 참조하면, AVM 처리부(300)에서 생성된 어라운드 뷰 영상 상에 물체가 있으므로, 어라운드 뷰 영상이 영상처리부(400)로 송신된다. 그리고 도 2b는 항상 영상을 재생성하도록 설정되어 있는 경우에 대한 실시예로서, 차량의 모든 방향에 존재하는 물체의 윤곽에 대응되는 이미지를 오버랩 한 어라운드 뷰 영상을 재생성하게 된다. 따라서, 차량의 전방에 위치한 물체(01), 후방에 위치한 물체(03), 좌측에 위치한 물체(02) 및 우측에 위치한 물체(04)의 윤곽에 해당하는 이미지는 어라운드 뷰 영상 상에 오버랩되어 재생성된다. 이렇게 재생성된 영상은 디스플레이부(500)에 전달되고, 디스플레이부(500)는 전달받은 어라운드 뷰 영상을 표시하게 된다.
물체의 윤곽에 대응되는 이미지는 복수의 초음파 센서부(200)에서 송신한 차량과 물체와의 거리에 해당하는 데이터를 기초로 영상처리부(400)에서 계산하여 생성된다. 즉, 차량의 전방, 후방, 좌측, 우측에 위치하는 하나 이상의 초음파 센서부(200)가 차량과 물체와의 거리를 영상처리부(400)에 보내면, 계산을 통해 2D 또는 3D로 차량 주변에 있는 물체들에 대한 윤곽선을 구현해 낼 수 있고, 물체의 윤곽을 어라운드 뷰 영상 상에 표시하여 나타낼 수 있게 된다.
도 3는 도 1의 물체의 윤곽을 표시하는 어라운드 뷰 시스템이 설치된 차량에서, 영상촬영부 중 일부가 고장난 경우, 해당 촬영 영역 상의 물체의 윤곽에 대응되는 이미지를 오버랩하는 것을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 물체의 윤곽을 표시하는 어라운드 뷰 시스템(1)에서 도 3은 복수의 영상촬영부(100) 중 일부가 고장난 경우에만 어라운드 뷰 영상을 재생성하도록 설정되어 경우에 대한 실시예로서, 차량의 좌측의 영상촬영부(100)가 비정상적으로 동작하는 경우를 나타낸다. 따라서, 이 경우 어라운드 뷰 영상상에 좌측부분은 영상이 표시되지 않거나 품질이 낮은 영상이 나타나게 된다. 이때, 어라운드 뷰 영상 상에 물체가 존재하고, 복수의 영상촬영부(100) 중 일부가 고장난 경우에 해당하므로, 영상처리부(400)는 복수의 초음파 센서부(200)에서 보내온 차량과 물체와의 거리를 기초로 물체의 윤곽에 해당하는 이미지를 생성한다. 이어서, 생성된 이미지를 어라운드 뷰 영상에 오버랩하여 어라운드 뷰 영상을 재생성한다. 재생성된 어라운드 뷰 영상은 디스플레이부(500)에서 표시되어, 사용자에게 비정상적으로 동작하는 영상촬영부(100) 영역에 존재하는 물체의 윤곽에 해당하는 이미지를 보여줄 수 있다. 단, 이 경우 정상적으로 동작하는 영상촬영부(100)에 해당하는 영역에는 물체의 윤곽에 해당하는 이미지가 오버랩되지 않는다. 단, 이에 한정되는 것은 아니고, 복수의 영상촬영부(100) 중 일부가 고장난 경우에도 모든 영역에 물체의 윤곽이 나타나도록 설정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 물체의 윤곽을 표시하는 차량의 어라운드 뷰 제공 방법을 설명하기 위한 순서도이다.
AVM 처리부(300)는 복수의 영상촬영부(100)에서 차량의 전방, 후방, 좌측, 우측을 각각 촬영한 영상을 수신한다(S500). 이어서, 영상처리부(400)는 복수의 초음파 센서부(200)로부터 차량의 전방, 후방, 좌측, 우측에 위치한 물체와의 거리를 측정한 데이터를 수신한다(S510). 이어서, AVM 처리부(300)는 복수의 영상촬영부(100)에서 수신한 각각의 영상들을 조합하여 어라운드 뷰 영상을 생성하고 이를 영상처리부(400)에 송신한다(S520). 이어서, 영상처리부(400)는 수신한 어라운드 뷰 영상 내에 물체가 있는지 판단한다(S530). 이어서, 어라운드 뷰 영상 내에 물체가 없는 경우, 어라운드 뷰 영상을 재생성하지 않고, 디스플레이부(500)에 표시한다(S560). 한편, 어라운드 뷰 영상 내에 물체가 있는 경우, 영상처리부(400)에 어라운드 뷰 영상 재생성 옵션이 설정되어 있는지 확인한다(S540). 옵션은 사용자 입력에 따라 선택적으로 어라운드 뷰 영상을 재생성할 수 있게 한다. 따라서, 항상 물체의 윤곽에 대응되는 이미지를 오버랩 하여 재생성하거나(제1 모드), 복수의 영상촬영부(100) 중 일부가 고장난 경우에만 재생성하거나(제2 모드), 항상 재생성 하지 않을 수 있다(제3 모드). 제1 모드 또는 제2 모드인 경우, 영상처리부(400)는 복수의 초음파 센서부(200)에서 송신한 차량과 물체와의 거리에 해당하는 데이터를 기초로 물체의 윤곽을 판단하고, 어라운드 뷰 영상 상에 물체의 윤곽에 대응되는 이미지를 오버랩하여 어라운드 뷰 영상을 재생성할 수 있다(S550). 이어서, 재생성된 어라운드 뷰 영상을 디스플레이부(500)에 디스플레이 한다(S560). 한편, 제3 모드인 경우, 어라운드 뷰 영상을 재생성하지 않고, 디스플레이부(500)에 표시한다(S560).
본 발명의 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는, 프로세서에 의해 실행되는 하드웨어 모듈, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명의 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 연결되며, 그 프로세서는 기록 매체로부터 정보를 독출할 수 있고 기록 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 기록 매체는 사용자 단말기 내에 개별 구성 요소로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100 : 영상촬영부 200 : 초음파 센서부
300 : AVM 처리부 400 : 영상처리부

Claims (10)

  1. 차량의 전방, 후방, 좌측, 우측을 각각 촬영하는 복수의 영상촬영부;
    상기 차량의 전방, 후방, 좌측, 우측에 위치하는 물체와의 거리를 측정하는 복수의 초음파 센서부;
    상기 복수의 영상촬영부가 촬영한 각각의 영상들을 조합하여 어라운드 뷰 영상을 생성하는 AVM(Around View Monitor) 처리부; 및
    상기 측정된 물체와의 거리를 이용하여 상기 물체의 윤곽을 판단하고, 상기 어라운드 뷰 영상 상에 상기 물체의 윤곽에 대응되는 이미지를 오버랩하여 어라운드 뷰 영상을 재생성하는 영상처리부를 포함하는, 어라운드 뷰 시스템.
  2. 제1 항에 있어서,
    상기 영상처리부는 상기 물체가 존재하지 않는 때에는 상기 어라운드 뷰 영상을 재생성하지 않는, 어라운드 뷰 시스템.
  3. 제1 항에 있어서,
    상기 영상처리부는 상기 복수의 영상촬영부 중 일부가 고장인 경우에만 상기 어라운드 뷰 영상을 재생성하는, 어라운드 뷰 시스템.
  4. 제3 항에 있어서,
    상기 영상처리부는 상기 어라운드 뷰 영상 중 상기 고장인 영상촬영부의 촬영 영역 상에 상기 이미지를 오버랩하여 어라운드 뷰 영상을 재생성하는, 어라운드 뷰 시스템.
  5. 제1 항에 있어서,
    상기 영상처리부는 사용자 입력에 따라 선택적으로 상기 어라운드 뷰 영상을 재생성하는, 어라운드 뷰 시스템.
  6. 제1 항에 있어서,
    상기 재생성된 어라운드 뷰 영상을 표시하는 디스플레이부를 더 포함하는, 어라운드 뷰 시스템.
  7. 복수의 영상촬영부로부터 촬영된 각각의 영상들을 수신하는 단계;
    복수의 초음파 센서부로부터 측정된 차량과 물체와의 거리를 수신하는 단계;
    AVM 처리부에서 상기 수신된 각각의 영상들을 조합하여 어라운드 뷰 영상을 생성하는 단계;
    영상처리부에서 상기 측정된 물체와의 거리를 이용하여 상기 물체의 윤곽을 판단하고, 상기 어라운드 뷰 영상 상에 상기 물체의 윤곽에 대응되는 이미지를 오버랩하여 어라운드 뷰 영상을 재생성하는 단계; 및
    상기 재생성된 어라운드 뷰 영상을 디스플레이하는 단계를 포함하는, 차량의 어라운드 뷰 제공 방법.
  8. 제7 항에 있어서,
    상기 어라운드 뷰 영상을 재생성하는 단계는, 상기 물체가 존재하지 않는 때에는 상기 어라운드 뷰 영상을 재생성하지 않는, 차량의 어라운드 뷰 제공 방법.
  9. 제7 항에 있어서,
    상기 어라운드 뷰 영상을 재생성하는 단계는, 상기 복수의 영상촬영부 중 일부가 고장인 경우에만 상기 어라운드 뷰 영상을 재생성하는, 차량의 어라운드 뷰 제공 방법.
  10. 제7 항에 있어서,
    상기 어라운드 뷰 영상을 재생성하는 단계는, 사용자 입력에 따라 선택적으로 상기 어라운드 뷰 영상을 재생성하는, 차량의 어라운드 뷰 제공 방법.
KR1020130086823A 2013-07-23 2013-07-23 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법 Expired - Fee Related KR101551697B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130086823A KR101551697B1 (ko) 2013-07-23 2013-07-23 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130086823A KR101551697B1 (ko) 2013-07-23 2013-07-23 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법

Publications (2)

Publication Number Publication Date
KR20150011629A true KR20150011629A (ko) 2015-02-02
KR101551697B1 KR101551697B1 (ko) 2015-09-09

Family

ID=52487988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130086823A Expired - Fee Related KR101551697B1 (ko) 2013-07-23 2013-07-23 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법

Country Status (1)

Country Link
KR (1) KR101551697B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135745A1 (ko) * 2017-01-23 2018-07-26 삼성전자 주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
KR20210065648A (ko) * 2019-11-27 2021-06-04 주식회사텔러스 주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007038956A (ja) 2005-08-05 2007-02-15 Alpine Electronics Inc 周辺状況表示装置及び周辺状況表示方法
JP2007180803A (ja) 2005-12-27 2007-07-12 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP5521275B2 (ja) * 2008-02-27 2014-06-11 日産自動車株式会社 車両用表示装置および車両用表示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135745A1 (ko) * 2017-01-23 2018-07-26 삼성전자 주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
US10964048B2 (en) 2017-01-23 2021-03-30 Samsung Electronics Co., Ltd Method and device for generating image for indicating object on periphery of vehicle
KR20210065648A (ko) * 2019-11-27 2021-06-04 주식회사텔러스 주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치

Also Published As

Publication number Publication date
KR101551697B1 (ko) 2015-09-09

Similar Documents

Publication Publication Date Title
US8570188B2 (en) Driver vision support system and vehicle including the system
US20150116494A1 (en) Overhead view image display device
TWI506601B (zh) 車輛監控系統和車輛監控方法
JP2014093071A (ja) 周辺車の位置追跡装置及び方法
KR101964864B1 (ko) 차량의 어라운드 뷰 영상의 왜곡 보정 방법
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
CN105691300B (zh) 利用摄像头的监控方法及装置
JP2008026998A (ja) 障害物位置算出システム、及び障害物位置算出方法
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
KR101551697B1 (ko) 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법
KR101406208B1 (ko) 차량용 센서의 페일 세이프 시스템 및 방법
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
KR20130053605A (ko) 차량의 주변영상 표시 장치 및 그 방법
KR101469458B1 (ko) 파킹 보조 장치 및 그 방법
JP2023113934A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
KR102497614B1 (ko) 적응형 범용 감시 시스템 및 그 구동방법
JP2020074504A (ja) 情報処理装置、情報処理方法及びプログラム
KR102632361B1 (ko) 어라운드 뷰 영상 제공 시스템
KR101673306B1 (ko) 웨어러블 기기를 이용한 차량의 안전 장치 및 그 제어방법
JP2008108135A (ja) 障害物検出システム、及び障害物検出方法
KR20140000486A (ko) 장애물 감지 기능을 이용한 차량용 영상 녹화 장치 및 그 방법
KR20210060690A (ko) 차량 및 그 후방 영상 제공 방법
JP2012083950A (ja) 運転支援装置
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20240904

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20240904