[go: up one dir, main page]

KR101679857B1 - Interpolation method based jagging detection and display device using the same - Google Patents

Interpolation method based jagging detection and display device using the same Download PDF

Info

Publication number
KR101679857B1
KR101679857B1 KR1020100047235A KR20100047235A KR101679857B1 KR 101679857 B1 KR101679857 B1 KR 101679857B1 KR 1020100047235 A KR1020100047235 A KR 1020100047235A KR 20100047235 A KR20100047235 A KR 20100047235A KR 101679857 B1 KR101679857 B1 KR 101679857B1
Authority
KR
South Korea
Prior art keywords
resolution image
interpolation
boundary
kernel
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100047235A
Other languages
Korean (ko)
Other versions
KR20110127798A (en
Inventor
고성제
한종우
조성호
Original Assignee
엘지디스플레이 주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사, 고려대학교 산학협력단 filed Critical 엘지디스플레이 주식회사
Priority to KR1020100047235A priority Critical patent/KR101679857B1/en
Publication of KR20110127798A publication Critical patent/KR20110127798A/en
Application granted granted Critical
Publication of KR101679857B1 publication Critical patent/KR101679857B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 재깅 위치 검출 기반 보간 방법과 이를 이용한 표시장치에 관한 것으로, 저해상도 영상 데이터로부터 재깅 가능 영역을 검출하고 상기 재깅 가능 영역의 경계부 각도를 판정하고 상기 경계부 각도에 따라 가변 커널의 크기를 조정한다. 이어서, 본 발명은 상기 가변 커널 내에서 존재하는 상기 저해상도 영상 데이터의 픽셀값들로부터 새로운 보간 픽셀값을 생성하고, 상기 저해상도 영상의 픽셀값들 사이에 상기 보간 픽셀을 삽입하여 고해상도 영상 데이터를 생성한다. The present invention relates to a jigging position detection based interpolation method and a display device using the jigging position detection based interpolation method, wherein a jigable region is detected from low resolution image data, a boundary angle of the jiggable region is determined, and a size of the variable kernel is adjusted according to the boundary angle . Next, the present invention generates a new interpolation pixel value from pixel values of the low-resolution image data existing in the variable kernel, and inserts the interpolation pixel between pixel values of the low-resolution image to generate high-resolution image data .

Description

재깅 위치 검출 기반 보간 방법과 이를 이용한 표시장치{INTERPOLATION METHOD BASED JAGGING DETECTION AND DISPLAY DEVICE USING THE SAME}Technical Field [0001] The present invention relates to a jigging position detection based interpolation method,

본 발명은 저해상도 입력 영상을 고해상도 영상으로 변환할 때 발생되는 화질 저하를 줄이기 위한 재깅 위치 검출 기반 보간 방법과 이를 이용한 표시장치에 관한 것이다.
The present invention relates to a jigging position detection based interpolation method for reducing image quality deterioration caused when a low-resolution input image is converted into a high-resolution image, and a display device using the same.

입력 영상의 해상도를 변환하기 위하여 입력 영상 픽셀 데이터 사이에 보간기법으로 생성된 새로운 픽셀 데이터를 삽입하여 저해상도 입력 영상을 고해상도 영상으로 변환할 수 있다. 보간기법의 대표적인 방법으로서, 저해상도 입력 영상을 미리 정해진 고해상도 영상의 커널(kernel) 또는 격자(grid)에 맞춰 높고 영상 정보가 없는 고해상도 영상의 픽셀값을 그 픽셀과 인접한 저해상도 영상의 픽셀값들을 이용하여 생성하고 고해상도 영상의 커널 내에 채워넣는 기법이 있다. 이러한 보간기법은 커널 형상이나 크기와 같은 기하학적 형상(geometric configuration)을 어떠한 것으로 사용하였는지에 따라 다양한 성능차를 보여준다.In order to convert the resolution of the input image, new pixel data generated by the interpolation method may be inserted between the input image pixel data to convert the low resolution input image into a high resolution image. As a representative method of the interpolation technique, a low-resolution input image is adjusted to a kernel or a grid of a predetermined high-resolution image, and a pixel value of a high-resolution image without image information is calculated using pixel values of a low- And filling it into the kernel of a high-resolution image. These interpolation techniques show various performance differences depending on the geometric configuration such as kernel shape and size.

기존의 보간 기법을 이용하여 저해상도 영상을 고해상도로 변환하면 도 1과 같이 고해상도 영상에서 경계부가 매끄럽지 않고 계단처럼 보이는 현상이 나타난다. 이러한 경계부 노이즈 현상은 재깅(jagging), 재그니스(jagness), 혹은 지그재그 아티팩트(zigzag artifact) 등으로 알려져 있다. 재깅은 도 1에서 알 수 있는 바와 같이 영상의 경계 부분과 같이 픽셀값이 급변하는 위치에서 주로 발생한다. 이하에서, 보간기법을 이용하여 저해상도 입력 영상을 고해상도로 변환할 때 픽셀값이 급변하는 위치에서 발생되는 계단 형상의 노이즈를 "재깅"으로 칭하기로 한다. 기존 보간기법은 물체의 경계를 고려한 보간 기법조차도 재깅에 취약하다. 재깅은 인체 시각 시스템이 민감하게 작용하는 물체의 경계부분이므로 쉽게 인식되기 때문에 화질을 크게 저하시킨다.
When a low-resolution image is converted into a high-resolution image by using the existing interpolation method, a phenomenon in which a boundary is not smooth and looks like a staircase appears in a high-resolution image as shown in FIG. This boundary noise phenomenon is known as jagging, jagging, or zigzag artifact. As can be seen from FIG. 1, jagging occurs mainly at a position where a pixel value rapidly changes, such as a boundary portion of an image. Hereinafter, the noise of the step shape generated at the position where the pixel value rapidly changes when the low-resolution input image is converted into the high resolution by using the interpolation technique will be referred to as "jigging ". Conventional interpolation techniques are also vulnerable to jagging even when interpolation methods that take object boundaries into consideration. Jagging is a boundary part of a sensitive object of the human visual system.

본 발명은 저해상도 영상을 고해상도 영상으로 변환할 때 발생되는 재깅을 줄일 수 있는 재깅 위치 검출 기반 보간 방법과 이를 이용한 표시장치를 제공한다.
The present invention provides a jigging position detection based interpolation method and a display device using the jigging position detection based interpolation method that can reduce jigging occurring when a low resolution image is converted into a high resolution image.

본 발명의 재깅 위치 검출 기반 보간 방법은 저해상도 영상 데이터로부터 재깅 가능 영역을 검출하고 상기 재깅 가능 영역의 경계부 각도를 판정하는 단계와, 상기 경계부 각도에 따라 가변 커널의 크기를 조정하는 단계와, 상기 가변 커널 내에서 존재하는 상기 저해상도 영상 데이터의 픽셀값들로부터 새로운 보간 픽셀값을 생성하는 단계와, 및 상기 저해상도 영상의 픽셀값들 사이에 상기 보간 픽셀을 삽입하여 고해상도 영상 데이터를 생성하는 단계를 포함한다. 상기 경계부 각도에 따라 가변 커널의 크기를 조정하는 단계는, 상기 재깅 가능 영역의 경계부 각도가 클수록 상기 가변 커널의 크기를 작게 조정하고, 상기 재깅 가능 영역의 경계부 각도가 작을수록 상기 가변 커널의 크기를 넓게 조정한다.According to another aspect of the present invention, there is provided an interpolation method based on jigging position detection, the method comprising: detecting a jagable area from low-resolution image data and determining a boundary angle of the jiggable area; adjusting a size of a variable kernel according to the boundary angle; Generating a new interpolation pixel value from the pixel values of the low resolution image data existing in the kernel, and generating the high resolution image data by inserting the interpolation pixel between the pixel values of the low resolution image . Wherein the step of adjusting the size of the variable kernel according to the angle of the boundary adjusts the size of the variable kernel to be smaller as the angle of the boundary of the jagable area is larger and adjusts the size of the variable kernel as the angle of the boundary of the jog- Adjust it wide.

본 발명의 표시장치는 데이터라인들과 스캔라인들이 교차되는 표시패널과, 스케일러와, 고해상도 영상 데이터를 데이터전압으로 변환하여 데이터라인들로 출력하는 데이터 구동회로와, 상기 데이터전압에 동기되는 스캔펄스를 스캔라인들로 순차적으로 출력하는 스캔 구동회로를 포함한다. 상기 스케일러는 저해상도 영상 데이터로부터 재깅 가능 영역을 검출하고 상기 재깅 가능 영역의 경계부 각도를 판정하는 검출부와, 상기 검출부로부터 입력된 상기 경계부 각도 정보에 따라 가변 커널의 크기를 조정하는 커널 결정부와, 상기 가변 커널 내에서 존재하는 상기 저해상도 영상 데이터의 픽셀값들로부터 새로운 보간 픽셀값을 생성하고 상기 저해상도 영상의 픽셀값들 사이에 상기 보간 픽셀을 삽입하여 상기 저해상도 영상 데이터를 고해상도 영상 데이터로 변환하는 보간 처리부를 포함한다. The display device of the present invention includes a display panel in which data lines and scan lines cross each other, a scaler, a data driving circuit for converting the high-resolution image data into data voltages and outputting the data voltages to the data lines, And a scan driver circuit sequentially outputting the scan signals to the scan lines. Wherein the scaler includes a detector for detecting a jigable area from low resolution image data and determining an angle of a boundary of the jiggable area, a kernel determiner for adjusting the size of the variable kernel according to the boundary angle information input from the detector, An interpolation processor for generating a new interpolation pixel value from the pixel values of the low resolution image data existing in the variable kernel and inserting the interpolation pixel between pixel values of the low resolution image to convert the low resolution image data into high resolution image data, .

본 발명은 저해상도 영상으로부터 재깅 가능 영역을 검출하고 그 재깅 가능 영역의 경계부 각도에 따라 가변 커널의 크기를 적응적으로 조정하여 보간기법을 적용하여 고해상도 영상 데이터를 얻는다. 따라서, 본 발명은 도 22의 실험 결과와 같이 종래 기술의 보간 방법에 비하여 보간에 의해 얻어진 고해상도 영상에서 나타나는 재깅을 현저히 줄일 수 있다.
The present invention detects a jiggable area from a low resolution image and adjusts the size of the variable kernel according to the angle of the boundary of the jiggable area to obtain high resolution image data by applying an interpolation technique. Accordingly, the present invention can remarkably reduce the jigging in the high-resolution image obtained by the interpolation as compared with the interpolation method of the prior art as in the experiment result of FIG.

도 1은 저해상도 영상을 고해상도 영상으로 변환하는 보간 방법에서 나타내는 재깅을 보여 주는 이미지이다.
도 2는 본 발명의 실시예에 따른 표시장치를 개략적으로 보여 주는 블록도이다.
도 3 및 도 4는 도 2에 도시된 스케일러의 회로 구성을 보여 주는 블록도이다.
도 5 및 도 6은 기존 보간 방법에서 사용되는 커널의 예들을 나타내는 도면이다.
도 7 및 도 8은 기존 보간 방법의 경계부 예측 오류를 나타내는 도면들이다.
도 9는 기존 트레이닝 기반 보간 기법의 원리를 보여 주는 도면이다.
도 10은 기존 트래이징 기반 보간 기법법의 동작 흐름을 보여 주는 도면이다.
도 11은 본 발명의 실시예에 따른 제1 JPR 검출 알고리즘을 상세히 보여 주는 흐름도이다.
도 12 내지 도 17은 본 발명의 실시예에 따른 제2 JPR 검출 알고리즘을 상세히 보여 주는 도면들이다.
도 18은 본 발명의 실시예에 따른 제3 JPR 검출 알고리즘을 상세히 보여 주는 도면이다.
도 19는 본 발명의 적응적 커널 크기 조정 예를 기존 등방형 커널과 비교하여 나타내는 도면이다.
도 20 및 도 21은 보간 처리부에서 적용 가능한 보간 기법들을 예시한 도면들이다.
도 22는 본 발명과 종래 기술의 비교 실험 결과를 보여 주는 도면이다. 1 is an image showing jagging in an interpolation method for converting a low-resolution image into a high-resolution image.
2 is a block diagram schematically showing a display device according to an embodiment of the present invention.
3 and 4 are block diagrams showing the circuit configuration of the scaler shown in FIG.
5 and 6 are views showing examples of kernels used in the conventional interpolation method.
7 and 8 are diagrams showing boundary prediction errors of the conventional interpolation method.
9 is a diagram showing the principle of an existing training-based interpolation technique.
10 is a flowchart illustrating an operation flow of the conventional tracing-based interpolation method.
11 is a detailed flowchart illustrating a first JPR detection algorithm according to an embodiment of the present invention.
12 to 17 are diagrams showing a detailed second JPR detection algorithm according to an embodiment of the present invention.
18 is a detailed block diagram of a third JPR detection algorithm according to an embodiment of the present invention.
19 is a diagram showing an example of the adaptive kernel size adjustment of the present invention compared with a conventional isotropic kernel.
20 and 21 are diagrams illustrating interpolation techniques applicable in the interpolation processing unit.
22 is a graph showing a result of a comparison experiment between the present invention and the conventional art.

본원 발명자들은 많은 실험과 이론적 분석을 통해 기존 보간 기법을 분석한 결과, 재깅에 취약한 기존 보간 기법의 문제점을 재깅이 발생되기 쉬운 경계부 검출이 정확하지 않고 보간이 실시되는 커널의 기하학적 형상이 특정 형상으로 고정되어 있다는 것으로 판단하였다. 이를 토대로 본원 발명자들은 이하에서 설명될 신뢰성 높은 재깅 가능 영역(Jagging Probable Region, 이하 "JPR"이라 함)의 검출 방법들과, 검출된 JPR에서 보간에 적용될 커널의 기하학적 형상을 적응적으로 조정하여 JPR에서 재깅을 최소화할 수 있는 방법을 개발하였다. As a result of analyzing existing interpolation techniques through a lot of experiments and theoretical analysis, the inventors of the present invention have found that the problem of existing interpolation techniques vulnerable to jigging is not correct because the boundary detection is not easy to occur where the jigging is likely to occur and the geometric shape of the kernel As shown in Fig. Based on this, the inventors of the present invention have developed a method for detecting a reliable jagging probable region (hereinafter referred to as " JPR ") to be described below and a method for adaptively adjusting the geometry of a kernel to be applied to interpolation in the detected JPR, We have developed a method to minimize the jigging.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 2를 참조하면, 본 발명의 실시예에 따른 표시장치는 표시패널(200), 스케일러(100), 타이밍 콘트롤러(101), 데이터 구동회로(102), 및 스캔 구동회로(103)를 구비한다. 2, a display device according to an exemplary embodiment of the present invention includes a display panel 200, a scaler 100, a timing controller 101, a data driving circuit 102, and a scan driving circuit 103 .

표시패널(200)에는 데이터라인들(105)과 스캔라인들(또는 게이트라인들, 106)이 교차되고 매트릭스 형태로 형성되는 픽섹들을 포함한다. 표시패널(200)의 데이터라인들과 스캔라인들의 교차부에는 TFT(Thin Film Transistor)가 형성된다. 표시패널(200)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 및 무기 전계발광소자와 유기발광다이오드소자(Organic Light Emitting Diode, OLED)를 포함한 전계발광소자(Electroluminescence Device, EL), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자의 표시패널로 구현될 수 있다. 표시패널(200)이 액정표시소자의 표시패널로 구현되는 경우, 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는, 에지형(edge type) 백라이트 유닛으로 구현될 수 있다. 이하에서, 표시패널(200)을 액정표시소자의 표시패널을 중심으로 설명하기로 한다. The display panel 200 includes pixels formed by intersecting the data lines 105 and the scan lines (or gate lines) 106 in a matrix form. A TFT (Thin Film Transistor) is formed at the intersection of the data lines and the scan lines of the display panel 200. The display panel 200 includes a liquid crystal display (LCD), a field emission display (FED), a plasma display panel (PDP), and an organic electroluminescent A display panel of a flat panel display device such as an electroluminescence device (EL) including an organic light emitting diode (OLED), an electrophoresis display device (Electrophoresis, EPD), or the like. When the display panel 200 is implemented as a display panel of a liquid crystal display element, a backlight unit is required. The backlight unit may be implemented as a direct type backlight unit or an edge type backlight unit. Hereinafter, the display panel 200 will be described with reference to a display panel of a liquid crystal display element.

스케일러(100)는 후술하는 3 개의 JPR 검출 알고리즘들 중 어느 하나를 이용하여 저해상도 입력 영상에서 JPR을 검출하고 JPR에 적용될 커널을 적응적으로 가변시킨다. 그리고 스케일러(100)는 보간 방법을 통해 저해상도 입력 영상의 픽셀 데이터들 사이에 새로운 픽셀 데이터를 삽입함으로써 고해상도 영상의 데이터를 생성하여 타이밍 콘트롤러(101)로 출력한다. The scaler 100 detects the JPR in the low-resolution input image using one of the three JPR detection algorithms to be described later, and adaptively changes the kernel to be applied to the JPR. Then, the scaler 100 generates new high-resolution image data by inserting new pixel data between the pixel data of the low-resolution input image through the interpolation method, and outputs the data to the timing controller 101.

타이밍 콘트롤러(101)는 스케일러(100)로부터 입력된 디지털 비디오 데이터(RGB)를 데이터 구동회로(102)에 공급한다. 타이밍 콘트롤러(101)는 스케일러(100)로부터 수직 동기신호(Vsync), 수평 동기신호(Hsync), 데이터 인에이블 신호(Data Enable, DE), 도트 클럭(CLK) 등의 타이밍신호를 입력받아 데이터 구동회로(102)와 스캔 구동회로(103)의 동작 타이밍을 제어하기 위한 제어신호들을 발생한다. 제어신호들은 스캔 구동회로(103)의 동작 타임을 제어하기 위한 게이트 타이밍 제어신호(GCS), 데이터 구동회로(102)의 동작 타이밍을 제어하기 위한 데이터 타이밍 제어신호(DCS)를 포함한다. The timing controller 101 supplies digital video data RGB input from the scaler 100 to the data driving circuit 102. The timing controller 101 receives a timing signal such as a vertical synchronization signal Vsync, a horizontal synchronization signal Hsync, a data enable signal DE and a dot clock CLK from the scaler 100, And generates control signals for controlling the operation timing of the scan line driving circuit 102 and the scan driving circuit 103. The control signals include a gate timing control signal GCS for controlling the operation time of the scan driving circuit 103 and a data timing control signal DCS for controlling the operation timing of the data driving circuit 102.

데이터 구동회로(102)는 타이밍 콘트롤러(101)의 제어 하에 디지털 비디오 데이터(RGB)를 래치한다. 그리고 데이터 구동회로(102)는 디지털 비디오 데이터(RGB)를 데이터전압으로 변환하여 데이터라인들(105)로 출력한다. 스캔 구동회로(103)는 타이밍 콘트롤러(101)의 제어 하에 데이터전압에 동기되는 스캔펄스를 스캔라인들(106)에 순차적으로 공급한다. The data driving circuit 102 latches the digital video data RGB under the control of the timing controller 101. The data driving circuit 102 converts the digital video data RGB into data voltages and outputs the data voltages to the data lines 105. The scan driver circuit 103 sequentially supplies a scan pulse synchronized with the data voltage to the scan lines 106 under the control of the timing controller 101. [

도 3은 스케일러(100)의 회로 구성을 보여 주는 블록도이다. 도 4는 도 3에 도시된 JPR 검출부(11)를 상세히 보여 주는 블록도이다. FIG. 3 is a block diagram showing a circuit configuration of the scaler 100. Referring to FIG. FIG. 4 is a detailed block diagram of the JPR detecting unit 11 shown in FIG.

도 3 및 도 4를 참조하면, 스케일러(100)는 JPR 검출부(11), 커널 결정부(12), 및 보간 처리부(13)를 구비한다. 3 and 4, the scaler 100 includes a JPR detection unit 11, a kernel determination unit 12, and an interpolation processing unit 13.

JPR 검출부(11)는 트레이닝 기판 패턴 매칭 알고리즘(Training-based Pattern maching algorithm 이하, "제1 JPR 검출 알고리즘"이라 함, 21), 픽셀 인텐시티 변화 검출 알고리즘(Pixel Intensity change detection algorithm, 이하, "제2 JPR 검출 알고리즘"이라 함, 23), 에지 방향 변화 검출 알고리즘(edge diriction change detection algorithm 이하, "제3 JPR 검출 알고리즘"이라 함, 22) 중 어느 하나 또는 하나 이상의 알고리즘을 적응적으로 이용하여 저해상도 입력 영상(LR image)의 JPR을 검출한다. 그리고 JPR 검출부(11)는 JPR에서 픽셀값이 급격히 변하는 경계부의 각도 정보를 커널 결정부(12)에 입력한다. The JPR detecting unit 11 detects a pixel value of a pixel by using a training substrate pattern matching algorithm (hereinafter referred to as a "first JPR detection algorithm") 21, a pixel intensity change detection algorithm JPR detection algorithm ") 23, edge diriction change detection algorithm (hereinafter referred to as" third JPR detection algorithm ", 22), or one or more algorithms, JPR of image (LR image) is detected. Then, the JPR detecting unit 11 inputs the angle information of the boundary where the pixel value suddenly changes in the JPR to the kernel determining unit 12.

제1 JPR 검출 알고리즘(21)은 저해상도 입력 영상의 픽셀 데이터들을 수평 방향으로 스캐닝하면서 저해상도 입력 영상에서 미리 저장된 JPR 패턴과 동일한 패턴을 검색하여 JPR과 그 JPR에서의 경계부 각도를 판단한다. 제2 JPR 검출 알고리즘(23)은 저해상도 입력 영상의 픽셀값의 급격한 변화점을 찾아 JPR을 검출하고 그 JPR에서의 경계부 각도를 검출한다. 제3 JPR 검출 알고리즘(22)은 소벨(Sobel) 필터, 또는 수평 경계 검출 필터 등을 사용하여 저해상도 입력 영상에서 경계 방향을 검출하고, 그 경계 방향의 급격한 변화를 검출하여 JPR과 그 JPR에서 경계부의 각도를 검출한다. 제1 내지 제3 JPR 알고리즘 처리회로는 저해상도 입력 영상에서 1 라인 또는 2 라인 정도의 픽셀 데이터를 저장하여 분석하기 때문에 라인 메모리를 포함한다. 따라서, JPR 검출부(11)는 프레임 메모리를 필요로 하지 않는다. The first JPR detection algorithm 21 scans the pixel data of the low-resolution input image in the horizontal direction, searches for the same pattern as the previously stored JPR pattern in the low-resolution input image, and determines the JPR and the boundary angle in the JPR. The second JPR detection algorithm 23 finds a sudden change point of the pixel value of the low-resolution input image, detects the JPR, and detects the boundary angle in the JPR. The third JPR detection algorithm 22 detects a boundary direction in a low-resolution input image using a Sobel filter or a horizontal boundary detection filter, detects a sudden change in the boundary direction, and detects JPR and its boundary The angle is detected. The first to third JPR algorithm processing circuits include line memories for storing and analyzing pixel data of about one line or two lines in a low-resolution input image. Therefore, the JPR detecting unit 11 does not need a frame memory.

커널 결정부(12)는 저해상도 영상의 JPR에서 경계부 각도에 따라 적응적으로 변하는 커널의 기하학적 형상을 결정한다. 커널 결정부(12)는 저해상도 입력 영상의 JPR 경계부 각도가 클수록 가변 커널의 크기를 작게 조정하고, 저해상도 입력 영상의 JPR 경계부 각도가 작을수록 가변 커널의 크기를 넓게 조정한다. The kernel determination unit 12 determines the geometry of the kernel that adaptively changes according to the boundary angle in the JPR of the low-resolution image. The kernel determining unit 12 adjusts the size of the variable kernel to be smaller as the JPR boundary angle of the low resolution input image is larger and adjusts the size of the variable kernel as the JPR boundary angle of the lower resolution input image is smaller.

보간 처리부(13)는 바이리니어(bilinear), 바이큐빅(bicubic) 등 알려진 보간 기법을 이용하여 커널 결정부(12)에 의해 결정된 커널 내에서 저해상도 입력 영상의 픽셀값들에 기초하여 새로운 픽셀 데이터를 생성한다. 그리고 보간 처리부(13)는 보간 기법으로 생성된 픽셀 데이터를 저해상도 입력 영상의 픽셀들 사이에 삽입하여 고해상도 영상 데이터(HR image)를 생성한다. The interpolation processing unit 13 uses the known interpolation technique such as bilinear or bicubic to generate new pixel data based on the pixel values of the low resolution input image in the kernel determined by the kernel decision unit 12 . The interpolation processing unit 13 inserts the pixel data generated by the interpolation method between the pixels of the low-resolution input image to generate high-resolution image data (HR image).

본 발명의 JPR 검출 방법을 설명하기에 앞서, 본 발명과 기존 보간 방법의 차이를 쉽게 이해할 수 있도록 도 5 내지 도 8을 결부하여 기존 보간 방법에 대하여 설명하기로 한다. Before explaining the JPR detection method of the present invention, the conventional interpolation method will be described with reference to FIGS. 5 to 8 in order to easily understand the difference between the present invention and the conventional interpolation method.

기존 보간 방법은 도 5 및 도 6과 같이 커널(도면에서 실선 박스)의 크기와 모양이 일정하고, 정해진 커널 안의 화소들을 이용하여 보간을 실행한다. 보간 성능을 개선하기 위하여, 도 6과 같이 커널 내의 픽셀 데이터들을 분석하여 경계 방향을 알아내고 그 경계 방향에 따라 선택적으로 보간에 사용될 픽셀 데이터들을 결정할 수 있다. 하지만, 도 5 및 도 6과 같이 일정한 크기와 모양을 갖는 등방형 커널(isotropic kernel)을 사용한다면, 도 7의 (a), (b), (c)와 같이 원본 영상에서의 경계가 45도, 0도, 90도인 경우에 고정 커널 내에서 비교적 정확하게 경계 방향이 판단되어 재깅 문제가 거의 나타나지 않지만, 도 7의 (d), (e), (f)와 같이 45도, 0도, 90도 이외의 각도(도면에서 10도, 20도, 70도)에 대하여는 경계 방향 예측이 부정확하여 재깅이 발생된다. 기존 보간 방법에 적용되는 커널 내에서 도 7의 (d), (e), (f)과 같은 경계를 예측하면 모두 45도 경계라고 판단된다. 또한, 기존 보간 방법은 도 8과 같이 커널 위치에 따라 10도 경계를 0도 경계로 예측할 수 있다. 이러한 오류를 막기 위해서, 가장 간단한 방법으로는 커널의 크기를 크게 하는 방법이 있지만, 커널의 크기가 커지면 계산 복잡도가 증가한다는 문제가 있다. 또한, 라인 메모리를 사용할 경우, 커널의 수직 방향 크기를 증가시킬 수 없는 물리적인 한계가 있다. In the conventional interpolation method, the size and shape of the kernel (solid line box in the drawing) are constant as shown in FIGS. 5 and 6, and the interpolation is performed using the pixels in the determined kernel. In order to improve the interpolation performance, the pixel data in the kernel may be analyzed to determine the boundary direction and the pixel data to be used for the interpolation may be determined according to the boundary direction as shown in FIG. However, if an isotropic kernel having a constant size and shape is used as shown in FIGS. 5 and 6, the boundaries in the original image are 45 degrees as shown in FIGS. 7A, 7B and 7C, , 0 degree, and 90 degrees, the boundary direction is relatively accurately determined in the fixed kernel, and the jigging problem hardly occurs. However, as shown in FIGS. 7D, 7E, For other angles (10 degrees, 20 degrees, 70 degrees in the drawing), the boundary direction prediction is inaccurate and jigging occurs. 7 (d), (e), and (f) in the kernel applied to the existing interpolation method are all predicted to be 45-degree boundaries. In addition, the conventional interpolation method can predict the 10-degree boundary to the 0-degree boundary according to the kernel position as shown in FIG. To avoid this error, the simplest way is to increase the size of the kernel, but there is a problem that the size of the kernel increases the computational complexity. Also, when using line memory, there is a physical limitation that can not increase the vertical size of the kernel.

이와 같은 기존 보간 방법의 문제를 해결하기 위하여, 본 발명은 제1 내지 제3 JPR 검출 알고리즘(21~23)을 이용하여 원본 영상에서 경계부를 정확하게 검출한 후에 그 경계부 분석 결과에 따라 커널의 기하학적 형상과 크기를 적응적으로 가변한다. In order to solve the problem of the conventional interpolation method as described above, the present invention uses the first to third JPR detection algorithms 21 to 23 to accurately detect a boundary portion of an original image, And size adaptively.

제1 JPR 검출 알고리즘(21)은 기존 트레이닝 기반 보간 기법을 응용하여 경계부를 검출한다. The first JPR detection algorithm 21 detects boundaries by applying an existing training-based interpolation technique.

도 9는 기존 트레이닝 기반 보간 기법의 원리를 보여 주는 도면이다. 도 9에서, (a)는 (c)의 원본 영상을 다운 샘플링한 결과의 저해상도 영상(down-sampled image of low resolution(LR))이다. (b)는 기존 보간 방법을 이용하여 보간된 영상(Interpolated image using the conventional interpolating method)이다. (c)는 고해상도의 원본 영상(original image of high resolution(HR))이다. (d)는 (b) 영상의 밴드 패스 결과 이미지(Band-passed result of (b))이다. (e)는 (c) 영상의 밴드 패스 결과 이미지(Band-passed result of (c))이다. 도 10은 기존 트래이닝 기반 보간 기법의 동작 흐름을 보여 주는 도면이다. 참고로, 도 9 및 도 10은 "Image Hallucination Using Neighbor Embedding over Visual Primitive Manifolds,”CVPR2007에 개시된 도면들이다. 9 is a diagram showing the principle of an existing training-based interpolation technique. In FIG. 9, (a) is a down-sampled image of low resolution (LR) resulting from downsampling the original image of (c). (b) is an interpolated image using the conventional interpolation method. (c) is an original image of high resolution (HR). (d) is the band-passed result of (b) of the image. (e) is the band-passed result of (c) of the image. FIG. 10 is a diagram illustrating an operation flow of a conventional training-based interpolation technique. For reference, FIGS. 9 and 10 are the drawings disclosed in "Image Hallucination Using Neighbor Embedding over Visual Primitive Manifolds, " CVPR2007.

도 9 및 도 10을 참조하면, 기존 트레이닝 기반 보간 기법은 고해상도 원본 영상(c)을 (a)와 같이 다운 샘플링하여 저해상도 영상으로 변환하고, 다운 샘플링된 저해상도 영상을 기존 보간기법을 이용하여 (b)와 같이 업 샘플링하여 고해상도 영상으로 변환한다. 이어서, 기존 트레이닝 기반 보간 기법은 (c)와 같은 고해상도 원본 영상과 업 샘플링된 고해상도 영상에 대하여 밴드 패스 필터(band-pass filter)를 적용하여 (d) 및 (e)와 같이 각각의 영상에 대하여 경계(또는 윤곽)을 추출한다. 이어서, 기존 트레이닝 보간 기법은 밴드 패스 필터를 통과한 고해상도 원본 영상(e)과 업 샘플링된 고해상도 영상(d)에 대하여 도 10과 같이 동일 위치의 패치들(patch)을 쌍(pair)으로 매칭하여 트레이닝 세트를 구성하고 그 트레이닝 세트를 데이터 베이스에 저장한다. 기존 트레이닝 기반 보간 방법은 실제 입력 영상에 대한 보간 단계(interpolation phase)에서 입력 영상에 대하여 보간을 실시하고, 보간된 영상에 밴드 패스 필터를 적용하여 밴드 패스 필터를 통과한 영상을 일정 크기의 패치로 분할하고 트레이닝된 데이터 베이스에서 해당 패치와 가장 유사한 패치를 검색한다. 그리고 기존 트레이닝 기반 보간 방법은 데이터 베이스에서 검색된 패치에 저장된 고해상도 영상의 패치 페어를 현재 보간된 값에 더하여 영상의 디테일한 정보의 표현 정도를 향상시킨다. 이러한 기존 트레이닝 기반 보간 방법의 문제점은 트레이닝 데이터 베이스를 저장하여야 하기 때문에 메모리 소비를 유발하고 트레이닝 데이터 베이스에서 유사 패치를 검색하는데 소모되는 전력소모(computation power)가 크다. 또한, 기존 트레이닝 기반 보간 방법은 정확하지 않은 패치 검색(patch search)이 발생되면 보간된 영상에 잡음에 가까운 값들이 더해지므로 오히려 화질 열화가 발생한다. 9 and 10, the conventional training-based interpolation technique converts a high resolution original image c into a low resolution image by downsampling the low resolution image as shown in (a) ), And converts it into a high-resolution image. In the conventional training-based interpolation technique, a band-pass filter is applied to a high-resolution original image and an upsampled high-resolution image as shown in (c) Extract boundaries (or outlines). In the conventional training interpolation technique, the patches at the same position are matched with pairs of the high-resolution original image e and the upsampled high-resolution image d passed through the bandpass filter as shown in FIG. 10 A training set is constructed and the training set is stored in a database. In the conventional training-based interpolation method, interpolation is performed on an input image in an interpolation phase of an actual input image, a bandpass filter is applied to the interpolated image, Search for the patch most similar to the patch in the partitioned and trained database. In addition, the existing training-based interpolation method improves the degree of detail representation of the image by adding the patch pair of the high resolution image stored in the fetched patch to the current interpolated value. The problem with this conventional training-based interpolation method is that the computation power consumed for searching the similar patch in the training database is large because it causes memory consumption because the training database must be stored. In addition, the existing training-based interpolation method causes degradation in image quality due to an inaccurate patch search that adds values close to noise to the interpolated image.

본 발명의 제1 JPR 검출 알고리즘(21)을 도 11 및 도 12를 결부하여 설명하기로 한다. The first JPR detection algorithm 21 of the present invention will be described with reference to FIGS. 11 and 12. FIG.

도 11 및 도 12를 참조하면, 제1 JPR 검출 알고리즘은 아래의 (1)~(3)의 수순으로 JPR에 대한 패턴 트레이닝을 실행한다.Referring to Figs. 11 and 12, the first JPR detection algorithm executes pattern training for JPR in the following procedures (1) to (3).

(1) 원 영상을 다운 샘플링하여 저해상도 영상(LR image)을 얻고, 그 저해상도 영상을 기존 보간 기법으로 업 스케일링하여 고해상도 영상(HR image)으로 변환한다. (1) A low resolution image (LR image) is obtained by downsampling the original image, and the low resolution image is upscaled by a conventional interpolation method to convert into a high resolution image (HR image).

(2) 다운 샘플링된 저해상도 영상에서 캐니 에지 디텍터(Canny edge detector) 등 기존 에지 디텍터를 이용하여 에지를 검출하고 에지 맵을 작성하여 데이터 베이스에 저장한다. (2) In the downsampled low-resolution image, edges are detected using a conventional edge detector such as a canny edge detector, and an edge map is created and stored in a database.

(3) 업 스케일링된 고해상도 영상에서 JPR을 검출하고, JPR 부분과 대응하는 부분을 에지 맵과 맵핑하여 JPR을 판정한다. (3) JPR is detected in the upscaled high-resolution image, and JPR is determined by mapping the portion corresponding to the JPR portion to the edge map.

제1 JPR 검출 알고리즘(21)은 (1)~(3) 단계를 거쳐 JPR 트레이닝 과정을 토대로 실제 저해상도 영상 데이터가 입력되면 그 저해상도 입력 영상에 대하여 에지 디텍터를 적용하여 저해상도 영상의 JPR을 검출하고, 데이터 베이스에서 JPR에 대응하는 에지 패턴을 검색한다. 여기서, 제1 JPR 검출 알고리즘(21)은 데이터 베이스에 저장된 에지 맵의 패턴들은 바이너리 코드(binary code)이기 때문에 배타적 논리합(XOR)과 같은 비교 연산자를 이용하여 저해상도 입력 영상의 JPR와 에지 맵의 패턴 간의 유사성을 쉽게 비교할 수 있다. The first JPR detection algorithm 21 detects the JPR of the low resolution image by applying an edge detector to the low resolution input image when the low resolution image data is input based on the JPR training process through steps (1) to (3) Retrieve the edge pattern corresponding to JPR from the database. Here, since the patterns of the edge maps stored in the database are binary codes, the first JPR detection algorithm 21 uses the comparison operator such as XOR to determine the JPR of the low-resolution input image and the pattern of the edge map Can be easily compared.

커널 결정부(12)는 저해상도 입력 영상에서 검출된 JPR의 에지 패턴과 유사한 에지 패턴이 제1 JPR 검출 알고리즘(21)의 데이터 베이스에서 검색되면 JPR의 에지 각도에 따라 적응적으로 커널의 크기를 가변한다. 반면에, 커널 결정부(12)는 저해상도 입력 영상에서 검출된 JPR의 에지 패턴이 제1 JPR 검출 알고리즘(21)의 데이터 베이스에서 검색되지 않으면 기존의 등방형 커널을 선택한다. 따라서, 본 발명의 제1 JPR 검출 알고리즘(21)은 기존 트레이닝 기반 보간 기법과 달리 에지 패턴만을 데이터 베이스에 저장하기 때문에 데이터 베이스로 사용될 메모리 용량을 최소화할 수 있고 검색 시간과 검색에 필요한 소비전력을 줄일 수 있다. 또한, 본 발명의 제1 JPR 검출 알고리즘(21)은 JPR 검출에만 적용되므로 기존 트레이닝 보간 기법에서 나타나는 부정확산 보간 발생 문제가 없다. When the edge pattern similar to the edge pattern of the JPR detected in the low-resolution input image is retrieved from the database of the first JPR detection algorithm 21, the kernel determining unit 12 adaptively changes the size of the kernel according to the edge angle of JPR do. On the other hand, if the edge pattern of the JPR detected in the low-resolution input image is not retrieved from the database of the first JPR detection algorithm 21, the kernel determining unit 12 selects the existing isotropic kernel. Therefore, since the first JPR detection algorithm 21 of the present invention stores only the edge pattern in the database, unlike the existing training-based interpolation technique, the memory capacity to be used as a database can be minimized and the power consumption required for search time and search Can be reduced. In addition, since the first JPR detection algorithm 21 of the present invention is applied only to JPR detection, there is no problem of indefinite diffusion interpolation occurring in the conventional training interpolation technique.

도 12 내지 도 17은 본 발명의 실시예에 따른 제2 JPR 검출 알고리즘(23)을 상세히 보여 주는 도면들이다. 12 to 17 are diagrams showing details of the second JPR detection algorithm 23 according to the embodiment of the present invention.

도 12 내지 도 17을 참조하면, 제2 JPR 검출 알고리즘(23)은 아래의 (1)~(3) 단계를 거쳐 저해상도 영상 데이터에 대한 JPR을 검출한다. Referring to Figs. 12 to 17, the second JPR detection algorithm 23 detects the JPR for the low-resolution image data through the following steps (1) to (3).

(1) 저해상도 영상의 픽셀값들을 수평 방향을 따라 좌에서 우로 스캐닝하고, (1) scanning the pixel values of the low-resolution image from left to right along the horizontal direction,

(2) 수평 스캐닝 과정에서 픽셀값이 급변하는 위치를 검출하고, (2) a position where the pixel value rapidly changes in the horizontal scanning process is detected,

(3) 픽셀값이 급변하는 위치를 기준으로 오른쪽 위와 아래의 픽셀값과 현재 위치의 픽셀값을 비교하여 그들 간의 유사도를 바탕으로 경계 방향을 예측한다. 경계 방향이 예측된 후에 도 13과 같이 픽셀값이 일정한 부분이 얼마나 유지되는지 카운트한다. 도 13에서 L과 X는 각각 라인 메모리에서의 y 방향과 x 방향 위치를 나타낸다. 도 13의 경우에, 현재 픽셀값이 오른쪽 위 방향의 픽셀값과 유사하기 때문에 L-1을 따라 유사도를 검사한다. 도 13에서 흰색 화살표는 동일 수평라인 내에서 이웃하는 픽셀값들이 유사하다는 것을 의미하고, 파란색 화살표는 이웃하는 수평라인 간에 픽셀값들의 차이가 소정의 문턱치 이상으로 크다는 것을 의미한다. 붉은색 화살표 위치에서는 다시 픽셀값이 급변한다. (3) The pixel values of the upper right and lower pixels are compared with the pixel values of the current position based on the position where the pixel value rapidly changes, and the boundary direction is predicted based on the similarity between them. After the boundary direction is predicted, it is counted how much the pixel value is maintained as shown in FIG. 13, L and X indicate positions in the y and x directions in the line memory, respectively. In the case of FIG. 13, the similarity is checked along L-1 because the current pixel value is similar to the pixel value in the upper right direction. In FIG. 13, the white arrows indicate that neighboring pixel values are similar in the same horizontal line, and the blue arrows indicate that the difference in pixel values between neighboring horizontal lines is greater than a predetermined threshold value. At the red arrow position, the pixel value changes rapidly.

커널 결정부(12)는 최초 픽셀값의 급변 위치와 그 이후에 검출된 픽셀값의 급변 위치를 입력 받아 그 위치들을 커널의 대각선 모서리로 설정하여 픽셀값 급변 위치들을 기준으로 커널의 길이를 도 14와 같이 결정한다. 도 14에서 붉은색 박스가 적응적 커널의 기하학적 형상이다. The kernel determining unit 12 receives the abrupt position of the first pixel value and the abrupt position of the pixel value detected thereafter, sets the positions of the abrupt position of the pixel value at the diagonal corners of the kernel, . In Figure 14, the red box is the geometry of the adaptive kernel.

한편, 도 15와 같이 이웃하는 수평라인 방향으로 픽셀값이 일정하게 유지될 때 동일 수평라인 방향으로만 픽셀값들을 비교하면 적응적 커널의 크기가 무한대로 될 수 있다. 그러므로 제2 JPR 검출 알고리즘(23)은 도 15 및 도 16과 같이 붉은색 화살표를 따라 이웃하는 수평라인들 간의 픽셀값들을 비교하여 수평 라인들 간의 픽셀값 변화량도 함께 검사함으로써 커널 크기가 무한대로 커지는 문제를 예방할 수 있다. 또한, 제2 JPR 검출 알고리즘(23)은 픽셀 급변 위치들의 정확한 검출을 위하여 도 17과 같은 예와 같이 양방향으로 픽셀값들을 스캐닝하면서 픽셀값의 급변 위치를 검색하여야 한다. On the other hand, when the pixel values are kept constant in the horizontal line direction as shown in FIG. 15, the size of the adaptive kernel may be infinite if pixel values are compared only in the horizontal line direction. Therefore, the second JPR detection algorithm 23 compares the pixel values between neighboring horizontal lines along the red arrows as shown in FIGS. 15 and 16, and examines the pixel value change amount between the horizontal lines as well, The problem can be prevented. In addition, the second JPR detection algorithm 23 must search for the abrupt position of the pixel value while scanning the pixel values in both directions as in the example shown in Fig. 17 for accurate detection of the pixel abrupt position changes.

제2 JPR 검출 알고리즘(23)은 │I(x,y)-I(x+1,y)│ < αT를 만족할 때 현재 픽셀 위치를 픽셀값의 급변 위치로 판단할 수 있다. 여기서, I(x,y)는 (x,y)에 위치한 픽셀값을 나타내고, 픽셀값이 급변하는 기준으로 설정된 문턱치, 'T'는 적응적으로 T = │I(x,y)-I(x-2,y)│과 같이 결정될 수 있다. α는 표시소자 특성에 따라 실험적으로 조정될 수 있는 가중치 값이다. The second JPR detection algorithm 23 can determine the current pixel position as a rapid change position of the pixel value when | I (x, y) -I (x + 1, y) | Here, I (x, y) denotes a pixel value located at (x, y), a threshold value set as a criterion on which a pixel value changes rapidly, 'T' adaptively denotes T = x-2, y). alpha is a weight value that can be adjusted experimentally according to the characteristics of the display device.

제2 JPR 검출 알고리즘(23)에서, 픽셀값 급변점을 검증하기 위한 이웃하는 수평라인들 간의 비교에 따른 에지 각도의 판단 방법은 아래와 같다. In the second JPR detection algorithm 23, a method of determining an edge angle according to a comparison between neighboring horizontal lines for verifying a pixel value rapid change point is as follows.

If │I(x,y)-I(x+1,y+1)│ < T && │I(x,y)-I(x+2,y+1)│ < T, 0도에서 -45도 사이의 경계, I (x, y) -I (x + 1, y + 1) | <T && | The boundary between the roads,

If │I(x,y)-I(x+1,y-1)│ < T && │I(x,y)-I(x+2,y-1)│ < T, 0도에서 45도 사이의 경계. I (x, y) -I (x, y) -I (x + 1, y-1) The boundary between.

도 18은 본 발명의 실시예에 따른 제3 JPR 검출 알고리즘(22)을 상세히 보여 주는 도면이다. 18 is a detailed block diagram of a third JPR detection algorithm 22 according to an embodiment of the present invention.

도 18을 참조하면, 제3 JPR 검출 알고리즘은 저해상도 영상의 각 픽섹값에 대하여 소벨 연산자, 가보 필터 뱅크(Gabor filter bank), 엘엠 필터 뱅크(LM filter bank) 등 공지의 경계 방향 계산 연산자를 이용하여 경계 방향을 검출한다. 한편, 전술한 제2 JPR 알고리즘(23)은 픽셀값의 차이를 이용하여 JPR을 검출하는데 비하여, 제3 JPR 알고리즘(22)은 각 픽셀값에서 계산된 경계방향의 차이를 비교하여 JPR을 검출한다. 18, the third JPR detection algorithm uses known boundary direction calculation operators such as a Sobel operator, a Gabor filter bank, and an LM filter bank for each pixel value of a low-resolution image The boundary direction is detected. On the other hand, the second JPR algorithm 23 detects the JPR using the difference of the pixel values, whereas the third JPR algorithm 22 detects the JPR by comparing the difference of the boundary directions calculated in each pixel value .

제3 JPR 검출 알고리즘(22)은 │G(x,y)-G(x+1,y)│ < T+β를 만족할 때 현재 픽셀 위치를 경계 방향의 급변점으로 판단할 수 있다. 여기서, G(x,y)는 (x,y)에서 계산된 경계 방향을 나타내고, 경계 방향이 급변하는 기준으로 설정된 문턱치, 'T'는 적응적으로 T = │G(x,y)-G(x-2,y)│과 같이 결정될 수 있다. β는 표시소자 특성에 따라 실험적으로 조정될 수 있는 가중치 값이다. The third JPR detection algorithm 22 can determine the current pixel position as a rapid change point in the boundary direction when G (x, y) -G (x + 1, y) < Here, G (x, y) denotes a boundary direction calculated in (x, y) and a threshold value set as a criterion in which the boundary direction rapidly changes, and 'T' (x-2, y) |. beta is a weight value that can be adjusted experimentally according to the characteristics of the display device.

커널 결정부(12)는 최초 경계방향 급변 위치와 그 이후에 검출된 경계방향 급변 위치를 입력 받아 그 위치들을 커널의 대각선 모서리로 설정하여 픽셀값 급변 위치들을 기준으로 커널의 길이를 도 18의 붉은색 박스와 같이 적응적으로 조정한다. The kernel determining unit 12 receives the first boundary direction rapid position and the boundary direction rapid position detected thereafter and sets the positions to the diagonal corners of the kernel so that the length of the kernel is changed to the red Adjust it adaptively like color box.

제3 JPR 검출 알고리즘(22)에서, 경계방향 급변점을 검증하기 위한 이웃하는 수평라인들 간의 비교에 따른 에지 각도의 판단 방법은 아래와 같다. In the third JPR detection algorithm 22, a method of determining an edge angle according to a comparison between neighboring horizontal lines for verifying a boundary direction rapid change point is as follows.

If │G(x,y)-G(x+1,y+1)│ < T && │G(x,y)-G(x+2,y+1)│ < T, 0도에서 -45도 사이의 경계, G (x, y) -G (x, y) -G (x + 1, y + 1) The boundary between the roads,

If │G(x,y)-G(x+1,y-1)│ < T && │G(x,y)-G(x+2,y-1)│ < T, 0도에서 45도 사이의 경계. G (x, y) -G (x, y) -G (x + 1, y-1) The boundary between.

도 19는 본 발명의 적응적 커널 크기 조정 예를 기존 등방형 커널과 비교하여 나타내는 도면이다. 19 is a diagram showing an example of the adaptive kernel size adjustment of the present invention compared with a conventional isotropic kernel.

도 19를 참조하면, 커널 결정부(12)는 JPR 검출부(11)의 제1 내지 제3 JPR 알고리즘 중 적어도 어느 하나로부터 입력되는 JPR의 경계 각도 정보를 입력 받아 보간에 적용될 커널의 크기를 적응적으로 조정한다. 도 19에서 점선 박스는 커널을 나타낸다. 커널 결정부(12)는 저해상도 입력 영상에서 검출된 JPR 경계부의 각도가 클수록 커널의 크기를 작게 조정하고, 저해상도 입력 영상에서 검출된 JPR 경계부 각도가 작을수록 가변 커널의 크기를 넓게 조정한다. 따라서, 가변 커널 크기 조정에 따라 보간될 픽셀에 이용되는 저해상도 입력 영상의 픽셀들 간의 거리가 달라진다. 가변 커널의 크기가 커지면 보간될 픽셀에 이용되는 저해상도 영상의 픽셀값들의 거리가 길어지고, 가변 커널의 크기가 작아지면 보간될 픽셀에 이용되는 저해상도 영상의 픽셀값들의 거리가 짧아진다. 커널 결정부(12)는 도 19와 같이 커널의 수평 방향 길이만을 적응적으로 조정할 수 있다. 19, the kernel determining unit 12 receives the boundary angle information of the JPR input from at least one of the first to third JPR algorithms of the JPR detecting unit 11, and adjusts the size of the kernel to be applied to the interpolation, . In Fig. 19, the dotted box represents the kernel. The kernel determining unit 12 adjusts the size of the kernel as the angle of the JPR boundary detected in the low resolution input image is smaller and the size of the variable kernel as the angle of the JPR boundary detected in the lower resolution input image becomes smaller. Accordingly, the distance between the pixels of the low-resolution input image used for the pixel to be interpolated varies depending on the variable kernel size adjustment. When the size of the variable kernel is increased, the distance of the pixel values of the low resolution image used for the pixel to be interpolated becomes long, and when the size of the variable kernel is small, the distance of the pixel values of the low resolution image used for the interpolated pixel becomes short. The kernel determining unit 12 can adaptively adjust only the horizontal length of the kernel as shown in FIG.

도 20 및 도 21은 보간 처리부(13)에서 적용 가능한 보간 기법들을 예시한 도면들로서, 도 20은 바이리니어 보간 기법이고, 도 21은 바이큐빅 보간 기법이다. FIGS. 20 and 21 are diagrams illustrating interpolation techniques applicable in the interpolation processing unit 13, FIG. 20 is a bi-linear interpolation technique, and FIG. 21 is a bicubic interpolation technique.

보간 처리부(13)는 커널 결정부(12)에 의해 적응적으로 조정되는 커널 내에서 저해상도 입력 영상의 픽셀값들을 함수로 하는 보간 기법으로 보간 데이터를 생성한다. 보간 처리부(13)에서 적용 가능한 보간 기법은 공지의 어떠한 보간 기법도 가능하며 일 예로 도 20과 같은 바이리니어 보간 기법이나 도 21과 같은 바이큐빅 방법이 적용될 수 있다. The interpolation processing unit 13 generates interpolation data by an interpolation method that functions as a function of pixel values of a low-resolution input image in a kernel adaptively adjusted by the kernel determination unit 12. [ The interpolation method applicable in the interpolation processing unit 13 can be any known interpolation method. For example, the bilinear interpolation method as shown in FIG. 20 or the bicubic method as shown in FIG. 21 can be applied.

바이리니어 보간 기법은 도 20 및 수학식1과 같이 저해상도 입력 영상의 픽셀값들(x[n], x[n+1])로부터 보간 픽셀 데이터(y[k])를 생성한다. The bilinear interpolation technique generates interpolated pixel data y [k] from pixel values (x [n], x [n + 1]) of a low-resolution input image as shown in FIG.

Figure 112010032367411-pat00001
Figure 112010032367411-pat00001

여기서, 가중치 β(x)는 0≤│x│<1에서 1-│x│, │x│≥1에서 0이다. a는 저해상도 영상의 픽셀 데이터들과 보간 픽셀 데이터 사이의 거리이다.  Here, the weight value? (X) is 0 at 1? X |, 1 at x? X | <1 and 0 at x | and a is the distance between the pixel data of the low resolution image and the interpolation pixel data.

바이큐빅 보간 기법은 도 21 및 수학식2와 같이 저해상도 입력 영상의 픽셀값들(x[n-1], x[n], x[n+1], x[n+2])로부터 보간 픽셀 데이터(y[k])를 생성한다. The Bicubic interpolation technique is a method of interpolating the interpolation pixel from the pixel values (x [n-1], x [n], x [n + 1], x [n + 2] And generates data y [k].

Figure 112010032367411-pat00002
Figure 112010032367411-pat00002

여기서, 가중치 β(x)는 0≤│x│<1에서 (a+2)│x│3-(a+3)│x│2+1, 1≤│x│<2에서 a│x│3-5a│x│2+8a│x│-4a, │x│≥2에서 0이다.Here, the weight value? (X) is a? X (1) in the range of 0? X | 1 to (a + 2) x? 3 - (a + 3) x 2 +1, 3 -5 a | x | 2 + 8 a | x | -4 a, | x |

도 22는 본 발명과 종래 기술의 비교 실험 결과를 보여 주는 도면이다. 22 is a graph showing a result of a comparison experiment between the present invention and the conventional art.

도 22에서, (a)는 원본 샘플 영상이고, (b)는 등방형 커널 기반으로 실시된 종래 기술의 바이리니어 보간 기법을 적용한 원본 샘플 영상의 보간 결과에서 붉은색 부분을 확대한 고해상도 변환 영상이다. (c)는 종래 보간 기법의 하나인 Li's(NEDI)을 적용한 원본 샘플 영상의 보간 결과에서 붉은색 부분을 확대한 고해상도 변환 영상이다. (d)는 본 발명에서 제안된 JPR 검출에 따른 가변 커널에서 바이리니어 보간 기법으로 원본 샘플 영상을 보간한 고해상도 변환 영상 결과이다. 도 22에서 알 수 있는 바와 같이, 본 발명은 전술한 JPR 검출 알고리즘들 중 어느 하나 이상을 이용하여 저해상도 영상에서 JPR을 검출하고 그 JPR의 경계 각도에 따라 적응적으로 가변되는 커널 내에서 보간을 적용함으로써 경계부의 재깅을 종래 기술에 비하여 현저히 줄일 수 있다. 22, (a) is an original sample image, (b) is a high-resolution transformed image obtained by enlarging a red part of an interpolation result of an original sample image using a conventional linear bilinear interpolation technique based on an isotropic kernel . (c) is a high-resolution transformed image obtained by enlarging the red part of the interpolation result of the original sample image using Li's (NEDI), which is one of the conventional interpolation techniques. (d) is a high-resolution transformed image obtained by interpolating an original sample image with a bilinear interpolation technique in a variable kernel according to JPR detection proposed in the present invention. 22, the present invention detects JPRs in a low-resolution image using one or more of the JPR detection algorithms described above and applies interpolation in an adaptively variable kernel according to the boundary angle of the JPRs. The jigging of the boundary portion can be remarkably reduced as compared with the prior art.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

100 : 스케일러 101 : 타이밍 콘트롤러
102 : 데이터 구동회로 103 : 스캔 구동회로
200 : 표시패널100: Scaler 101: Timing controller
102: data driving circuit 103: scan driving circuit
200: display panel

Claims (10)

저해상도 영상 데이터로부터 재깅 가능 영역을 검출하고 상기 재깅 가능 영역의 경계부 각도를 판정하는 단계;
상기 경계부 각도에 따라 가변 커널의 크기를 조정하는 단계;
상기 가변 커널 내에서 존재하는 상기 저해상도 영상 데이터의 픽셀값들로부터 새로운 보간 픽셀값을 생성하는 단계; 및
상기 저해상도 영상의 픽셀값들 사이에 상기 보간 픽셀을 삽입하여 고해상도 영상 데이터를 생성하는 단계를 포함하고,
상기 경계부 각도에 따라 가변 커널의 크기를 조정하는 단계는,
상기 재깅 가능 영역의 경계부 각도가 클수록 상기 가변 커널의 크기를 작게 조정하고, 상기 재깅 가능 영역의 경계부 각도가 작을수록 상기 가변 커널의 크기를 넓게 조정하는 재깅 위치 검출 기반 보간 방법. Detecting a joggable area from the low-resolution image data and determining an angle of a boundary of the joggable area;
Adjusting a size of the variable kernel according to the boundary angle;
Generating a new interpolated pixel value from pixel values of the low-resolution image data existing in the variable kernel; And
And inserting the interpolation pixel between pixel values of the low-resolution image to generate high-resolution image data,
Wherein the step of adjusting the size of the variable kernel according to the boundary angle comprises:
And adjusting the size of the variable kernel as the angle of the boundary of the jaggable area is larger and adjusting the size of the variable kernel as the angle of the boundary of the joggable area is smaller. 제 1 항에 있어서,
상기 저해상도 영상 데이터로부터 재깅 가능 영역을 검출하고 상기 재깅 가능 영역의 경계부 각도를 판정하는 단계는,
트레이닝 기판 패턴 매칭 알고리즘, 픽셀 인텐시티 변화 검출 알고리즘, 에지 방향 변화 검출 알고리즘 중 어느 하나 또는 하나 이상의 알고리즘을 이용하여 상기 재깅 가능 영역을 검출하고 상기 경계부 각도를 판정하는 재깅 위치 검출 기반 보간 방법. The method according to claim 1,
Wherein the step of detecting the jagable area from the low-resolution image data and determining the angle of the boundary of the jiggable area comprises:
A jigging position detection based interpolation method for detecting the jiggable area using one or more algorithms of a training board pattern matching algorithm, a pixel intensity change detection algorithm, and an edge direction variation detection algorithm and determining the boundary angle. 삭제delete 제 1 항에 있어서,
상기 가변 커널 내에서 존재하는 상기 저해상도 영상 데이터의 픽셀값들로부터 새로운 보간 픽셀값을 생성하는 단계는,
바이리니어 보간 기법과 바이큐빅 보간 기법 중 어느 하나를 이용하여 상기 보간 픽셀값을 생성하는 재깅 위치 검출 기반 보간 방법. The method according to claim 1,
Generating a new interpolated pixel value from pixel values of the low-resolution image data existing in the variable kernel,
A jigging position detection based interpolation method for generating the interpolation pixel value using any one of a bilinear interpolation method and a bicubic interpolation method. 제 4 항에 있어서,
상기 가변 커널 내에서 존재하는 상기 저해상도 영상 데이터의 픽셀값들로부터 새로운 보간 픽셀값을 생성하는 단계는,
상기 가변 커널의 크기가 넓어질수록 거리가 길어지는 상기 저해상도 영상 데이터의 픽셀값들을 보간에 적용하는 재깅 위치 검출 기반 보간 방법. 5. The method of claim 4,
Generating a new interpolated pixel value from pixel values of the low-resolution image data existing in the variable kernel,
And interpolating pixel values of the low-resolution image data, the distance of which increases as the size of the variable kernel increases. 데이터라인들과 스캔라인들이 교차되는 표시패널;
저해상도 영상 데이터로부터 재깅 가능 영역을 검출하고 상기 재깅 가능 영역의 경계부 각도를 판정하는 검출부, 상기 검출부로부터 입력된 상기 경계부 각도 정보에 따라 가변 커널의 크기를 조정하는 커널 결정부, 및 상기 가변 커널 내에서 존재하는 상기 저해상도 영상 데이터의 픽셀값들로부터 새로운 보간 픽셀값을 생성하고 상기 저해상도 영상의 픽셀값들 사이에 상기 보간 픽셀을 삽입하여 상기 저해상도 영상 데이터를 고해상도 영상 데이터로 변환하는 보간 처리부를 포함한 스케일러;
상기 고해상도 영상 데이터를 데이터전압으로 변환하여 상기 데이터라인들로 출력하는 데이터 구동회로; 및
상기 데이터전압에 동기되는 스캔펄스를 상기 스캔라인들로 순차적으로 출력하는 스캔 구동회로를 구비하고,
상기 커널 결정부는,
상기 재깅 가능 영역의 경계부 각도가 클수록 상기 가변 커널의 크기를 작게 조정하고, 상기 재깅 가능 영역의 경계부 각도가 작을수록 상기 가변 커널의 크기를 넓게 조정하는 표시장치. A display panel in which data lines and scan lines cross each other;
A detector for detecting a jigable area from low resolution image data and determining an angle of a boundary of the jigable area, a kernel determiner for adjusting the size of the variable kernel according to the boundary angle information input from the detector, And an interpolation processing unit for generating a new interpolation pixel value from the pixel values of the existing low resolution image data and interpolating the low resolution image data into high resolution image data by inserting the interpolation pixel between pixel values of the low resolution image;
A data driving circuit for converting the high-resolution image data into a data voltage and outputting the data voltage to the data lines; And
And a scan driving circuit for sequentially outputting a scan pulse synchronized with the data voltage to the scan lines,
The kernel determination unit may determine,
Adjusts the size of the variable kernal as the angle of the boundary of the jiggable area increases, and adjusts the size of the variable kernier as the angle of the boundary of the jiggable area decreases. 제 6 항에 있어서,
상기 검출부는,
트레이닝 기판 패턴 매칭 알고리즘, 픽셀 인텐시티 변화 검출 알고리즘, 에지 방향 변화 검출 알고리즘 중 어느 하나 또는 하나 이상의 알고리즘을 이용하여 상기 재깅 가능 영역을 검출하고 상기 경계부 각도를 판정하는 표시장치. The method according to claim 6,
Wherein:
Wherein the detecting unit detects the jiggable area using the at least one of the training board pattern matching algorithm, the pixel intensity change detection algorithm, and the edge direction change detection algorithm, and determines the boundary angle. 삭제delete 제 6 항에 있어서,
상기 보간 처리부는,
바이리니어 보간 기법과 바이큐빅 보간 기법 중 어느 하나를 이용하여 상기 보간 픽셀값을 생성하는 표시장치. The method according to claim 6,
The interpolation processing unit,
Wherein the interpolation pixel value is generated using one of a bilinear interpolation technique and a bicubic interpolation technique. 제 9 항에 있어서,
상기 보간 처리부는,
상기 가변 커널의 크기가 넓어질수록 거리가 길어지는 상기 저해상도 영상 데이터의 픽셀값들을 보간에 적용하는 표시장치. 10. The method of claim 9,
The interpolation processing unit,
And applies the pixel values of the low resolution image data to the interpolation where the distance becomes longer as the size of the variable kernel is widened.
KR1020100047235A 2010-05-20 2010-05-20 Interpolation method based jagging detection and display device using the same Active KR101679857B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100047235A KR101679857B1 (en) 2010-05-20 2010-05-20 Interpolation method based jagging detection and display device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100047235A KR101679857B1 (en) 2010-05-20 2010-05-20 Interpolation method based jagging detection and display device using the same

Publications (2)

Publication Number Publication Date
KR20110127798A KR20110127798A (en) 2011-11-28
KR101679857B1 true KR101679857B1 (en) 2016-11-25

Family

ID=45396253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100047235A Active KR101679857B1 (en) 2010-05-20 2010-05-20 Interpolation method based jagging detection and display device using the same

Country Status (1)

Country Link
KR (1) KR101679857B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878184B1 (en) * 2012-03-08 2018-07-13 엘지디스플레이 주식회사 Method for detecting jagging area and jagging area detection device
KR102056686B1 (en) 2013-02-18 2019-12-18 삼성디스플레이 주식회사 Image processing part, display apparatus having the same and method of processing image using the same
KR102223524B1 (en) * 2014-10-23 2021-03-05 엘지디스플레이 주식회사 Apparatus for converting data and display apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160139A (en) * 1999-10-29 2001-06-12 Canon Inc Image processing method and image processing apparatus
JP2003179882A (en) * 2001-11-19 2003-06-27 Matsushita Electric Ind Co Ltd Edge-based interpolation method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160139A (en) * 1999-10-29 2001-06-12 Canon Inc Image processing method and image processing apparatus
JP2003179882A (en) * 2001-11-19 2003-06-27 Matsushita Electric Ind Co Ltd Edge-based interpolation method

Also Published As

Publication number Publication date
KR20110127798A (en) 2011-11-28

Similar Documents

Publication Publication Date Title
US8675999B1 (en) Apparatus, system, and method for multi-patch based super-resolution from an image
CN101185084B (en) Method and system for detecting roads at night
US9240033B2 (en) Image super-resolution reconstruction system and method
US8457403B2 (en) Method of detecting and correcting digital images of books in the book spine area
CN111709407B (en) Method and device for improving video target detection performance in monitoring edge calculation
US9224063B2 (en) Apparatus and method for digital microscopy imaging
US9652825B2 (en) Image enlargement method and apparatus
EP2449531B1 (en) Skew detection
US8787671B2 (en) Character recognition preprocessing method and apparatus
US20120281923A1 (en) Device, system, and method of image processing utilizing non-uniform image patch recurrence
US8218817B2 (en) Online articulate object tracking with appearance and shape
CN112084886B (en) Method and device for improving detection performance of neural network target detection
US20050226538A1 (en) Video scaling
US8548196B2 (en) Method and interface of recognizing user&#39;s dynamic organ gesture and elec tric-using apparatus using the interface
WO2024159082A2 (en) Monocular depth and optical flow estimation using diffusion models
KR102656237B1 (en) Moving fingerprint recognition method and apparatus using display
KR101679857B1 (en) Interpolation method based jagging detection and display device using the same
US6542639B2 (en) Region extraction apparatus, region extraction method and computer readable recording medium
US20040146183A1 (en) Method and system for tracking an object
EP4526864A1 (en) Vehicle license plate recognition method, device, terminal and computer-readable storage medium
US7796191B1 (en) Edge-preserving vertical interpolation
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
US11657608B1 (en) Method and system for video content analysis
US20240281502A1 (en) Confidence aided upsampling of categorical maps
KR20230080804A (en) Apparatus and method for estimating human pose based AI

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100520

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150508

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100520

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160412

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160929

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161121

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161121

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201019

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20211101

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20221017

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20231016

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20241015

Start annual number: 9

End annual number: 9