[go: up one dir, main page]

KR100683060B1 - Apparatus and method for removing blocking of image frames - Google Patents

Apparatus and method for removing blocking of image frames Download PDF

Info

Publication number
KR100683060B1
KR100683060B1 KR1020050059691A KR20050059691A KR100683060B1 KR 100683060 B1 KR100683060 B1 KR 100683060B1 KR 1020050059691 A KR1020050059691 A KR 1020050059691A KR 20050059691 A KR20050059691 A KR 20050059691A KR 100683060 B1 KR100683060 B1 KR 100683060B1
Authority
KR
South Korea
Prior art keywords
edge
pixel
pixels
block
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020050059691A
Other languages
Korean (ko)
Other versions
KR20060064487A (en
Inventor
김병규
김선태
송석규
마평수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/272,301 priority Critical patent/US7961357B2/en
Publication of KR20060064487A publication Critical patent/KR20060064487A/en
Application granted granted Critical
Publication of KR100683060B1 publication Critical patent/KR100683060B1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 디코딩된 영상 프레임의 블록화 현상 제거 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for removing blocking of a decoded image frame.

본 발명에 따른 영상 프레임의 블록화 현상 제거 방법은 블록 단위로 디코딩된 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 포함하는 화소 정보를 추출하는 단계, 상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블록 에지 화소 중의 하나로 분류하는 단계, 및 상기 분류 결과에 따라 상이한 필터링을 수행하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a method of eliminating blocking of an image frame, by applying an edge detector to an arbitrary pixel in an image frame decoded in units of blocks, extracting pixel information including an edge response size, edge direction information, and edge position information. And classifying the pixel into one of non-edge pixels, object edge pixels, and block edge pixels using the extracted pixel information, and performing different filtering according to the classification result.

본 발명의 구성에 따르면, 객체 에지 정보를 선택적으로 보존함으로써 향상된 화질의 영상을 제공할 수 있다.According to the configuration of the present invention, it is possible to provide an image of improved quality by selectively preserving the object edge information.

블록화, 에지, 필터 Block, Edge, Filter

Description

영상 프레임의 블록화 현상 제거 장치 및 그 방법 {DEVICE AND METHOD FOR DEBLOCKING OF VIDEO FRAME}Blocking phenomenon of video frame and method thereof {DEVICE AND METHOD FOR DEBLOCKING OF VIDEO FRAME}

도 1은 본 발명의 실시예에 따른 동영상 부호화 장치를 도시한 블록도이다.1 is a block diagram illustrating a video encoding apparatus according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 디블록킹 필터를 도시한 블록도이다.2 is a block diagram illustrating a deblocking filter according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 에지 특성 판별 방법을 도시한 흐름도이다.3 is a flowchart illustrating an edge characteristic determination method according to an exemplary embodiment of the present invention.

도 4는 균일 영역(homogenous region) 내의 블록 경계에서 발생하는 블록화 현상을 간략히 도시한 도면이다.FIG. 4 is a diagram schematically illustrating a blocking phenomenon occurring at a block boundary in a homogenous region.

도 5는 디코딩된 영상 데이터 내의 블록 에지와 객체 에지를 도시한 도면이다.5 is a diagram illustrating block edges and object edges in decoded image data.

도 6은 본 발명의 실시예에 따른 영상 데이터의 선택적 필터링 방법을 도시한 흐름도이다.6 is a flowchart illustrating a selective filtering method of image data according to an embodiment of the present invention.

본 발명은 디코딩된 영상 프레임의 블록화 현상 제거 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for removing blocking of a decoded image frame.

종래 대부분의 영상 데이터 부호화 방법은 영상 프레임을 블록 단위로 처리 한다. 특히, MPEG(moving picture experts group), H.264 등 영상 데이터에 관한 부호화 표준들에 따르면 블록 단위로 부호화가 수행된다. 즉, 영상 프레임의 부호화 과정에서는 프레임을 블록 단위로 분할하고, 분할된 블록 단위로 각각 개별적인 데이터 처리가 이루어지므로, 블록 경계의 윤곽선의 존재로 인한 블록킹 결점(blocking artifact)이 발생하는 블록화 현상이 야기되어 영상의 화질 열화 및 사용자의 시각적 불편이 초래되는 문제가 발생한다.Most conventional image data encoding methods process image frames in units of blocks. In particular, according to encoding standards for image data such as MPEG (H.264) and H.264, encoding is performed in units of blocks. That is, in the encoding process of the image frame, the frame is divided into blocks and individual data processing is performed on each of the divided blocks, thereby causing a blocking phenomenon in which blocking artifacts are generated due to the existence of outlines of block boundaries. Therefore, a problem arises that the image quality deterioration and the user's visual inconvenience.

이러한 블록화 현상은 분할된 블록 간의 상관관계를 고려하지 않은 부호화 및 양자화 과정에 기인한 저주파 성분 정보의 손실에 기인하는 것으로서, 부호화된 후 복호화 과정을 거쳐 재현된 영상 프레임에 압축되지 않은 원래의 영상 프레임에는 존재하지 않았던 고주파 영역, 즉 에지 영역이 발생되는 현상을 말한다. 블록화 현상은 인접 화소 간의 연속성을 파괴시키므로, 일반적으로 저대역 필터(lowpass filter)를 이용하여 고주파 영역을 평활화(smoothing)시켜 블록화 현상을 제거하는 디블록킹(deblocking) 처리가 이루어져 왔다.This blocking phenomenon is caused by the loss of low frequency component information due to encoding and quantization processes that do not take into account the correlation between the divided blocks. Refers to a phenomenon in which a high frequency region, that is, an edge region, does not exist. Since the blocking phenomenon destroys the continuity between adjacent pixels, a deblocking process for smoothing a high frequency region using a lowpass filter to remove the blocking phenomenon has been generally performed.

저대역 필터링을 이용한 디블록킹 처리 이외에도, 하나의 블록 내의 화소들을 블록 내부 화소와 블록 경계 화소의 두 종류로 분류하고, 이에 따라서 저대역 필터링의 강도를 다르게 하는 방법이 제안되어 있다. 또한, 블록 경계에 해당하는 화소 중 경계 값의 차가 어떤 임계값보다 큰 화소의 집합을 선택하고, 여기에 서로 값이 상쇄될 수 있도록 설정된 가상의 영상 프레임을 적절하게 삽입하여 전체 화소값들을 부드럽게 변경시킴으로써, 시각적인 불연속성을 감소시키게 하는 다른 형태의 저대역 필터링도 제안되어 있다.In addition to the deblocking process using low-band filtering, a method of classifying pixels in one block into two types of pixels inside a block and block boundary pixels, and accordingly, a method of varying the strength of low-band filtering has been proposed. In addition, among the pixels corresponding to the block boundary, a set of pixels whose boundary value is larger than a certain threshold value is selected, and a virtual image frame set so that the values can be canceled with each other is appropriately inserted to smoothly change all pixel values. In addition, other forms of low-band filtering have been proposed that reduce visual discontinuities.

그러나, 전술한 종래의 블록화 현상 제거 기법들은 블록의 경계에 나타나는 시각적 불연속성을 감소시켜 줄 수 있으나, 블록의 경계 영역 주변에 위치하는 사람 또는 사물의 윤곽선에 의하여 발생하는 고주파 성분 즉, 객체 에지(object edge)의 정보도 함께 평활화(smoothing)시키게 되어, 전체 영상의 화질이 오히려 열화되는 문제가 있었다.However, the above-described conventional blocking effect removal techniques can reduce visual discontinuity appearing at the boundary of the block, but the high frequency component generated by the contour of the person or object located around the boundary area of the block, that is, the object edge Edge information is also smoothed together, resulting in a deterioration in image quality of the entire image.

즉, 블록화 현상의 제거를 위한 필터링을 수행하기 위해서는 먼저 블록화 현상이 발생된 영역을 정확히 파악해 내는 것이 중요하다. 그렇지 않을 경우 원래의 영상 프레임에 존재하는 에지 영역 즉, 객체 에지(object edge)를 블록화 현상에 의해 생긴 것으로 판단하여 제거함으로써 필터링 수행 후의 화질이 오히려 저하되는 결과를 가져올 수 있기 때문이다.That is, in order to perform filtering to remove the blocking phenomenon, it is important to first identify the region where the blocking phenomenon occurs. Otherwise, the image quality after the filtering may be deteriorated by determining that the edge area existing in the original image frame, that is, the object edge, is removed by the blocking phenomenon.

본 발명이 이루고자 하는 기술적 과제는 블록 기반으로 부호화된 영상 프레임을 복원함에 있어서, 영상 내의 객체 에지를 보존하고, 블록화 현상을 효과적으로 제거할 수 있는 영상 프레임의 선택적 필터링 장치 및 그 방법을 제공하는 것이다.An object of the present invention is to provide an apparatus and method for selectively filtering an image frame capable of preserving object edges in an image and effectively removing a blocking phenomenon in reconstructing an image frame encoded on a block basis.

이러한 과제를 해결하기 위해, 본 발명의 한 특징에 따르면, 블록 단위로 디코딩된 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 포함하는 화소 정보를 추출하는 단계, 상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블 록 에지 화소 중의 하나로 분류하는 단계, 및 상기 분류 결과에 따라 상이한 필터링을 수행하는 단계를 포함하는 영상 프레임의 블록화 현상 제거 방법이 제공된다.In order to solve this problem, according to an aspect of the present invention, an edge detector is applied to an arbitrary pixel in an image frame decoded on a block basis to obtain pixel information including the magnitude of edge response, edge direction information, and edge position information. Extracting, classifying the pixel into one of non-edge pixels, object edge pixels, and block edge pixels using the extracted pixel information, and performing different filtering according to the classification result. A method of removing blocking phenomenon of is provided.

여기서, 상기 화소 분류 단계는 상기 화소의 에지 응답의 크기와 미리 설정된 임계값을 비교하여, 상기 임계값이 큰 경우에는 상기 화소를 비에지 화소로 분류한다. 그리고, 상기 에지 응답의 크기가 큰 경우에는 상기 화소의 에지 방향이 0° 또는 90°에 해당하는지의 여부를 판단하여, 상기 에지 방향이 0° 또는 90°가 아닌 경우, 상기 화소를 객체 에지 화소로 분류하고, 상기 에지 방향이 0° 또는 90°에 해당하는 경우, 상기 화소의 에지 위치 정보를 이용하여 상기 화소가 블록 경계 영역에 존재하는 지의 여부를 판단하여, 상기 화소가 블록 경계 영역에 위치하면 블록 에지 화소로 분류한다.Here, the pixel classification step compares the magnitude of the edge response of the pixel and a preset threshold value, and classifies the pixel as an unedge pixel when the threshold value is large. When the magnitude of the edge response is large, it is determined whether the edge direction of the pixel corresponds to 0 ° or 90 °. When the edge direction is not 0 ° or 90 °, the pixel is an object edge pixel. When the edge direction corresponds to 0 ° or 90 °, it is determined whether the pixel exists in the block boundary area by using edge position information of the pixel, and the pixel is located in the block boundary area. If so, it is classified as a block edge pixel.

본 발명의 다른 특징에 따르면, 블록 단위로 디코딩된 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 포함하는 화소 정보를 추출하는 화소 정보 추출부, 상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블록 에지 화소 중의 하나로 분류하는 에지 판별부, 및 상기 화소 분류 결과에 따라 상이한 필터링을 수행하는 필터부를 포함하는 영상 프레임의 블록화 현상 제거 장치가 제공된다.According to another feature of the invention, the pixel information extraction unit for extracting the pixel information including the magnitude of the edge response, edge direction information and edge position information by applying the edge detector to any pixel in the image frame decoded in block units; Blocking an image frame including an edge discriminator classifying the pixel into one of non-edge pixels, object edge pixels, and block edge pixels using the extracted pixel information, and a filter unit performing different filtering according to the pixel classification result. A development removal device is provided.

본 발명의 또 다른 특징에 따르면, 전술한 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.According to still another aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for realizing the above-described method.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상 세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.

도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

도 1은 본 발명의 실시예에 따른 동영상 부호화 장치를 도시한 블록도이다. 도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 동영상 부호화 장치는 변환기(110), 양자화기(120), 역양자화기(131), 역변환기(132), 프레임 메모리(133), 움직임 보상기(134), 가산기(135), 움직임 추정기(140), 감산기(150), 엔트로피 부호화기(160), 및 디블록킹 필터(200)를 포함한다. 이 때, 도 1의 동영상 부호화 장치는 H.264 방식의 부호화 장치일 수 있다.1 is a block diagram illustrating a video encoding apparatus according to an embodiment of the present invention. As shown in FIG. 1, a video encoding apparatus according to an exemplary embodiment of the present invention includes a transformer 110, a quantizer 120, an inverse quantizer 131, an inverse transformer 132, a frame memory 133, and a motion compensator. 134, an adder 135, a motion estimator 140, a subtractor 150, an entropy encoder 160, and a deblocking filter 200. In this case, the video encoding apparatus of FIG. 1 may be an H.264 encoding apparatus.

매크로 블록 단위로 입력되는 영상 프레임은 변환기(110)에서 미리 설정된 방식에 따라 변환된 후 양자화기(120)에서 양자화된다. 이 때, 변환기(110)에서 사용되는 영상 데이터 변환 기법은 이산 코사인 변환(discrete cosine transform, DCT) 또는 이산 웨이브릿 변환(discrete wavelet transform, DWT) 기법일 수 있다.The image frame input in macroblock units is converted according to a preset method in the converter 110 and then quantized in the quantizer 120. In this case, the image data transformation technique used in the transformer 110 may be a discrete cosine transform (DCT) or a discrete wavelet transform (DWT) technique.

양자화기(120)로부터 출력된 양자화된 영상 프레임은 역양자화기(131)와 역변환기(132)를 거쳐 복호화되고, 복호화된 데이터는 가산기(135)로 입력된다.The quantized image frame output from the quantizer 120 is decoded through the inverse quantizer 131 and the inverse transformer 132, and the decoded data is input to the adder 135.

가산기로부터 출력된 복호화된 데이터는 디블록킹 필터(200)에서 화소 정보 추출, 에지 특성 판별 및 판별 결과에 따른 선택적 필터링을 거쳐 실제의 이미지로 복원되어 프레임 메모리(133)에 저장된다. 여기서, 프레임 메모리(133)에 저장된 복원된 영상 프레임은 움직임 추정을 위한 참조 영상으로 제공될 수 있다. 디블록킹 필터(200)에서 이루어지는 에지 판별 결과에 따른 필터링에 대해서는 아래에서 상세히 설명한다.The decoded data output from the adder is restored to an actual image through the pixel information extraction, the edge characteristic determination, and the selective filtering according to the determination result by the deblocking filter 200 and stored in the frame memory 133. Here, the reconstructed image frame stored in the frame memory 133 may be provided as a reference image for motion estimation. The filtering based on the edge determination result of the deblocking filter 200 will be described in detail below.

움직임 추정기(140)는 현재 입력되는 매크로 블록 단위의 영상 프레임에 대하여 프레임 메모리(133)에 저장된 참조 영상 중 적어도 하나의 영상을 제공받아 움직임 추정을 수행하여, 움직임 벡터(motion vector), 참조 영상을 나타내는 인덱스(index) 및 블록 모드를 포함하는 움직임 데이터를 출력한다.The motion estimator 140 performs motion estimation by receiving at least one of the reference images stored in the frame memory 133 with respect to the image frame in the macroblock unit that is currently input, and performs a motion vector and a reference image. The motion data including the index and the block mode are output.

움직임 보상기(134)는 움직임 추정기(140)로부터 입력된 움직임 데이터에 따라, 프레임 메모리(133)에 저장된 참조 영상으로부터 현재 입력된 매크로 블록에 대응하는 매크로 블록 단위의 영상 프레임을 추출하여 출력한다. 움직임 보상기(134)로부터 출력된 데이터는 가산기(135)로 입력되어, 가산기(135)의 타단에서 입력되는 복호화된 데이터를 실제의 이미지로 복원하여 디블록킹 필터(200)로 전송하여, 블록킹 결점을 제거하는 처리가 이루어질 수 있도록 한다.The motion compensator 134 extracts and outputs an image frame in macroblock units corresponding to a macroblock currently input from a reference image stored in the frame memory 133 according to the motion data input from the motion estimator 140. The data output from the motion compensator 134 is input to the adder 135, reconstructs the decoded data input from the other end of the adder 135 to an actual image, and transmits the decoded data to the deblocking filter 200 to block blocking defects. Allows the removal process to be made.

감산기(150)는 동영상 부호화 장치로 입력된 매크로 블록에 대하여 프레임 간 예측 부호화(interframe predictive coding)가 이루어지는 경우, 움직임 보상기(134)로부터 입력 매크로 블록에 대응하는 참조 영상 내의 매크로 블록을 입력받아 입력 매크로 블록과의 차분 연산을 수행하여 잔차 신호(residual signal)을 출력한다. 출력된 잔차 신호는 다시 변환기(110) 및 양자화기(120)를 거쳐 변환 및 양자화되고 엔트로피 부호화기(160)에 의해 엔트로피 부호화되어 NAL(network abstraction layer) 유닛 데이터의 형태로 출력된다.When the interframe predictive coding is performed on the macroblock input to the video encoding apparatus, the subtractor 150 receives a macroblock in the reference image corresponding to the input macroblock from the motion compensator 134. The residual signal is output by performing a difference operation with the block. The output residual signal is transformed and quantized through the transformer 110 and the quantizer 120, entropy-encoded by the entropy encoder 160, and output in the form of network abstraction layer (NAL) unit data.

엔트로피 부호화기(160)로부터 출력된 영상 프레임 데이터는 비트 레이트(bit rate)를 조절하기 위하여 버퍼(미도시)에 일시 저장된 후 출력될 수 있다.The image frame data output from the entropy encoder 160 may be temporarily stored in a buffer (not shown) and then output in order to adjust a bit rate.

도 1에 도시된 동영상 부호화 장치 내에서 역양자화기(131), 역변환기(132), 프레임 메모리(133), 움직임 보상기(134), 가산기(135) 및 디블록킹 필터(200)는 동영상 부호화 장치 내에서 부호화된 영상 데이터를 복호화하는 디코더(130)를 형성한다.In the video encoding apparatus illustrated in FIG. 1, an inverse quantizer 131, an inverse transformer 132, a frame memory 133, a motion compensator 134, an adder 135, and a deblocking filter 200 are included in a video encoding apparatus. A decoder 130 for decoding the encoded image data therein is formed.

도 2는 본 발명의 실시예에 따른 디블록킹 필터(200)를 도시한 블록도이며, 도 3은 도 2의 에지 판별부(220)에서 이루어지는 에지 특성 판별 과정을 도시한 흐름도이다. 도 2에 나타낸 바와 같이, 디블록킹 필터(200)는 화소 정보 추출부(210), 에지 판별부(220), 및 필터부(230)를 포함하며, 필터부(230)는 저대역 필터(231) 및 적응 필터(232)를 포함한다. 본 발명의 실시예에서는 기존의 블록화 현상 제거 기법들에 있어서, 원래의 영상 내에 존재하는 블록의 경계(boundary) 주위에 위치된 객체들의 에지 정보가 블록 경계 영역의 에지 정보와 함께 저대역 필터링됨으로써, 에지 정보가 열화되어 화질이 오히려 악화되는 현상을 방지하기 위하여 디코딩된 원시 영상 데이터를 분석하여 각 화소들에 포함된 에지 특성 정보를 추출해 내고, 이를 기초로 하여 선택적 필터링이 이루어진다.2 is a block diagram illustrating a deblocking filter 200 according to an exemplary embodiment of the present invention, and FIG. 3 is a flowchart illustrating an edge characteristic determination process performed by the edge determination unit 220 of FIG. 2. As shown in FIG. 2, the deblocking filter 200 includes a pixel information extracting unit 210, an edge discriminating unit 220, and a filter unit 230, and the filter unit 230 includes a low band filter 231. ) And adaptive filter 232. According to an embodiment of the present invention, in the conventional block elimination techniques, edge information of objects located around a boundary of a block existing in an original image is low-band filtered together with edge information of a block boundary region. In order to prevent the deterioration of edge information due to deterioration of the edge information, the decoded raw image data is analyzed to extract edge characteristic information included in each pixel, and selective filtering is performed based on this.

화소 정보 추출부(210)는 역변환 및 역양자화를 거친 원시 영상 데이터 내의에지 화소를 판별하기 위한 전단계로서, 화소에 포함된 에지 정보를 에지 검출자(edge detector)를 이용하여 추출한다. 에지 검출자는 소벨(Sobel) 에지 검출자 및 캐니(Canny) 에지 검출자를 비롯하여 일반적으로 사용되고 있는 에지 검출자 중 어떠한 것이라도 사용 가능하다. 화소 정보 추출부(210)에서는 화소 특성의 판별에 사용되는 에지 정보를 효과적으로 파악하기 위하여 아래의 세 가지의 화소 정보들을 추출한다.The pixel information extracting unit 210 extracts edge information included in the pixel using an edge detector as a previous step for determining an edge pixel in the raw image data that has undergone inverse transformation and inverse quantization. The edge detector can be any of the commonly used edge detectors, including Sobel edge detectors and Canny edge detectors. The pixel information extracting unit 210 extracts the following three pieces of pixel information to effectively grasp the edge information used to determine the pixel characteristics.

1. 에지 응답의 크기(M)1. Magnitude of edge response (M)

디코딩된 원시 영상 데이터에 에지 검출자를 적용시킨 응답 크기의 절대치로 정의할 수 있으며, 아래의 수학식 1을 통하여 얻을 수 있다.It can be defined as the absolute value of the response size applying the edge detector to the decoded raw image data, it can be obtained through the following equation (1).

Figure 112005036084190-pat00001
Figure 112005036084190-pat00001

수학식 1에서 (i,j)는 디코딩되어 입력되는 블록 단위의 데이터 내의 임의의 화소의 위치를 의미하며, M(i,j)는 해당 화소의 에지 응답의 크기를 나타낸다. f(i,j)는 입력된 원시 영상 내의 임의의 화소에 대한 밝기, 휘도, 색상 등을 나타내는 화소값을 의미하는 것으로서, f(i,j)가 나타내는 값은 동영상 부호화 장치가 적용되는 기기 등의 특성 및 그 운용 정책(operation policy)에 따라 적절히 선택되어 이용될 수 있다.In Equation 1, (i, j) denotes a position of an arbitrary pixel in the data of a block unit to be decoded and input, and M (i, j) represents the magnitude of an edge response of the pixel. f (i, j) denotes a pixel value representing brightness, luminance, color, etc. of an arbitrary pixel in the inputted raw image, and a value represented by f (i, j) is a device to which a video encoding apparatus is applied. It may be appropriately selected and used according to the characteristics of the and its operation policy (operation policy).

또한, K(m,n)은 2차원 에지 검출 연산자를 나타내는 것으로서, (m,n)은 에지 검출에 이용되는 에지 마스크 내부의 인덱스로서 미분 연산자이다. 에지는 영상의 농담과 색의 급격한 변화가 있는 부분이므로 함수의 변화분을 취하는 미분 연산이 윤곽선의 추출에 사용될 수 있으므로, 일반적으로 에지 검출자는 미분 필터의 일종이다. 즉, 영상에서 가로축 및 세로축을 따라서 밝기 값의 변화율, 즉 미분값이 큰 화소가 바로 에지가 되는 것이다. 이러한 성질을 이용하기 위하여 에지의 검출 은 미분 연산자로 구성된 3×3 크기의 마스크를 영상 데이터 내의 특정한 하나의 화소를 기준으로 하여 적용시킴으로써 이루어진다. 예를 들어, 소벨 에지 연산자를 이용할 수 있으며, 소벨 에지 연산자는 각각 9개의 미분 연산자로 구성된 수평 방향의 에지 검출을 위한 에지 마스크 및 수직 방향의 에지 검출은 위한 에지 마스크의 2 종류의 에지 마스크를 디코딩된 영상 데이터에 적용한다. 소벨 에지 마스크 내의 미분 연산자 성분은 아래의 표 1 및 표 2와 같으며, 각각 제2행 제2열의 성분이 수평 방향 및 수직 방향의 에지 성분을 검출하기 위한 대상 화소에 매칭되는 미분 연산자이다.K (m, n) represents a two-dimensional edge detection operator, and (m, n) is a derivative operator as an index inside an edge mask used for edge detection. Edge is a part of differential filter, because the edge is the part of the image having a sharp change in color and a sudden change in color, and thus a derivative operation taking a change in function can be used to extract the contour. In other words, the edge of a pixel having a large rate of change of brightness value, that is, a differential value along the horizontal axis and the vertical axis, is the edge. In order to take advantage of this property, edge detection is achieved by applying a 3x3 mask consisting of a differential operator with respect to a particular pixel in the image data. For example, the Sobel edge operator can be used, and the Sobel edge operator decodes two types of edge masks: an edge mask for horizontal edge detection and an edge mask for vertical edge detection, each consisting of nine differential operators. Applied to the generated video data. The derivative operator components in the Sobel edge mask are as shown in Tables 1 and 2 below, and are the derivative operators in which the components of the second row and the second column match the target pixels for detecting edge components in the horizontal and vertical directions, respectively.

수평 에지 검출자Horizontal edge detector -1-One 00 1One -2-2 00 22 -1-One 00 1One

수직 에지 검출자Vertical edge detector -1-One -2-2 -1-One 00 00 00 1One 22 1One

2. 에지 방향(θ)2. Edge direction (θ)

화소 내에 포함된 수직 방향 성분과 수평 방향 성분의 비를 의미하며, 특정한 하나의 화소를 중심으로 하여 에지 검출자를 적용한 결과 얻을 수 있는 에지 검출자의 수평축과 수직축에 대한 각각의 응답 성분인

Figure 112005036084190-pat00002
Figure 112005036084190-pat00003
를 이용하는 아래의 수학식 2를 이용하여 정의한다.It means the ratio of vertical component and horizontal component included in the pixel, and each response component with respect to the horizontal and vertical axis of the edge detector obtained by applying the edge detector with respect to one specific pixel
Figure 112005036084190-pat00002
Wow
Figure 112005036084190-pat00003
It is defined using Equation 2 below.

Figure 112005036084190-pat00004
Figure 112005036084190-pat00004

여기서,

Figure 112005036084190-pat00005
는 수평 에지 검출자를 영상 데이터에 적용한 값이다. 특정한 하나의 화소를 중심으로 하는 3×3 화소 블록에 표 1에 나타낸 바와 같은 수평 방향의 소벨 에지 검출자를 이용하는 경우를 예를 들어 설명한다. 화소 정보 추출부(210)로 입력된 원시 디코딩 데이터 내의 3×3 블록의 화소 성분을 제1행부터 아래 방향으로 각각 [a,b,c], [d,e,f], [g,h,k]라 한다면, 화소 정보를 추출하고자 하는 대상 화소인 (i,j) 화소는 블록 중심에 위치한 'e' 값을 갖는 화소가 되며, 이 때의
Figure 112005036084190-pat00006
는 {((-1)×a)+(0×b)+(1×c)+((-2)×d)+(0×e)+(2×f)+((-1)×g)+(0×h)+(1×k)}의 값을 갖게 된다.
Figure 112005036084190-pat00007
성분도 표 2에 나타낸 수직 방향의 소벨 에지 검출자를 이용하여 같은 방법으로 구할 수 있다.here,
Figure 112005036084190-pat00005
Is a value obtained by applying a horizontal edge detector to image data. An example will be described using a Sobel edge detector in the horizontal direction as shown in Table 1 in a 3x3 pixel block centered on one particular pixel. The pixel components of the 3x3 block in the raw decoded data inputted to the pixel information extracting unit 210 are [a, b, c], [d, e, f], [g, h] from the first row to the downward direction, respectively. , k], the (i, j) pixel, which is the target pixel from which the pixel information is to be extracted, becomes a pixel having an 'e' value located at the center of the block.
Figure 112005036084190-pat00006
Is (((-1) × a) + (0 × b) + (1 × c) + ((-2) × d) + (0 × e) + (2 × f) + ((-1) × g) + (0 × h) + (1 × k)}.
Figure 112005036084190-pat00007
The components can also be obtained in the same manner using the Sobel edge detector in the vertical direction shown in Table 2.

이러한 방법으로 구한

Figure 112005036084190-pat00008
,
Figure 112005036084190-pat00009
와 수학식 2를 이용하여 얻은 θ(i,j) 성분이 0° 또는 90°에 해당하는 경우에는 해당 화소가 수평축 방향 또는 수직축 방향의 성분을 포함하고 있으므로, 블록의 경계 영역 또는 객체의 모서리 부분에 해당하는 것으로 판단할 수 있다.Obtained in this way
Figure 112005036084190-pat00008
,
Figure 112005036084190-pat00009
When the θ (i, j) component obtained by using Equation 2 and Equation 2 corresponds to 0 ° or 90 °, the pixel includes components in the horizontal or vertical axis direction, and thus the boundary region of the block or the edge of the object. It can be judged as

3. 에지 위치([i,j])3. Edge position ([i, j])

에지 위치 정보인 [i,j]는 디코딩되어 화소 정보 추출부(210)로 입력된 블록 단위의 영상 데이터의 수직축과 수평축에 대한 좌표값으로 정의되며, 이러한 위치 정보를 이용하여 화소가 블록의 경계 영역에 해당하는지의 여부를 판단할 수 있다.[I, j], which is the edge position information, is defined as coordinate values for the vertical axis and the horizontal axis of the image data in the unit of the block decoded and input to the pixel information extracting unit 210. The pixel boundary is defined using the position information. It can be determined whether or not it corresponds to an area.

에지 판별부(220)는 화소 정보 추출부(210)에서 추출해 낸 상기의 세 종류의 화소 정보 즉, 에지 응답 크기(M), 에지 방향(θ) 및 에지 위치 정보([i,j])를 이용하여 화소가 에지 영역에 해당하는지의 여부를 판단한다. 영상 데이터는 에지 정보를 가진 화소들과 에지 정보가 없는 화소들의 집합이므로 에지 정보를 추출하는 과정에서는 에지 정보를 전혀 갖지 않는 균일한 영역의 화소들도 존재하게 된다. 즉, 에지 판별부(220)는 입력된 영상 데이터를 균일 영역에 해당하는 비에지 화소(non-edge pixel), 사람 또는 사물의 윤곽선에 해당하는 객체 에지 화소(object edge pixel) 및 블록 단위의 부호화 과정에서 분할된 경계 영역에 해당하는 블록 에지 화소(block edge pixel)의 세 종류로 분류하여 블록화 현상을 발생시키는 화소와 이에 해당되지 않는 에지 정보를 포함하는 화소들을 분류하여 객체의 에지 정보가 보존되도록 하는 선택적인 필터링이 이루어질 수 있도록 한다.The edge discrimination unit 220 extracts the three kinds of pixel information extracted from the pixel information extracting unit 210, that is, the edge response size (M), the edge direction (θ), and the edge position information ([i, j]). It is determined whether or not the pixel corresponds to the edge region by using. Since the image data is a set of pixels with edge information and pixels without edge information, pixels of a uniform area having no edge information may exist in the process of extracting edge information. That is, the edge determination unit 220 encodes the input image data in a non-edge pixel corresponding to a uniform area, an object edge pixel corresponding to an outline of a person or an object, and a block unit. In order to preserve the edge information of the object, the pixel may be classified into three types of block edge pixels corresponding to the divided boundary region, and pixels including the edge information that do not correspond to the pixel may be generated. Allow selective filtering to be done.

이하, 도 3에 도시된 에지 판별 과정을 참조하여 화소 특성 판별 방법에 대하여 자세히 설명한다.Hereinafter, the pixel characteristic determination method will be described in detail with reference to the edge determination process illustrated in FIG. 3.

에지 특성의 판별을 위하여 화소 정보 추출부(210)가 에지 검출자를 이용하여 얻어낸 세 종류의 화소 정보들 즉, 에지 응답의 크기(M), 에지 방향(θ) 및 에지 위치([i,j]) 정보가 에지 판별부(220)로 입력되면, 에지 판별부(220)는 임의의 화소에 대한 에지 특성 판별을 개시한다(S310).To determine the edge characteristics, the pixel information extracting unit 210 obtains three kinds of pixel information obtained by using the edge detector, that is, the magnitude M of the edge response, the edge direction θ, and the edge position [i, j]. ) Information is input to the edge determination unit 220, the edge determination unit 220 starts to determine the edge characteristic for any pixel (S310).

우선, 에지 판별부(220)는 선택된 화소의 에지 응답 크기(M)가 사람 또는 사 물의 윤곽선이 존재하지 않는 비교적 균일한 영역 내의 화소에 해당하는 것으로 판단할 수 있는 것으로 미리 설정된 임계값 이하의 값에 해당하는 경우에는 비에지 화소인 것으로 판단하여 별도의 처리 과정 없이 그대로 필터부(230)로 화소 데이터를 전송한다(S320,S360). 도 4에는 균일 영역(homogeneous region) 내에서 발생된 블록화 현상을 나타내었다. 도 4에서 하나의 격자는 하나의 화소를 나타내며, 4×4 블록 단위로 디코딩되도록 설정된 경우를 도시한 것이다. 일반적인 디블록킹 처리에 있어서, 그 대상이 되는 영역은 단위 블록의 경계 영역인 'A'선을 중심으로 양 방향 각각 2 화소씩에 해당하는 영역이므로, 'X' 표시된 영역이 수직 에지 처리를 위한 대상이 되는 디블록킹 대상 화소 영역에 해당한다. 도 4에 도시된 바와 같이, 블록 경계에서는 에지 응답의 크기가 급격히 변화하는 특징이 나타나므로, 에지 판별부(220)는 동영상 부호화 장치에 입력되는 영상 프레임의 특성에 따라 임계값을 설정하여 블록 에지 화소의 판단에 이용한다.First, the edge discriminator 220 may determine that the edge response magnitude M of the selected pixel corresponds to a pixel in a relatively uniform area where no contour of a person or a thing exists, and is equal to or less than a preset threshold. In this case, it is determined that the pixel is a non-edge pixel, and the pixel data is transmitted to the filter unit 230 without additional processing (S320 and S360). 4 shows a blocking phenomenon occurring in a homogeneous region. In FIG. 4, one grating represents one pixel and is set to be decoded in units of 4 × 4 blocks. In the general deblocking process, the target area is an area corresponding to 2 pixels each in both directions about the 'A' line which is the boundary area of the unit block, so the area marked with 'X' is the target for vertical edge processing. This corresponds to the deblocking target pixel region. As shown in FIG. 4, since the magnitude of the edge response changes rapidly at the block boundary, the edge determination unit 220 sets a threshold value according to the characteristics of the image frame input to the video encoding apparatus, thereby providing block edges. It is used to determine the pixel.

반면, 선택된 화소의 에지 응답의 크기(M)가 미리 설정된 임계값 보다 큰 경우에는 해당 화소는 객체 에지 화소 또는 블록 에지 화소에 해당하므로, 에지 방향(θ)이 수평축 방향 또는 수직축 방향에 해당하는지의 여부를 판단한다(S330). 도 4에 나타낸 바와 같이 각 단위 블록의 경계 영역에 위치하는 블록 에지 화소는 수평축 방향 또는 수직축 방향만으로 에지 성분을 갖기 때문에 θ가 0° 또는 90°인지의 여부를 판단한다.On the other hand, if the magnitude (M) of the edge response of the selected pixel is larger than the preset threshold, the corresponding pixel corresponds to the object edge pixel or the block edge pixel. Therefore, it is determined whether the edge direction θ corresponds to the horizontal axis direction or the vertical axis direction. It is determined whether or not (S330). As shown in FIG. 4, since the block edge pixel positioned in the boundary region of each unit block has an edge component only in the horizontal axis direction or the vertical axis direction, it is determined whether θ is 0 ° or 90 °.

선택된 화소가 축 방향의 에지 성분을 갖는 것으로 판단된 경우에는 블록 에지 화소일 가능성이 높지만, 에지 판별부(220)는 보다 정확한 판단을 위하여 화소 정보 추출부(210)에서 얻은 에지 위치 정보([i,j])를 이용하여 화소가 블록 경계 영역에 해당하는지의 여부를 판단하여, 블록 경계 영역에 해당하는 경우에는 해당 화소는 블록 에지 화소인 것으로 판단하고, 별도의 데이터 처리 없이 필터부(230)로 출력한다(S340,S360). 이는 θ가 0° 또는 90°에 해당하더라도, 사물의 윤곽선 즉 객체 에지에 해당하는 화소가 존재할 수 있으므로, 이러한 화소들이 블록 에지로 판단되어 저대역 필터를 통하여 필터링됨으로써 오히려 화질이 열화되는 현상을 방지하기 위한 것이다.If it is determined that the selected pixel has an edge component in the axial direction, it is most likely to be a block edge pixel. However, the edge discriminator 220 determines the edge position information ([i j]) to determine whether the pixel corresponds to the block boundary area, and if the pixel corresponds to the block boundary area, the pixel is determined to be a block edge pixel, and the filter unit 230 does not need to process data. Output to (S340, S360). This means that even if θ corresponds to 0 ° or 90 °, there may be a pixel corresponding to the outline of the object, that is, the object edge, so that the pixels are determined to be the block edges and filtered through the low pass filter to prevent the image quality from deteriorating. It is to.

선택된 화소가 축 방향의 에지 성분을 갖지 않고(S330), 축 방향의 에지 성분을 갖더라도 블록 경계 영역에 위치하지 않는 경우에는(S340), 에지 판별부(220)는 해당 화소를 객체 에지 화소인 것으로 판단하고, 객체 에지임을 나타내는 별도의 식별부호를 부가하는 처리를 거쳐 필터부로 출력한다(S350,S360).If the selected pixel does not have an edge component in the axial direction (S330) and is not located in the block boundary area even though it has an edge component in the axial direction (S340), the edge discriminator 220 determines that the pixel is an object edge pixel. In operation S350 and S360, the process is determined to determine whether the object is an edge of the object.

도 5에 이와 같은 블록 에지 화소와 객체 에지 화소의 예를 나타내었다. 도 4에 도시된 내용으로부터 알 수 있는 바와 같이 일반적인 디블록킹 처리에 있어서는, 'B' 선을 기준으로 하는 두 개의 단위 블록에 있어서, 'X', 'O', '△' 표시된 영역이 모두 블록킹 현상의 제거를 위한 디블록킹 대상 화소 영역에 해당하게 된다. 그러나 본 발명의 실시예에서는 'O' 표시된 영역은 수평축 또는 수직축 방향의 에지 성분을 갖는 객체의 윤곽선 영역, 즉 객체 에지 화소로 판별되어 디블록킹 대상 화소에 해당되지 않는 것으로 분류된다. 그리고 '△' 표시된 영역은 객체 내부의 비교적 균일한 영역에 해당되는 화소들로서 비에지 화소에 해당한다.5 shows examples of such block edge pixels and object edge pixels. As can be seen from the contents shown in FIG. 4, in the general deblocking process, in the two unit blocks based on the line 'B', all regions marked with 'X', 'O', and 'Δ' are blocked. It corresponds to the deblocking target pixel area for removing the phenomenon. However, in the exemplary embodiment of the present invention, an area marked with 'O' is classified as an outline region of an object having an edge component in the horizontal or vertical axis direction, that is, an object edge pixel, and thus is not classified as a deblocking target pixel. The areas marked with '△' correspond to non-edge pixels as pixels corresponding to relatively uniform areas inside the object.

에지 응답의 크기와 에지 방향 성분만을 가지고 화소의 특성을 판별하는 경 우에는 도 5에 도시된 영역에 해당하는 객체 에지 화소가 블록 에지 화소로 분류되어 저대역 필터링 처리를 거치게 되는 문제가 발생할 수 있으므로, 본 발명에서는 에지 위치 정보를 부가적으로 이용하여 화소의 특성을 판별한다.In the case of determining the characteristics of the pixel by using only the magnitude of the edge response and the component of the edge direction, an object edge pixel corresponding to the region shown in FIG. 5 may be classified as a block edge pixel and thus undergo a low band filtering process. In the present invention, the pixel characteristic is determined by additionally using edge position information.

H.264 방식에서는 4×4 블록 단위로 부호화 및 복호화가 이루어지므로, 하나의 단위 블록 내에서 에지 위치값이 [1,1], [1,2] 등의 블록 경계 영역에 위치하는지의 여부를 확인하여 블록 에지 화소를 판단한다. 다른 부호화 방식을 이용할 경우에는 복호화의 기준이 되는 블록 단위가 달라질 수 있으며, 이에 따라 블록 경계 영역에 해당하는 것으로 판단하는 기준이 되는 에지 위치값 또한 변경될 수 있다.In the H.264 method, since encoding and decoding are performed in units of 4x4 blocks, it is determined whether edge position values are located in block boundary regions such as [1,1], [1,2], etc. in one unit block. Check to determine the block edge pixel. In the case of using another coding scheme, a block unit that is a reference for decoding may be different, and thus, an edge position value, which is a reference for determining that the block boundary region corresponds, may also be changed.

필터부(230)는 저대역 필터(231)와 적응 필터(232)를 포함한다. 저대역 필터(231)는 블록 에지 화소에 대한 블록킹 결점(blocking artifact)를 감소시켜 블록화 현상을 제거한다. 저대역 필터(231)에는 에지 판별부(220)에서 비에지 화소 또는 블록 에지 화소인 것으로 판단된 화소가 입력되고 이에 대한 저대역 필터링이 이루어진다. 저대역 필터(231)로 입력된 비에지 화소는 고주파 영역을 거의 포함하고 있지 않으므로, 저대역 필터링을 거치게 되더라도 화소 정보가 손상되지 않는다. 저대역 필터(231)로는 H.264 표준에서 규정하고 있는 인루프 디블록킹 필터(in-loop deblocking filter)가 이용될 수 있다.The filter unit 230 includes a low band filter 231 and an adaptive filter 232. The low pass filter 231 removes blocking artifacts by reducing blocking artifacts for the block edge pixels. The low-pass filter 231 receives a pixel determined to be a non-edge pixel or a block edge pixel by the edge discriminator 220, and performs low-band filtering on the low-pass filter 231. Since the non-edge pixel input to the low band filter 231 includes almost no high frequency region, the pixel information is not damaged even though low band filtering is performed. As the low band filter 231, an in-loop deblocking filter defined in the H.264 standard may be used.

적응 필터(232)는 에지 판별부(220)에서의 분류 결과, 객체 에지 화소인 것으로 판단된 화소에 대한 선택적 필터링을 수행한다. 적응 필터(232)는 객체 에지 화소의 정보를 보존하기 위한 것으로서, 에지 판별부(220)로부터 입력된 디코딩 데이터 중 객체 에지 화소임을 나타내는 식별부호가 부가된 화소들만을 선택적으로 필터링한다. 적응 필터(232)는 객체 에지 정보가 손실되는 것을 방지하기 위한 것이므로, 이득이 1인 전대역 통과 필터(all pass filter)를 사용할 수 있으며, 에지 성분을 강화하기 위해 사용되는 샤프닝 필터(sharpening filter)를 이용할 수도 있다.The adaptive filter 232 performs selective filtering on pixels determined to be object edge pixels as a result of the classification by the edge discriminator 220. The adaptive filter 232 is to preserve the information of the object edge pixel, and selectively filters only the pixels to which the identification code indicating the object edge pixel is added among the decoded data input from the edge discrimination unit 220. Since the adaptive filter 232 is intended to prevent the loss of object edge information, an all-pass filter with a gain of 1 can be used, and a sharpening filter used to enhance the edge component can be used. It can also be used.

본 발명의 실시예에서는 비에지 화소가 저대역 필터(231)로 입력되어 처리되는 것으로 설명하였지만, 적응 필터(232)로 입력되어 처리될 수도 있다.In the exemplary embodiment of the present invention, the non-edge pixel is input and processed by the low band filter 231, but may be input and processed by the adaptive filter 232.

도 6은 본 발명의 실시예에 따른 영상 데이터의 선택적 필터링 방법을 도시한 흐름도이다.6 is a flowchart illustrating a selective filtering method of image data according to an embodiment of the present invention.

블록 단위로 압축된 영상 프레임이 역양자화 및 역변환 과정을 통하여 원시 디코딩 데이터로 변환된다(S610).The image frame compressed in units of blocks is converted into raw decoded data through inverse quantization and inverse transformation (S610).

화소 정보 추출부(210)는 원시 디코딩 데이터를 전송받아 에지 특성을 갖는 화소의 판별을 위하여 사용되는 세 종류의 화소 정보 즉, 에지 응답 크기(M), 에지 방향(θ) 및 에지 위치([i,j]) 정보를 추출한다(S620).The pixel information extracting unit 210 receives the raw decoded data and receives three kinds of pixel information, namely, an edge response size (M), an edge direction (θ), and an edge position ([i , j]) information is extracted (S620).

에지 판별부(220)는 화소 정보 추출부(210)에서 얻어진 화소 정보를 기초로 하여 도 3에 도시된 과정에 따라 응답 크기, 에지 방향 및 에지 위치 정보를 순차적으로 이용하여 원시 디코딩 데이터 내에 포함된 화소를 비에지 화소, 블록 에지 화소 및 객체 에지 화소로 각각 분류하고, 객체 에지 화소에는 별도의 식별부호를 부가한다(S630).The edge determining unit 220 is included in the raw decoded data by using response size, edge direction, and edge position information sequentially according to the process shown in FIG. 3 based on the pixel information obtained by the pixel information extracting unit 210. The pixels are classified into non-edge pixels, block edge pixels, and object edge pixels, respectively, and an additional identification code is added to the object edge pixels (S630).

필터부(230)는 에지 판별부(220)로부터 입력된 화소에 식별부호가 부가되어 있는지의 여부를 판단하여 해당 화소가 객체 에지 화소인 경우에는 적응 필터(232) 를 이용하여 필터링한다(S640,S642). 반면, 화소가 객체 에지 화소가 아닌 경우에는 저대역 필터(231)를 통하여 고주파 영역 성분을 제거하는 디블록킹 처리를 수행한다(S640,S641).The filter unit 230 determines whether an identification code is added to the pixel input from the edge determination unit 220, and if the corresponding pixel is an object edge pixel, filters the adaptive filter 232 using the adaptive filter 232 (S640, FIG. S642). On the other hand, when the pixel is not the object edge pixel, the deblocking process of removing the high frequency region component is performed through the low band filter 231 (S640 and S641).

두 종류의 필터에서 별도의 처리 과정을 거친 화소들은 합성 과정을 거쳐 하나의 영상 프레임으로 출력된다(S650). 이 때, 원래의 영상에 존재하는 객체 에지를 보존하기 위하여 아래의 수학식 3을 이용하여 영상 프레임 내의 화소들을 합성 및 복원하여 출력할 수 있다.Pixels that have undergone separate processing in the two types of filters are synthesized and output as one image frame (S650). At this time, in order to preserve the object edge existing in the original image, the pixels in the image frame may be synthesized, reconstructed, and output using Equation 3 below.

Figure 112005036084190-pat00010
Figure 112005036084190-pat00010

수학식 3에서

Figure 112005036084190-pat00011
는 적응 필터(232)에서 출력된 영상 데이터를,
Figure 112005036084190-pat00012
는 저대역 필터(231)에서 출력된 영상 데이터를 의미한다. 그리고, a 및 b는 영상 데이터에 적용되는 가중치로서, 동영상 부호화 장치가 적용되는 기기의 특성, 입력된 영상 프레임의 특성 등에 따라 변경되어 적용될 수 있는 값이다. 즉, 수학식 3은 영상 프레임에 대한 가중치화된 평균을 구하는 식으로서, (a+b)가 '1'이 되는 값들을 적용할 수도 있다. 예를 들어, 비에지 화소나 블록 에지 화소에 대해서는 a를 0으로 설정함으로써, 종래의 디블록킹 기법을 그대로 적용하도록 하고, 객체 에지 화소에 대해서는 b의 값을 0.7 내지 1로 설정하여 줄 수 있다. 수학식 3을 통하여 저대역 필터링 효과를 가지는 디블록킹 효과보다는 원영상의 에지를 강조하는 처리를 함으로써 에지 화소의 일률적인 디블록킹 처리로 인하여 화질이 열화되 는 것을 방지할 수 있다.In equation (3)
Figure 112005036084190-pat00011
The image data output from the adaptive filter 232,
Figure 112005036084190-pat00012
Denotes image data output from the low pass filter 231. In addition, a and b are weights applied to the image data and may be changed and applied according to the characteristics of the device to which the video encoding apparatus is applied, the characteristics of the input image frame, and the like. That is, Equation 3 is a formula for obtaining a weighted average of image frames, and may apply values in which (a + b) becomes '1'. For example, by setting a to 0 for a non-edge pixel or a block edge pixel, the conventional deblocking technique may be applied as it is, and a value of b may be set to 0.7 to 1 for an object edge pixel. Through Equation 3, the processing of emphasizing the edge of the original image rather than the deblocking effect having the low band filtering effect may prevent the image quality from deteriorating due to the uniform deblocking processing of the edge pixels.

본 발명의 실시예에서는 필터부(230) 내의 두 종류의 필터에 모든 화소값이 입력되도록 설정하고, 객체 에지 화소에 별도의 식별부호를 부가하여 식별부호가 있는 화소는 적응 필터(232)에서 처리되는 것으로 설명하였지만, 에지 판별부(220)에서 객체 에지 화소인 것으로 판단된 화소는 적응 필터(232)로만 입력되고 이외의 화소는 저대역 필터(231)로 입력되어 처리되도록 제어할 수 있다. In an embodiment of the present invention, all pixel values are set to be input to two types of filters in the filter unit 230, and a separate identification code is added to the object edge pixel to process pixels having the identification code in the adaptive filter 232. As described above, the pixel determined as the object edge pixel by the edge determination unit 220 may be input only to the adaptive filter 232, and other pixels may be input to the low band filter 231 to be processed.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범우에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

이와 같이 본 발명의 실시예에 의하면, 영상 프레임 내의 화소 정보를 이용하여 화소의 특성을 판별하고, 이를 통하여 객체의 윤곽선 영역에 해당하는 화소를 분류하고 선택적으로 필터링함으로써 화질의 열화를 방지할 수 있다.As described above, according to the exemplary embodiment of the present invention, deterioration of the image quality may be prevented by determining the characteristic of the pixel by using the pixel information in the image frame and classifying and selectively filtering the pixel corresponding to the contour region of the object. .

또한, 블록 경계 결점을 효과적으로 제거하면서 원 영상이 가진 자연적인 객체 에지 성분은 선택적으로 보존함으로써 시각적으로 더욱 선명한 영상으로 복원할 수 있다.In addition, by effectively eliminating block boundary defects, the natural object edge components of the original image can be selectively preserved, thereby reconstructing the image more clearly.

Claims (15)

블록 단위로 디코딩된 영상 프레임의 블록화 현상을 제거하기 위한 필터링 방법에 있어서,A filtering method for removing a blocking phenomenon of an image frame decoded in units of blocks, 상기 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 포함하는 화소 정보를 추출하는 단계;Extracting pixel information including an edge response size, edge direction information, and edge position information by applying an edge detector to any pixel in the image frame; 상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블록 에지 화소 중의 하나로 분류하는 단계; 및Classifying the pixel into one of non-edge pixels, object edge pixels, and block edge pixels using the extracted pixel information; And 상기 분류 결과에 따라 상이한 필터링을 수행하는 단계를 포함하는 영상 프레임의 블록화 현상 제거 방법.And performing different filtering according to the classification result. 제1항에 있어서,The method of claim 1, 상기 에지 응답의 크기는 상기 화소에 에지 검출자를 적용한 응답 크기의 절대치인 영상 프레임의 블록화 현상 제거 방법.And the magnitude of the edge response is an absolute value of the response size of applying an edge detector to the pixel. 제2항에 있어서,The method of claim 2, 상기 에지 응답의 크기는The magnitude of the edge response
Figure 112005036084190-pat00013
Figure 112005036084190-pat00013
((i,j) : 임의의 화소의 위치, M(i,j) : 해당 화소의 에지 응답의 크기,((i, j): position of any pixel, M (i, j): magnitude of edge response of the pixel, f(i,j) : 해당 화소의 화소값, K(m,n) : 2차원 에지 검출 연산자)f (i, j): Pixel value of the corresponding pixel, K (m, n): 2D edge detection operator) 로부터 도출되는 영상 프레임의 블록화 현상 제거 방법.Blocking of image frames derived from the method.
제1항에 있어서,The method of claim 1, 상기 에지 방향 정보는 상기 화소에 에지 검출자를 적용하여 얻은 수직 방향 성분과 수평 방향 성분의 비의 역탄젠트인 영상 프레임의 블록화 현상 제거 방법.And the edge direction information is an inverse tangent of a ratio between a vertical component and a horizontal component obtained by applying an edge detector to the pixel. 제1항에 있어서,The method of claim 1, 상기 에지 위치는 상기 화소가 포함된 블록 내의 상대적인 위치를 좌표로 나타낸 값인 영상 프레임의 블록화 현상 제거 방법.And the edge position is a value indicating a relative position in a block including the pixel as a coordinate. 제1항 내지 제5항 중 어느 하나의 항에 있어서,The method according to any one of claims 1 to 5, 상기 에지 검출자는 소벨 에지 검출자(Sobel edge detector) 또는 캐니 에지 검출자(Canny edge detector)인 영상 프레임의 블록화 현상 제거 방법.And the edge detector is a Sobel edge detector or a Canny edge detector. 제1항 내지 제5항 중 어느 하나의 항에 있어서,The method according to any one of claims 1 to 5, 상기 화소 분류 단계는The pixel classification step is 상기 화소의 에지 응답의 크기와 미리 설정된 임계값을 비교하여, 상기 임계값이 큰 경우에는 상기 화소를 비에지 화소로 분류하는 단계를 더 포함하는 영상 프레임의 블록화 현상 제거 방법.And comparing the magnitude of the edge response of the pixel with a preset threshold and classifying the pixel as an unedge pixel when the threshold is large. 제7항에 있어서,The method of claim 7, wherein 상기 화소 분류 단계는The pixel classification step is 상기 에지 응답의 크기가 큰 경우에는 상기 화소의 에지 방향이 0° 또는 90°에 해당하는지의 여부를 판단하여, 상기 에지 방향이 0° 또는 90°가 아닌 경우, 상기 화소를 객체 에지 화소로 분류하는 단계; 및If the edge response is large, it is determined whether the edge direction of the pixel corresponds to 0 ° or 90 °. If the edge direction is not 0 ° or 90 °, the pixel is classified as an object edge pixel. Doing; And 상기 에지 방향이 0° 또는 90°에 해당하는 경우, 상기 화소의 에지 위치 정보를 이용하여 상기 화소가 블록 경계 영역에 존재하는 지의 여부를 판단하여, 상기 화소가 블록 경계 영역에 위치하면 블록 에지 화소로 분류하는 단계를 더 포함하는 영상 프레임의 블록화 현상 제거 방법.When the edge direction corresponds to 0 ° or 90 °, it is determined whether the pixel exists in the block boundary area by using edge position information of the pixel, and if the pixel is located in the block boundary area, the block edge pixel Blocking phenomenon of the image frame further comprising the step of classifying. 제8항에 있어서,The method of claim 8, 상기 에지 방향이 0° 또는 90°에 해당하는 경우,If the edge direction corresponds to 0 ° or 90 °, 상기 화소의 에지 위치가 블록 경계 영역에 해당하지 않는 것으로 판단되면, 상기 화소를 객체 에지 화소로 판단하는 단계를 더 포함하는 영상 프레임의 블록화 현상 제거 방법.And determining that the pixel is an object edge pixel if it is determined that the edge position of the pixel does not correspond to a block boundary region. 제9항에 있어서,The method of claim 9, 상기 필터링 단계는The filtering step 상기 디코딩된 영상 프레임 내의 화소 중 비에지 화소 및 블록 에지 화소로 분류된 화소를 저대역 필터링하는 영상 프레임의 블록화 현상 제거 방법.And a low-band filtering of the pixels classified into non-edge pixels and block edge pixels among the pixels in the decoded image frame. 제9항에 있어서,The method of claim 9, 상기 필터링 단계는The filtering step 상기 디코딩된 영상 프레임 내의 화소 중 객체 에지 화소로 분류된 화소는 전대역 필터 또는 샤프닝 필터로 필터링하는 영상 프레임의 블록화 현상 제거 방법.And removing the pixels classified as object edge pixels among the pixels in the decoded image frame by using a full-band filter or a sharpening filter. 제9항에 있어서,The method of claim 9, 상기 디코딩된 영상 프레임 내의 화소 중 객체 에지 화소로 분류된 화소에 식별부호를 부가하는 단계를 더 포함하는 영상 프레임의 블록화 현상 제거 방법.And adding an identification code to a pixel classified as an object edge pixel among the pixels in the decoded image frame. 블록 단위로 디코딩된 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 추출하는 화소 정보 추출부;A pixel information extracting unit extracting the magnitude, edge direction information, and edge position information of an edge response by applying an edge detector to an arbitrary pixel in an image frame decoded in block units; 상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블록 에지 화소 중의 하나로 분류하는 에지 판별부; 및An edge discriminator that classifies the pixel into one of a non-edge pixel, an object edge pixel, and a block edge pixel using the extracted pixel information; And 상기 화소 분류 결과에 따라 상이한 필터링을 수행하는 필터부를 포함하는 영상 프레임의 블록화 현상 제거 장치.And a filter unit for performing different filtering according to the pixel classification result. 제13항에 있어서,The method of claim 13, 상기 필터부는The filter unit 상기 비에지 화소 및 상기 블록 에지 화소에 포함된 고주파 성분을 제거하는 저대역 필터; 및A low band filter for removing high frequency components included in the non-edge pixel and the block edge pixel; And 상기 객체 에지 화소의 에지 정보를 유지하는 필터링을 수행하는 적응 필터를 포함하는 영상 프레임의 블록화 현상 제거 장치.And an adaptive filter for performing filtering to maintain edge information of the object edge pixel. 제14항에 있어서,The method of claim 14, 상기 적응 필터는 전대역 필터 또는 샤프닝 필터 중에서 선택되어 이용되는 영상 프레임의 블록화 현상 제거 장치.And the adaptive filter is selected from a full-band filter or a sharpening filter.
KR1020050059691A 2004-12-08 2005-07-04 Apparatus and method for removing blocking of image frames Expired - Fee Related KR100683060B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/272,301 US7961357B2 (en) 2004-12-08 2005-11-09 Block artifact phenomenon eliminating device and eliminating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040103034 2004-12-08
KR20040103034 2004-12-08

Publications (2)

Publication Number Publication Date
KR20060064487A KR20060064487A (en) 2006-06-13
KR100683060B1 true KR100683060B1 (en) 2007-02-15

Family

ID=37160039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050059691A Expired - Fee Related KR100683060B1 (en) 2004-12-08 2005-07-04 Apparatus and method for removing blocking of image frames

Country Status (1)

Country Link
KR (1) KR100683060B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100982835B1 (en) 2008-10-21 2010-09-16 중앙대학교 산학협력단 Deblocking method and equipment for image data
US8644639B2 (en) 2008-11-06 2014-02-04 Samsung Electronics Co., Ltd. System and method for reduction of block noise
US11200642B2 (en) 2018-12-06 2021-12-14 Samsung Electronics Co., Ltd. Image signal processor, operation method of image signal processor, and electronic device including image signal processor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180059B1 (en) 2007-05-11 2012-09-04 삼성전자주식회사 Image forming apparatus and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980068148A (en) * 1997-02-15 1998-10-15 김광호 Loop Filtering Method and Loop Filter
US5852475A (en) 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US6370279B1 (en) 1997-04-10 2002-04-09 Samsung Electronics Co., Ltd. Block-based image processing method and apparatus therefor
JP2003102028A (en) 1997-11-25 2003-04-04 Seiko Epson Corp Image processing apparatus, image processing method, and medium recording image processing control program
KR20030065277A (en) * 2002-01-31 2003-08-06 삼성전자주식회사 Filtering method for removing block artifacts and/or ringing noise and apparatus therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852475A (en) 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
KR19980068148A (en) * 1997-02-15 1998-10-15 김광호 Loop Filtering Method and Loop Filter
US6370279B1 (en) 1997-04-10 2002-04-09 Samsung Electronics Co., Ltd. Block-based image processing method and apparatus therefor
JP2003102028A (en) 1997-11-25 2003-04-04 Seiko Epson Corp Image processing apparatus, image processing method, and medium recording image processing control program
KR20030065277A (en) * 2002-01-31 2003-08-06 삼성전자주식회사 Filtering method for removing block artifacts and/or ringing noise and apparatus therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100982835B1 (en) 2008-10-21 2010-09-16 중앙대학교 산학협력단 Deblocking method and equipment for image data
US8644639B2 (en) 2008-11-06 2014-02-04 Samsung Electronics Co., Ltd. System and method for reduction of block noise
US11200642B2 (en) 2018-12-06 2021-12-14 Samsung Electronics Co., Ltd. Image signal processor, operation method of image signal processor, and electronic device including image signal processor

Also Published As

Publication number Publication date
KR20060064487A (en) 2006-06-13

Similar Documents

Publication Publication Date Title
KR100754181B1 (en) Method and apparatus for reducing mosquito noise in fecoded video sequence
USRE41909E1 (en) Method of determining a pixel value
US20050100235A1 (en) System and method for classifying and filtering pixels
KR101441175B1 (en) Method and apparatus for banding artifact detection
US20100080472A1 (en) Image processing apparatus, moving image decoding apparatus, moving image encoding apparatus and method
WO2004038648A9 (en) Method and decoder system for reducing quantization effects of a decoded image
JP2000059769A (en) Video data loop filtering method and apparatus
US7961357B2 (en) Block artifact phenomenon eliminating device and eliminating method thereof
Kong et al. Edge map guided adaptive post-filter for blocking and ringing artifacts removal
JP2001320713A (en) Image preprocessing method
Chen et al. Design a deblocking filter with three separate modes in DCT-based coding
KR100683060B1 (en) Apparatus and method for removing blocking of image frames
Kirenko et al. Coding artifact reduction using non-reference block grid visibility measure
JP2001346208A (en) Image signal decoding apparatus and method
US20100002147A1 (en) Method for improving the deringing filter
JPH04311195A (en) Image signal coding device and image signal decoding device
JP2005318614A (en) Method for reducing artifact in input image
KR101780444B1 (en) Method for reducing noise of video signal
GB2366465A (en) Image quality enhancement
Coudoux et al. Reduction of color bleeding in DCT block-coded video
Tsai et al. A DWT-based deblocking technique based on edge detection and zero masking for reducing blocking effect
Wu et al. Correlation based universal image/video coding loss recovery
JP2002027471A (en) Adaptive block-like noise removal method for still image / moving image using text / edge detection technology
JP2007538451A (en) Algorithms to reduce artifacts in decoded video

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

S17-X000 Non-exclusive voluntary license recorded

St.27 status event code: A-4-4-S10-S17-lic-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20120131

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20130209

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20130209

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000