KR101197176B1 - Methods of derivation of merge candidate block and apparatuses for using the same - Google Patents
Methods of derivation of merge candidate block and apparatuses for using the same Download PDFInfo
- Publication number
- KR101197176B1 KR101197176B1 KR1020120039500A KR20120039500A KR101197176B1 KR 101197176 B1 KR101197176 B1 KR 101197176B1 KR 1020120039500 A KR1020120039500 A KR 1020120039500A KR 20120039500 A KR20120039500 A KR 20120039500A KR 101197176 B1 KR101197176 B1 KR 101197176B1
- Authority
- KR
- South Korea
- Prior art keywords
- merge candidate
- block
- mer
- prediction
- spatial merge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 영상 부호화 및 복호화 방법에 관한 것으로 더욱 상세하게는 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치에 관한 것이다.The present invention relates to an image encoding and decoding method, and more particularly, to a merge candidate block derivation method and an apparatus using the method.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.Recently, the demand for high resolution and high quality images such as high definition (HD) image and ultra high definition (UHD) image is increasing in various applications. As the video data becomes higher resolution and higher quality, the amount of data increases relative to the existing video data. Therefore, when the video data is transmitted or stored using a medium such as a conventional wired / wireless broadband line, The storage cost will increase. High-efficiency image compression techniques can be utilized to solve such problems as image data becomes high-resolution and high-quality.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.An inter picture prediction technique for predicting a pixel value included in a current picture from a previous or a subsequent picture of a current picture using an image compression technique, an intra picture prediction technique for predicting a pixel value included in a current picture using pixel information in the current picture, There are various techniques such as an entropy encoding technique in which a short code is assigned to a value having a high appearance frequency and a long code is assigned to a value having a low appearance frequency. Image data can be effectively compressed and transmitted or stored using such an image compression technique.
본 발명의 제1 목적은 병렬적으로 머지 후보를 유도하는 방법을 제공하는 것이다.It is a first object of the present invention to provide a method for deriving merge candidates in parallel.
본 발명의 제2 목적은 병렬적으로 머지 후보를 유도하는 방법을 수행하는 장치를 제공하는 것이다.It is a second object of the present invention to provide an apparatus for performing a method for deriving a merge candidate in parallel.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 방법은 MER(Motion Estimation Region) 관련 정보를 복호하는 단계, 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 단계와 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되는 경우 상기 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하는 단계를 포함할 수 있다. 상기 영상 복호화 방법은 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는 경우 상기 MER의 크기 및 상기 예측 대상 블록의 크기에 따라 적응적으로 공간적 머지 후보 블록을 결정하는 단계를 더 포함할 수 있다. 상기 MER의 크기가 8x8이고 상기 예측 대상 블록의 크기가 8x4 또는 4x8인 경우, 상기 예측 대상 블록의 공간적 머지 후보 블록 중 적어도 하나가 상기 MER의 외부에 위치한 점을 포함하는 블록으로 변경될 수 있다. 상기 영상 복호화 방법은 상기 공간적 머지 후보 블록이 아직 복호화 되지 않은 MER에 포함되는지 여부를 판단하는 단계를 더 포함할 수 있다. 상기 영상 복호화 방법은 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함된 경우 상기 공간적 머지 후보 블록을 다른 MER에 포함된 블록으로 변경하는 단계를 더 포함할 수 있다. 상기 변경된 공간적 머지 후보 블록은 상기 동일한 MER에 포함된 상기 공간적 머지 후보 블록의 위치에 따라 적응적으로 상기 예측 대상 블록과 다른 MER에 포함되도록 변경된 공간적 머지 후보 블록일 수 있다. 상기 MER 관련 정보는 상기 MER의 크기에 관련된 정보로서 픽쳐 단위로 전송되는 정보일 수 있다. 상기 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 단계는 상기 예측 대상 블록의 위치 정보, 상기 공간적 머지 후보 블록의 위치 정보, 상기 MER 크기 정보를 기초로 한 판단식을 기초로 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 단계일 수 있다. According to an aspect of the present invention, there is provided a method of decoding an image related to Motion Estimation Region (MER), wherein the prediction target block and the spatial merge candidate block are included in the same MER. And determining whether the prediction target block and the spatial merge candidate block are included in the same MER, and determining the spatial merge candidate block as an unusable merge candidate block. The image decoding method further includes adaptively determining a spatial merge candidate block according to the size of the MER and the size of the prediction target block when the prediction target block and the spatial merge candidate block are included in the same MER. can do. When the size of the MER is 8x8 and the size of the prediction target block is 8x4 or 4x8, at least one of the spatial merge candidate blocks of the prediction target block may be changed to a block including a point located outside the MER. The image decoding method may further include determining whether the spatial merge candidate block is included in an MER that has not been decoded yet. The image decoding method may further include changing the spatial merge candidate block to a block included in another MER when the prediction target block and the spatial merge candidate block are included in the same MER. The modified spatial merge candidate block may be a spatial merge candidate block modified to be included in a different MER different from the prediction target block according to the position of the spatial merge candidate block included in the same MER. The MER related information may be information transmitted in picture units as information related to the size of the MER. The determining of whether the prediction target block and the spatial merge candidate block are included in the same MER includes determining a decision based on the position information of the prediction target block, the position information of the spatial merge candidate block, and the MER size information. It may be a step of determining whether the prediction target block and the spatial merge candidate block are included in the same MER.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 장치는 MER(Motion Estimation Region) 관련 정보를 복호하는 엔트로피 복호화부와 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하고 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되는 경우 상기 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하는 예측부를 더 포함할 수 있다. 상기 예측부는 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는 경우 상기 MER의 크기 및 상기 예측 대상 블록의 크기에 따라 적응적으로 공간적 머지 후보 블록을 결정하는 예측부일 수 있다. 상기 예측부는 상기 MER의 크기가 8x8이고 상기 예측 대상 블록의 크기가 8x4 또는 4x8인 경우, 상기 예측 대상 블록의 공간적 머지 후보 블록 중 적어도 하나가 상기 MER의 외부에 위치한 점을 포함하는 블록으로 변경시킬 수 있다. 상기 예측부는 상기 공간적 머지 후보 블록이 아직 복호화 되지 않은 MER에 포함되는지 여부를 판단할 수 있다. 상기 예측부는 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함된 경우 상기 공간적 머지 후보 블록을 다른 MER에 포함된 블록으로 변경하는 예측부일 수 있다. 상기 변경된 공간적 머지 후보 블록은 상기 동일한 MER에 포함된 상기 공간적 머지 후보 블록의 위치에 따라 적응적으로 상기 예측 대상 블록과 다른 MER에 포함되도록 변경된 공간적 머지 후보 블록일 수 있다. 상기 MER 관련 정보는 상기 MER의 크기에 관련된 정보로서 픽쳐 단위로 전송되는 정보일 수 있다. 상기 예측부는 상기 예측 대상 블록의 위치 정보, 상기 공간적 머지 후보 블록의 위치 정보, 상기 MER 크기 정보를 기초로 한 판단식을 기초로 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 예측부일 수 있다.According to an aspect of the present invention, an image decoding apparatus according to an aspect of the present invention includes an entropy decoding unit for decoding MER (Motion Estimation Region) related information, and a prediction target block and a spatial merge candidate block in the same MER. The method may further include a prediction unit that determines whether the prediction target block and the spatial merge candidate block are included in the same MER, and determines the spatial merge candidate block as an unusable merge candidate block. The prediction unit may be a prediction unit adaptively determining a spatial merge candidate block according to the size of the MER and the size of the prediction target block when the prediction target block and the spatial merge candidate block are included in the same MER. When the size of the MER is 8x8 and the size of the prediction target block is 8x4 or 4x8, the prediction unit may change the block to a block including a point where at least one of the spatial merge candidate blocks of the prediction target block is located outside the MER. Can be. The prediction unit may determine whether the spatial merge candidate block is included in the MER which has not yet been decoded. The prediction unit may be a prediction unit that changes the spatial merge candidate block to a block included in another MER when the prediction target block and the spatial merge candidate block are included in the same MER. The modified spatial merge candidate block may be a spatial merge candidate block modified to be included in a different MER different from the prediction target block according to the position of the spatial merge candidate block included in the same MER. The MER related information may be information transmitted in picture units as information related to the size of the MER. The prediction unit includes the prediction target block and the spatial merge candidate block in the same MER based on a determination formula based on the location information of the prediction target block, the location information of the spatial merge candidate block, and the MER size information. It may be a prediction unit that determines whether or not.
상술한 바와 같이 본 발명의 실시예에 따른 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치에 따르면 병렬적으로 머지 후보 블록 유도 방법을 수행함으로서 parallel processing을 가능하게 하며 연산량 및 구현 복잡도를 감소시킬 수 있다. As described above, according to the method of deriving a merge candidate block and an apparatus using the method according to an embodiment of the present invention, by performing the merge candidate block derivation method in parallel, parallel processing is possible, and computation and implementation complexity can be reduced. have.
도 1은 본 발명의 실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 머지 및 스킵 모드를 사용하기 위한 후보 블록을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 머지 후보 블록 결정 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 MER의 크기에 따라 머지 후보 블록을 결정하는 방법을 나타내는 개념도이다.
도 6은 현재 블록의 공간적 머지 후보 블록이 가용한지 여부를 판단하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 머지 모드에서 공간적 머지 후보 블록을 산출하는 방법을 나타낸 순서도이다.
도 8은 본 발명의 실시예에 따른 머지 모드를 이용한 화면 간 예측 방법을 나타낸 순서도이다.1 is a block diagram illustrating an image encoding apparatus according to an embodiment of the present invention.
2 is a block diagram of an image decoder according to another embodiment of the present invention.
3 is a conceptual diagram illustrating candidate blocks for using merge and skip modes according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a merge candidate block determination method according to an embodiment of the present invention.
5 is a conceptual diagram illustrating a method of determining a merge candidate block according to the size of a MER according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a method of determining whether a spatial merge candidate block of a current block is available.
7 is a flowchart illustrating a method of calculating a spatial merge candidate block in a merge mode according to an embodiment of the present invention.
8 is a flowchart illustrating an inter prediction method using a merge mode according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.
도 1은 본 발명의 실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.1 is a block diagram illustrating an image encoding apparatus according to an embodiment of the present invention.
도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(110), 인터 예측부(120), 인트라 예측부(125), 변환부(130), 양자화부(135), 재정렬부(160), 엔트로피 부호화부(165), 역양자화부(140), 역변환부(145), 필터부(150) 및 메모리(155)를 포함할 수 있다.Referring to FIG. 1, the image encoding apparatus 100 may include a
도 1에 나타난 각 구성부들은 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.Each of the components shown in FIG. 1 is independently shown to represent different characteristic functions in the image encoding apparatus, and does not mean that each of the components is made of separate hardware or one software component unit. In other words, each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function. The integrated and separated embodiments of the components are also included in the scope of the present invention, without departing from the spirit of the invention.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance. The present invention can be implemented only with components essential for realizing the essence of the present invention, except for the components used for the performance improvement, and can be implemented by only including the essential components except the optional components used for performance improvement Are also included in the scope of the present invention.
픽쳐분할부(110)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할 할수있다. 이때, 처리 단위는 예측 단위(Prediction Unit: PU)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화단위(Coding Unit: CU)일 수도 있다. 픽쳐 분할부(105)에서는 하나의 픽쳐에 대해 복수의 부호화 단위, 예측 단위 및 변환 단위의 조합으로 분할하고 소정의 기준(예를 들어, 비용 함수)으로 하나의 부호화 단위, 예측 단위 및 변환 단위 조합을 선택하여 픽쳐를 부호화 할 수 있다. The
예를 들어, 하나의 픽쳐는 복수개의 부호화 단위로 분할될 수 있다. 픽쳐에서 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있는데 하나의 영상 또는 최대 크기 부호화 단위를 루트로 하여 다른 부호화 단위로 분할되는 부호화 단위은 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 일정한 제한에 따라 더이상 분할되지 않는 부호화 단위는 리프 노드가 된다. 즉, 하나의 부호화 단위에 대하여 정방형 분할만이 가능하다고 가정하는 경우, 하나의 부호화 단위는 최대 4개의 다른 부호화 단위로 분할될 수 있다.For example, one picture may be divided into a plurality of coding units. In order to split a coding unit in a picture, a recursive tree structure such as a quad tree structure may be used. A coding unit that is divided into another coding unit using a root of one image or a maximum size coding unit is a split coding unit. Can be split with as many child nodes as Coding units that are no longer split according to certain restrictions become leaf nodes. That is, if it is assumed that only square division is possible for one coding unit, one coding unit may be split into at most four other coding units.
이하, 본 발명의 실시예에서는 부호화 단위의 의미를 부호화를 하는 단위라는 의미 뿐만 아니라 복호화를 하는 단위의 의미로 사용할 수 있다.Hereinafter, in the embodiment of the present invention, the meaning of a coding unit may be used not only as a coding unit but also as a decoding unit.
예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할될 수 있다.The prediction unit may be split in the form of at least one square or rectangle having the same size in one coding unit.
부호화 단위를 기초로 화면 내 예측을 수행하는 예측 단위를 생성시 최소 부호화 단위가 아닌 경우, NxN 단위의 복수의 예측 단위으로 분할하지 않고 화면 내 예측을 수행할 수 있다.When generating the prediction unit that performs the intra prediction based on the coding unit when the prediction unit is not the minimum coding unit, the intra prediction may be performed without splitting the prediction unit into NxN units.
예측부는 화면 간 예측을 수행하는 인터 예측부(120)와 화면 내 예측을 수행하는 인트라 예측부(125)를 포함할 수 있다. 예측 단위에 대해 화면 간 예측을 사용할 것인지 또는 화면 내 예측을 수행할 것인지를 결정하고, 각 예측 방법에 따른 구체적인 정보(예컨대, 화면 내 예측 모드, 움직임 벡터, 참조 픽쳐 등)를 결정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 단위로 결정되고, 예측의 수행은 변환 단위로 수행될 수도 있다. 생성된 예측 블록과 원본 블록 사이의 잔차값(잔차 블록)은 변환부(130)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보등은 잔차값과 함께 엔트로피 부호화부(135)에서 부호화되어 복호화기에 전달될 수 있다. 특정한 부호화 모드를 사용할 경우, 예측부(120, 125)를 통해 예측 블록을 생성하지 않고, 원본 블록을 그대로 부호화하여 복호화부에 전송하는 것도 가능하다The predictor may include an
화면 간 예측부는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측 단위를 예측할 수 있다. 화면 간 예측부는 참조 픽쳐 보간부, 움직임 예측부, 움직임 보상부가 포함할 수 있다. The inter prediction unit may predict the prediction unit based on the information of at least one of the previous picture or the subsequent picture of the current picture. The inter prediction unit may include a reference picture interpolator, a motion predictor, and a motion compensator.
참조 픽쳐 보간부에서는 메모리(155)로부터 참조 픽쳐 정보를 제공받고 참조 픽쳐에서 정수 화소 이하의 화소 정보를 생성할 수 있다. 휘도 화소의 경우, 1/4 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 8탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 색차 신호의 경우 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다.The reference picture interpolator may receive reference picture information from the
움직임 예측부는 참조 픽쳐 보간부에 의해 보간된 참조 픽쳐를 기초로 움직임 예측을 수행할 수 있다. 움직임 벡터를 산출하기 위한 방법으로 FBMA(Full search-based Block Matching Algorithm), TSS(Three Step Search), NTS(New Three-Step Search Algorithm) 등 다양한 방법이 사용될 수 있다. 움직임 벡터는 보간된 화소를 기초로 1/2 또는 1/4 화소 단위의 움직임 벡터값을 가질 수 있다. 움직임 예측부에서는 움직임 예측 방법을 다르게 하여 현재 예측 단위를 예측할 수 있다. 움직임 예측 방법으로 스킵(Skip) 방법, 머지(Merge) 방법, AMVP(Advanced Motion Vector Prediction)방법 등 다양한 방법이 사용될 수 있다.The motion predictor may perform motion prediction based on the reference picture interpolated by the reference picture interpolator. As a method for calculating a motion vector, various methods such as a full search-based block matching algorithm (FBMA), a three step search (TSS), and a new three-step search algorithm (NTS) may be used. The motion vector may have a motion vector value in units of 1/2 or 1/4 pixels based on the interpolated pixels. The motion prediction unit may predict the current prediction unit by using a different motion prediction method. As the motion prediction method, various methods, such as a skip method, a merge method, and an advanced motion vector prediction (AMVP) method, may be used.
본 발명의 실시예에 따르면 화면 간 예측을 수행시 MER(Motion Estimation Region)을 정의하여 병렬적으로 예측을 수행할 수 있다. 예를 들어, 머지 또는 스킵을 사용하는 화면 간 예측을 수행시 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단할 수 있고 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있지 않은 경우 상기 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하거나 공간적 머지 후보 블록이 아직 복호화 되지 않은 MER에 포함되는지 여부를 판단하여 머지 후보 블록을 결정할 수 있다. 이하, 본 발명의 실시예에서는 화면 간 예측을 수행시 예측부의 동작에 관하여 상술한다.According to an embodiment of the present invention, when performing inter prediction, a motion estimation region (MER) may be defined to perform prediction in parallel. For example, when performing inter prediction using merge or skip, it may be determined whether a prediction target block and a spatial merge candidate block are included in the same MER, and the MER having the same prediction target block and the spatial merge candidate block is the same. If it is not included, the merge candidate block may be determined by determining whether the spatial merge candidate block is an available merge candidate block or whether the spatial merge candidate block is included in the MER which has not yet been decoded. Hereinafter, an embodiment of the present invention will be described in detail with respect to the operation of the predictor when performing inter prediction.
화면 내 예측부는 현재 픽쳐 내의 화소 정보인 현재 블록 주변의 참조 픽셀정보를 기초로 예측 단위를 생성할 수 있다. 현재 예측 단위의 주변 블록이 화면 간 예측을 수행한 블록이어서, 참조 픽셀이 화면 간 예측을 수행한 픽셀일 경우, 화면 간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면 내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수 있다. 즉, 참조 픽셀이 가용하지 않는 경우, 가용하지 않은 참조 픽셀 정보를 가용한 참조 픽셀 중 적어도 하나의 참조 픽셀로 대체하여 사용할 수 있다.The intra prediction unit can generate a prediction unit based on the reference pixel information around the current block which is the pixel information in the current picture. If the neighboring block of the current prediction unit is a block for which inter prediction is performed, and the reference pixel is a pixel for which inter prediction is performed, the intra-prediction of a reference pixel included in the block for performing inter prediction is performed. It can be used in place of the reference pixel information of the block. That is, when the reference pixel is not available, the unavailable reference pixel information may be replaced with at least one reference pixel among the available reference pixels.
화면 내 예측에서 예측 모드는 참조 픽셀 정보를 예측 방향에 따라 사용하는 방향성 예측 모드와 예측을 수행시 방향성 정보을 사용하지 않는 비방향성 모드를 가질 수 있다. 휘도 정보를 예측하기 위한 모드와 색차 정보를 예측하기 위한 모드가 상이할 수 있고, 색차 정보를 예측하기 위해 휘도 정보를 예측한 화면 내 예측 모드 정보 또는 예측된 휘도 신호 정보를 활용할 수 있다.In intra prediction, a prediction mode may have a directional prediction mode using reference pixel information according to a prediction direction, and a non-directional mode using no directional information when performing prediction. The mode for predicting the luminance information and the mode for predicting the color difference information may be different, and the intra prediction mode information or the predicted luminance signal information predicting the luminance information may be used to predict the color difference information.
화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행하지만, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 화면 내 예측을 사용할 수 있다.When intra prediction is performed, when the size of the prediction unit is the same as the size of the conversion unit, the intra prediction is performed based on pixels existing on the left side of the prediction unit, pixels existing on the upper left side, Prediction can be performed using the reference pixel based on the conversion unit when the size of the prediction unit and the size of the conversion unit are different when the intra prediction is performed. In addition, intra prediction using NxN division may be used only for a minimum coding unit.
화면 내 예측 방법은 예측 모드에 따라 참조 화소에 MDIS(Mode Dependent Intra Smoothing) 필터를 적용한 후 예측 블록을 생성할 수 있다. 참조 화소에 적용되는 MDIS 필터의 종류는 상이할 수 있다. 화면 내 예측 방법을 수행하기 위해 현재 예측 단위의 화면 내 예측 모드는 현재 예측 단위의 주변에 존재하는 예측 단위의 화면 내 예측 모드로부터 예측할 수 있다. 주변 예측 단위로부터 예측된 모드 정보를 이용하여 현재 예측 단위의 예측 모드를 예측하는 경우, 현재 예측 단위와 주변 예측 단위의 화면 내 예측 모드가 동일할 경우, 소정의 플래그 정보를 이용하여 현재 예측 단위와 주변 예측 단위의 예측 모드가 동일하다는 정보를 전송할 수 있고, 만약, 현재 예측 단위와 주변 예측 단위의 예측 모드가 상이할 경우, 엔트로피 부호화를 수행하여 현재 블록의 예측 모드 정보를 부호화할 수 있다. The intra prediction method may generate a prediction block after applying a mode dependent intra smoothing (MDIS) filter to a reference pixel according to a prediction mode. The type of MDIS filter applied to the reference pixel may be different. In order to perform the intra prediction method, the intra prediction mode of the current prediction unit may be predicted from the intra prediction mode of the prediction unit existing around the current prediction unit. When the prediction mode of the current prediction unit is predicted using the mode information predicted from the peripheral prediction unit and the intra prediction mode of the current prediction unit is the same as the intra prediction mode of the current prediction unit, Information indicating that the prediction mode of the neighbor prediction unit is the same can be transmitted. If the prediction mode of the current prediction unit differs from that of the neighbor prediction unit, the prediction mode information of the current block can be encoded by performing entropy encoding.
또한, 예측부(120, 125)에서 생성된 예측 단위를 기초로 예측을 수행한 예측 단위와 예측 단위의 원본 블록과 차이값인 잔차값(Residual) 정보를 포함하는 잔차 블록이 생성될 수 있다. 생성된 잔차 블록은 변환부(130)로 입력될 수 있다. 변환부(130)에서는 원본 블록과 예측부(120, 125)를 통해 생성된 예측 단위의 잔차값(residual)정보를 포함한 잔차 블록을 DCT(Discrete Cosine Transform) 또는 DST(Discrete Sine Transform)와 같은 변환 방법을 사용하여 변환시킬 수 있다. 잔차 블록을 변환하기 위해 DCT를 적용할지 DST를 적용할지는 잔차 블록을 생성하기 위해 사용된 예측 단위의 화면 내 예측 모드 정보를 기초로 결정할 수 있다. Also, a residual block may include a prediction unit performing prediction based on the prediction units generated by the
양자화부(135)는 변환부(130)에서 주파수 영역으로 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화부(135)에서 산출된 값은 역양자화부(140)와 재정렬부(160)에 제공될 수 있다. The
재정렬부(160)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다.The
재정렬부(160)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원의 블록 형태 계수를 1차원의 벡터 형태로 변경할 수 있다. 예를 들어, 재정렬부(160)에서는 다이아고널 스캔(Diagonal Scan)방법을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원 벡터 형태로 변경시킬 수 있다. 변환 단위의 크기 및 화면 내 예측 모드에 따라 다이아고날 스캔(Diagonal Scan) 방법이 아닌 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔 방법, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔 방법이 사용될 수 있다. 즉, 변환 단위의 크기 및 화면 내 예측 모드에 따라 다이아고날 스캔, 수직 방향 스캔 및 수평 방향 스캔 중 어떠한 스캔 방법이 사용될지 여부를 결정할 수 있다.The
엔트로피 부호화부(165)는 재정렬부(160)에 의해 산출된 값들을 기초로 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 사용할 수 있다.The
엔트로피 부호화부(165)는 재정렬부(160) 및 예측부(120, 125)로부터 부호화 단위의 잔차값 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 단위 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 프레임 정보, 블록의 보간 정보, 필터링 정보, MER 정보 등 다양한 정보를 부호화할 수 있다. The
엔트로피 부호화부(165)에서는 재정렬부(160)에서 입력된 부호화 단위의 계수값을 CABAC과 같은 엔트로피 부호화 방법을 사용하여 엔트로피 부호화를 수행할 수 있다.The
역양자화부(140) 및 역변환부(145)에서는 양자화부(135)에서 양자화된 값들을 역양자화하고 변환부(130)에서 변환된 값들을 역변환한다. 역양자화부(140) 및 역변환부(145)에서 생성된 잔차값(Residual)은 예측부(120, 125)에 포함된 움직임 추정부, 움직임 보상부 및 인트라 예측부를 통해서 예측된 예측 단위와 합쳐져 복원 블록(Reconstructed Block)을 생성할 수 있다. The
필터부(150)는 디블록킹 필터, 오프셋 보정부, ALF(Adaptive Loop Filter)중 적어도 하나를 포함할 수 있다. The
디블록킹 필터는 복원된 픽쳐에서 블록간의 경계로 인해 생긴 블록 왜곡을 제거할 수 있다. 디블록킹을 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한 디블록킹 필터를 적용함에 있어 수직 필터링 및 수평 필터링을 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.The deblocking filter may remove block distortion caused by boundaries between blocks in the reconstructed picture. In order to determine whether to perform deblocking, it may be determined whether to apply a deblocking filter to the current block based on the pixels included in several columns or rows included in the block. When the deblocking filter is applied to the block, a strong filter or a weak filter may be applied according to the required deblocking filtering strength. In addition, in applying the deblocking filter, horizontal filtering and vertical filtering may be performed in parallel when vertical filtering and horizontal filtering are performed.
오프셋 보정부는 디블록킹을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽쳐에 대한 오프셋 보정을 수행하기 위해 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.The offset correction unit may correct the offset with respect to the original image on a pixel-by-pixel basis for the deblocking image. In order to perform offset correction for a specific picture, the pixels included in the image are divided into a predetermined number of areas, and then, an area to be offset is determined, an offset is applied to the corresponding area, or offset considering the edge information of each pixel. You can use this method.
ALF (Adaptive Loop Filter)는 필터링한 복원 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 단위(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 ALF의 크기 및 계수는 달라질 수 있다. ALF는 다양한 형태를 가질 수 있으며, 필터에 그에 따라 포함되는 계수의 갯수도 달라질 수 있다. 이러한 ALF의 필터링 관련 정보(필터 계수 정보, ALF On/Off 정보, 필터 형태 정보)는 비트스트림에서 소정의 파라메터 셋에 포함되어 전송될 수 있다.The adaptive loop filter (ALF) may perform filtering based on a value obtained by comparing the filtered reconstructed image with the original image. After dividing the pixels included in the image into a predetermined group, one filter to be applied to the group may be determined and filtering may be performed for each group. For information on whether to apply the ALF, the luminance signal may be transmitted for each coding unit (CU), and the size and coefficient of the ALF to be applied may vary according to each block. The ALF may have various forms, and the number of coefficients included in the filter may also vary. Such filtering related information (filter coefficient information, ALF On / Off information, filter type information) of the ALF may be included in a predetermined parameter set in the bitstream and transmitted.
메모리(155)는 필터부(150)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있고, 저장된 복원 블록 또는 픽쳐는 화면 간 예측을 수행 시 예측부(120, 125)에 제공될 수 있다.
The
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.2 is a block diagram illustrating an image decoder according to another embodiment of the present invention.
도 2를 참조하면, 영상 복호화기는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230, 235), 필터부(240), 메모리(245)가 포함될 수 있다.Referring to FIG. 2, the image decoder includes an
영상 부호화기에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 부호화기와 반대의 절차로 복호화될 수 있다.When an image bitstream is input from the image encoder, the input bitstream may be decoded by a procedure opposite to that of the image encoder.
엔트로피 복호화부(210)는 영상 부호화기의 엔트로피 부호화부에서 엔트로피 부호화를 수행한 것과 반대의 절차로 엔트로피 복호화를 수행할 수 있다. 엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230, 235)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화를 수행한 잔차값은 재정렬부(215)로 입력될 수 있다. The
엔트로피 복호화부(210)에서는 부호화기에서 수행된 화면 내 예측 및 화면 간 예측에 관련된 정보를 복호화할 수 있다. 전술한 바와 같이 영상 부호화기에서 화면 내 예측 및 화면 간 예측을 수행시 소정의 제약이 있는 경우, 이러한 제약을 기초로 한 엔트로피 복호화를 수행해 현재 블록에 대한 화면 내 예측 및 화면 간 예측에 관련된 정보를 제공받을 수 있다. The
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 부호화부에서 재정렬한 방법을 기초로 재정렬을 수행할 수 있다. 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. The
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다. The
역변환부(225)는 영상 부호화기에서 수행한 양자화 결과에 대해 변환부에서 수행한 DCT 및 DST에 대해 역 DCT 및 역 DST를 수행할 수 있다. 역변환은 영상 부호화기에서 결정된 전송 단위를 기초로 수행될 수 있다. 영상 부호화기의 변환부에서는 DCT와 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 영상 복호화기의 역변환부(225)에서는 영상 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다. The
예측부(230, 235)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(245)에서 제공된 이전에 복호화된 블록 또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다. The
예측부(230, 235)는 예측 단위 판별부, 화면 간 예측부 및 화면 내 예측부를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부에서 입력되는 예측 단위 정보, 화면 내 예측 방법의 예측 모드 정보, 화면 간 예측 방법의 움직임 예측 관련 정보 등 다양한 정보를 입력 받고 현재 부호화 단위에서 예측 단위를 구분하고, 예측 단위가 화면 간 예측을 수행하는지 아니면 화면 내 예측을 수행하는지 여부를 판별할 수 있다. 화면 간 예측부는 영상 부호화기에서 제공된 현재 예측 단위의 화면 간 예측에 필요한 정보를 이용해 현재 예측 단위가 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 단위에 대한 화면 간 예측을 수행할 수 있다.The
화면 간 예측을 수행하기 위해 부호화 단위를 기준으로 해당 부호화 단위에 포함된 예측 단위의 움직임 예측 방법이 스킵 모드(Skip Mode), 머지 모드(Merge 모드), AMVP 모드(AMVP Mode) 중 어떠한 방법인지 여부를 판단할 수 있다. Whether the motion prediction method of the prediction unit included in the coding unit based on the coding unit to perform inter prediction is skip mode, merge mode, or AMVP mode. Can be determined.
본 발명의 실시예에 따르면 화면 간 예측을 수행시 MER(Motion Estimation Region)을 정의하여 병렬적으로 예측을 수행할 수 있다. 예를 들어, 머지 또는 스킵을 사용하는 화면 간 예측을 수행시 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단할 수 있고 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있지 않은 경우 상기 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하거나 공간적 머지 후보 블록이 아직 복호화 되지 않은 MER에 포함되는지 여부를 판단하여 머지 후보 블록을 결정할 수 있다. 이하, 본 발명의 실시예에서는 예측부의 동작에 대하여 상술한다.According to an embodiment of the present invention, when performing inter prediction, a motion estimation region (MER) may be defined to perform prediction in parallel. For example, when performing inter prediction using merge or skip, it may be determined whether a prediction target block and a spatial merge candidate block are included in the same MER, and the MER having the same prediction target block and the spatial merge candidate block is the same. If it is not included, the merge candidate block may be determined by determining whether the spatial merge candidate block is an available merge candidate block or whether the spatial merge candidate block is included in the MER which has not yet been decoded. Hereinafter, the embodiment of the present invention will be described in detail with respect to the operation of the prediction unit.
화면 내 예측부는 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 화면 내 예측을 수행한 예측 단위인 경우, 영상 부호화기에서 제공된 예측 단위의 화면 내 예측 모드 정보를 기초로 화면 내 예측을 수행할 수 있다. 화면 내 예측부에는 MDIS 필터, 참조 화소 보간부, DC 필터를 포함할 수 있다. MDIS 필터는 현재 블록의 참조 화소에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상 부호화기에서 제공된 예측 단위의 예측 모드 및 MDIS 필터 정보를 이용하여 현재 블록의 참조 화소에 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 필터링을 수행하지 않는 모드일 경우, MDIS 필터는 적용되지 않을 수 있다.The intra prediction unit may generate a prediction block based on pixel information in the current picture. When the prediction unit is a prediction unit that performs the intra prediction, the intra prediction may be performed based on the intra prediction mode information of the prediction unit provided by the image encoder. The intra prediction unit may include an MDIS filter, a reference pixel interpolator, and a DC filter. The MDIS filter is a part of filtering the reference pixel of the current block, and may determine and apply the filter according to the prediction mode of the current prediction unit. Filtering may be performed on the reference pixel of the current block by using the prediction mode of the prediction unit and the MDIS filter information provided by the image encoder. If the prediction mode of the current block is a mode that does not perform filtering, the MDIS filter may not be applied.
참조 화소 보간부는 예측 단위의 예측 모드가 참조 화소를 보간한 화소값을 기초로 화면 내 예측을 수행하는 예측 단위일 경우, 참조 화소를 보간하여 정수값 이하의 화소 단위의 참조 화소를 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 화소를 보간하지 않고 예측 블록을 생성하는 예측 모드일 경우 참조 화소는 보간되지 않을 수 있다. DC 필터는 현재 블록의 예측 모드가 DC 모드일 경우 필터링을 통해서 예측 블록을 생성할 수 있다. When the prediction mode of the prediction unit is a prediction unit that performs intra prediction based on pixel values obtained by interpolating the reference pixels, the reference pixel interpolator may generate reference pixels having an integer value or less by interpolating the reference pixels. . If the prediction mode of the current prediction unit is a prediction mode for generating a prediction block without interpolating the reference pixel, the reference pixel may not be interpolated. The DC filter may generate the prediction block through filtering when the prediction mode of the current block is the DC mode.
복원된 블록 또는 픽쳐는 필터부(240)로 제공될 수 있다. 필터부(240)는 디블록킹 필터, 오프셋 보정부, ALF를 포함할 수 있다.The reconstructed block or picture may be provided to the
영상 부호화기로부터 해당 블록 또는 픽쳐에 디블록킹 필터를 적용하였는지 여부에 대한 정보 및 디블록킹 필터를 적용하였을 경우, 강한 필터를 적용하였는지 또는 약한 필터를 적용하였는지에 대한 정보를 제공받을 수 있다. 영상 복호화기의 디블록킹 필터에서는 영상 부호화기에서 제공된 디블록킹 필터 관련 정보를 제공받고 영상 복호화기에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다. 영상 부호화기에서와 마찬가지로 우선 수직 디블록킹 필터링 및 수평 디블록킹 필터링을 수행하되, 겹치는 부분에 있어서는 수직 디블록킹 및 수평 디블록킹 중 적어도 하나를 수행할 수 있다. 수직 디블록킹 필터링 및 수평 디블록킹 필터링이 겹치는 부분에서 이전에 수행되지 못한 수직 디블록킹 필터링 또는 수평 디블록킹 필터링이 수행될 수 있다. 이러한 디블록킹 필터링 과정을 통해서 디블록킹 필터링의 병행 처리(Parallel Processing)이 가능하다. Information about whether a deblocking filter is applied to a corresponding block or picture, and when the deblocking filter is applied to the corresponding block or picture, may be provided with information about whether a strong filter or a weak filter is applied. In the deblocking filter of the image decoder, the deblocking filter related information provided by the image encoder may be provided and the deblocking filtering of the corresponding block may be performed in the image decoder. As in the image encoder, first, vertical deblocking filtering and horizontal deblocking filtering may be performed, but at least one of vertical deblocking and horizontal deblocking may be performed in an overlapping portion. Vertical deblocking filtering or horizontal deblocking filtering, which has not been previously performed, may be performed at a portion where vertical deblocking filtering and horizontal deblocking filtering overlap. Through this deblocking filtering process, parallel processing of deblocking filtering is possible.
오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다.The offset correction unit may perform offset correction on the reconstructed image based on the type of offset correction and offset value information applied to the image during encoding.
ALF는 필터링을 수행 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 부호화기로부터 제공된 ALF 적용 여부 정보, ALF 계수 정보 등을 기초로 부호화 단위에 ALF를 적용할 수 있다. 이러한 ALF 정보는 특정한 파라메터 셋에 포함되어 제공될 수 있다.The ALF may perform filtering based on a value obtained by comparing the restored image with the original image after performing the filtering. The ALF can be applied to the encoding unit based on the ALF application information and the ALF coefficient information provided from the encoder. Such ALF information may be provided included in a specific parameter set.
메모리(245)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다. The
전술한 바와 같이 이하, 본 발명의 실시예에서는 설명의 편의상 코딩 유닛(Coding Unit)을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다. 이하, 본 발명의 실시예에 따른 도 3 내지 도 11에서 설명하는 영상 예측 방법은 도 1 및 도 2에 포함된 예측부와 같은 구성부에서 수행될 수 있다.
As described above, in the embodiment of the present invention, a coding unit is used as a coding unit for convenience of description, but may also be a unit for performing decoding as well as encoding. Hereinafter, the image prediction method described with reference to FIGS. 3 to 11 according to an embodiment of the present invention may be performed by a configuration unit such as the prediction unit included in FIGS. 1 and 2.
도 3은 본 발명의 실시예에 따른 머지 및 스킵 모드를 사용하기 위한 후보 블록을 나타낸 개념도이다. 3 is a conceptual diagram illustrating candidate blocks for using merge and skip modes according to an embodiment of the present invention.
이하, 본 발명의 실시예에서는 설명의 편의상 머지 모드에 한정하여 설명하지만, 스킵 모드에서도 동일한 방법으로 적용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다. Hereinafter, the embodiments of the present invention will be described in a limited mode for convenience of description, but may be applied in the same manner in the skip mode, and such embodiments are also included in the scope of the present invention.
도 3을 참조하면, 머지 모드를 통한 화면 간 예측을 수행하기 위해서는 공간적 머지 후보 블록(300, 305, 310, 315, 320)과 시간적 머지 후보 블록(350, 355)을 사용할 수 있다. Referring to FIG. 3, spatial merge candidate blocks 300, 305, 310, 315, and 320 and temporal merge candidate blocks 350, 355 may be used to perform inter-screen prediction through merge mode.
공간적 머지 후보 블록(300, 305, 310, 315, 320)은 예측 대상 블록의 위치를 기준으로 예측 대상 블록의 좌측 상단에 위치한 점이 (xP, yP), 예측 대상 블록의 너비값을 nPSW, 예측 대상 블록의 너비값을 nPSH라고 할 경우 (xP-1, yP+nPSH)인 점을 포함하는 제4 블록(315), (xP-1, yP+nPSH-MinPuSize)인 점을 포함하는 제1 블록(300), (xP+nPSW, yP-1)인 점을 포함하는 제3 블록(310), (xP+nPSW-MinPuSize, yP-1)인 점을 포함하는 제2 블록(305), (xP-MinPuSize, yP-1)인 점을 포함하는 제5 블록(320)이 될 수 있다.The spatial merge candidate blocks 300, 305, 310, 315, and 320 have a point (xP, yP) located at the upper left of the block to be predicted based on the position of the block to be predicted, nPSW as the width value of the block to be predicted, and the predicted object. When the width value of the block is nPSH, the
시간적 머지 후보는 복수 개의 후보 블록이 사용될 수 있으며 제1 콜 블록(350)은 콜 픽쳐에 위치한 점(xP+nPSW, yP+nPSH)을 포함하는 블록이 될 수 있다. 만약 제1 콜 블록(350)이 존재하지 않거나 가용하지 않은 경우(예를 들어, 제1 콜 블록이 화면 간 예측을 수행하지 않은 경우), 콜 픽쳐에서 위치한 점(xP+(nPSW>>1), yP+(nPSH>>1))을 포함하는 제2 콜 블록(355)를 대신 사용할 수 있다.As a temporal merge candidate, a plurality of candidate blocks may be used, and the
본 발명의 실시예에 따르면 움직임 예측이 수행될 때 병렬적으로 머지 모드를 사용한 화면 간 예측을 수행하기 위해서 일정한 영역을 기준으로 머지 후보 블록의 사용 여부를 결정할 수 있다. 예를 들어, 머지 모드를 수행하기 위한 머지 후보 블록을 결정하기 위해 일정한 크기의 영역을 기준으로 동일한 영역 내에 머지 후보 블록이 존재하는지 여부를 판단하여 머지 후보 블록을 사용할지 아니면 사용하지 않을지를 결정하거나 다른 머지 후보 블록으로 대체를 하는 방법 등을 사용하여 일정한 영역을 기준으로 병렬적으로 움직임 예측을 수행할 수 있다. 이하, 본 발명의 실시예에서는 이러한 머지 모드를 이용한 병렬적 움직임 예측 방법에 대해서 상술한다.
According to an exemplary embodiment of the present invention, in order to perform inter prediction using merge mode in parallel when motion prediction is performed, whether or not to use a merge candidate block may be determined based on a predetermined region. For example, in order to determine a merge candidate block for performing the merge mode, it is determined whether a merge candidate block exists in the same region based on a region of a predetermined size to determine whether to use the merge candidate block or not. The motion prediction may be performed in parallel with respect to a certain region by using a method of replacing with another merge candidate block. Hereinafter, embodiments of the present invention will be described in detail a parallel motion prediction method using the merge mode.
도 4는 본 발명의 실시예에 따른 머지 후보 블록 결정 방법을 나타낸 개념도이다. 4 is a conceptual diagram illustrating a merge candidate block determination method according to an embodiment of the present invention.
도 4를 참조하면, LCU(Largest Coding Unit)가 4개의 MER(Motion Estimation Region)로 분할된 경우를 가정하여 설명한다.Referring to FIG. 4, it is assumed that a LCU (Largest Coding Unit) is divided into four Motion Estimation Regions (MERs).
제1 MER(MER0)에 포함되어 있는 제1 예측 블록(PU0)의 경우 도 4에서와 마찬가지로 제1 예측 블록(PU0)에 대하여 머지 모드를 이용한 화면 간 예측을 수행시 공간적 머지 후보 블록은 5개의 공간적 머지 후보 블록(400, 405, 410, 415, 420)이 존재할 수 있다. 5개의 머지 후보 블록(400, 405, 410, 415, 420)은 제1 MER(MER0)에 포함되지 않은 위치에 존재하고 부호화 및 복호화가 이미 수행된 블록이 될 수 있다.In the case of the first prediction block PU0 included in the first MER (MER0), as shown in FIG. 4, when performing inter prediction using the merge mode on the first prediction block PU0, five spatial merge candidate blocks are generated. There may be spatial merge candidate blocks 400, 405, 410, 415, 420. The five merge candidate blocks 400, 405, 410, 415, and 420 may be blocks that exist at positions not included in the first MER MER0 and have been encoded and decoded.
제2 예측 블록(PU1)은 제2 MER(MER1)에 포함되어 있는 예측 블록으로서 머지 모드를 이용한 화면 간 예측을 수행하기 위한 공간적 머지 후보 블록(430, 435, 440, 445, 450) 중 4개의 머지 후보 블록(430, 435, 445, 450)은 제2 MER(MER1)의 내부에 존재하는 블록으로서 현재 예측을 수행하는 MER과 동일한 MER에 속해있는 블록이고, 나머지 하나의 머지 후보 블록(440)은 현재 MER의 우측에 존재하는 블록으로서 아직 부호화 및 복호화가 수행되지 않은 LCU 또는 MER에 포함되어 있는 블록이 된다.The second prediction block PU1 is a prediction block included in the second MER (MER1), and four of the spatial merge candidate blocks 430, 435, 440, 445, and 450 for performing inter prediction using the merge mode. The merge candidate blocks 430, 435, 445, and 450 are blocks that exist inside the second MER MER1 and belong to the same MER as the MER currently performing prediction, and the other
본 발명의 실시예에 따르면 현재 블록의 머지 후보자 블록이 현재 블록과 동일 MER에 속하는 경우, 현재 블록의 상기 머지 후보자 블록은 배제하고, 현재 블록의 크기 및 MER 크기에 따라 적어도 하나의 다른 위치의 블록의 움직임 정보를 상기 머지 후보자로 추가할 수 있다. According to an embodiment of the present invention, when the merge candidate block of the current block belongs to the same MER as the current block, the merge candidate block of the current block is excluded and blocks of at least one other position according to the size of the current block and the MER size Motion information may be added as the merge candidate.
수직 또는 수평 방향으로 다른 MER에 존재하는 점을 포함하는 블록을 머지 후보 블록으로 추가할 수 있다. 또는 상기 후보 블록과 가장 가까운 위치의 다른 MER에 속하는 블록을 머지 후보 블록으로 추가할 수도 있다. 또는 현재 블록의 형태 및 크기에 따라 미리 정해진 위치의 머지 후보 블록을 추가할 수 있다. A block including points existing in another MER in a vertical or horizontal direction may be added as a merge candidate block. Alternatively, a block belonging to another MER at a position closest to the candidate block may be added as a merge candidate block. Alternatively, the merge candidate block at a predetermined position may be added according to the shape and size of the current block.
일예로서, 상단에 위치한 머지 후보 블록(435)과 상단 좌측에 위치한 머지 후보 블록(450)의 경우, 상기 수직 방향으로 제2 MER 외부에 위치한 점을 포함하는 다른 블록(455, 460)을 변경된 머지 후보 블록으로 사용할 수 있다. 좌측에 위치한 머지 후보 블록(430) 및 좌측 하단에 위치한 머지 후보 블록(445)은 수평 방향으로 제 MER 외부에 위치한 점을 포함하는 다른 블록(465, 470)을 변경된 머지 후보 블록으로 사용할 수 있다. 동일한 MER에 포함되어 머지 후보 블록으로 사용될 수 없는 경우, 머지 후보 블록의 위치에 따라 다른 MER에 포함된 하나의 점을 포함하는 다른 블록으로 머지 후보 블록을 변경시킬 수 있다.For example, in the case of the merge candidate block 435 located at the top and the merge candidate block 450 located at the upper left, the other
제3 예측 블록(PU2)의 경우도 마찬가지로 동일한 MER에 포함되어 있는 머지 후보 블록(475)을 수직 방향 위에 존재하는 블록(480)으로 대체하여 사용할 수 있다. 위와 같이 머지 후보 블록의 위치를 변경하는 방법은 본 발명에 따른 하나의 실시예로서 위와 같이 수직 또는 수평 방향이 아닌 다른 방향으로 다른 MER에 포함된 블록으로 공간적 머지 후보 블록의 위치 변경하는 방법을 사용하여 머지 후보 블록의 위치를 변경하는 것도 가능하고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다. Similarly, in the case of the third prediction block PU2, the merge candidate block 475 included in the same MER may be replaced with the
머지 후보 블록을 결정하기 위한 방법을 수행하기 위해 아래와 같은 단계를 수행할 수 있다. In order to perform a method for determining a merge candidate block, the following steps may be performed.
1) MER(Motion Estimation Region) 관련 정보를 복호하는 단계1) Decoding the information related to the Motion Estimation Region (MER)
MER 관련 정보에는 MER의 크기에 관련된 정보가 포함될 수 있고 이러한 MER의 크기 정보 또는 블록 크기 정보를 기초로 기초로 예측 대상 블록이 MER에 포함되어 있는지 여부를 판단할 수 있다. The MER related information may include information related to the size of the MER and may determine whether the prediction target block is included in the MER based on the size information or the block size information of the MER.
2) 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 단계2) determining whether the prediction target block and the spatial merge candidate block are included in the same MER
상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는 경우 상기 MER의 크기 및 상기 예측 대상 블록의 크기에 따라 적응적으로 공간적 머지 후보 블록을 결정하기 위해 위와 같은 단계를 수행할 수 있다. When the prediction target block and the spatial merge candidate block are included in the same MER, the above steps may be performed to adaptively determine the spatial merge candidate block according to the size of the MER and the size of the prediction target block. .
3) 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되는 경우 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하는 단계3) if the prediction target block and the spatial merge candidate block are included in the same MER, determining the spatial merge candidate block as an unusable merge candidate block
예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되는 경우 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하고 동일한 MER에 포함된 공간적 머지 후보 블록을 다른 머지 후보 블록으로 변경하여 사용할 수 있다. 또한 아래에서 상술하듯이 가용하지 않은 것으로 결정된 머지 후보 블록은 머지를 이용한 화면 간 예측에서 사용하지 않는 것도 가능하다. When the prediction target block and the spatial merge candidate block are included in the same MER, the spatial merge candidate block may be determined as an unusable merge candidate block, and the spatial merge candidate block included in the same MER may be changed to another merge candidate block. In addition, as described below, the merge candidate block determined as not available may not be used in inter prediction using merge.
본 발명의 또 다른 실시예에 따르면 동일한 MER에 속하는 머지 후보 블록을 사용하지 않는 방법 또한 사용할 수 있다.According to another embodiment of the present invention, a method not using a merge candidate block belonging to the same MER may also be used.
예를 들어, 머지 후보 블록 중 이미 부호화 및 복호화가 진행되었고 현재 예측을 진행 중인 MER과 다른 MER에 속해 있는 블록들은 병렬적으로 머지 모드를 이용한 화면 간 예측을 수행하기 위해 사용될 수 있는 블록들로서 머지 모드를 이용한 화면 간 예측 후보 블록으로서 사용될 수 있다. 하지만, 현재 예측을 진행 중인 MER과 동일한 MER에 속해 있는 블록들은 머지 모드를 이용한 화면 간 예측을 수행하기 위한 화면 간 예측 후보 블록으로 사용될 수 없고 또한 부호화 및 복호화가 수행되지 않은 블록 역시 화면 간 예측 후보 블록으로 사용될 수 없을 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
For example, among the merge candidate blocks, the blocks that belong to the MER and other MERs that have already been encoded and decoded and are currently being predicted are blocks that can be used to perform inter prediction using the merge mode in parallel. It can be used as an inter prediction prediction block using the. However, blocks belonging to the same MER as the MER currently undergoing prediction cannot be used as inter-prediction candidate blocks for performing inter-prediction using merge mode, and blocks without encoding and decoding are also inter-prediction candidates. It may not be used as a block and such embodiments are also included in the scope of the present invention.
도 5는 본 발명의 실시예에 따른 MER의 크기에 따라 머지 후보 블록을 결정하는 방법을 나타내는 개념도이다.5 is a conceptual diagram illustrating a method of determining a merge candidate block according to the size of a MER according to an embodiment of the present invention.
도 5를 참조하면, MER의 크기 및 현재 예측 유닛의 크기에 따라 머지 후보자를 적응적으로 결정할 수 있다. 예를 들어, 머지 후보자의 위치(A, B, C, D, E)에 대응하는 머지 후보자가 동일 MER 내에 속하는 경우, 상기 머지 후보자를 이용 가능하지 않는 것으로 처리하고, 현재 블록의 크기 및 MER 크기에 따라 적어도 하나의 다른 위치의 블록의 움직임 정보를 상기 머지 후보자로 추가할 수 있다. Referring to FIG. 5, the merge candidate may be adaptively determined according to the size of the MER and the size of the current prediction unit. For example, if the merge candidate corresponding to the position (A, B, C, D, E) of the merge candidate belongs to the same MER, the merge candidate is treated as not available, and the size of the current block and the MER size Accordingly, motion information of at least one other location block may be added as the merge candidate.
도 5에서는 MER의 크기가 8x8이고 예측 대상 블록이 4x8인 경우를 가정하여 설명한다. MER의 크기가 8x8인 경우 예측 대상 블록에 포함되는 블록 A는 동일한 MER에 포함되어 있고, 블록 B, C, D 및 E는 동일하지 않은 MER에 포함되어 있다.In FIG. 5, it is assumed that the size of the MER is 8x8 and the block to be predicted is 4x8. If the size of the MER is 8x8, block A included in the predicted block is included in the same MER, and blocks B, C, D, and E are included in non-identical MER.
블록 A의 경우 동일하지 않은 MER에 포함되지 않은 블록의 위치로 변경될 수 있고 블록 A’위치로 변경될 수 있다. 따라서 본 발명의 실시예에 따르면 현재 블록의 머지 후보자 블록이 현재 블록과 동일 MER에 속하는 경우, 현재 블록의 상기 머지 후보자 블록은 배제함으로서 현재 블록의 크기 및 MER 크기에 따라 적어도 하나의 다른 위치의 블록의 움직임 정보를 상기 머지 후보자로 추가할 수 있다.
In the case of block A, it may be changed to the position of a block not included in the MER which is not identical, and may be changed to the position of block A '. Therefore, according to an exemplary embodiment of the present invention, when the merge candidate block of the current block belongs to the same MER as the current block, the merge candidate block of the current block is excluded to block at least one other location according to the size of the current block and the MER size. Motion information may be added as the merge candidate.
본 발명의 실시예에 따르면 MER의 크기 정보는 상위 레벨 신택스 정보에 포함되어 전송될 수 있다. According to an embodiment of the present invention, the size information of the MER may be included in higher level syntax information and transmitted.
아래의 표 1은 상위 레벨 신택스에서 MER 크기 정보를 전송하는 방법을 나타낸 것이다.Table 1 below shows a method of transmitting the MER size information in the high-level syntax.
<표 1>TABLE 1
표 1을 참조하면, 픽쳐 파라메터 셋과 같은 상위 신택스 구조에 포함된 구문 요소 log2_parallel_merge_level_minus2값을 기초로 MER의 크기 정보를 산출할 수 있다. 픽쳐 파라메터 셋이 아닌 다른 상위 신택스 구조에 구문 요소 log2_parallel_merge_level_minus2가 포함될 수도 있으며 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
Referring to Table 1, the size information of the MER may be calculated based on a syntax element log2_parallel_merge_level_minus2 value included in a higher syntax structure such as a picture parameter set. The syntax element log2_parallel_merge_level_minus2 may be included in a higher syntax structure other than the picture parameter set, and such an embodiment is also included in the scope of the present invention.
아래의 표 2는 log2_parallel_merge_level_minus2값을 기초로 MER의 크기 사이의 관계를 나타낸 표이다.Table 2 below is a table showing the relationship between the size of the MER based on the log2_parallel_merge_level_minus2 value.
<표 2><Table 2>
표 2를 참조하면, log2_parallel_merge_level_minus2값은 0 내지 4의 값을 가질 수 있고 구문 요소의 값에 따라 MER 사이즈가 다르게 정의 될 수 있다. MER이 0인 경우 MER을 사용하지 않고 머지 모드를 이용한 화면 간 예측을 수행하는 경우와 동일하다. Referring to Table 2, the log2_parallel_merge_level_minus2 value may have a value of 0 to 4, and the MER size may be defined differently according to the syntax element value. If MER is 0, this is the same as performing inter prediction using merge mode without using MER.
MER의 사이즈 정보를 포함하는 구문 요소는 이하, 본 발명의 실시예에서 MER 사이즈 정보 구문 요소라는 용어로 정의하여 사용할 수 있고 표 2와 같이 MER 사이즈 정보 구문 요소를 정의하는 것은 하나의 예시로서 다른 여러가지 방법을 사용하여 MER 사이즈를 결정하는 것도 가능하고 이러한 구문 요소 표현 방식도 본 발명의 권리 범위에 포함된다.
The syntax element including the size information of the MER may be defined and used as the term MER size information syntax element in the following embodiments of the present invention. It is also possible to determine the MER size using a method and such syntax element representation is also within the scope of the present invention.
도 6은 현재 블록의 공간적 머지 후보 블록이 가용한지 여부를 판단하는 방법을 나타낸 개념도이다. 6 is a conceptual diagram illustrating a method of determining whether a spatial merge candidate block of a current block is available.
도 6을 참조하면, 예측 대상 블록(600)과 예측 대상 블록(600)의 주변에 위치한 공간적 머지 후보 블록(650)의 위치 및 MER 사이즈 정보 구문 요소를 기준으로 공간적 머지 후보 블록의 가용성 여부를 판단할 수 있다. Referring to FIG. 6, the availability of the spatial merge candidate block is determined based on the positions of the predicted block 600 and the spatial merge candidate block 650 located around the predicted block 600 and the MER size information syntax elements. can do.
(xP, yP)를 예측 대상 블록의 좌측 상단 위치에 존재하는 점이라고 하고 (xN, yN)을 머지 후보 블록의 좌측 상단 위치에 존재하는 점이라고 가정할 경우 아래의 수학식 1과 수학식 2를 통해 공간적 머지 후보 블록이 가용한지 여부를 판단할 수 있다. Suppose that (xP, yP) is a point that exists in the upper left position of the prediction target block and (xN, yN) is a point that exists in the upper left position of the merge candidate block. Through this, it is possible to determine whether the spatial merge candidate block is available.
<수학식 1>&Quot; (1) "
<수학식 2>&Quot; (2) "
위의 수학식 1 및 수학식 2는 머지 후보 블록과 예측 대상 블록이 동일한 MER에 포함되어 있는지 여부를 판단하기 위한 수학식의 예로서 본 발명의 본질에서 벋어나지 않는 한 위와 같은 판단 방법이 아닌 다른 판단 방법을 사용하여 머지 후보 블록과 예측 대상 블록이 동일한 MER에 포함되어 있는지 여부를 판단할 수 있다.
Equations 1 and 2 above are examples of equations for determining whether a merge candidate block and a prediction target block are included in the same MER, and are not different from the above-described determination method unless they depart from the essence of the present invention. A determination method may be used to determine whether the merge candidate block and the prediction target block are included in the same MER.
도 7은 본 발명의 실시예에 따른 머지 모드에서 공간적 머지 후보 블록을 산출하는 방법을 나타낸 순서도이다.7 is a flowchart illustrating a method of calculating a spatial merge candidate block in a merge mode according to an embodiment of the present invention.
도 7을 참조하면, MER 관련 정보를 복호한다(단계 S700).Referring to FIG. 7, the MER related information is decoded (step S700).
MER 관련 정보는 전술한 바와 같이 구문 요소 정보로서 상위 레벨 신택스 구조에 포함될 수 있다. 복호화된 MER 관련 정보를 기초로 공간적 머지 후보 블록과 예측 대상 블록이 동일한 MER에 포함되는지 아니면 다른 MER에 포함되는지를 판단할 수 있다.The MER related information may be included in the high level syntax structure as syntax element information as described above. Based on the decoded MER related information, it may be determined whether the spatial merge candidate block and the prediction target block are included in the same MER or in another MER.
공간적 머지 후보 블록과 예측 대상 블록이 동일한 MER에 포함되어 있는지 여부를 판단한다(단계 S710).It is determined whether the spatial merge candidate block and the prediction target block are included in the same MER (step S710).
본 발명의 실시예에 따르면 현재 블록의 머지 후보자 블록이 현재 블록과 동일 MER에 속하는 경우, 현재 블록의 상기 머지 후보자 블록은 배제함으로서 현재 블록의 크기 및 MER 크기에 따라 적어도 하나의 다른 위치의 블록의 움직임 정보를 상기 머지 후보자로 추가할 수 있다(단계 S720). 본 발명의 또 다른 실시예에 따르면 공간적 머지 후보 블록과 예측 대상 블록이 동일한 MER에 포함된 경우, 동일한 MER에 포함되어 있는 공간적 머지 후보 블록을 머지 후보 블록으로 사용하는 대신 다른 위치에 존재하는 다른 MER에 포함된 블록을 공간적 머지 후보 블록으로 대체하여 화면 간 예측을 수행할 수 있다.According to an exemplary embodiment of the present invention, when the merge candidate block of the current block belongs to the same MER as the current block, the merge candidate block of the current block is excluded, so that at least one other position of the block according to the size of the current block and the MER size is excluded. Motion information may be added as the merge candidate (step S720). According to another embodiment of the present invention, when the spatial merge candidate block and the prediction target block are included in the same MER, another MER existing in different positions instead of using the spatial merge candidate block included in the same MER as the merge candidate block. Inter prediction may be performed by replacing a block included in the block with a spatial merge candidate block.
또 다른 실시예로 공간적 머지 후보 블록과 예측 대상 블록이 동일한 MER에 포함된 경우, 전술한 바와 같이 동일한 MER에 포함되어 있는 공간적 머지 후보 블록을 머지 후보 블록으로 사용하지 않을 수 있다.In another embodiment, when the spatial merge candidate block and the prediction target block are included in the same MER, the spatial merge candidate block included in the same MER may not be used as the merge candidate block as described above.
공간적 머지 후보 블록과 예측 대상 블록이 동일한 MER에 포함되어 있지 않은 경우 해당 공간적 머지 후보 블록을 기초로 화면 간 예측에 수행한다(단계 S730).
If the spatial merge candidate block and the prediction target block are not included in the same MER, inter prediction is performed based on the corresponding spatial merge candidate block (step S730).
도 8은 본 발명의 실시예에 따른 머지 모드를 이용한 화면 간 예측 방법을 나타낸 순서도이다.8 is a flowchart illustrating an inter prediction method using a merge mode according to an embodiment of the present invention.
도 8을 참조하면, 공간적 머지 후보로부터 움직임 예측 관련 정보를 유도한다(단계 S800).Referring to FIG. 8, motion prediction related information is derived from a spatial merge candidate (step S800).
예측 대상 블록의 주변의 예측 단위로부터 공간적 머지 후보(spatial merge candidate)를 유도할 수 있다. 공간적 머지 후보를 유도하기 위해 예측 단위의 너비와 높이 정보, MER(Motion Estimation Region) 정보, singleMCLFlag 정보, 파티션 위치 정보 등을 제공받을 수 있다. 위와 같은 입력 정보를 기초로 공간적 머지 후보의 위치에 따른 가용성 여부 정보(availableFlagN), 참조 픽쳐 정보(refIdxL0, refIdxL1), 리스트 이용 정보(predFlagL0N, predFlagL1N), 움직임 벡터 정보(mvL0N, mvL1N)을 유도할 수 있다. 공간적 머지 후보는 예측 대상 블록의 주변에 존재하는 복수의 블록이 될 수 있다.A spatial merge candidate may be derived from the prediction unit around the prediction block. In order to derive a spatial merge candidate, width and height information of a prediction unit, motion estimation region (MER) information, singleMCLFlag information, partition location information, and the like may be provided. Based on the above input information, availability information (availableFlagN), reference picture information (refIdxL0, refIdxL1), list usage information (predFlagL0N, predFlagL1N), and motion vector information (mvL0N, mvL1N) are derived based on the location of the spatial merge candidate. Can be. The spatial merge candidate may be a plurality of blocks existing around the prediction target block.
본 발명의 실시예에 따르면 공간적 머지 후보 블록은 아래와 같이 3 가지로 분류될 수 있다. 1) 동일한 MER에 속해있지 않고 이미 부호화 또는 복호화된 공간적 머지 후보 블록, 2) 동일한 MER에 속해 있는 공간적 머지 후보 블록, 3) 아직 부호화 및 복호화가 진행되지 않은 공간적 머지 후보 블록으로 분류될 수 있다. According to an embodiment of the present invention, the spatial merge candidate blocks may be classified into three types as follows. 1) a spatial merge candidate block that does not belong to the same MER but is encoded or decoded, 2) a spatial merge candidate block that belongs to the same MER, and 3) a spatial merge candidate block that has not been encoded and decoded yet.
본 발명의 실시예에 따르면 MER 단위로 병렬적인 화면 간 예측을 수행하기 위해 화면 간 예측을 수행하기 위한 공간적 머지 후보 블록 중 동일한 MER에 속해있지 않고 이미 부호화 또는 복호화된 공간적 머지 후보 블록과 동일한 MER에 속해 있는 공간적 머지 후보 블록의 위치를 변경한 공간적 머지 후보 블록을 공간적 머지 후보 블록으로 사용할 수 있다. 즉, 본 발명의 실시예에 따르면 현재 블록의 머지 후보자 블록이 현재 블록과 동일 MER에 속하는 경우, 현재 블록의 상기 머지 후보자 블록은 배제함으로서 현재 블록의 크기 및 MER 크기에 따라 적어도 하나의 다른 위치의 블록의 움직임 정보를 상기 머지 후보자로 추가할 수 있다. 전술한 바와 같이 머지 후보 블록을 결정하기 위한 방법은 MER(Motion Estimation Region) 관련 정보를 복호하는 단계, 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 단계 및 예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되는 경우 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하는 단계를 통해 수행될 수 있다. According to an embodiment of the present invention, in order to perform parallel inter-picture prediction in units of MER, among the spatial merge candidate blocks for performing inter-picture prediction, the same MER does not belong to the same MER and is encoded or decoded. The spatial merge candidate block in which the position of the spatial merge candidate block to which it belongs is changed may be used as the spatial merge candidate block. That is, according to an exemplary embodiment of the present invention, when the merge candidate block of the current block belongs to the same MER as the current block, the merge candidate block of the current block is excluded so that at least one other position is determined according to the size of the current block and the MER size. The motion information of the block may be added as the merge candidate. As described above, a method for determining a merge candidate block includes decoding motion estimation region (MER) related information, determining whether a prediction target block and a spatial merge candidate block are included in the same MER, and a prediction target block. When and the spatial merge candidate block is included in the same MER, it may be performed through the step of determining the spatial merge candidate block as an unusable merge candidate block.
본 발명의 또 다른 실시예에 따르면 화면 간 예측을 수행하기 위한 공간적 머지 후보 블록 중 동일한 MER에 속해있지 않고 이미 부호화 또는 복호화된 공간적 머지 후보 블록만을 공간적 머지 후보 블록으로 사용하여 화면 간 예측을 수행할 수 있다. According to another embodiment of the present invention, inter-prediction is performed by using only a spatial merge candidate block that is already encoded or decoded as a spatial merge candidate block that does not belong to the same MER among spatial merge candidate blocks for performing inter-prediction. Can be.
시간적 머지 후보의 참조 픽쳐 인덱스값을 유도한다(단계 S810).A reference picture index value of a temporal merge candidate is derived (step S810).
시간적 머지 후보의 참조 픽쳐 인덱스값은 시간적 머지 후보(콜 블록)가 포함된 콜 픽쳐의 인덱스값으로서 아래와 같은 특정한 조건을 통해 유도될 수 있다. 아래의 조건은 임의적인 것으로서 변할 수 있다. 예를 들어, 예측 대상 블록의 좌측 상단에 위치한 점이 (xP, yP), 예측 대상 블록의 너비값을 nPSW, 예측 대상 블록의 너비값을 nPSH라고 할 경우, 1) (xP-1, yP+nPSH-1)의 위치에 해당하는 예측 대상 블록의 주변 예측 단위가 존재하고(이하, 참조 픽쳐 인덱스 산출 주변 예측 단위라고 한다.) 2) 참조 픽쳐 인덱스 산출 주변 예측 단위의 파티션 인덱스값이 0이고 3) 참조 픽쳐 인덱스 산출 주변 예측 단위가 화면 내 예측 모드를 사용하여 예측을 수행한 블록이 아니고 4) 예측 대상 블록과 참조 픽쳐 인덱스 산출 주변 예측 블록이 동일한 MER(Motion Estimation Region)에 속하지 않는 경우, 시간적 머지 후보의 참조 픽쳐 인덱스값을 참조 픽쳐 인덱스 산출 주변 예측 단위의 참조 픽쳐 인덱스값과 동일한 값으로 결정할 수 있다. 위와 같은 조건을 만족하지 않는 경우, 시간적 머지 후보의 참조 픽쳐 인덱스값은 0으로 설정할 수 있다.The reference picture index value of the temporal merge candidate is an index value of a call picture including a temporal merge candidate (call block) and may be derived through the following specific conditions. The following conditions can be changed as arbitrary. For example, if the point located at the upper left of the prediction block is (xP, yP), the width of the prediction block is nPSW, and the width of the prediction block is nPSH, 1) (xP-1, yP + nPSH A neighboring prediction unit of the prediction target block corresponding to the position of -1) exists (hereinafter, referred to as a reference picture index calculation peripheral prediction unit) 2) A partition index value of the reference picture index calculation peripheral prediction unit is 0 and 3) 4) If the prediction unit surrounding the reference picture index calculation is not a block in which prediction is performed using the intra prediction mode, and 4) the prediction target block and the prediction block surrounding the reference picture index calculation do not belong to the same motion estimation region (MER), the temporal merge The reference picture index value of the candidate may be determined to be the same value as the reference picture index value of the neighboring prediction unit of the reference picture index calculation. If the above conditions are not satisfied, the reference picture index value of the temporal merge candidate may be set to zero.
시간적 머지 후보를 결정하고 시간적 머지 후보로부터 움직임 예측 관련 정보를 유도한다(단계 S820).A temporal merge candidate is determined and motion prediction related information is derived from the temporal merge candidate (step S820).
시간적 머지 후보 블록(콜 블록)을 결정하고 결정된 시간적 머지 후보 블록(콜 블록)으로부터 움직임 예측 관련 정보를 유도하기 위해 예를 들어, 예측 대상 블록에서 콜 블록이 가용한지 여부, 예측 대상 블록의 위치가 LCU를 기준으로 어떠한 위치에 존재하는지 여부(예측 대상 블록의 위치가 LCU를 기준으로 하단 경계에 위치하는지 아니면 우측 경계에 위치하는지 등) 등의 조건 들을 기초로 시간적 예측 움직임 벡터를 산출하기 위해 사용되는 콜 블록의 위치를 판단할 수 있다. 판단된 콜 블록의 참조 픽쳐 정보 및 움직임 예측 벡터 정보를 기초로 움직임 예측 관련 정보를 유도하는 방법을 통해 시간적 머지 후보 블록(콜 블록)으로부터 움직임 예측 관련 정보를 유도할 수 있다. In order to determine a temporal merge candidate block (call block) and derive motion prediction related information from the determined temporal merge candidate block (call block), for example, whether a call block is available in the prediction target block, It is used to calculate a temporal predictive motion vector based on conditions such as whether it exists at a position with respect to the LCU (such as whether the position of the prediction target block is located at the bottom boundary or the right boundary with respect to the LCU). The location of the call block can be determined. Motion prediction related information may be derived from a temporal merge candidate block (call block) through a method of deriving motion prediction related information based on the determined reference picture information and motion prediction vector information of the call block.
머지 후보 리스트를 구성한다(단계 S830). A merge candidate list is constructed (step S830).
머지 후보 리스트는 공간적 머지 후보 및 시간적 머지 후보 중 적어도 하나를 포함하여 구성될 수 있다. 머지 후보 리스트에 포함되는 공간적 머지 후보 및 시간적 머지 후보는 일정한 우선 순위를 가지고 배열될 수 있다.The merge candidate list may be configured to include at least one of a spatial merge candidate and a temporal merge candidate. The spatial merge candidates and the temporal merge candidates included in the merge candidate list may be arranged with a certain priority.
머지 후보 리스트는 고정된 수의 머지 후보를 포함하여 구성될 수 있고, 고정된 수의 머지 후보를 생성하기 위해 머지 후보가 부족한 경우, 머지 후보가 가진 움직임 예측 관련 정보를 조합하여 머지 후보를 생성하거나 영 벡터값을 머지 후보로 생성하여 머지 후보 리스트를 생성할 수 있다.
The merge candidate list may be configured to include a fixed number of merge candidates, and if a merge candidate is insufficient to generate a fixed number of merge candidates, merge candidates may be generated by combining motion prediction related information of the merge candidates or A zero candidate value may be generated as a merge candidate to generate a merge candidate list.
전술한 바와 같이 위와 같은 머지 후보 유도 방법은 머지 모드를 이용한 화면 간 예측 방법뿐만 아니라 SKIP 모드를 이용한 화면 간 예측 방법에도 사용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
As described above, the merge candidate derivation method as described above may be used not only for the inter prediction method using the merge mode but also the inter prediction method using the SKIP mode, and such an embodiment is also included in the scope of the present invention.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.
Claims (16)
예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 단계; 및
상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되는 경우 상기 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하는 단계를 포함하는 머지 후보 유도 방법.Decoding MER (Motion Estimation Region) related information;
Determining whether the prediction target block and the spatial merge candidate block are included in the same MER; And
And if the prediction target block and the spatial merge candidate block are included in the same MER, determining the spatial merge candidate block as an unusable merge candidate block.
상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는 경우 상기 MER의 크기 및 상기 예측 대상 블록의 크기에 따라 적응적으로 공간적 머지 후보 블록을 결정하는 단계를 더 포함하는 머지 후보 유도 방법.The method of claim 1,
If the prediction target block and the spatial merge candidate block is included in the same MER, a merge candidate derivation method further comprising adaptively determining the spatial merge candidate block according to the size of the MER and the size of the prediction target block. .
상기 MER의 크기가 8x8이고 상기 예측 대상 블록의 크기가 8x4 또는 4x8인 경우, 상기 예측 대상 블록의 공간적 머지 후보 블록 중 적어도 하나가 상기 MER의 외부에 위치한 점을 포함하는 블록으로 변경되는 것을 특징으로 하는 머지 후보 유도 방법.The method of claim 2,
When the size of the MER is 8x8 and the size of the prediction target block is 8x4 or 4x8, at least one of the spatial merge candidate blocks of the prediction target block is changed to a block including a point located outside the MER. Merge candidate induction method.
상기 공간적 머지 후보 블록이 아직 복호화 되지 않은 MER에 포함되는지 여부를 판단하는 단계를 더 포함하는 머지 후보 유도 방법.The method of claim 1,
And determining whether the spatial merge candidate block is included in an MER that has not yet been decoded.
상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함된 경우 상기 공간적 머지 후보 블록을 다른 MER에 포함된 블록으로 변경하는 단계를 더 포함하는 머지 후보 유도 방법.The method of claim 1,
And if the prediction target block and the spatial merge candidate block are included in the same MER, changing the spatial merge candidate block to a block included in another MER.
상기 동일한 MER에 포함된 상기 공간적 머지 후보 블록의 위치에 따라 적응적으로 상기 예측 대상 블록과 다른 MER에 포함되도록 변경된 공간적 머지 후보 블록인 머지 후보 유도 방법.The method of claim 5, wherein the modified spatial merge candidate block,
The merge candidate derivation method according to the position of the spatial merge candidate block included in the same MER is a spatial merge candidate block that is adaptively changed to be included in the MER different from the prediction target block.
상기 MER의 크기에 관련된 정보로서 픽쳐 단위로 전송되는 정보인 머지 후보 유도 방법.The method of claim 1, wherein the MER-related information
A merge candidate derivation method, which is information transmitted in a picture unit as information related to the size of the MER.
상기 예측 대상 블록의 위치 정보, 상기 공간적 머지 후보 블록의 위치 정보, 상기 MER 크기 정보를 기초로 한 판단식을 기초로 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 단계인 머지 후보 유도 방법.The method of claim 1, wherein the determining of whether the prediction target block and the spatial merge candidate block are included in the same MER includes:
It is determined whether the prediction target block and the spatial merge candidate block are included in the same MER based on a determination formula based on the location information of the prediction target block, the location information of the spatial merge candidate block, and the MER size information. Merge candidate derivation method.
예측 대상 블록과 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하고 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되는 경우 상기 공간적 머지 후보 블록을 가용하지 않은 머지 후보 블록으로 결정하는 예측부를 더 포함하는 영상 복호화 장치.An entropy decoding unit for decoding MER (Motion Estimation Region) related information; And
It is determined whether a prediction target block and a spatial merge candidate block are included in the same MER, and when the prediction target block and the spatial merge candidate block are included in the same MER, the spatial merge candidate block is determined as an unusable merge candidate block. An image decoding apparatus further comprising a predictor.
상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는 경우 상기 MER의 크기 및 상기 예측 대상 블록의 크기에 따라 적응적으로 공간적 머지 후보 블록을 결정하는 예측부인 영상 복호화 장치.The method of claim 9, wherein the prediction unit,
And a prediction unit for adaptively determining a spatial merge candidate block according to the size of the MER and the size of the prediction target block when the prediction target block and the spatial merge candidate block are included in the same MER.
상기 MER의 크기가 8x8이고 상기 예측 대상 블록의 크기가 8x4 또는 4x8인 경우, 상기 예측 대상 블록의 공간적 머지 후보 블록 중 적어도 하나가 상기 MER의 외부에 위치한 점을 포함하는 블록으로 변경시키는 것을 특징으로 하는 영상 복호화 장치.The method of claim 10, wherein the prediction unit,
When the size of the MER is 8x8 and the size of the prediction target block is 8x4 or 4x8, at least one of the spatial merge candidate blocks of the prediction target block is changed to a block including a point located outside the MER. An image decoding device.
상기 공간적 머지 후보 블록이 아직 복호화 되지 않은 MER에 포함되는지 여부를 판단하는 예측부인 영상 복호화 장치.The method of claim 9, wherein the prediction unit,
And a predictor that determines whether the spatial merge candidate block is included in the MER which has not been decoded yet.
상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함된 경우 상기 공간적 머지 후보 블록을 다른 MER에 포함된 블록으로 변경하는 예측부인 영상 복호화 장치.The method of claim 9, wherein the prediction unit,
And a prediction unit for changing the spatial merge candidate block into a block included in another MER when the prediction target block and the spatial merge candidate block are included in the same MER.
상기 동일한 MER에 포함된 상기 공간적 머지 후보 블록의 위치에 따라 적응적으로 상기 예측 대상 블록과 다른 MER에 포함되도록 변경된 공간적 머지 후보 블록인 영상 복호화 장치.The method of claim 13, wherein the modified spatial merge candidate block,
And a spatial merge candidate block adapted to be included in a different MER different from the prediction target block according to the position of the spatial merge candidate block included in the same MER.
상기 MER의 크기에 관련된 정보로서 픽쳐 단위로 전송되는 정보인 영상 복호화 장치.The method of claim 9, wherein the MER-related information,
The image decoding apparatus is information transmitted in picture units as information related to the size of the MER.
상기 예측 대상 블록의 위치 정보, 상기 공간적 머지 후보 블록의 위치 정보, 상기 MER 크기 정보를 기초로 한 판단식을 기초로 상기 예측 대상 블록과 상기 공간적 머지 후보 블록이 동일한 MER에 포함되어 있는지 여부를 판단하는 예측부인 영상 복호화 장치.The method of claim 9, wherein the prediction unit,
It is determined whether the prediction target block and the spatial merge candidate block are included in the same MER based on a determination formula based on the location information of the prediction target block, the location information of the spatial merge candidate block, and the MER size information. An image decoding device which is a prediction unit.
Priority Applications (84)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120039500A KR101197176B1 (en) | 2011-09-23 | 2012-04-17 | Methods of derivation of merge candidate block and apparatuses for using the same |
| ES201631231A ES2602201B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| CA2968598A CA2968598C (en) | 2011-09-23 | 2012-09-06 | Method for deriving a merge candidate block and device using same |
| JP2014516929A JP5746792B2 (en) | 2011-09-23 | 2012-09-06 | Merge candidate block guidance method and apparatus using such method |
| CN201611207605.3A CN107105268B (en) | 2011-09-23 | 2012-09-06 | Method for obtaining merging candidates |
| MX2016011508A MX352016B (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same. |
| EP20189968.9A EP3754990B1 (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block |
| ES201850007A ES2705357B1 (en) | 2011-09-23 | 2012-09-06 | Method to induce a fusion candidate block and device using the same |
| ES201730967A ES2647622B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| ES201730982A ES2647572B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| SE1651199A SE542455C2 (en) | 2011-09-23 | 2012-09-06 | Procedure for designating a candidate block for fusion and a device for applying this procedure |
| RU2016101153A RU2694018C2 (en) | 2011-09-23 | 2012-09-06 | Video decoding method |
| SE1850140A SE1850140A2 (en) | 2011-09-23 | 2012-09-06 | Procedure for selecting a candidate block for fusion as well as a device for applying this procedure |
| SE1651202A SE1651202A2 (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device usingsame |
| PL20189968.9T PL3754990T3 (en) | 2011-09-23 | 2012-09-06 | METHOD OF CALLING A CONNECTION CANDIDATE BLOCK |
| ES201730968A ES2647600B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| ES201850003A ES2705251B1 (en) | 2011-09-23 | 2012-09-06 | Method to induce a fusion candidate block and device using the same |
| MX2015016648A MX341932B (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same. |
| BR112013018993-2A BR112013018993B1 (en) | 2011-09-23 | 2012-09-06 | Merge candidate derivation method |
| CN201610832206.XA CN107071456B (en) | 2011-09-23 | 2012-09-06 | Method for decoding video signal |
| RU2016100984A RU2696301C2 (en) | 2011-09-23 | 2012-09-06 | Video signal decoding method |
| CN201611206818.4A CN107094259B (en) | 2011-09-23 | 2012-09-06 | Method for decoding video signal |
| ES201490030A ES2532857B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| ES201850004A ES2705331B1 (en) | 2011-09-23 | 2012-09-06 | Method to induce a fusion candidate block and device using the same |
| EP12833938.9A EP2787728B1 (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block |
| PL12833938T PL2787728T3 (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block |
| MX2013008349A MX2013008349A (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same. |
| AU2012310514A AU2012310514B2 (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same |
| US13/977,778 US9253498B2 (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same |
| ES201630378A ES2580278B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| SE1651050A SE542454C2 (en) | 2011-09-23 | 2012-09-06 | Procedure for designating a candidate block for fusion and a device for applying this procedure |
| SE1850158A SE1850158A2 (en) | 2011-09-23 | 2012-09-06 | Procedure for selecting a candidate block for fusion as well as a device for applying this procedure |
| ES201850008A ES2705337B1 (en) | 2011-09-23 | 2012-09-06 | Method to induce a fusion candidate block and device using the same |
| PL407774A PL231926B1 (en) | 2011-09-23 | 2012-09-06 | Method for calling-in the block of connecting candidates and the device using it |
| GB1717601.7A GB2556695B (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using the same |
| SE1450126A SE539969C2 (en) | 2011-09-23 | 2012-09-06 | Procedure for selecting a candidate block for fusion and a single device for applying this procedure |
| MX2016011509A MX352017B (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same. |
| MX2017014032A MX391796B (en) | 2011-09-23 | 2012-09-06 | METHOD FOR INDUCING A CANDIDATE COMBINATION BLOCK AND DEVICE THAT USES THE SAME. |
| GB1717600.9A GB2562132B (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using the same |
| SE1651051A SE542569C2 (en) | 2011-09-23 | 2012-09-06 | Procedure for designating a candidate block for fusion and a device for applying this procedure |
| CA2824755A CA2824755C (en) | 2011-09-23 | 2012-09-06 | Method for deriving a merge candidate block and device using same |
| RU2016101148A RU2696229C2 (en) | 2011-09-23 | 2012-09-06 | Video signal decoding method |
| CN201611206817.XA CN107087193B (en) | 2011-09-23 | 2012-09-06 | Method for decoding video signal |
| RU2016101150A RU2696304C2 (en) | 2011-09-23 | 2012-09-06 | Video signal decoding method |
| CN201611207594.9A CN107105267B (en) | 2011-09-23 | 2012-09-06 | Method for decoding video signal |
| RU2015153835A RU2696237C2 (en) | 2011-09-23 | 2012-09-06 | Video decoding method |
| GB1803926.3A GB2557516B (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same |
| ES201730356A ES2631477B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| RU2013134438/08A RU2576499C2 (en) | 2011-09-23 | 2012-09-06 | Method of obtaining merge candidate block and device using same |
| ES201850006A ES2705355B1 (en) | 2011-09-23 | 2012-09-06 | Method to induce a fusion candidate block and device using the same |
| ES201531656A ES2572577B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| CN201611207630.1A CN106878744B (en) | 2011-09-23 | 2012-09-06 | Method for determining time merging candidate block |
| ES201631233A ES2612493B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| PCT/KR2012/007176 WO2013042888A2 (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same |
| CN201410571867.2A CN104349170B (en) | 2011-09-23 | 2012-09-06 | The method that vision signal is decoded |
| SE1651203A SE1651203A2 (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device usingsame |
| GB1402657.9A GB2507910B (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same |
| CN201280006137.7A CN103444172B (en) | 2011-09-23 | 2012-09-06 | Method for guiding merging candidate blocks and device using the method |
| SE1651201A SE542456C2 (en) | 2011-09-23 | 2012-09-06 | Procedure for designating a candidate block for fusion and a device for applying this procedure |
| GB1803930.5A GB2557517B (en) | 2011-09-23 | 2012-09-06 | Method for inducing a merge candidate block and device using same |
| CN201611207616.1A CN107105269B (en) | 2011-09-23 | 2012-09-06 | Method for obtaining merging candidates |
| ES201850005A ES2705334B1 (en) | 2011-09-23 | 2012-09-06 | Method to induce a fusion candidate block and device using the same |
| ES201631232A ES2612494B1 (en) | 2011-09-23 | 2012-09-06 | METHOD TO INDUCE A FUSION CANDIDATE BLOCK AND DEVICE USING THE SAME |
| CN201611205705.2A CN106878743B (en) | 2011-09-23 | 2012-09-06 | Method for decoding video signal |
| CN201610832388.0A CN107105279B (en) | 2011-09-23 | 2012-09-06 | Method for guiding merging candidate blocks and apparatus using the same |
| SE1850159A SE1850159A2 (en) | 2011-09-23 | 2012-09-06 | Procedure for selecting a candidate block for fusion as well as a device for applying this procedure |
| US14/604,962 US9253499B2 (en) | 2011-09-23 | 2015-01-26 | Method for inducing a merge candidate block and device using same |
| JP2015094169A JP6130430B2 (en) | 2011-09-23 | 2015-05-01 | Merge candidate block guidance method and apparatus using such method |
| JP2015094155A JP5969654B2 (en) | 2011-09-23 | 2015-05-01 | Merge candidate block guidance method and apparatus using such method |
| JP2015160508A JP6062509B2 (en) | 2011-09-23 | 2015-08-17 | Merge candidate block guidance method and apparatus using such method |
| JP2015160496A JP6009633B2 (en) | 2011-09-23 | 2015-08-17 | Merge candidate block guidance method and apparatus using such method |
| US14/969,044 US9357225B2 (en) | 2011-09-23 | 2015-12-15 | Method for inducing a merge candidate block and device using same |
| US14/971,260 US9554144B2 (en) | 2011-09-23 | 2015-12-16 | Method for inducing a merge candidate block and device using same |
| US15/184,087 US9578348B2 (en) | 2011-09-23 | 2016-06-16 | Method for inducing a merge candidate block and device using same |
| US15/209,885 US9924185B2 (en) | 2011-09-23 | 2016-07-14 | Method for inducing a merge candidate block and device using same |
| JP2016241397A JP6279700B2 (en) | 2011-09-23 | 2016-12-13 | Merge candidate block guidance method and apparatus using such method |
| JP2016241382A JP6279699B2 (en) | 2011-09-23 | 2016-12-13 | Merge candidate block guidance method and apparatus using such method |
| US15/378,101 US9930359B2 (en) | 2011-09-23 | 2016-12-14 | Method for inducing a merge candidate block and device using same |
| JP2018005093A JP6595019B2 (en) | 2011-09-23 | 2018-01-16 | Merge candidate block guidance method and apparatus using such method |
| JP2018005116A JP6595020B2 (en) | 2011-09-23 | 2018-01-16 | Merge candidate block guidance method and apparatus using such method |
| JP2018005123A JP6545838B2 (en) | 2011-09-23 | 2018-01-16 | Merge candidate block derivation method and apparatus using such method |
| US15/878,688 US10165295B2 (en) | 2011-09-23 | 2018-01-24 | Method for inducing a merge candidate block and device using same |
| US15/878,740 US10182237B2 (en) | 2011-09-23 | 2018-01-24 | Method for inducing a merge candidate block and device using same |
| US15/878,647 US10165294B2 (en) | 2011-09-23 | 2018-01-24 | Method for inducing a merge candidate block and device using same |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110096138 | 2011-09-23 | ||
| KR1020120039500A KR101197176B1 (en) | 2011-09-23 | 2012-04-17 | Methods of derivation of merge candidate block and apparatuses for using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101197176B1 true KR101197176B1 (en) | 2012-11-05 |
Family
ID=47563899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120039500A Active KR101197176B1 (en) | 2011-09-23 | 2012-04-17 | Methods of derivation of merge candidate block and apparatuses for using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101197176B1 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140077825A (en) * | 2012-11-27 | 2014-06-24 | 경희대학교 산학협력단 | Method and apparatus for encoding and decoding based on merge |
| KR101561461B1 (en) | 2012-11-27 | 2015-10-20 | 경희대학교 산학협력단 | Video encoding and decoding method and apparatus using the same |
| KR101750997B1 (en) | 2012-10-12 | 2017-06-26 | 한국전자통신연구원 | Video encoding and decoding method and apparatus using the same |
| WO2018182185A1 (en) * | 2017-03-31 | 2018-10-04 | 주식회사 칩스앤미디어 | Image processing method for processing motion information for parallel processing, method for decoding and encoding using same, and apparatus for same |
| WO2019231206A1 (en) * | 2018-05-30 | 2019-12-05 | 디지털인사이트주식회사 | Image encoding/decoding method and device |
| US11082716B2 (en) | 2017-10-10 | 2021-08-03 | Electronics And Telecommunications Research Institute | Method and device using inter prediction information |
| CN113287302A (en) * | 2019-01-04 | 2021-08-20 | 世宗大学校产学协力团 | Method and apparatus for image encoding/decoding |
| CN113455003A (en) * | 2019-02-22 | 2021-09-28 | 联发科技股份有限公司 | Intra-frame block copy merge list reduction |
| US11509907B2 (en) | 2017-09-29 | 2022-11-22 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and apparatus, and recording medium for storing bitstream |
-
2012
- 2012-04-17 KR KR1020120039500A patent/KR101197176B1/en active Active
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101750997B1 (en) | 2012-10-12 | 2017-06-26 | 한국전자통신연구원 | Video encoding and decoding method and apparatus using the same |
| KR101750996B1 (en) | 2012-10-12 | 2017-06-26 | 한국전자통신연구원 | Video encoding and decoding method and apparatus using the same |
| KR102045983B1 (en) | 2012-11-27 | 2019-11-18 | 경희대학교 산학협력단 | Method and apparatus for encoding and decoding based on merge |
| KR101561461B1 (en) | 2012-11-27 | 2015-10-20 | 경희대학교 산학협력단 | Video encoding and decoding method and apparatus using the same |
| KR20160085237A (en) * | 2012-11-27 | 2016-07-15 | 경희대학교 산학협력단 | Method and apparatus for encoding and decoding based on merge |
| KR101638875B1 (en) | 2012-11-27 | 2016-07-22 | 경희대학교 산학협력단 | Method and apparatus for encoding and decoding based on merge |
| KR20140077825A (en) * | 2012-11-27 | 2014-06-24 | 경희대학교 산학협력단 | Method and apparatus for encoding and decoding based on merge |
| KR20220005101A (en) * | 2017-03-31 | 2022-01-12 | 주식회사 칩스앤미디어 | A method of video processing providing independent properties between coding tree units and coding units, a method and appratus for decoding and encoding video using the processing. |
| WO2018182185A1 (en) * | 2017-03-31 | 2018-10-04 | 주식회사 칩스앤미디어 | Image processing method for processing motion information for parallel processing, method for decoding and encoding using same, and apparatus for same |
| KR102437729B1 (en) | 2017-03-31 | 2022-08-29 | 주식회사 칩스앤미디어 | A method of video processing providing independent properties between coding tree units and coding units, a method and appratus for decoding and encoding video using the processing. |
| US11509907B2 (en) | 2017-09-29 | 2022-11-22 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and apparatus, and recording medium for storing bitstream |
| US12309387B2 (en) | 2017-09-29 | 2025-05-20 | Lx Semicon Co., Ltd. | Image encoding/decoding method and apparatus, and recording medium for storing bitstream |
| US12294721B2 (en) | 2017-09-29 | 2025-05-06 | Lx Semicon Co., Ltd. | Image encoding/decoding method and apparatus, and recording medium for storing bitstream |
| US12010326B2 (en) | 2017-09-29 | 2024-06-11 | Lx Semicon Co., Ltd. | Image encoding/decoding method and apparatus, and recording medium for storing bitstream |
| US11792424B2 (en) | 2017-10-10 | 2023-10-17 | Electronics And Telecommunications Research Institute | Method and device using inter prediction information |
| US11082716B2 (en) | 2017-10-10 | 2021-08-03 | Electronics And Telecommunications Research Institute | Method and device using inter prediction information |
| US11831890B2 (en) | 2018-05-30 | 2023-11-28 | Digitalinsights Inc. | Image encoding/decoding method and device |
| WO2019231206A1 (en) * | 2018-05-30 | 2019-12-05 | 디지털인사이트주식회사 | Image encoding/decoding method and device |
| US11818378B2 (en) | 2018-05-30 | 2023-11-14 | Digitalinsights Inc. | Image encoding/decoding method and device |
| US11356687B2 (en) | 2018-05-30 | 2022-06-07 | Digitalinsights Inc. | Image encoding/decoding method and device |
| US12184876B2 (en) | 2018-05-30 | 2024-12-31 | Digitalinsights Inc. | Image encoding/decoding method and device |
| US12267517B2 (en) | 2018-05-30 | 2025-04-01 | Digitalinsights Inc. | Image encoding/decoding method and device |
| US11350118B2 (en) | 2018-05-30 | 2022-05-31 | Digitalinsights Inc. | Image encoding/decoding method and device |
| CN113287302A (en) * | 2019-01-04 | 2021-08-20 | 世宗大学校产学协力团 | Method and apparatus for image encoding/decoding |
| CN113455003B (en) * | 2019-02-22 | 2023-09-29 | 寰发股份有限公司 | Video encoding and decoding method and electronic equipment |
| CN113455003A (en) * | 2019-02-22 | 2021-09-28 | 联发科技股份有限公司 | Intra-frame block copy merge list reduction |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6545838B2 (en) | Merge candidate block derivation method and apparatus using such method | |
| KR102083012B1 (en) | Method for setting motion vector list and apparatus using same | |
| KR101197176B1 (en) | Methods of derivation of merge candidate block and apparatuses for using the same | |
| WO2013036041A2 (en) | Method for deriving a temporal predictive motion vector, and apparatus using the method | |
| AU2018236767A1 (en) | Method for inducing a merge candidate block and device using same | |
| KR20130069686A (en) | Methods of derivation of temporal motion vector predictor and appratuses using the same | |
| KR102573577B1 (en) | A method for processing a video, a method and an apparatus for frame rate conversion | |
| KR101204026B1 (en) | Methods of derivation of temporal motion vector predictor and apparatuses for using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| PA0302 | Request for accelerated examination |
St.27 status event code: A-1-2-D10-D17-exm-PA0302 St.27 status event code: A-1-2-D10-D16-exm-PA0302 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-5-5-R10-R17-oth-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20151006 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20161005 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20170928 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20181001 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190930 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 10 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 11 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 12 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 13 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 14 |