[go: up one dir, main page]

KR0181063B1 - 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 - Google Patents

특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 Download PDF

Info

Publication number
KR0181063B1
KR0181063B1 KR1019950010586A KR19950010586A KR0181063B1 KR 0181063 B1 KR0181063 B1 KR 0181063B1 KR 1019950010586 A KR1019950010586 A KR 1019950010586A KR 19950010586 A KR19950010586 A KR 19950010586A KR 0181063 B1 KR0181063 B1 KR 0181063B1
Authority
KR
South Korea
Prior art keywords
motion
block
image
grid
previous frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1019950010586A
Other languages
English (en)
Other versions
KR960040014A (ko
Inventor
이민섭
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950010586A priority Critical patent/KR0181063B1/ko
Priority to US08/498,554 priority patent/US5546129A/en
Priority to CN95108904A priority patent/CN1117482C/zh
Priority to JP20286495A priority patent/JP4180666B2/ja
Publication of KR960040014A publication Critical patent/KR960040014A/ko
Application granted granted Critical
Publication of KR0181063B1 publication Critical patent/KR0181063B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 현재 프레임과 이전 프레임의 대응 블록간의 정합오차에 근거하여 영상의 움직임 영역을 세분하고 세분된 움직임 영역에서의 특징점 추출에 필요한 적응적인 다중구조의 그리드를 형성할 수 있는 방법 및 장치에 관한 것으로, 이를 위하여, 본 발명은, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 블록매칭 알고리즘을 통한 움직임벡터들의 세트에 의거하는 블록기반 움직임 보상을 수행하여 제1의 예측된 현재 프레임 신호를 생성하고, 재구성된 이전 프레임의 블록들과 제1의 예측된 현재 프레임의 대응 블록들간의 블록매칭에 따른 정합오차를 산출하며, 산출된 대응 블록들간의 정합오차와 기설정된 소정의 임계값과의 비교를 통해 영상의 국부적인 산발 움직임 영역을 검출하고, 현재 프레임과 재구성된 이전 프레임과이 감산에 따른 에러신호와 기설정된 다른 임계값에 의거하여 영상의 전역 움직임을 산출하며, 블록매칭에 따른 정합오차에 의거하는 영상의 국부적인 산발 움직임과 영상의 전역 움직임에 상응하여, 동일 영상에 적용되는 다른 크기 간격을 갖는 그리드들을 형성하고, 크기 간격이 다른 가변적인 그리드와 재구성된 이전 프레임에서 검출된 에지 데이터에 의거하여 영상의 전역 움직임 영역 및 국부적인 산발 움직임 영역에 대한 특징점들을 선택하도록 함으로서, 움직임 보상에 근거하는 신뢰할 수 있는 특징점을 이용한 움직임벡터들을 얻을 수 있는 것이다.

Description

특징점을 이용한 움직임 보상에서의 그리드 형성 방법 및 장치
제1도는 특징점 기반 움직임 추정/보상을 위한 본 발명에 따른 그리드 형성 장치를 적용하는 데 적합한 전형적인 비디오 신호 부호화 시스템에 대한 블록구성도.
제2도는 본 발명의 바람직한 실시예에 따라 특징점 기반 움직임 추정 등을 통해 움직임 보상을 수행하는 제1도의 현재 프레임 예측 블록내의 특징점 선택 블록에 대한 블록구성도.
제3도는 영상에서 움직임을 갖는 영역이 선별되는 일예를 도시한 도면.
제4도는 블록간의 정합 오차에 근거하여 세분되는 영상의 전역 움직임 영역과 국부적 움직임 영역에 각각 적용되는 다른 간격 크기를 갖는 육각 그리드를 예시적으로 도시한 도면.
제5도는 본 발명에 따라 일예로서 사용되는 다른 크기의 육각 그리드가 움직임 영역에 적응적으로 구성되는 일예를 도시한 도면.
* 도면의 주요부분에 대한 부호의 설명
10, 17, 187 : 프레임 메모리 11, 185 : 감산기
12 : 영상신호 부호화 블록 13 : 엔트로피 부호화 블록
14 : 버퍼 15 : 영상신호 복호화 블록
16 : 가산기 18 : 특징점 선택 블록
19 : 움직임 추정/보상 블록 20 : 현재 프레임 예측 블록
181 : 블록 기반 움직임 추정기 182 : 블록 기반 움직임 보상기
183 : 정합 오차 산출기 184 : 국부적 움직임 영역 선별기
186 : 비교기 188 : 움직임 영역 선별기
189 : 그리드 형성기 190 : 특징점 선택기
본 발명은 특징점 기반 움직임 추정 기법을 이용하여 비디오 신호를 부호화하는 방법 및 장치에 관한 것으로, 특히 비디오 신호의 부호화를 위해 특징점을 기반으로 하여 움직임 추정을 수행하는데 이용되는 그리드를 형성하는 방법 및 장치에 관한 것이다.
이 기술분야에 잘 알려진 바와같이 이산된 화상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 비디오 신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지탈 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 이와같이 데이터를 압축하는 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Picture, IEEE Transactions on Communication, COM-30, N0.1(1982년 1월)에 기재되어 있다.
일반적으로, 이차원 DCT는 영상 데이터간의 공간적 리던던시를 이용하거나 제거하는 것으로서, 디지탈 영상 데이터 블록, 예를들면 8X8 블록을 DCT변환계수로 변환한다. 이 기법은 Chen과 Pratt의 Scene Adaptive Coder, IEEE Transactions on Communication, COM-32, NO.3(1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이터의 양을 효과적으로 감축할 수 있다.
보다 상세하게, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 이와 같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
통상적으로, 물체의 변위를 추정하는 데에는 여러 가지 접근 방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블록 단위 움직임 추정 방법이고 다른 하나는 화소 단위 움직임 추정 방법이다.
한편, 블록 단위 움직임 추정에서는, 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합 블록을 결정하며, 이것으로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)가 추정된다. 그러나, 블록 단위 움직임 추정에서는 움직임 보상 과정에서 블록 경계에 블록킹 효과(blocking effect)가 발생할 수 있고, 블록내의 모든 화소가 한방향으로 이동하지 않는 경우에는 추정값이 올바르지 않아서 그 결과 부호화 효율이 감소한다는 단점이 있다.
한편, 화소 단위 움직임 추정 방법을 이용하면 변위는 각각의 화소 전부에 대해 구해진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를 들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 실질적으로 모든 움직임 벡터를 수신기로 전송하는 것은 불가능하다.
따라서, 화소 단위 움직임 추정 방법에 있어서는 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임 벡터를 수신측에 전송하는데, 이때 특징점은 인접 화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임 벡터는 특징점에 대한 움직임 벡터로부터 복원될 수 있다.
동일인에 의해 1995년 2월 28일자로 출원되어 현재 계류중인 대한민국 특허 출원번호 95-3955 호의 화소 단위 움직임 예측을 이용한 비디오 신호 부호화 방법 및 장치(Method and Apparatus for Encoding a Video Signal Using Pixel-by-pixel Motion Estimation)에 개시된, 특징점을 이용한 움직임 추정 기법을 채용한 부호화기에서는 우선 이전 프레임에 포함된 모든 화소로부터 특징점이 선택된다. 그리고난후, 선택된 각 특징점에 대한 움직임 벡터가 결정되는데 이때 각 움직임 벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위이다. 보다 상세하게, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색 영역에서 찾는데 이때 탐색 영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의할 수 있다.
한편, 특징점을 선택하는데 있어서, 에지 검출 기법과 그리드 기법을 함께 사용하여 특징점을 선택하는 기법에서는 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행된다.
통상적으로, 시간적으로 연속되는 영상은 크게 두 종류의 움직임으로 분류해 볼 수 있는데, 그 하나는 카메라의 상하, 수평 이동 등에 기인하는 전역 움직임이고, 다른 하나는 영상내의 물체 등이 세부적으로 변화하는 국부적 움직임이다. 이때, 전역 움직임은 일반적으로 블록 매칭 움직임 추정 기법 등의 방법을 통해 움직임 보상을 쉽게 실현할 수 있는 반면에, 국부적 움직임의 경우에는 그 반대, 즉 움직임 추정이 곤란하다.
한편, 특징점 기반 움직임 보상에 있어서, 단순히 1차적인 그리드 구조만을 사용, 즉 그리드의 간격이 일률적으로 동일한 상태에서 특징점을 추출하게 되면 미세하게 나타내 주고자 하는 부분(영상의 국부적 움직임 영역)에서는 특징점의 모자람으로 인해 움직임 보상이 정확도가 떨어지고, 이와 반대로 전역 움직임을 갖는 부분에서는 과다한 특징점 추출로 인한 불필요한 데이터량이 증가로 부호화의 효율이 저하할 수가 있다. 실질적으로, 이것은 작은 영역에 다양한 움직임을 갖는 물체가 많을 때, 즉 국부적 움직임 영역의 경우 효율적인 움직임 보상을 위해 좀 더 많은 특징점이 필요하고, 모든 물체가 거의 동일한 움직임을 가질 때, 즉 전역 움직임의 경우 단지 몇 개만의 대표적인 특징점으로도 충분히 영상의 움직임 표현이 가능하다는 관점에서 착안한 것이다.
따라서, 본 발명의 목적은 현재 프레임과 이전 프레임의 대응 블록간의 정합 오차에 근거하여 영상의 움직임 영역을 세분하고 세분된 움직임 영역에서의 특징점 추출에 필요한 적응적인 다중 구조의 그리드를 형성할 수 있는 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 특징점에 대한 움직임 벡터를 검출하는데 사용되는 그리드를 형성하는 방법에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 블록 매칭 알고리즘을 통한 움직임 벡터들의 세트에 의거하는 블록 기반 움직임 보상을 수행하여 예측 프레임 신호를 생성하고, 상기 재구성된 이전 프레임의 블록과 상기 생성된 예측 프레임내 대응 블록들간의 블록 매칭에 따른 정합 오차값을 산출하는 단계; 상기 산출된 대응 블록간의 정합 오차값과 기설정된 소정의 임계값을 비교하고, 그 비교 결과에 따라 해당 블록이 영상의 국부적인 산발 움직임 영역인지의 여부를 검출하여 그에 상응하는 국부적 움직임 영역 정보를 발생하는 단계; 상기 현재 프레임과 상기 재구성된 이전 프레임과의 감산에 다른 에러신호와 기설정된 다른 임계값에 의거하여 상기 영상의 전역 움직임 영역 정보를 산출하는 단계; 상기 블록 매칭에 따른 정합 오차값에 의거하는 상기 영상의 국부적 움직임 영역 정보와 상기 산출된 전역 움직임 영역 정보에 의거하여, 상기 이전 프레임에 적용되는 다른 크기 간격을 갖는 그리드들을 각각 형성하는 단계; 및 상기 크기 간격이 다른 가변적인 그리드와 상기 재구성된 이전 프레임에서 검출된 에지 데이터에 의거하여, 상기 영상의 전역 움직임 영역 및 국부적 움직임 영역에 대한 특징점들을 각각 선택하는 단계로 이루어진 특징점을 이용한 움직임 보상에서의 그리드 형성 방법을 제공한다.
상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 특징점에 대한 움직임 벡터를 검출하는데 사용되는 그리드를 형성하는 장치에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 블록매칭 알고리즘을 통한 움직임 벡터들의 세트에 의거하는 블록 기반 움직임 보상을 수행하여 예측 프레임 신호를 생성하는 수단; 상기 재구성된 이전 프레임의 블록과 상기 생성된 예측 프레임내 대응 블록간의 블록 매칭에 따른 정합 오차값을 산출하는 수단; 상기 산출된 대응 블록간의 정합오차값과 기설정된 소정의 임계값을 비교하고, 그 비교 결과에 따라 해당 블록이 영상의 국부적인 산발 움직임 영역인지의 여부를 검출하여 그에 상응하는 국부적 움직임 영역 정보를 발생하는 수단; 상기 현재 프레임과 상기 재구성된 이전 프레임과의 감산을 통해 에러신호를 산출하고, 이 산출된 에러신호와 기설정된 소정의 다른 임계값의 비교를 통해 상기 영상의 전역 움직임 영역을 검출하는 수단; 상기 검출된 영상의 전역 움직임 영역에 대한 영상 데이터를 프레임 단위로 저장하기 위한 메모리 수단; 상기 메모리 수단으로부터 제공되는 영상 데이터에 따라 상기 영상의 전역 움직임 영역 정보를 프레임 단위로 선별하는 수단; 상기 발생된 국부적 움직임 영역 정보와 상기 선별된 전역 움직임 영역 정보에 의거하여 상기 이전 프레임에 적용되는 다른 크기 간격을 갖는 그리드들을 각각 형성하는 수단; 및 상기 형성된 크기 간격이 다른 가변적인 그리드와 상기 재구성된 이전 프레임에서 검출된 에지 데이터에 의거하여 상기 이전 프레임의 전역 움직임 영역 및 국부적 움직임 영역에 대한 특징점들을 선택하기 위한 특징점 선택 수단으로 이루어진 특징점을 이용한 움직임 보상에서의 그리드 형성 장치를 제공한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
제1도는 특징점 기반 움직임 추정/보상을 위한 본 발명에 따른 그리드 형성 장치를 적용하는 데 적합한 전형적인 비디오 신호 부호화 시스템에 대한 블록구성도를 나타낸다. 동도면에 도시된 바와같이, 비디오 신호 부호화 시스템은 제1프레임 메모리(10), 감산기(11), 영상신호 부호화 블록(12), 엔트로피 부호화 블록(13), 버퍼(14), 영상신호 복호화 블록(15), 가산기(16), 제2프레임 메모리(17), 특징점 선택 블록(18) 및 움직임 추정/보상 블록(19)을 포함한다. 여기에서, 현재 프레임 예측 블록(20)을 이루는 특징점 선택 블록(18)은 본 발명에 실질적으로 관련되는 물체의 에지점과 그리드를 이용하여 특징점을 선택하는 장치로서, 그 세부적인 구성은 제2도에 도시되어 있다.
제1도를 참조하면, 입력되는 현재 프레임 신호는 제1프레임 메모리(10)에 저장된 다음 라인 L11 및 L10을 통해 감산기(11)와 현재 프레임 예측 블록(20)을 이루는 특징점 선택 블록(18) 및 움직임 추정/보상 블록(19)에 각각 제공된다.
먼저, 현재 프레임 예측 블록(20)에서는 제1프레임 메모리(10)로부터 제공되는 라인 L10 상의 현재 프레임 신호와 제1프레임 메모리(17)로부터 제공되는 라인 L14 상의 재구성된 이전 프레임 신호에 기초하여 특징점 기반 움직임 보상 등을 통해 화소 단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(11)롸 가산기(16)에 각각 제공하며, 또한 라인 L16상에 선택되는 특징점에 대한 움직임 벡터들의 세트를 발생하여 후술되는 엔트로피 부호화 블록(13)에 제공한다.
상술하면, 특징점 선택 블록(18)에서는 라인 L14를 통해 제공되는 제2프레임 메모리(17)로부터의 이전 프레임 신호에서 검출되는 에지 데이터와 움직임 영역에 상응하여 형성되는 그리드에 의거하여 움직임 영역에서의 특징점들을 선택하여 움직임 추정/보상 블록(19)에 제공한다. 본 발명에 따라 에지 검출 기법과 그리드 기법이 함께 사용되는 이 기법에서는 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상이 에지로 이동시키면서 수행되며, 이때 주의해야 할 것은 각 그리드가 꼬이지 않게 하고, 또한 삼각형이 매우 작거나 한점으로 모이지 않게 하는 것이다. 이러한 특징점 선택 블록(18)의 상세한 설명은 제2도를 참조하여 후에 상세히 기술될 것이다.
따라서, 움직임 추정/보상 블록(19)에서는 상기한 특징점 선택 블록(18)으로 부터 제공되는 선택된 특징점 정보에 의거하여 선택된 각 특징점에 대한 특징점 움직임 벡터들의 세트를 검출한다. 여기에서, 검출되는 각각의 특징점 움직임 벡터 세트들은 라인 L14를 통해 제2프레임 메모리(17)에서 제공되는 이전 프레임의 특징점과 라인 L10을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임에서 가장 유사한 화소간의 변위이다. 또한, 움직임 추정/보상 블록(19)은 라인 L16 상에 각각의 특징점에 대한 움직임 벡터들의 세트를 발생하여 엔트로피 부호화 블록(13)에 제공한다.
또한, 움직임 추정/보상 블록(19)에서는 상기한 특징점 선택 블록(18)으로부터 제공되는 선택된 특징점과 이들을 이용해 검출되는 각각의 특징점 움직임 벡터들의 세트를 이용하여 예측하고자 하는 현재 프레임에 포함될 화소값을 라인 L14상의 재구성된 이전 프레임으로부터 인출하여, 화소 단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 감산기(11)와 가산기(16)에 각각 제공한다.
제1도를 참조하면, 감산기(11)에서는 라인 L11을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임 신호로부터 라인 L15를 통해 상술한 움직임 추정/보상 블록(19)으로부터 제공되는 예측된 현재 프레임 신호를 감산하며, 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호는 영상신호 부호화 블록(12)을 통해 이산코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들중의 어느 하나를 이용함으로서, 일련의 양자화된 변환계수들로 부호화된다. 이때, 영상신호 부호화 블록(12)에서의 에러신호에 대한 양자화는 출력측의 버퍼(14)로부터의 데이터 충만도(QP)에 의거하여 그 스텝 사이즈가 조절된다.
그런다음, 이와같이 양자화된 변환계수들은 엔트로피 부호화 블록(13)과 영상신호 복호화 블록(15)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블록(13)에 제공된 양자화된 변환계수들은, 예를 들면 가변길이 부호화 기법 등을 통해 부호화되어 출력측의 버퍼(14)에 제공되며, 이와같이 부호화된 영상신호는 수신측으로의 전송을 위해 전송기(도시생략)로 전달된다.
한편, 영상신호 부호화 블록(12)으로부터 영상신호 복호화 블록(15)에 제공되는 양자화된 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 재구성된 프레임 신호로 변환된 다음, 가산기(16)에 제공되며, 가산기(16)에서는 영상신호 복호화 블록(15)으로부터의 재구성된 프레임 신호와 전술한 움직임 추정/보상 블록(19)으로부터 제공되는 예측된 현재 프레임 신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제2프레임 메모리(17)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신된 이전 프레임 신호는 움직임 보상을 위해 전술한 특징점 선택 블록(18)과 움직임 추정/보상 블록(19)으로 제공된다.
제2도에는 제1도에 도시된 특징점 선택 블록(18)에 대한 상세한 블록구성도가 도시되어 있다. 동도면에 도시된 바와같이, 본 발명에 따른 특징점 선택 블록(18)은 블록 기반 움직임 추정기(181), 블록 기반 움직임 보상기(182), 정합 오차 산출기(183), 국부적 움직임 영역 선별기(184), 감산기(185), 비교기(186), 프레임 메모리(187), 움직임 영역 선별기(188), 그리드 형성기(189) 및 특징점 선택기(190)를 포함한다.
먼저, 본 발명의 실시예에서는 특징점 기반 움직임 보상을 위한 특징점 추출시에 영상의 전체적인 동일 움직임(전역 움직임)과 부분적인 산발 움직임(국부적 움직임)을 효과적으로 처리하기 위하여 두 레벨의 트리 구조를 갖는 그리드를 사용한다.
즉, 본 발명에 따르면, 영상의 전체적인 동일 움직임에서는 큰 그리드를 이용하여 특징점 기반 움직임 보상을 위한 특징점 추출을 수행하고, 영상의 부분적인 산발 움직임에서는 작은 그리드를 이용하여 특징점 기반 움직임 보상을 위한 특징점 추출을 수행하도록 한다. 이때, 각각의 그리드가 적용되는 영역을 구분할 필요가 있는데, 이것은 기존의 블록 매칭 움직임 보상을 통해 쉽게 구현 가능하다. 즉, 하나의 영상을 서로 겹치지 않는 여러개의 블록으로 분할한 다음 각 블록에 대하여 블록 매칭 방법을 사용하여 가장 작은 정합 오차를 발생시키는 위치와 그 정합 오차를 살펴본다. 이때, 블록 매칭에 따른 정합 오차가 큰 영역은 부분적인 산발 움직임을 갖는 영역으로 간주하고, 그 이외의 영역은 전체적인 동일 움직임을 갖는 영역으로 간주한다. 여기에서 탐색 블록의 크기는 일반적인 MC-DCT 부호화 방식과 동일한 16×16 정도가 바람직하지만 움직임 추정 및 보상에 별다른 영향을 미치지 않는 범주 이내라면 다른 크기를 갖는 블록이더라도 무방하다. 그리고, 여기에서의 블록간의 정합 오차는 비디오 신호 부호화 시스템의 출력측 버퍼(14)(제1도에 도시됨)의 데이터 충만 상태에 따라 가변성을 갖는다.
또한, 상술한 바와같이 움직임 보상을 위한 특징점 추출시에 본 발명에 따라 영상의 움직임 영역을 세분화하여 그 간격 크기가 다른 그리드를 적용하고자 하는 경우에 먼저 선행되어야만 할 점은 영상을 움직임이 있는 영역과 움직임이 없는 영역으로 구별하여야 한다는 것이다. 이것은 시간적으로 연속되는 두 영상간의 차에 의하여 기설정된 일정한 임계값 이상의 차값을 갖는 부분을 선별함으로서 간단하게 움직임이 있는 영역을 구분할 수가 있다.
여기에서의 영역 선정은 특징점 추출을 위해 그 크기가 다른 구조의 그리드를 각각 적용시키기 위해서이다. 이러한 특징점을 이용하여 움직임 보상을 수행하는 방법은 본 출원인에 의해 1995년 3월 20일에 대한민국 특허출원 제 95-5868 호로서 출원되어 현재 계류중인 비디오 신호 부호화 장치에 상세하게 개시되어 있다. 이 방법에서는 각각 그리드 또는 육각 그리드와 같은 여러 가지 형태의 그리드를 이용하는 그리드 기법에 의해 특징점을 결정하거나 또는 에지 검출과 그리드 기법을 함께 사용하여 특징점을 결정한다. 이때, 전자의 경우에는 그리드의 노드에 특징점이 위치하게 되고, 후자의 경우에는 그리드와 에지와의 교차점이 특징점으로 선택된다.
실질적으로, 기존 방식에서의 움직임 보상에 주로 이용되어 왔던 단일 구조의 그리드를 이용한 특징점 추출은 영역 선정이 별도로 필요치 않고 움직임이 존재하는 영역에 대해서만 적용된다. 그러나, 본 발명은 단일 구조의 그리드 적용이 아닌 다중 구조의 그리드를 이용하여 움직임 보상을 위한 특징점 추출을 수행한다. 본 실시예에서는 설명의 편의와 이해의 증진을 위해 특징점의 구조를 두 레벨(전역 움직임(global motion), 국부적 움직임(local motion))인 경우라 가정하여 설명하겠으나, 본 발명이 반드시 이에 국한되지는 않는 것으로 이해되어야 할 것이며, 이 기술분야에서 통상의 지식을 가진 사람이라면 특징점의 구성 조건에 따라 두 개의 레벨이 아닌 다른 복수개의 레벨로도 구성할 수 있음을 쉽게 알 수 있을 것이다.
제2도를 참조하면, 블록 기반 움직임 추정기(181)에서는 움직임 추정을 위해 블록 매칭 알고리즘이 사용된다. 따라서, 블록기반 움직임 추정기(181)에서는 m×n 블록의 이전 프레임 데이터를 제1도에 도시된 제2프레임 메모리(17)로부터 라인 L14를 통해 검색한 다음, 제1도에 도시된 제1프레임 메모리(10)로부터 탐색영역, 즉 상기한 이전 프레임의 m×n (예를들면, 5×5등)블럭 보다 적어도 큰 M×N(예를들면, 10×10 등) 블록의 현재 프레임 데이터에 포함된 동일한 크기의 다수개의 후보 블록중 가장 유사한 후보 블록을 결정함으로서 라인 L20을 통해 현재 프레임에 대한 움직임 벡터들의 세트들을 발생한다. 여기에서, 움직임 벡터들의 각 세트들은 이전 프레임과 현재 프레임간의 가장 유사한 블록간의 변위이다.
또한, 블록 기반 움직임 보상기(182)에서는 상기한 블록 기반 움직임 추정기(181)로부터 제공되는 움직임 벡터들의 세트들을 이용하여 예측하고자 하는 현재 프레임에 포함될 각각의 블록들을 라인 L14를 통해 제1도의 제2프레임 메모리(17)로부터 인출함으로써 예측 블록들로 된 재구성된 프레임 신호를 생성한다.
한편, 정합 오차 산출기(183)에서는 라인 L14를 통해 제1도의 제2프레임 메모리(17)로부터 제공되는 이전 프레임 신호의 각 이전 블록들과 블록 기반 움직임 보상기(182)로부터 제공되는 재구성된 프레임내 대응하는 예측 블록들간의 정합 오차값을 각각 산출하고, 이 산출된 각 정합 오차값을 국부적 움직임 영역 선별기(184)로 제공한다.
다음에, 국부적 움직임 영역 선별기(184)에서는 상기한 정합 오차 산출기(183)로부터 제공되는 대응 블록간의 정합 오차값과 기설정된 임계값(TH1), 즉 도시 생략된 시스템 제어기(예를들면, 마이크로 프로세서)로부터 제공되는 기설정된 임계값(TH1)(예를들어, 제1도의 버퍼(14)의 데이터 충만도에 따라 가변적이나 일반적인 디폴트값은 평균 절대치 정합 오차 = 6 정도임)을 비교하며, 그 비교 결과에 의거하여 해당 블록이 국부적 움직임 영역인지의 여부를 판단한다.
즉, 국부적 움직임 영역 선별기(184)에서는 블록 매칭에 의한 정합 오차에 따라 움직임 영역으로 분류된 해당 블록에서의 정합 오차값(즉, 이전 프레임내 블록과 재구성된 프레임내 대응하는 예측 블록간의 정합 오차값)이 기설정된 임계값(TH1) 이상일 때 해당 블록을 국부적 움직임 영역으로 분류하여 그에 상응하는 구별 정보(즉, 국부적 움직임 영역 정보)를 그리드 형성기(189)로 제공한다. 다시말해, 대응 블록간의 정합 오차값이 기설정된 임계값(TH1)보다 큰 부분은 국부적 움직임 영역으로 간주되어 그에 상응하는 구별 정보가 다음단의 그리드 형성기(189)에 제공된다.
이때, 상술한 바와같은 과정을 통해 얻어지는 국부적 움직임 영역은 실질적으로 후술하는 과정을 통해 얻어지는 전역 움직임 영역에 포함되는 움직임 영역중의 일부이다.
다른한편, 감산기(185)에서는 현재 처리되는 해당 영상에서 움직임을 갖는 영역과 움직임을 갖지 않는 영역을 구분하기 위하여 라인 L10을 통해 제1도의 제1프레임 메모리(10)로부터 제공되는 현재 프레임과 라인 L14를 통해 제1도의 제2프레임 메모리(17)로부터 제공되는 이전 프레임을 감산하여 그 결과 데이터, 즉 에러신호를 발생하여 다음단의 비교기(186)에 제공한다.
다음에, 비교기(186)에서는 감산기(185)로부터의 에러신호와 기설정된 임계값(TH2)을 블록 단위로 서로 비교한 다음 에러신호가 기설정된 임계값 이상인 블록들을 검출하여 프레임 메모리(187)에 제공하며, 프레임 메모리(187)에서는 통상적인 시스템 제어기, 예를들면 마이크로 프로세서(도시생략)로부터 제공되는 어드레스 신호에 의거하여 저장된 영상 데이터를 프레임 단위로 움직임 영역 선별기(188)에 제공한다. 여기에서 재구성된 프레임 신호와 이전 프레임 신호간이 에러신호와 기설정된 임계값을 비교하는 것은 영상에서 움직임을 갖는 영역과 움직임을 갖지 않는 영역의 판별을 위해서이다.
따라서, 움직임 영역 선별기(188)에서는 시스템 제어기(도시생략)로부터의 판독 제어신호에 따라 상기한 프레임 메모리(187)로부터 제공되는 현재 프레임 신호와 이전 프레임 신호와의 차신호 레벨에 의거하여 영상의 전반적인 움직임 영역을 선별하며(일예로서, 제3도에 도시된 바와같은 영상의 경우, 점선으로 된 사각형내의 빗금친 부분에 해당), 여기에서 선별된 전역 움직임을 갖는 영역 정보는 도시 생략된 시스템 제어기와 그리드 형성기(189)에 각각 제공된다. 즉, 현재 프레임의 블록들과 이전 프레임의 대응하는 블록들간의 차신호가 기설정된 임계값(TH2) 이하이면 움직임이 없는 영역으로 간주되고, 서로 대응하는 블록들간의 차신호가 기설정된 임계값(TH2) 이상이면 움직임을 갖는 영역으로 간주된다. 따라서, 본 발명에 따르면 이와같이 얻어진 움직임을 갖는, 일예로서 제3도에 도시된 사각형에 대한 영역 정보(시작점, 크기 정보(X, Y))만이 실질적으로 수신측에 전송된다. 그러므로, 수신측의 수신기에서는 송신측에서 전송되어 온 해당 영상에서 사각형내에서만 그리드를 형성하여 특징점을 이용한 영상 복원을 수행하고 그 이외의 영역에 대해서는 움직임을 고려하지 않고 이전 영상의 데이터를 그대로 복사하여 사용할 수가 있다.
한편, 그리드 형성기(189)에서는 상술한 국부적 움직임 영역 선별기(184)로부터 제공되는 국부적 움직임 영역 정보와 상기한 움직임 영역 선별기(188)로부터 제공되는 전역 움직임을 갖는 영역 정보에 의거하여 영상의 움직임 영역에 대한 적응적인 그리드를 형성한다. 본 실시예에서는, 일예로서, 제4도에 도시된 바와같이 육각 그리드를 형성한다. 즉, 그리드 형성기(189)에서는 해당 블록이 영상의 전역 움직임 영역인 것으로 판단되면 제4a도에 도시된 바와같은 그리드를 구성하고, 해당 블록이 영상의 국부적 움직임 영역인 것으로 판단되면 제4b도에 도시된 바와같은 촘촘한 그리드를 구성한다. 따라서, 일예로서 제5도로부터 알 수 있는 바와같이, 국부적인 산발 움직임을 갖는 영역(동도면에서 빗금친 부분)에서는 그리드 간격이 좁게 구성되고, 그 이외의 영역(전역 움직임을 갖는 영역)에서는 간격이 큰 그리드가 구성된다.
즉, 본 발명에 따르면, 블록 매칭 움직임 보상된 블록들간의 정합 오차값에 근거하여 영상의 움직임 영역을 전역 움직임 영역과 국부적 움직임 영역으로 세분한 다음 특징점 선택을 위한 그리드의 간격의 크기를 적응적으로 조절함으로서, 데이터 발생을 억제하면서도 움직임 추정, 보상의 정확도를 향상시킬 수가 있다.
그 결과, 특징점 선택기(190)에서는 도시 생략된 에지 검출기로부터 제공되는 제1도의 제2프레임 메모리(17)로부터의 재구성된 이전 프레임의 에지 데이터와 상기한 그리드 형성기(189)로부터의 그리드에 의거하여 움직임 영역에서의 특징점을 선택하여 제1도의 움직임 추정/보상 블록(19)으로 제공한다. 여기에서, 에지 검출 기법과 그리드 기법이 함께 사용되는 이 기법에서는 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행되며, 이때 각 그리드가 꼬이지 않게 하고, 또한 삼각형이 매우 작거나 한점으로 모이지 않게 주의할 필요가 있다.
따라서, 움직임 추정/보상 블록(19)에서는 상기한 특징점 선택 블록내의 특징점 선택기(190)로부터 제공되는 선택된 특징점 정보에 의거하여 선택된 각 특징점에 대한 특징점 움직임벡터들의 세트를 검출한다. 여기에서, 검출되는 각각의 특징점 움직임벡터 세트들은 라인 L14를 통해 제2프레임 메모리(17)에서 제공되는 이전 프레임의 특징점과 라인 L10을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임에서 가장 유사한 화소간의 변위를 나타낸다. 또한, 움직임 추정/보상 블록(19)은 라인 L16 상에 각각의 특징점에 대한 움직임 벡터들의 세트를 발생하여 엔트로피 부호화 블록(13)에 제공한다.
그런다음, 움직임 추정/보상 블록(19)에서는 상기한 특징점 선택기(190)로부터 제공되는 선택된 특징점과 각각의 특징점 움직임 벡터들의 세트를 이용하여 예측하고자 하는 현재 프레임에 포함될 화소값을 라인 L14 상의 재구성된 이전 프레임으로부터 인출하여, 화소 단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 감산기(12)와 가산기(17)에 각각 제공한다.
이상과 같이 본 발명에 따르면, 영상의 움직임 영역에서 그 움직임의 전역 또는 국부적인 형태에 따라 그 간격의 크기가 서로 다른 그리드 점을 가변적으로 적용함으로서 움직임 보상에 근거하는 신뢰할 수 있는 특징점을 이용한 움직임벡터들을 얻을 수가 있어, 결과적으로 영상의 부호화 효율을 향상 시킬 수 있다. 또한, 본 발명은 특징점에 기초하는 화소 단위의 움직임 보상 기법을 채용함으로서 움직임 벡터만으로도 주밍, 회전 및 스케일링을 할 수가 있기 때문에 기존의 블록 단위 움직임 보상에 비해 보다 양질의 화상을 제공할 수 있다.

Claims (4)

  1. 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 특징점에 대한 움직임 벡터를 검출하는데 사용되는 그리드를 형성하는 방법에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 블록 매칭 알고리즘을 통한 움직임 벡터들의 세트에 의거하는 블록 기반 움직임 보상을 수행하여 예측 프레임 신호를 생성하고, 상기 재구성된 이전 프레임의 블록과 상기 생성된 예측 프레임내 대응 블록들간의 블록 매칭에 따른 정합 오차값을 산출하는 단계; 상기 산출된 대응 블록간의 정합 오차값과 기설정된 소정의 임계값을 비교하고, 그 비교 결과에 따라 해당 블록이 영상의 국부적인 산발 움직임 영역인지의 여부를 검출하여 그에 상응하는 국부적 움직임 영역 정보를 발생하는 단계; 상기 현재 프레임과 상기 재구성된 이전 프레임과의 감산에 따른 에러신호와 기설정된 다른 임계값에 의거하여 상기 영상의 전역 움직임 영역 정보를 산출하는 단계; 상기 블록 매칭에 따른 정합 오차값에 의거하는 상기 영상의 국부적 움직임 영역 정보와 상기 산출된 전역 움직임 영역 정보에 의거하여, 상기 이전 프레임에 적용되는 다른 크기 간격을 갖는 그리드들을 각각 형성하는 단계; 및 상기 크기 간격이 다른 가변적인 그리드와 상기 재구성는 이전 프레임에서 검출된 에지 데이터에 의거하여, 상기 영상의 전역 움직임 영역 및 국부적 움직임 영역에 대한 특징점들을 각각 선택하는 단계로 이루어진 특징점을 이용한 움직임 보상에서의 그리드 형성 방법.
  2. 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간이 특징점에 대한 움직임 벡터를 검출하는데 사용되는 그리드를 형성하는 장치에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 블록매칭 알고리즘을 통한 움직임 벡터들의 세트에 의거하는 블록 기반 움직임 보상을 수행하여 예측 프레임 신호를 생성하는 수단(181, 182); 상기 재구성된 이전 프레임의 블럭과 상기 생성된 예측 프레임내 대응 블럭간의 블록 매칭에 따른 정합 오차값을 산출하는 수단(183); 상기 산출된 대응 블록간의 정합오차값과 기설정된 소정의 임계값을 비교하고, 그 비교 결과에 따라 해당 블록이 영상의 국부적인 산발 움직임 영역인지의 여부를 검출하여 그에 상응하는 국부적 움직임 영역 정보를 발생하는 수단(184); 상기 현재 프레임과 상기 재구성된 이전 프레임과의 감산을 통해 에러신호를 산출하고, 이 산출된 에러신호와 기설정된 소정의 다른 임계값이 비교를 통해 상기 영상의 전역 움직임 영역을 검출하는 수단(185, 186); 상기 검출된 영상의 전역 움직임 영역에 대한 영상 데이터를 프레임 단위로 저장하기 위한 메모리 수단(187); 상기 메모리 수단으로부터 제공되는 영상 데이터에 따라 상기 영상의 전역 움직임 영역 정보를 프레임 단위로 선별하는 수단(188); 상기 발생된 국부적 움직임 영역 정보와 상기 선별된 전역 움직임 영역 정보에 의거하여 상기 이전 프레임에 적용되는 다른 크기 간격을 갖는 그리드들을 각각 형성하는 수단(189); 및 상기 형성된 크기 간격이 다른 가변적인 그리드와 상기 재구성된 이전 프레임에서 검출된 에지 데이터에 의거하여 상기 이전 프레임의 전역 움직임 영역 및 국부적 움직임 영역에 대한 특징점들을 선택하기 위한 특징점 선택 수단(190)으로 이루어진 특징점을 이용한 움직임 보상에서의 그리드 형성 장치.
  3. 제2항에 있어서, 상기 특징점 선택을 위한 그리드는 육각 그리드이며, 상기 국부적 움직임 영역에 적용되는 그리드를 이루는 삼각형의 크기는 적어도 상기 전역 움직임 영역에 적용되는 그리드의 그것보다 작은 것을 특징으로 하는 특징점을 이용한 움직임 보상에서의 그리드 형성 장치.
  4. 제2항에 있어서, 상기 전역 움직임 영역 정보는 움직임 영역의 시작점과 그 위치 정보인 것을 특징으로 하는 특징점을 이용한 움직임 보상에서의 그리드 형성 장치.
KR1019950010586A 1995-04-29 1995-04-29 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 Expired - Lifetime KR0181063B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019950010586A KR0181063B1 (ko) 1995-04-29 1995-04-29 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
US08/498,554 US5546129A (en) 1995-04-29 1995-07-05 Method for encoding a video signal using feature point based motion estimation
CN95108904A CN1117482C (zh) 1995-04-29 1995-07-14 利用基于特征点的运动估算编码视频信号的方法
JP20286495A JP4180666B2 (ja) 1995-04-29 1995-07-17 ビデオ信号符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950010586A KR0181063B1 (ko) 1995-04-29 1995-04-29 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치

Publications (2)

Publication Number Publication Date
KR960040014A KR960040014A (ko) 1996-11-25
KR0181063B1 true KR0181063B1 (ko) 1999-05-01

Family

ID=19413478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950010586A Expired - Lifetime KR0181063B1 (ko) 1995-04-29 1995-04-29 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치

Country Status (4)

Country Link
US (1) US5546129A (ko)
JP (1) JP4180666B2 (ko)
KR (1) KR0181063B1 (ko)
CN (1) CN1117482C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120011428A (ko) * 2010-07-29 2012-02-08 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
KR100235344B1 (ko) * 1994-12-29 1999-12-15 전주범 영역 분할 부호화 방식의 전경/배경 화상 선택 장치
KR0170932B1 (ko) * 1994-12-29 1999-03-20 배순훈 영상의 시각적, 기하학적 특성에 따른 고속 움직임 추정장치
KR0181029B1 (ko) * 1995-03-15 1999-05-01 배순훈 에지를 이용한 특징점 선정장치
KR0181031B1 (ko) * 1995-03-20 1999-05-01 배순훈 움직임 보상된 인터폴레이션에서의 엣지 보상 장치
KR0171154B1 (ko) * 1995-04-29 1999-03-20 배순훈 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
KR0171120B1 (ko) * 1995-04-29 1999-03-20 배순훈 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치
JP2798120B2 (ja) * 1995-08-04 1998-09-17 日本電気株式会社 動き補償フレーム間予測方法及び動き補償フレーム間予測装置
KR0178230B1 (ko) * 1995-08-08 1999-05-01 배순훈 특징점에 의한 움직임 추정을 이용한 영상 처리 장치
KR0178229B1 (ko) * 1995-08-08 1999-05-01 배순훈 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
US5691769A (en) * 1995-09-07 1997-11-25 Daewoo Electronics Co, Ltd. Apparatus for encoding a contour of an object
CN1062701C (zh) * 1995-09-12 2001-02-28 大宇电子株式会社 用于编码目标轮廓的装置
KR100207390B1 (ko) * 1995-09-15 1999-07-15 전주범 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법
US5959673A (en) * 1995-10-05 1999-09-28 Microsoft Corporation Transform coding of dense motion vector fields for frame and object based video coding applications
KR100209793B1 (ko) * 1995-10-28 1999-07-15 전주범 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
WO1997016921A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for generating a reference image from an image sequence
US6037976A (en) * 1995-10-31 2000-03-14 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence, such as fog, haze or shadows
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
US6181747B1 (en) * 1996-02-01 2001-01-30 Hughes Electronics Corporation Methods and systems for high compression rate encoding and decoding of quasi-stable objects in video and film
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US5982438A (en) * 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
KR100235356B1 (ko) * 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법
US6400831B2 (en) 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
JP3937599B2 (ja) * 1998-07-23 2007-06-27 ソニー株式会社 画像復号装置及び画像復号方法
JP4051772B2 (ja) * 1998-07-23 2008-02-27 ソニー株式会社 画像復号装置及び画像復号方法
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
CN101035277A (zh) * 2000-03-13 2007-09-12 索尼公司 产生压缩的代码转换提示元数据的方法和设备
JP4610195B2 (ja) * 2001-12-17 2011-01-12 マイクロソフト コーポレーション スキップマクロブロックコード化
JPWO2004068414A1 (ja) * 2003-01-27 2006-05-25 富士通株式会社 注目物体の出現位置表示装置
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7499495B2 (en) 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
KR100574523B1 (ko) * 2003-07-31 2006-04-27 삼성전자주식회사 움직임 타입 판단 장치 및 방법
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
GB2431790B (en) * 2005-10-27 2010-11-10 Sony Uk Ltd Data processing apparatus and method
US8681870B2 (en) * 2008-02-14 2014-03-25 Nec Corporation Motion vector detection device
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US20100014715A1 (en) * 2008-07-17 2010-01-21 Siou-Shen Lin Image processing apparatus having texture information consideration and method thereof
US20120162449A1 (en) * 2010-12-23 2012-06-28 Matthias Braun Digital image stabilization device and method
US9473780B2 (en) 2012-07-13 2016-10-18 Apple Inc. Video transmission using content-based frame search
CN106141421B (zh) * 2016-08-10 2017-05-17 陕西理工大学 一种大吨位双头摩擦焊机及其焊接方法
CN113055686B (zh) * 2019-06-24 2022-11-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN116760990A (zh) * 2023-05-30 2023-09-15 联想(北京)有限公司 视频编码方法及服务器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136659A (en) * 1987-06-30 1992-08-04 Kokusai Denshin Denwa Kabushiki Kaisha Intelligent coding system for picture signal
JP2826321B2 (ja) * 1988-07-23 1998-11-18 日本電気株式会社 直交変換符号化装置
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
SE465394B (sv) * 1990-08-15 1991-09-02 Televerket Metod foer roerelsekompensering och elastisk deformation i bildsekvenser
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5351083A (en) * 1991-10-17 1994-09-27 Sony Corporation Picture encoding and/or decoding system
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
FI97008C (fi) * 1993-06-02 1996-09-25 Nokia Oy Ab Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella
US5398068A (en) * 1993-09-02 1995-03-14 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120011428A (ko) * 2010-07-29 2012-02-08 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012015275A3 (ko) * 2010-07-29 2012-05-03 에스케이텔레콤 주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
CN1117482C (zh) 2003-08-06
JP4180666B2 (ja) 2008-11-12
US5546129A (en) 1996-08-13
CN1135147A (zh) 1996-11-06
KR960040014A (ko) 1996-11-25
JPH08307872A (ja) 1996-11-22

Similar Documents

Publication Publication Date Title
KR0181063B1 (ko) 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
KR0171154B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
KR0171118B1 (ko) 비디오신호 부호화 장치
KR0171120B1 (ko) 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치
KR0171146B1 (ko) 특징점을 이용한 움직임 벡터 검출 장치
US5760846A (en) Apparatus for estimating motion vectors for feature points of a video signal
US5689306A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
KR0181034B1 (ko) 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
KR0181069B1 (ko) 움직임 추정장치
US5673339A (en) Method for encoding a video signal using feature point based motion estimation
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
KR0174454B1 (ko) 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치
KR0181031B1 (ko) 움직임 보상된 인터폴레이션에서의 엣지 보상 장치
JP3938972B2 (ja) 現フレーム予測装置
US5627591A (en) Image processing system using a pixel-by-pixel motion estimation based on feature points
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
KR100229803B1 (ko) 움직임 벡터 검출 방법 및 장치
EP0731612B1 (en) Apparatus for encoding a video signal using search grids for motion estimation and compensation
US5625417A (en) Image processing system using a feature point-based motion estimation
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR0181068B1 (ko) 움직임 추정장치
JPH07123411A (ja) 動きベクトル検出および伝送方法
KR0174956B1 (ko) 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
EP0720381A1 (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19950429

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19950429

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 19980727

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19981030

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19981204

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19981204

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20011128

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20021203

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20031126

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20041126

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20051125

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20061004

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20071203

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20081201

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20091201

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20101201

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20111201

Start annual number: 14

End annual number: 14

FPAY Annual fee payment

Payment date: 20121123

Year of fee payment: 15

PR1001 Payment of annual fee

Payment date: 20121123

Start annual number: 15

End annual number: 15

FPAY Annual fee payment

Payment date: 20131119

Year of fee payment: 16

PR1001 Payment of annual fee

Payment date: 20131119

Start annual number: 16

End annual number: 16

EXPY Expiration of term
PC1801 Expiration of term

Termination date: 20151029

Termination category: Expiration of duration