[go: up one dir, main page]

JP2008312161A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2008312161A
JP2008312161A JP2007160589A JP2007160589A JP2008312161A JP 2008312161 A JP2008312161 A JP 2008312161A JP 2007160589 A JP2007160589 A JP 2007160589A JP 2007160589 A JP2007160589 A JP 2007160589A JP 2008312161 A JP2008312161 A JP 2008312161A
Authority
JP
Japan
Prior art keywords
image data
image
motion
frame
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007160589A
Other languages
English (en)
Other versions
JP4826546B2 (ja
Inventor
Hisaji Nakagami
央二 中神
Junichi Tanaka
潤一 田中
Yoichi Yagasaki
陽一 矢ケ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40156168&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2008312161(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007160589A priority Critical patent/JP4826546B2/ja
Priority to RU2009147043/07A priority patent/RU2446617C2/ru
Priority to KR1020097023524A priority patent/KR101049922B1/ko
Priority to PCT/JP2008/060581 priority patent/WO2008156010A1/ja
Priority to CN2008800208074A priority patent/CN101682717B/zh
Priority to BRPI0813470 priority patent/BRPI0813470A2/pt
Priority to EP20080765370 priority patent/EP2161929B1/en
Priority to RU2011141983/08A priority patent/RU2504104C2/ru
Priority to US12/664,208 priority patent/US8885716B2/en
Publication of JP2008312161A publication Critical patent/JP2008312161A/ja
Publication of JP4826546B2 publication Critical patent/JP4826546B2/ja
Application granted granted Critical
Priority to US14/471,108 priority patent/US10587892B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

【課題】所望タイミングでの静止画データが、高精細な状態として、且つ容易に生成され得る画像処理装置、画像処理方法、及びプログラムを提供すること。
【解決手段】複数の連続したフレームが含まれる動画データと、前記フレームに対応し、かつ、当該フレームよりも高い空間解像度を有する一又は複数の画像データとを取得する取得部と、前記動画データを用いて前記フレーム間の動きベクトルを検出する動き予測部と、所定の前記フレームと前記画像データに対応する前記フレームとの間の差分量を算出する差分量算出部と、前記画像データに対応する前記フレームと前記動きベクトルとに基づいて、前記所定のフレームに対応する動き補償された画像データを生成することが可能な画像生成部とを備える画像処理装置が提供される。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
最近、デジタル映像データ（以下、映像データ）の配信に関する技術が大きく発展してきている。とりわけ、高画質な映像データの配信や記録に関する技術の発展には目を見張るものがある。その中でも、映像データの符号化及び復号に関する技術に注目が集まっている。高い空間解像度及び時間解像度を有する映像データは、そのデータサイズが非常に大きいため、その映像データを符号化した上で効率良く圧縮して配信又は記録される必要がある。そのため、高画質の映像データをより高い圧縮率で圧縮できるようにする符号化技術や、より高い空間解像度で再生できるように復号技術が求められている。
例えば、下記の特許文献１及び２には、空間解像度は低いが時間解像度の高い第１の映像データ（例えば、動画データ等）と、空間解像度は高いが時間解像度が低い第２の映像データ（例えば、静止画データの系列等）とを組み合わせて、高い空間解像度及び時間解像度を有する映像データを生成するための基礎となる技術が開示されている。この技術は、第１の映像データからフレーム間の動きベクトルを予測し、その動きベクトルと第２の映像データとを用いて、第１の映像データの高周波成分を補償するというものである。当該技術は、第２の映像データにフレームが含まれない任意時点のフレームを第１の映像データから検出された動きベクトルと、その任意時点に近い時点における第２の映像データのフレームとを用いて生成するというものである。また、下記の特許文献１及び２には、前記の技術を用いて高い空間解像度及び時間解像度を有する映像データを生成するための画像データ記録再生装置に関する記載がある。
特開２００４−３１２２７６号公報 特開２００４−３１２２７７号公報
しかしながら、前記の画像データ記録再生装置は、動き予測と動き補償とをそれぞれ異なる空間解像度の映像データを用いて行っているため、前記の動き予測が外れると、動き補償により得られる映像データの高周波成分にノイズが付加されてしまう。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、低い空間解像度の画像データ系列で動き予測し、かつ、高い空間解像度の画像データを用いて動き補償して高い空間解像度の画像データを生成しようとした場合に、その画像データの高周波成分にノイズが付加されることを予防することが可能な、新規かつ改良された画像処理装置、画像処理方法、及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、複数の連続したフレームが含まれる動画データと、前記フレームに対応し、かつ、当該フレームよりも高い空間解像度を有する一又は複数の画像データとを取得する取得部と、前記動画データを用いて前記フレーム間の動きベクトルを検出する動き予測部と、任意の前記フレームと前記画像データに対応する前記フレームとの間の差分量を算出する差分量算出部と、前記画像データに対応する前記フレームと前記動きベクトルとに基づいて、前記任意のフレームに対応する動き補償された画像データを生成することが可能な画像生成部と、を備えることを特徴とする、画像処理装置が提供される。
特に、前記画像生成部は、前記差分量が所定値より小さい場合に前記画像データと同じ空間解像度を有する前記動き補償された画像データを生成し、前記差分量が所定値より大きい場合に前記任意のフレームを前記画像データと同じ空間解像度に拡大した画像データを生成することを特徴とする。
また、前記の画像処理装置は、前記動画データと前記一又は複数の画像データとを記録する記憶部をさらに備えていてもよい。そして、前記取得部は、前記記憶部に記録された前記動画データと前記一又は複数の画像データとを取得する機能を有していてもよい。
また、前記記憶部には、前記動画データとして、低い空間解像度及び高い時間解像度を有する第１の画像データ系列が記録され、前記一又は複数の画像データとして、前記第１の画像データ系列に含まれる前記フレームに対応するように、前記第１の画像データ系列よりも高い空間解像度及び低い時間解像度を有する第２の画像データ系列が記録されていてもよい。
また、前記画像生成部は、前記第１の画像データ系列に含まれ、かつ、前記第２の画像データ系列に含まれないフレームを前記任意のフレームとし、当該任意のフレームに対応する前記画像データを生成して前記第２の画像データ系列の時間解像度を向上させる機能を有していてもよい。
また、前記記憶部には、前記動画データとして、撮像された画像信号をダウンサンプリング処理して得られた画像データ系列が記録されていてもよい。
また、前記画像生成部は、前記差分量が所定値より大きい場合、前記動き補償に際し、前記動きベクトルの参照元である前記任意のフレームと前記動きベクトルの参照先である前記画像データとが合成される比率を前記差分量に応じて変更する機能を有していてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、複数の連続したフレームが含まれる動画データと、前記フレームに対応し、かつ、当該フレームよりも高い空間解像度を有する一又は複数の画像データとを取得する取得ステップと、前記動画データを用いて前記フレーム間の動きベクトルを検出する動き検出ステップと、所定の前記フレームと前記画像データに対応する前記フレームとの間の差分量を算出する差分量算出ステップと、前記画像データに対応する前記フレームと前記動きベクトルとに基づいて、前記所定のフレームに対応する動き補償された画像データを生成することが可能な画像生成ステップと、を含む画像処理方法が提供される。
そして、前記画像生成ステップでは、前記差分量が所定値より小さい場合に前記画像データと同じ空間解像度を有する前記動き補償された画像データが生成され、前記差分量が所定値より大きい場合に前記所定のフレームを前記画像データと同じ空間解像度に拡大した画像データが生成される。
また、上記課題を解決するために、本発明の別の観点によれば、上記の画像処理装置が有する機能をコンピュータに実現させるためのプログラムが提供される。また、そのプログラムが記録された記録媒体が提供される。
以上説明したように本発明によれば、低い空間解像度の画像データ系列で動き予測し、かつ、高い空間解像度の画像データを用いて動き補償して高い空間解像度の画像データを生成しようとした場合に、その画像データの高周波成分にノイズが付加されることを予防することが可能になる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。但し、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
（高解像度画像の生成方法）
まず、本発明の実施形態に係る画像処理装置、及び画像処理方法について説明するに先立ち、図１を参照しながら、低い空間解像度で連続する映像が記録された画像データ系列（以下、動画データ）と、その動画データに含まれる適当なフレーム（以下、低解像度記録画像（ＬＲＰ；Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ Ｐｉｃｔｕｒｅ））に対応して離散的に記録された高空間解像度の画像データ（以下、静止画データ、又は高解像度記録画像（ＨＲＰ；Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｐｉｃｔｕｒｅ））とを用いて、前記動画データに含まれる任意のフレームに対応する高空間解像度の画像データ（以下、生成画像（ＣＰ；Ｃｒｅａｔｅｄ Ｐｉｃｔｕｒｅ）、又は高解像度生成画像）を生成するアイデアについて簡単に説明する。図１は、高解像度画像の生成方法の一例を示す説明図である。
図１には、高解像度記録画像ＨＲＰ（ｔ）と、低解像度記録画像ＬＲＰ（ｔ）、ＬＲＰ（ｔ＋ｈ）と、拡大スケーリング画像（ＭＰ；Ｍａｇｎｉｆｉｅｄ Ｐｉｃｔｕｒｅ）ＭＰ（ｔ）、ＭＰ（ｔ＋ｈ）、生成画像ＣＰ（ｔ＋ｈ）とが描画されている。以下、カッコ内の文字は、撮影時刻を表すものとする。例えば、生成画像ＣＰ（ｔ＋ｈ）は、時刻ｔ＋ｈに撮影された低解像度記録画像ＬＲＰ（ｔ＋ｈ）に対応する生成画像を表す。
生成画像ＣＰは、低解像度記録画像ＬＲＰを用いて検出された動きベクトルと高解像度記録画像ＨＲＰとを用いて動き補償することによって生成された画像データである。例えば、図１に示すように、低解像度記録画像ＬＲＰ（ｔ）を拡大スケーリングして生成された拡大スケーリング画像ＭＰ（ｔ）と、低解像度記録画像ＬＲＰ（ｔ＋ｈ）を拡大スケーリングして生成された拡大スケーリング画像ＭＰ（ｔ＋ｈ）とを用いて、時刻ｔと時刻ｔ＋ｈとの間の動きベクトル（ＭＶ；Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）が検出される（Ｓ１）。次いで、動きベクトルＭＶに基づき、低解像度記録画像ＬＲＰ（ｔ）の参照ブロック（ＢＬＫ）に対応する高解像度記録画像ＨＲＰ（ｔ）の参照ブロックが抽出される。次いで、その参照ブロックの画素と拡大スケーリング画像ＭＰ（ｔ＋ｈ）の画素とが所定の比率で合成されて、生成画像ＣＰ（ｔ＋ｈ）が生成される（Ｓ２）。
上記の例では、動き予測と動き補償とが実質的に異なる画像を用いて実行される。低解像度記録画像ＬＲＰを拡大スケーリングして生成された拡大スケーリング画像ＭＰは、高解像度記録画像ＨＲＰと同じ空間解像度に拡大してはいるものの、高解像度記録画像ＨＲＰに比べて高周波成分が欠落している。そのため、拡大スケーリング画像ＭＰを用いて検出された動きベクトルと高解像度記録画像ＨＲＰが本来有すべき動きベクトルとにズレが生じる可能性がある。動き予測の精度が低い場合、高解像度記録画像ＨＲＰの中の参照ブロックの位置がズレてしまうため、動き補償して生成された生成画像ＣＰの高周波成分にノイズが付加されてしまう。そこで、互いに異なる空間解像度を有する複数の画像データに基づいて動き補償を実行する場合に、動き補償に起因してノイズが付加されることを抑制する技術が求められている。
以下で説明するように、本発明の一実施形態に係る画像処理装置は、互いに異なる空間解像度を有する複数の画像データに基づいて動き補償を実行する場合に、動きベクトルに基づいて高解像度記録画像ＨＲＰの参照ブロックと、動き補償に際して合成される拡大スケーリング画像ＭＰの参照ブロックとを比較し、その比較結果に応じて適応的に動き補償に係る処理を切り替える機能を有する。その機能により、動き補償に起因してノイズが付加されることを予め防止することが可能になるという効果を奏する。
＜本発明の一実施形態＞
以下、本発明の一実施形態に係る画像処理装置１００について詳細に説明する。
［画像処理装置１００の装置構成］
まず、図２を参照しながら、本実施形態に係る画像処理装置１００の装置構成について説明する。図２は、本実施形態に係る画像処理装置１００の装置構成の一例を示す説明図である。
図２に示すように、画像処理装置１００は、主に、撮像レンズ１０２と、撮像素子１０４と、カメラ信号処理ブロック１１０と、動画像記録再生ブロック１２０と、動画像記録再生ブロック１２０と、画像生成ブロック１４０と、画像生成タイミングコントローラ１０６と、表示回路１０８とを有する。
撮像レンズ１０２は、光を集光させて被写体の像（以下、集光画像）を形成するための光学レンズである。撮像素子１０４は、撮像レンズ１０２が集光した光を電気信号に変換する光電素子である。撮像素子１０４には、例えば、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の半導体素子が用いられる。また、撮像素子１０４は、動画データが持つ空間解像度の有効画素数よりも多い画素を有している。表示回路１０８は、画像データを記録又は再生する際、或いは、その画像データを確認する際に、図示しない表示装置に対して前記の画像データを表示させる。画像生成タイミングコントローラ１０６は、動画データを再生している途中でオペレータが静止画データを取得するように指示する装置である。
（カメラ信号処理ブロック１１０）
カメラ信号処理ブロック１１０は、図２に示すように、Ａ／Ｄ変換器１１２と、デジタル信号処理回路１１４とを含む。
Ａ／Ｄ変換器１１２は、入力されたアナログ信号をデジタル信号に変換して出力するアナログ・デジタル変換器（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）である。Ａ／Ｄ変換器１１２は、撮像素子１０４から入力された集光画像のアナログ信号をデジタル信号に変換してデジタル信号処理回路１１４に出力する。デジタル信号処理回路１１４は、Ａ／Ｄ変換器１１２から入力された集光画像のデジタル信号（以下、画像データ）に対し、ホワイトバランスの調整やガンマ補正等の処理を行う。
（動画像記録再生ブロック１２０）
動画像記録再生ブロック１２０は、図２に示すように、画像密度変換回路１２６と、動画像圧縮／伸長回路１２４と、記憶部１２２とを含む。
画像密度変換回路１２６は、動画データの記録に際し、デジタル信号処理回路１１４から入力された画像データの系列（動画データ）に対して間引き処理（例えば、フレーム間差分符号化等）を施す。画像密度変換回路１２６は、その間引き処理後の動画データを動画像圧縮／伸長回路１２４に出力する。動画像圧縮／伸長回路１２４は、画像密度変換回路１２６から入力された前記間引き後の動画データを圧縮処理し、その圧縮された動画データを記憶部１２２に記録する。
一方、動画データの再生に際し、動画像圧縮／伸長回路１２４は、記憶部１２２に記録された前記の動画データを読出して伸長処理を施す。そして、動画像圧縮／伸長回路１２４は、その伸長された動画データを画像密度変換回路１２６に対して出力する。画像密度変換回路１２６は、動画像圧縮／伸長回路１２４から入力された動画データに対して補間処理（例えば、差分化されたデータの復元等）を施す。
（動画像記録再生ブロック１２０）
静止画像記録再生ブロック１３０は、図２に示すように、静止画像圧縮／伸長回路１３４と、記憶部１３２とを含む。但し、記憶部１３２は、前記の記憶部１２２と共通の記憶装置を用いて、その機能を実現することもできる。
静止画像圧縮／伸長回路１３４は、静止画データの記録に際し、デジタル信号処理回路１１４から入力された画像データに圧縮処理を施して記憶部１３２に出力する。一方、静止画データの再生に際し、静止画像圧縮／伸長回路１３４は、記憶部１２２に記録された画像データを読出して伸長処理を施す。
（画像生成ブロック１４０）
図２に示すように、画像生成ブロック１４０は、主に、動き予測回路１４２と、動き補償回路１４４と、差分画像判定回路１４６とを含む。なお、動き予測回路１４２は、上記の動き予測部の一例である。また、動き補償回路１４４は、上記の画像生成部の一例である。
動き予測回路１４２は、動画像記録再生ブロック１２０から伝送された動画データについて、フレーム間の動き予測を実行して動きベクトルを検出する。例えば、動き予測回路１４２は、所定時刻に記録されたフレームに最も近い時点で記録された静止画データを選択する。そして、動き予測回路１４２は、その静止画データに対応するフレームと所定時刻に記録されたフレームとの間で動き予測を実行してフレーム間の動きベクトルを検出する。このとき、動き予測回路１４２は、参照する各フレーム（ＬＲＰ）を拡大スケーリングして拡大スケーリング画像（ＭＰ）に変換し、該当する拡大スケーリング画像間で動きベクトルを検出する。
他の例として、動き予測回路１４２は、所定時刻に記録されたフレームに近い時点で記録された複数の静止画データを抽出した上で、前記の所定時刻に記録されたフレームに最も近似した静止画データに対応するフレームを選択することもできる。そして、動き予測回路１４２は、その選択された静止画データに対応するフレームと所定時刻に記録されたフレームとの間で動き予測を実行してフレーム間の動きベクトルを検出してもよい。また、動き予測回路１４２は、各フレーム（ＬＲＰ）を拡大スケーリングせずに、該当するフレーム間で動きベクトルを検出し、生成画像（ＣＰ）の空間解像度に適合するように前記動きベクトルを拡大することも可能である。
動き補償回路１４４は、動き予測回路１４２から入力された動きベクトルの情報と、動画像記録再生ブロック１２０から入力された静止画データとに基づいて動き補償を実行する。例えば、動き補償回路１４４は、所定時刻に記録されたフレームの参照ブロックに対応する静止画データの参照ブロックを前記の動きベクトルに基づいて特定する。動き補償回路１４４は、その特定された静止画データの参照ブロックと、所定時刻に記録されたフレームの参照ブロックとを所定の比率で合成して画像データ（生成画像ＣＰ’）を生成する。そして、動き補償回路１４４は、その生成画像ＣＰ’を差分画像判定回路１４６に出力する。
差分画像判定回路１４６は、動き補償回路１４４により入力された前記の生成画像ＣＰ’と、その時刻に記録されたフレームの拡大スケーリング画像ＭＰとを比較する。差分画像判定回路１４６は、前記の拡大スケーリング画像ＭＰと生成画像ＣＰ’との差分画像を生成するか、或いは、その両画像（ＭＰ、ＣＰ’）の差分を表す差分値を算出する。なお、差分画像判定回路１４６は、上記の差分量算出部の一例である。
前記の両画像（ＭＰ、ＣＰ’）の差が許容範囲内の場合、差分画像判定回路１４６は、動き補償により生成された生成画像ＣＰ’を出力するように前記の動き補償回路１４４を制御する。一方、前記の両画像（ＭＰ、ＣＰ’）の差が許容範囲を超える場合、差分画像判定回路１４６は、前記の拡大スケーリング画像ＭＰをそのまま出力するように動き補償回路１４４を制御する。このとき、差分画像判定回路１４６は、例えば、前記の差分値と所定の設定値との間の大小関係に応じて動き補償回路１４４の制御方法を切り替える。
以上、本実施形態に係る画像処理装置１００の装置構成について説明した。上記の装置構成を適用すると、画像処理装置１００は、動きベクトルの予測精度に起因してノイズが発生することを予め防止することができる。
［画像データの記録動作］
次に、本実施形態に係る画像処理装置１００による画像データの記録動作について簡単に説明する。
まず、オペレータが画像処理装置１００に記録動作の開始を指示する（Ｓ１０）。その指示を受け、画像処理装置１００は、動画データを構成するフレームの連続記録を開始する（Ｓ１２）。画像処理装置１００は、撮像レンズ１０２を介して集光画像を取得する（Ｓ１４）。次いで、画像処理装置１００は、その集光画像を撮像素子１０４により光電変換してアナログ信号を生成する（Ｓ１６）。次いで、画像処理装置１００は、そのアナログ信号をＡ／Ｄ変換器１１２に入力してデジタル信号に変換する（Ｓ１８）。次いで、画像処理装置１００は、そのデジタル信号をデジタル信号処理回路１１４に入力して、そのデジタル信号に対応する画像データのホワイトバランスの調整やガンマ補正等の処理を実行する（Ｓ２０）。画像処理装置１００は、前記の画像データを蓄積して動画データを形成することができる。
次いで、画像処理装置１００は、画像密度変換回路１２６により、上記の動画データに間引き処理を施す（Ｓ２２）。ステップＳ２２を実行する際、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄ Ｃｏｍｍｉｔｔｅｅ）方式、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式、又はＩＳＤＢ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ）方式等の各ビデオ信号フォーマットにおける有効画素数が得られる。次いで、画像処理装置１００は、動画像圧縮／伸長回路１２４により、前記の間引き処理が施された動画データを圧縮処理し（Ｓ２４）、記憶部１２２に記録する（Ｓ２５）。また、画像処理装置１００は、静止画像圧縮／伸長回路１３４により、所定の時間間隔で間歇的に前記の画像データ（静止画データ）を取得して圧縮処理し（Ｓ３２）、記憶部１３２に記録する（Ｓ３４）。
［画像データの再生動作］
次に、本実施形態に係る画像処理装置１００による画像データの再生動作について簡単に説明する。
画像処理装置１００に対し、オペレータが画像生成タイミングコントローラ１０６を用いて再生動作の開始を指示する（Ｓ５０）。その指示を受け、画像処理装置１００は、前記の動画データよりも空間解像度が高く、かつ、前記の静止画データが記録されていない記録時点における高画質画像データの生成を開始する（Ｓ５２）。画像処理装置１００は、記憶部１２２に記録された圧縮処理後の動画データを読み出し（Ｓ５４）、動画像圧縮／伸長回路１２４により伸長処理を実行する（Ｓ５６）。次いで、画像処理装置１００は、画像密度変換回路１２６により、伸長処理された動画データの補間処理を実行する（Ｓ５８）。ステップＳ５８により、前記の動画データの各フレームは、静止画データと同一画素数を有する画像データに変換される。そして、その動画データは、画像生成ブロック１４０に伝送される（Ｓ６０）。
また、画像処理装置１００は、静止画像圧縮／伸長回路１３４により、記憶部１３２に記録された静止画データを読み出して伸長し（Ｓ７２）、画像生成ブロック１４０に伝送する（Ｓ７４）。
（画像生成ブロック１４０の動作）
ここで、図３を参照しながら、画像生成ブロック１４０の処理動作について説明する。図３は、画像生成ブロック１４０の処理動作を説明するための説明図である。
図３には、撮影時刻に対応するように、高解像度記録画像ＨＲＰ（ｔ）と、複数の低解像度記録画像ＬＲＰ（ｔ）、ＬＲＰ（ｔ＋ｈ）と、生成画像ＣＰ（ｔ＋ｈ）とが描画されている。尚、図３は、時刻ｔ＋ｈに記録された低解像度記録画像ＬＲＰ（ｔ＋ｈ）に対応する生成画像ＣＰ（ｔ＋ｈ）を生成する処理動作を具体的に説明するものである。
但し、高解像度記録画像ＨＲＰは、水平画素数がＮ、垂直画素数がＭ、フレームレートが１／ΔＴ［ｆｐｓ］であるものと仮定する。また、低解像度記録画像ＬＲＰは、水平画素数がｎ、垂直画素数がｍ、フレームレートが１／Δｔ［ｆｐｓ］であるものと仮定する。そして、各変数は、Ｎ≧ｎ、Ｍ≧ｍ、ΔＴ≧ｔの関係を満たすものと仮定する。さらに、変数ｈは、０≦ｈ≦ΔＴの関係を満たすものと仮定する。
以下、図３の例を参照しながら、時刻ｔの高解像度記録画像ＨＲＰ（ｔ）と、時刻ｔ＋ｈの低解像度記録画像ＬＲＰ（ｔ＋ｈ）とを用いて、時刻ｔ＋ｈの高解像度生成画像ＣＰ（ｔ＋ｈ）を生成する方法について説明する。但し、本実施形態に係る画像処理装置１００の処理方法は、これに限定されるものではない。例えば、図示しない他の時刻ｔ＋ΔＴの高解像度記録画像ＨＲＰ（ｔ＋ΔＴ）を併せて参照しながら、生成画像ＣＰ（ｔ＋ｈ）を生成することもできる。その際、画像処理装置１００は、被写体の動きの大きさや速度等に応じて参照すべき高解像度記録画像ＨＲＰを選択するといった処理を行ってもよい。
（Ｓ１）
まず、画像処理装置１００は、動き予測回路１４２により、低解像度記録画像ＬＲＰ（ｔ）及びＬＲＰ（ｔ＋ｈ）を用いて動き予測を実行する。このとき、動き予測回路１４２は、低解像度記録画像ＬＲＰ（ｔ）及びＬＲＰ（ｔ＋ｈ）を拡大スケーリングして拡大スケーリング画像ＭＰ（ｔ）及びＭＰ（ｔ＋ｈ）を生成する。次いで、動き予測回路１４２は、拡大スケーリング画像ＭＰ（ｔ）とＭＰ（ｔ＋ｈ）とを比較してＭＰ（ｔ）とＭＰ（ｔ＋ｈ）との間の動きベクトルＭＶを検出する。尚、動き予測の方法として、例えば、ブロックマッチング法、位相相関法、又はオプティカルフロー法等を本実施形態に適用することができる。
（Ｓ２）
次いで、画像処理装置１００は、動き補償回路１４４により、前記の動きベクトルＭＶと高解像度記録画像ＨＲＰ（ｔ）とを用いて動き補償を実行する。動き補償回路１４４は、前記の動きベクトルＭＶを利用して、拡大スケーリング画像ＭＰ（ｔ＋ｈ）の参照ブロックに対応する高解像度記録画像ＨＲＰ（ｔ）の参照ブロックを特定する。そして、動き補償回路１４４は、その参照ブロックと前記の拡大スケーリング画像ＭＰ（ｔ＋ｈ）の参照ブロックとを所定の比率で合成して、暫定的に生成画像ＣＰ’（ｔ＋ｈ）を生成する。
もし、動き予測と動き補償とが同一の画像間で行われているならば、前記の生成画像ＣＰ’（ｔ＋ｈ）が生成画像ＣＰ（ｔ＋ｈ）として出力されても前記の動き予測精度に起因して生成画像ＣＰ（ｔ＋ｈ）にノイズが発生することは少ない。しかし、本実施形態に係る画像処理装置１００は、低解像度記録画像ＬＲＰを用いて動き予測を行うため、高解像度記録画像ＨＲＰを用いて動き補償をする際に、その高解像度記録画像ＨＲＰに含まれる高周波成分の情報にノイズが発生する可能性がある。つまり、動き予測の精度に依存して動き補償に用いる高解像度記録画像ＨＲＰの参照ブロックと、それに対応する拡大スケーリング画像ＭＰの参照ブロックとの間の相関が低くなる可能性が懸念されるのである。
例えば、高解像度記録画像ＨＲＰと低解像度記録画像ＬＲＰとが同一の時刻に記録されたとしても、低解像度記録画像ＬＲＰは、高解像度記録画像ＨＲＰに含まれる高周波成分を含んでいない。そのため、低解像度記録画像ＬＲＰを高解像度記録画像ＨＲＰと同じ空間解像度に拡大して動き予測を実行したとしても、高解像度記録画像ＨＲＰを比較して得られる動きベクトルを精度良く予測することは難しい。また、低解像度記録画像ＬＲＰを伸長せずに比較して検出された動きベクトルを拡大しても、低解像度記録画像ＬＲＰに高周波成分に相当する情報が含まれていない点において同じであるため、動きベクトルを精度良く予測することは難しい。
そこで、本実施形態に係る画像処理装置１００は、動き補償に用いる高解像度記録画像ＨＲＰの参照ブロックと、それに対応する拡大スケーリング画像ＭＰとの間の相関が低い場合に、そのフレームに関しては動き補償が施された画像を用いないように制御する差分画像判定回路１４６を有しているのである。
差分画像判定回路１４６は、例えば、暫定的に生成された生成画像ＣＰ’（ｔ＋ｈ）と拡大スケーリング画像ＭＰ（ｔ＋ｈ）とを比較して差分量を算出する。その差分量が所定値よりも大きい場合、差分画像判定回路１４６は、両画像（ＣＰ’、ＭＰ）の相関が低いものと判断し、生成画像ＣＰ（ｔ＋ｈ）として、拡大スケーリング画像ＭＰ（ｔ＋ｈ）をそのまま出力する。一方、前記の差分量が所定値よりも小さい場合、差分画像判定回路１４６は、両画像（ＣＰ’、ＭＰ）の相関が高いものと判断し、生成画像ＣＰ’（ｔ＋ｈ）を生成画像ＣＰ（ｔ＋ｈ）として出力する。その結果、差分画像判定回路１４６は、動きベクトルの予測精度に起因して高周波成分に発生するノイズを低減させることができる。
（差分画像判定回路１４６の動作フロー）
ここで、図４を参照しながら、本実施形態に係る差分画像判定回路１４６の動作フローについて説明する。図４は、本実施形態に係る差分画像判定回路１４６の動作フローを示す説明図である。
まず、差分画像判定回路１４６は、動き予測回路１４２により検出された動きベクトル（参照ブロックＯ → 参照ブロックＣ）に基づき、拡大スケーリング画像ＭＰ（ｔ＋ｈ）の参照ブロックＯ（参照値Ｏ［ｉ，ｊ］）と、高解像度記録画像ＨＲＰ（ｔ）の参照ブロックＣ（参照値Ｃ［ｉ，ｊ］）との間の差分量Ｄを算出する（Ｓ１０２）。差分画像判定回路１４６は、例えば、ＭＳＥ法（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ ｍｅｔｈｏｄ）やＳＡＤ法（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ）等の方法を用いて差分量Ｄ［ｉ，ｊ］を算出することができる。ＳＡＤ法を用いる場合、差分画像判定回路１４６は、下式（１）に従って差分量Ｄを算出する。

Figure 2008312161
但し、ｉ及びｊは、それぞれ、動き予測の際に参照する単位ブロック内に含まれる水平及び垂直方向の画素位置を表す指標である。また、上式（１）の和は、単位ブロックに含まれる全ての画素の位置ｉ，ｊに関するものである。
次いで、差分画像判定回路１４６は、所定の設定パラメータＴｈ（以下、閾値）と前記の差分量Ｄとを比較して、その大小関係を判定する（Ｓ１０４）。但し、閾値Ｔｈは、必要に応じて変更されうる。例えば、閾値Ｔｈは、画像データに動きの速い被写体が含まれる状況や、複雑な模様が含まれる状況等が想定される場合に、比較的大きな値に設定される。これらの状況は、動き予測の精度が低下しやすい状況であり、前記の差分値Ｄが比較的大きな値になりやすい。そのため、こうした状況下では、本実施形態に係る画像処理方法の適用範囲を広げるため、前記の閾値Ｔｈを比較的大きめに設定する方が好ましい。
判定結果がＤ＞Ｔｈの場合、この結果は、前記の参照ブロックＣと参照ブロックＯとが大きく相違していることを示している。また、この相違は、例えば、動き予測の精度が低いために誤った動き補償が行われたためか、或いは、時刻ｔに存在しなかった被写体が時刻ｔ＋ｈに出現したために生じる。結果として、画像処理装置１００は、拡大スケーリング画像ＭＰ（ｔ＋ｈ）に対して高解像度記録画像ＨＲＰ（ｔ）に含まれる高周波成分を補償することができない。そこで、差分画像判定回路１４６は、前記の参照ブロックＯを生成画像ＣＰ（ｔ＋ｈ）（参照値ＯＵＴ［ｉ，ｊ］＝Ｏ［ｉ，ｊ］）に設定してノイズの発生を防止する（Ｓ１０６）。
判定結果がＤ≦Ｔｈの場合、この結果は、前記の参照ブロックＣと参照ブロックＯとが高い相関を有することを示している。そのため、画像処理装置１００は、拡大スケーリング画像ＭＰ（ｔ＋ｈ）に対し、動き補償を用いて、高解像度記録画像ＨＲＰ（ｔ）に含まれる高周波成分を補償することができる。そこで、差分画像判定回路１４６は、前記の参照ブロックＣを用いて拡大スケーリング画像ＭＰ（ｔ＋ｈ）の参照ブロックＯを補償し、その補償された画像を生成画像ＣＰ（ｔ＋ｈ）（参照値ＯＵＴ［ｉ，ｊ］＝Ｃ［ｉ，ｊ］）に設定する（Ｓ１０８）。
上記のように、差分画像判定回路１４６は、動きベクトルの参照元と参照先とに該当する参照ブロックを予め比較評価することにより、動き予測の精度が低いことに起因してノイズが発生することを防止することができる。その結果、本実施形態に係る画像処理装置１００は、ノイズが発生するような動き予測精度の低い場面では動き補償を行わずにノイズを防止し、その他の場面では動き補償を行って高画質の画像データを生成することができる。その結果、異なる空間解像度を有する画像データ系列を用いて動き補償をする場合において、より高画質の画像データ系列を生成することができる。
（画像処理方法）
ここで、図５を参照しながら、本実施形態に係る画像処理方法について説明する。図５は、本実施形態に係る画像生成処理の流れを説明するための説明図である。
まず、動き予測回路１４２は、低解像度記録画像ＬＲＰを拡大スケーリングして高解像度記録画像ＨＲＰと同じ空間解像度を有する拡大スケーリング画像ＭＰを生成する（Ｓ２０２）。次いで、参照ブロックの位置を示すパラメータｂが初期化される（Ｓ２０４）。次いで、パラメータｂがパラメータｂの最大値ｂ＿ｍａｘを超えているか否かが判定される（Ｓ２０６）。但し、ｂ＿ｍａｘは、フレームに含まれるブロック数である。
ｂ≧ｂ＿ｍａｘの場合、画像生成ブロック１４０は、画像生成処理を終了する。ｂ＜ｂ＿ｍａｘの場合、動き予測回路１４２は、カレントフレーム（ＭＰ（ｔ））からキーフレーム（ＭＰ（ｔ＋ｈ））への動き予測を実行する（Ｓ２０８）。次いで、画像生成ブロック１４０は、予測残差信号の大きさに基づいて動き補償を実行可能か否かを判定する（Ｓ２１０）。
ステップＳ２１０において、動き補償の実行が不可であると判定された場合、動き補償回路１４４は、ステップＳ２０２で拡大スケーリング画像ＭＰ（ｔ＋ｈ）を生成画像ＣＰ（ｔ＋ｈ）として出力する（Ｓ２１６）。一方、ステップＳ２１０において、動き補償の実行が可能であると判定された場合、動き補償回路１４４は、キーフレームに対応する高解像度記録画像ＨＲＰ（ｔ）と拡大スケーリング画像ＭＰ（ｔ＋ｈ）とを用いて差分画像判定（前記の「Ｄ＞Ｔｈ」ｏｒ「Ｄ≦Ｔｈ」判定）を実行し、動き補償が可能か否かを判定する（Ｓ２１２）。
ステップＳ２１２において、動き補償が可能であると判定された場合、動き補償回路１４４は、高解像度記録画像ＨＲＰ（ｔ）を用いて動き補償を実行する（Ｓ２１４）。このとき、動き補償回路１４４は、ステップＳ２０８で得られたカレントフレームからキーフレームへの動きベクトル、単位ブロックサイズ、又は参照フレーム情報等を利用する。一方、ステップＳ２１２において、動き補償の実行が不可であると判定された場合、動き補償回路１４４は、拡大スケーリング画像ＭＰ（ｔ＋ｈ）を生成画像ＣＰ（ｔ＋ｈ）として出力する（Ｓ２１６）。
次いで、画像生成ブロック１４０は、パラメータｂをインクリメントし（Ｓ２１８）、再びステップＳ２０６から始まる処理を実行する。このように、画像生成ブロック１４０は、動き補償する際に前記の差分画像判定を実行しながら、動き補償が可能か否かを判定する。そのため、画像生成ブロック１４０は、動き補償に起因して生成画像ＣＰ（ｔ＋ｈ）にノイズが発生することを抑制できる。
以上、本実施形態に係る画像処理装置１００について説明した。上記の通り、本実施形態に係る画像処理装置１００は、差分画像判定回路１４６を有し、動き予測の精度に応じて生成画像ＣＰとして出力する画像データを切り替えることができる。その結果、画像処理装置１００は、異なる空間解像度を有する画像データ系列を用いて動き予測と動き補償とを実行する場合において、動き予測精度に関わらず、高画質な生成画像ＣＰを生成することができる。また、差分画像判定回路１４６は、動き予測精度に起因して生成画像ＣＰにノイズが発生するか否かを検出する際にも利用することができる。
尚、画像処理装置１００の各構成要素が実現する機能は、例えば、以下に例示する情報処理装置を用いて所定のプログラムにより実現することも可能である。
［ハードウェア構成］
上記の画像処理装置１００が有する機能は、例えば、図６に示すハードウェア構成を有する情報処理装置によっても実現することが可能である。図６は、上記の画像処理装置１００の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成例を示す説明図である。
図６に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。
入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。
出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ−ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。
接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、放送、又は衛星通信等である。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記の実施形態の説明においては、後方のフレームを参照して動き予測、及び動き補償を実行する方法について述べたが、本発明の技術的範囲はこれに限定されず、前方のフレーム、或いは、前後のフレームを参照して動き予測、及び動き補償を実行することも可能である。
［変形例］
ここで、図７を参照しながら、前後のフレームに基づき、動き予測／動き補償の処理を実行して高画質の画像を生成する方法について説明する。図７は、前後のフレームに基づき、動き予測／動き補償の処理を逐次実行して高画質の画像を生成する方法を説明するための説明図である。図７に示すように、所望の撮影時刻の前後に高解像度記録画像ＨＲＰが記録されている場合、拡大スケーリング画像ＭＰ（ｔ＋ｈ）と、高解像度記録画像ＨＲＰ（ｔ）及びＨＲＰ（ｔ＋ｈ）とを用いて動き補償を施すことができる。
しかし、どちらかの高解像度記録画像ＨＲＰから生成された暫定的な生成画像ＣＰ’（ｔ＋ｈ）にノイズが発生すると、最終的に生成された生成画像ＣＰ（ｔ＋ｈ）にもノイズが発生してしまう。そのため、拡大スケーリング画像ＭＰ（ｔ＋ｈ）との相関が高い暫定的な生成画像ＣＰ’（ｔ＋ｈ）のみを用いて生成画像ＣＰ（ｔ＋ｈ）を生成することも可能である。その結果、動き補償を適用可能なケースが増すため、より高画質な画像データ系列を生成することができる。
高解像度生成画像の生成方法を説明するための説明図である。 本発明の一実施形態に係る画像処理装置の装置構成を示す説明図である。 本実施形態に係る画像生成ブロックの動作を説明するための説明図である。 本実施形態に係る差分画像判定回路の動作フローを示す説明図である。 本実施形態に係る画像生成ブロックの動作を説明するための説明図である。 本実施形態に係る画像処理装置の機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。 本実施形態の一変形例に係る高解像度画像の生成方法を示す説明図である。
符号の説明
１００ 画像処理装置
１０２ 撮像レンズ
１０４ 撮像素子
１０６ 画像生成タイミングコントローラ
１０８ 表示回路
１１０ カメラ信号処理ブロック
１１２ Ａ／Ｄ変換器
１１４ デジタル信号処理回路
１２０ 動画像記録再生ブロック
１２２、１３２ 記憶部
１２４ 動画像圧縮／伸長回路
１２６ 画像密度変換回路
１３０ 静止画像記録再生ブロック
１３４ 静止画像圧縮／伸長回路
１４０ 画像生成ブロック
１４２ 動き予測回路
１４４ 動き補償回路
１４６ 差分画像判定回路
ＨＲＰ 高解像度記録画像
ＬＲＰ 低解像度記録画像
ＭＰ 拡大スケーリング画像
ＣＰ、ＣＰ’ 生成画像

Claims (8)

  1. 複数の連続したフレームが含まれる動画データと、前記フレームに対応し、かつ、当該フレームよりも高い空間解像度を有する一又は複数の画像データとを取得する取得部と、
    前記動画データを用いて前記フレーム間の動きベクトルを検出する動き予測部と、
    任意の前記フレームと前記画像データに対応する前記フレームとの間の差分量を算出する差分量算出部と、
    前記画像データに対応する前記フレームと前記動きベクトルとに基づいて、前記任意のフレームに対応する動き補償された画像データを生成することが可能な画像生成部と、
    を備え、
    前記画像生成部は、前記差分量が所定値より小さい場合に前記画像データと同じ空間解像度を有する前記動き補償された画像データを生成し、前記差分量が所定値より大きい場合に前記任意のフレームを前記画像データと同じ空間解像度に拡大した画像データを生成することを特徴とする、画像処理装置。
  2. 前記動画データと前記一又は複数の画像データとを記録する記憶部をさらに備え、
    前記取得部は、前記記憶部に記録された前記動画データと前記一又は複数の画像データとを取得することを特徴とする、請求項１に記載の画像処理装置。
  3. 前記記憶部には、前記動画データとして、低い空間解像度及び高い時間解像度を有する第１の画像データ系列が記録され、前記一又は複数の画像データとして、前記第１の画像データ系列に含まれる前記フレームに対応するように、前記第１の画像データ系列よりも高い空間解像度及び低い時間解像度を有する第２の画像データ系列が記録されていることを特徴とする、請求項２に記載の画像処理装置。
  4. 前記画像生成部は、前記第１の画像データ系列に含まれ、かつ、前記第２の画像データ系列に含まれないフレームを前記任意のフレームとし、当該任意のフレームに対応する前記画像データを生成して前記第２の画像データ系列の時間解像度を向上させることを特徴とする、請求項３に記載の画像処理装置。
  5. 前記記憶部には、前記動画データとして、撮像された画像信号をダウンサンプリング処理して得られた画像データ系列が記録されていることを特徴とする、請求項２に記載の画像処理装置。
  6. 前記画像生成部は、前記差分量が所定値より大きい場合、前記動き補償に際し、前記動きベクトルの参照元である前記任意のフレームと前記動きベクトルの参照先である前記画像データとを合成する比率を前記差分量に応じて変更することを特徴とする、請求項１に記載の画像処理装置。
  7. 複数の連続したフレームが含まれる動画データと、前記フレームに対応し、かつ、当該フレームよりも高い空間解像度を有する一又は複数の画像データとを取得する取得ステップと、
    前記動画データを用いて前記フレーム間の動きベクトルを検出する動き予測ステップと、
    所定の前記フレームと前記画像データに対応する前記フレームとの間の差分量を算出する差分量算出ステップと、
    前記画像データに対応する前記フレームと前記動きベクトルとに基づいて、前記任意のフレームに対応する動き補償された画像データを生成することが可能な画像生成ステップと、
    を含み、
    前記画像生成ステップでは、前記差分量が所定値より小さい場合に前記画像データと同じ空間解像度を有する前記動き補償された画像データが生成され、前記差分量が所定値より大きい場合に前記任意のフレームを前記画像データと同じ空間解像度に拡大した画像データが生成されることを特徴とする、画像処理方法。
  8. 請求項１〜６に記載の画像処理装置が有する機能をコンピュータに実現させるためのプログラム。
JP2007160589A 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム Expired - Fee Related JP4826546B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2007160589A JP4826546B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム
EP20080765370 EP2161929B1 (en) 2007-06-18 2008-06-10 Image processing device, image processing method, and program
US12/664,208 US8885716B2 (en) 2007-06-18 2008-06-10 Image processing apparatus, image processing method, and program
PCT/JP2008/060581 WO2008156010A1 (ja) 2007-06-18 2008-06-10 画像処理装置、画像処理方法、及びプログラム
CN2008800208074A CN101682717B (zh) 2007-06-18 2008-06-10 图像处理装置、图像处理方法和程序
BRPI0813470 BRPI0813470A2 (pt) 2007-06-18 2008-06-10 Aparelho de processamento de imagem, método de processamento de imagem, e, programa
RU2009147043/07A RU2446617C2 (ru) 2007-06-18 2008-06-10 Устройство обработки изображения, способ обработки изображения
RU2011141983/08A RU2504104C2 (ru) 2007-06-18 2008-06-10 Устройство обработки изображения, способ обработки изображения и программа
KR1020097023524A KR101049922B1 (ko) 2007-06-18 2008-06-10 화상 처리 장치, 화상 처리 방법 및 프로그램
US14/471,108 US10587892B2 (en) 2007-06-18 2014-08-28 Image processing apparatus, image processing method, and program for generating motion compensated image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007160589A JP4826546B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2011196203A Division JP5327297B2 (ja) 2011-09-08 2011-09-08 撮像装置、撮像方法、プログラム、及び記録媒体
JP2011196202A Division JP5327296B2 (ja) 2011-09-08 2011-09-08 画像処理装置、画像処理方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2008312161A true JP2008312161A (ja) 2008-12-25
JP4826546B2 JP4826546B2 (ja) 2011-11-30

Family

ID=40156168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007160589A Expired - Fee Related JP4826546B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム

Country Status (8)

Country Link
US (2) US8885716B2 (ja)
EP (1) EP2161929B1 (ja)
JP (1) JP4826546B2 (ja)
KR (1) KR101049922B1 (ja)
CN (1) CN101682717B (ja)
BR (1) BRPI0813470A2 (ja)
RU (2) RU2446617C2 (ja)
WO (1) WO2008156010A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590663B1 (ko) * 2008-07-25 2016-02-18 소니 주식회사 화상 처리 장치 및 방법
CN102100072B (zh) * 2008-07-25 2013-03-27 索尼公司 图像处理装置和方法
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US8711940B2 (en) * 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312277A (ja) * 2003-04-04 2004-11-04 Sony Corp 画像データ記録再生装置及び方法
JP2005318548A (ja) * 2004-03-30 2005-11-10 Masahiko Yanaida 撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システム
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2235856B (en) * 1989-09-01 1993-11-17 Quantel Ltd Improvements in or relating to electronic graphic systems
JP3404803B2 (ja) 1993-06-18 2003-05-12 松下電器産業株式会社 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
KR100215586B1 (ko) 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
JP3631804B2 (ja) 1995-04-26 2005-03-23 富士写真フイルム株式会社 画像データ記録装置および方法
FR2756399B1 (fr) * 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
RU2201654C2 (ru) * 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
JP4123614B2 (ja) 1999-01-22 2008-07-23 ソニー株式会社 信号処理装置およびその方法
IL146464A0 (en) * 1999-05-13 2002-07-25 Univ Ben Gurion A method and apparatus for providing adaptive multiple resolution to optical images
KR100486700B1 (ko) * 1999-09-04 2005-05-03 삼성전자주식회사 선형 다운/업 샘플링 장치 및 그를 이용한 일반화된 격주사선 처리 부호화/복호화 방법 및 장치
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US8260699B2 (en) * 2001-05-30 2012-09-04 Finicity Corp. Method and system for managing spending through account allocation
US6985180B2 (en) * 2001-06-19 2006-01-10 Ess Technology, Inc. Intelligent blemish control algorithm and apparatus
FR2852179A1 (fr) 2003-03-06 2004-09-10 Thomson Licensing Sa Procede de codage d'une image video
US7949047B2 (en) * 2003-03-17 2011-05-24 Qualcomm Incorporated System and method for partial intraframe encoding for wireless multimedia transmission
JP4288992B2 (ja) 2003-04-04 2009-07-01 ソニー株式会社 撮像装置及び方法
US7627040B2 (en) * 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
US7716469B2 (en) * 2003-07-25 2010-05-11 Oracle America, Inc. Method and system for providing a circle of trust on a network
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
KR100763179B1 (ko) * 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
JP4594201B2 (ja) 2005-09-28 2010-12-08 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
JP4646146B2 (ja) 2006-11-30 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5281076B2 (ja) * 2007-04-25 2013-09-04 トムソン ライセンシング ダウンサンプリングされたリファレンスピクチャによるビュー間予測

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312277A (ja) * 2003-04-04 2004-11-04 Sony Corp 画像データ記録再生装置及び方法
JP2005318548A (ja) * 2004-03-30 2005-11-10 Masahiko Yanaida 撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システム
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法

Also Published As

Publication number Publication date
RU2504104C2 (ru) 2014-01-10
RU2446617C2 (ru) 2012-03-27
RU2009147043A (ru) 2011-07-10
CN101682717B (zh) 2013-10-30
US20100183072A1 (en) 2010-07-22
CN101682717A (zh) 2010-03-24
US10587892B2 (en) 2020-03-10
EP2161929A4 (en) 2011-01-26
BRPI0813470A2 (pt) 2015-01-06
RU2011141983A (ru) 2013-04-27
US8885716B2 (en) 2014-11-11
EP2161929A1 (en) 2010-03-10
EP2161929B1 (en) 2013-12-04
US20150043646A1 (en) 2015-02-12
KR101049922B1 (ko) 2011-07-15
JP4826546B2 (ja) 2011-11-30
KR20100004110A (ko) 2010-01-12
WO2008156010A1 (ja) 2008-12-24

Similar Documents

Publication Publication Date Title
JP4877090B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4356777B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4826546B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4720859B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4780222B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2012085214A (ja) データ圧縮方法およびデータ圧縮装置
JP2008294950A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP2009100112A (ja) 画像信号処理装置及び画像信号処理方法
JP2007122232A (ja) 画像処理装置及びプログラム
JP5327296B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP5327297B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5170296B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP6416255B2 (ja) 画像処理システム、及び、画像処理方法
JP2010093856A (ja) 画像処理装置、および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4826546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees