JP2797959B2

JP2797959B2 - 多次元画像圧縮伸張方法

Info

Publication number: JP2797959B2
Application number: JP6788294A
Authority: JP
Inventors: 正洋河内; 芳子穂積; 恭一清水
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1994-03-12
Filing date: 1994-03-12
Publication date: 1998-09-17
Anticipated expiration: 2013-09-17
Also published as: JPH07250247A; EP0671845B1; EP0671845A3; KR950028537A; KR100205491B1; DE69516923D1; US5647024A; EP0671845A2

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は多次元画像圧縮伸張方
法、特に、異機種間における画像伝送のように圧縮側と
伸張側での画素対応、または時間軸上でのフレ−ム対応
が保証されない系で、高能率な画像伸張を行なうことが
できる多次元画像圧縮伸張方法に関し、テクスチャー情
報も用いることにより、高速画像伝送、画像データベー
ス、ＴＶ会議などで対象にされる画像を、高能率、高品
質に画像圧縮伸張できるようにした多次元画像圧縮伸張
方法を提供する。

【０００２】

【従来の技術】画像情報の圧縮については従来から各種
の方式が提案されて来ている。例えばデジタル信号化し
た画像信号の各サンプル値に対して信号レベルを均等に
分割して、それぞれの範囲に含まれる値を一つの代表値
で置き換える直線量子化(均等量子化)手段を採用した場
合に、代表点と本来の値との差が判らないようにする場
合に一般に自然画像については６ビット(６４階調)から
８ビット(２５６階調)が必要であるとされているから、
画像信号を前記したような均等量子化によりデジタル化
した信号をそのまま記録しようとすると、各サンプル値
に対して前記のような多くの情報量を扱うことが必要と
される。

【０００３】それで、より少ない情報量で信号を符号化
するのに、信号の変化の少ない部分では変化に対して敏
感であり、信号の変化の激しい部分においてはある程度
の誤差があっても、それを検知し難いという人間の視覚
や聴覚の性質を利用したり、あるいは記録の対象にされ
ている情報信号における時空間軸上での相関を利用し
て、例えば画像を画素に分解した後に各画素の輝度値の
隣接相関の高さを利用して原情報の近似値の少数を伝送
したり、あるいは画素間差分あるいはフレ−ム間差分を
伝送したり、または高周波数成分が少ないということを
利用して周波数要素の削減を行なったりして、各サンプ
ルあたりの情報量を少なくするようにした各種の高能率
符号化方式を適用してデ−タ量の圧縮を行なったデジタ
ル・デ−タを記録，伝送,送信し、また、前記のようにデ
−タ量の圧縮されたデジタル・デ−タを再生,受信した後
にデ−タの伸張を行なって画像の復元をすることが従来
から行なわれていることは周知のとおりである。

【０００４】

【発明が解決しようとする課題】前記した従来の一般的
な画像情報の圧縮方式では、分解された画素の復元が良
好に行なわれることを重要視していることから、原画像
と復元された画像（伸張画像）間での画素数が一致して
いることを条件としている場合が多く、したがって異な
る画素数の画像間で圧縮伸張動作が行なわれる場合に
は、別途に伸張後における画素の補間や間引きなどを行
なうことが必要とされるが、これは従来の画像情報の圧
縮方式においては真の有効情報のみが抽出され、それが
復元されているわけではなく、ある程度物理的な画像構
成要素に依存している方式になっていることを意味して
いる。

【０００５】ところで、前記のように異なる画素数の２
つの画像における画素密度が極端に異なる場合の例とし
て、例えば撮像装置によって撮像された画像を印刷版下
に利用しようとする場合を考えると、撮像装置による撮
像によって得られる画像の画素密度は１画面当りに高々
（５００×５００）程度であるのに対して、電子製版機
における画像の画素密度は１画面当りに（数千×数千）
というように、前記した撮像装置による撮像によって得
られる画像に比べて桁違いに大きいために、既述のよう
な画素対応の画像情報の圧縮伸張方法が全く実施されな
いとしても画素拡大によってエイリアスが発生するし、
また、前記のような画素拡大を行なわないで補間を行な
うようにした場合には、広大な補間エリアを既知のデ−
タの重み付け平均値で充当することになるために補間歪
によって画質劣化を避けることができない。前記とは逆
に、原画像の画素密度が１画面当りに（数千×数千）と
いうような場合には、隣接画素間の相関が極端に高いの
で、原理的には高度の画像情報の圧縮も可能なのである
が、既述のように原画像と復元された画像（伸張画像）
間での画素数が一致していることを条件としている従来
の画像情報圧縮方式では圧縮率を高くできないという欠
点が生じる。

【０００６】前記の問題点を解決するために本出願人会
社では、先に、画像情報処理の対象にされている画像に
おける画素密度の高低に拘らずに、画像の持つ特徴点の
みを抽出して画像情報の圧縮された画像デ−タを得て、
伸張に際しては前記した画像デ−タから画素復元を行な
うのではなく、別の画素密度面に新画像が描画できるよ
うに、２次元的に分布する輝度情報や、２次元的に分布
する輝度情報の画像情報に時間軸をも含む３次元的に分
布する画像情報について、前記した画像情報の輝度関数
の等輝度線の曲率の正負の極大点、あるいは等輝度面の
曲率の正負の極大点を特徴点としたり、または輝度関数
の等輝度線を直線近似した直線と前記した輝度関数の等
輝度線との誤差、あるいは輝度関数の等輝度面を平面近
似した平面と前記した輝度関数の等輝度面との誤差が、
予め定められた閾値を越えた点を画像の特徴点として、
前記した画像の特徴点の位置と輝度値とを伝送，記録
し、前記の特徴点の位置と輝度値とを画像復原に用いる
場合に、伸張に際して近傍の複数の特徴点によって決定
される補間面または補間立体により特徴点以外の画素の
輝度情報を決定し、また、２次元的に分布する輝度情報
の画像情報に時間軸をも含む３次元的に分布する画像情
報の内から、前記の２次元的に分布する輝度情報の複数
組を対象とし、前記の各組の輝度関数の等輝度線の曲率
の正負の極大値、または前記の各組の輝度関数の等輝度
線を直線近似した直線と前記した輝度関数の等輝度線と
の誤差が、予め定められた閾値を越えた点を画像の特徴
点として、前記した画像の特徴点の位置と輝度値とを伝
送，記録，画像復原に用いる場合に、伸張に際して近傍
の複数の特徴点によって決定される補間立体により特徴
点以外の画素の輝度情報を決定することにより、容易に
多次元画像の伸張が行なわれるようにした多次元画像圧
縮伸張方法を提案している。

【０００７】ところで、画像内の被写体表面のテクスチ
ャー（きめ）は、被写体の質感を表わす重要な要素であ
るが、前記のテクスチャー情報は画像情報中では極めて
小さな部分を占めているのに過ぎないために、従来の各
種の情報量圧縮方式によって情報量の圧縮が行なわれた
場合には、テクスチャー情報は棄却されてしまうことが
多い。すなわち、まず、既述した従来の一般的な画像情
報の圧縮方式では、分解された画素の復原が良好に行な
われることを重要視していることから、原画像と復原さ
れた画像（伸張画像）間での画素数が一致していること
や、動画の場合には毎秒像数やフレーム数の一致を条件
にしている場合が多いが、画素によって構成される輝度
関数を圧縮して再現を行なう場合には、被写体表面の細
部情報であるテクスチャー情報が棄却され、自然感が失
なわれることが多い。

【０００８】また、画素数や時間軸上のフレーム数の制
約を避けて、一層の圧縮率の向上を図ろうとすると、前
記の輝度関数をさらに少ないパラメータで表現すること
となるが、その場合における伸張動作は、一般的に単純
補間線、補間面、補間立体で輝度関数が再現されること
になる。したがって、この場合には被写体表面のテクス
チャーは、全くといっても良い程に再現されないことに
より、伸張画像の品質は著るしく低下したものになる。
それで、前記のような問題点のない高能率圧縮伸張方法
の出現が望まれた。

【０００９】

【課題を解決するための手段】本発明は静止画像におけ
る２次元的に分布する輝度情報による画像情報や、静止
画像における２次元的に分布する輝度情報による画像情
報に時間軸をも含む３次元的な画像情報などについて、
輝度関数の等高線の曲率の正負の極大点あるいは輝度関
数の等高面の曲率の正負の極大点、または前記の輝度関
数の等高線を直線で近似したり、前記の輝度関数の等高
面を平面で近似した場合に、近似差が予め定められた閾
値を超えた点を画像の特徴点として、前記した画像の特
徴点の位置と輝度値とを伝送,記録,画像復原に用い、伸
張に際しては、近傍の複数の特徴点によって決定される
補間面、または補間立体により前記の特徴点以外の画素
の輝度情報を決定するとともに、前記した輝度情報によ
る特徴点の位置と輝度値の情報とは別個に、前記した近
傍の複数の特徴点によって決定される補間面、または補
間立体に付加されるべきテクスチャー情報を発生させ
て、画像復原時に補間面または補間立体にテクスチャー
情報を付加させるようにした多次元画像圧縮伸張方法及
び静止画像における２次元的に分布する輝度情報による
画像情報や、静止画像における２次元的に分布する輝度
情報による画像情報に時間軸をも含む３次元的な画像情
報などについて、輝度関数の等高線の曲率の正負の極大
点あるいは輝度関数の等高面の曲率の正負の極大点、ま
たは前記の輝度関数の等高線を直線で近似したり、前記
の輝度関数の等高面を平面で近似した場合に、近似差が
予め定められた閾値を超えた点を画像の特徴点として、
前記した画像の特徴点の位置と輝度値とを伝送,記録,画
像復原に用い伸張に際しては近傍の複数の特徴点によっ
て決定される補間面、または補間立体により前記の特徴
点以外の画素の輝度情報を決定するとともに、輝度関数
における予め定められた空間周波数値よりも高い空間周
波数成分を有する領域を直交変換して得たスペクトラム
の絶対値のパターンが等しい領域を等テクスチャー領域
とし、それぞれスペクトラムの絶対値のパターンを異に
する各等テクスチャー領域について、それぞれの領域の
境界点列の情報とスペクトラム情報とを組にしたテクス
チャー情報を発生し、それを伝送,記録,画像復原に用
い、伸張に際しては、前記した近傍の複数の特徴点によ
って決定される補間面、または補間立体にテクスチャー
情報を付加させるようにした多次元画像圧縮伸張方法を
提供する。

【００１０】

【作用】画像情報処理の対象にされている画像における
画素密度の高低に拘らずに、画像の持つ特徴点のみを抽
出して画像情報の圧縮された画像デ−タを得て、伸張に
際しては前記した画像デ−タから画素復元を行なうので
はなく、別の画素密度面に新画像が描画できるように、
２次元的に分布する輝度情報や、２次元的に分布する輝
度情報の画像情報に時間軸をも含む３次元的に分布する
画像情報について、前記した画像情報の輝度関数の等輝
度線の曲率の正負の極大点、あるいは等輝度面の曲率の
正負の極大点を特徴点としたり、または輝度関数の等輝
度線を直線近似した直線と前記した輝度関数の等輝度線
との誤差、あるいは輝度関数の等輝度面を平面近似した
平面と前記した輝度関数の等輝度面との誤差が、予め定
められた閾値を越えた点を画像の特徴点として、前記し
た画像の特徴点の位置と輝度値とを伝送，記録し、前記
の特徴点の位置と輝度値とを画像復原に用いる場合に、
伸張に際して近傍の複数の特徴点によって決定される補
間面または補間立体により特徴点以外の画素の輝度情報
を決定する。

【００１１】また、２次元的に分布する輝度情報の画像
情報に時間軸をも含む３次元的に分布する画像情報の内
から、前記の２次元的に分布する輝度情報の複数組を対
象とし、前記の各組の輝度関数の等輝度線の曲率の正負
の極大値、または前記の各組の輝度関数の等輝度線を直
線近似した直線と前記した輝度関数の等輝度線との誤差
が、予め定められた閾値を越えた点を画像の特徴点とし
て、前記した画像の特徴点の位置と輝度値とを伝送，記
録，画像復原に用いる場合に、伸張に際して近傍の複数
の特徴点によって決定される補間立体により特徴点以外
の画素の輝度情報を決定する。

【００１２】輝度関数における予め定められた空間周波
数値よりも高い空間周波数成分を有する領域を直交変換
し、それによって得たスペクトラムの絶対値のパターン
が等しい領域を等テクスチャー領域として、それぞれス
ペクトラムの絶対値のパターンを異にする各等テクスチ
ャー領域について、それぞれの領域の境界点列の情報と
スペクトラム情報とを組にしたテクスチャー情報を発生
させる。伸張に際しては、前記した近傍の複数の特徴点
によって決定される補間面、または補間立体にテクスチ
ャー情報を付加する。

【００１３】

【実施例】以下、添付図面を参照して本発明の多次元画
像圧縮伸張方法に関する具体的な内容を詳細に説明す
る。図１は本発明の多次元画像圧縮伸張方法を実施した
多次元画像圧縮伸張装置のブロック図、図２は本発明の
多次元画像圧縮伸張方法に使用される等高線トレ−サ特
徴点抽出部の構成例を示すブロック図、図３は本発明の
多次元画像圧縮伸張方法に使用されるテクスチャー抽出
部及びテクスチャー再生部の構成例を示すブロック図、
図４は輝度関数再生装置の構成例を示すブロック図、図
５乃至図７は本発明の多次元画像圧縮伸張方法の説明に
用いられる図、図８は本発明の多次元画像圧縮伸張方法
に使用されるテクスチャー抽出部の一部の構成例を示す
ブロック図、図９は輝度等高線の検出方法と特徴点決定
方法とを説明するための図、図１０は輝度関数再生装置
の構成原理及び動作原理の説明に用いられる図、図１１
は輝度関数再生の説明に用いられる図、図１２は輝度関
数再生のための面補間動作の説明に用いられる図、図１
３は３次元的に分布する画像情報から検出された特徴点
によって決定される補間立体により特徴点以外の画素の
輝度情報を決定する場合の説明に用いられる図、図１４
は動画の際のテクスチャー情報の移動複写の説明の図で
ある。

【００１４】本発明の多次元画像圧縮伸張方法は、２次
元的に分布する画像情報や２次元的に分布する画像情報
に時間軸をも含めた３次元的に分布する画像情報に対し
て高能率な圧縮伸張を行なうものであるが、本発明の多
次元画像圧縮伸張方法によって圧縮伸張の対象にされる
べき２次元的に分布する画像情報や、２次元的に分布す
る画像情報に時間軸軸をも含めた３次元的に分布する画
像情報としては、輝度情報だけの画像(所謂、白黒画像)
の画像情報に限られず、明度と色度［色相と彩度(飽和
度)］とを有するカラ−画像の画像情報をも対象として
いるのであるが、以下の説明では主として輝度情報だけ
の画像（所謂、白黒画像）の画像情報（輝度情報）に対
して多次元画像圧縮を行なう場合について述べている。

【００１５】今、白黒静止画像内の輝度をｚとし、ま
た、画面の水平方向をｘ，垂直方向をｙとすると、画像
は一般に次の（１）式のような方程式で表現できる。ｚ＝ｆ（ｘ，ｙ） …（１）また、動画像については、時間軸をｔとすれば、次の
（２）式のような方程式で表現できる。ｚ＝ｆ
（ｘ，ｙ，ｔ） …（２）ここで、ｆを多次関数
とすれば、画像内の輝度ｚは次の（３）式によって示さ
れる。

【００１６】

【数１】

【００１７】さて、画像を伝送するということは、送像
側で決定された前記のような輝度関数を受像側で再現す
ることといえるが、一般のデジタル画像伝送においては
輝度関数を解析的に取扱うことなく、それを所謂テ−ブ
ル関数として、そのテ−ブル値の全てを伝送するように
している。これに対して従来の一般的な圧縮伝送におい
ては、前記のテ−ブル値そのものの隣接相関を利用した
高能率符号化を行なったり、あるいは直交変換後のテ−
ブル値に同様の措置を施こすなどの手段を講じている
が、従来は輝度関数に関わる解析的処理から直接に関数
の特徴値を抽出するようにした圧縮伝送方式は少ない。

【００１８】本発明の多次元画像圧縮伸張方法は、静止
画像における２次元的な輝度情報、あるいは２次元的な
輝度情報に時間軸をも含む３次元的な輝度情報などの画
像情報について、図５の(ａ)及び図９の(ｃ)に例示され
ている等輝度線(等高線)｛３次元的な輝度情報の場合に
は等輝度面}を抽出し、抽出された前記の等輝度線(等高
線){３次元的な輝度情報の場合には等輝度面｝の曲率の
正負の極大点、または前記の等輝度線(等高線){３次元
的な輝度情報の場合は等輝度面}の直線近似（３次元的
な輝度情報の場合には平面近似｝からの誤差が、予め定
められた閾値を越えた点を、前記した画像の特徴点とし
て、前記した画像の特徴点の位置及び輝度値を伝送(記
録）,画像復原に用いるようにし、輝度関数の再生に影
響が少ない画素の輝度情報を棄却することにより大幅な
画像情報の圧縮が実現できるようにし、また、輝度関数
における予め定められた空間周波数値よりも高い空間周
波数成分を有する領域を直交変換し、それによって得た
スペクトラムの絶対値のパターンが等しい領域を等テク
スチャー領域として、それぞれスペクトラムの絶対値の
パターンを異にする各等テクスチャー領域について、そ
れぞれの領域の境界点列の情報とスペクトラム情報とを
組にしたテクスチャー情報を発生させて、伸張に際して
は、前記した近傍の複数の特徴点によって決定される補
間面、または補間立体にテクスチャー情報を付加して、
テクスチャー情報も有する高能率、高品質に画像圧縮伸
張できるのである。

【００１９】本発明の多次元画像圧縮伸張方法を示す図
１において、１は多次元画像圧縮伸張の対象にされる画
像信号の信号源であり、前記の画像信号源１としては、
例えば画像信号を発生する撮像装置(ＴＶカメラ)あるい
はＶＴＲ、その他のものが使用できる。また２はアナロ
グデジタル変換器、３は画像メモリ、４は等高線トレ−
サ特徴点抽出部（詳細な構成例が図２に示されてい
る)、６は符号化送出部、７は受信復号部（または再生
復号部）、８はテクスチャー再生部、９は輝度関数再生
部、１０は画像メモリ、１１は駆動回路、１２はモニタ
受像機である。

【００２０】ここで、本発明の多次元画像圧縮伸張方法
における画像情報の圧縮の原理と、復原（伸張）の原理
とについて説明すると次のとおりである。まず、静止画
像について画像情報圧縮が行なわれる際に画像から抽出
される前述のような特徴点、すなわち、輝度関数の等輝
度線（等高線）｛３次元的な輝度情報の場合には等輝度
面｝の曲率の正負の極大点、または前記の等輝度線（等
高線）｛３次元的な輝度情報の場合は等輝度面｝の直線
近似（３次元的な輝度情報の場合には平面近似｝からの
誤差が、予め定められた閾値を越えた点をも抽出する場
合における画像の特徴点について、１．検討対象にさ
れている画素ａの前後における前記した等高線｛３次元
的な輝度情報の場合には等高面｝の曲がりが、予め定め
られた閾値角度を越えている場合に、前記の画素ａは特
徴点であると判定する。２．既検出の特徴点画素と、
そこから前記の等高線｛３次元的な輝度情報の場合には
等高面｝に従って、ある方向に辿って行った画素との間
の仮想的直線に対して、前記した両画素間の画素で、あ
る閾値距離を越えた距離を示す画素を特徴点であると判
定する。

【００２１】ここで前記した判定基準を採用して、任意
の静止画像における２次元画面内の輝度分布関数を例示
している図９を例にとり、前記のような画像情報圧縮の
対象画像の特徴点を抽出する場合についての具体例を述
べると次のとおりである。図９の（ａ）は２次元画面内
の輝度分布関数の等高線の１つを例示しているものであ
るが、前記の２次元画面内の輝度分布関数の等高線の抽
出は、次のような手順によって行なわれる。図９の
（ｂ）を参照して、等しい輝度を示す点の探索法につい
て説明する。図９の（ｂ）において(１）〜(４）を４個
の画素とし、前記した各画素(１）〜(４）の輝度値が、
図中のＨ，Ｌ（Ｈは高輝度値、Ｌは低輝度値とする）で
示されるようなものであるとし、また、第１の抽出値を
得た点Ｓを等高線抽出の開始点とする。前記のＳ点は画
素（１）と画素（４）との中間にあるから、その座標位
置の輝度値は例えば前記した画素(１）の輝度値と画素
(４）の輝度値とに応じた輝度値の比例配分値を用いて
もよい。

【００２２】前記した開始点Ｓ点からＳ点の輝度値と等
しい輝度値を示す点を結んで得られる等輝度線(等高線)
を追跡するために、前記した４個の画素(１）〜(４）に
よって示される画形における辺(１）−(２）、(２）−
(３）、(３）−(４）の順に、前記した開始点Ｓの輝度
値と同一の輝度値（等高値）を有する点の有無を検証す
ると、前記した等高値は辺(１）−(２)上のＭ1点で検出
される。前記した等高値を有する点Ｍ1が検出された後
に、前記の手順を繰返して次の等高値の点Ｍ2を検出す
るというようにして、順次に等高値を示す点を追跡して
等高線の抽出を進めて行く。なお、前記の等高線の抽出
に当っては、既に等高線が交叉している辺は検出対象か
ら除外(前記した開始点Ｓだけは例外とする）する。前
述のようにして、ある輝度値と等輝度値を有する順次の
点が検出されることにより、図９の（ａ）に例示されて
いるような２次元画面内の輝度分布関数の等高線の１つ
が抽出される。

【００２３】２次元画面内の輝度分布関数の等高線の１
つを例示している図９の（ａ）において、開始点とされ
たＳ点から順次に追跡された等輝度点の連なりによって
形成される等輝度線（等高線）の進路が急変している点
Ｍ6は、既述した特徴点の判定基準の１．に従って特徴
点として判定されている(点Ｍ8，Ｍ14，Ｍ16，Ｍ18，Ｍ
20についても既述した特徴点の判定基準の１．に従って
特徴点として判定されている)。前記した等輝度値を示
す点Ｍ8が検出された後に、順次に等輝度値の点を追跡
して点Ｍ12に達した時に、仮想直線Ｍ8−Ｍ12に対して
距離が生じた点Ｍ10は、方向の急変点ではないが既述し
た特定点の判定基準２．に従って特徴点と判定されてい
る。このことは点Ｍ12，Ｍ22についても同様である。こ
のように、２次元画面内の輝度分布関数は等高線（等輝
度線）に置換されることにより画像情報の棄却が行なわ
れ、さらに等高線の特徴点に集約されるために、本発明
の多次元画像圧縮伸張方法では高度に圧縮された状態で
伝送（記録）を行なうことができるのである。

【００２４】前記のように、本発明の多次元画像圧縮伸
張方法では、画像情報の圧縮の対象にされている画像に
おける２次元輝度関数が、少数の特徴点の位置情報と輝
度情報とに置換されることにより、画像情報が高度に圧
縮された状態で伝送（記録）された画像情報を伸張（復
原）して再生画像を得るのには、前記した特徴点が伸張
画面内の対応点（原画像と画素対応である必要はない）
の輝度値を決定し、かつ特徴点からの距離に比例して周
辺画素への影響力を失なって行くような伸張法が採用さ
れているのである。そして、前記のような画像情報の伸
張は、１次元上では特徴点間での直線補間によって行な
われることになるが、多次元空間内での画像情報の伸張
は平面補間、または立体補間によって行なわれるのであ
り、次にその原理について図１０を参照して説明する。

【００２５】図１０は、図９を参照して既述したように
して得られた図９の（ａ）中に示されている各特徴点
Ｓ，Ｍ6，Ｍ8，Ｍ10，Ｍ12，Ｍ14，Ｍ16，Ｍ18，Ｍ20，
Ｍ22の位置情報(アドレス)を用いて、再生側画像メモリ
上に再現された等高線(等輝度線)を含んでいる。図１０
中において前記の等高線（Ｍ群の等高線）は、前記した
各特徴点Ｓ，Ｍ6，Ｍ8，Ｍ10，Ｍ12，Ｍ14，Ｍ16，Ｍ1
8，Ｍ20，Ｍ22を順次に結ぶ点線によって示されてい
る。また、図１０中で各特徴点Ｎｉ，Ｎｊ，Ｎｋ，Ｎｌ
を順次に結ぶ点線は、前記したＭ群の特徴点による等高
線とは異なるＮ群の特徴点の等高線を示している。今、
前記したＭ群の等高線とＮ群の等高線との間の領域を、
Ｎ群が示す輝度値によって充当した場合には、Ｍ群の等
高線によって包囲されている領域における輝度値との間
に生じる明確な輝度段差によって、所謂、擬似輪郭現象
が発生するために高品質な伸張画像を得ることができな
いことになる。それで、前記のような擬似輪郭現象が発
生しないようにするために、Ｍ群に属する特徴点とＮ群
に属する特徴点とをｚａ＝Σ（ｚｉ／ｒｉ）／Σ（１
／ｒｉ） …（Ａ）前記の（Ａ）式の近似演算である平面補間で充当する。

【００２６】今、伸張画面内に特定な画素ａを考え、前
記の特定な画素ａから各特徴点の画素までの距離をｒｉ
とし、また各特徴点の画素の輝度値をｚｉとし、さらに
αを比例定数として、前記した特徴点の内の１つの特徴
点ｋの輝度値ｚｋと、前記した画素ａの輝度値ｚａとの
関係は、次の（４）式の補間式によって示される。ｚａ＝ｚｋ＋αｋ・ｒｋ …（４）前記の（４）式における右辺第２項のαｋ・ｒｋは、画
素ａの輝度値と特徴点ｋの輝度値ｚｋとの輝度値のずれ
を示しており、このαｋ・ｒｋの値は距離ｒに比例して
いる。前記した画素ａの輝度値と特徴点ｋの輝度値ｚｋ
との輝度値のずれαｋ・ｒｋには正負があり、それは比
例定数αに反映されるが、補間空間全体でのαの総和は
零である。それで、 Σαｋ＝０ …（５）
（５）式の条件を加味して前記した（４）式からαの項
を消去することにより、画素ａの輝度値ｚａの一般的な
補間式を求めると、前述の（Ａ）式が得られるのであ
る。ｚａ＝Σ（ｚｉ／ｒｉ）／Σ（１／ｒｉ） …（Ａ）

【００２７】前記の（Ａ）式は、全特徴点の輝度値ｚｉ
と、補間の対象にされた画素ａとの距離ｒが判かれば、
画面内部の未補間全画素（原画との画素対応はなくても
よい）の輝度値は補間によって求めることが可能である
ことを示している。しかし（Ａ）式は特徴点の増大によ
っては実用的な計算量を越えるため、未補間画素を囲む
近傍３特徴点によって決定される補間面により補間輝度
値を近似算出する。そして、１平面は周知のように空間
内の３点によって決定されるから、近傍の３つの特徴点
を群とすることにより補間三角形が得られることにな
る。したがって図１０中における各３個ずつの特徴点
「Ｎｉ，Ｎｊ，Ｓ」，「Ｎk，Ｍ6，Ｓ」，「Ｎj，Ｎk，
Ｓ」によって形成される各三角形内の画素の輝度値は、
それぞれ前記の（Ａ）式を行いた近似演算による平面補
間で充当され得るのである。

【００２８】さて、前記のような平面補間を行なう場合
の補間面の決定には、近傍の３つの特徴点を抽出する必
要があるが、次に、図１２を参照して前記した近傍の３
つの特徴点の抽出原理について説明する。図１２におい
て画素Ｍｉ，Ｍｊは輝度値（等高値）がＭであるような
Ｍ群の等高線（等輝度線）上の特徴点であり、また、画
素Ｎｉ，Ｎｊ，Ｎｋは輝度値（等高値）がＮであるよう
なＮ群の等高線（等輝度線）上の特徴点であり、さらに
画素Ｏｉ，０ｊ，０ｋは輝度値（等高値）がＯであるよ
うなＯ群の等高線（等輝度線）上の特徴点であって、画
像の伸張時には前記した各等高値を有する特徴点群のデ
ータが、再生側画像メモリに記憶される。図中において
前記した各等高線はそれぞれ別の点線によって示されて
いる。

【００２９】特徴点以外の任意の画素について、その任
意の画素が、どの特徴点に近いのかを探索するのには、
例えば図１１のようにして行なうことができる。図１１
において任意の画素Ｐの近傍に特徴点の画素Ｍ，Ｎが存
在していたとした場合に、前記した任意の画素Ｐから図
中の点線矢印の経路に従って渦巻状に隣接画素を検査し
て行くと、特徴点の画素Ｎよりも先に特徴点の画素Ｍに
到達する。このことにより前記した任意の画素Ｐは特徴
点の画素Ｎではなく、特徴点の画素Ｍの近傍にあるもの
として検出される。そこで、前記の画素Ｐには特徴点の
画素Ｍの領域にあることを示す印を記入する。

【００３０】図１２は特徴点の画素以外の複数の任意画
素に、それぞれの任意の画素が属している特徴点記号
が、図１１を参照して前記したような手順に従って記入
された状態が示されている。前記した特徴点記号を結ぶ
点線が、前記した特徴点の影響領域の境界である。今、
例えば３領域の境界であるΔ１に着目すると、このΔ１
には画素Ｎｊ,Ｎｋ,Ｏｋが隣接している。従って、画素
Ｎｊ,Ｎｋ,Ｏｋが近傍の３個の特徴点とみなされ、三角
形Ｎｊ，Ｎｋ，Ｏｋが輝度補間平面として決定され、前
記した三角形Ｎｊ,Ｎｋ,Ｏｋの内部に存在する画素の輝
度値は、前記した輝度補間平面の輝度値によって充当さ
れる。同様にして別の３領域の境界であるΔ２に着目す
ると、このΔ２には画素Ｎｊ，Ｏｊ，Ｏｋが隣接してい
る。従って画素Ｎｊ,Ｏｊ，Ｏｋが近傍の３個の特徴点
とみなされ、三角形Ｎｊ,Ｏｊ，Ｏｋが輝度補間平面と
して決定され、前記した三角形Ｎｊ，Ｏｊ，Ｏｋの内部
に存在する画素の輝度値は、前記した輝度補間平面の輝
度値によって充当される。

【００３１】前記のような手順によって、１特徴点の影
響の及ぶ画素領域を拡張面（３次元対象の場合には拡張
立体）によって探索して、前記の１特徴点の影響の及ぶ
画素領域の境界から、近傍３特徴点（３次元対象の場合
には４特徴点）を検出するようにすることにより、少数
の特徴点情報から伸張側の輝度関数が決定され、未伝送
画像情報の各輝度値は、前記の補間値によって充当され
て画像全体の内容が再現されるのである。図５の（ｂ）
には輝度補間平面によって再描画された状態が示されて
いる。なお、２次元対象の場合の拡張面としては、円、
正方形、直方形、菱形等が用いられるとよく、また、３
次元対象の場合の拡張立体としては、球、回転楕円体、
底面を対称面として連結された２個の円錐体、底面を対
称面として連結された２個の角錐体等が用いられてもよ
い。

【００３２】ところで一般の自然画には、図５の（ａ）
または図９の（ｃ）に示されるような全体的な輝度関数
構造に加えて、図６の（ａ）中にα，βで示されている
ような被写体のテクスチャー（きめ）が存在しており、
前記した輝度関数とテクスチャーとの再現度合によっ
て、伸張画像の質感が視覚上で大きく影響されることが
知られているが、輝度補間平面を例示している図５の
(ｂ)を見ても判かるように、再描画された伸張画像の輝
度関数は、それの細部が補間によって決定されるために
当然のことながらテクスチャーの再現が困難であること
は容易に理解できる。そして、本発明の多次元画像圧縮
伸張方法では、テクスチャーと輝度関数とを別個に取扱
って、静止画像における２次元的な輝度情報、あるいは
２次元的な輝度情報に時間軸をも含む３次元的な輝度情
報などの画像情報については、既述のとおり、図５の
(ａ)及び図９の(ｃ)に例示されている等輝度線(等高線)
｛３次元的な輝度情報の場合には等輝度面}を抽出し
て、抽出された前記の等輝度線(等高線){３次元的な輝
度情報の場合には等輝度面｝の曲率の正負の極大点、ま
たは前記の等輝度線(等高線){３次元的な輝度情報の場
合は等輝度面}の直線近似（３次元的な輝度情報の場合
には平面近似｝からの誤差が、予め定められた閾値を越
えた点を、前記した画像の特徴点として、前記した画像
の特徴点の位置及び輝度値を伝送(記録）,画像復原に用
いるようにして、輝度関数の再生に影響が少ない画素の
輝度情報を棄却することにより大幅な画像情報の圧縮が
実現させているが、テクスチャーについては、例えば、
輝度関数における予め定められた空間周波数値よりも高
い空間周波数成分を有する領域を直交変換し、それによ
って得た周波数スペクトラムパターン（以下、周波数ス
ペクトラムが、単に、スペクトラムと記載されることも
ある）の絶対値のパターンが等しい領域を等テクスチャ
ー領域として、それぞれスペクトラムの絶対値のパター
ンを異にする各等テクスチャー領域について、それぞれ
の領域の境界点列の情報とスペクトラム情報とを組にし
たテクスチャー情報を発生させて、伸張に際しては、前
記した近傍の複数の特徴点によって決定される補間面、
または補間立体にテクスチャー情報を付加するようにし
ている。

【００３３】すなわち、図６の（ａ）に例示してあるテ
クスチャーを含む輝度関数についてみると、前記した図
６の（ａ）に例示してあるテクスチャーを含む輝度関数
は、図５の(ａ）と図６の(ｂ）とにそれぞれ示されてい
るような異なった周波数成分の関数の合成として捉える
ことができるので、本発明の多次元画像圧縮伸張方法で
は、例えば図５の(ｂ）に例示されているような信号処
理と、図６の(ｂ）に例示されている領域｛境界点
（１）〜（４）によって包囲されている領域｝のテクス
チャーαと、領域｛境界点（５）〜（９）によって包囲
されている領域｝のテクスチャーβとに対する信号処理
とを、異なった２つの周波数成分の関数に対する信号処
理として、周波数帯域で分離して別個に処理するのであ
る。

【００３４】被写体のテクスチャー情報としては、例え
ば予め定めた閾値よりも高い空間周波数成分を有する領
域について得た周波数スペクトラムパターンと、前記の
領域の境界点列とを組合わせて用いることができる。す
なわち、例えば図６の（ｂ）中の境界点（１）〜（４）
を結ぶ境界線によって包囲される領域が、予め定められ
た閾値よりも高い空間周波数成分を有する１つの領域
（テクスチャーαの等テクスチャー領域）であり、ま
た、例えば図６の（ｂ）中の境界点（５）〜（９）を結
ぶ境界線によって包囲される領域が、前記した予め定め
られた閾値とは別の閾値よりも高い空間周波数成分を有
する他の領域（テクスチャーβの等テクスチャー領域）
であるが、前記の境界点（１）〜（４）を結ぶ境界線に
よって包囲される領域の一部Ｒαと、前記の境界点
（５）〜（９）を結ぶ境界線によって包囲される領域の
一部Ｒβとに対して、それぞれ直交変換{例えば、離散
コサイン変換…ＤＣＴ}を施す。

【００３５】前記したそれぞれの領域と対応して得られ
るそれぞれの周波数スペクトラムパターンは、１次元的
に見て、例えば図７の（ａ）に例示されているスペクト
ラムパターンのように、スペクトラムの絶対値が周波数
の増加につれて単調に増加しているようなスペクトラム
パターンであったり、あるいは図７の（ｅ）に例示され
ているスペクトラムパターンのように、スペクトラムの
絶対値が周波数の増加につれて単調に減少するようなス
ペクトラムパターンであったり、それぞれ異なっている
ものになっているが、前記したスペクトラムの絶対値の
パターンが等しい領域、すなわち閾値を超えて不等とな
る境界点｛前記した（１）〜（４），（５）〜（９）｝
を結ぶ境界線によって包囲される領域を等テクスチャー
領域とする。そして、前記の被写体のテクスチャー情報
としては、前記のようにそれぞれ異なるテクスチャー
α，β…と対応して、それぞれ個別に設定されたそれぞ
れ特定なスペクトラムパターンと、前記の特定なスペク
トラムパターンで表わされる等テキスチャー領域の境界
線を示す境界点列とを用いることができ、前記のテクス
チャー情報が画像のテクスチャーの伝送(記録）,画像復
原に用いられるのである。

【００３６】前記したテクスチャー情報は、画像の復原
に際して前記した等テクスチャー領域を示す境界点列、
例えば図６の（ｂ）における境界点（１）〜（４）で示
される領域、あるいは図６の（ｂ）における境界点
（５）〜（９）で示される領域毎のスペクトラムに対し
て、それぞれ直交逆変換{例えば、離散コサイン逆変換
…ＩＤＣＴ}を施し、その結果を既述した輝度関数に付
加して、テクスチャーを含んだ再現画像が得られるよう
にする。ところで、前記の直交逆変換が行なわれたスペ
クトラムは、例えば、図６の（ｂ）における境界点
（１）〜（４）で示される領域内における一部Ｒαと対
応しているスペクトラム、あるいは図６の（ｂ）におけ
る境界点（５）〜（９）で示される領域内における一部
Ｒβと対応しているスペクトラムなのであり、前記の直
交逆変換によって得られるテクスチャーは、図６の
（ｂ）における境界点（１）〜（４）で示される領域全
域のテクスチャー、あるいは図６の（ｂ）における境界
点（５）〜（９）で示される領域全域のテクスチャーで
はない。

【００３７】それで、例えば、図６の（ｂ）における境
界点（１）〜（４）で示される領域内における一部Ｒα
と対応しているスペクトラムを直交逆変換して得たテク
スチャーによって図６の（ｂ）における境界点（１）〜
（４）で示される領域全体を満たそうとすると、前記の
領域はあたかも同じパターンのタイルが貼り付けられた
ような状態になってしまって、自然感のある再現画像が
得られないことが起こる。前記の問題が生じないように
するために、例えば、図６の（ｂ）における境界点
（１）〜（４）で示される領域内における一部Ｒαと対
応しているスペクトラムが、例えば図７の（ａ）に例示
されているスペクトラムパターンで示されるものであっ
た場合には、スペクトラムの絶対値パターンを変えるこ
となく、符号だけをランダマイズしたスペクトラムパタ
ーン｛例えば図７の（ｂ）〜（ｄ）参照｝を発生させ
て、前記の符号だけをランダマイズしたスペクトラムパ
ターンを貼り合わせて図６の（ｂ）における境界点
（１）〜（４）で示される領域全体のテキスチャーの再
現が行なわれるようにする。

【００３８】また、例えば、図６の（ｂ）における境界
点（５）〜（９）で示される領域内における一部Ｒβと
対応しているスペクトラムが、例えば図７の（ｅ）に例
示されているスペクトラムパターンで示されるものであ
った場合には、スペクトラムの絶対値パターンを変える
ことなく、符号だけをランダマイズしたスペクトラムパ
ターン｛例えば図７の（ｆ）〜（ｈ）参照｝を発生させ
て、前記の符号だけをランダマイズしたスペクトラムパ
ターンを貼り合わせて図６の（ｂ）における境界点
（５）〜（９）で示される領域全体のテキスチャーの再
現が行なわれるようにする。

【００３９】ところで前記のように、ある領域｛例えば
図６の（ｂ）における境界点（１）〜（４）で示される
領域｝についてのテクスチャーの再現を、その領域内の
一部の領域（例えばＲα）のスペクトラムだけによって
行なうのに、前記したその領域内の一部の領域のスペク
トラムの絶対値パターンを変えることなく、符号だけを
ランダマイズしたスペクトラムパターンを発生させ、そ
れを貼り合わせて領域全体のテキスチャーの再現を行な
った場合には、前記したその領域内の一部の領域（例え
ばＲα）の辺縁は、隣接して配置される前記した領域
（Ｒα）とは輝度関数としては不連続であるために、前
記のようにして再現されたある領域｛例えば図６の
（ｂ）における境界点（１）〜（４）で示される領域｝
の内部には、前記したその領域内の一部の領域（例えば
Ｒα）の辺縁が縦横の境界線として表示されることが起
こるが、前記の縦横の境界線は偽信号であるから、前記
の縦横の境界線の近傍の画素の情報に低域通過濾波特性
を与える等の手段を施すことにより前記の偽信号の発生
を減少させるとよい。

【００４０】前述のような手順によって、少数個の特徴
点情報に基づいて伸張側の輝度関数が決定され、未伝送
画素情報におけるそれぞれの輝度値は、前記した輝度補
間平面の輝度値により補間されて画像全体の内容が再現
され、また、前記した近傍の複数の特徴点によって決定
される補間面、または補間立体にテクスチャー情報が付
加されて高品質の再現画像が得られる。これまでの説明
から明らかなように、圧縮側と伸張側とにおいて共有し
ようとするものは画面の輝度関数なのであり、その特徴
点の位置情報を画面全体に対する相対値で示せば、圧縮
側と伸張側との画素数が一致している必要はないのであ
り、本発明の多次元画像圧縮伸張方法によって抽出され
た画像の特徴情報は、伸張側の画素数（解像度規模）に
応じて再描画されることになるのである。

【００４１】図１に示す本発明の多次元画像圧縮伸張方
法において、画像信号源（例えばＴＶカメラ）１では所
定の標準方式のテレビジョン方式に従った映像信号を発
生してアナログデジタル変換器２に供給する。前記した
画像信号源１としては本発明の多次元画像圧縮伸張方法
によって圧縮伸張されるべき画像情報を発生させること
ができる映像信号発生装置であればどのような構成態様
のものであっても使用できるが、以下の説明例では画像
信号源１として動画像の白黒の映像信号を発生できる構
成態様のものが使用されるとしている。前記した画像信
号源１から発生された映像信号は、アナログデジタル変
換器２によりデジタル信号に変換される。前記のアナロ
グデジタル変換器２では１画像分毎の映像信号につい
て、画像の横，縦方向毎にそれぞれ所定の画素数（例え
ば画像の横方向に５１２画素、画像の縦方向に４８０画
素）に分解した状態の１画素毎に所定のビット数（例え
ば８ビット）のデジタル信号として、それを画像メモリ
３に記憶する。

【００４２】画像メモリ３は、画像における特定輝度の
等高線を抽出して、特徴点を決定するための動作を行な
ったり、画像のテクスチャー情報を発生させるために使
用される画像メモりであって、画像メモリへのデータの
書込み動作と、特徴点の決定動作時に行なわれるデータ
の読出し動作とが、２個の画像メモリを用いて順次交互
に並列的に行なわれるようにされている。前記した画像
メモリ３からの出力は、等高線トレーサ特徴点抽出部４
（詳細な構成例が図２に示されている）と、テクスチャ
ー抽出部５｛詳細な構成例が図３の（ａ）に示されてい
る｝とに供給される。そして、前記した等高線トレーサ
特徴点抽出部４では画像情報における等高線（等高線）
の抽出と、特徴点の決定動作とを行ない、決定された画
像情報圧縮の対象にされている画像の特徴点の情報が符
号化送出部６に与えられ、また、テクスチャー抽出部５
では画像のテクスチャー情報の抽出と、特徴点の決定動
作とを行ない、決定された諸情報を符号化送出部６に与
える。

【００４３】前記した符号化送出部６では、情報を能率
良く伝送できる符号、例えばハフマンコード等の公知の
符号に変換して伝送路を介して受信復号部７に伝送す
る。受信復号部７では、それに伝送されて来た符号化さ
れた信号を復号して輝度関数再生部９（詳細な構成例が
図３に示されている）に与える。前記した伝送路の部分
が記録媒体となされた場合には、前記した符号化送出部
６や受信復号部７等としては、それぞれ記録回路や再生
回路が用いられることはいうまでもない。前記の輝度関
数再生部９では、それに供給された特徴点の情報を用い
て圧縮前の２次元輝度関数を復元して画像メモリ１０に
記憶させる。また、テキスチャー再生部８ではテキスチ
ャーを復元して画像メモリ１０に記憶させる。そして、
復元された２次元輝度関数関数を構成する各画素の輝度
値とテキスチャーとが、画像メモリ１０から読出されて
駆動回路１１に供給され、駆動回路１１においてアナロ
グ信号形態の時系列信号に変換された後に、モニタ受像
機１２によって映出させるべき画像の映像信号を発生し
て、それがモニタ受像機１２に与えられる。

【００４４】図１中でブロック４として示されている等
高線トレーサ特徴点抽出部４の詳細な構成例を示してい
る図２において、等高線トレーサ特徴点抽出部４と画像
メモリ３との間には、複数本の信号伝送路が設けられて
いる状態が示されている。等高線トレーサ特徴点抽出部
４にはそれぞれ複数個（ｎ個）のアドレス発生器１３〜
１５、輝度判定器１６〜１８、輝度値発生部１９〜２
１、シフトレジスタ２２〜２４、特徴点判定器２５〜２
７と、１個の整列回路２８とが設けられている。前記し
たアドレス発生器１３〜１５では、画像メモリ３のアド
レスを指定するアドレスデータを発生し、発生されたア
ドレスデータを画像メモリ３に与える。

【００４５】アドレス発生器１３（１４，…１５）から
発生されたアドレスデータによって指定されたアドレス
の記憶領域から読出された輝度値のデータと、輝度値発
生部１９（２０，…２１）によって発生された特定な輝
度値のデータとが与えられる輝度判定器１６（１７，…
１８）では、前記の両データの比較を行なって、その比
較結果をアドレス発生器１３(１４，…１５)に与える。
それにより、アドレス発生器１３では、例えば図９の
（ｂ）中のＭ1と対応する新しいアドレス(画素アドレス
の中間を含む)データを発生し（他のアドレス発生器１
４，…１５でも、それぞれアドレスデータを発生するこ
とはいうまでもない）て、それを画像メモリ３に与え
る。画像メモリ３では、前記のようにして与えられたア
ドレスデータにより指定されたアドレスの記憶領域から
読出された輝度値のデータを、等高線トレーサ特徴点抽
出部４の輝度判定器１６（１７，…１８）に供給する。

【００４６】輝度判定器１６（１７，…１８）では、画
像メモリ３から読出された輝度値のデータと、輝度値発
生部１９（２０，…２１）によって発生された特定な輝
度値のデータとの比較を行なって、その比較結果をアド
レス発生器１３(１４，…１５)に与える。以下、同様に
して前記のような動作が順次に行なわれることによっ
て、輝度値発生部１９（２０，…２１）によって発生さ
れた特定な輝度値のデータによって示される輝度値と略
々等しい輝度値が存在しているアドレス値が順次に発生
される。前記の各アドレス値は、図９に例示されている
例のように画素アドレス値の中間を示している場合には
近傍の画素アドレス値に置換して、前記の動作が順次に
行なわれるのである。

【００４７】前記のようにアドレス発生器１３（１４，
…１５）から順次に発生されたアドレスデータは、シフ
トレジスタ２２（２３，…２４）にも与えられており、
前記のシフトレジスタ２２（２３，…２４）の並列出力
が供給されている特徴点判定器２５（２６，…２７）で
は、前記した前記のシフトレジスタ２２（２３，…２
４）が特定の画素数(例えば１０画素)のアドレスデータ
を蓄積した状態で、新アドレスが１個入力され、最古の
アドレスが１個消滅する毎に、既述した特徴点の判定基
準に従って前記のアドレス群中から特徴点となる画素を
検出する。そして特徴点となる画素のアドレス値と輝度
値とは、整列回路２８に供給される。整列回路２８で
は、前記のように複数の特徴点判定器２５,２６,…２７
から出力されたそれぞれ異なる等高値を示す特徴点群の
アドレス値と輝度値とを等高値（等輝度値）別に分類し
て送出させるための整列動作を行なう。整列回路２８か
らの出力は、等高線トレーサ特徴点抽出部４の出力とし
て符号化送出部６に供給される。なお前記の画像メモリ
３としては、等高線トレーサ特徴点抽出部４での信号処
理が複数の等高線の追跡を並列的に行なうようにしてい
るために、マルチポート構造のものが用いられる。

【００４８】時間的には、前記の等高線トレーサ特徴点
抽出部４による１画面（走査標準として飛越走査方式が
採用されている画像については、１フィールド期間）分
の走査が終了した時点で、その１画面に対する特徴点の
抽出動作が終了することになる。そして、等高線トレー
サ特徴点抽出部４の出力が供給された符号化送出部６で
は、既述のように情報を能率良く伝送できる符号、例え
ばハフマンコード等の公知の符号に変換して伝送路を介
して受信復号部７に伝送する。前記した特徴点の抽出動
作が終了した画面の次の画面に対する特徴点の抽出動作
の実行は、前記した例えばハフマンコード等の公知の符
号に変換するための符号化に必要とされる時間と、伝送
路を介して受信復号部７に伝送するために必要とされる
時間中に行なわれる。なお、例えば１画面中の特徴点の
検出数が多い等の理由により、前記した符号化時間と伝
送時間との和の時間が、１画面の走査時間を超える恐れ
があるような場合には、特徴点の検出動作に用いられる
前記した閾値角度または閾値距離を自動調整して、特徴
点数が制限されるようにすることは望ましい実施の態様
である。

【００４９】一方、図１中でブロック５として示されて
いるテクスチャー抽出部５の詳細な構成例を示している
図３の(ａ）において５１は直交変換部であり、図３の
(ａ)では直交変換部５１として、直交変換動作が２次元
離散コサイン変換方式によって行なわれる２次元離散コ
サイン変換部が用いられている。なお、直交変換方式と
しては、変換動作によって周波数スペクトラムパターン
が得られるようなものであれば、どのような方式でも良
いが、前記した２次元離散コサイン変換方式は、既述し
たスペクトラムパターンの符号だけをランダマイズする
ことが容易である点で有利である。５２はパターンメモ
リ、５３は境界線検出部、５４は特徴点検出部（境界線
検出部５３と特徴点検出部５４との部分の具体的な一例
構成が図８に示されている）、５５はパターンブックで
ある。

【００５０】画像メモリ３から読出されたデジタル信号
が供給されたテクスチャー抽出部５の直交変換部５１で
は、各テクスチャー領域毎の２次元離散コサイン変換動
作を行なう。そして、前記の２次元離散コサイン変換動
作で得た高周波成分含有量のパターンと対応するパター
ン番号をパターンブック５５から得て、それをパターン
メモリ５２に送る。前記したパターンメモリ５２に、一
画面分のテクスチャーパターン情報が記憶され終った段
階で、境界線検出部５３（図８参照）では同一なパター
ン番号を有する領域の境界を検出し、その境界情報を特
徴点検出部５４（図８参照）に与える。そして、図８に
例示してある境界線検出部５３と特徴点検出部５４とに
おいて、境界線検出部５３は、アドレス発生器２９〜３
１、テクスチャーパターン判定器（テクスチャー番号判
定器）３２〜３４、テクスチャー番号発生器（テクスチ
ャー番号発生器）３５〜３７などによって構成されてお
り、また、特徴点検出部５４は、シフトレジスタ３８〜
４０、特徴点判定器４１〜４３、整列回路４４などによ
って構成されている。

【００５１】前記した境界線検出部５３と特徴点検出部
５４とは、図２について既述した等高線トレーサ特徴点
抽出部４において輝度関数に対して行なわれた動作と同
様な動作によって、境界線の検出と特徴点の検出とを行
なって、前記した特徴点検出部５４における整列回路４
４から、テクスチャー領域毎の境界線の特徴点の位置の
情報と、前記した境界線内領域に対応するパターン番号
とを符号化送出部６に送り、符号化送出部６は、それに
等高線トレーサ特徴点抽出部４から供給された画像情報
圧縮の対象にされている画像の特徴点の情報と、テクス
チャー抽出部５から供給されたテクスチャー領域毎の境
界線の特徴点の位置の情報と、前記した境界線内領域に
対応するパターン番号とを、受信復号部７に伝送する。

【００５２】受信復号部７では、それに伝送されて来た
符号化された信号を復号して輝度関数再生部９とテクス
チャー再生部８とに与える。図１中でブロック９によっ
て示されている輝度関数再生部９の詳細な構成例が図４
に示してあり、また、図１中でブロック８によって示さ
れているテクスチャー再生部８の詳細な構成例が図３の
（ｂ）に示してある。まず、輝度関数再生部９を示して
ある図４において、９１は切換器、９２，９３は画像メ
モリ、９４はサーチアドレス発生器、９５は補間面判定
回路、９６は補間値書込み回路、９７は読出制御回路で
あり、輝度関数再生部９においては、受信復号部７から
供給された特徴点の情報を用いて、圧縮前の２次元輝度
関数を復原する動作を行なう。

【００５３】図４に示されている輝度関数再生部９に対
して特徴点の情報、すなわち特徴点のアドレス値と輝度
値とが入力情報として供給されると、前記の情報は切換
器９１を介して２個の画像メモリ９２，９３の何れかの
ものに供給されて、それに記憶される。前記の２個の画
像メモリ９２，９３が切換えられるようにして用いられ
るようにした理由は、伸張動作のために使用される一方
の画像メモリと、伸張された画像メモリの画像情報を読
出して表示するために使用される画像メモリとを別に設
けることによって、同時動作を可能として伸張作業の全
体を高速化するためである。

【００５４】サーチアドレス発生器９４は、画像メモリ
９２（または９３）に記入される前記した特徴点の画素
以外の画素のアドレスを発生するとともに、前記した画
素に最も近い特徴点の画素を、図１１について既述した
ような方法で探索し、前記した画素に対して図１２のよ
うに最も近い特徴点の画素の領域（特徴点の画素の属性
領域）にあることを示す印を記入する。また、補間面判
定回路９５は、前記した画像メモリ９２（または９３）
における属性領域を読み出すことにより領域境界を探索
して、隣接領域の各加印特徴点名から補間決定のための
３個の特徴点を抽出する。さらに、補間値書込回路９６
は前記した画像メモリ９２（または９３）内に決定され
た補間３角面の内部領域の補間値を算出して、前記の内
部領域に存在する特徴点以外の画素の輝度値を、前記し
た補間値で充当するように前記した画像メモリ９２（ま
たは９３）へ書込む動作を行なう。読出制御回路９７は
現在作業中の一方の画像メモリ９２（または９３）と
は、別の他方の画像メモリ９３（または９２）に記憶さ
れている画素の情報を、画像信号として読出して画像メ
モリ１０に供給する。

【００５５】次に、テクスチャー再生部８を示してある
図３の（ｂ）において、８１は特徴点補間器、８２は領
域生成器、８３は境界内混合器、８４はパターンブッ
ク、８５は符号乱化器、８６は直交逆変換部（図示の例
では２次元離散コサイン逆変換部）である。前記した特
徴点補間器８１では、受信復号部７から供給された境界
点列の情報から境界線の情報を再現して領域生成器８２
に与え、前記の領域生成器８２で領域情報を生成してそ
の領域情報が境界内混合器８３に供給される。また、パ
ターンブック８４では、受信復号部７から供給されたパ
ターン番号と対応するスペクトラムを出力して、それを
符号乱化器８５に与え、前記の符号乱化器８５ではスペ
クトラムパターンの符号だけをランダマイズして、２次
元離散コサイン逆変換部８６に与える。

【００５６】２次元離散コサイン逆変換部８６では、そ
れに供給された符号だけがランダマイズされているスペ
クトラムパターンを、２次元離散コサイン逆変換してテ
クスチャーを再現して境界内混合器８３に供給する。境
界内混合器８３では決定されたテクスチャー表示領域に
ランダマイズテクスチャーを集合させてテクスチャー領
域情報を再現して画像メモリ１０に記憶させる。前記の
ように、テクスチャー表示領域にランダマイズテクスチ
ャーを集合させてテクスチャー領域情報を再現する場合
には、前記した領域内の一部の領域の辺縁によって、既
述のように縦横の境界線として表示されることが起こら
ないように、前記の縦横の境界線の近傍の画素の情報に
低域通過濾波特性を与える等の手段を施して偽信号の発
生を減少させる。

【００５７】駆動回路１１では、輝度情報とテキスチャ
ーの情報とを所定の標準方式に従う時系列的な画像信号
として画像メモリ１０から順次に読出し、画像メモリ１
０から読出されたテキスチャー情報が付加された状態の
画像信号は駆動回路１１に供給される。前記の駆動回路
１１では前記した時系列的な画像信号をデジタルアナロ
グ変換器によって、アナログ信号形態の画像信号に変換
した後に、前記の画像信号に対してブランキング信号や
同期信号を付加し、それをモニタＴＶ受像機（図１参
照）に与えて、モニタＴＶ受像機の表示面上に再生画像
を表示させる。

【００５８】これまでの説明は、本発明の多次元画像圧
縮伸張方法を２次元輝度関数の再生に適用した場合につ
いてのものであったが、本発明の多次元画像圧縮伸張方
法は時間軸上に並ぶ複数画面にわたって特徴点を抽出す
る３次元画像圧縮伸張方法に対しても良好に適用できる
のであり、次に、図１３を参照して本発明の多次元画像
圧縮伸張方法を時間軸上に並ぶ複数画面にわたって特徴
点を抽出するようにした３次元画像圧縮伸張方法に実施
した場合の例について説明する。図１３は、３次元的に
分布する画像情報から検出された特徴点によって決定さ
れる補間立体によって特徴点の画素以外の画素の輝度情
報を決定するようにした場合の一実施例を示す。図１３
において画像Ｐ1〜Ｐ4は、時間軸上に配列された静止画
群を示しており、画像情報全体としては３次元的な分布
を有しているものである。

【００５９】図１３中に示されている各静止画像Ｐ1〜
Ｐ4における２次元輝度関数について、等輝度でトレー
スすると等輝度線が得られるが、それを３次元的に拡張
すると等輝度面が得られる。そして、前記した等輝度面
の曲率の正負の極大点、または前記した等輝度面の近似
平面からの誤差が、予め定められた閾値を越えた点を画
像の特徴点としたものが図１３中のＭ1〜Ｍ4である。そ
して、前記した特徴点が3次元的に近傍にあると判定さ
れると、補間立体Ｍ1，Ｍ2，Ｍ3，Ｍ4が定義される。
前記した補間立体Ｍ1，Ｍ2，Ｍ3，Ｍ4の静止画像Ｐ2に
よる写影が、三角形Ｍ2,Ｎ1，Ｎ2であり、また前記した
補間立体Ｍ1，Ｍ2，Ｍ3，Ｍ4の静止画像Ｐ3による写影
が、三角形Ｍ3,Ｎ3，Ｎ4である。前記の各三角形の各頂
点の輝度値は、前記した各補間立体Ｍ1，Ｍ2，Ｍ3，Ｍ4
の頂点の各輝度値から補間算出されることにより決定で
きるために、既述した２次元画像情報に対する補間平面
による未伝送画素輝度の決定の場合と等しい方法によっ
て、各三角形の内部に存在する各画素の輝度値を決定す
ることができる。

【００６０】また、図１３において前記のような３次元
的特徴点の検出を行なわず、例えば静止画像Ｐ1につい
て２次元的特徴点検出を行なった結果、特徴点Ｏ1と特
徴点Ｏ2とを得たとし、ある時間々隔を隔てている静止
画像Ｐ4についても２次元的特徴点検出を行なった結
果、特徴点Ｏ3と特徴点Ｏ4とを得たとして、それらが3
次元的近傍点の場合には、補間立体Ｏ1，Ｏ2，Ｏ3，Ｏ4
が定義され、前記した補間立体Ｏ1，Ｏ2，Ｏ3，Ｏ4の静
止画像Ｐ2による写影は、四角形Ｉ1,Ｉ2，Ｉ3，Ｉ4であ
り、また前記した補間立体Ｏ1，Ｏ2，Ｏ3，Ｏ4の静止画
像Ｐ3による写影は、四角形Ｉ5,Ｉ6，Ｉ7，Ｉ8となる。
この場合には前記した補間平面例の場合の三角形とは異
なるが、一般的な多角形は三角形に分割することができ
るから、この場合でも単一の補間平面が定義でき、前記
した２次元的な方法と同様に、既述した２次元画像情報
に対する補間平面による未伝送画素輝度の決定の場合と
等しい方法によって、各三角形の内部に存在する各画素
の輝度値を決定することができる。

【００６１】次に、本発明の多次元画像圧縮伸張方法を
３次元画像圧縮伸張方法に対して適用した場合のテクス
チャー情報の処理について図１４を参照して説明する。
図１４は移動している車中から樹木を見ている場合の移
動画を示しており、図１４中のＰ1は、ある時刻におけ
る樹木の画像であり、葉の集合のテクスチャーを有して
おり、その一部のパターンをＴ1とし、また、テクスチ
ャー境界の特徴点の一つをＣ1とする。Ｐ2は前記したあ
る時刻に後続する時刻における前記の樹木の画像であ
り、葉の集合のテクスチャーの一部のパターンをＴ2と
し、また、テクスチャー境界の特徴点の一つをＣ2とす
る。そして、前記した補間特徴点、例えばＣ1，Ｃ2間の
対応は、公知技術により画像Ｐ1と画像Ｐ2との動きベク
トルを得ることで達成でき、それを利用することでテク
スチャーＴ1，Ｔ2とを独立に再現するのではなく、テク
スチャーＴ1を動きベクトルの方向と大きさに従って移
動複写することで、テクスチャーＴ2を得ることがで
き、かつ、画像Ｐ1，Ｐ2の中間の時刻に存在する画像に
対しては、テクスチャーＴ1，Ｔ2の位置的補間値で充当
する。

【００６２】それにより、Ｐ1の位置からＰ2の位置に移
動する画像の圧縮に対して、伸張画像(再現画像)の輝度
関数のみの移動が再現し、テクスチャーの移動がそれに
追従しなかったり、移動時にテクスチャーがランダムに
再現されて、移動中の画像の質感が変化したりすること
がない。すなわち、時間軸を含む３次元圧縮において
は、テクスチャー情報として、ある時刻の静止画の特定
テクスチャーの代表領域における例えばテクスチャー番
号（パターン番号）を伝送することで、その後に続く複
数枚の画像のテクスチャー情報を移動複写で得るように
することにより、移動複写される複数枚の画像のテクス
チャー情報の伝送を省略することができ、したがって、
時間軸を含む３次元圧縮においては、２次元圧縮時に比
べて大きな圧縮率を得ることができし、また移動体の輪
郭などを示す輝度関数に追従して、テクスチャーを移動
させることが可能なために移動画像の品位を劣化させる
ことが少ない。

【００６３】また、本発明の多次元画像圧縮伸張方法
は、単に輝度信号ばかりではなく、加法混色の３原色信
号によるカラー信号、あるいは輝度信号と色差信号とに
よるカラー信号のように複数の信号を有する場合にも良
好に適用できることはいうまでもなく、そのような信号
の場合には、複数の各信号における輝度関数の等高線及
びテクスチャーの境界線、特徴点のアドレス等を、複数
の要素間で共用することができる。

【００６４】

【発明の効果】以上、詳細に説明したところから明らか
なように、本発明の多次元画像圧縮伸張方法は、画像情
報処理の対象にされている画像の輝度関数の等高線が持
つ特徴点のみを抽出して画像情報の圧縮された画像デ−
タを得る画像圧縮伸張方法において、前記の手法を適用
した際に棄却されてしまう可能性の高いテクスチャー情
報については、それの代表的直交変換要素または要素番
号と、テクスチャー境界線の特徴点のみをテクスチャー
種別毎に伝送し、伸張に際しては前記した２次元的な輝
度情報や時間軸をも含む３次元的な輝度情報等の補間復
原を図ると同時に受信（再生）したテクスチャーの代表
的直交変換要素については要素の順列と絶対値とは保存
し、それの位相成分のみをランダマイズすることで、代
表面以外の同じテクスチャー領域（再現境界線内）の輝
度値群を決定することができ、高い圧縮率で高品位な画
像を伝送することができる。また、分布する輝度情報の
画像情報に時間軸をも含む３次元的に分布する画像情報
のテクスチャーについては、その移動方向に補間構成さ
れるべき複数枚の画像上に、前記のテクスチャーを逐次
移動複写させることで、伸張画像の輝度関数のみが移動
し、テクスチャーの移動が輝度関数の移動に追従しない
とか、テクスチャーの移動がランダムに再現されて、移
動中に画像の質感が変化したりする等の不都合なことが
起こらず、容易に高画質動画を得ることができる。すな
わち、時間軸を含む３次元圧縮においては、テクスチャ
ーは、ある時刻の静止画の特定テクスチャーの代表領域
における例えばテクスチャー番号（パターン番号）を伝
送することで、その後に続く複数枚の画像のテクスチャ
ー情報を移動複写で得るようにすることにより、移動複
写される複数枚の画像のテクスチャー情報の伝送を省略
することができ、したがって、時間軸を含む３次元圧縮
においては、２次元圧縮時に比べて大きな圧縮率を得る
ことができ、移動体の輪郭などを示す輝度関数に追従し
て、テクスチャーを移動させることが可能なために移動
画像の品位を劣化させることが少ないし、また本発明の
多次元画像圧縮伸張方法は、単に輝度信号ばかりではな
く、加法混色の３原色信号によるカラー信号、あるいは
輝度信号と色差信号とによるカラー信号のように複数の
信号を有する場合にも良好に適用できることはいうまで
もなく、このような場合には複数の各信号における輝度
関数の等高線及びテクスチャーの境界線、特徴点のアド
レス等を、複数の要素間で共用することができるという
効果も得られる。

【図面の簡単な説明】

【図１】本発明の多次元画像圧縮伸張方法を実施した多
次元画像圧縮伸張装置のブロック図である。

【図２】本発明の多次元画像圧縮伸張方法に使用される
等高線トレ−サ特徴点抽出部の構成例を示すブロック図
である。

【図３】本発明の多次元画像圧縮伸張方法に使用される
テクスチャー抽出部及びテクスチャー再生部の構成例を
示すブロック図である。

【図４】輝度関数再生装置の構成例を示すブロック図で
ある。

【図５】本発明の多次元画像圧縮伸張方法の説明に用い
られる図である。

【図６】本発明の多次元画像圧縮伸張方法の説明に用い
られる図である。

【図７】本発明の多次元画像圧縮伸張方法の説明に用い
られる図である。

【図８】本発明の多次元画像圧縮伸張方法に使用される
テクスチャー抽出部の一部の構成例を示すブロック図で
ある。

【図９】輝度等高線の検出方法と特徴点決定方法とを説
明するための図である。

【図１０】輝度関数再生装置の構成原理及び動作原理の
説明に用いられる図である。

【図１１】輝度関数再生の説明に用いられる図である。

【図１２】は輝度関数再生のための面補間動作の説明に
用いられる図である。

【図１３】３次元的に分布する画像情報から検出された
特徴点により決定される補間立体によって、特徴点以外
の画素の輝度情報を決定する場合の説明に用いられる図
である。

【図１４】動画の際のテクスチャー情報の移動複写の説
明の図である。

【符号の説明】

１…画像信号の信号源、２…アナログデジタル変換器、
３…画像メモリ、４…等高線トレ−サ特徴点抽出部、５
…テクスチャー抽出部、６…符号化送出部、７…受信復
号部（または再生復号部）、８…テクスチャー再生部、
９…輝度関数再生部、１０…画像メモリ、１１…駆動回
路、１２…モニタ受像機、１３〜１５，２９〜３１…ア
ドレス発生器、２２〜２４，３８〜４０…シフトレジス
タ、２５〜２７，３２〜３４…テクスチャーパターン判
定器（テクスチャー番号判定器）、３５〜３７…テクス
チャー番号発生器（テクスチャー番号発生器）、４１〜
４３…特徴点判定器、４４…整列回路、５１…直交変換
部、５２…パターンメモリ、５３…境界線検出部、５４
…特徴点検出部、５５はパターンブック、８１…特徴点
補間器、８２…領域生成器、８３…境界内混合器、８４
…パターンブック、８５…符号乱化器、８６…直交逆変
換部（２次元離散コサイン逆変換部）９１…切換器、９
２，９３…画像メモリ、９４…サーチアドレス発生器、
９５…補間面判定回路、９６…補間値書込み回路、９７
…読出制御回路、

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 1/41 - 1/419 H04N 7/24 - 7/68 G06T 9/00 - 9/40

Claims

(57)【特許請求の範囲】

【請求項１】静止画像における２次元的に分布する輝
度情報による画像情報や、静止画像における２次元的に
分布する輝度情報による画像情報に時間軸をも含む３次
元的な画像情報などについて、輝度関数の等高線の曲率
の正負の極大点あるいは輝度関数の等高面の曲率の正負
の極大点、または前記の輝度関数の等高線を直線で近似
したり、前記の輝度関数の等高面を平面で近似した場合
に、近似差が予め定められた閾値を超えた点を画像の特
徴点として、前記した画像の特徴点の位置と輝度値とを
伝送，記録，画像復原に用い、伸張に際しては、近傍の
複数の特徴点によって決定される補間面、または補間立
体により前記の特徴点以外の画素の輝度情報を決定する
とともに、前記した輝度情報による特徴点の位置と輝度
値の情報とは別個に、前記した近傍の複数の特徴点によ
って決定される補間面、または補間立体に付加されるべ
きテクスチャー情報を発生させて、画像復原時に補間面
または補間立体にテクスチャー情報を付加させるように
した多次元画像圧縮伸張方法。
【請求項２】静止画像における２次元的に分布する輝
度情報による画像情報や、静止画像における２次元的に
分布する輝度情報による画像情報に時間軸をも含む３次
元的な画像情報などについて、輝度関数の等高線の曲率
の正負の極大点あるいは輝度関数の等高面の曲率の正負
の極大点、または前記の輝度関数の等高線を直線で近似
したり、前記の輝度関数の等高面を平面で近似した場合
に、近似差が予め定められた閾値を超えた点を画像の特
徴点として、前記した画像の特徴点の位置と輝度値とを
伝送，記録，画像復原に用い、伸張に際しては、近傍の
複数の特徴点によって決定される補間面、または補間立
体により前記の特徴点以外の画素の輝度情報を決定する
とともに、輝度関数における予め定められた空間周波数
値よりも高い空間周波数成分を有する領域を直交変換し
て得たスペクトラムの絶対値のパターンが等しい領域を
等テクスチャー領域とし、それぞれスペクトラムの絶対
値のパターンを異にする各等テクスチャー領域につい
て、それぞれの領域の境界点列の情報とスペクトラム情
報とを組にしたテクスチャー情報を発生し、それを伝
送，記録，画像復原に用い、伸張に際しては、前記した
近傍の複数の特徴点によって決定される補間面、または
補間立体にテクスチャー情報を付加させるようにした多
次元画像圧縮伸張方法。
【請求項３】直交変換に離散コサイン変換を使用する
請求項２の多次元画像圧縮伸張方法。
【請求項４】直交変換して得たスペクトラムの絶対値
のパターンにより、予め準備してあるテクスチャーパタ
ーンを選定する請求項２の多次元画像圧縮伸張方法。
【請求項５】テクスチャー情報は、テクスチャー領域
の境界点列の情報とスペクトラム情報とが組になってお
り、同一テクスチャー領域の境界点列を特徴点で指定す
る請求項１または請求項２の多次元画像圧縮伸張方法。
【請求項６】同一テクスチャー領域の境界点列を指定
する特徴点が境界点列で示される境界線の曲率の正負の
極大点である請求項５の多次元画像圧縮伸張方法。
【請求項７】境界点列を直線で近似した場合に、予め
定められた閾値を近似差の値が超えた点を、同一テクス
チャー領域の境界点列を指定する特徴点とする請求項５
の多次元画像圧縮伸張方法。
【請求項８】画像伸張に際して、テクスチャー直交変
換要素の符号をランダマイズする請求項２の多次元画
像圧縮伸張方法。
【請求項９】動画伸張に際して、静止画で得られたテ
クスチャー情報を複写利用する請求項１または請求項２
の多次元画像圧縮伸張方法。