JP3615050B2

JP3615050B2 - Interpolation apparatus and imaging apparatus using the same

Info

Publication number: JP3615050B2
Application number: JP11368098A
Authority: JP
Inventors: 宏晋丸森; 明仁西沢
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-04-23
Filing date: 1998-04-23
Publication date: 2005-01-26
Anticipated expiration: 2018-04-23
Also published as: JPH11308442A

Description

【０００１】
【発明の属する技術分野】
本発明は信号の補間装置並びにこれを用いた撮像装置に関するものである。本発明は特に撮影した画像の拡大、縮小を行う電子ズーム装置を備えた撮像装置に応用して好適なものである。
【０００２】
【従来の技術】
従来の補間装置としては、最近傍法（もっとも近い点の濃度値を選択する）や線形補間法（近傍４点から線形補間する）を採用している。これら最近傍法や線形補間方法については、オーム社八木他共著「Ｃ言語で学ぶ実践画像処理」に記載されている。
【０００３】
【発明が解決しようとする課題】
画像の拡大、又は縮小を行う電子ズーム装置に上記の補間装置を用いた場合にはｆ特が低下する結果、尖鋭感が低下し解像度も低下する。このため、結果的にぼけた感じに見える。特に斜線や円を拡大するとそれが顕著に現れる。
本発明の目的は、尖鋭感の低下を防止した補間装置を提供することにある。
本発明の他の目的は、異なる補間手段から得られた補間データを適宜に切替えて利用することによって、解像度低下を防止することのできる補間装置並びにこれを用いた撮像装置を提供することにある。
【０００４】
【課題を解決するための手段】
本発明の補間装置においては、生成される補間データの前に発生する補間用元データから外挿点を求めそれを補間データとする第１の補間手段と、生成される補間データの後に発生する補間用元データから外挿点を求めそれを補間データとする第２の補間手段とを備えている。更に本発明においては、生成される補間データの前後の補間用元データを用いて補間データを生成する第３の補間手段が用いられる。
複数の補間手段の出力は選択手段によって切換えられる。選択手段は演算手段を有しており、第３の補間手段の出力と他の補間手段の出力の演算が行われる。演算手段の出力と第３の補間手段の出力が選択手段で選択されて出力される。更に、補間用元データの並びから選択手段を制御する制御手段が設けられる。
本発明の補間装置を用いた撮像装置ではズーム制御手段が補間手段に供給され、補間データの生成に利用される。
【０００５】
【発明の実施の形態】
以下、本発明の実施の形態について、幾つかの実施例を用いて説明する。
図９は適応補間方法を示す模式図である。図において、横軸は画素信号の出る順番ＰＯを示し、縦軸は画素の信号レベルＶを示す。図９を用いて適応補間処理について詳しく説明する。以下３点の補間について説明するが、これは４倍ズーム拡大に匹敵する。
図９において、黒玉は補間に用いられる画素サンプルデータであり、画素サンプルはＡ、Ｂ、Ｃ、Ｄの順に出力される。この画素サンプルデータＡ、Ｂは生成される補間データの前に発生する補間用元データであり、画素サンプルデータＣ、Ｄは生成される補間データの後に発生する補間用元データである。にまた、画素サンプルデータの黒玉Ａと黒玉Ｂを結ぶ線の傾きをｔａ、画素サンプルデータの黒玉Ｃと黒玉Ｄを結んだ線の傾きをｔｂ、また、画素サンプルデータの黒玉Ｂと黒玉Ｃを結んだ線の傾きをｔｋとする。今、画素サンプルデータの黒玉Ｂと黒玉Ｃの補間を行なう。補間データの位置を図のように左からａ，ｂ，ｃとする。
【０００６】
例えば、点ａの補間データを求める。まず、点ａの位置の傾きｔａの線上の白抜き四角点（白角点）と傾きｔｂの線上の黒四角点（黒角点）の値を求める。ここで白角点が前の補間用元データ（画素サンプルデータの黒玉Ａ）と現在の補間用元データ（画素サンプルデータの黒玉Ｂ）から生成された補間データであり、これを前傾斜補間データと呼ぶ。また、黒四角点は現在の補間用元データ（画素サンプルデータの黒玉Ｃ）と後の補間用元データ（画素サンプルデータ黒玉Ｄ）から生成された補間データであり、これを後傾斜補間データと呼ぶ。図９のように上に凸のデータの並びであれば、今求めたデータのうち小さい方を選択し、それを点ａの位置の補間データとする。同様にして点ｂ、ｃの位置の補間データを求める。よって、この場合点ａ，ｂの補間データは傾きｔａの線上の白角点、点ｃの補間データは傾きｔｂの線上の黒角点となる。当然、下に凸のデータの並びであればデータの大きい方を選択することになる。このような補間方法を傾斜補間と呼ぶ。ちなみに線形補間を行なった場合の補間データは傾きｔｋ上の白丸の点になる。
【０００７】
以上のように傾斜補間を行なうことによって線形補間データ（白丸点）の並びよりも自然なデータの流れで補間が可能となる。また、傾斜補間データと線形補間データから何らかの条件で内挿点を求めて、それを補間データとしてもよい。しかし、補間用の画素サンプルデータの黒玉Ａ，Ｂ，Ｃ，Ｄの位置によっては大小だけでは判定できない場合もででくる。また画素サンプルデータの並びによってはリニア補間の方が良い場合もある。
そこで画素サンプルデータの並びのパターンを考慮することによって傾斜補間不可能な条件、もしくは行わない方が良い条件、つまり傾斜補間禁止条件を考えてみる。
【０００８】
様々なパターンが考えられるが、傾きｔｋで区別して導き出すと、図１０Ａ、図１０Ｂ、図１０Ｃで示すようになる。
図１０Ａ、図１０Ｂ、図１０Ｃはそれぞれ画素サンプルデータの並びのパターンの種類を示した模式図であり、画素サンプルデータの黒玉Ｂ、Ｃの傾きｔｋ＝０、ｔｋ＞０、ｔｋ＜０の場合を示す。図１０Ａから図１０Ｃにおいて、▲１▼、▲２▼、▲３▼、▲４▼は画素サンプルデータ、ｔｋは画素サンプルデータ▲２▼と▲３▼の傾き、大きな丸で囲ったパターンは傾斜補間が可能なパターンである。
図に示すように、パターンの種類は全部で５９個のパターンが考えられる。５９個のうち丸の付いた１４個のパターンが傾斜補間可能なパターンである。残りのパターンは線形補間が適当である。図１０Ａ，１０Ｂ、図１０Ｃから傾斜補間可能なパターンは、データの並びが上に凸か下に凸かに大別できることが分かる。
【０００９】
ここで傾斜補間が不可能、もしくは行わない方がよい条件である禁止条件を傾きｔａ，ｔｋ，ｔｂであらわすと、以下の式になる。
【００１０】
【数１】

【００１１】
【数２】

【００１２】
【数３】

【００１３】
【数４】

【００１４】
【数５】

【００１５】
【数６】

【００１６】
または、
【００１７】
【数７】

【００１８】
なお、上記の数式において、「＆＆」は「かつ」を意味する。例えば、ｔａ＞＝０＆＆ｔｂ＜＝０は傾きｔａが０以上でかつ傾きｔｂが０以下であることを示す。また、「｜｜」は「または」を意味する。例えば、ｔｋ＜０｜｜（ｔａ＞＝ｔｋ＆＆ｔｂ＞＝ｔｋ）は傾きｔｋが０より小さいか、又は傾きｔａが傾きｔｋ以上でかつ傾きｔｂが傾きｔｋ以上の場合を示す。更に、「！」は否定を表わす。数７の場合は外側の（）内の条件でない場合を示す。
したがって、数１〜数６までの条件又は数７の条件の時は線形補間を行い、それ以外の場合には傾斜補間を行うことが適当であることが分かる。
上記の条件を判定することにより線形補間と傾斜補間の適応的補間、すなわち画素サンプルデータの並びによって適切な補間を行うことができる。こうすることで尖鋭感低下を防止できるのでより原画に近い画を出力するズーム処理が可能となる。また解像度の低下も防止できる。
例えば、図１１の画素状態を示す模式図において、画素を黒の四角で示すと、斜線を縦横２倍に拡大した場合、図１１（ａ）に示す斜線の元データを線形補間した場合には図１１（ｂ）に示すように全体的にぼけた感じになるが、傾斜補間では図１１（ｃ）に示すように斜線がはっきりする。このように傾斜補間を用いることによって、斜線を拡大した時のぼけが減少される。
【００１９】
以下、線形補間装置と傾斜補間装置を内蔵した撮像装置の一実施例について図１、図２、図３、図４、図５、図９を用いて説明する。
図１は本発明による補間装置の第１の実施例を用いた撮像装置のブロック図である。第１図において、破線の内部は補間装置を含む電子ズーム装置１００である。１は光電変換を行う撮像素子、２は撮像素子１からのアナログの信号をてディジタル信号に変換するＡ／Ｄコンバータ、３はカメラの一般的な信号処理を行うカメラ信号処理回路、４は輝度と色の信号を１ラインごとに蓄えておくラインメモリ、５は線形補間を行なうのか傾斜補間を行なうのかを判定する禁止条件判定回路、６は補間の際に必要な係数を算出するズーム制御回路、７は前のデータから補間データを算出する前傾斜補間回路、８は後のデータから補間データを算出する後傾斜補間回路、９はデータの並びを判定して前傾斜補間データか後傾斜補間データのどちらかを選択する補間判定回路、１０は距離に反比例した重みをつけて補間を行う線形補間回路、１１は禁止条件によって線形補間回路１０からの線形補間データか補間判定回路９からの傾斜補間データかを選択する選択回路である。
【００２０】
以上のように構成された撮像装置について以下その動作について説明する。
撮像素子１によって光電変換された映像信号は、Ａ／Ｄコンバータ２でディジタル信号に変換された後、カメラ信号処理回路３によって輝度信号と色差信号に変換される。垂直方向の補間を行なう為にこの輝度信号と色差信号は一旦ラインメモリ４に書き込まれ、ラインメモリ４から読み出された出力は禁止条件判定回路５に入力される。
【００２１】
図２は禁止条件判定回路の一実施例を示すブロック図である。図において、禁止条件判定回路の入力端子５０に入力された輝度信号と色信号は保持回路５１１、５１２、５１３にそれぞれ蓄えられる。ここで現在の信号をｕ、保持回路５１１に蓄えられた信号をｔ、保持回路５１２に蓄えられた信号をｓ、保持回路５１３に蓄えられた信号をｒとする。ここでｒ，ｓ，ｔ，ｕはそれぞれ図９の画素サンプルデータＡ，Ｂ，Ｃ，Ｄに対応する。以下信号ｓと信号ｔの補間データを求める場合を示す。ｓとｔはそれぞれ出力端子５６、５７にも出力される。
【００２２】
まず、後からのデータの流れを考慮する為に後傾斜演算回路５２で信号ｔと信号ｕの信号レベルの傾きを算出し（図９の傾きｔｂに対応）、また前からのデータの流れを考慮する為に前傾斜演算回路５４で信号ｒと信号ｓの信号レベルの傾きを算出（図９の傾きｔａに対応）する。同時に禁止条件判定の為に傾斜演算回路５３で信号ｓと信号ｔの信号レベルの傾きを算出（図９の傾きｔｋに対応）する。以上求めた３つの信号レベルの傾きをそれぞれｔｂ，ｔａ，ｔｋとする。条件判定回路５５では傾きｔｂ，ｔａ，ｔｋによって傾斜補間が可能かどうかを判断する。判定条件は前に延べた数１〜数６（又は数７）の式を用いる。
【００２３】
数１から数６（又は数７）の条件式を満たす場合は傾斜補間が不可能、もしくはふさわしくない場合ということで条件判定回路５５は、図１の選択回路１１で線形補間回路１０の出力が選択されるような信号を出力端子５８に出力する。もし数１〜数６（又は数７）を満たさない場合は、選択回路１１で補間判定回路９の出力が選択されるような信号を出力端子５８に出力する。この時、補間判定回路９の出力には傾斜補間によって求められた正しい補間データが選択され出力される。また、後傾斜演算回路５２の出力である傾きｔｂは出力端子５２０に、前傾斜演算回路５４の出力である傾きｔａは出力端子５４０に出力される。出力端子５６から出力された信号ｓは、図１の線形補間回路１０と前傾斜補間回路７に入力される。出力端子５７から出力された信号ｔは、図１の線形補間回路１０と後傾斜補間回路８に入力される。出力端子５４０から出力された傾きｔａは、図１の補間判定回路９と前傾斜補間回路７に入力される。出力端子５２０から出力された傾きｔｂは、図１の補間判定回路９と後傾斜補間回路８に入力される。また、図９における補間の位置ａ，ｂ，ｃに対応するデータ、つまりａの位置であれば画素サンプルデータＢからａまでの距離データ、もしくはａから画素サンプルデータＣまでの距離データが補間演算には必要である。それをズーム制御回路６で算出し、その結果を線形補間回路１０、前傾斜補間回路７、後傾斜補間回路８に入力する。ここでズーム制御回路６で算出された結果を補間係数Ｘと呼ぶ。線形補間回路１０では入力された信号ｓと信号ｔと補間係数Ｘによって補間データＩを算出する。
【００２４】
例えば、求める補間データから信号ｔまでの補間係数（距離）をＸとした場合、求める補間データＩは以下の式で算出すればよい。
Ｉ＝ｓ・Ｘ＋ｔ・（１−Ｘ）＝ｔ＋（ｓ−ｔ）・Ｘ …数８
この時、信号ｓと信号ｔの距離を１とすれば０＜Ｘ＜１であるが、実際の回路では補間用元データの信号間の距離を１に正規化せず、例えば２５６としてもよい。線形補間回路１０は上記で示した式を満たすように組めばよい。算出された補間データＩは選択回路１１に入力される。
同時に前傾斜補間回路７と後傾斜補間回路８でそれぞれ補間データを算出する。
【００２５】
図３は前傾斜補間回路の一実施例を示したブロック図であり、図において、入力端子７０から入力された補間係数Ｘを減算回路７４で（１−Ｘ）に変換した後、乗算回路７１で入力端子５４０から入力された傾きｔａに掛ける。その出力と入力端子５６から入力された信号ｓを加算回路７２で加算する。この加算結果が前からの情報を用いた前傾斜補間データＩａとなる。前傾斜補間データＩａを式で表わすと、数９のようになる。
Ｉａ＝ｓ＋ｔａ（１−Ｘ） …数９
このようにして求められた前傾斜補間データＩａは出力端子７３を通して補間判定回路９に入力される。
【００２６】
図４は後傾斜補間回路の一実施例を示すブロック図であり、乗算回路８１で入力端子８０から入力された補間係数Ｘを入力端子５２０から入力された傾きｔｂに掛ける。乗算回路８１出力を入力端子５７から入力された信号ｔから減算回路８２で減算する。この減算結果が後からの情報を用いた後傾斜補間データＩｂとなる。式で表現すると数１０のようになる。
Ｉｂ＝ｔ−ｔｂ・Ｘ …数１０
このようにして求められた後傾斜補間データＩｂは出力端子８３を通して図１の補間判定回路９に入力される。また、前傾斜補間回路７内の減算回路７４は、ズーム制御回路６が出力する補間係数Ｘの設定によって後傾斜補間回路８に内蔵する場合もある。
【００２７】
図５は補間判定回路の一実施例を示すブロック図であり、図に示す補間判定回路では補間用元データの並びによって前傾斜補間データＩａを取るか、後傾斜補間Ｉｂのデータを取るかの判定を行なう。
まず、入力端子５２０から入力された傾きｔｂと入力端子５４０から入力された傾きｔａを上下判定回路９１に入力する。傾斜補間が可能なデータの並びは上に凸か下に凸かに大別される。例えば図９のようなデータＡ、Ｂ、Ｃ、Ｄの並びは上に凸である。上下判定回路９１では上に凸であれば０を、下に凸であれば１を出力する。それと同時に入力端子７３から入力された前傾斜補間データＩａと入力端子８３から入力された後傾斜補間データＩｂを比較回路９０で大小比較を行なう。いま図９のように上に凸だとすると、比較回路９０は、Ｉａ＜＝Ｉｂの関係ならば選択回路９３でＩａを出力するような信号を出力し、Ｉａ＞＝Ｉｂの関係ならば選択回路９３でＩｂを出力するような信号を出力する。こうすることによって、信号の流れにあった正しい補間データが選択できる。ＥＯＲ回路９２は２入力の排他的論理和のゲートで構成されており、一方の値が０ならばもう一方の値はスルーで出力され、また一方の値が１ならばもう一方の値は反転して出力される。今データの並びが上に凸とすると、上下判定回路９１の出力は０なので、ＥＯＲ回路９２は比較回路９０の信号をスルーで出力することになる。又、下に凸だとすると、上下判定回路９１の出力は１なので、ＥＯＲ回路９２は比較回路９０の信号を反転して出力することになる。つまり、下に凸の場合にはＩａ＜＝Ｉｂの関係ならば選択回路９３でＩｂを出力し、またＩａ＞＝Ｉｂの関係ならば選択回路９３でＩａを出力する。このようにＥＯＲ回路９２によってデータの並びが上に凸の時も下に凸の時もデータの並びにあった正しい補間データが得られる。このように選択された正しい傾斜補間信号は出力端子９４を通して、図１の選択回路１１に入力される。選択回路１１は禁止条件判定回路５が出力する信号によって禁止条件を満たせば線形補間回路１０の出力を、満たさなければ補間判定回路９の出力を選択する。以上の一連の動作は輝度信号、色信号に共通である。また、ラインメモリ４を３本で構成することによって垂直方向の補間も可能となる。
【００２８】
以上のように、第１の実施例によれば、補間データを適応的に切替えることによって、映像信号のデータの流れにあった補間が可能となり尖鋭感の低下を防止でき、結果的に解像度低下防止にもなる。そのため電子ズームで倍率を上げたときのぼけが防止できる。
【００２９】
次に、図６を用いて第２の実施例について示す。
図６は本発明による補間装置の第２の実施例を用いた撮像装置のロック図であり、図１の撮像装置の電子ズーム装置１００に対応したブロックを示している。図６のブロックの内、図１のブロックと同じ機能を有するブロックには同じ番号を付た。内挿回路２０には、線形補間回路１０の出力と補間判定回路９の出力が入力される。マイコン２１は内挿演算の為の係数を内挿回路２０に入力する。
また、禁止条件判定回路５が出力する線形補間データか傾斜補間データのどちらかを選択する信号を内挿回路２０に入力する。第１の実施例のように傾斜補間のデータだけを利用すると尖鋭度が高くなりすぎる場合がある。例えば図９のように上に凸の場合、傾きｔａが１よりも大きくなればなるほど、又は傾きｔｂの絶対値が１よりも大きくなればなるほど、求める補間データは補間用元データの流れからかけ離れていってしまう。そこで内挿回路２０では、あらためて線形補間データと傾斜補間データの内挿点、すなわち線形補間データと傾斜補間データの間の値を求め、それを補間データとする。その内挿の度合いをマイコン２１で設定することによって極端な尖鋭をなくすことができる。例えばマイコン２１で線形補間データと傾斜補間データの中間付近に内挿点が来る為の係数を設定すると、極端な尖鋭感はなくなり、かつある程度の尖鋭度も維持することができる。内挿の計算方法は、線形補間回路１０の補間算出方法と同様に距離に反比例した重みを利用したものでよい。
【００３０】
内挿回路２０において、全ての場合に内挿演算を行うわけではなく、内挿演算は禁止条件を満たしていない時にのみ行われる。禁止条件を満たす場合は線形補間のデータをそのまま出力する。したがって、内挿回路２０には内挿演算を行った結果のデータと線形補間データとを選択する選択回路が含まれている。
【００３１】
以上のように第２の実施例によれば、傾斜補間を行う時に線形補間データと傾斜補間データの間の値を取ることで極端な尖鋭感を防止できるので画面上の目障りなエッジ強調部分が目立たなくなる。
【００３２】
このように、この実施例においては、傾斜補間を行う時に線形補間データと傾斜補間データの間の値を取っているので、極端な尖鋭感を防止できるので画面上の目障りなエッジ強調部分を目立たなくさせることができる。
【００３３】
次に図７を用いて第３の実施例について示す。
図７は本発明による補間装置の第３の実施例を用いた撮像装置のブロック図である。図７は図６の内挿回路２０を可変内挿回路３１に変更し、形判定回路３０を追加した点が図５のブロック図と異なる。図７において、図６のブロックと同じ機能を有するブロックには共通の同じ番号を付けている。
第２の実施例によると線形補間データと傾斜補間データの内挿点を利用することによって極端な尖鋭をなくすことができるが、内挿点を線形補間データに近い値に設定にしなければ効果が無い。しかし、内挿点が線形補間データに近い値に設定された場合、画面全体の尖鋭感が低下してしまう場合がある。そこで傾きｔａ，ｔｂの絶対値が大きい時には実施例２のように内挿点を補間データとするが、傾きｔａ，ｔｂの絶対値があまり大きくない場合には傾斜補間データを補間データとする。傾きが大きいか小さいかは、ここでは傾き１をスレッシュ値として判断する。もちろんこのスレッシュ値は１に限ることはない。
【００３４】
具体的には、図９のようにデータの並びが上に凸の場合、ｔａ＞１，｜ｔｂ｜＞１であるならば元データの流れからかけ離れていると判断して、その時は線形補間と傾斜補間の内挿点を選択するようにする。上記条件以外の場合は傾斜補間データを選択するようにする。また、同様に下に凸の場合は、｜ｔａ｜＞１，ｔｂ＞１であるならば元データの流れからかけ離れていると判断して、その時は線形補間と傾斜補間の内挿点を選択するようにする。上記条件以外の場合は傾斜補間データを選択するようにする。形判定回路３０は、禁止条件判定回路５の出力の傾きｔａ，ｔｂを基に上記述べた判定を行ない可変内挿回路３１で正しい補間データが選択されるような信号を出力する。
【００３５】
図８は可変内挿回路の一実施例を示すブロック図である。図において、入力端子３１１には線形回路１０から出力された線形補間データが入力される。入力端子３１２にはマイコンが出力する内挿係数が入力される。入力端子９４には補間判定回路９が出力する傾斜補間データが入力される。線形補間データと内挿係数と傾斜補間データから内挿演算回路３１４では内挿点を算出する。この時の演算は線形補間回路１０で行われている補間処理と同様にして行うことができる。選択回路３１５は入力端子３１３に入力される形判定回路３０の出力によって、内挿演算回路３１４の出力と傾斜補間データのどちらかを選択する。選択回路３１５は、形判定回路３０で元データの流れからかけ離れていると判断した場合、内挿演算回路３１４の出力を選択することで余計な尖鋭感を押さえ、元データの流れからかけ離れていないと判断した場合は傾斜補間データを選択し尖鋭感を引き立てることができる。選択回路３１６は入力端子５８に入力された禁止条件判定回路５の出力によって線形補間データか選択回路３１５の出力のどちらかを出力端子３１７に出力する。つまり、選択回路３１６は、禁止条件を満たす時は線形補間データを選択し、満たさない時は選択回路３１５の出力を選択する。以上のように第３の実施例では、元データの流れを判定した結果によって補間方法を切替えているので、余計な尖鋭感は押えられ、内挿点の設定により適度な尖鋭感も保つことができるので画面全体がしまってみえる。
【００３６】
このように、この実施例によると、元データの流れを判定した結果から補間方法を切替えることによって、余計な尖鋭感は押えられ、内挿点の設定により適度な尖鋭感も保つことができるので画面全体がしまってみえる。
【００３７】
【発明の効果】
以上説明したように、本発明によれば異なる補間手段から得られた補間データを適応的に切替えることによって映像信号のデータの流れにあった補間が可能となり尖鋭感の低下を防止でき、結果的に解像度低下を防止することができる。そのため電子ズームで倍率を上げたときのぼけが防止できる。
【図面の簡単な説明】
【図１】本発明による補間装置の第１の実施例を用いた撮像装置のブロック図である。
【図２】図１の禁止条件判定回路の一実施例を示すブロック図である。
【図３】図１の前傾斜補間回路の一実施例を示すブロック図である。
【図４】図１の後傾斜補間回路の一実施例を示すブロック図である。
【図５】図１の補間判定回路の一実施例を示すブロック図である。
【図６】本発明による補間装置の第２の実施例を用いた撮像装置のブロック図である。
【図７】本発明による補間装置の第３の実施例を用いた撮像装置のブロック図である。
【図８】図７の可変内挿回路の一実施例を示すブロック図である。
【図９】適応補間方法を示す模式図である。
【図１０Ａ】画素サンプルデータの並びのパターンを示した模式図である。
【図１０Ｂ】画素サンプルデータの並びのパターンを示した模式図である。
【図１０Ｃ】画素サンプルデータの並びのパターンを示した模式図である。
【図１１】画素の状態を示す模式図である。
【符号の説明】
１…撮像素子、２…Ａ／Ｄコンバータ、３…カメラ信号処理回路、４…ラインメモリ、５…禁止条件判定回路、６…ズーム制御回路、７…前傾斜補間回路、８…後傾斜補間回路、９…補間判定回路、１０…線形補間回路、１１…選択回路、１００…電子ズーム装置、２０…内挿回路、２１…マイコン、３０…形判定回路、３１…可変内挿回路、３１４…内挿演算回路、３１５、３１６…選択回路、５１１，５１２，５１３…保持回路、５２…後傾斜演算回路、５３…傾斜演算回路、５４…前傾斜演算回路、５５…条件判定回路、７１…乗算回路、７２…加算回路、７４…減算回路、８１…乗算回路、８２…減算回路、９１…上下判定回路、９２…ＥＯＲ回路、９３…選択回路。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal interpolation apparatus and an imaging apparatus using the same. The present invention is particularly suitable for application to an image pickup apparatus having an electronic zoom device for enlarging and reducing a photographed image.
[0002]
[Prior art]
As a conventional interpolation apparatus, a nearest neighbor method (selecting the density value of the closest point) or a linear interpolation method (linear interpolation from four neighboring points) is adopted. The nearest neighbor method and the linear interpolation method are described in “Practical image processing learned in C language” written by Ohm Yagi et al.
[0003]
[Problems to be solved by the invention]
When the above-described interpolating device is used in an electronic zoom device for enlarging or reducing an image, the f-characteristic is reduced, resulting in a reduction in sharpness and a reduction in resolution. As a result, it looks blurred. In particular, when diagonal lines and circles are enlarged, they become prominent.
An object of the present invention is to provide an interpolating device that prevents a reduction in sharpness.
Another object of the present invention is to provide an interpolation apparatus capable of preventing a reduction in resolution by appropriately switching and using interpolation data obtained from different interpolation means, and an imaging apparatus using the same. .
[0004]
[Means for Solving the Problems]
In the interpolation apparatus of the present invention, the first interpolation means that obtains an extrapolation point from the original interpolation data generated before the generated interpolation data and uses it as the interpolation data, is generated after the generated interpolation data. Second interpolation means for obtaining an extrapolation point from the interpolation original data and using it as interpolation data. Furthermore, in the present invention, the third interpolation means for generating the interpolation data using the original interpolation data before and after the generated interpolation data is used.
The outputs of the plurality of interpolation means are switched by the selection means. The selection means has calculation means, and the calculation of the output of the third interpolation means and the output of the other interpolation means is performed. The output of the calculation means and the output of the third interpolation means are selected by the selection means and output. Furthermore, a control means for controlling the selection means from the arrangement of the interpolation original data is provided.
In the image pickup apparatus using the interpolation apparatus of the present invention, the zoom control means is supplied to the interpolation means and used to generate interpolation data.
[0005]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to some examples.
FIG. 9 is a schematic diagram showing an adaptive interpolation method. In the figure, the horizontal axis indicates the order PO in which pixel signals appear, and the vertical axis indicates the signal level V of the pixels. The adaptive interpolation process will be described in detail with reference to FIG. In the following, three-point interpolation will be described, which is equivalent to 4 × zoom magnification.
In FIG. 9, black balls are pixel sample data used for interpolation, and pixel samples are output in the order of A, B, C, and D. The pixel sample data A and B are interpolation original data generated before the generated interpolation data, and the pixel sample data C and D are interpolation original data generated after the generated interpolation data. In addition, the inclination of the line connecting the black sample A and the black ball B of the pixel sample data is ta, the inclination of the line connecting the black ball C and the black ball D of the pixel sample data is tb, and the black ball of the pixel sample data Let tk be the slope of the line connecting B and black ball C. Now, the interpolation of the black ball B and the black ball C of the pixel sample data is performed. The positions of the interpolation data are a, b, and c from the left as shown in the figure.
[0006]
For example, the interpolation data of the point a is obtained. First, the values of the white square point (white corner point) on the line of the inclination ta at the position of the point a and the black square point (black corner point) on the line of the inclination tb are obtained. Here, the white angle point is interpolation data generated from the previous interpolation original data (pixel sample data black ball A) and the current interpolation original data (pixel sample data black ball B). This is called interpolation data. The black square points are interpolation data generated from the current original data for interpolation (black sample C of pixel sample data) and the subsequent original data for interpolation (pixel sample data black ball D). Called data. As shown in FIG. 9, if the data is convex upward, the smaller one of the obtained data is selected and used as interpolation data at the position of point a. Similarly, interpolation data at the positions of points b and c are obtained. Therefore, in this case, the interpolation data at the points a and b are white corner points on the line with the inclination ta, and the interpolation data at the point c is black point on the line with the inclination tb. Of course, if the data is convex downward, the larger data is selected. Such an interpolation method is called gradient interpolation. Incidentally, the interpolation data when linear interpolation is performed is a white circle on the slope tk.
[0007]
By performing the slope interpolation as described above, the interpolation can be performed with a natural data flow rather than the arrangement of the linear interpolation data (white circle points). Alternatively, an interpolation point may be obtained from the slope interpolation data and the linear interpolation data under some condition and used as the interpolation data. However, depending on the position of the black balls A, B, C, and D of the pixel sample data for interpolation, there may be cases where determination cannot be made based on the size alone. Depending on the arrangement of pixel sample data, linear interpolation may be better.
Therefore, by considering the arrangement pattern of the pixel sample data, let us consider a condition incapable of performing slope interpolation, or a condition that should not be performed, that is, a condition for prohibiting slope interpolation.
[0008]
Although various patterns are conceivable, when differentiating them by the inclination tk, they are as shown in FIGS. 10A, 10B, and 10C.
FIG. 10A, FIG. 10B, and FIG. 10C are schematic diagrams showing the types of pattern of pixel sample data, and the slopes tk = 0, tk> 0, and tk <0 of black balls B and C of the pixel sample data. Show the case. 10A to 10C, (1), (2), (3), and (4) are pixel sample data, tk is the inclination of pixel sample data (2) and (3), and the pattern surrounded by a large circle is an inclination It is a pattern that can be interpolated.
As shown in the figure, 59 types of patterns can be considered in total. Of 59 patterns, 14 patterns with circles are patterns capable of gradient interpolation. Linear interpolation is appropriate for the remaining patterns. 10A, 10B, and 10C, it can be understood that the patterns that can be subjected to the slope interpolation can be roughly classified into whether the data arrangement is convex upward or downward.
[0009]
Here, when the forbidden condition, which is a condition under which tilt interpolation is impossible or better not to be performed, is represented by the slopes ta, tk, and tb, the following expression is obtained.
[0010]
[Expression 1]

[0011]
[Expression 2]

[0012]
[Equation 3]

[0013]
[Expression 4]

[0014]
[Equation 5]

[0015]
[Formula 6]

[0016]
Or
[0017]
[Expression 7]

[0018]
In the above formula, “&&” means “and”. For example, ta> = 0 && tb <= 0 indicates that the slope ta is 0 or more and the slope tb is 0 or less. “||” means “or”. For example, tk <0 || (ta> = tk &&tb> = tk) indicates a case where the slope tk is smaller than 0, or the slope ta is greater than or equal to the slope tk and the slope tb is greater than or equal to the slope tk. Furthermore, “!” Represents negation. The case of Equation 7 indicates a case where the condition is not within the outer ().
Therefore, it can be seen that it is appropriate to perform linear interpolation when the conditions of Equations 1 to 6 or 7 are satisfied, and to perform gradient interpolation in other cases.
By determining the above conditions, it is possible to perform appropriate interpolation based on the adaptive interpolation of linear interpolation and gradient interpolation, that is, the arrangement of pixel sample data. By doing so, the sharpness can be prevented from being lowered, so that zoom processing for outputting an image closer to the original image becomes possible. In addition, a reduction in resolution can be prevented.
For example, in the schematic diagram showing the pixel state of FIG. 11, when the pixel is indicated by a black square, when the diagonal line is enlarged two times vertically and horizontally, the original data of the diagonal line shown in FIG. As shown in FIG. 11 (b), the overall feeling is blurred, but in the slope interpolation, the diagonal lines are clear as shown in FIG. 11 (c). By using the slope interpolation in this way, the blur when the oblique line is enlarged is reduced.
[0019]
Hereinafter, an embodiment of an imaging apparatus incorporating a linear interpolation device and a gradient interpolation device will be described with reference to FIGS. 1, 2, 3, 4, 5, and 9.
FIG. 1 is a block diagram of an image pickup apparatus using a first embodiment of an interpolation apparatus according to the present invention. In FIG. 1, the inside of the broken line is an electronic zoom device 100 including an interpolation device. 1 is an image sensor that performs photoelectric conversion, 2 is an A / D converter that converts an analog signal from the image sensor 1 into a digital signal, 3 is a camera signal processing circuit that performs general signal processing of the camera, and 4 is a luminance A line memory for storing color signals for each line, 5 a prohibition condition determination circuit for determining whether linear interpolation or slope interpolation is performed, and 6 a zoom control circuit for calculating a coefficient necessary for interpolation , 7 is a pre-tilt interpolation circuit for calculating interpolation data from the previous data, 8 is a post-tilt interpolation circuit for calculating interpolation data from the subsequent data, and 9 is a front-tilt interpolation data or post-tilt interpolation by determining the data sequence. Interpolation determination circuit for selecting one of the data, 10 is a linear interpolation circuit for performing interpolation with a weight inversely proportional to the distance, 11 is linear interpolation data from the linear interpolation circuit 10 or interpolation depending on the prohibition condition A selection circuit for selecting whether slope interpolation data from Teikairo 9.
[0020]
The operation of the imaging apparatus configured as described above will be described below.
The video signal photoelectrically converted by the image sensor 1 is converted into a digital signal by the A / D converter 2 and then converted into a luminance signal and a color difference signal by the camera signal processing circuit 3. In order to perform vertical interpolation, the luminance signal and the color difference signal are once written in the line memory 4, and the output read from the line memory 4 is input to the prohibition condition determination circuit 5.
[0021]
FIG. 2 is a block diagram showing an embodiment of the prohibition condition determination circuit. In the figure, the luminance signal and the color signal input to the input terminal 50 of the prohibition condition determination circuit are stored in the holding

circuits

511, 512, and 513, respectively. Here, the current signal is u, the signal stored in the holding circuit 511 is t, the signal stored in the holding circuit 512 is s, and the signal stored in the holding circuit 513 is r. Here, r, s, t, and u correspond to the pixel sample data A, B, C, and D in FIG. 9, respectively. Hereinafter, a case where interpolation data of the signal s and the signal t is obtained will be shown. s and t are also output to

output terminals

56 and 57, respectively.
[0022]
First, in order to consider the later data flow, the slope of the signal level of the signal t and the signal u is calculated by the rear slope calculation circuit 52 (corresponding to the slope tb in FIG. 9), and the previous data flow is For consideration, the slope of the signal levels of the signal r and the signal s is calculated by the front slope calculation circuit 54 (corresponding to the slope ta in FIG. 9). At the same time, the slope calculation circuit 53 calculates the slopes of the signal levels of the signals s and t (corresponding to the slope tk in FIG. 9) to determine the prohibition condition. The inclinations of the three signal levels obtained above are tb, ta, and tk, respectively. The condition determination circuit 55 determines whether inclination interpolation is possible based on the inclinations tb, ta, tk. As the determination conditions, the formulas 1 to 6 (or 7) previously used are used.
[0023]
When the conditional expressions of Formula 1 to Formula 6 (or Formula 7) are satisfied, gradient interpolation is not possible or not suitable, and the condition determination circuit 55 uses the selection circuit 11 in FIG. A signal to be selected is output to the output terminal 58. If Expression 1 to Expression 6 (or Expression 7) is not satisfied, a signal that causes the selection circuit 11 to select the output of the interpolation determination circuit 9 is output to the output terminal 58. At this time, the correct interpolation data obtained by the slope interpolation is selected and output as the output of the interpolation determination circuit 9. Further, the slope tb, which is the output of the rear slope calculation circuit 52, is outputted to the output terminal 520, and the slope ta, which is the output of the front slope calculation circuit 54, is outputted to the output terminal 540. The signal s output from the output terminal 56 is input to the linear interpolation circuit 10 and the forward slope interpolation circuit 7 of FIG. A signal t output from the output terminal 57 is input to the linear interpolation circuit 10 and the post-tilt interpolation circuit 8 of FIG. The inclination ta output from the output terminal 540 is input to the interpolation determination circuit 9 and the front inclination interpolation circuit 7 in FIG. The inclination tb output from the output terminal 520 is input to the interpolation determination circuit 9 and the rear inclination interpolation circuit 8 in FIG. In addition, data corresponding to the interpolation positions a, b, and c in FIG. 9, that is, distance data from pixel sample data B to a or distance data from a to pixel sample data C at the position a is interpolated. Is necessary. This is calculated by the zoom control circuit 6, and the result is input to the linear interpolation circuit 10, the front slope interpolation circuit 7, and the rear slope interpolation circuit 8. Here, the result calculated by the zoom control circuit 6 is referred to as an interpolation coefficient X. The linear interpolation circuit 10 calculates the interpolation data I from the input signal s, signal t, and interpolation coefficient X.
[0024]
For example, when the interpolation coefficient (distance) from the desired interpolation data to the signal t is X, the required interpolation data I may be calculated by the following equation.
I = s · X + t · (1−X) = t + (s−t) · X Equation 8
At this time, if the distance between the signal s and the signal t is 1, 0 <X <1, but in an actual circuit, the distance between the signals of the original data for interpolation is not normalized to 1, but may be 256, for example. . The linear interpolation circuit 10 may be assembled so as to satisfy the expression shown above. The calculated interpolation data I is input to the selection circuit 11.
At the same time, the interpolation data is calculated by the front inclination interpolation circuit 7 and the rear inclination interpolation circuit 8, respectively.
[0025]
FIG. 3 is a block diagram showing an embodiment of the front slope interpolation circuit. In the figure, the interpolation coefficient X input from the input terminal 70 is converted into (1-X) by the subtraction circuit 74, and then the multiplication circuit 71. Is multiplied by the inclination ta input from the input terminal 540. The addition circuit 72 adds the output and the signal s input from the input terminal 56. This addition result becomes the front slope interpolation data Ia using the previous information. The front slope interpolation data Ia is expressed by the following equation (9).
Ia = s + ta (1−X) (Equation 9)
The forward tilt interpolation data Ia obtained in this way is input to the interpolation determination circuit 9 through the output terminal 73.
[0026]
FIG. 4 is a block diagram showing an embodiment of the post-slope interpolation circuit. The multiplication circuit 81 multiplies the interpolation coefficient X inputted from the input terminal 80 by the slope tb inputted from the input terminal 520. The output of the multiplication circuit 81 is subtracted from the signal t input from the input terminal 57 by the subtraction circuit 82. This subtraction result becomes the post-tilt interpolation data Ib using the later information. When expressed by an equation, it becomes as shown in Expression 10.
Ib = t−tb · X Equation 10
The post-tilt interpolation data Ib obtained in this way is input to the interpolation determination circuit 9 of FIG. Further, the subtraction circuit 74 in the front slope interpolation circuit 7 may be built in the rear slope interpolation circuit 8 depending on the setting of the interpolation coefficient X output from the zoom control circuit 6.
[0027]
FIG. 5 is a block diagram showing an embodiment of the interpolation decision circuit. In the interpolation decision circuit shown in the figure, whether the pre-tilt interpolation data Ia or the post-tilt interpolation Ib data is taken depending on the arrangement of the original interpolation data. Make a decision.
First, the inclination tb input from the input terminal 520 and the inclination ta input from the input terminal 540 are input to the up / down determination circuit 91. The arrangement of data that can be tilt-interpolated is roughly classified as upward or downward. For example, the arrangement of data A, B, C, and D as shown in FIG. 9 is convex upward. The vertical judgment circuit 91 outputs 0 if it is convex upward, and 1 if it is convex downward. At the same time, the comparison circuit 90 compares the pre-tilt interpolation data Ia input from the input terminal 73 with the post-tilt interpolation data Ib input from the input terminal 83. Assuming that the projection is upward as shown in FIG. 9, the comparison circuit 90 outputs a signal that outputs Ia from the selection circuit 93 if Ia <= Ib, and the selection circuit 93 if Ia> = Ib. To output a signal that outputs Ib. By doing so, correct interpolation data suitable for the signal flow can be selected. The EOR circuit 92 is composed of two-input exclusive OR gates. If one value is 0, the other value is output through, and if one value is 1, the other value is inverted. Is output. If the data arrangement is now convex upward, the output of the up / down determination circuit 91 is 0, so the EOR circuit 92 outputs the signal of the comparison circuit 90 through. If it is convex downward, since the output of the up / down determination circuit 91 is 1, the EOR circuit 92 inverts the signal of the comparison circuit 90 and outputs it. That is, in the case of convex downward, if the relationship of Ia <= Ib, the selection circuit 93 outputs Ib, and if the relationship of Ia> = Ib, the selection circuit 93 outputs Ia. In this manner, the EOR circuit 92 can obtain correct interpolated data in which data is arranged both when the data arrangement is convex upward and downward. The correct slope interpolation signal thus selected is input to the selection circuit 11 of FIG. The selection circuit 11 selects the output of the linear interpolation circuit 10 if the prohibition condition is satisfied by the signal output from the prohibition condition determination circuit 5, and the output of the interpolation determination circuit 9 if the condition is not satisfied. The above series of operations is common to the luminance signal and the color signal. Further, by configuring the line memory 4 with three lines, vertical interpolation is also possible.
[0028]
As described above, according to the first embodiment, by adaptively switching the interpolation data, it is possible to perform interpolation according to the data flow of the video signal and prevent a reduction in sharpness, resulting in a decrease in resolution. It will also prevent. Therefore, blurring when the magnification is increased by electronic zoom can be prevented.
[0029]
Next, a second embodiment will be described with reference to FIG.
FIG. 6 is a lock diagram of the image pickup apparatus using the second embodiment of the interpolation apparatus according to the present invention, and shows a block corresponding to the electronic zoom device 100 of the image pickup apparatus of FIG. Among the blocks in FIG. 6, blocks having the same functions as those in FIG. 1 are given the same numbers. The output of the linear interpolation circuit 10 and the output of the interpolation determination circuit 9 are input to the interpolation circuit 20. The microcomputer 21 inputs a coefficient for interpolation calculation to the interpolation circuit 20.
In addition, a signal for selecting either linear interpolation data or slope interpolation data output from the prohibition condition determination circuit 5 is input to the interpolation circuit 20. If only gradient interpolation data is used as in the first embodiment, the sharpness may become too high. For example, in the case of convex upward as shown in FIG. 9, the interpolation data to be obtained is farther from the flow of the original data for interpolation as the inclination ta becomes larger than 1 or the absolute value of the inclination tb becomes larger than 1. It will go. Therefore, the interpolation circuit 20 again obtains an interpolation point between the linear interpolation data and the slope interpolation data, that is, a value between the linear interpolation data and the slope interpolation data, and uses it as the interpolation data. By setting the degree of interpolation by the microcomputer 21, extreme sharpness can be eliminated. For example, if the microcomputer 21 sets a coefficient for the interpolation point to come near the middle of the linear interpolation data and the slope interpolation data, the extreme sharpness is eliminated and a certain degree of sharpness can be maintained. The interpolation calculation method may use a weight inversely proportional to the distance as in the interpolation calculation method of the linear interpolation circuit 10.
[0030]
In the interpolation circuit 20, the interpolation calculation is not performed in all cases, and the interpolation calculation is performed only when the prohibition condition is not satisfied. When the prohibition condition is satisfied, linear interpolation data is output as it is. Therefore, the interpolation circuit 20 includes a selection circuit that selects data resulting from the interpolation operation and linear interpolation data.
[0031]
As described above, according to the second embodiment, an extreme sharpness can be prevented by taking a value between the linear interpolation data and the gradient interpolation data when performing gradient interpolation. Disappears.
[0032]
As described above, in this embodiment, since the value between the linear interpolation data and the gradient interpolation data is taken when the gradient interpolation is performed, an extreme sharpness can be prevented, so that an annoying edge emphasis portion on the screen is conspicuous. Can be eliminated.
[0033]
Next, a third embodiment will be described with reference to FIG.
FIG. 7 is a block diagram of an image pickup apparatus using a third embodiment of the interpolation apparatus according to the present invention. 7 differs from the block diagram of FIG. 5 in that the interpolation circuit 20 of FIG. 6 is changed to a variable interpolation circuit 31 and a shape determination circuit 30 is added. 7, blocks having the same functions as those in FIG. 6 are given the same common numbers.
According to the second embodiment, the extreme sharpness can be eliminated by using the interpolation points of the linear interpolation data and the gradient interpolation data. However, if the interpolation point is not set to a value close to the linear interpolation data, it is effective. No. However, when the interpolation point is set to a value close to the linear interpolation data, the sharpness of the entire screen may be lowered. Therefore, when the absolute values of the inclinations ta and tb are large, the interpolation point is used as the interpolation data as in the second embodiment, but when the absolute values of the inclinations ta and tb are not so large, the inclination interpolation data is used as the interpolation data. Whether the inclination is large or small is determined here by using inclination 1 as a threshold value. Of course, this threshold value is not limited to 1.
[0034]
Specifically, when the data arrangement is upward as shown in FIG. 9, if ta> 1, | tb |> 1, it is determined that the flow is far from the original data flow, and then linear interpolation is performed. And select the interpolation point for slope interpolation. In cases other than the above conditions, slope interpolation data is selected. Similarly, in the case of convex downward, if | ta |> 1, tb> 1, it is determined that the flow is far from the original data flow, and then interpolation points for linear interpolation and gradient interpolation are selected. To do. In cases other than the above conditions, slope interpolation data is selected. The shape determination circuit 30 performs the above-described determination based on the inclinations ta and tb of the output of the prohibition condition determination circuit 5 and outputs a signal such that correct interpolation data is selected by the variable interpolation circuit 31.
[0035]
FIG. 8 is a block diagram showing an embodiment of the variable interpolation circuit. In the figure, linear interpolation data output from the linear circuit 10 is input to an input terminal 311. An interpolation coefficient output from the microcomputer is input to the input terminal 312. The tilt interpolation data output from the interpolation determination circuit 9 is input to the input terminal 94. An interpolation calculation circuit 314 calculates an interpolation point from the linear interpolation data, the interpolation coefficient, and the gradient interpolation data. The calculation at this time can be performed in the same manner as the interpolation processing performed in the linear interpolation circuit 10. The selection circuit 315 selects either the output of the interpolation operation circuit 314 or the slope interpolation data based on the output of the shape determination circuit 30 input to the input terminal 313. When the selection circuit 315 determines that the shape determination circuit 30 is far from the flow of the original data, the selection circuit 315 suppresses an extra sharpness by selecting the output of the interpolation operation circuit 314 and is not far from the flow of the original data. If it is determined that the slope interpolation data is selected, sharpness can be enhanced. The selection circuit 316 outputs either linear interpolation data or the output of the selection circuit 315 to the output terminal 317 according to the output of the prohibition condition determination circuit 5 input to the input terminal 58. That is, the selection circuit 316 selects linear interpolation data when the prohibition condition is satisfied, and selects the output of the selection circuit 315 when the condition is not satisfied. As described above, in the third embodiment, since the interpolation method is switched based on the result of determining the flow of the original data, an excessive sharpness can be suppressed, and an appropriate sharpness can be maintained by setting the interpolation point. You can see the entire screen.
[0036]
As described above, according to this embodiment, by switching the interpolation method from the result of determining the flow of the original data, an extra sharpness can be suppressed, and an appropriate sharpness can be maintained by setting the interpolation point. The entire screen looks stuck.
[0037]
【The invention's effect】
As described above, according to the present invention, the interpolation data obtained from the different interpolation means can be adaptively switched to perform the interpolation according to the data flow of the video signal, thereby preventing the sharpness from being lowered. In addition, it is possible to prevent a decrease in resolution. Therefore, blurring when the magnification is increased by electronic zoom can be prevented.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image pickup apparatus using a first embodiment of an interpolation apparatus according to the present invention.
FIG. 2 is a block diagram illustrating an example of a prohibition condition determination circuit in FIG. 1;
FIG. 3 is a block diagram showing an embodiment of the forward slope interpolation circuit of FIG. 1;
4 is a block diagram showing an embodiment of the rear slope interpolation circuit of FIG. 1. FIG.
FIG. 5 is a block diagram showing an embodiment of the interpolation determination circuit of FIG. 1;
FIG. 6 is a block diagram of an imaging apparatus using a second embodiment of the interpolation apparatus according to the present invention.
FIG. 7 is a block diagram of an imaging apparatus using a third embodiment of the interpolation apparatus according to the present invention.
8 is a block diagram showing an embodiment of the variable interpolation circuit of FIG.
FIG. 9 is a schematic diagram showing an adaptive interpolation method.
FIG. 10A is a schematic diagram showing an arrangement pattern of pixel sample data.
FIG. 10B is a schematic diagram showing an arrangement pattern of pixel sample data.
FIG. 10C is a schematic diagram showing an arrangement pattern of pixel sample data.
FIG. 11 is a schematic diagram illustrating a state of a pixel.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Imaging device, 2 ... A / D converter, 3 ... Camera signal processing circuit, 4 ... Line memory, 5 ... Prohibition condition determination circuit, 6 ... Zoom control circuit, 7 ... Front inclination interpolation circuit, 8 ... Rear inclination interpolation circuit , 9 ... Interpolation determination circuit, 10 ... Linear interpolation circuit, 11 ... Selection circuit, 100 ... Electronic zoom device, 20 ... Interpolation circuit, 21 ... Microcomputer, 30 ... Shape determination circuit, 31 ... Variable interpolation circuit, 314 ... Inside Insertion operation circuit, 315, 316 ... selection circuit, 511, 512, 513 ... holding circuit, 52 ... rear inclination operation circuit, 53 ... inclination operation circuit, 54 ... front inclination operation circuit, 55 ... condition determination circuit, 71 ... multiplication circuit 72... Addition circuit, 74... Subtraction circuit, 81... Multiplication circuit, 82.

Claims

A plurality of interpolation means; a selection means for selecting the interpolation means; and a control means for controlling the selection means, wherein the plurality of interpolation means are extrapolated from the interpolation original data before the generated interpolation data. First interpolation means for obtaining a point and using it as interpolation data, and second interpolation means for obtaining an extrapolation point from interpolation original data after the generated interpolation data and using it as interpolation data are generated. Third interpolation means for outputting the interpolation data using interpolation data before and after the interpolation data, and the control means detects the slope of the original data for interpolation and the arrangement of the signals is convex upward or downward. A determination means for determining whether the arrangement of the original data for interpolation is convex upward, and selects the smaller one of the output of the first interpolation means and the output of the second interpolation means, If the array of the original data for interpolation is convex downward, If the larger one of the output of the first interpolation means and the output of the second interpolation means is selected, and the arrangement of the original data for interpolation is not convex upward or downward, the third interpolation means is An interpolation device characterized by selecting.

A plurality of interpolation means; a selection means for selecting the interpolation means; and a control means for controlling the selection means, wherein the plurality of interpolation means includes first interpolation original data of generated interpolation data, A first interpolation means having an extrapolation point with the second interpolation original data immediately before the first original data as the interpolation data; a third interpolation original data of the generated interpolation data; A second interpolation unit that uses the extrapolated point of the third original data and the fourth interpolation original data as the interpolation data, and a weight that is inversely proportional to the distance of the interpolation data to generate the interpolation data. 3, and the control means arranges the first, second, third, and fourth interpolation original data in the order of data generation, and the first to fourth interpolation data are arranged. Detect the slope of the original data and determine whether the signal sequence is convex upward or downward If the signal arrangement is convex upward, the smaller one of the output of the first interpolation means and the output of the second interpolation means is selected, and the signal arrangement is convex downward If there is, the larger one of the output of the first interpolation means and the output of the second interpolation means is selected, and if the signal arrangement is not convex upward or downward, the third interpolation means An interpolating apparatus for controlling the selecting means so as to select an output.

3. The interpolating apparatus according to claim 2, wherein the value is made variable by multiplying the output of the interpolation means selected when the signal sequence is convex upward or downward and by multiplying the coefficient and changing the coefficient. An interpolating apparatus characterized by comprising means for performing.

3. The interpolation apparatus according to claim 2, wherein the output of the interpolation means selected when the signal sequence is convex upward or convex downward and the output of the third interpolation means at a predetermined ratio. An interpolation device comprising means for generating interpolation data by mixing.