WO2018128011A1

WO2018128011A1 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: WO2018128011A1
Application number: PCT/JP2017/041232
Authority: WO
Inventors: 慶延岸根; 石井　良明; 林　健吉; 洋介成瀬
Original assignee: 富士フイルム株式会社
Priority date: 2017-01-06
Filing date: 2017-11-16
Publication date: 2018-07-12
Also published as: JP6608548B2; JPWO2018128011A1; US20190295215A1; CN110169044A; CN110169044B

Abstract

歪みが部分的に補正された良好な画質の結合画像を、計算コストをかけずに生成する画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。複数のカメラで撮影された複数の画像が入力され、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、２枚の画像を結合する方向と垂直な方向に拡縮処理する。拡縮処理後の複数の画像を結合し、連続する結合画像を生成する。拡縮処理により、２枚の画像の少なくとも一方の画像を所定の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像の垂直な方向のずれを抑制する。

Description

画像処理装置、画像処理方法、およびプログラム

　本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に複数のカメラによって撮影した各画像を結合して結合画像を生成する画像処理装置、画像処理方法、およびプログラムに関する。

　従来より、カメラの撮影レンズの画角よりも大きな被写体を、複数回に分割して撮影（分割撮影）した場合に、分割撮影された各画像（分割画像）を結合して結合画像を生成する技術が提案されている。

　例えば特許文献１では、１台のカメラで分割撮影して得た分割画像を結合する場合の技術が提案されている。特許文献１に記載の技術では、分割画像を撮影した際のカメラ位置を推定してその推定された位置に基づいてレンズ収差補正およびパース補正を行うことが記載されている。

特開２０１１－１３９３６７号公報

　ここで、撮影レンズの画角よりも大きい被写体を撮影する場合に、特許文献１のような１台のカメラでの分割撮影ではなく、複数のカメラによって分割撮影することにより複数のカメラの各々で分割画像を取得し、取得された分割画像を結合する方法もある。例えば工場において製品の検査（例えばシートの面状検査）を行う場合に、複数台のマシンビジョン用のカメラで撮影した各画像を１枚の画像に結合して使用することがある。

　このように複数台のカメラで得た分割画像を使用して結合画像を生成する場合には、カメラの各々には各個体の性能差や設置誤差があるので、単に分割画像を結合しただけでは良好な画質の結合画像を得ることができない。ここで、設置誤差とは例えば、カメラ（レンズ）と被写体との距離またはカメラが被写体に対して正対しているか否かの度合いについてのバラツキであり、設置誤差はカメラが取得する画像の像枚率および歪みに影響を及ぼす。

　一方、結合画像に対して求められる画質は、その結合画像が使用される用途によって異なる。例えば工場での製品の検査において結合画像が用いられる場合には、観賞用の結合画像のような画質まで要求されることは少なく、結合画像により画像認識を行うことができれば十分な場合がある。そしてこのような場合に、結合画像に部分的な歪みがあったとしても画像認識を行うことができる場合にまで、結合画像の全体の歪みを取り除く処理をしてしまうと、必要以上に計算コストが補正処理に割かれてしまい、画像処理のスピードが遅くなってしまう。

　したがって、必ずしも結合画像に対して最も好ましい状態まで補正処理により画質を高める必要はなく、結合画像において部分的に歪みを残して補正処理への計算コストの抑制を優先させてもよい場合がある。すなわち、できるだけ少ない計算コストにより効果的に結合画像の歪みを補正して、例えば画像認識に耐えうる結合画像を生成する方法が望まれている。

　しかしながら、特許文献１に記載された技術は、１台のカメラで取得された分割画像から結合画像を生成しており、複数のカメラの各々が有する性能の個体差への対応に関しては言及されていない。また特許文献１に記載された技術では、レンズ収差補正およびパース補正を位置情報に基づいて精度高く行うことを目的としているので、補正処理に対する計算コストは抑制されていない。

　本発明はこのような事情に鑑みてなされたもので、その目的は、歪みが部分的に補正された良好な画質の結合画像を、計算コストをかけずに生成する画像処理装置、画像処理方法、およびプログラムを提供することである。

　上記目的を達成するため本発明の一の態様である画像処理装置は、複数のカメラで撮影された複数の画像が入力される画像入力部と、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、２枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理部と、拡縮処理部による拡縮処理後の複数の画像を結合し、連続する結合画像を生成する結合画像生成部と、を備え、拡縮処理部は、２枚の画像の少なくとも一方の画像を所定の倍率によって拡縮処理し、２枚の画像が互いに結合する結合部の画像における垂直な方向のずれを抑制する。

　本態様によれば、拡縮処理部により、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像において、２枚の画像を結合する方向と垂直な方向のみに拡縮補正が行われる。これにより本態様では、２枚の画像を結合する方向と垂直な方向のみに拡縮補正を行うので、拡縮補正に割かれる計算コストを軽減することができる。すなわち、結合する方向と垂直方向への拡縮処理により、効果的に結合画像全体の歪みを改善することができる。

　また本態様によれば、拡縮処理部により、２枚の画像の少なくとも一方の画像を所定の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像の垂直な方向のずれを抑制する。したがって本態様では、２枚の画像の結合部の画像の垂直な方向のずれが抑制されているので、２枚の画像の結合部の画像において歪みが補正され、結合画像においても効果的に歪みが補正された良好な画質の結合画像を得ることができる。

　好ましくは、拡縮処理部は、所定の倍率によって拡縮処理し、結合部の画像の大きさを揃える。

　本態様によれば、拡縮処理部により、結合部の画像の大きさが揃えられるので、結合画像の結合部の歪みが効果的に補正された良好な画質の結合画像を得ることができる。

　好ましくは、拡縮処理部は、垂直な方向において一方の画像の位置に応じた所定の倍率によって拡縮処理を行う。

　本態様によれば、拡縮処理部により、垂直な方向において一方の画像のそれぞれの位置に応じた所定の倍率によって拡縮処理が行われるので、結合部の画像において、それぞれの位置での歪みが適切に補正された良好な画質の画像を得ることができる。

　好ましくは、拡縮処理部は、垂直な方向において一方の画像の画素に応じた所定の倍率によって拡縮処理を行う。

　本態様によれば、拡縮処理部により、結合部の画像の垂直な方向の画素に応じた所定の倍率によって拡縮処理が行われるので、２枚の画像の結合部の画像において、画素毎に歪みが適切に補正された良好な画質の画像を得ることができる。

　好ましくは、拡縮処理部は、２枚の画像のうち少なくとも一方の画像の全体を同じ所定の倍率によって拡縮処理を行う。

　本態様によれば、拡縮処理部により、２枚の画像のうち少なくとも一方の画像の全体を同じ倍率によって拡縮処理が行われるので、画像全体において、結合方向と垂直方向の歪みが抑制された良好な画質の画像を得ることができる。

　本発明の他の態様である画像処理装置は、複数のカメラで撮影された複数の画像が入力される画像入力部と、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、２枚の画像を結合する方向と垂直な方向に拡縮処理する第１の拡縮処理部と、２枚の画像の少なくとも一方の画像におけるその２枚の画像が互いに結合する結合部の画像を含む一部の画像を、２枚の画像を結合する方向に拡縮処理する第２の拡縮処理部と、第１の拡縮処理部および第２の拡縮処理部による拡縮処理後の複数の画像を結合し、連続する結合画像を生成する結合画像生成部と、を備え、第１の拡縮処理部は、２枚の画像の少なくとも一方の画像を所定の第１の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像における垂直な方向のずれを抑制し、第２の拡縮処理部は、一部の画像を所定の第２の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像におけるずれまたは歪みを抑制し結合する方向に連続させる。

　本態様によれば、第１の拡縮処理部により、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像において、２枚の画像を結合する方向と垂直な方向に拡縮補正が行われる。これにより本態様では、２枚の画像を結合する方向と垂直な方向に拡縮補正を行うので、拡縮補正に割かれる計算コストの軽減を行うことができる。すなわち、結合する方向と垂直方向への拡縮処理により、効果的に結合画像全体の歪みを改善することができる。

　また本態様によれば、第１の拡縮処理部により、２枚の画像の少なくとも一方の画像を所定の第１の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像の垂直な方向のずれを抑制する。したがって本態様では、２枚の画像の結合部の画像の垂直な方向のずれが抑制されているので、２枚の画像の結合部の画像において歪みが補正され、結合画像においても効果的に歪みが補正された良好な画質の結合画像を得ることができる。

　また本態様によれば、第２の拡縮処理部により、２枚の画像の少なくとも一方の画像の結合部の画像を含む一部の画像が、２枚の画像を結合する方向に拡縮処理される。これにより本態様では、２枚の画像を結合する方向に拡縮補正されるのは、結合部の画像を含む一部の画像であり画像全体ではないので、拡縮補正に割かれる計算コストの軽減を行うことができる。

　また本態様によれば、第２の拡縮処理部により、一部の画像を所定の第２の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像を、結合する方向に連続させる。したがって本態様では、２枚の画像の結合部の画像が連続しており結合画像においても効果的に歪みが補正された良好な画質の結合画像を得ることができる。

　好ましくは、第１の拡縮処理部は、所定の第１の倍率によって拡縮処理し、結合部の画像の大きさを揃える。

　本態様によれば、第１の拡縮処理部により、結合部の画像の大きさが揃えられるので、結合画像の結合部の歪みが効果的に補正された良好な画質の結合画像を得ることができる。

　好ましくは、第１の拡縮処理部は、垂直な方向において一方の画像の位置に応じた所定の第１の倍率によって拡縮処理を行う。

　本態様によれば、第１の拡縮処理部により、垂直な方向において一方の画像のそれぞれの位置に応じた所定の第１の倍率によって拡縮処理が行われるので、結合部の画像において、それぞれの位置での歪みが適切に補正された良好な画質の画像を得ることができる。

　好ましくは、第１の拡縮処理部は、垂直な方向において一方の画像の画素に応じた所定の第１の倍率によって拡縮処理を行う。

　本態様によれば、第１の拡縮処理部により、結合部の画像の垂直な方向の画素に応じた所定の第１の倍率によって拡縮処理が行われるので、２枚の画像の結合部の画像において、画素毎に歪みが補正された良好な画質の画像を得ることができる。

　好ましくは、第１の拡縮処理部は、２枚の画像のうち少なくとも一方の画像の全体を同じ所定の第１の倍率によって拡縮処理を行う。

　本態様によれば、第１の拡縮処理部により、２枚の画像のうち少なくとも一方の画像の全体を同じ所定の第１の倍率によって拡縮処理を行うので、画像全体において、結合方向と垂直方向の歪みが抑制された良好な画質の画像を得ることができる。

　好ましくは、第２の拡縮処理部は、垂直な方向において一方の画像の位置に応じて、一部の画像を拡縮処理する。

　本態様によれば、第２の拡縮処理部により、結合する方向に垂直な方向の位置に応じて一部の画像の拡縮処理が行われるので、結合部の画像において、結合方向と垂直方向の位置に応じて適切に歪みが補正された良好な画質の画像を得ることができる。

　好ましくは、第２の拡縮処理部は、垂直な方向において一方の画像の画素に応じて、一部の画像を拡縮処理する。

　本態様によれば、第２の拡縮処理部により、結合する方向に垂直な方向における結合部の画素に応じて拡縮処理が行われるので、画素に応じて適切に歪みが補正された良好な画質の画像を得ることができる。

　好ましくは、一部の画像は、結合する方向における結合する画像の一辺の長さの１％以上１０％以下の幅を有する。

　本態様によれば、結合部は、結合する方向における画像の一辺の長さの１％以上１０％以下の幅を有する。これにより、本態様では結合する方向における画像の一辺の長さの１％以上１０％以下の幅を有するエリアの歪みが補正されるので、拡縮補正に割かれる計算コストが抑制され、且つ効果的に結合画像の歪みを補正することができる。

　好ましくは、画像処理装置は、拡縮処理が行われた複数の画像に、シャープネス処理を行うシャープネス処理部を備える。

　本態様によれば、シャープネス処理部により拡縮補正が行われた複数の画像に対してシャープネス処理が行われ、その後にシャープネス処理が行われた画像を結合することにより結合画像が生成されるので、画質が良好な結合画像を得ることができる。

　好ましくは、結合画像生成部により生成された結合画像は、歪みが５画素以下である。

　本態様によれば、入力部で入力される画像は歪みが５画素以上あり拡縮補正を行わずに結合画像を生成してしまうと、その結合画像の画質は良好ではない。しかし、本態様のように入力される画像の歪みが５画素以上の場合であっても、本態様の拡縮補正が行われることによって、計算コストを抑制した拡縮補正によって歪みが５画素以下の良好な画質の結合画像を得ることができる。なお、結合画像用途の画像は、より広い領域が撮影可能である広角レンズで撮影されることが多く、広角レンズは歪み（ディストーション）が大きい。したがって、本態様は広角レンズを備えたカメラで取得された画像の歪みを補正する場合に、より計算コストを抑制した画像処理を行うことができる。

　本発明の他の態様である画像処理方法は、複数のカメラで撮影された複数の画像が入力される画像入力ステップと、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、２枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理ステップと、拡縮処理ステップによる拡縮処理後の複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、拡縮処理ステップは、２枚の画像の少なくとも一方の画像を所定の倍率によって拡縮処理し、２枚の画像が互いに結合する結合部の画像における垂直な方向のずれを抑制する。

　本発明の他の態様である画像処理方法は、複数のカメラで撮影された複数の画像が入力される画像入力ステップと、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、２枚の画像を結合する方向と垂直な方向に拡縮処理する第１の拡縮処理ステップと、２枚の画像の少なくとも一方の画像における２枚の画像が互いに結合する結合部の画像を含む一部の画像を、２枚の画像を結合する方向に拡縮処理する第２の拡縮処理ステップと、第１の拡縮処理ステップおよび第２の拡縮処理ステップによる拡縮処理後の複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、第１の拡縮処理ステップは、２枚の画像の少なくとも一方の画像を所定の第１の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像における垂直な方向のずれを抑制し、第２の拡縮処理ステップは、２枚の画像の少なくとも一方の画像の一部の画像を所定の第２の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像におけるずれまたは歪みを抑制し結合する方向に連続させる。

　本発明の他の態様であるプログラムは、複数のカメラで撮影された複数の画像が入力される画像入力ステップと、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、２枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理ステップと、拡縮処理ステップによる拡縮処理後の複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、拡縮処理ステップは、２枚の画像の少なくとも一方の画像を所定の倍率によって拡縮処理し、２枚の画像が互いに結合する結合部の画像における垂直な方向のずれを抑制する画像処理方法をコンピュータに実行させる。

　本発明の他の態様であるプログラムは、複数のカメラで撮影された複数の画像が入力される画像入力ステップと、複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、２枚の画像を結合する方向と垂直な方向に拡縮処理する第１の拡縮処理ステップと、２枚の画像の少なくとも一方の画像における２枚の画像が互いに結合する結合部の画像を含む一部の画像を、２枚の画像を結合する方向に拡縮処理する第２の拡縮処理ステップと、第１の拡縮処理ステップおよび第２の拡縮処理ステップによる拡縮処理後の複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、第１の拡縮処理ステップは、２枚の画像の少なくとも一方の画像を所定の第１の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像における垂直な方向のずれを抑制し、第２の拡縮処理ステップは、２枚の画像の少なくとも一方の画像の一部の画像を所定の第２の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像におけるずれまたは歪みを抑制し結合する方向に連続させる画像処理方法をコンピュータに実行させる。

　本発明によれば、結合される２枚の画像において一部に敢えて歪みを残す拡縮補正であって、画像と画像との結合部における歪みを補正する拡縮補正を行っているので、拡縮補正に対する計算コストを抑制して効果的に結合画像の歪みを補正された結合画像を得ることができる。

画像処理装置が備えられたコンピュータと複数のカメラとを示す概念図である。コンピュータに接続されるカメラの機能を示すブロック図である。コンピュータ側画像処理部（画像処理装置）の機能を示すブロック図である。大きさの異なる画像を結合させる場合の見た目のずれについて説明する図である。大きさの異なる画像を結合させる場合の見た目のずれについて説明する図である。結合画像が生成されるまでの概略を示す図である。画像処理方法を示すフロー図である。画像処理部（画像処理装置）の機能を示すブロック図である。Ｈ方向への拡縮処理に関して説明する図であるＨ方向への拡縮処理に関して説明する図である画像処理方法を示すフロー図である。結合画像の例を示す図である。結合画像の例を示す図である。結合画像の例を示す図である。撮影画像の例を示す図である。結合画像の例を示す図である。

　以下、添付図面にしたがって本発明における画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。

　図１は、本発明の画像処理装置が備えられたコンピュータとそのコンピュータに接続された複数のカメラとを示す概念図である。

　図１に示す場合では、被写体１１がカメラ１０Ａ～１０Ｃにより分割撮影されている。そしてカメラ１０Ａ～１０Ｃの各々は、分割撮影によりそれぞれの撮影画像（分割画像）を取得する。カメラ１０Ａ～１０Ｃに取得された各撮影画像は、コンピュータ６０に送られる。ここでカメラ１０Ａ～１０Ｃが取得する撮影画像には、被写体１１の一部分がそれぞれ写っており、カメラ１０Ａ～１０Ｃが取得した撮影画像を結合することにより、被写体１１の全体が写った結合画像を得ることができる。なお、カメラ１０Ａ～１０Ｃの配列は特に限定されるものでなく、１次元的に配列されてもよいし２次元的に配列されてもよい。また、結合画像の結合方向も一次元的な方向の結合でもよいし、２次元的な結合方向（マトリックス）の結合であってもよい。さらに被写体１１が立体物である場合には、カメラ１０Ａ～１０Ｃは、３次元的に配列されていてもよい。例えば、被写体１１が自動車の場合には、自動車を取り囲むようにカメラ１０Ａ～１０Ｃを配置してもよい。なおカメラ１０Ａ～１０Ｃは、画角（焦点距離）や画素数が一致しているカメラであってもよいし、画角（焦点距離）や画素数が互いに異なるカメラであってもよい。

　コンピュータ６０には、コンピュータ側画像処理装置（画像処理部）６３（図３を参照）が備えられている。そして、コンピュータ側画像処理部６３により複数の撮影画像を結合することによって結合画像が生成される。

　被写体１１は、カメラ１０Ａ～１０Ｃのレンズユニット１２（図２参照）に設けられる撮影レンズの画角よりも大きく、カメラ１０Ａ～１０Ｃによって分割撮影の必要がある。被写体１１の具体例として、工場で生産されたシートがあげられ、またカメラ１０Ａ～１０Ｃの具体例として、マシンビジョン用のカメラがあげられる。コンピュータ６０により生成される結合画像は、例えば画像認識処理が行われて、被写体１１（シート）の検査（シートの面状検査）に用いられる。なお、カメラの他の例として、車載カメラ、スマートフォン用カメラ、または監視カメラがあげられる。

　図２は、コンピュータ６０に接続されるカメラ１０Ａ～１０Ｃの機能を示すブロック図である。なお、カメラ１０Ａ～１０Ｃは同様の構成であるので、カメラ１０Ｃの構成のみ記載してカメラ１０Ａおよび１０Ｂの構成は省略する。

　カメラ１０Ｃは、レンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とは電気的に接続される。

　レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

　カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタ、およびイメージセンサ（フォトダイオード；ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号をカメラ本体コントローラ２８に送る。なお、カメラ１０Ａ～１０Ｃは、カラー画像、白黒画像、または単色画像を取得することができる。

　カメラ本体コントローラ２８は、デバイス制御部３４と画像処理部３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像データ（ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４はカメラ１０Ｃが具備する各種デバイス類を適宜制御する。

　一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理等）、ＲＧＢおよび／またはＹＣｒＣｂ変換処理および画像圧縮処理等の各種の画像処理が、画像処理部３５において適宜行われる。

　カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。カメラ１０Ｃ（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがって、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データおよびサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

　コンピュータ６０は、カメラ本体１４の入出力インターフェース３２およびコンピュータ入出力部６２を介してカメラ１０Ａ～１０Ｃに接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、カメラ１０Ａ～１０Ｃからの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（カメラ１０Ａ～１０Ｃ、サーバ８０）を制御することができる。なお、コンピュータ６０のコンピュータコントローラ６４に備えられるコンピュータ側画像処理部６３（画像処理装置）に関しては後で詳述する。

　サーバ８０は、サーバ入出力部８２およびサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

　各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Central Processing Unit等））やメモリ等を具備する。また、カメラ１０Ａ～１０Ｃ、コンピュータ６０およびサーバ８０間の通信は有線であってもよいし無線であってもよい。

　＜第１の実施形態＞
　図３は、本実施形態のコンピュータ側画像処理部（画像処理装置）６３の機能を示すブロック図である。コンピュータ側画像処理部６３は、コンピュータ６０のコンピュータコントローラ６４に備えられており、画像入力部１０１、Ｖ方向拡縮処理部１０３、および結合画像生成部１０５を備える。

　画像入力部１０１には、複数のカメラ１０Ａ～１０Ｃで撮影された各画像が入力される。すなわち、カメラ１０Ａ～１０Ｃで撮影された撮影画像が入出力インターフェース３２から出力されて、コンピュータ入出力部６２を介して画像入力部１０１に入力される。画像入力部１０１に入力された撮影画像は、Ｖ方向拡縮処理部１０３に送られる。

　Ｖ方向拡縮処理部１０３は、複数の撮影画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、２枚の画像を結合する方向と垂直な方向のみ拡縮処理する。すなわち、Ｖ方向拡縮処理部１０３は、Ｖ方向のみに拡縮処理を行い、画像を結合する方向には拡縮処理を行わない。なお、２枚の画像を結合する方向と垂直な方向は、Ｖ方向ともいう。また、画像を結合する方向はＨ方向ともいう。

　そしてＶ方向拡縮処理部１０３は、２枚の画像の少なくとも一方の画像を所定の倍率によってＶ方向に拡縮処理し、結合部の画像の垂直な方向のずれを抑制する。これにより、結合画像の歪みが部分的に補正され、拡縮処理に割かれる計算コストを抑制しつつ良好な画質を有する結合画像が得られる。ここで結合部とは、結合画像を構成する相隣する２枚の撮影画像を結合させる部分であり、撮影画像において他の結合画像と結合させる側の辺からその画像の結合する方向における一辺の長さの１％以上１０％以下の幅を有するその画像の部分を結合部とよぶ。また、本願でいう計算コストとは、コンピュータ６０の演算処理回路（ＣＰＵ）への負荷のことである。

　結合情報は、Ｖ方向拡縮処理部１０３および結合画像生成部１０５に入力される。ここで結合情報とは、結合画像を得るための情報であり、例えば結合方向、結合の順序、および結合のり代の範囲である。結合情報は予めユーザにより設定されていてもよいし、ユーザによりコンピュータ６０のキーボードを使用して入力されてもよい。

　以下に、結合する方向と拡縮補正を行う方向との関係を説明する。本発明においては、特にＶ方向に拡縮補正を行うことにより効果的な歪みの補正を実現している。歪みとは、結合する２枚の撮像画像において、画像の大きさが異なることまたは位置がずれること、または、１枚の撮像画像において、撮像カメラの収差などによる画像の形状が変化することを指す。

　図４および図５は、大きさの異なる画像を結合させる場合の見た目のずれについて説明する図である。図４は画像を結合する方向（Ｈ方向）の大きさが互いに異なる２枚の画像を結合した場合を示し、図５は画像を結合する方向と垂直な方向（Ｖ方向）の大きさが互いに異なる２枚の画像を結合した場合を示している。図４には、画像Ｅに対する画像ＤのＶ方向の大きさが３％小さい場合が示されており、図５には、画像Ｅに対する画像ＤのＨ方向の大きさが３％小さい場合が示されている。

　ここで図４の結合画像ＤＥと図５の結合画像ＤＥとを比較すると、Ｖ方向に大きさが異なる画像を結合した結合画像ＤＥ（図４）の方が、Ｈ方向に大きさが異なる画像を結合した結合画像ＤＥ（図５）よりも、画質が劣っている。これは結合部において、結合方向（Ｈ方向）と垂直な方向（Ｖ方向）への拡縮の影響が、結合方向への拡縮の影響よりも大きいことを示している。また結合部においてＨ方向への拡縮は結合画像が与える画質の印象にあまり影響しないことがわかる。

　本発明では、このことを上手く利用して計算コストを抑制しつつ結合画像の効果的な歪み補正を行う。具体的には、Ｖ方向拡縮処理部１０３はＶ方向の拡縮補正のみを行って効果的に画質が良好な結合画像を生成している。

　Ｖ方向拡縮処理部１０３は、撮影画像の全体に対して同じ倍率によってＶ方向に拡縮処理を行ってもよいし、Ｖ方向において画像の位置に応じた倍率によって拡縮処理を行ってもよいし、Ｖ方向に配列した画像の画素に応じた倍率によって拡縮処理を行ってもよい。

　またＶ方向拡縮処理部１０３で行われる拡縮処理の倍率は、撮影画像、結合画像、ユーザが所望する結合画像の画質、および結合画像の用途等で変わり、様々な倍率が適用される。

　図３に戻って、結合画像生成部１０５は、Ｖ方向拡縮処理部１０３による拡縮処理後の複数の撮影画像を結合し、連続する結合画像を生成する。結合画像生成部１０５において行われる結合画像の生成は、公知の技術を使用して、拡縮処理された各画像を結合する結合画像の生成を行う。

　図６は、結合画像が生成されるまでの概略を示す図である。

　なお、図１および図２において既に説明を行ったものは同じ符号を付し説明は省略する。また、点線で示した箇所は、コンピュータ６０により行われる処理を概念的に示している。ここで、図に示した場合では撮影画像１１１Ａ～１１１Ｃを図中のＨ軸方向に沿って結合することにより結合画像１１５を生成する場合を考え、撮影画像の結合方向と垂直な方向は図中のＶ方向である。

　被写体１１はカメラ１０Ａ～１０Ｃで分割撮影されている。そして、カメラ１０Ａ～１０Ｃはそれぞれにおいて撮影画像１１１Ａ～１１１Ｃを取得し、コンピュータ６０のコンピュータ側画像処理部６３に撮影画像１１１Ａ～１１１Ｃを送る。そして画像入力部１０１に撮影画像１１１Ａ～１１１Ｃが入力される。ここで、撮影画像１１１Ａ～１１１Ｃはそれぞれ異なる焦点距離で撮影されたものである。すなわち、撮影画像１１１Ａは焦点距離ａで、撮影画像１１１Ｂは焦点距離ｂで、撮影画像１１１Ｃは焦点距離ｃで、取得されたものであり、ａ＞ｂ＞ｃである。

　このように、焦点距離が異なる撮影画像１１１Ａ～１１１Ｃを単に結合して結合画像を生成しようとすると、撮影画像１１１Ａ～１１１Ｃの大きさが異なるために、結合画像には歪みが多く良好な画質とはならない。

　そこで、撮影画像１１１Ａ～１１１Ｃに対して、Ｖ方向拡縮処理部１０３により拡縮を行う。具体的には、撮影画像１１１Ａは焦点距離が大きく撮影された画像であるので、Ｖ方向に所定の倍率によって縮小させる拡縮処理を行い中間画像１１３Ａを生成し、撮影画像１１１Ｃに対しては焦点距離が小さく撮影された画像であるので、Ｖ方向に所定の倍率によって拡大させる拡縮処理を行い中間画像１１３Ｃを生成し、撮影画像１１１Ｂは、撮影画像１１１Ａおよび撮影画像１１１Ｃとのバランスを考慮して、拡縮処理を行わず中間画像１１３Ｂが生成される。その後、結合画像生成部１０５はＨ軸方向に沿って中間画像１１３Ａ～１１３Ｃを結合させて結合画像１１５を生成する。

　このように生成された結合画像１１５は、画像全体として全ての歪みが補正された結合画像ではないが、効果的に歪みが補正されている。結合画像１１５は、特定の用途に対しては十分に歪みが補正された画像である。

　図７は、本発明の画像処理方法を示すフロー図である。

　先ず画像入力部１０１に、複数のカメラ１０Ａ～１０Ｃによって一つの被写体１１を分割撮影した複数の撮影画像が入力される（ステップＳ１０：画像入力ステップ）。その後、Ｖ方向拡縮処理部１０３において取得された複数の画像のうち互いに結合する２枚の画像の少なくとも一方の画像に対して、Ｖ方向の拡縮処理のみが行われる（ステップＳ１１：拡縮処理ステップ）。そして、結合画像生成部１０５により、Ｖ方向拡縮処理部１０３で少なくとも一方の画像において拡縮処理が行われた２枚の画像を結合して、結合画像を生成する（ステップＳ１２：結合画像生成ステップ）。

　上述の各構成および機能は、任意のハードウェア、ソフトウェア、あるいわ両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、あるいわそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　＜第２の実施形態＞
　次に第２の実施形態に関して説明する。本実施形態においては、第１の実施形態とは異なり、画像を結合する方向（Ｈ方向）への拡縮も行われる。

　図８は、本実施形態のコンピュータ側画像処理部（画像処理装置）６３の機能を示すブロック図である。コンピュータ側画像処理部６３は、コンピュータ６０のコンピュータコントローラ６４に備えられており、画像入力部１０１、拡縮処理部１２３、および結合画像生成部１０５を備える。なお、図３で説明した箇所は同じ符号を付し説明は省略する。

　本実施形態の拡縮処理部１２３は、Ｖ方向拡縮処理部（第１の拡縮処理部）１０３とＨ方向拡縮処理部（第２の拡縮処理部）１２７を備えている。

　Ｈ方向拡縮処理部１２７は、２枚の画像の少なくとも一方の画像の結合部の画像を含む一部の画像を、２枚の画像を結合する方向（Ｈ方向）に拡縮処理する。すなわちＨ方向拡縮処理部１２７は、撮影画像の全体ではなく結合部の画像を含む一部の画像に関して、Ｈ方向に拡縮処理を行う。

　Ｈ方向拡縮処理部１２７は、２枚の画像の少なくとも一方の画像の一部の画像を所定の倍率によって拡縮処理し、互いに結合する２枚の画像の結合部の画像をＨ方向にずれまたは歪みを抑制し連続させる。すなわちＨ方向拡縮処理部１２７は、撮影画像における結合部を含む一部の画像をＨ方向へ拡縮処理することにより、２枚の画像の結合部の画像のずれまたは歪みを補正し連続したものとする。

　図９および図１０は、Ｈ方向拡縮処理部１２７により行われるＨ方向への拡縮処理に関して説明する図である。

　図９では、撮影画像ＤのＨ方向の拡縮処理に関して概念的に示している。なお、撮影画像Ｄは四角形であるべき画像に対して樽形歪みを有している。Ｈ方向拡縮処理部１２７は、撮影画像Ｄの他画像と結合する辺（結合辺）を有する結合部Ｊを含む一部の画像をＨ方向に拡縮処理を行っている。具体的には、基準位置Ｋと結合部Ｊにおける結合辺とによって囲まれるエリアすなわち結合部を含む一部の画像に関して、位置に応じて図示するように画像を１００％、１０２％、１０５％、１１０％、１１５％、１２０％、１５０％、２００％の倍率によって拡大している。なお、この拡大処理は基準位置からＨ方向へ拡大している。ここで、撮影画像Ｄの結合部Ｊを含む一部の画像とは、基準位置Ｋと結合部Ｊとにおける結合辺によって囲まれるエリアのことであり、撮影画像ＤのＨ方向の一辺の長さの１％以上１０％以下の幅を有する。

　さらにＨ方向拡縮処理部１２７は、結合部Ｊにおける結合辺までのＨ方向の拡大がされているが、結合部Ｊにおける結合辺を越えるような拡大を行ってもよい。

　図１０は、基準位置Ｋに関して説明する図である。基準位置Ｋは、上記したように、Ｈ方向への拡縮処理を行うエリアを決める位置である。

　図１０に示した場合では、符号１３２の箇所、符号１３４の箇所、および符号１３６の箇所においてそれぞれ異なる倍率によってＨ方向への拡縮処理を行う。具体的には、符号１３２の箇所はＳだけＨ方向へ拡大され、符号１３４の箇所はＴだけＨ方向へ拡大される。図１０に示した場合では、符号１３２の箇所が最も大きく拡大され。この場合例えば、基準位置Ｋは結合される端部から２Ｓだけ離れた位置に設けることができる。すなわち基準位置Ｋは、最も拡大される箇所における拡大される距離の２倍の位置に設けられる。このように、基準位置Ｋを画面の中心に設けないことで、補正を軽減して計算コストの抑制を図っている。

　図８に戻って、シャープネス処理部１２９は、撮影画像に拡縮処理が行われた後にシャープネス処理を行う。シャープネス処理部１２９は、結合画像を構成する撮影画像に対してシャープネス処理が行われ、拡縮処理が行われた画像および拡縮処理が行われていない画像に対してもシャープネス処理が行われる。ここでシャープネス処理部１２９が行うシャープネス処理は、公知の技術が使用される。

　図１１は、本発明の画像処理方法を示すフロー図である。

　先ず画像入力部１０１に、複数のカメラ１０Ａ～１０Ｃによって一つの被写体１１を分割撮影した複数の撮影画像が入力される（ステップＳ２０：画像入力ステップ）。その後、Ｖ方向拡縮処理部１０３により取得された複数の画像のうち互いに結合する２枚の画像の少なくとも一方の画像において、Ｖ方向の拡縮処理が行われる（ステップＳ２１：第１の拡縮処理ステップ）。次にＨ方向拡縮処理部１２７により、互いに結合する２枚の画像の少なくとも一方の画像の結合部の画像を含む一部の画像を、２枚の画像を結合する方向に拡縮処理が行われる（ステップＳ２２：第２の拡縮処理ステップ）。その後、結合画像生成部１０５により、Ｖ方向拡縮処理部１０３及びＨ方向拡縮処理部１２７によって少なくとも一方の画像において拡縮処理が行われた２枚の画像を結合して、結合画像が生成される（ステップＳ２３：結合画像生成ステップ）。

　＜結合画像の例＞
　次に、本発明で結合された結合画像の例について説明する。なお、以下に説明する結合画像の例は２枚の撮影画像により１枚の結合画像が生成されるものであるが、本発明の適用範囲はこれに限定されず、３枚以上の撮影画像により、１枚の結合画像が生成される場合にも当然に本発明は適用される。

　（結合画像の例１）
　図１２は本例の結合画像を示す図である。図１２では、撮影画像Ｆと撮影画像Ｇとの結合画像ＦＧが示されている。撮影画像Ｆと撮影画像Ｇとは、撮影画像の結合部Ｊにおいて画像の大きさが揃えられている。具体的には、Ｖ方向拡縮処理部１０３は、撮影画像Ｆおよび／またはＧを拡縮処理することにより、結合部Ｊにおける画像の大きさを揃える。

　ここで、画像入力部１０１に入力される撮影画像は歪みがＶ方向に５画素以上あっても、Ｖ方向拡縮処理部１０３によって拡縮処理を行うことにより物体認識可能な結合画像とすることができる。すなわち、物体を画像で認識させる用途で結合画像を使用する場合には、画像のずれが４画素以下、より好ましくは２画素以下に補正することが好ましいが、本発明の拡縮処理により結合画像において４画素以下、より好ましくは２画素以下に歪みを補正することができる。

　（結合画像の例２）
　図１３は本例の結合画像を説明する図である。図１３（Ａ）には比較のために図１２によって示した結合画像ＦＧが示されており、図１３（Ｂ）には本例の結合画像が示されている。

　図１２に示したように撮影画像Ｆと撮影画像Ｇとの端が合うように拡縮処理を行った場合、撮影画像同士の端は揃う（結合部Ｊにおける段差がなくなる）が、撮影画像の中間において歪みが大きく残る箇所が発生する場合もある。

　例えば図１３（Ａ）に示した場合では、端部Ｐ１およびＰ２では撮影画像Ｆと撮影画像Ｇとのずれ（段差）は無くなっているが、位置Ｑ１および位置Ｑ２において歪みが大きい状態となっている。

　一方図１３（Ｂ）では、結合部Ｊの複数の点においてバランスよく結合できる倍率により拡縮処理が行われている。すなわち、図１３では結合部Ｊの端部を揃える倍率によってはなく、結合部ＪのＶ方向における複数点においてバランス良く結合できる倍率を設定することにより、拡縮処理が行われている。これにより、例えば図１３（Ｂ）のＲ１～Ｒ４では、図１３（Ａ）と比べて歪みが抑制されている。

　（結合画像の例３）
　図１４は本例の結合画像を説明する図である。図１４に示された結合画像ＦＧは、図１２によって説明を行った結合画像ＦＧである。すなわち、結合部Ｊの端部の画像の大きさを揃える（段差を無くす）ような倍率によって拡縮処理された結合画像ＦＧである。この場合には、例えばＱ１またはＱ２のように画像の中間部分において歪みが大きくなってしまう。そこで本例では、このように歪みが大きくなる部分においては異なる倍率により、拡縮処理を行う。すなわち、本例においては、Ｖ方向の位置または画素に応じて異なる倍率により拡縮処理が行われる。

　（結合画像の例４）
　図１５および図１６は、本例の結合画像を説明する図である。本例の結合画像は、Ｈ方向の拡縮処理も行われる。

　図１５は、結合画像を構成する撮影画像Ｆおよび撮影画像Ｇを示している。撮影画像ＦおよびＧは、それぞれ樽形収差を有している。

　撮影画像ＦおよびＧは文字列をＨ方向に有する。このように、文章、文字、または細かい構造物を有する撮影画像を結合して結合画像を生成する場合には、Ｈ方向の歪みについても知覚されやすくなってしまう。したがって、Ｈ方向においても拡縮処理を行う。

　図１６（Ａ）はＨ方向の拡縮処理を行わずに撮影画像Ｆと撮影画像Ｇとを結合した場合を示しており、図１６（Ｂ）はＨ方向の拡縮処理を行って撮影画像Ｆと撮影画像Ｇとを結合した場合を示している。

　図１６（Ａ）に示すように、撮影画像Ｆおよび撮影画像Ｇに対してＨ方向への拡縮処理を行わない場合には、結合画像ＦＧにおいて文字列が上手く連続しない場合がある。すなわち、個々の撮影画像が有する収差などにより、Ｈ方向において上手く撮影画像が連続しない場合がある。このような場合には、Ｈ方向への拡縮処理を行う。

　図１６（Ｂ）に示すように、撮影画像Ｆおよび／または撮影画像Ｇに対してＨ方向への拡縮処理を行った場合には、結合画像ＦＧにおいて文字列が上手く連続する。すなわち、撮影画像Ｆおよび／または撮影画像Ｇに対してＨ方向への拡縮処理を行った場合には、撮影画像Ｆと撮影画像Ｇとの文字列が上手く連続するようになる。

　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　１０Ａ～Ｃ　　カメラ
　１１　　　被写体
　１２　　　レンズユニット
　１４　　　カメラ本体
　１６　　　レンズ
　１７　　　絞り
　１８　　　光学系操作部
　２０　　　レンズユニットコントローラ
　２２　　　レンズユニット入出力部
　２６　　　撮像素子
　２８　　　カメラ本体コントローラ
　３０　　　カメラ本体入出力部
　３２　　　入出力インターフェース
　３４　　　デバイス制御部
　３５　　　画像処理部
　６０　　　コンピュータ
　６２　　　コンピュータ入出力部
　６３　　　コンピュータ側画像処理部
　６４　　　コンピュータコントローラ
　６６　　　ディスプレイ
　７０　　　インターネット
　８０　　　サーバ
　８２　　　サーバ入出力部
　８４　　　サーバコントローラ
　１０１　　画像入力部
　１０３　　Ｖ方向拡縮処理部
　１０５　　結合画像生成部
　１１１Ａ～Ｃ　撮影画像
　１１３Ａ～Ｃ　中間画像
　１１５　　結合画像
　１２３　　拡縮処理部
　１２７　　Ｈ方向拡縮処理部
　１２９　　シャープネス処理部

Claims

　複数のカメラで撮影された複数の画像が入力される画像入力部と、
　前記複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、前記２枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理部と、
　前記拡縮処理部による拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成部と、を備え、
　前記拡縮処理部は、前記２枚の画像の少なくとも前記一方の画像を所定の倍率によって拡縮処理し、前記２枚の画像が互いに結合する結合部の画像における前記垂直な方向のずれを抑制する画像処理装置。
　前記拡縮処理部は、前記所定の倍率によって拡縮処理し、前記結合部の画像の大きさを揃える請求項１に記載の画像処理装置。
　前記拡縮処理部は、前記垂直な方向において前記一方の画像の位置に応じた前記所定の倍率によって拡縮処理を行う請求項１または２に記載の画像処理装置。
　前記拡縮処理部は、前記垂直な方向において前記一方の画像の画素に応じた前記所定の倍率によって拡縮処理を行う請求項１または２に記載の画像処理装置。
　前記拡縮処理部は、前記２枚の画像のうち少なくとも前記一方の画像の全体を同じ前記所定の倍率によって拡縮処理を行う請求項１に記載の画像処理装置。
　複数のカメラで撮影された複数の画像が入力される画像入力部と、
　前記複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、前記２枚の画像を結合する方向と垂直な方向に拡縮処理する第１の拡縮処理部と、
　前記２枚の画像の少なくとも前記一方の画像における前記２枚の画像が互いに結合する結合部の画像を含む一部の画像を、前記２枚の画像を結合する方向に拡縮処理する第２の拡縮処理部と、
　前記第１の拡縮処理部および前記第２の拡縮処理部による拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成部と、を備え、
　前記第１の拡縮処理部は、前記２枚の画像の少なくとも前記一方の画像を所定の第１の倍率によって拡縮処理し、前記互いに結合する前記２枚の画像の前記結合部の画像における前記垂直な方向のずれを抑制し、
　前記第２の拡縮処理部は、前記一部の画像を所定の第２の倍率によって拡縮処理し、前記互いに結合する前記２枚の画像の前記結合部の画像におけるずれまたは歪みを抑制し前記結合する方向に連続させる画像処理装置。
　前記第１の拡縮処理部は、前記所定の第１の倍率によって拡縮処理し、前記結合部の画像の大きさを揃える請求項６に記載の画像処理装置。
　前記第１の拡縮処理部は、前記垂直な方向において前記一方の画像の位置に応じた前記所定の第１の倍率によって拡縮処理を行う請求項６または７に記載の画像処理装置。
　前記第１の拡縮処理部は、前記垂直な方向において前記一方の画像の画素に応じた前記所定の第１の倍率によって拡縮処理を行う請求項６または７に記載の画像処理装置。
　前記第１の拡縮処理部は、前記２枚の画像のうち少なくとも前記一方の画像の全体を同じ前記所定の第１の倍率によって拡縮処理を行う請求項６に記載の画像処理装置。
　前記第２の拡縮処理部は、前記垂直な方向において前記一方の画像の位置に応じて、前記一部の画像を拡縮処理する請求項６から１０のいずれか１項に記載の画像処理装置。
　前記第２の拡縮処理部は、前記垂直な方向において前記一方の画像の画素に応じて、前記一部の画像を拡縮処理する請求項６から１０のいずれか１項に記載の画像処理装置。
　前記一部の画像は、前記結合する方向における前記結合する画像の一辺の長さの１％以上１０％以下の幅を有する請求項６から１２のいずれか１項に記載の画像処理装置。
　前記拡縮処理が行われた前記複数の画像に、シャープネス処理を行うシャープネス処理部を備える請求項１から１３のいずれか１項に記載の画像処理装置。
　前記結合画像生成部により生成された前記結合画像は、歪みが５画素以下である請求項１から１４のいずれか１項に記載の画像処理装置。
　複数のカメラで撮影された複数の画像が入力される画像入力ステップと、
　前記複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、前記２枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理ステップと、
　前記拡縮処理ステップによる拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、
　前記拡縮処理ステップは、前記２枚の画像の少なくとも前記一方の画像を所定の倍率によって拡縮処理し、前記２枚の画像が互いに結合する結合部の画像における前記垂直な方向のずれを抑制する画像処理方法。
　複数のカメラで撮影された複数の画像が入力される画像入力ステップと、
　前記複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、前記２枚の画像を結合する方向と垂直な方向に拡縮処理する第１の拡縮処理ステップと、
　前記２枚の画像の少なくとも前記一方の画像における前記２枚の画像が互いに結合する結合部の画像を含む一部の画像を、前記２枚の画像を結合する方向に拡縮処理する第２の拡縮処理ステップと、
　前記第１の拡縮処理ステップおよび前記第２の拡縮処理ステップによる拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、
　前記第１の拡縮処理ステップは、前記２枚の画像の少なくとも前記一方の画像を所定の第１の倍率によって拡縮処理し、前記互いに結合する前記２枚の画像の前記結合部の画像における前記垂直な方向のずれを抑制し、
　前記第２の拡縮処理ステップは、前記一部の画像を所定の第２の倍率によって拡縮処理し、前記互いに結合する前記２枚の画像の前記結合部の画像におけるずれまたは歪みを抑制し前記結合する方向に連続させる画像処理方法。
　複数のカメラで撮影された複数の画像が入力される画像入力ステップと、
　前記複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、前記２枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理ステップと、
　前記拡縮処理ステップによる拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、
　前記拡縮処理ステップは、前記２枚の画像の少なくとも前記一方の画像を所定の倍率によって拡縮処理し、前記２枚の画像が互いに結合する結合部の画像における前記垂直な方向のずれを抑制する画像処理方法をコンピュータに実行させるプログラム。
　複数のカメラで撮影された複数の画像が入力される画像入力ステップと、
　前記複数の画像のうちの互いに結合する２枚の画像の少なくとも一方の画像を、前記２枚の画像を結合する方向と垂直な方向に拡縮処理する第１の拡縮処理ステップと、
　前記２枚の画像の少なくとも前記一方の画像における前記２枚の画像が互いに結合する結合部の画像を含む一部の画像を、前記２枚の画像を結合する方向に拡縮処理する第２の拡縮処理ステップと、
　前記第１の拡縮処理ステップおよび前記第２の拡縮処理ステップによる拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、
　前記第１の拡縮処理ステップは、前記２枚の画像の少なくとも前記一方の画像を所定の第１の倍率によって拡縮処理し、前記互いに結合する前記２枚の画像の前記結合部の画像における前記垂直な方向のずれを抑制し、
　前記第２の拡縮処理ステップは、前記一部の画像を所定の第２の倍率によって拡縮処理し、前記互いに結合する前記２枚の画像の前記結合部の画像におけるずれまたは歪みを抑制し前記結合する方向に連続させる画像処理方法をコンピュータに実行させるプログラム。