JP2021022894A - 画像処理方法、画像処理装置および情報システム - Google Patents

Abstract

【課題】高精彩な画像を表示することが可能な画像処理方法、画像処理装置および情報システムを提供すること。
【解決手段】本発明の画像処理方法は、撮像すべき対象のＲＧＢ画像を撮像し、かつ、所定の波長領域において前記対象の分光画像を撮像することで、前記波長領域における、前記対象が有する固有の分光情報を取得する撮像工程と、前記ＲＧＢ画像に対して前記分光情報を重畳することで補完された補完画像を表示する表示工程とを有する。
【選択図】図７

Description

本発明は、画像処理方法、画像処理装置および情報システムに関するものである。

スマートフォン等の情報端末が備えるアプリケーション等において、情報端末が備えるＲＧＢカメラで撮像したＲＧＢ画像を、情報端末が備えるディスプレイで表示したり、プリンターを用いて、印刷物すなわち写真として印刷することが行われている。

近年、このＲＧＢ画像を、異なる波長領域において撮像された２つのＲＧＢ画像を重畳することで、高精彩なものとして表示する画像処理方法が提案されている（例えば、特許文献１参照）。

特開２０１３−２５８４５５号公報

しかしながら、上記の通り、２つのＲＧＢ画像を重畳することで、表示する画像を得る画像処理方法では、重畳に用いる画像がともにＲＧＢ画像であるため、元来、ＲＧＢ画像によっては取得が容易ではないとされる波長領域において、画像を高精彩に表示することは、困難となると言う課題が生じる。

本発明は、上述の課題を解決するためになされたものであり、以下の適用例として実現することが可能である。

本発明の適用例に係る画像処理方法は、撮像すべき対象のＲＧＢ画像を撮像し、かつ、所定の波長領域において前記対象の分光画像を撮像することで、前記波長領域における、前記対象が有する固有の分光情報を取得する撮像工程と、
前記ＲＧＢ画像に対して前記分光情報を重畳することで補完された補完画像を表示する表示工程とを有することを特徴とする。

本発明の情報システムの第１実施形態が適用された情報端末であるスマートフォンの全体像の表側を示す平面図である。 本発明の情報システムの第１実施形態が適用された情報端末であるスマートフォンの全体像の裏側を示す平面図である。 図２に示すスマートフォンのＡ−Ａ線断面図である。 図２に示すスマートフォンのＢ−Ｂ線断面図である。 図１、図２に示すスマートフォンの概略構成を示すブロック図である。 図１、図２に示すスマートフォンの分光計測部が備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図である。 図１、図２に示すスマートフォンにより撮像対象の画像の取得を行う画像処理方法を示すフローチャートである。 図１、図２に示すスマートフォンが備える分光計測部により、撮像対象を撮像して得られる、撮像対象が有する固有の分光情報を説明するための概略図である。 本発明の情報システムの第２実施形態が適用されたスマートフォンとカメラとの概略構成を示すブロック図である。 本発明の情報システムの第３実施形態が適用されたスマートフォンと外部表示部との概略構成を示すブロック図である。 本発明の情報システムの第４実施形態が適用されたスマートフォンとカメラと外部表示部との概略構成を示すブロック図である。 本発明の情報システムの第５実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。 本発明の情報システムの第６実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。

以下、本発明の画像処理方法、画像処理装置および情報システムを添付図面に示す好適な実施形態に基づいて詳細に説明する。

なお、以下では、本発明の画像処理方法および画像処理装置を説明するのに先立って、本発明の情報システムについて説明する。

＜情報システム＞
＜＜第１実施形態＞＞
図１は、本発明の情報システムの第１実施形態が適用された情報端末であるスマートフォンの全体像の表側を示す平面図、図２は、本発明の情報システムの第１実施形態が適用された情報端末であるスマートフォンの全体像の裏側を示す平面図、図３は、図２に示すスマートフォンのＡ−Ａ線断面図、図４は、図２に示すスマートフォンのＢ−Ｂ線断面図、図５は、図１、図２に示すスマートフォンの概略構成を示すブロック図、図６は、図１、図２に示すスマートフォンの分光計測部が備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図、図７は、図１、図２に示すスマートフォンにより撮像対象の画像の取得を行う画像処理方法を示すフローチャート、図８は、図１、図２に示すスマートフォンが備える分光計測部により、撮像対象を撮像して得られる、撮像対象が有する固有の分光情報を説明するための概略図である。

以下、本実施形態では、本発明の情報システムを、情報端末の１種であるスマートフォン１（ＳＰ）に適用した場合、すなわち、情報端末であるスマートフォン１単独で、本発明の情報システムおよび本発明の画像処理装置が完結している場合について説明する。

スマートフォン１は、撮像すべき撮像対象Ｘすなわち対象を撮像する撮像機能を備えた携帯型の情報端末の１つであり、撮像対象ＸのＲＧＢ画像を撮像するＲＧＢカメラと、所定の波長領域において撮像対象Ｘの分光画像を撮像することで、前記波長領域における、撮像対象Ｘが有する固有の分光情報を取得する分光カメラと、ＲＧＢ画像と分光情報とを記憶する記憶部１７と、ＲＧＢ画像と分光情報とを表示し得る表示部１５とを有しており、本発明において、表示部１５は、ＲＧＢ画像に対して分光情報を重畳することで補完された補完画像を表示するよう構成されている。

このスマートフォン１において、本実施形態では、分光カメラは、撮像対象Ｘの分光画像を撮像することで、撮像対象Ｘが有する固有の分光情報を取得する分光計測部１０で構成され、ＲＧＢカメラは、撮像対象ＸのＲＧＢ画像を撮像するＲＧＢ画像取得部１１で構成されている。

かかる構成のスマートフォン１では、ＲＧＢカメラすなわちＲＧＢ画像取得部１１で取得されたＲＧＢ画像に対して、分光カメラすなわち分光計測部１０で取得された、所定の波長領域における分光情報が重畳されることで、分光情報でＲＧＢ画像が補完された補完画像が得られる。したがって、この補完画像を、より高精彩な画像として、表示部１５において表示することが可能となる。

なお、分光カメラすなわち分光計測部１０で取得する所定の波長領域は、可視光領域から選択されたものに限らず、赤外線領域や、紫外線領域等から選択されたものであってもよい。

以下、このようなＲＧＢカメラおよび分光カメラ、すなわち、ＲＧＢ画像取得部１１および分光計測部１０を備えるスマートフォン１の各部の構成について説明する。

［表示部１５、入力部１６］
スマートフォン１では、ディスプレイ７０が表示部１５と入力部１６との双方の機能を兼ね備えており、表示部１５は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の各種画像表示装置で構成される。この表示部１５は、図１に示すように、スマートフォン１の表側に設けられ、撮像した撮像対象Ｘの画像を必須とし、その他の情報を含む可視化画像を表示する。なお、本発明では、表示部１５と入力部１６とは、それぞれ、別個に設けられていてもよい。

表示部１５で表示する可視化画像としては、撮像された撮像対象Ｘの画像すなわち補完画像の他、例えば、撮像対象Ｘを撮像した日付け、撮像対象Ｘの種類等の情報等が挙げられる。なお、図１では、撮像対象Ｘとして、リンゴを撮像した場合の補完画像が表示されている。

また、入力部１６は、例えば、表示部１５の表面に設けられ、タッチ感知面と、このタッチ感知面との接触の強度を検出するためのセンサーとを備えるタッチパネルで構成される、ユーザー（操作者）による操作指示、すなわち、撮像対象Ｘを撮像する際のモードすなわち条件等が入力されることを受け付ける。

［記憶部１７］
記憶部１７は、ＲＯＭやＲＡＭ等の各種記憶装置（メモリー）により構成され、スマートフォン１の制御、特に分光計測部１０およびＲＧＢ画像取得部１１の制御に必要な各種データ、さらに、分光計測部１０およびＲＧＢ画像取得部１１でそれぞれ取得された分光画像およびＲＧＢ画像等を記憶する。

当該データは、例えば、制御部６０が備える各機能を実現させるためのアプリケーション、プログラム等の他、分光計測部１０が有する分光部４１のファブリーペローエタロンフィルターが備える静電アクチュエーター４５に印加する駆動電圧に対する透過光の波長を示す相関データＶ−λデータ等が挙げられる。

［分光計測部１０］
分光計測部１０は、撮像対象Ｘで反射した反射光を受光し、分光することで、選択された特定波長または特定波長領域（以下では、「特定波長」で代表して説明する。）の光を得た後、この特定波長を有する光を撮像することにより、分光画像を取得するいわゆる分光カメラとして機能する。

この分光計測部１０は、本実施形態では、撮像対象Ｘすなわち撮像対象に光を照射する光源３１と、撮像対象Ｘを反射した反射光に基づいた、分光画像を撮像する撮像素子２１と、入射光から所定の波長の光を選択的に出射させ、かつ出射させる出射光の特定波長を変更可能な分光部４１と、を備えている。

このような分光計測部１０において、図２に示すように、光源３１、撮像素子２１が、スマートフォン１の裏面側において同一方向を向くように配置された状態で、分光部４１は、撮像素子２１と撮像対象Ｘとの間に配置されている。光源３１と、分光部４１と、撮像素子２１とをこのような位置関係で配置することで、これらにより、分光計測部１０を、後分光方式の分光カメラで構成することができる。このような後分光方式の分光カメラでは、ある測定範囲（所定領域）の波長をスキャンすることで、特定波長やスペクトル形状を取得して、撮像対象Ｘの特性を把握することが可能である。そのため、特定波長が不明な撮像対象Ｘを測定すなわち撮像する場合に有効な方式である。

なお、分光計測部１０は、分光部４１が光源３１と撮像対象Ｘとの間に配置された、前分光方式の分光カメラを構成していてもよい。かかる構成をなす前分光方式の分光カメラでは、特定波長の光を照射することで、撮像対象Ｘの特性を把握することが可能な方式である。したがって、特定波長が明らかになっている撮像対象Ｘを測定する場合に有効な方式であり、後分光方式よりも情報量を減らせることから、計測時間の短縮が図られると言う利点を有する方式である。

以下、分光カメラすなわち分光計測部１０が備える各部の構成について説明する。
［光源３１］
光源３１は、撮像対象Ｘに向かって照明光を照射する光素子である。

光源３１は、図２、４に示すように、スマートフォン１の筐体内に配置された回路基板５１上に、撮像対象Ｘに向かって照明光を照射し得るように、スマートフォン１の裏面側に配置されている。

この光源３１と撮像対象Ｘとの間には分光部が配置されておらず、これにより、光源３１から出射された光が、撮像対象Ｘに対して、直接、照射される。

このような光源３１は、例えば、ＬＥＤ光源、ＯＬＥＤ光源、キセノンランプ、ハロゲンランプ等が挙げられ、波長可変干渉フィルターで構成される分光部４１により分光測定を行う波長領域の全体に光強度を持つ光源、すなわち、可視光領域の全体にわたって光強度を有する白色光を照射可能な光源が好ましく用いられる。また、光源３１は、白色光源以外にも、例えば、赤外光等の所定波長の光を照射可能な光源を備えることが好ましい。これにより、撮像素子２１で取得する分光画像が有する特定波長の選択の幅を大きくすることができる。

なお、この光源３１による照明光は、分光計測部１０による分光画像の取得ばかりでなく、ＲＧＢ画像取得部１１によるＲＧＢ画像の取得の際にも利用され、光源３１は、本実施形態のように、分光計測部１０が備えるものに限定されず、ＲＧＢ画像取得部１１が備えるものであってもよい。

［撮像素子２１］
撮像素子２１は、撮像対象Ｘを反射した反射光に基づいた、画像を撮像することで、撮像対象Ｘを反射した反射光を検出する検出部として機能するものである。

撮像素子２１は、図２、図３に示すように、スマートフォン１の筐体内に配置された回路基板５１上に、撮像対象Ｘを反射した反射光を受光し得るように、スマートフォン１の裏面側に配置されている。

そして、この撮像素子２１と撮像対象Ｘとの間には分光部４１が配置されている。これにより、撮像対象Ｘから分光部４１に入射された入射光のうち、特定波長を有する出射光が選択的に出射され、この出射光が撮像素子２１により、分光画像として撮像される。

このような撮像素子２１は、例えば、ＣＣＤやＣＭＯＳ等で構成され、分光部４１を出射した、特定波長を有する出射光の強度が検出されるようにモノクロ撮像素子で構成される。

［分光部４１］
分光部４１は、入射光から特定波長である分光波長の光を選択的に出射させ、かつ出射させる出射光の波長領域を変更可能なものである。すなわち、入射光から特定波長の光を出射光として撮像素子２１へ向けて出射させるものである。

分光部４１は、図３に示すように、スマートフォン１の筐体内に配置された回路基板５２上に配置されている。

この分光部４１は、撮像素子２１と撮像対象Ｘとの間、すなわち、これらの間の光軸上に配置されている。これにより、撮像対象Ｘから分光部４１に入射された入射光のうち、特定波長を有する出射光を、撮像素子２１に向けて選択的に出射する。

このような分光部４１は、出射させる出射光の波長領域を変更可能なように、波長可変干渉フィルターで構成されている。この波長可変干渉フィルターとしては、特に限定されないが、例えば、静電アクチュエーターにより２つのフィルター（ミラー）間のギャップの大きさを調整することで透過する反射光の波長を制御する、波長可変型のファブリーペローエタロンフィルター、音響光学チューナブルフィルター（ＡＯＴＦ）、リニアバリアブルフィルター（ＬＶＦ）、液晶チューナブルフィルター（ＬＣＴＦ）等が挙げられるが、中でも、ファブリーペローエタロンフィルターであるのが好ましい。

ファブリーペローエタロンフィルターは、２つのフィルターによる多重干渉を利用して所望波長の反射光を取り出すものである。そのため、厚み寸法を極めて小さくすることができ、具体的には、２．０ｍｍ以下に設定することが可能となる。そのため、分光部４１ひいては分光計測部１０を備えるスマートフォン１をより小型なものとし得る。したがって、波長可変フィルターとして、ファブリーペローエタロンフィルターを用いることにより、分光計測部１０のさらなる小型化を実現することができる。

以下、波長可変干渉フィルターとして波長可変型のファブリーペローエタロンフィルターが適用された分光部４１について、図６を参照しつつ説明する。

ファブリーペローエタロンフィルターは、平面視において、矩形板状の光学部材であり、固定基板４１０と、可動基板４２０と、固定反射膜４１１と、可動反射膜４２１と、固定電極４１２と可動電極４２２と、接合膜４１４とを備えている。そして、固定基板４１０と可動基板４２０とが積層した状態で、接合膜４１４を介して一体的に接合されている。

固定基板４１０は、その中央部に反射膜設置部４１５が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝４１３が形成されている。かかる構成の固定基板４１０において、反射膜設置部４１５の可動基板４２０側に固定反射膜４１１で構成される固定光学ミラーが設けられ、溝４１３の可動基板４２０側に固定電極４１２が設けられている。

また、可動基板４２０は、その中央部に反射膜設置部４２５である可動部が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝４２３である保持部が形成されている。かかる構成の可動基板４２０において、反射膜設置部４２５の固定基板４１０側すなわち下面側に可動反射膜４２１で構成される可動光学ミラーが設けられ、固定基板４１０側に可動電極４２２が設けられている。

この可動基板４２０は、反射膜設置部４２５と比較して、溝４２３の厚み寸法が小さく形成されており、これにより、溝４２３は、固定電極４１２および可動電極４２２間に電圧を印加した際の静電引力により撓むダイアフラムとして機能する。

これら固定基板４１０と可動基板４２０とは、０．１ｍｍ以上１．０ｍｍ以下程度の厚みであれば作製可能である。よって、ファブリーペローエタロンフィルターの全体としての厚みを、２．０ｍｍ以下に設定し得るため、分光計測部１０の小型化を実現することができる。

このような固定基板４１０と可動基板４２０との間において、固定反射膜４１１と可動反射膜４２１とは、固定基板４１０および可動基板４２０のほぼ中央部で、ギャップを介して対向配置されている。また、固定電極４１２と可動電極４２２とは、前記中央部を取り囲む溝部で、ギャップを介して対向配置されている。これらのうち、固定電極４１２と可動電極４２２とにより、固定反射膜４１１と可動反射膜４２１との間のギャップの大きさを調整する静電アクチュエーター４５が構成される。

静電アクチュエーター４５を構成する、固定電極４１２および可動電極４２２間に電圧を印加することで生じる静電引力により、溝４２３である保持部に撓みが生じる。その結果、固定反射膜４１１と可動反射膜４２１との間のギャップの大きさすなわち距離を変化させることができる。そして、このギャップの大きさを適宜設定することにより、透過する光の波長を選択すること、入射光から所望の波長（波長領域）の光を選択的に出射させることができる。また、固定反射膜４１１および可動反射膜４２１の構成を変えることにより、透過する光の半値幅、すなわちファブリーペローエタロンフィルターの分解能を制御することができる。

なお、固定基板４１０および可動基板４２０は、それぞれ、例えば、ソーダガラス、結晶性ガラス、石英ガラス、鉛ガラス、カリウムガラス、ホウケイ酸ガラス、無アルカリガラス等の各種ガラスや、水晶等により構成され、接合膜４１４は、例えば、シロキサンを主材料とするプラズマ重合膜等により構成され、また、固定反射膜４１１および可動反射膜４２１は、例えば、Ａｇ等の金属膜や、Ａｇ合金等の合金膜で構成される他、高屈折層としてＴｉＯ_２、低屈折層としてＳｉＯ_２を備える誘電体多層膜で構成され、さらに、固定電極４１２および可動電極４２２は、各種導電性材料で構成される。

［光学系８１、８３］
また、分光計測部１０は、本実施形態では、図５に示すように、各種光学部品で構成される光学系８１、８３を有する構成のものである。

分光部側光学系８１は、撮像対象Ｘと分光部４１との間に配置され、入射光学系としての入射レンズ８１１と、投射レンズ８１２とを備え、撮像対象Ｘを反射した反射光を分光部４１に導く。

また、撮像素子側光学系８３は、分光部４１と撮像素子２１との間に配置され、入出射レンズ８３１を備え、分光部４１により出射された出射光を撮像素子２１に導く。

このような光学系８１、８３のうちの少なくとも１つを分光計測部１０が備えることで、撮像対象Ｘを反射する反射光の撮像素子２１による集光率の向上を図ることができる。

なお、光学系８１、８３は、これらのうちの少なくとも１つが、撮像素子２１による前記集光率を考慮して、省略されたものであってもよい。

また、分光部側光学系８１は、上記のような配置とする場合（図５参照）の他、分光部４１と撮像素子側光学系８３との間に配置されている構成をなすものであってもよい。

［ＲＧＢ画像取得部１１］
ＲＧＢ画像取得部１１は、撮像対象Ｘで反射した反射光を、分光することなく直接、受光し、この反射光の全波長領域における光を撮像することにより、フルカラーのＲＧＢ画像を１回の撮像で取得するいわゆるＲＧＢカメラとして機能する。

このＲＧＢ画像取得部１１は、本実施形態では、撮像対象Ｘを反射した反射光に基づいた、ＲＧＢ画像を撮像する撮像素子２２を備えている。

［撮像素子２２］
撮像素子２２は、撮像対象Ｘを反射した反射光に基づいた、画像を撮像することで、撮像対象Ｘを反射した反射光を検出する検出部として機能するものである。

撮像素子２２は、図２、図３に示すように、スマートフォン１の筐体内に配置された回路基板５１上に、撮像対象Ｘを反射した反射光を受光し得るように、スマートフォン１の裏面側に配置されている。

これにより、撮像素子２２は、分光計測部１０が備える光源３１と、スマートフォン１の裏面側において同一方向を向くように配置される。したがって、撮像対象Ｘに対して、直接、照射された光源３１からの光が撮像対象Ｘで反射され、この反射された反射光を撮像素子２２で受光し撮像することで、撮像対象ＸのＲＧＢ画像が取得される。

このような撮像素子２２は、例えば、ＣＣＤやＣＭＯＳ等で構成され、撮像対象Ｘで反射した反射光を、分光することなく直接、受光し、この反射光の全波長領域における光を、１回の撮像によりフルカラーで撮像し得るように、ＲＧＢ撮像素子で構成される。

［撮像素子側光学系８５］
また、ＲＧＢ画像取得部１１は、本実施形態では、図５に示すように、光学部品で構成される撮像素子側光学系８５を有する構成のものである。

この撮像素子側光学系８５は、撮像対象Ｘと撮像素子２２との間に配置され、入出射レンズ８５１を備え、撮像対象Ｘを反射した反射光を撮像素子２２に導く。

このような撮像素子側光学系８５をＲＧＢ画像取得部１１が備えることで、撮像対象Ｘを反射する反射光の撮像素子２２による集光率の向上を図ることができる。

なお、撮像素子側光学系８５は、撮像素子２２による前記集光率を考慮して、省略されたものであってもよい。

［制御部６０］
制御部６０は、スマートフォン１が備える筐体内に設けられ、例えば、ＣＰＵやメモリー等が組み合わせられたプロセッサーにより構成され、光源３１、撮像素子２１、分光部４１および撮像素子２２等の各部の作動、すなわち、分光計測部１０およびＲＧＢ画像取得部１１の全体または各部の作動を制御するとともに、表示部１５の作動および記憶部１７へのデータの入出力を制御する。分光計測部１０およびＲＧＢ画像取得部１１の作動をそれぞれ制御すると言う点においては、制御部６０は、「分光計測部制御部」および「ＲＧＢ画像取得部制御部」に相当するか、または内包するものと言え、分光計測部１０すなわち分光カメラ、および、ＲＧＢ画像取得部１１すなわちＲＧＢカメラの作動をそれぞれ制御する。

より具体的には、制御部６０は、入力部１６に入力されたユーザーの操作指示、すなわち、撮像対象Ｘを撮像するための条件すなわちモードに基づいて、記憶部１７に記憶されたプログラム等のソフトウェアを読み込むことで、光源３１、分光部４１、撮像素子２１および撮像素子２２の作動を制御する。すなわち、分光計測部１０およびＲＧＢ画像取得部１１の作動を制御する。そして、これらの作動により分光情報と、ＲＧＢ画像とを取得する。その後、これら分光情報とＲＧＢ画像とを重畳することにより取得される、ＲＧＢ画像が補完された補完画像を、表示部１５において表示する。

この制御部６０は、本実施形態では、図５に示すように、光源制御部６０１と、分光制御部６０２と、画像取得部６０３と、合成処理部６０４と、表示制御部６０５とを備える。

光源制御部６０１は、入力部１６に入力されたユーザーの操作指示、具体的には、撮像対象Ｘを撮像する際の条件すなわちモード等に基づいて、光源３１の点灯、消灯を制御するものである。

分光制御部６０２は、記憶部１７に記憶されているＶ−λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値（入力値）を取得する。そして、取得した電圧値を、分光部４１としてのファブリーペローエタロンフィルターの静電アクチュエーター４５に印加させるために指令信号を出力する。すなわち、分光制御部６０２は、分光計測部１０が備える分光部４１の作動を制御して、分光部４１から出射される光の特定波長の大きさを特定する。また、分光制御部６０２は、記憶部１７に記憶されている各種データに基づいて、測定波長の変更タイミングの検出、測定波長の変更、測定波長の変更に応じた駆動電圧の変更、および測定終了の判断等を行い、当該判断に基づいて指令信号を出力する。

画像取得部６０３は、分光計測部１０において、撮像対象Ｘを反射した反射光に基づいた、光量測定データ（受光量）を分光画像として、撮像素子２１で取得（撮像）し、その後、取得された分光画像を記憶部１７に記憶させる。なお、画像取得部６０３は、分光画像を記憶部１７に記憶させる際に、分光画像とともにかかる分光画像が取得された測定波長も併せて記憶部１７に記憶させる。

また、画像取得部６０３は、ＲＧＢ画像取得部１１において、撮像対象Ｘを反射した反射光に基づいた、Ｒ成分、Ｇ成分およびＢ成分の色毎の光量測定データ（受光量）をＲＧＢ画像として、撮像素子２２で取得し、その後、取得されたＲＧＢ画像を記憶部１７に記憶させる。

合成処理部６０４は、記憶部１７に記憶された、撮像対象Ｘの分光情報と、撮像対象ＸのＲＧＢ画像とを取得し、その後、ＲＧＢ画像に対して分光情報を重畳することで、分光情報でＲＧＢ画像が補完された補完画像を合成する。

なお、合成処理部６０４による、分光画像、その測定波長およびＲＧＢ画像の取得は、記憶部１７を介することなく、画像取得部６０３から、直接、実施することもできる。

表示制御部６０５は、合成処理部６０４で、分光情報とＲＧＢ画像との重畳により合成された撮像対象Ｘの補完画像を、可視化画像として表示部１５に表示させる。

なお、かかる構成の制御部６０において、光源制御部６０１、分光制御部６０２および画像取得部６０３により、光源３１、分光部４１および撮像素子２１の作動、すなわち分光計測部１０の作動を制御する分光計測部制御部が構成され、画像取得部６０３により、撮像素子２２の作動、すなわちＲＧＢ画像取得部１１の作動を制御するＲＧＢ画像取得部制御部が構成される。

以上のようなスマートフォン１、すなわち、ＲＧＢカメラと分光カメラとを備えるスマートフォン１を用いて、撮像対象Ｘの撮像を行い、ＲＧＢ画像に分光情報を重畳した補完画像を得ることで、表示部１５において表示する画像を、より高精彩なものとして表示することができる。以下、スマートフォン１を用いて補完画像を表示部１５に表示する表示方法、すなわち、本発明の画像処理方法が適用された表示方法について説明する。

［補完画像の表示方法］
このスマートフォン１を用いた補完画像の表示方法は、撮像対象ＸのＲＧＢ画像を撮像し、かつ、所定の波長領域において撮像対象Ｘの分光画像を撮像することで、前記波長領域における、撮像対象Ｘが有する固有の分光情報を取得する撮像工程と、ＲＧＢ画像に対して分光情報を重畳することで補完された補完画像を表示する表示工程とを有する。

＜１＞ まず、ユーザーは、入力部１６の操作により、スマートフォン１を用いて撮像対象Ｘの画像を取得するアプリケーションを起動させた後、このアプリケーションの指示に従って、必要に応じて、撮像対象Ｘを撮像する際のモード等の条件の選択を行う（Ｓ１）。

なお、アプリケーションの指示に従って入力する条件としては、前記モードの他、シャッタースピード、撮像領域、および、光源点灯の有無等が挙げられる。このように、前記モード等の条件を入力することで、ＲＧＢ画像を補完するために撮像される分光情報が取得される波長領域が設定される、すなわち、分光計測部１０で取得する分光情報の所定の波長領域が選択されるが、その詳細については、後に説明する。

＜２＞ 次いで、ユーザーは、入力部１６の操作により、スマートフォン１すなわち分光計測部１０およびＲＧＢ画像取得部１１により撮像対象Ｘを撮像する入力指示を行う。すなわち、ユーザーは、スマートフォン１のシャッターを押す。

この入力指示に基づいて、制御部６０は、分光計測部１０およびＲＧＢ画像取得部１１の作動を制御して、撮像対象Ｘの撮像、すなわち、分光計測部１０による分光画像、および、ＲＧＢ画像取得部１１によるＲＧＢ画像の取得を行う。

以下、＜２Ａ＞分光計測部１０による分光画像の取得と、＜２Ｂ＞ＲＧＢ画像取得部１１によるＲＧＢ画像の取得とを、順次説明する。

＜２Ａ＞ まず、分光計測部１０は、前記工程＜１＞において、ユーザーにより入力されたモード等の条件に基づいて、所定の波長領域において撮像対象Ｘの分光画像を撮像することで、前記波長領域における、撮像対象Ｘが有する固有の分光情報を取得する。

＜２Ａ−１＞ まず、入力部１６における、ユーザーによる撮像対象Ｘの撮像の入力指示に従って、光源制御部６０１は、光源３１を点灯させる（Ｓ２）。

この光源３１の点灯により、光源３１から出射された照明光が、撮像対象Ｘに対して、照射される。そして、照射された光が撮像対象Ｘにより反射され、この反射された光が入射光として分光部４１に入射する。

なお、この光源３１の点灯により、光源３１から出射された照明光は、分光計測部１０による分光画像の取得に利用される他、後述するＲＧＢ画像取得部１１によるＲＧＢ画像の取得＜２Ｂ＞の際にも利用される。

＜２Ａ−２＞ 次いで、分光制御部６０２は、記憶部１７に記憶されているＶ−λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値（入力値）を取得する。そして、取得した電圧値を、分光部４１としてのファブリーペローエタロンフィルターの静電アクチュエーター４５に印加させるために指令信号を出力する（Ｓ３Ａ）。

これにより、撮像対象Ｘから分光部４１に入射光として入射された光のうち、特定波長を有する光が出射光として、選択的に撮像素子２１側に向かって出射される。

なお、分光制御部６０２は、分光部４１により特定波長を有する光を出射させるのに先立って、分光部４１のキャリブレーションを行う調整処理を施すことが好ましい。これにより、光源３１の分光スペクトルs_refを取得する。

＜２Ａ−３＞ 次いで、画像取得部６０３は、撮像素子２１の作動を制御することで、分光部４１から出射光として出射された、特定波長を有する光を、分光画像として、撮像素子２１により取得する。すなわち、撮像対象Ｘを反射した反射光のうち、特定波長を有する光における光量測定データ（受光量）を分光画像として、撮像素子２１により取得する。そして、画像取得部６０３は、取得された分光画像を、かかる分光画像に対応する測定波長すなわち特定波長とともに記憶部１７に記憶させる（Ｓ４Ａ）。

このような分光画像の取得方法では、分光部４１は、撮像対象Ｘと撮像素子２１との間において、撮像素子２１の受光光の光軸上に配置される。これにより、分光部４１で撮像対象Ｘにより反射された光が有する特定波長の光のみが透過され、この特定波長における光の強度が分光画像として撮像素子２１により分光測定される。

＜２Ａ−４＞ 次いで、１回目の特定波長を有する光における分光画像の取得の後に、１回目の特定波長とは異なる２回目の特定波長を有する光における分光画像の取得が必要か否かを、前記工程＜１＞において、ユーザーによって選択された条件等に基づいて判定する。すなわち、１回目の特定波長とは異なる２回目の特定波長を有する光における分光画像を、続けて取得する必要があるのか否かを判定する（Ｓ５Ａ）。

この判定（Ｓ５Ａ）において、２回目の特定波長を有する光における分光画像の取得の必要がある場合には、１回目の特定波長を有する光に代わり、２回目の特定波長を有する光について、前記工程＜２Ａ−２＞〜本工程＜２Ａ−４＞を繰り返して実施する。すなわち、静電アクチュエーター４５の固定電極４１２と可動電極４２２との間に印加させる電圧値を変化させて２回目の特定波長に設定した後、前記工程＜２Ａ−２＞〜本工程＜２Ａ−４＞を繰り返して実施する。これにより、２回目の特定波長を有する光における分光画像を取得する。このような２回目の特定波長、すなわち、異なる特定波長を有する光における分光画像の取得を、１、２〜ｎ回目まで、繰り返して実施する。上記の通り、前記工程＜２Ａ−２＞〜本工程＜２Ａ−４＞を繰り返して実施して、特定波長が異なる複数の分光画像を取得し、その後、これらの分光画像を重畳することで、分光情報を、分光画像に含まれる各画素に対応した、各特定波長と光強度との関係を示すスペクトル情報s_samとして得ることができる。

換言すれば、分光情報すなわちスペクトル情報s_samは、例えば、図８では、所定の波長領域を、可視光の波長領域である４００ｎｍ以上７６０ｎｍ以下の波長領域とした場合、この４００ｎｍ以上７６０ｎｍ以下の波長領域において、ｎ分割された各特定波長と光強度との関係を表すグラフとして表され、このグラフすなわちスペクトル情報がＭ行×Ｎ列の画素毎に有している合計の分光情報として得られることとなる。

また、スペクトル情報s_samを取得する波長領域、すなわち、分光計測部１０で撮像する分光画像の波長領域は、前記工程＜１＞において選択されたモード等の条件に応じて設定される。

具体的には、例えば、前記工程＜１＞において、高画質のモードが選択された場合には、分光計測部１０で撮像する分光画像の波長領域を、黄色の可視光領域を含む領域、すなわち、５７０ｎｍ以上５９０ｎｍ以下程度に設定する。これにより、Ｒ成分、Ｇ成分およびＢ成分を有するＲＧＢ画像に対して、Ｙ成分を有する分光情報が重畳されることになるため、これらから得られる補完画像を、高画質すなわち高精彩な画像として合成することができる。

また、前記工程＜１＞において、星空を撮影するモードが選択された場合には、分光計測部１０で撮像する分光画像の波長領域を、近赤外領域を含む領域、好ましくはＨα線の波長すなわち６５６．２８ｎｍ程度に設定する。これにより、Ｒ成分、Ｇ成分およびＢ成分を有するＲＧＢ画像に対して、近赤外領域における成分を有する分光情報が重畳されることになるため、これらから得られる補完画像を、星座さらには星雲をも認識することが可能な画像として合成することができる。

一方、次の波長を有する光における分光画像を取得する必要がない場合には、分光計測部１０による分光画像の取得を終了するとともに、画像取得部６０３は、分光情報すなわちスペクトル情報s_samを記憶部１７に記憶させ、その後、次工程＜３＞に移行する。

＜２Ｂ＞ 次に、ＲＧＢ画像取得部１１は、撮像対象ＸのＲＧＢ画像を撮像する。
＜２Ｂ−１＞ まず、前記工程＜２Ａ−１＞において、点灯することで光源３１から出射した照明光が、撮像対象Ｘに対して、照射される（Ｓ２）。

そして、照射された光が撮像対象Ｘにより反射され、この撮像対象Ｘを反射した光が入射光として撮像素子２２に入射する。

＜２Ｂ−２＞ 次いで、画像取得部６０３は、撮像素子２２の作動を制御することで、撮像対象Ｘから撮像素子２２に入射光として入射された光に基づいて、ＲＧＢ画像を撮像素子２２により取得する。すなわち、撮像対象Ｘを反射した反射光の全波長領域における光量測定データ（受光量）を、Ｒ成分、Ｇ成分およびＢ成分を含むＲＧＢ画像として、撮像素子２２により取得する。そして、画像取得部６０３は、取得されたＲＧＢ画像を記憶部１７に記憶させる（Ｓ３Ｂ）。

＜２Ｂ−３＞ 次いで、前記工程＜２Ｂ−２＞において取得されたＲＧＢ画像が記憶部１７に記憶されているか否かを判定する（Ｓ４Ｂ）。

この判定（Ｓ４Ｂ）において、何らかの要因により、ＲＧＢ画像が記憶部１７に記憶されていない場合には、前記工程＜２Ｂ−２＞〜本工程＜２Ｂ−３＞を繰り返して実施する。このように、本工程＜２Ｂ−３＞で記憶部１７に記憶されたＲＧＢ画像を確認する構成とすることで、ＲＧＢ画像を確実に取得することができる。

一方、記憶部１７におけるＲＧＢ画像の記憶が確認された場合には、ＲＧＢ画像取得部１１によるＲＧＢ画像の取得を終了し、次工程＜３＞に移行する。

以上のような工程＜２Ａ＞および工程＜２Ｂ＞により、撮像対象ＸのＲＧＢ画像を撮像し、かつ、所定の波長領域において撮像対象Ｘの分光画像を撮像することで、前記波長領域における、撮像対象Ｘが有する固有の分光情報を取得する撮像工程が構成される。

なお、前記工程＜２Ａ＞における、分光計測部１０による分光画像の取得と、前記工程＜２Ｂ＞におけるＲＧＢ画像取得部１１によるＲＧＢ画像の取得とのタイミングは、通常、前記工程＜２Ａ＞において、分光計測部１０により複数の分光画像を取得する必要がある。そのため、前記工程＜２Ａ＞を実施する時間に、前記工程＜２Ｂ＞を実施する時間が含まれるタイミングとすることが好ましい。これにより、得られる補完画像に、手振れ等に起因する画像ズレが生じるのを抑制または防止することができる。

＜３＞ 次いで、合成処理部６０４は、記憶部１７に記憶された、分光情報すなわちスペクトル情報s_samと、ＲＧＢ画像とを取得し、その後、ＲＧＢ画像に対して、分光情報を重畳することで、分光情報でＲＧＢ画像が補完された補完画像を合成する（Ｓ６）。

＜３−１＞ まず、合成処理部６０４は、記憶部１７に記憶された、分光情報すなわちスペクトル情報s_samを取得し、その後、このスペクトル情報s_samを、国際照明委員会ＣＩＥで規定された三刺激値すなわち、Ｘ，Ｙ，Ｚ値に変換する。そして、このＸ，Ｙ，Ｚ値を、表示部１５に対応したモニタプロファイルを用いて、Ｒ，Ｇ，Ｂ値に変換する。なお、以下、このＲ，Ｇ，Ｂ値を、本明細書では、「Ｒ，Ｇ，Ｂ値（Ｉ）」と言うこともある。

＜３−２＞ 次いで、合成処理部６０４は、記憶部１７に記憶された、ＲＧＢ画像を取得し、その後、このＲＧＢ画像を、国際照明委員会ＣＩＥで規定された三刺激値すなわち、Ｘ，Ｙ，Ｚ値に変換する。そして、このＸ，Ｙ，Ｚ値を、表示部１５に対応したモニタプロファイルを用いて、Ｒ，Ｇ，Ｂ値に変換する。なお、以下、このＲ，Ｇ，Ｂ値を、本明細書では、「Ｒ，Ｇ，Ｂ値（II）」と言うこともある。

＜３−３＞ 次いで、合成処理部６０４は、ＲＧＢ画像に基づいて取得されたＲ，Ｇ，Ｂ値（II）に対して、分光情報に基づいて取得されたＲ，Ｇ，Ｂ値（Ｉ）を重畳することで、重畳されたＲ，Ｇ，Ｂ値（III）すなわち補完画像を合成する。

ここで、３行×３列における、位置Ｇ（３，３）での補完画像Ｒ，Ｇ，Ｂ値（III）を、Ｒ’（３，３），Ｇ’（３，３），Ｂ’（３，３）としたとき、これらは、例えば、以下のようにして求められる。

まず、ＲＧＢ画像取得部１１が有する撮像素子２２が、Ｂａｙｅｒ配列のＲＧＢ撮像素子である場合、位置Ｇ（３，３）における、ＲＧＢ画像に基づいて取得されたＲ，Ｇ，Ｂ値（II）の各成分は、Ｒ（３，３）＝（Ｒ（２，３）＋Ｒ（４，３））／２，Ｇ（３，３），Ｂ（３，３）＝（Ｂ（３，２）＋Ｂ（３，４））／２で表すことができる。

そして、位置Ｇ（３，３）における、分光情報に基づいて取得されたＲ，Ｇ，Ｂ値（Ｉ）の各成分を用いて、Ｒ成分、Ｇ成分、Ｂ成分を、それぞれ補正するための補正係数α、β、γを算出する。その後、これら補正係数と、Ｒ，Ｇ，Ｂ値（II）の各成分との積を求めること、すなわち、Ｒ’（３，３）＝αＲ（３，３），Ｇ’（３，３）＝βＧ（３，３），Ｂ’（３，３）＝γＢ（３，３）を算出して、位置Ｇ（３，３）における補完画像Ｒ，Ｇ，Ｂ値（III）を求めることができる。

また、上記のようにして補完画像を合成する場合の他、前記工程＜３−１＞において、表示部１５の取得波長に対するＲＧＢ出力感度を、それぞれ、ｒ，ｇ，ｂとし、補正係数をｐとし、位置Ｇ（３，３）におけるスペクトル情報s_samをＳ（３，３）とした場合、下記式（１）を用いて、補完画像Ｒ，Ｇ，Ｂ値（III）を求めることもできる。

以上のような工程＜３−１＞〜工程＜３−３＞によれば、次工程＜４＞において、表示部１５で表示すべき補完画像を、Ｒ，Ｇ，Ｂ値（III）として取得することができる。そのため、次工程＜４＞において、画像を表示する表示部１５として、ＲＧＢ表示により補完画像を表示する構成のものを用意することで、補完画像として得られたＲ，Ｇ，Ｂ値（III）を、高精彩な画像として表示することができる。

なお、前記工程＜１＞において、星空を撮影するモードが選択された場合には、分光計測部１０で撮像する分光画像の波長領域が近赤外領域を含む領域に設定される。そのため、Ｒ，Ｇ，Ｂ値（Ｉ）は、Ｒ成分を単独で含むものとなることから、Ｒ，Ｇ，Ｂ値（III）は、Ｒ，Ｇ，Ｂ値（II）のＲ成分が、Ｒ，Ｇ，Ｂ値（Ｉ）のＲ成分により補正されたものとなる。すなわち、補完画像は、ＲＧＢ画像のＲ成分を、分光情報を用いて補正することで得られたものであると言うことができる。

また、前記工程＜１＞において、高画質のモードが選択された場合には、分光計測部１０で撮像する分光画像の波長領域が、黄色の可視光領域を含む領域に設定される。そのため、Ｒ，Ｇ，Ｂ値（Ｉ）は、Ｒ成分とＧ成分とを含むものとなることから、Ｒ，Ｇ，Ｂ値（III）は、Ｒ，Ｇ，Ｂ値（II）のＲ成分およびＧ成分が、それぞれ、Ｒ，Ｇ，Ｂ値（Ｉ）のＲ成分およびＧ成分により補正されたものとなる。すなわち、補完画像は、ＲＧＢ画像のＲ成分とＧ成分とを、分光情報を用いて補正することで得られたものであると言うことができる。

より具体的には、３行×３列における、位置Ｇ（３，３）での補完画像Ｒ，Ｇ，Ｂ値（III）である、Ｒ’（３，３），Ｇ’（３，３），Ｂ’（３，３）のうち、Ｒ’（３，３），Ｇ’（３，３）を求めるために、Ｒ，Ｇ，Ｂ値（Ｉ）に基づいて補正係数α、βを算出する。そして、これら補正係数α、βを用いて、Ｒ’（３，３）＝αＲ（３，３），Ｇ’（３，３）＝βＧ（３，３）により、Ｒ’（３，３），Ｇ’（３，３）が算出される。また、Ｒ，Ｇ，Ｂ値（Ｉ）において、Ｂ成分の感度がない場合、γ＝１すなわちＢ’（３，３）＝Ｂ（３，３）として、Ｂ’（３，３）が算出される。

さらに、次工程＜４＞において、画像を表示する表示部１５としては、ＲＧＢ表示により補完画像を表示する構成のものに限らず、ＲＧＢＹ表示により補完画像を表示する構成のものであってもよい。このように、表示部１５がＲＧＢＹ表示により補完画像を表示する構成のものであり、さらに、前記工程＜１＞において、高画質のモードが選択された場合には、以下に示すようにして、補完画像を合成することもできる。

すなわち、前記工程＜３−１＞において、合成処理部６０４は、スペクトル情報s_samに基づいて取得されたＸ，Ｙ，Ｚ値を、表示部１５に対応したモニタプロファイルを用いて、Ｒ，Ｇ，Ｂ値に変換することなくＹ値に変換する。そして、本工程＜３−３＞において、合成処理部６０４は、ＲＧＢ画像に基づいて取得されたＲ，Ｇ，Ｂ値（II）に対して、分光情報に基づいて取得されたＹ値を重畳することで、重畳されたＲ，Ｇ，Ｂ，Ｙ値すなわち補完画像を合成するようにしてもよい。

＜４＞ 次いで、表示制御部６０５は、前記工程＜３＞で合成された補完画像を、表示部１５を備えるディスプレイ７０に表示させる（Ｓ７）。

この補完画像は、表示部１５で高精彩な画像として表示し得るように、前記工程＜３＞においてＲＧＢ画像と分光情報とに基づいて合成されている。そのため、表示部１５において表示される画像を、高精彩なものとして提供することが可能となる。

なお、補完画像は、上記のように、表示部１５を備えるディスプレイ７０に表示される場合の他、スマートフォン１の通信機能を用いて、通信可能に接続されたプリンター等により印刷された印刷物として表示されたものであってもよい。

この場合、前記工程＜３−１＞、前記工程＜３−２＞において用意する、モニタプロファイルを、用いるプリンターに対応したものとし、印刷物で表示すべき補完画像を、Ｃ，Ｍ，Ｙ，Ｋ値として取得する。これにより、ＣＭＹ表示により印刷される印刷物において、補完画像を高精彩に表示することができる。

以上のような工程＜３＞および工程＜４＞により、ＲＧＢ画像に対して分光情報を重畳することで補完された補完画像を表示する表示工程が構成される。

以上のような、工程＜１＞〜工程＜４＞を経ることで、スマートフォン１を用いた撮像対象Ｘの撮像が実施される。

また、本実施形態では、分光計測部１０は、光源３１と、分光部４１と、撮像素子２１とを備える場合について説明したが、分光計測部１０は、これらのうち、光源３１が省略されたものであってもよい。この場合、分光計測部１０により分光画像を撮像する前記工程＜２Ａ＞、および、ＲＧＢ画像取得部１１によりＲＧＢ画像を撮像する前記工程＜２Ｂ＞では、撮像対象Ｘに対する光の照射は、太陽や室内照明等の外光により実施される。

さらに、本実施形態では、本発明の情報システムが、情報端末単独で完結しているものとして、スマートフォン１を一例にして説明したが、このような情報端末としては、スマートフォン１に限定されず、例えば、タブレット端末、ノート型パソコン、デジタルカメラ、デジタルビデオカメラ、ドライブレコーダー等であってもよい。なお、本実施形態のように、本発明の情報システムを、情報端末単独で完結している構成のものとすることで、オフラインでの使用を実現することが可能であるため、通信状況が不安定な場所であっても利用可能となる。

また、本実施形態では、入力部１６がタッチパネルで構成される場合について説明したが、これに限定されず、入力部１６は、スマートフォン１の筐体に設けられた操作用ボタンであってもよいし、スマートフォン１が備えるマイクを介して音声により入力がなされるものであってもよいし、これらが組み合わされたものであってもよい。

＜＜第２実施形態＞＞
次に、本発明の情報システムの第２実施形態について説明する。

図９は、本発明の情報システムの第２実施形態が適用されたスマートフォンとカメラとの概略構成を示すブロック図である。

以下、第２実施形態の情報システムについて、前記第１実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。

図９に示す第２実施形態の情報システムは、情報端末としてのスマートフォン１の他に、さらに、分光計測部１０とＲＧＢ画像取得部１１とを備えるカメラ１２を独立して備え、このカメラ１２が備える分光計測部１０が分光カメラとしての機能を、ＲＧＢ画像取得部１１がＲＧＢカメラとしての機能を、発揮すること以外は、前記第１実施形態の情報システムと同様である。すなわち、第２実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン１単独で完結することなく、情報端末としてのスマートフォン１と、分光カメラおよびＲＧＢカメラとしての機能を併せ持つカメラ１２とを有している。

第２実施形態の情報システムでは、図９に示すように、スマートフォン１は、内部における分光計測部１０およびＲＧＢ画像取得部１１の配置が省略されており、これに代えて、分光計測部１０およびＲＧＢ画像取得部１１は、分光カメラおよびＲＧＢカメラの機能を併せ持つカメラ１２としてスマートフォン１の外部に独立して設けられており、その作動がスマートフォン１により制御可能なように構成されている。なお、スマートフォン１とカメラ１２との電気的な接続による、スマートフォン１によるカメラ１２の制御、すなわち分光計測部１０およびＲＧＢ画像取得部１１の制御は、有線および無線のいずれであってもよい。

かかる構成の第２実施形態の情報システムでは、カメラ１２による撮像対象Ｘを含む画像の取得と、スマートフォン１による撮像対象Ｘを含む補完画像を合成するための操作等とを、独立して実施することができる。そのため、情報システムの操作性の向上を図ることができる。

また、スマートフォン１に、アプリケーションをインストールするとともに、分光計測部１０とＲＧＢ画像取得部１１とを備えるカメラ１２を接続することで、本発明の情報システムを利用することができ、カメラ１２を備えないスマートフォン１を用い得るため汎用性に優れる。

さらに、本発明の情報システムを、スマートフォン１とカメラ１２とで完結している構成のものとすることで、スマートフォン１とカメラ１２との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。

このような第２実施形態の情報システムによっても、前記第１実施形態と同様の効果が得られる。

また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン１と、分光カメラおよびＲＧＢカメラとしての機能を併せ持つカメラ１２とを有する場合について説明したが、本発明の情報システムは、スマートフォン１に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン１すなわち情報端末がサーバー等で構成されるものであってもよい。

＜＜第３実施形態＞＞
次に、本発明の情報システムの第３実施形態について説明する。

図１０は、本発明の情報システムの第３実施形態が適用されたスマートフォンと外部表示部との概略構成を示すブロック図である。

以下、第３実施形態の情報システムについて、前記第１実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。

図１０に示す第３実施形態の情報システムは、情報端末としてのスマートフォン１の他に、さらに外部表示部１８を独立して備え、この外部表示部１８がスマートフォン１の外部の表示部としての機能を発揮すること以外は、前記第１実施形態の情報システムと同様である。すなわち、第３実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン１単独で完結することなく、情報端末としてのスマートフォン１と、外部表示部１８とを有している。

第３実施形態の情報システムは、図１０に示すように、スマートフォン１が備える表示部１５の他に、さらに、スマートフォン１の外部に独立して設けられた外部表示部１８を備えており、外部表示部１８の作動がスマートフォン１により制御可能なように構成されている。なお、スマートフォン１と外部表示部１８との電気的な接続による、スマートフォン１による外部表示部１８の制御は、有線および無線のいずれであってもよい。

かかる構成の第３実施形態の情報システムでは、外部表示部１８における画像の操作者による確認と、スマートフォン１による撮像対象Ｘを特定するための条件の設定等の操作とを、独立して実施することができるため、情報システムの操作性の向上を図ることができる。

また、本発明の情報システムを、スマートフォン１と外部表示部１８とで完結している構成のものとすることで、スマートフォン１と外部表示部１８との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。

また、外部表示部１８としては、モバイルノートＰＣ、タブレット端末およびヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）等が挙げられるが、中でも、ヘッドマウントディスプレイであることが好ましい。ヘッドマウントディスプレイによれば、拡張現実（ＡＲ）において、例えば、撮像対象Ｘの特定された結果や、撮像対象Ｘが存在すると推察される位置等を表示することができ、さらに、ハンズフリーでの利用が可能であるため、情報システムの操作性の更なる向上を図ることができる。

このような第３実施形態の情報システムによっても、前記第１実施形態と同様の効果が得られる。

＜＜第４実施形態＞＞
次に、本発明の情報システムの第４実施形態について説明する。

図１１は、本発明の情報システムの第４実施形態が適用されたスマートフォンとカメラと外部表示部との概略構成を示すブロック図である。

以下、第４実施形態の情報システムについて、前記第１実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。

図１１に示す第４実施形態の情報システムは、情報端末としてのスマートフォン１の他に、さらにカメラ１２と外部表示部１８とを独立して備え、カメラ１２が分光計測部１０とＲＧＢ画像取得部１１とを有し、これらのうち、分光計測部１０が分光カメラとしての機能を、ＲＧＢ画像取得部１１がＲＧＢカメラとしての機能をそれぞれ発揮し、外部表示部１８がスマートフォン１の外部の表示部としての機能を発揮すること以外は、前記第１実施形態の情報システムと同様である。すなわち、第３実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン１単独で完結することなく、情報端末としてのスマートフォン１と、分光カメラおよびＲＧＢカメラとしての機能を併せ持つカメラ１２と、外部表示部１８とを有している。

第４実施形態の情報システムでは、図１１に示すように、スマートフォン１は、内部における分光計測部１０およびＲＧＢ画像取得部１１の配置が省略されており、これに代えて、分光計測部１０およびＲＧＢ画像取得部１１は、分光カメラおよびＲＧＢカメラの機能を併せ持つカメラ１２としてスマートフォン１の外部に独立して設けられており、その作動がスマートフォン１により制御可能なように構成されている。さらに、スマートフォン１が備える表示部１５の他に、さらに、スマートフォン１の外部に独立して設けられた外部表示部１８を備えており、外部表示部１８の作動がスマートフォン１により制御可能なように構成されている。

なお、スマートフォン１とカメラ１２との電気的な接続による、スマートフォン１によるカメラ１２の制御すなわち分光計測部１０およびＲＧＢ画像取得部１１の制御、ならびに、スマートフォン１と外部表示部１８との電気的な接続による、スマートフォン１による外部表示部１８の制御は、それぞれ、有線および無線のいずれであってもよい。

かかる構成の第４実施形態の情報システムでは、カメラ１２による撮像対象Ｘを含む画像の取得と、外部表示部１８における画像の操作者による確認と、スマートフォン１による撮像対象Ｘを含む補完画像を合成するための操作等とを、独立して実施することができるため、情報システムの操作性の向上を図ることができる。

また、スマートフォン１に、アプリケーションをインストールするとともに、カメラ１２と外部表示部１８とを接続することで、本発明の情報システムを利用することができ、カメラ１２と外部表示部１８とを備えないスマートフォン１を用い得るため汎用性に優れる。

さらに、本発明の情報システムを、スマートフォン１とカメラ１２と外部表示部１８とで完結している構成のものとすることで、スマートフォン１とカメラ１２と外部表示部１８との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。

また、外部表示部１８としては、モバイルノートＰＣ、タブレット端末およびヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）等が挙げられるが、中でも、ヘッドマウントディスプレイであることが好ましい。ヘッドマウントディスプレイによれば、拡張現実（ＡＲ）において、ハンズフリーでの利用が可能であるため、情報システムの操作性の更なる向上を図ることができる。

このような第４実施形態の情報システムによっても、前記第１実施形態と同様の効果が得られる。

また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン１と、分光計測部１０およびＲＧＢ画像取得部１１を備えるカメラ１２と、ヘッドマウントディスプレイのような外部表示部１８とを有する場合について説明したが、本発明の情報システムは、スマートフォン１に代えて、情報端末としてタブレット端末等を備えるものであってもよいし、スマートフォン１すなわち情報端末に代えて、サーバー等を備えるものであってもよい。

また、本実施形態では、本発明の情報システムは、図１１に示すように、カメラ１２と外部表示部１８とを別体として独立して備える場合について示したが、これに限定されず、カメラ１２と外部表示部１８とは、一体的に形成されたものであってもよい。

＜＜第５実施形態＞＞
次に、本発明の情報システムの第５実施形態について説明する。

図１２は、本発明の情報システムの第５実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。

以下、第５実施形態の情報システムについて、前記第１実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。

図１２に示す第５実施形態の情報システムは、情報端末としてのスマートフォン１の他に、さらにサーバー１００を独立して備えること以外は、前記第１実施形態の情報システムと同様である。すなわち、第５実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン１単独で完結することなく、情報端末としてのスマートフォン１と、サーバー１００とを有している。

第５実施形態の情報システムでは、図１２に示すように、スマートフォン１は、さらに、送受信部１９を有しており、また、制御部６０において、この送受信部１９の作動を制御する送受信制御部６０６を有している。

また、サーバー１００は、記憶部１１７と、送受信部１１９と、制御部１６０とを有し、制御部１６０は、記憶部１１７および送受信部１１９の作動を、それぞれ、制御するデータ取得部１６１および送受信制御部１６２を有している。

このような本実施形態の情報システムにおいて、スマートフォン１が備える記憶部１７では、撮像対象Ｘを特定するためのデータベースの記憶が省略されており、これに代えて、サーバー１００が備える記憶部１１７に、このデータベースが記憶されている。

そして、スマートフォン１が備える送受信部１９と、サーバー１００が備える送受信部１１９とは、データベースの受け渡しを実施する。すなわち、送受信部１９は、送受信部１１９に記憶部１１７からのデータベースの取得要請を送信し、サーバー１００から送受信部１１９を介してデータベースを受信する。また、送受信部１１９は、送受信部１９による記憶部１１７からのデータベースの取得要請を受信し、スマートフォン１に送受信部１９を介してデータベースを送信する。なお、送受信部１９と送受信部１１９との間におけるデータベースの受け渡しは、有線および無線のいずれを介して実施するものであってもよく、また、無線の場合、インターネット経由で実施してもよい。

また、スマートフォン１が制御部６０において備える送受信制御部６０６は、送受信部１９の作動を制御して、送受信部１１９を介して、サーバー１００からデータベースを受け取り、分光制御部６０２は、送受信制御部６０６から、このデータベースを受け取り、これに基づいて分光計測部１０の作動を制御して、分光画像を撮像する。

さらに、サーバー１００が制御部１６０において備えるデータ取得部１６１は、取得要請に応じて記憶部１１７に記憶されたデータベースを取得した後に、送受信制御部１６２に受け渡す。そして、送受信制御部１６２は、送受信部１１９の作動を制御して、送受信部１９を介して、サーバー１００からスマートフォン１に、このデータベースを受け渡す。

かかる構成の第５実施形態の情報システムでは、情報システムが情報端末であるスマートフォン１単独で完結することなく、さらに、サーバー１００を備え、このサーバー１００が有する記憶部１１７において、データベースが保存され、このデータベースが、分光画像を撮像する際に、送受信部１９、１１９を介してスマートフォン１に、送信されるようになっている。これにより、スマートフォン１が備える記憶部１７に大量のデータを記憶させる必要がなくなると言う利点が得られる。また、情報システムが、複数のスマートフォン１を備える場合、データベースの共有化を図ることができる。さらに、サーバー１００の記憶部１１７が備えるデータベースをアップデートするだけで、結果的に、各スマートフォン１で利用するデータベースを最新のものとし得る。

さらに、本発明の情報システムにおいて、スマートフォン１による撮像対象Ｘの特定をオフライン時に実施する場合には、オフライン時に、必要となるデータベースをサーバー１００が備える記憶部１１７からスマートフォン１が備える記憶部１７に記憶させておくようにすればよい。これにより、オフライン時であっても、スマートフォン１による撮像対象Ｘの特定を実施することができる。

このような第５実施形態の情報システムによっても、前記第１実施形態と同様の効果が得られる。

また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン１と、サーバー１００とを有する場合について説明したが、本発明の情報システムは、スマートフォン１に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン１すなわち情報端末がデジタルカメラ、デジタルビデオカメラ、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）等で構成されるものであってもよい。

さらに、本実施形態では、スマートフォン１が備える制御部６０は、前記第１実施形態と同様に、光源制御部６０１と、分光制御部６０２と、画像取得部６０３と、合成処理部６０４と、表示制御部６０５とを備えることとしたが、これらのうちの少なくとも１つは、サーバー１００が有する制御部１６０が備えるものであってもよい。

＜＜第６実施形態＞＞
次に、本発明の情報システムの第６実施形態について説明する。

図１３は、本発明の情報システムの第６実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。

以下、第６実施形態の情報システムについて、前記第１実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。

図１３に示す第６実施形態の情報システムは、情報端末としてのスマートフォン１の他に、さらにサーバー１００を独立して備えること以外は、前記第１実施形態の情報システムと同様である。すなわち、第６実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン１単独で完結することなく、情報端末としてのスマートフォン１と、サーバー１００とを有している。

第６実施形態の情報システムでは、図１３に示すように、スマートフォン１は、記憶部および制御部６０における合成処理部を有しておらず、これに対して、スマートフォン１は、さらに、送受信部１９を有しており、また、制御部６０において、この送受信部１９の作動を制御する送受信制御部６０６を有している。

また、サーバー１００は、記憶部１１７と、送受信部１１９と、制御部１６０とを有し、制御部１６０は、記憶部１１７および送受信部１１９の作動を、それぞれ、制御するデータ取得部１６１および送受信制御部１６２と、補完画像の合成を行う合成処理部１６３とを有している。

このような本実施形態の情報システムにおいて、スマートフォン１における記憶部の配置が省略され、これに代えて、サーバー１００が記憶部１１７を備えている。この記憶部１１７は、前記第１実施形態のスマートフォン１が備える記憶部１７と同様に、各種データが記憶されている。

また、スマートフォン１が備える制御部６０における合成処理部の配置が省略され、これに代えて、サーバー１００が備える制御部１６０が合成処理部１６３を備えている。この合成処理部１６３は、前記第１実施形態のスマートフォン１が備える合成処理部６０４と同様に、ＲＧＢ画像に対して分光情報を重畳することで、分光情報でＲＧＢ画像が補完された補完画像を合成する。

そして、スマートフォン１が備える送受信部１９と、サーバー１００が備える送受信部１１９とは、各種データの受け渡しを実施する。具体的には、例えば、送受信部１９は、スマートフォン１で取得した撮像対象Ｘが有する固有の分光情報すなわち分光スペクトル、および、撮像対象ＸのＲＧＢ画像を、送受信部１１９に送信し、サーバー１００から送受信部１１９を介して、分光情報でＲＧＢ画像が補完された補完画像を受信する。また、送受信部１１９は、スマートフォン１で取得した撮像対象Ｘが有する固有の分光情報すなわち分光スペクトル、および、撮像対象ＸのＲＧＢ画像を、スマートフォン１から送受信部１９を介して受信し、スマートフォン１に、送受信部１９を介して、分光情報でＲＧＢ画像が補完された補完画像を送信する。なお、送受信部１９と送受信部１１９との間における各種データの受け渡しは、有線および無線のいずれを介して実施するものであってもよく、また、無線の場合、インターネット経由で実施してもよい。

また、スマートフォン１が制御部６０において備える送受信制御部６０６は、送受信部１９の作動を制御して、画像取得部６０３で取得した、撮像対象Ｘの分光スペクトルすなわち分光情報と撮像対象ＸのＲＧＢ画像とを、送受信部１１９を介して、サーバー１００が備える合成処理部１６３に送信する。そして、合成処理部１６３は、ＲＧＢ画像に対して分光情報を重畳することで、分光情報でＲＧＢ画像が補完された補完画像を合成する。

さらに、サーバー１００が制御部１６０において備える送受信制御部１６２は、送受信部１１９の作動を制御して、送受信部１９を介して、サーバー１００からスマートフォン１に、合成処理部１６３により合成された撮像対象Ｘの補完画像を受け渡す。

かかる構成の第６実施形態の情報システムでは、情報システムが情報端末であるスマートフォン１単独で完結することなく、さらに、サーバー１００を備え、このサーバー１００が有する記憶部１１７において、データベースが保存される。そして、サーバー１００が有する合成処理部１６３において、分光情報でＲＧＢ画像が補完された補完画像の合成が行われ、その後、送受信部１９、１１９を介してスマートフォン１に、合成された補完画像が送信されるようになっている。これにより、スマートフォン１に、大きな計算負荷を掛ける必要がなくなると言う利点が得られる。また、合成処理部１６３を処理能力に優れたものとすることで、より高精彩な補完画像を合成することが可能となる。

また、情報システムが、複数のスマートフォン１を備える場合、データベースの共有化を図ることができる。

このような第６実施形態の情報システムによっても、前記第１実施形態と同様の効果が得られる。

また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン１と、サーバー１００とを有する場合について説明したが、本発明の情報システムは、スマートフォン１に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン１すなわち情報端末がデジタルカメラ、デジタルビデオカメラ、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）等で構成されるものであってもよい。

さらに、本実施形態では、スマートフォン１が備える制御部６０は、前記第１実施形態と同様に、光源制御部６０１と、分光制御部６０２と、画像取得部６０３と、表示制御部６０５とを備えることとしたが、これらのうちの少なくとも１つは、サーバー１００が有する制御部１６０が備えるものであってもよい。

以上、本発明の画像処理方法、画像処理装置および情報システムを、図示の実施形態に基づいて説明したが、本発明はこれらに限定されるものでない。

例えば、本発明の情報システムにおいて、各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、任意の構成のものを付加することができる。

また、本発明の情報システムでは、前記第１〜第６実施形態で示した任意の２以上の構成を組み合わせるようにしてもよい。
また、本発明の画像処理方法において、任意の工程が追加されたものであってもよい。

１…スマートフォン、１０…分光計測部、１１…ＲＧＢ画像取得部、１２…カメラ、１５…表示部、１６…入力部、１７…記憶部、１８…外部表示部、１９…送受信部、２１…撮像素子、２２…撮像素子、３１…光源、４１…分光部、４５…静電アクチュエーター、５１…回路基板、５２…回路基板、６０…制御部、７０…ディスプレイ、８１…分光部側光学系、８３…撮像素子側光学系、８５…撮像素子側光学系、８５１…入出射レンズ、１００…サーバー、１１７…記憶部、１１９…送受信部、１６０…制御部、１６１…データ取得部、１６２…送受信制御部、１６３…合成処理部、４１０…固定基板、４１１…固定反射膜、４１２…固定電極、４１３…溝、４１４…接合膜、４１５…反射膜設置部、４２０…可動基板、４２１…可動反射膜、４２２…可動電極、４２３…溝、４２５…反射膜設置部、６０１…光源制御部、６０２…分光制御部、６０３…画像取得部、６０４…合成処理部、６０５…表示制御部、６０６…送受信制御部、８１１…入射レンズ、８１２…投射レンズ、８３１…入出射レンズ、Ｘ…撮像対象

Claims (8)

1. 撮像すべき対象のＲＧＢ画像を撮像し、かつ、所定の波長領域において前記対象の分光画像を撮像することで、前記波長領域における、前記対象が有する固有の分光情報を取得する撮像工程と、
   前記ＲＧＢ画像に対して前記分光情報を重畳することで補完された補完画像を表示する表示工程とを有することを特徴とする画像処理方法。
2. 前記撮像工程において、前記分光画像を撮像する前記波長領域として、近赤外領域を含む請求項１に記載の画像処理方法。
3. 前記撮像工程において、前記分光画像を撮像する前記波長領域として、黄色の可視光領域を含む請求項１または２に記載の画像処理方法。
4. 前記表示工程において、ＲＧＢ表示により前記補完画像を表示する請求項１ないし３のいずれか１項に記載の画像処理方法。
5. 前記表示工程において、ＣＭＹ表示により前記補完画像を表示する請求項１ないし４のいずれか１項に記載の画像処理方法。
6. 撮像すべき対象のＲＧＢ画像を撮像するＲＧＢカメラと、
   所定の波長領域において前記対象の分光画像を撮像することで、前記波長領域における、前記対象が有する固有の分光情報を取得する分光カメラと、
   前記ＲＧＢ画像と前記分光情報とを記憶する記憶部と、
   前記ＲＧＢ画像と前記分光情報とを表示し得る表示部とを有し、
   前記表示部は、前記ＲＧＢ画像に対して前記分光情報を重畳することで補完された補完画像を表示するよう構成されていることを特徴とする画像処理装置。
7. 前記分光カメラと、前記ＲＧＢカメラと、前記表示部との作動を制御する制御部を有する請求項６に記載の画像処理装置。
8. 請求項６または７に記載の画像処理装置を備えることを特徴とする情報システム。

Images