JP7176208B2 - System and imager - Google Patents
System and imager Download PDFInfo
- Publication number
- JP7176208B2 JP7176208B2 JP2018050027A JP2018050027A JP7176208B2 JP 7176208 B2 JP7176208 B2 JP 7176208B2 JP 2018050027 A JP2018050027 A JP 2018050027A JP 2018050027 A JP2018050027 A JP 2018050027A JP 7176208 B2 JP7176208 B2 JP 7176208B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- image
- changes
- imaging device
- dimensional code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明の実施形態は、システムおよび撮像装置に関する。 Embodiments of the present invention relate to systems and imaging devices.
従来、静止画像であるバーコードや二次元コードから情報を読み取る技術が知られている。また、二次元コードよりもさらに多くの情報を伝達するために、立体的な形状のコードを用いる技術も開示されている。 Techniques for reading information from bar codes and two-dimensional codes, which are still images, are conventionally known. A technique using a three-dimensional code is also disclosed in order to transmit more information than the two-dimensional code.
しかしながら、従来の二次元コードの技術においては、コードに含まれる情報量が多いほどコードの形状が複雑になるため、あまりに情報量を増やすと読み取りが困難になる場合があった。また、立体的な形状のコードにおいても、二次元コードよりも増加させられる情報量には限界があった。このため、多くの情報を伝達可能なコードを、生成および読み取りすることに対するニーズがあった。 However, in the conventional two-dimensional code technology, the larger the amount of information contained in the code, the more complicated the shape of the code. Also, even with a three-dimensional code, there is a limit to the amount of information that can be increased compared to a two-dimensional code. Therefore, there is a need to generate and read codes that can convey a lot of information.
本発明の実施形態にかかるシステムは、一例として、電子機器と、撮像装置と、を備える。電子機器は、可変長の時間間隔で変化する画像を表示する表示部を備える。撮像装置は、画像を撮像する撮像部と、撮像部によって撮像された撮像画像が変化した場合に、撮像画像と、撮像画像の変化の時間間隔とを記録する記録部と、を備える。よって、実施形態のシステムによれば、多くの情報を伝達可能なコードを、生成および読み取りすることができる。 A system according to an embodiment of the present invention includes, as an example, an electronic device and an imaging device. The electronic device includes a display that displays images that change at time intervals of variable length. The imaging device includes an imaging unit that captures an image, and a recording unit that, when the captured image captured by the imaging unit changes, records the captured image and the time interval between changes in the captured image. Therefore, according to the system of the embodiment, it is possible to generate and read codes capable of transmitting a large amount of information.
上記システムでは、一例として、記録部は、撮像画像の変化を撮像画像に含まれる画素ごとに検知し、変化した画素の情報を記録し、変化していない画素の情報は記録しない。よって、実施形態のシステムによれば、撮像画像全体の画素の情報を記録するよりも、取得する情報量を削減すると共に処理負荷を低減することができる。 In the above system, as an example, the recording unit detects changes in the captured image for each pixel included in the captured image, records information about pixels that have changed, and does not record information about pixels that have not changed. Therefore, according to the system of the embodiment, the amount of information to be acquired can be reduced and the processing load can be reduced as compared with recording the information of the pixels of the entire captured image.
上記システムでは、一例として、表示部は、各画素の輝度が3段階以上の輝度で表現される画像を表示する。また、記録部は、画像を撮像した撮像画像に含まれる画素の輝度が変化した場合に、撮像画像と、撮像画像の変化の時間間隔とを記録する。よって、実施形態のシステムによれば、輝度の高さが多段階で表現される多値画像をコードに含むことにより、さらに多くの情報を伝達可能なコードを生成および読み取りすることができる。 In the above system, as an example, the display unit displays an image in which the luminance of each pixel is represented by three or more levels of luminance. In addition, the recording unit records the captured image and the time interval between the changes in the captured image when the brightness of the pixels included in the captured image changes. Therefore, according to the system of the embodiment, it is possible to generate and read a code capable of transmitting more information by including a multi-level image in which the brightness level is expressed in multiple levels.
本発明の実施形態にかかる撮像装置は、一例として、撮像画像を生成する撮像部と、撮像画像が変化した場合に、撮像画像と、撮像画像の変化の時間間隔とを記録する記録部と、複数の撮像画像と時間間隔との組み合わせが示す情報を認識する認識部と、を備える。よって、実施形態の撮像装置によれば、記録した複数の撮像画像と時間間隔とから、情報を取得することができる。 An imaging device according to an embodiment of the present invention includes, for example, an imaging unit that generates a captured image, a recording unit that records the captured image and the time interval between changes in the captured image when the captured image changes, a recognition unit that recognizes information indicated by a combination of a plurality of captured images and time intervals; Therefore, according to the imaging apparatus of the embodiment, information can be obtained from the recorded plural captured images and the time interval.
上記撮像装置では、一例として、撮像装置は移動体に設置され、記録部は、移動体と撮像装置との移動に伴って撮像画像が変化した場合に、撮像画像と、撮像画像の変化の時間間隔とを記録する。よって、実施形態の撮像装置によれば、移動体の周囲を撮像した撮像画像と撮像画像の変化の時間間隔とから情報を取得することができる。 In the imaging device described above, as an example, when the imaging device is installed on a moving body and the captured image changes due to movement between the moving body and the imaging device, the recording unit stores the captured image and the time of change of the captured image. Record the intervals. Therefore, according to the imaging apparatus of the embodiment, information can be obtained from the captured image of the surroundings of the moving object and the time interval between changes in the captured image.
(第1の実施形態)
図1(a)は、第1の実施形態にかかる三次元コードシステム10の一例を示す図である。本実施形態の三次元コードシステム10は、電子機器2と、撮像装置1とを備える。
(First embodiment)
FIG. 1(a) is a diagram showing an example of a three-
電子機器2は、ディスプレイ(表示部)22に、可変長の時間間隔t1~t3(以下、時間間隔t1~t3を区別しない場合は、時間間隔tという)で変化する画像31a~31d(以下、画像31a~31dを区別しない場合は、画像31という)を表示する。図1(a)に示す例では、最初に画像31aがディスプレイ22に表示され、時間間隔t1の経過後に画像31aが画像31bに変化する。その後、時間間隔t2、t3の経過と共に、画像31c、画像31dが時系列に表示される。
The
本実施形態の三次元コード3は、可変長の時間間隔t1~t3で変化する画像31a~31dである。より詳細には、三次元コード3は、複数の画像31と、可変長の時間間隔tとの組み合わせである。画像31a~31dはそれぞれ二次元の静止画像である。より詳細には、三次元コード3は、複数の画像31のそれぞれの組み合わせと、複数の時間間隔tの組み合わせと、をさらに組み合わせたものである。
The three-
時間間隔t1~t3は、本実施形態の三次元コード3における三次元目の次元である。なお、本実施形態の三次元コード3は、複数の画像31に可変長の時間間隔tを組み合わせているため、時間変調の二次元コードともいう。また、本実施形態の画像31は、白と黒の2色(2階調)で描かれた2値画像とする。図1(a)に示す画像31a~31dはそれぞれ異なる画像であり、時間間隔t1~t3は、それぞれ異なる長さであるものとする。また、三次元コード3は信号ともいい、電子機器2は、信号源ともいう。
The time intervals t1 to t3 are the third dimension in the three-
撮像装置1は、ディスプレイ22に表示された画像31を撮像可能な位置および角度で設置されているものとする。撮像装置1は、画像31を撮像し、画像31を撮像した撮像画像が変化した場合に、撮像画像を記録する。撮像装置1は、画像31を撮像した撮像画像が変化した場合に撮像画像を記録するため、画像31の変化の時間間隔tが一定でなくとも、画像31の変化を時系列に記録することができる。また、本実施形態においては、撮像とは、被写体(画像31)を写した撮像画像を結像することをいい、当該撮像画像を記録することは含まないものとする。
It is assumed that the
図1(a)に対する比較例として、固定長の時間間隔txごとに撮像画像を記録する撮像装置90を図1(b)に示す。撮像装置90は、時間間隔txごとに画像を記録するため、記録タイミングと記録タイミングとの間に表示された画像31を記録できない場合がある。図1(b)の例では、画像31cが、撮像装置90の記録から漏れている。
As a comparative example with respect to FIG. 1(a), FIG. 1(b) shows an
撮像装置1の記録タイミングについて、さらに図2(a)を用いて説明する。図2(a)は、本実施形態にかかる撮像装置1の撮像画像131の記録タイミングの一例を示す図である。図2(a)に示す例では、撮像装置1は、可変長の周期で点滅するLED電球20を撮像する。撮像装置1は、LED電球20が変化した場合、つまりLED電球20が点灯または滅灯した場合に、LED電球20を撮像した撮像画像131を記録する。このため、撮像装置1の記録タイミングの周期41は、LED電球20の点滅周期を示す発光パルス201と一致する。このため、撮像装置1は、撮像対象であるLED電球20の変化を時系列に記録することができる。
The recording timing of the
図2(a)に対する比較例として、固定長の時間間隔txごとに撮像画像131を記録する撮像装置90の記録タイミングの周期42を図2(b)に示す。撮像装置90は、LED電球20の発光パルス201とは無関係に、固定長の時間間隔txごとに撮像画像131を記録する。時間間隔txがLED電球20の点滅の間隔よりも長い場合は、撮像装置90はLED電球20の変化を時系列に記録することができない。また、時間間隔txがLED電球20の点滅の間隔よりも短い場合は、撮像装置90は、変化の履歴とは無関係に、同一の撮像画像131を重複して記録することになる。また、いずれの場合も、撮像装置90が撮像画像131の変化の時間間隔tを特定することは困難である。
As a comparative example with respect to FIG. 2(a), FIG. 2(b) shows a
図1(a)の説明に戻る。撮像装置1は、より詳細には、画像31を撮像した撮像画像131の変化を画素ごとに検知し、変化した画素の情報を記録し、変化していない画素の情報は記録しない。画素の情報とは、例えば輝度情報及び色情報である。撮像装置1は、最初に表示された画像31aの撮像画像131については、全ての画素が変化しているため、撮像画像131全体を記録する。その後画像31が変化する毎に、撮像装置1は、変化した箇所に対応する撮像画像131の画素の情報を記録する。例えば、画像31bは、変化前の画像31aと比較して図形5aの箇所が変化している。この場合、撮像装置1は、変化前の画像31aと変化後の画像31bとの差分である図形5aに対応する画素の情報のみを記録し、その他の画素の情報は記録しない。撮像装置1は、変化前の画像31aから、図形5aに対応する画素を入れ替えることで、変化後の画像31bの画像全体を生成することができる。また、撮像装置1は、次に表示される画像31cおよび画像31dについても、変化した箇所である図形5b~5dに対応する画素の情報のみを記録する。
Returning to the description of FIG. More specifically, the
次に、本実施形態の三次元コードシステム10に含まれる電子機器2および撮像装置1の機能の詳細を説明する。図3は、本実施形態にかかる三次元コードシステム10が有する機能の一例を示す図である。
Next, the details of the functions of the
電子機器2は、制御部21と、表示部(ディスプレイ)22と、記憶部23とを備える。記憶部23は、画像31と時間間隔tとの組み合わせを予め記憶する。記憶部23は、例えばHDDである。表示部22は、可変長の時間間隔tで変化する画像31である三次元コード3を表示する。制御部21は、表示部22を制御して、表示部22に記憶された画像31を表示させ、可変長の時間間隔tで画像31を変化させる。
The
また、電子機器2は、一例として、CPU(Central Processing Unit)などの制御装置と、ROMやRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置を備えており、通常のコンピュータを利用したハードウェア構成とする。
Further, the
撮像装置1は、撮像部11と、記録部12と、認識部13と、記憶部14とを備える。
The
撮像部11は、画像31を撮像して、撮像画像131を生成する。
The
記録部12は、撮像部11によって撮像された撮像画像131の変化を検知し、撮像画像131が変化した場合に撮像画像131と、撮像画像131の変化の時間間隔tとを記録する。より詳細には、記録部12は、撮像画像131の変化を、撮像画像に含まれる画素ごとに検知し、変化した画素の情報を記憶部14に記録する。また、記録部12は、変化していない画素の情報は記録しない。変化した画素の情報とは、変化後の画素の情報とする。記録部12は、例えばイメージセンサである。本実施形態の撮像装置1のように可変長の撮像タイミングで撮像画像131を記録する機能を、非同期式シャッター機能ともいう。撮像装置1は、非同期式シャッター機能を有するイメージセンサを備えるカメラともいう。
The
また、本実施形態では、記録部12は、変化前の撮像画像131に対して、変化した画素を入れ替えて変化後の撮像画像131を生成した上で、当該撮像画像131を記憶部14に記録する。なお、記録部12は、変化後の撮像画像131を生成せずに、変化した画素の履歴を記憶部14に記録しても良い。
Further, in the present embodiment, the
記憶部14は、撮像画像131と、時間間隔tとを対応付けて保存する。また、記憶部14は、コード情報データベース141を記憶する。コード情報データベース(DB)141は、三次元コード3に含まれる複数の画像31と可変長の時間間隔tとの組み合わせと、三次元コード3が示す情報とが対応付けられて登録されたデータベースである。記憶部14は、例えばフラッシュメモリ等である。
The
認識部13は、撮像部11によって撮像された複数の撮像画像131と、撮像画像131の変化の時間間隔tとの組み合わせが示す情報を認識する。本実施形態における認識とは、三次元コード3が示す情報を特定することである。より詳細には、認識部13は、複数の画像31を撮像した複数の撮像画像131と、撮像画像131の変化の時間間隔tと、の組み合わせでコード情報データベース141を検索する。認識部13は、コード情報データベース141から、特定した複数の撮像画像131と時間間隔tとの組み合わせに対応付けられた情報を取得する。
The
次に、以上のように構成された本実施形態の三次元コードシステム10における三次元コード3の読み取り処理の流れを説明する。図4は、本実施形態にかかる撮像装置1による三次元コード3の読み取り処理の流れの一例を示すフローチャートである。
Next, the flow of reading processing of the three-
撮像部11は、例えばユーザによって撮像開始の操作がされた場合に、電子機器2のディスプレイ22に表示された画像31の撮像を開始する(S1)。そして、記録部12は、画像31を撮像した撮像画像131に変化があるか否かを、当該撮像画像131に含まれる画素ごとに判断する(S2)。この時点では、撮像部11は、画像31を写した撮像画像131を結像しているが、当該撮像画像131を記録していないものとする。
The
撮像画像131に変化があった場合(S2“Yes”)、記録部12は、撮像画像131に含まれる画素のうち、変化した画素の情報を記憶部14に記録する(S3)。また、この場合、記録部12は、前回の変化から今回の変化までの時間間隔tを記憶部14に記録する(S4)。今回の変化が初回である場合は、記録部12は、時間間隔tを記録しなくとも良い。
If there is a change in the captured image 131 (“Yes” in S2), the
次に、記録部12は、三次元コード3(コード)の読み取りが終了したか否かを判断する(S5)。三次元コード3の読み取りの終了の判断基準は特に限定されるものではない。例えば、記録部12は、最初に画像31が表示されてから所定の時間が経過した場合や、画像31が所定の回数以上変化した場合に、三次元コード3の読み取りが終了したと判断する。または、所定の画像31を、読み取りの終了の信号としても良い。
Next, the
記録部12は、三次元コード3の読み取りが終了していないと判断した場合は(S5“No”)、S2~S5の処理を繰り返す。
When the
記録部12が三次元コード3の読み取りが終了したと判断した場合は(S5“Yes”)、認識部13は、三次元コード3(コード)の示す情報を認識する(S6)。具体的には、認識部13は、記録部12によって記録された複数の撮像画像131の組み合わせと時間間隔tとの組み合わせでコード情報データベース141を検索する。
When the
図5は、本実施形態にかかるコード情報データベース141の一例を示す図である。コード情報データベース141には、三次元コード3に含まれる複数の画像31の組み合わせと、時間間隔tの長さの組み合わせと、をさらに組み合わせたセットごとに、三次元コード3が示す情報が対応付けて登録される。例えば、画像31a~31dがそれぞれ“画像A1、画像B1、画像C1、画像D1”で、時間間隔t1~t3がそれぞれ“t1=n秒、t2=n1秒、t3=n2秒”の場合、認識部13は、三次元コード3は“X1”という情報を示すことを認識する。複数の画像31と時間間隔tのそれぞれに組み合わせがあるため、三次元コード3は、従来の二次元コードよりも多くの情報を伝達することができる。例えば、図5に示す例では、複数の三次元コード3の画像31a~31dの組み合わせが同一であっても、時間間隔t1~t3の長さの組み合わせが異なる場合は、複数の三次元コード3はそれぞれ別の情報を示す。
FIG. 5 is a diagram showing an example of the
認識部13が三次元コード3の示す情報を認識すると、このフローチャートの処理は終了する。
When the
このように、本実施形態の三次元コードシステム10は、可変長の時間間隔tで変化する画像31を表示する電子機器2と、画像31を撮像した撮像画像131が変化した場合に、撮像画像131と撮像画像131の変化の時間間隔とを記録する撮像装置1と、を備える。当該構成によれば、本実施形態の三次元コードシステム10は、複数の画像31を組み合わせるだけでなく、複数の時間間隔tの長さを組み合わせることにより、更に多くの情報を含む3次元コードを生成することができる。このため、本実施形態の三次元コードシステム10によれば、多くの情報を伝達可能な三次元コード3を、生成および読み取りすることができる。
As described above, the three-
また、三次元コード3は可変長の時間間隔tで変化するため、固定長の時間間隔txごとに撮像をする撮像装置90では、画像31の変化を時系列で記録することが困難であった。本実施形態の三次元コードシステム10によれば、撮像装置1が、画像31を撮像した撮像画像131が変化した場合に、撮像画像131と撮像画像131の変化の時間間隔とを記録するため、時間変調する画像31を時系列に記録することができる。また、当該構成により、本実施形態の三次元コードシステム10は、撮像装置1以外の撮像装置によって三次元コード3が容易に読み取られることを抑制することができる。
In addition, since the three-
さらに、本実施形態の三次元コードシステム10の撮像装置1は、撮像画像131の変化を、撮像画像131に含まれる画素ごとに検知し、変化した画素の情報を記録し、変化していない画素の情報は記録しない。このため、本実施形態の三次元コードシステム10によれば、撮像画像131全体の画素の情報を記録するよりも、取得する情報量を削減すると共に処理負荷を低減することができる。
Furthermore, the
また、本実施形態の撮像装置1は、複数の撮像画像131と、変化の時間間隔tとの組み合わせが示す情報を認識するため、三次元コード3から情報を取得することができる。
In addition, since the
なお、本実施形態の図1、図5等に示した三次元コード3に含まれる画像31の数や、時間間隔tの長さは一例であり、これらに限定されるものではない。また、図5に示すコード情報データベース141の構成は一例であり、三次元コード3が示す情報を特定する手法はこれに限定されるものではない。また、三次元コード3が示す情報を認識する処理は、撮像装置1ではなく他の情報処理装置が行うものとしても良い。また、電子機器2の構成は上述の例に限定されるものではなく、例えば、表示部(ディスプレイ)22単体を、電子機器2としても良い。
Note that the number of images 31 included in the three-
また、本実施形態では、記録部12は、撮像画像131が変化した場合に、変化後の撮像画像131と時間間隔tとを記録するとしたが、記録部12は、撮像画像131が変化した場合に、変化前の撮像画像131と時間間隔tとを記録しても良い。
Further, in the present embodiment, when the captured
(変形例1)
第1の実施形態では、三次元コード3に含まれる画像31は、白と黒とによって表現される2値画像であったが、画像31は、各画素の輝度が多段階の高さの輝度で表現される多値画像であっても良い。
(Modification 1)
In the first embodiment, the image 31 included in the three-
図6は、本変形例にかかる画像31の変化の一例を示す図である。本変形例の画像31e~31gは、各画素の輝度が3段階以上の輝度で表現される画像である。例えば、画像31eは、白と黒だけではなく、灰色の図形5e,5fを含む。図形5e,5fの輝度の高さは、画像31eの白色の部分の輝度と黒色の部分の輝度の中間の高さである。
FIG. 6 is a diagram showing an example of changes in the image 31 according to this modified example.
また、本変形例では、画像31の変化は、輝度の高さの変化を含む。例えば、画像31eに含まれる図形5eは、時間間隔t1が経過した後の画像31fでは、図形5eよりも輝度の低い図形5gに変化している。本変形例の撮像装置1の記録部12は、画像31を撮像した撮像画像131に含まれる画素の輝度が変化した場合に、当該撮像画像131と、撮像画像131の変化の時間間隔とを記録する。
Also, in this modification, the change in the image 31 includes a change in brightness. For example, a figure 5e included in the
なお、三次元コード3に含まれる画像31は、輝度が多段階であるだけではなく、複数の色相を有するカラー画像でもよい。この場合も、撮像装置1の記録部12は、画像31の色の変化を検知し、変化した画素の情報を記録する。
Note that the image 31 included in the three-
このように、本変形例の三次元コードシステム10の電子機器2は、各画素の輝度が3段階以上の輝度で表現される画像31を表示し、撮像装置1は、画像31を撮像した撮像画像131に含まれる画素の輝度が変化した場合に、撮像画像131と、撮像画像131の変化の時間間隔とを記録する。本変形例の三次元コードシステム10によれば、輝度の高さの変化によって画像31のバリエーションを増やすことができ、白黒の2値画像を用いる場合よりも、多くの情報を伝達可能な三次元コード3を、生成および読み取りすることができる。
As described above, the
(変形例2)
第1の実施形態では、撮像装置1は変化した画素の情報のみを記録するとしたが、撮像装置1は、変化した画素だけではなく撮像画像131全体を記録しても良い。
(Modification 2)
In the first embodiment, the
(第2の実施形態)
第1の実施形態では、撮像装置1は固定され、ディスプレイ22に表示される画像31が変化していた。第2の実施形態では、撮像装置1は、撮像装置1が移動することによって変化する撮像画像131と撮像画像131の変化の時間間隔tとの組み合わせから、情報を取得する。
(Second embodiment)
In the first embodiment, the
図7は、本実施形態にかかる撮像装置1の撮像対象の一例を示す図である。本実施形態の撮像装置1は、車両(自動車)6に設置される。撮像装置1は、例えば、車両6の後部に斜め下方向を向いて設置され、道路7および道路7上の模様(例えば白線71)を撮像する。車両6は、本実施形態における移動体の一例である。道路7および白線71は、撮像装置1の撮像対象の一例であり、これに限定されるものではない。
FIG. 7 is a diagram showing an example of an imaging target of the
図8は、本実施形態にかかる撮像画像131の一例を示す図である。撮像画像131は、撮像装置1によって撮像された画像である。本実施形態では、道路7および白線71自体は変化しなくとも、車両6の走行に伴って撮像装置1が移動することにより、撮像画像131は変化する。また、車両6の車速に応じて撮像装置1の移動の速度が変化するため、撮像画像131は、車両6の車速に応じた可変長の時間間隔tで変化する。本実施形態では、三次元コード3は、撮像装置1が撮像した複数の撮像画像131と、撮像画像131の変化の時間間隔tの組み合わせとする。
FIG. 8 is a diagram showing an example of the captured
本実施形態の撮像装置1の構成は、図3で説明した第1の実施形態の構成と同様とする。
The configuration of the
本実施形態の撮像装置1の記憶部14は、第1の実施形態と同様の機能を備え、コード情報データベース141を記憶する。また、本実施形態のコード情報データベース141には、三次元コード3に含まれる複数の画像(撮像画像131)の組み合わせと、時間間隔tの長さの組み合わせと、をさらに組み合わせたセットごとに、三次元コード3が示す情報が対応付けて登録される。本実施形態の三次元コード3が示す情報は、一例として、車両6の車速とするが、周辺の道路環境に関する情報等であっても良い。
The
また、本実施形態の撮像部11は、第1の実施形態と同様の機能を備える。また、本実施形態の撮像部11は、車両6が走行中に、車両6の前方斜め下方向の道路7および白線71を撮像する。
Further, the
また、本実施形態の記録部12は、第1の実施形態と同様の機能を備える。より詳細には、本実施形態では、撮像装置1が移動するため、記録部12は、車両6と撮像装置1との移動に伴って撮像画像131が変化した場合に、撮像画像131と、撮像画像131の変化の時間間隔tとを記録する。
Also, the
また、本実施形態の認識部13は、第1の実施形態の機能を備えた上で、複数の撮像画像131と、撮像画像131の変化の時間間隔tと、に基づいて、三次元コード3が示す情報を認識する。より具体的には、認識部13は、記録部12が記録した複数の撮像画像131と複数の時間間隔tでコード情報データベース141を検索し、当該撮像画像131と時間間隔tの組み合わせに対応付けられた車両6の車速を取得する。
Further, the
認識部13は、取得した車速を、車両6に設置された表示装置や、他の外部装置等に出力しても良い。認識部13が三次元コード3が示す車両6の車速を認識することにより、例えば、車両6の車速が法定速度以上である場合に、車両6のシステム等が運転者に対して警告を発することができる。
The
本実施形態の撮像装置1によれば、車両6と撮像装置1との移動に伴って撮像画像131が変化した場合に、撮像画像131と撮像画像131の変化の時間間隔tとを記録するため、三次元コード3を表示するための専用装置を用いなくとも、車両6の周囲を撮像した結果から情報を取得することができる。例えば、本実施形態の撮像装置1によれば、図7,8に示したように動かすことが困難な道路7や白線71等からも、情報を取得することができる。
According to the
(第3の実施形態)
第3の実施形態では、街灯や信号機として設置されたLED照明を三次元コード3の発生源(信号源)とする。
(Third embodiment)
In the third embodiment, the source (signal source) of the three-
図9は、本実施形態にかかる撮像装置1の撮像対象の一例を示す図である。本実施形態の撮像装置1は、車両6の周囲の街灯や信号機を撮像可能な位置および角度で、車両6に設置される。一例として、本実施形態では、撮像装置1は車両6の前方を向いて設置される。撮像装置1は、車両6の前方に位置するLED照明を用いた街灯8a~8d(以下、街灯8a~8dを特に区別しない場合は街灯8という)を撮像する。本実施形態においては、車両6は走行しているものとしても良いし、停止しているものとしても良い。街灯8や信号機は、本実施形態における電子機器の一例である。
FIG. 9 is a diagram showing an example of an imaging target of the
図10は、本実施形態にかかる撮像画像131の一例を示す図である。撮像画像131に含まれる輝度の高い箇所81a~81fは、点灯状態にある街灯8のLED照明である。
FIG. 10 is a diagram showing an example of a captured
LED照明は、点灯と滅灯を繰り返すため、車両6が停止している場合であっても、撮像画像131は、LED照明の点灯と滅灯の時間間隔tごとに変化する。また、車両6が走行している場合には、LED照明の点滅と、車両6に設置された撮像装置1の移動との両方によって、撮像画像131が変化する。道路上で車両6と街灯8や信号機との間に遮蔽物が存在することは少ないため、撮像装置1は高精度に撮像画像131と時間間隔tとを取得することができる。本実施形態においては、撮像装置1が街灯8を撮像した複数の撮像画像131と、撮像画像131の変化の時間間隔tとを三次元コード3という。
Since the LED lighting repeats turning on and off, the captured
本実施形態の撮像装置1の構成は、図3で説明した第1の実施形態の構成と同様とする。本実施形態の撮像装置1の撮像部11、記録部12、記憶部14は、第1の実施形態と同様の機能を備える。
The configuration of the
本実施形態のコード情報データベース141には、三次元コード3が示す情報として、例えば、位置情報が街灯8が設置された位置を示す位置情報が登録される。三次元コード3が示す情報は、交通情報等であっても良い。また、記憶部14には、車両6は停止している場合と走行している場合とに応じて、異なるコード情報データベース141が予め登録されても良い。
In the
本実施形態の認識部13は、第1の実施形態の機能を備えた上で、複数の撮像画像131と、撮像画像131の変化の時間間隔tとでコード情報データベース141を検索し、複数の撮像画像131と時間間隔tとに対応付けられた位置情報を、三次元コード3が示す情報として認識する。
The recognizing
本実施形態の撮像装置1によれば、街灯8や信号機等を三次元コード3の発生源として用いることができるため、第1の実施形態の効果に加えて、車両6の周囲の街灯8や信号機等の照明装置から情報を取得することができる。
According to the
また、本実施形態の構成では、街灯8や信号機の光が届く範囲の撮像装置1のみが情報を認識することができるため、情報の伝達先を限定し、所定のエリアに対する情報の伝達が可能となる。例えば、本実施形態の街灯8や信号機は、付近を通過する車両6に必要な位置情報や交通情報等を提供することができる。
In addition, in the configuration of the present embodiment, only the
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。 Although the embodiments of the present invention have been exemplified above, the above embodiments and modifications are merely examples, and are not intended to limit the scope of the invention. The above embodiments and modifications can be implemented in various other forms, and various omissions, replacements, combinations, and modifications can be made without departing from the scope of the invention. Also, the configuration and shape of each embodiment and each modification can be partially exchanged.
1…撮像装置、2…電子機器、3…三次元コード、6…車両、7…道路、8,8a~8d…街灯、10…三次元コードシステム、11…撮像部、12…記録部、13…認識部、14…記憶部、20…LED電球、21…制御部、22…ディスプレイ(表示部)、23…記憶部、31,31a~31g…画像、131…撮像画像、141…コード情報データベース、t,t1~t3…時間間隔。
DESCRIPTION OF
Claims (4)
前記電子機器は、
可変長の時間間隔で変化する画像を表示する表示部を備え、
前記撮像装置は、
前記画像を撮像する撮像部と、
前記撮像部によって撮像された撮像画像が変化した場合に、前記撮像画像と、前記撮像画像の変化の時間間隔とを記録する記録部と、
複数の画像の組み合わせと時間間隔の長さの組み合わせとをさらに組み合わせたセットごとに、三次元コードの情報が対応づけられたコード情報データベースと、
前記コード情報データベースを参照して、複数の前記撮像画像と前記時間間隔との組み合わせが示す三次元コードの情報を認識する認識部と、
を備え、
前記記録部は、前記撮像画像の変化を前記撮像画像に含まれる画素ごとに検知し、変化した前記画素の情報を記録し、変化していない前記画素の情報は記録しない、
システム。 A system comprising an electronic device and an imaging device,
The electronic device
a display unit that displays images that change at time intervals of variable length;
The imaging device is
an imaging unit that captures the image;
a recording unit that records the captured image and a time interval of change of the captured image when the captured image captured by the imaging unit changes;
a code information database in which three-dimensional code information is associated with each set obtained by further combining a combination of a plurality of images and a combination of lengths of time intervals;
a recognition unit that refers to the code information database and recognizes three-dimensional code information indicated by a combination of the plurality of captured images and the time interval;
with
The recording unit detects changes in the captured image for each pixel included in the captured image, records information about the pixels that have changed, and does not record information about the pixels that have not changed.
system.
前記記録部は、前記画像を撮像した撮像画像に含まれる前記画素の輝度が変化した場合に、前記撮像画像と、前記撮像画像の変化の時間間隔とを記録する、
請求項1に記載のシステム。 The display unit displays the image in which the brightness of each pixel is represented by three or more levels of brightness,
The recording unit records the captured image and a time interval between changes in the captured image when the brightness of the pixels included in the captured image obtained by capturing the image changes.
The system of claim 1 .
撮像画像が変化した場合に、前記撮像画像と、前記撮像画像の変化の時間間隔とを記録する記録部と、
複数の画像の組み合わせと時間間隔の長さの組み合わせとをさらに組み合わせたセットごとに、三次元コードの情報が対応づけられたコード情報データベースと、
前記コード情報データベースを参照して、複数の前記撮像画像と前記時間間隔との組み合わせが示す三次元コードの情報を認識する認識部と、を備え、
前記記録部は、前記撮像画像の変化を前記撮像画像に含まれる画素ごとに検知し、変化した前記画素の情報を記録し、変化していない前記画素の情報は記録しない、
撮像装置。 an imaging unit that generates a captured image;
a recording unit that records the captured image and a time interval between changes in the captured image when the captured image changes;
a code information database in which three-dimensional code information is associated with each set obtained by further combining a combination of a plurality of images and a combination of lengths of time intervals;
a recognition unit that refers to the code information database and recognizes three-dimensional code information indicated by a combination of the plurality of captured images and the time interval;
The recording unit detects changes in the captured image for each pixel included in the captured image, records information about the pixels that have changed, and does not record information about the pixels that have not changed.
Imaging device.
前記記録部は、前記移動体と前記撮像装置との移動に伴って前記撮像画像が変化した場合に、前記撮像画像と、前記撮像画像の変化の時間間隔とを記録する、
請求項3に記載の撮像装置。 The imaging device is installed on a mobile body,
The recording unit records the captured image and a time interval between changes in the captured image when the captured image changes due to the movement of the moving body and the imaging device.
The imaging device according to claim 3 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018050027A JP7176208B2 (en) | 2018-03-16 | 2018-03-16 | System and imager |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018050027A JP7176208B2 (en) | 2018-03-16 | 2018-03-16 | System and imager |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019160230A JP2019160230A (en) | 2019-09-19 |
| JP7176208B2 true JP7176208B2 (en) | 2022-11-22 |
Family
ID=67996358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018050027A Active JP7176208B2 (en) | 2018-03-16 | 2018-03-16 | System and imager |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7176208B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003036829A1 (en) | 2001-10-23 | 2003-05-01 | Sony Corporation | Data communication system, data transmitter and data receiver |
| JP2003315875A (en) | 2002-04-26 | 2003-11-06 | Konica Minolta Holdings Inc | Imaging device and imaging method |
| JP2003348459A (en) | 2002-05-27 | 2003-12-05 | Sony Corp | Solid-state imaging apparatus and its drive method |
| JP2004326241A (en) | 2003-04-22 | 2004-11-18 | Fuji Photo Film Co Ltd | Data transmission server and data processing system |
| JP2016091561A (en) | 2014-10-31 | 2016-05-23 | 地球ソリューションズ株式会社 | Information display / reading system |
| US20170187455A1 (en) | 2015-12-29 | 2017-06-29 | Intel Corporation | Techniques for optical wireless communication |
| US20170295627A1 (en) | 2016-04-08 | 2017-10-12 | Generalplus Technology Inc. | Light emitting device with dimming visible light communication function and interaction device applying for visible light |
-
2018
- 2018-03-16 JP JP2018050027A patent/JP7176208B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003036829A1 (en) | 2001-10-23 | 2003-05-01 | Sony Corporation | Data communication system, data transmitter and data receiver |
| JP2003315875A (en) | 2002-04-26 | 2003-11-06 | Konica Minolta Holdings Inc | Imaging device and imaging method |
| JP2003348459A (en) | 2002-05-27 | 2003-12-05 | Sony Corp | Solid-state imaging apparatus and its drive method |
| JP2004326241A (en) | 2003-04-22 | 2004-11-18 | Fuji Photo Film Co Ltd | Data transmission server and data processing system |
| JP2016091561A (en) | 2014-10-31 | 2016-05-23 | 地球ソリューションズ株式会社 | Information display / reading system |
| US20170187455A1 (en) | 2015-12-29 | 2017-06-29 | Intel Corporation | Techniques for optical wireless communication |
| US20170295627A1 (en) | 2016-04-08 | 2017-10-12 | Generalplus Technology Inc. | Light emitting device with dimming visible light communication function and interaction device applying for visible light |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019160230A (en) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7296350B2 (en) | Video stream image processing system and method for flicker correction of amplitude modulated light | |
| US20120062746A1 (en) | Image Processing Apparatus | |
| CN105960355B (en) | Method for operating a motor vehicle rear view camera system after detection of a flash of headlights, rear view camera system and motor vehicle | |
| US9787910B2 (en) | Method for detecting light sources operated in pulsed mode | |
| KR20030082958A (en) | Image processig syste to control vehicle haedlamps or other vehicle equipment | |
| CN104620260B (en) | Method and device for identifying at least one pulsed light source for a vehicle | |
| US12167141B2 (en) | Imaging system including difference image generator that generates difference images | |
| JP2007286943A (en) | Signal light detection device | |
| JP6335037B2 (en) | Outside environment recognition device | |
| JP2017016194A (en) | Outside environment recognition device | |
| JP6533050B2 (en) | In-vehicle camera system | |
| CN105383369A (en) | Method and device for adapting a brightness of a headlight for a vehicle | |
| JP7241772B2 (en) | Image processing device | |
| CN112565618B (en) | Exposure control device | |
| JP5712821B2 (en) | Shooting display control system | |
| JP7176208B2 (en) | System and imager | |
| EP3605497A1 (en) | Illumination image capture device | |
| US11153546B2 (en) | Low-light imaging system | |
| KR102184335B1 (en) | Method and device for creating the high dynamic range images | |
| JP6853890B2 (en) | Object detection system | |
| US20220153185A1 (en) | Hybrid Digital Micromirror Device (DMD) Headlight | |
| JP2013009041A (en) | Vehicle photographing display control system | |
| US12200369B2 (en) | Method and system for mitigating image flicker from strobed lighting systems | |
| JP2007013777A (en) | Imaging device | |
| JP2019012958A (en) | Imaging control device, vehicle imaging device, imaging control method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7176208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |