[go: up one dir, main page]

JP7176208B2 - System and imager - Google Patents

System and imager Download PDF

Info

Publication number
JP7176208B2
JP7176208B2 JP2018050027A JP2018050027A JP7176208B2 JP 7176208 B2 JP7176208 B2 JP 7176208B2 JP 2018050027 A JP2018050027 A JP 2018050027A JP 2018050027 A JP2018050027 A JP 2018050027A JP 7176208 B2 JP7176208 B2 JP 7176208B2
Authority
JP
Japan
Prior art keywords
captured image
image
changes
imaging device
dimensional code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018050027A
Other languages
Japanese (ja)
Other versions
JP2019160230A (en
Inventor
剛 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2018050027A priority Critical patent/JP7176208B2/en
Publication of JP2019160230A publication Critical patent/JP2019160230A/en
Application granted granted Critical
Publication of JP7176208B2 publication Critical patent/JP7176208B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明の実施形態は、システムおよび撮像装置に関する。 Embodiments of the present invention relate to systems and imaging devices.

従来、静止画像であるバーコードや二次元コードから情報を読み取る技術が知られている。また、二次元コードよりもさらに多くの情報を伝達するために、立体的な形状のコードを用いる技術も開示されている。 Techniques for reading information from bar codes and two-dimensional codes, which are still images, are conventionally known. A technique using a three-dimensional code is also disclosed in order to transmit more information than the two-dimensional code.

特開2009-163720号公報JP 2009-163720 A 特開2016-091390号公報JP 2016-091390 A 特開2016-110323号公報JP 2016-110323 A

しかしながら、従来の二次元コードの技術においては、コードに含まれる情報量が多いほどコードの形状が複雑になるため、あまりに情報量を増やすと読み取りが困難になる場合があった。また、立体的な形状のコードにおいても、二次元コードよりも増加させられる情報量には限界があった。このため、多くの情報を伝達可能なコードを、生成および読み取りすることに対するニーズがあった。 However, in the conventional two-dimensional code technology, the larger the amount of information contained in the code, the more complicated the shape of the code. Also, even with a three-dimensional code, there is a limit to the amount of information that can be increased compared to a two-dimensional code. Therefore, there is a need to generate and read codes that can convey a lot of information.

本発明の実施形態にかかるシステムは、一例として、電子機器と、撮像装置と、を備える。電子機器は、可変長の時間間隔で変化する画像を表示する表示部を備える。撮像装置は、画像を撮像する撮像部と、撮像部によって撮像された撮像画像が変化した場合に、撮像画像と、撮像画像の変化の時間間隔とを記録する記録部と、を備える。よって、実施形態のシステムによれば、多くの情報を伝達可能なコードを、生成および読み取りすることができる。 A system according to an embodiment of the present invention includes, as an example, an electronic device and an imaging device. The electronic device includes a display that displays images that change at time intervals of variable length. The imaging device includes an imaging unit that captures an image, and a recording unit that, when the captured image captured by the imaging unit changes, records the captured image and the time interval between changes in the captured image. Therefore, according to the system of the embodiment, it is possible to generate and read codes capable of transmitting a large amount of information.

上記システムでは、一例として、記録部は、撮像画像の変化を撮像画像に含まれる画素ごとに検知し、変化した画素の情報を記録し、変化していない画素の情報は記録しない。よって、実施形態のシステムによれば、撮像画像全体の画素の情報を記録するよりも、取得する情報量を削減すると共に処理負荷を低減することができる。 In the above system, as an example, the recording unit detects changes in the captured image for each pixel included in the captured image, records information about pixels that have changed, and does not record information about pixels that have not changed. Therefore, according to the system of the embodiment, the amount of information to be acquired can be reduced and the processing load can be reduced as compared with recording the information of the pixels of the entire captured image.

上記システムでは、一例として、表示部は、各画素の輝度が3段階以上の輝度で表現される画像を表示する。また、記録部は、画像を撮像した撮像画像に含まれる画素の輝度が変化した場合に、撮像画像と、撮像画像の変化の時間間隔とを記録する。よって、実施形態のシステムによれば、輝度の高さが多段階で表現される多値画像をコードに含むことにより、さらに多くの情報を伝達可能なコードを生成および読み取りすることができる。 In the above system, as an example, the display unit displays an image in which the luminance of each pixel is represented by three or more levels of luminance. In addition, the recording unit records the captured image and the time interval between the changes in the captured image when the brightness of the pixels included in the captured image changes. Therefore, according to the system of the embodiment, it is possible to generate and read a code capable of transmitting more information by including a multi-level image in which the brightness level is expressed in multiple levels.

本発明の実施形態にかかる撮像装置は、一例として、撮像画像を生成する撮像部と、撮像画像が変化した場合に、撮像画像と、撮像画像の変化の時間間隔とを記録する記録部と、複数の撮像画像と時間間隔との組み合わせが示す情報を認識する認識部と、を備える。よって、実施形態の撮像装置によれば、記録した複数の撮像画像と時間間隔とから、情報を取得することができる。 An imaging device according to an embodiment of the present invention includes, for example, an imaging unit that generates a captured image, a recording unit that records the captured image and the time interval between changes in the captured image when the captured image changes, a recognition unit that recognizes information indicated by a combination of a plurality of captured images and time intervals; Therefore, according to the imaging apparatus of the embodiment, information can be obtained from the recorded plural captured images and the time interval.

上記撮像装置では、一例として、撮像装置は移動体に設置され、記録部は、移動体と撮像装置との移動に伴って撮像画像が変化した場合に、撮像画像と、撮像画像の変化の時間間隔とを記録する。よって、実施形態の撮像装置によれば、移動体の周囲を撮像した撮像画像と撮像画像の変化の時間間隔とから情報を取得することができる。 In the imaging device described above, as an example, when the imaging device is installed on a moving body and the captured image changes due to movement between the moving body and the imaging device, the recording unit stores the captured image and the time of change of the captured image. Record the intervals. Therefore, according to the imaging apparatus of the embodiment, information can be obtained from the captured image of the surroundings of the moving object and the time interval between changes in the captured image.

図1は、第1の実施形態にかかる三次元コードシステムの一例を示す図である。FIG. 1 is a diagram showing an example of a three-dimensional code system according to the first embodiment. 図2は、第1の実施形態にかかる撮像装置の撮像画像の記録タイミングの一例を示す図である。FIG. 2 is a diagram illustrating an example of recording timing of a captured image of the imaging apparatus according to the first embodiment; 図3は、第1の実施形態にかかる三次元コードシステムが有する機能の一例を示す図である。FIG. 3 is a diagram illustrating an example of functions of the three-dimensional code system according to the first embodiment; 図4は、第1の実施形態にかかる撮像装置による三次元コードの読み取り処理の流れの一例を示すフローチャートである。FIG. 4 is a flowchart illustrating an example of the flow of three-dimensional code reading processing by the imaging device according to the first embodiment. 図5は、第1の実施形態にかかるコード情報データベースの一例を示す図である。FIG. 5 is a diagram illustrating an example of a code information database according to the first embodiment; 図6は、変形例にかかる画像の変化の一例を示す図である。FIG. 6 is a diagram showing an example of image change according to the modification. 図7は、第2の実施形態にかかる撮像装置の撮像対象の一例を示す図である。FIG. 7 is a diagram illustrating an example of an imaging target of an imaging device according to a second embodiment; 図8は、第2の実施形態にかかる撮像画像の一例を示す図である。FIG. 8 is a diagram illustrating an example of a captured image according to the second embodiment; 図9は、第3の実施形態にかかる撮像装置の撮像対象の一例を示す図である。FIG. 9 is a diagram illustrating an example of an imaging target of an imaging device according to a third embodiment; 図10は、第3の実施形態にかかる撮像画像の一例を示す図である。FIG. 10 is a diagram illustrating an example of a captured image according to the third embodiment;

(第1の実施形態)
図1(a)は、第1の実施形態にかかる三次元コードシステム10の一例を示す図である。本実施形態の三次元コードシステム10は、電子機器2と、撮像装置1とを備える。
(First embodiment)
FIG. 1(a) is a diagram showing an example of a three-dimensional code system 10 according to the first embodiment. A three-dimensional code system 10 of this embodiment includes an electronic device 2 and an imaging device 1 .

電子機器2は、ディスプレイ(表示部)22に、可変長の時間間隔t1~t3(以下、時間間隔t1~t3を区別しない場合は、時間間隔tという)で変化する画像31a~31d(以下、画像31a~31dを区別しない場合は、画像31という)を表示する。図1(a)に示す例では、最初に画像31aがディスプレイ22に表示され、時間間隔t1の経過後に画像31aが画像31bに変化する。その後、時間間隔t2、t3の経過と共に、画像31c、画像31dが時系列に表示される。 The electronic device 2 displays images 31a to 31d (hereinafter referred to as When the images 31a to 31d are not distinguished, an image 31) is displayed. In the example shown in FIG. 1(a), the image 31a is displayed on the display 22 first, and the image 31a changes to the image 31b after the elapse of the time interval t1. After that, the image 31c and the image 31d are displayed in chronological order as the time intervals t2 and t3 elapse.

本実施形態の三次元コード3は、可変長の時間間隔t1~t3で変化する画像31a~31dである。より詳細には、三次元コード3は、複数の画像31と、可変長の時間間隔tとの組み合わせである。画像31a~31dはそれぞれ二次元の静止画像である。より詳細には、三次元コード3は、複数の画像31のそれぞれの組み合わせと、複数の時間間隔tの組み合わせと、をさらに組み合わせたものである。 The three-dimensional code 3 of this embodiment is images 31a to 31d that change at variable length time intervals t1 to t3. More specifically, the three-dimensional code 3 is a combination of multiple images 31 and a variable length time interval t. Each of the images 31a to 31d is a two-dimensional still image. More specifically, the three-dimensional code 3 is a further combination of a combination of multiple images 31 and a combination of multiple time intervals t.

時間間隔t1~t3は、本実施形態の三次元コード3における三次元目の次元である。なお、本実施形態の三次元コード3は、複数の画像31に可変長の時間間隔tを組み合わせているため、時間変調の二次元コードともいう。また、本実施形態の画像31は、白と黒の2色(2階調)で描かれた2値画像とする。図1(a)に示す画像31a~31dはそれぞれ異なる画像であり、時間間隔t1~t3は、それぞれ異なる長さであるものとする。また、三次元コード3は信号ともいい、電子機器2は、信号源ともいう。 The time intervals t1 to t3 are the third dimension in the three-dimensional code 3 of this embodiment. The three-dimensional code 3 of this embodiment is also called a time-modulated two-dimensional code because it combines a plurality of images 31 with a variable-length time interval t. Also, the image 31 of the present embodiment is assumed to be a binary image drawn in two colors (two gradations) of white and black. The images 31a to 31d shown in FIG. 1(a) are different images, and the time intervals t1 to t3 are assumed to have different lengths. The three-dimensional code 3 is also called a signal, and the electronic device 2 is also called a signal source.

撮像装置1は、ディスプレイ22に表示された画像31を撮像可能な位置および角度で設置されているものとする。撮像装置1は、画像31を撮像し、画像31を撮像した撮像画像が変化した場合に、撮像画像を記録する。撮像装置1は、画像31を撮像した撮像画像が変化した場合に撮像画像を記録するため、画像31の変化の時間間隔tが一定でなくとも、画像31の変化を時系列に記録することができる。また、本実施形態においては、撮像とは、被写体(画像31)を写した撮像画像を結像することをいい、当該撮像画像を記録することは含まないものとする。 It is assumed that the imaging device 1 is installed at a position and angle that allows the image 31 displayed on the display 22 to be captured. The imaging device 1 captures the image 31 and records the captured image when the captured image obtained by capturing the image 31 changes. Since the imaging apparatus 1 records the captured image when the captured image obtained by capturing the image 31 changes, the changes in the image 31 can be recorded in chronological order even if the time interval t between changes in the image 31 is not constant. can. Further, in the present embodiment, capturing means forming a captured image of a subject (image 31), and does not include recording the captured image.

図1(a)に対する比較例として、固定長の時間間隔txごとに撮像画像を記録する撮像装置90を図1(b)に示す。撮像装置90は、時間間隔txごとに画像を記録するため、記録タイミングと記録タイミングとの間に表示された画像31を記録できない場合がある。図1(b)の例では、画像31cが、撮像装置90の記録から漏れている。 As a comparative example with respect to FIG. 1(a), FIG. 1(b) shows an imaging device 90 that records captured images at fixed-length time intervals tx. Since the imaging device 90 records an image at each time interval tx, it may not be possible to record the image 31 displayed between the recording timings. In the example of FIG. 1(b), the image 31c is omitted from the recording of the imaging device 90. In the example of FIG.

撮像装置1の記録タイミングについて、さらに図2(a)を用いて説明する。図2(a)は、本実施形態にかかる撮像装置1の撮像画像131の記録タイミングの一例を示す図である。図2(a)に示す例では、撮像装置1は、可変長の周期で点滅するLED電球20を撮像する。撮像装置1は、LED電球20が変化した場合、つまりLED電球20が点灯または滅灯した場合に、LED電球20を撮像した撮像画像131を記録する。このため、撮像装置1の記録タイミングの周期41は、LED電球20の点滅周期を示す発光パルス201と一致する。このため、撮像装置1は、撮像対象であるLED電球20の変化を時系列に記録することができる。 The recording timing of the imaging device 1 will be further described with reference to FIG. 2(a). FIG. 2A is a diagram showing an example of recording timing of the captured image 131 of the imaging device 1 according to this embodiment. In the example shown in FIG. 2A, the imaging device 1 captures an image of an LED light bulb 20 blinking in a variable-length cycle. The imaging device 1 records a captured image 131 of the LED light bulb 20 when the LED light bulb 20 changes, that is, when the LED light bulb 20 is turned on or off. Therefore, the period 41 of the recording timing of the imaging device 1 matches the light emission pulse 201 indicating the flickering period of the LED light bulb 20 . Therefore, the imaging device 1 can record changes in the LED light bulb 20 to be imaged in chronological order.

図2(a)に対する比較例として、固定長の時間間隔txごとに撮像画像131を記録する撮像装置90の記録タイミングの周期42を図2(b)に示す。撮像装置90は、LED電球20の発光パルス201とは無関係に、固定長の時間間隔txごとに撮像画像131を記録する。時間間隔txがLED電球20の点滅の間隔よりも長い場合は、撮像装置90はLED電球20の変化を時系列に記録することができない。また、時間間隔txがLED電球20の点滅の間隔よりも短い場合は、撮像装置90は、変化の履歴とは無関係に、同一の撮像画像131を重複して記録することになる。また、いずれの場合も、撮像装置90が撮像画像131の変化の時間間隔tを特定することは困難である。 As a comparative example with respect to FIG. 2(a), FIG. 2(b) shows a recording timing cycle 42 of the imaging device 90 that records the captured image 131 at fixed-length time intervals tx. The imaging device 90 records a captured image 131 at fixed-length time intervals tx regardless of the light emission pulse 201 of the LED bulb 20 . If the time interval tx is longer than the flickering interval of the LED bulb 20, the imaging device 90 cannot record changes in the LED bulb 20 in chronological order. Also, if the time interval tx is shorter than the flickering interval of the LED light bulb 20, the imaging device 90 will record the same captured image 131 in duplicate regardless of the change history. In either case, it is difficult for the imaging device 90 to specify the time interval t between changes in the captured image 131 .

図1(a)の説明に戻る。撮像装置1は、より詳細には、画像31を撮像した撮像画像131の変化を画素ごとに検知し、変化した画素の情報を記録し、変化していない画素の情報は記録しない。画素の情報とは、例えば輝度情報及び色情報である。撮像装置1は、最初に表示された画像31aの撮像画像131については、全ての画素が変化しているため、撮像画像131全体を記録する。その後画像31が変化する毎に、撮像装置1は、変化した箇所に対応する撮像画像131の画素の情報を記録する。例えば、画像31bは、変化前の画像31aと比較して図形5aの箇所が変化している。この場合、撮像装置1は、変化前の画像31aと変化後の画像31bとの差分である図形5aに対応する画素の情報のみを記録し、その他の画素の情報は記録しない。撮像装置1は、変化前の画像31aから、図形5aに対応する画素を入れ替えることで、変化後の画像31bの画像全体を生成することができる。また、撮像装置1は、次に表示される画像31cおよび画像31dについても、変化した箇所である図形5b~5dに対応する画素の情報のみを記録する。 Returning to the description of FIG. More specifically, the imaging apparatus 1 detects, pixel by pixel, changes in a captured image 131 obtained by capturing the image 31, records information about pixels that have changed, and does not record information about pixels that have not changed. The pixel information is, for example, luminance information and color information. The imaging apparatus 1 records the entire captured image 131 of the first displayed image 31a because all the pixels have changed. After that, every time the image 31 changes, the imaging device 1 records the information of the pixel of the captured image 131 corresponding to the changed portion. For example, in the image 31b, the part of the figure 5a has changed compared to the image 31a before the change. In this case, the imaging device 1 records only the pixel information corresponding to the figure 5a, which is the difference between the image 31a before the change and the image 31b after the change, and does not record the information of the other pixels. The imaging device 1 can generate the entire image 31b after the change by replacing the pixels corresponding to the figure 5a from the image 31a before the change. In addition, the imaging device 1 also records only the information of the pixels corresponding to the figures 5b to 5d, which are changed portions, for the image 31c and the image 31d to be displayed next.

次に、本実施形態の三次元コードシステム10に含まれる電子機器2および撮像装置1の機能の詳細を説明する。図3は、本実施形態にかかる三次元コードシステム10が有する機能の一例を示す図である。 Next, the details of the functions of the electronic device 2 and the imaging device 1 included in the three-dimensional code system 10 of this embodiment will be described. FIG. 3 is a diagram showing an example of functions of the three-dimensional code system 10 according to this embodiment.

電子機器2は、制御部21と、表示部(ディスプレイ)22と、記憶部23とを備える。記憶部23は、画像31と時間間隔tとの組み合わせを予め記憶する。記憶部23は、例えばHDDである。表示部22は、可変長の時間間隔tで変化する画像31である三次元コード3を表示する。制御部21は、表示部22を制御して、表示部22に記憶された画像31を表示させ、可変長の時間間隔tで画像31を変化させる。 The electronic device 2 includes a control section 21 , a display section (display) 22 and a storage section 23 . The storage unit 23 stores in advance a combination of the image 31 and the time interval t. The storage unit 23 is, for example, an HDD. The display unit 22 displays the three-dimensional code 3, which is an image 31 that changes at a variable-length time interval t. The control unit 21 controls the display unit 22 to display the image 31 stored in the display unit 22, and changes the image 31 at a variable length time interval t.

また、電子機器2は、一例として、CPU(Central Processing Unit)などの制御装置と、ROMやRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置を備えており、通常のコンピュータを利用したハードウェア構成とする。 Further, the electronic device 2 includes, for example, a control device such as a CPU (Central Processing Unit), a storage device such as a ROM and a RAM, and an external storage device such as an HDD and a CD drive device. The hardware configuration used.

撮像装置1は、撮像部11と、記録部12と、認識部13と、記憶部14とを備える。 The imaging device 1 includes an imaging unit 11 , a recording unit 12 , a recognition unit 13 and a storage unit 14 .

撮像部11は、画像31を撮像して、撮像画像131を生成する。 The imaging unit 11 captures the image 31 and generates a captured image 131 .

記録部12は、撮像部11によって撮像された撮像画像131の変化を検知し、撮像画像131が変化した場合に撮像画像131と、撮像画像131の変化の時間間隔tとを記録する。より詳細には、記録部12は、撮像画像131の変化を、撮像画像に含まれる画素ごとに検知し、変化した画素の情報を記憶部14に記録する。また、記録部12は、変化していない画素の情報は記録しない。変化した画素の情報とは、変化後の画素の情報とする。記録部12は、例えばイメージセンサである。本実施形態の撮像装置1のように可変長の撮像タイミングで撮像画像131を記録する機能を、非同期式シャッター機能ともいう。撮像装置1は、非同期式シャッター機能を有するイメージセンサを備えるカメラともいう。 The recording unit 12 detects changes in the captured image 131 captured by the imaging unit 11, and records the captured image 131 and the time interval t between changes in the captured image 131 when the captured image 131 changes. More specifically, the recording unit 12 detects changes in the captured image 131 for each pixel included in the captured image, and records information about the changed pixels in the storage unit 14 . Also, the recording unit 12 does not record information on pixels that have not changed. Information about the changed pixel is information about the pixel after the change. The recording unit 12 is, for example, an image sensor. The function of recording the captured image 131 at variable-length imaging timings like the imaging apparatus 1 of this embodiment is also called an asynchronous shutter function. The imaging device 1 is also referred to as a camera including an image sensor having an asynchronous shutter function.

また、本実施形態では、記録部12は、変化前の撮像画像131に対して、変化した画素を入れ替えて変化後の撮像画像131を生成した上で、当該撮像画像131を記憶部14に記録する。なお、記録部12は、変化後の撮像画像131を生成せずに、変化した画素の履歴を記憶部14に記録しても良い。 Further, in the present embodiment, the recording unit 12 replaces changed pixels in the captured image 131 before change to generate the captured image 131 after change, and then records the captured image 131 in the storage unit 14 . do. Note that the recording unit 12 may record the history of changed pixels in the storage unit 14 without generating the captured image 131 after the change.

記憶部14は、撮像画像131と、時間間隔tとを対応付けて保存する。また、記憶部14は、コード情報データベース141を記憶する。コード情報データベース(DB)141は、三次元コード3に含まれる複数の画像31と可変長の時間間隔tとの組み合わせと、三次元コード3が示す情報とが対応付けられて登録されたデータベースである。記憶部14は、例えばフラッシュメモリ等である。 The storage unit 14 associates and stores the captured image 131 and the time interval t. The storage unit 14 also stores a code information database 141 . A code information database (DB) 141 is a database in which combinations of a plurality of images 31 included in the three-dimensional code 3 and variable-length time intervals t are registered in association with information indicated by the three-dimensional code 3. be. The storage unit 14 is, for example, a flash memory or the like.

認識部13は、撮像部11によって撮像された複数の撮像画像131と、撮像画像131の変化の時間間隔tとの組み合わせが示す情報を認識する。本実施形態における認識とは、三次元コード3が示す情報を特定することである。より詳細には、認識部13は、複数の画像31を撮像した複数の撮像画像131と、撮像画像131の変化の時間間隔tと、の組み合わせでコード情報データベース141を検索する。認識部13は、コード情報データベース141から、特定した複数の撮像画像131と時間間隔tとの組み合わせに対応付けられた情報を取得する。 The recognition unit 13 recognizes information indicated by a combination of the plurality of captured images 131 captured by the imaging unit 11 and the time interval t between changes in the captured images 131 . Recognition in this embodiment means specifying information indicated by the three-dimensional code 3 . More specifically, the recognition unit 13 searches the code information database 141 by combining a plurality of captured images 131 obtained by capturing the plurality of images 31 and a time interval t between changes in the captured images 131 . From the code information database 141, the recognition unit 13 acquires information associated with the combination of the plurality of specified captured images 131 and the time interval t.

次に、以上のように構成された本実施形態の三次元コードシステム10における三次元コード3の読み取り処理の流れを説明する。図4は、本実施形態にかかる撮像装置1による三次元コード3の読み取り処理の流れの一例を示すフローチャートである。 Next, the flow of reading processing of the three-dimensional code 3 in the three-dimensional code system 10 of this embodiment configured as described above will be described. FIG. 4 is a flow chart showing an example of the flow of reading processing of the three-dimensional code 3 by the imaging device 1 according to this embodiment.

撮像部11は、例えばユーザによって撮像開始の操作がされた場合に、電子機器2のディスプレイ22に表示された画像31の撮像を開始する(S1)。そして、記録部12は、画像31を撮像した撮像画像131に変化があるか否かを、当該撮像画像131に含まれる画素ごとに判断する(S2)。この時点では、撮像部11は、画像31を写した撮像画像131を結像しているが、当該撮像画像131を記録していないものとする。 The imaging unit 11 starts imaging an image 31 displayed on the display 22 of the electronic device 2, for example, when the user performs an operation to start imaging (S1). Then, the recording unit 12 determines whether or not there is a change in the captured image 131 obtained by capturing the image 31 for each pixel included in the captured image 131 (S2). At this point, the imaging unit 11 forms a captured image 131 of the image 31 but does not record the captured image 131 .

撮像画像131に変化があった場合(S2“Yes”)、記録部12は、撮像画像131に含まれる画素のうち、変化した画素の情報を記憶部14に記録する(S3)。また、この場合、記録部12は、前回の変化から今回の変化までの時間間隔tを記憶部14に記録する(S4)。今回の変化が初回である場合は、記録部12は、時間間隔tを記録しなくとも良い。 If there is a change in the captured image 131 (“Yes” in S2), the recording unit 12 records information on the changed pixel among the pixels included in the captured image 131 in the storage unit 14 (S3). Also, in this case, the recording unit 12 records the time interval t from the previous change to the current change in the storage unit 14 (S4). If this change is the first time, the recording unit 12 does not need to record the time interval t.

次に、記録部12は、三次元コード3(コード)の読み取りが終了したか否かを判断する(S5)。三次元コード3の読み取りの終了の判断基準は特に限定されるものではない。例えば、記録部12は、最初に画像31が表示されてから所定の時間が経過した場合や、画像31が所定の回数以上変化した場合に、三次元コード3の読み取りが終了したと判断する。または、所定の画像31を、読み取りの終了の信号としても良い。 Next, the recording unit 12 determines whether or not the reading of the three-dimensional code 3 (code) is completed (S5). The criteria for determining the completion of reading the three-dimensional code 3 are not particularly limited. For example, the recording unit 12 determines that the reading of the three-dimensional code 3 is completed when a predetermined time has passed since the image 31 was first displayed, or when the image 31 has changed more than a predetermined number of times. Alternatively, a predetermined image 31 may be used as a signal indicating the end of reading.

記録部12は、三次元コード3の読み取りが終了していないと判断した場合は(S5“No”)、S2~S5の処理を繰り返す。 When the recording unit 12 determines that the reading of the three-dimensional code 3 has not been completed (S5 "No"), the processing of S2 to S5 is repeated.

記録部12が三次元コード3の読み取りが終了したと判断した場合は(S5“Yes”)、認識部13は、三次元コード3(コード)の示す情報を認識する(S6)。具体的には、認識部13は、記録部12によって記録された複数の撮像画像131の組み合わせと時間間隔tとの組み合わせでコード情報データベース141を検索する。 When the recording unit 12 determines that the reading of the three-dimensional code 3 is finished (S5 "Yes"), the recognition unit 13 recognizes the information indicated by the three-dimensional code 3 (code) (S6). Specifically, the recognizing unit 13 searches the code information database 141 by combining the plurality of captured images 131 recorded by the recording unit 12 and the time interval t.

図5は、本実施形態にかかるコード情報データベース141の一例を示す図である。コード情報データベース141には、三次元コード3に含まれる複数の画像31の組み合わせと、時間間隔tの長さの組み合わせと、をさらに組み合わせたセットごとに、三次元コード3が示す情報が対応付けて登録される。例えば、画像31a~31dがそれぞれ“画像A1、画像B1、画像C1、画像D1”で、時間間隔t1~t3がそれぞれ“t1=n秒、t2=n1秒、t3=n2秒”の場合、認識部13は、三次元コード3は“X1”という情報を示すことを認識する。複数の画像31と時間間隔tのそれぞれに組み合わせがあるため、三次元コード3は、従来の二次元コードよりも多くの情報を伝達することができる。例えば、図5に示す例では、複数の三次元コード3の画像31a~31dの組み合わせが同一であっても、時間間隔t1~t3の長さの組み合わせが異なる場合は、複数の三次元コード3はそれぞれ別の情報を示す。 FIG. 5 is a diagram showing an example of the code information database 141 according to this embodiment. In the code information database 141, information indicated by the three-dimensional code 3 is associated with each set of a combination of a plurality of images 31 included in the three-dimensional code 3 and a combination of the length of the time interval t. is registered. For example, if the images 31a to 31d are "image A1, image B1, image C1, image D1" respectively, and the time intervals t1 to t3 are "t1=n seconds, t2=n1 seconds, t3=n2 seconds" respectively, then the recognition The unit 13 recognizes that the three-dimensional code 3 indicates information "X1". Since there are combinations for each of the plurality of images 31 and time intervals t, the three-dimensional code 3 can convey more information than the conventional two-dimensional code. For example, in the example shown in FIG. 5, even if the combination of the images 31a to 31d of the multiple three-dimensional codes 3 is the same, if the combinations of the lengths of the time intervals t1 to t3 are different, the multiple three-dimensional codes 3 indicates different information.

認識部13が三次元コード3の示す情報を認識すると、このフローチャートの処理は終了する。 When the recognition unit 13 recognizes the information indicated by the three-dimensional code 3, the processing of this flowchart ends.

このように、本実施形態の三次元コードシステム10は、可変長の時間間隔tで変化する画像31を表示する電子機器2と、画像31を撮像した撮像画像131が変化した場合に、撮像画像131と撮像画像131の変化の時間間隔とを記録する撮像装置1と、を備える。当該構成によれば、本実施形態の三次元コードシステム10は、複数の画像31を組み合わせるだけでなく、複数の時間間隔tの長さを組み合わせることにより、更に多くの情報を含む3次元コードを生成することができる。このため、本実施形態の三次元コードシステム10によれば、多くの情報を伝達可能な三次元コード3を、生成および読み取りすることができる。 As described above, the three-dimensional code system 10 of the present embodiment provides the electronic device 2 that displays the image 31 that changes at a variable-length time interval t, and the captured image 131 that captures the image 31 when the captured image 131 changes. 131 and an imaging device 1 that records the time interval of changes in the captured image 131 . According to this configuration, the three-dimensional code system 10 of the present embodiment not only combines a plurality of images 31, but also combines a plurality of lengths of time intervals t to generate a three-dimensional code containing more information. can be generated. Therefore, according to the three-dimensional code system 10 of this embodiment, it is possible to generate and read the three-dimensional code 3 capable of transmitting a large amount of information.

また、三次元コード3は可変長の時間間隔tで変化するため、固定長の時間間隔txごとに撮像をする撮像装置90では、画像31の変化を時系列で記録することが困難であった。本実施形態の三次元コードシステム10によれば、撮像装置1が、画像31を撮像した撮像画像131が変化した場合に、撮像画像131と撮像画像131の変化の時間間隔とを記録するため、時間変調する画像31を時系列に記録することができる。また、当該構成により、本実施形態の三次元コードシステム10は、撮像装置1以外の撮像装置によって三次元コード3が容易に読み取られることを抑制することができる。 In addition, since the three-dimensional code 3 changes at a variable length time interval t, it is difficult for the image capturing device 90 that captures images at fixed length time intervals tx to record changes in the image 31 in chronological order. . According to the three-dimensional code system 10 of the present embodiment, when the captured image 131 obtained by capturing the image 31 changes, the imaging device 1 records the captured image 131 and the time interval between changes in the captured image 131. Time-modulated images 31 can be recorded in time series. Also, with this configuration, the three-dimensional code system 10 of the present embodiment can prevent the three-dimensional code 3 from being easily read by an imaging device other than the imaging device 1 .

さらに、本実施形態の三次元コードシステム10の撮像装置1は、撮像画像131の変化を、撮像画像131に含まれる画素ごとに検知し、変化した画素の情報を記録し、変化していない画素の情報は記録しない。このため、本実施形態の三次元コードシステム10によれば、撮像画像131全体の画素の情報を記録するよりも、取得する情報量を削減すると共に処理負荷を低減することができる。 Furthermore, the imaging device 1 of the three-dimensional code system 10 of the present embodiment detects changes in the captured image 131 for each pixel included in the captured image 131, records information about the changed pixels, and information is not recorded. Therefore, according to the three-dimensional code system 10 of the present embodiment, it is possible to reduce the amount of information to be acquired and the processing load as compared with recording the information of the pixels of the entire captured image 131 .

また、本実施形態の撮像装置1は、複数の撮像画像131と、変化の時間間隔tとの組み合わせが示す情報を認識するため、三次元コード3から情報を取得することができる。 In addition, since the imaging apparatus 1 of the present embodiment recognizes information indicated by a combination of the plurality of captured images 131 and the change time interval t, the information can be obtained from the three-dimensional code 3 .

なお、本実施形態の図1、図5等に示した三次元コード3に含まれる画像31の数や、時間間隔tの長さは一例であり、これらに限定されるものではない。また、図5に示すコード情報データベース141の構成は一例であり、三次元コード3が示す情報を特定する手法はこれに限定されるものではない。また、三次元コード3が示す情報を認識する処理は、撮像装置1ではなく他の情報処理装置が行うものとしても良い。また、電子機器2の構成は上述の例に限定されるものではなく、例えば、表示部(ディスプレイ)22単体を、電子機器2としても良い。 Note that the number of images 31 included in the three-dimensional code 3 and the length of the time interval t shown in FIGS. 1, 5, etc. of the present embodiment are examples, and are not limited to these. Also, the configuration of the code information database 141 shown in FIG. 5 is merely an example, and the method of specifying information indicated by the three-dimensional code 3 is not limited to this. Further, the processing of recognizing information indicated by the three-dimensional code 3 may be performed by another information processing device instead of the imaging device 1 . Also, the configuration of the electronic device 2 is not limited to the above-described example, and for example, the display unit (display) 22 alone may be used as the electronic device 2 .

また、本実施形態では、記録部12は、撮像画像131が変化した場合に、変化後の撮像画像131と時間間隔tとを記録するとしたが、記録部12は、撮像画像131が変化した場合に、変化前の撮像画像131と時間間隔tとを記録しても良い。 Further, in the present embodiment, when the captured image 131 changes, the recording unit 12 records the changed captured image 131 and the time interval t. , the captured image 131 before change and the time interval t may be recorded.

(変形例1)
第1の実施形態では、三次元コード3に含まれる画像31は、白と黒とによって表現される2値画像であったが、画像31は、各画素の輝度が多段階の高さの輝度で表現される多値画像であっても良い。
(Modification 1)
In the first embodiment, the image 31 included in the three-dimensional code 3 was a binary image represented by white and black. It may be a multivalued image represented by .

図6は、本変形例にかかる画像31の変化の一例を示す図である。本変形例の画像31e~31gは、各画素の輝度が3段階以上の輝度で表現される画像である。例えば、画像31eは、白と黒だけではなく、灰色の図形5e,5fを含む。図形5e,5fの輝度の高さは、画像31eの白色の部分の輝度と黒色の部分の輝度の中間の高さである。 FIG. 6 is a diagram showing an example of changes in the image 31 according to this modified example. Images 31e to 31g of this modified example are images in which the luminance of each pixel is represented by three or more levels of luminance. For example, image 31e includes gray graphics 5e and 5f as well as white and black. The brightness levels of the figures 5e and 5f are intermediate levels between the brightness of the white portion and the brightness of the black portion of the image 31e.

また、本変形例では、画像31の変化は、輝度の高さの変化を含む。例えば、画像31eに含まれる図形5eは、時間間隔t1が経過した後の画像31fでは、図形5eよりも輝度の低い図形5gに変化している。本変形例の撮像装置1の記録部12は、画像31を撮像した撮像画像131に含まれる画素の輝度が変化した場合に、当該撮像画像131と、撮像画像131の変化の時間間隔とを記録する。 Also, in this modification, the change in the image 31 includes a change in brightness. For example, a figure 5e included in the image 31e changes to a figure 5g whose luminance is lower than that of the figure 5e in the image 31f after the time interval t1 has elapsed. The recording unit 12 of the imaging device 1 of this modified example records the captured image 131 and the time interval of the change of the captured image 131 when the brightness of the pixels included in the captured image 131 obtained by capturing the image 31 changes. do.

なお、三次元コード3に含まれる画像31は、輝度が多段階であるだけではなく、複数の色相を有するカラー画像でもよい。この場合も、撮像装置1の記録部12は、画像31の色の変化を検知し、変化した画素の情報を記録する。 Note that the image 31 included in the three-dimensional code 3 may be a color image having a plurality of hues as well as having multiple levels of luminance. Also in this case, the recording unit 12 of the imaging device 1 detects a change in color of the image 31 and records the information of the changed pixel.

このように、本変形例の三次元コードシステム10の電子機器2は、各画素の輝度が3段階以上の輝度で表現される画像31を表示し、撮像装置1は、画像31を撮像した撮像画像131に含まれる画素の輝度が変化した場合に、撮像画像131と、撮像画像131の変化の時間間隔とを記録する。本変形例の三次元コードシステム10によれば、輝度の高さの変化によって画像31のバリエーションを増やすことができ、白黒の2値画像を用いる場合よりも、多くの情報を伝達可能な三次元コード3を、生成および読み取りすることができる。 As described above, the electronic device 2 of the three-dimensional code system 10 of the present modification displays the image 31 in which the brightness of each pixel is represented by three or more levels of brightness, and the imaging device 1 captures the image 31. When the brightness of the pixels included in the image 131 changes, the captured image 131 and the time interval of change of the captured image 131 are recorded. According to the three-dimensional code system 10 of this modified example, variations in the image 31 can be increased by changing the brightness level, and a three-dimensional code system capable of transmitting more information than a black-and-white binary image is used. Code 3 can be generated and read.

(変形例2)
第1の実施形態では、撮像装置1は変化した画素の情報のみを記録するとしたが、撮像装置1は、変化した画素だけではなく撮像画像131全体を記録しても良い。
(Modification 2)
In the first embodiment, the imaging device 1 records only the information of changed pixels, but the imaging device 1 may record not only the changed pixels but also the entire captured image 131 .

(第2の実施形態)
第1の実施形態では、撮像装置1は固定され、ディスプレイ22に表示される画像31が変化していた。第2の実施形態では、撮像装置1は、撮像装置1が移動することによって変化する撮像画像131と撮像画像131の変化の時間間隔tとの組み合わせから、情報を取得する。
(Second embodiment)
In the first embodiment, the imaging device 1 is fixed and the image 31 displayed on the display 22 is changed. In the second embodiment, the imaging device 1 acquires information from a combination of the captured image 131 that changes as the imaging device 1 moves and the time interval t between changes in the captured image 131 .

図7は、本実施形態にかかる撮像装置1の撮像対象の一例を示す図である。本実施形態の撮像装置1は、車両(自動車)6に設置される。撮像装置1は、例えば、車両6の後部に斜め下方向を向いて設置され、道路7および道路7上の模様(例えば白線71)を撮像する。車両6は、本実施形態における移動体の一例である。道路7および白線71は、撮像装置1の撮像対象の一例であり、これに限定されるものではない。 FIG. 7 is a diagram showing an example of an imaging target of the imaging apparatus 1 according to this embodiment. The imaging device 1 of this embodiment is installed in a vehicle (automobile) 6 . The imaging device 1 is installed, for example, in the rear part of the vehicle 6 facing obliquely downward, and images the road 7 and the pattern on the road 7 (for example, the white line 71). The vehicle 6 is an example of a moving body in this embodiment. The road 7 and the white line 71 are an example of an imaging target of the imaging device 1, and are not limited to this.

図8は、本実施形態にかかる撮像画像131の一例を示す図である。撮像画像131は、撮像装置1によって撮像された画像である。本実施形態では、道路7および白線71自体は変化しなくとも、車両6の走行に伴って撮像装置1が移動することにより、撮像画像131は変化する。また、車両6の車速に応じて撮像装置1の移動の速度が変化するため、撮像画像131は、車両6の車速に応じた可変長の時間間隔tで変化する。本実施形態では、三次元コード3は、撮像装置1が撮像した複数の撮像画像131と、撮像画像131の変化の時間間隔tの組み合わせとする。 FIG. 8 is a diagram showing an example of the captured image 131 according to this embodiment. A captured image 131 is an image captured by the imaging device 1 . In this embodiment, even if the road 7 and the white line 71 themselves do not change, the captured image 131 changes as the imaging device 1 moves as the vehicle 6 travels. In addition, since the moving speed of the imaging device 1 changes according to the vehicle speed of the vehicle 6 , the captured image 131 changes at a variable length time interval t according to the vehicle speed of the vehicle 6 . In this embodiment, the three-dimensional code 3 is a combination of a plurality of captured images 131 captured by the imaging device 1 and a time interval t between changes in the captured images 131 .

本実施形態の撮像装置1の構成は、図3で説明した第1の実施形態の構成と同様とする。 The configuration of the imaging apparatus 1 of this embodiment is the same as the configuration of the first embodiment described with reference to FIG.

本実施形態の撮像装置1の記憶部14は、第1の実施形態と同様の機能を備え、コード情報データベース141を記憶する。また、本実施形態のコード情報データベース141には、三次元コード3に含まれる複数の画像(撮像画像131)の組み合わせと、時間間隔tの長さの組み合わせと、をさらに組み合わせたセットごとに、三次元コード3が示す情報が対応付けて登録される。本実施形態の三次元コード3が示す情報は、一例として、車両6の車速とするが、周辺の道路環境に関する情報等であっても良い。 The storage unit 14 of the imaging apparatus 1 of this embodiment has the same functions as those of the first embodiment, and stores a code information database 141 . Further, in the code information database 141 of this embodiment, for each set further combining a combination of a plurality of images (captured images 131) included in the three-dimensional code 3 and a combination of the length of the time interval t, Information indicated by the three-dimensional code 3 is associated and registered. The information indicated by the three-dimensional code 3 of the present embodiment is, for example, the vehicle speed of the vehicle 6, but may be information about the surrounding road environment.

また、本実施形態の撮像部11は、第1の実施形態と同様の機能を備える。また、本実施形態の撮像部11は、車両6が走行中に、車両6の前方斜め下方向の道路7および白線71を撮像する。 Further, the imaging unit 11 of this embodiment has the same functions as those of the first embodiment. Further, the imaging unit 11 of the present embodiment images the road 7 and the white line 71 obliquely downward in front of the vehicle 6 while the vehicle 6 is running.

また、本実施形態の記録部12は、第1の実施形態と同様の機能を備える。より詳細には、本実施形態では、撮像装置1が移動するため、記録部12は、車両6と撮像装置1との移動に伴って撮像画像131が変化した場合に、撮像画像131と、撮像画像131の変化の時間間隔tとを記録する。 Also, the recording unit 12 of the present embodiment has the same functions as those of the first embodiment. More specifically, in this embodiment, since the imaging device 1 moves, the recording unit 12 stores the captured image 131 and the imaged The time interval t of the change of image 131 is recorded.

また、本実施形態の認識部13は、第1の実施形態の機能を備えた上で、複数の撮像画像131と、撮像画像131の変化の時間間隔tと、に基づいて、三次元コード3が示す情報を認識する。より具体的には、認識部13は、記録部12が記録した複数の撮像画像131と複数の時間間隔tでコード情報データベース141を検索し、当該撮像画像131と時間間隔tの組み合わせに対応付けられた車両6の車速を取得する。 Further, the recognition unit 13 of the present embodiment has the functions of the first embodiment, and recognizes the three-dimensional code 3 based on the plurality of captured images 131 and the time interval t between changes in the captured images 131 . recognizes the information indicated by More specifically, the recognizing unit 13 searches the code information database 141 for the plurality of captured images 131 recorded by the recording unit 12 and the plurality of time intervals t, and associates the code information database 141 with the combinations of the captured images 131 and the time intervals t. The vehicle speed of the vehicle 6 is obtained.

認識部13は、取得した車速を、車両6に設置された表示装置や、他の外部装置等に出力しても良い。認識部13が三次元コード3が示す車両6の車速を認識することにより、例えば、車両6の車速が法定速度以上である場合に、車両6のシステム等が運転者に対して警告を発することができる。 The recognition unit 13 may output the acquired vehicle speed to a display device installed in the vehicle 6 or other external device. By recognizing the vehicle speed of the vehicle 6 indicated by the three-dimensional code 3 by the recognition unit 13, for example, when the vehicle speed of the vehicle 6 exceeds the legal speed, the system of the vehicle 6 issues a warning to the driver. can be done.

本実施形態の撮像装置1によれば、車両6と撮像装置1との移動に伴って撮像画像131が変化した場合に、撮像画像131と撮像画像131の変化の時間間隔tとを記録するため、三次元コード3を表示するための専用装置を用いなくとも、車両6の周囲を撮像した結果から情報を取得することができる。例えば、本実施形態の撮像装置1によれば、図7,8に示したように動かすことが困難な道路7や白線71等からも、情報を取得することができる。 According to the imaging device 1 of the present embodiment, when the captured image 131 changes due to the movement between the vehicle 6 and the imaging device 1, the captured image 131 and the time interval t between the changes of the captured image 131 are recorded. , information can be acquired from the result of imaging the surroundings of the vehicle 6 without using a dedicated device for displaying the three-dimensional code 3 . For example, according to the imaging device 1 of the present embodiment, information can be acquired even from roads 7 and white lines 71 that are difficult to move as shown in FIGS.

(第3の実施形態)
第3の実施形態では、街灯や信号機として設置されたLED照明を三次元コード3の発生源(信号源)とする。
(Third embodiment)
In the third embodiment, the source (signal source) of the three-dimensional code 3 is an LED lighting installed as a streetlight or traffic light.

図9は、本実施形態にかかる撮像装置1の撮像対象の一例を示す図である。本実施形態の撮像装置1は、車両6の周囲の街灯や信号機を撮像可能な位置および角度で、車両6に設置される。一例として、本実施形態では、撮像装置1は車両6の前方を向いて設置される。撮像装置1は、車両6の前方に位置するLED照明を用いた街灯8a~8d(以下、街灯8a~8dを特に区別しない場合は街灯8という)を撮像する。本実施形態においては、車両6は走行しているものとしても良いし、停止しているものとしても良い。街灯8や信号機は、本実施形態における電子機器の一例である。 FIG. 9 is a diagram showing an example of an imaging target of the imaging apparatus 1 according to this embodiment. The imaging device 1 of the present embodiment is installed in the vehicle 6 at a position and angle capable of imaging streetlights and traffic lights around the vehicle 6 . As an example, in this embodiment, the imaging device 1 is installed facing the front of the vehicle 6 . The imaging device 1 captures an image of streetlights 8a to 8d using LED lighting located in front of a vehicle 6 (hereinafter referred to as a streetlight 8 when the streetlights 8a to 8d are not particularly distinguished). In this embodiment, the vehicle 6 may be running or may be stopped. The street lamp 8 and the traffic signal are examples of the electronic equipment in this embodiment.

図10は、本実施形態にかかる撮像画像131の一例を示す図である。撮像画像131に含まれる輝度の高い箇所81a~81fは、点灯状態にある街灯8のLED照明である。 FIG. 10 is a diagram showing an example of a captured image 131 according to this embodiment. Areas 81a to 81f with high brightness included in the captured image 131 are LED illumination of the street lamp 8 in the lighting state.

LED照明は、点灯と滅灯を繰り返すため、車両6が停止している場合であっても、撮像画像131は、LED照明の点灯と滅灯の時間間隔tごとに変化する。また、車両6が走行している場合には、LED照明の点滅と、車両6に設置された撮像装置1の移動との両方によって、撮像画像131が変化する。道路上で車両6と街灯8や信号機との間に遮蔽物が存在することは少ないため、撮像装置1は高精度に撮像画像131と時間間隔tとを取得することができる。本実施形態においては、撮像装置1が街灯8を撮像した複数の撮像画像131と、撮像画像131の変化の時間間隔tとを三次元コード3という。 Since the LED lighting repeats turning on and off, the captured image 131 changes at each time interval t between turning on and off of the LED lighting even when the vehicle 6 is stopped. Further, when the vehicle 6 is running, the captured image 131 changes due to both blinking of the LED lighting and movement of the imaging device 1 installed in the vehicle 6 . Since there are few obstructions between the vehicle 6 and the street lamp 8 or traffic light on the road, the imaging device 1 can acquire the captured image 131 and the time interval t with high accuracy. In the present embodiment, the three-dimensional code 3 includes a plurality of captured images 131 captured by the imaging device 1 of the street lamp 8 and the time interval t between changes in the captured images 131 .

本実施形態の撮像装置1の構成は、図3で説明した第1の実施形態の構成と同様とする。本実施形態の撮像装置1の撮像部11、記録部12、記憶部14は、第1の実施形態と同様の機能を備える。 The configuration of the imaging apparatus 1 of this embodiment is the same as the configuration of the first embodiment described with reference to FIG. The imaging unit 11, the recording unit 12, and the storage unit 14 of the imaging apparatus 1 of this embodiment have the same functions as those of the first embodiment.

本実施形態のコード情報データベース141には、三次元コード3が示す情報として、例えば、位置情報が街灯8が設置された位置を示す位置情報が登録される。三次元コード3が示す情報は、交通情報等であっても良い。また、記憶部14には、車両6は停止している場合と走行している場合とに応じて、異なるコード情報データベース141が予め登録されても良い。 In the code information database 141 of the present embodiment, as information indicated by the three-dimensional code 3, for example, position information indicating the position where the streetlight 8 is installed is registered. Information indicated by the three-dimensional code 3 may be traffic information or the like. Further, different code information databases 141 may be registered in advance in the storage unit 14 depending on whether the vehicle 6 is stopped or running.

本実施形態の認識部13は、第1の実施形態の機能を備えた上で、複数の撮像画像131と、撮像画像131の変化の時間間隔tとでコード情報データベース141を検索し、複数の撮像画像131と時間間隔tとに対応付けられた位置情報を、三次元コード3が示す情報として認識する。 The recognizing unit 13 of the present embodiment has the functions of the first embodiment, and searches the code information database 141 using a plurality of captured images 131 and a time interval t between changes in the captured images 131 to obtain a plurality of Position information associated with the captured image 131 and the time interval t is recognized as information indicated by the three-dimensional code 3 .

本実施形態の撮像装置1によれば、街灯8や信号機等を三次元コード3の発生源として用いることができるため、第1の実施形態の効果に加えて、車両6の周囲の街灯8や信号機等の照明装置から情報を取得することができる。 According to the imaging device 1 of the present embodiment, the streetlights 8, traffic lights, etc. can be used as the sources of the three-dimensional code 3. Therefore, in addition to the effects of the first embodiment, Information can be obtained from lighting devices such as traffic lights.

また、本実施形態の構成では、街灯8や信号機の光が届く範囲の撮像装置1のみが情報を認識することができるため、情報の伝達先を限定し、所定のエリアに対する情報の伝達が可能となる。例えば、本実施形態の街灯8や信号機は、付近を通過する車両6に必要な位置情報や交通情報等を提供することができる。 In addition, in the configuration of the present embodiment, only the imaging device 1 within the reach of the light from the streetlight 8 or traffic signal can recognize information, so the destination of information transmission can be limited and information can be transmitted to a predetermined area. becomes. For example, the street lights 8 and traffic lights of the present embodiment can provide necessary position information, traffic information, and the like to vehicles 6 passing nearby.

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。 Although the embodiments of the present invention have been exemplified above, the above embodiments and modifications are merely examples, and are not intended to limit the scope of the invention. The above embodiments and modifications can be implemented in various other forms, and various omissions, replacements, combinations, and modifications can be made without departing from the scope of the invention. Also, the configuration and shape of each embodiment and each modification can be partially exchanged.

1…撮像装置、2…電子機器、3…三次元コード、6…車両、7…道路、8,8a~8d…街灯、10…三次元コードシステム、11…撮像部、12…記録部、13…認識部、14…記憶部、20…LED電球、21…制御部、22…ディスプレイ(表示部)、23…記憶部、31,31a~31g…画像、131…撮像画像、141…コード情報データベース、t,t1~t3…時間間隔。 DESCRIPTION OF SYMBOLS 1... Imaging device, 2... Electronic equipment, 3... Three-dimensional code, 6... Vehicle, 7... Road, 8, 8a-8d... Street lamp, 10... Three-dimensional code system, 11... Imaging unit, 12... Recording unit, 13 Recognition unit 14 Storage unit 20 LED light bulb 21 Control unit 22 Display (display unit) 23 Storage unit 31, 31a to 31g Image 131 Captured image 141 Code information database , t, t1-t3 . . . time intervals.

Claims (4)

電子機器と、撮像装置と、を備えたシステムであって、
前記電子機器は、
可変長の時間間隔で変化する画像を表示する表示部を備え、
前記撮像装置は、
前記画像を撮像する撮像部と、
前記撮像部によって撮像された撮像画像が変化した場合に、前記撮像画像と、前記撮像画像の変化の時間間隔とを記録する記録部と、
複数の画像の組み合わせと時間間隔の長さの組み合わせとをさらに組み合わせたセットごとに、三次元コードの情報が対応づけられたコード情報データベースと、
前記コード情報データベースを参照して、複数の前記撮像画像と前記時間間隔との組み合わせが示す三次元コードの情報を認識する認識部と、
を備え
前記記録部は、前記撮像画像の変化を前記撮像画像に含まれる画素ごとに検知し、変化した前記画素の情報を記録し、変化していない前記画素の情報は記録しない、
システム。
A system comprising an electronic device and an imaging device,
The electronic device
a display unit that displays images that change at time intervals of variable length;
The imaging device is
an imaging unit that captures the image;
a recording unit that records the captured image and a time interval of change of the captured image when the captured image captured by the imaging unit changes;
a code information database in which three-dimensional code information is associated with each set obtained by further combining a combination of a plurality of images and a combination of lengths of time intervals;
a recognition unit that refers to the code information database and recognizes three-dimensional code information indicated by a combination of the plurality of captured images and the time interval;
with
The recording unit detects changes in the captured image for each pixel included in the captured image, records information about the pixels that have changed, and does not record information about the pixels that have not changed.
system.
前記表示部は、各画素の輝度が3段階以上の輝度で表現される前記画像を表示し、
前記記録部は、前記画像を撮像した撮像画像に含まれる前記画素の輝度が変化した場合に、前記撮像画像と、前記撮像画像の変化の時間間隔とを記録する、
請求項に記載のシステム。
The display unit displays the image in which the brightness of each pixel is represented by three or more levels of brightness,
The recording unit records the captured image and a time interval between changes in the captured image when the brightness of the pixels included in the captured image obtained by capturing the image changes.
The system of claim 1 .
撮像画像を生成する撮像部と、
撮像画像が変化した場合に、前記撮像画像と、前記撮像画像の変化の時間間隔とを記録する記録部と、
複数の画像の組み合わせと時間間隔の長さの組み合わせとをさらに組み合わせたセットごとに、三次元コードの情報が対応づけられたコード情報データベースと、
前記コード情報データベースを参照して、複数の前記撮像画像と前記時間間隔との組み合わせが示す三次元コードの情報を認識する認識部と、を備え、
前記記録部は、前記撮像画像の変化を前記撮像画像に含まれる画素ごとに検知し、変化した前記画素の情報を記録し、変化していない前記画素の情報は記録しない、
撮像装置。
an imaging unit that generates a captured image;
a recording unit that records the captured image and a time interval between changes in the captured image when the captured image changes;
a code information database in which three-dimensional code information is associated with each set obtained by further combining a combination of a plurality of images and a combination of lengths of time intervals;
a recognition unit that refers to the code information database and recognizes three-dimensional code information indicated by a combination of the plurality of captured images and the time interval;
The recording unit detects changes in the captured image for each pixel included in the captured image, records information about the pixels that have changed, and does not record information about the pixels that have not changed.
Imaging device.
前記撮像装置は移動体に設置され、
前記記録部は、前記移動体と前記撮像装置との移動に伴って前記撮像画像が変化した場合に、前記撮像画像と、前記撮像画像の変化の時間間隔とを記録する、
請求項に記載の撮像装置。
The imaging device is installed on a mobile body,
The recording unit records the captured image and a time interval between changes in the captured image when the captured image changes due to the movement of the moving body and the imaging device.
The imaging device according to claim 3 .
JP2018050027A 2018-03-16 2018-03-16 System and imager Active JP7176208B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018050027A JP7176208B2 (en) 2018-03-16 2018-03-16 System and imager

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018050027A JP7176208B2 (en) 2018-03-16 2018-03-16 System and imager

Publications (2)

Publication Number Publication Date
JP2019160230A JP2019160230A (en) 2019-09-19
JP7176208B2 true JP7176208B2 (en) 2022-11-22

Family

ID=67996358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018050027A Active JP7176208B2 (en) 2018-03-16 2018-03-16 System and imager

Country Status (1)

Country Link
JP (1) JP7176208B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003036829A1 (en) 2001-10-23 2003-05-01 Sony Corporation Data communication system, data transmitter and data receiver
JP2003315875A (en) 2002-04-26 2003-11-06 Konica Minolta Holdings Inc Imaging device and imaging method
JP2003348459A (en) 2002-05-27 2003-12-05 Sony Corp Solid-state imaging apparatus and its drive method
JP2004326241A (en) 2003-04-22 2004-11-18 Fuji Photo Film Co Ltd Data transmission server and data processing system
JP2016091561A (en) 2014-10-31 2016-05-23 地球ソリューションズ株式会社 Information display / reading system
US20170187455A1 (en) 2015-12-29 2017-06-29 Intel Corporation Techniques for optical wireless communication
US20170295627A1 (en) 2016-04-08 2017-10-12 Generalplus Technology Inc. Light emitting device with dimming visible light communication function and interaction device applying for visible light

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003036829A1 (en) 2001-10-23 2003-05-01 Sony Corporation Data communication system, data transmitter and data receiver
JP2003315875A (en) 2002-04-26 2003-11-06 Konica Minolta Holdings Inc Imaging device and imaging method
JP2003348459A (en) 2002-05-27 2003-12-05 Sony Corp Solid-state imaging apparatus and its drive method
JP2004326241A (en) 2003-04-22 2004-11-18 Fuji Photo Film Co Ltd Data transmission server and data processing system
JP2016091561A (en) 2014-10-31 2016-05-23 地球ソリューションズ株式会社 Information display / reading system
US20170187455A1 (en) 2015-12-29 2017-06-29 Intel Corporation Techniques for optical wireless communication
US20170295627A1 (en) 2016-04-08 2017-10-12 Generalplus Technology Inc. Light emitting device with dimming visible light communication function and interaction device applying for visible light

Also Published As

Publication number Publication date
JP2019160230A (en) 2019-09-19

Similar Documents

Publication Publication Date Title
JP7296350B2 (en) Video stream image processing system and method for flicker correction of amplitude modulated light
US20120062746A1 (en) Image Processing Apparatus
CN105960355B (en) Method for operating a motor vehicle rear view camera system after detection of a flash of headlights, rear view camera system and motor vehicle
US9787910B2 (en) Method for detecting light sources operated in pulsed mode
KR20030082958A (en) Image processig syste to control vehicle haedlamps or other vehicle equipment
CN104620260B (en) Method and device for identifying at least one pulsed light source for a vehicle
US12167141B2 (en) Imaging system including difference image generator that generates difference images
JP2007286943A (en) Signal light detection device
JP6335037B2 (en) Outside environment recognition device
JP2017016194A (en) Outside environment recognition device
JP6533050B2 (en) In-vehicle camera system
CN105383369A (en) Method and device for adapting a brightness of a headlight for a vehicle
JP7241772B2 (en) Image processing device
CN112565618B (en) Exposure control device
JP5712821B2 (en) Shooting display control system
JP7176208B2 (en) System and imager
EP3605497A1 (en) Illumination image capture device
US11153546B2 (en) Low-light imaging system
KR102184335B1 (en) Method and device for creating the high dynamic range images
JP6853890B2 (en) Object detection system
US20220153185A1 (en) Hybrid Digital Micromirror Device (DMD) Headlight
JP2013009041A (en) Vehicle photographing display control system
US12200369B2 (en) Method and system for mitigating image flicker from strobed lighting systems
JP2007013777A (en) Imaging device
JP2019012958A (en) Imaging control device, vehicle imaging device, imaging control method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R150 Certificate of patent or registration of utility model

Ref document number: 7176208

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150