JP2019208233A - Visible light communication system - Google Patents
Visible light communication system Download PDFInfo
- Publication number
- JP2019208233A JP2019208233A JP2019128821A JP2019128821A JP2019208233A JP 2019208233 A JP2019208233 A JP 2019208233A JP 2019128821 A JP2019128821 A JP 2019128821A JP 2019128821 A JP2019128821 A JP 2019128821A JP 2019208233 A JP2019208233 A JP 2019208233A
- Authority
- JP
- Japan
- Prior art keywords
- light
- blinking
- flashing
- image sensor
- bright
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Optical Communication System (AREA)
Abstract
【課題】全体の構成を複雑化することなくデータ処理の高速化を実現することができるようにする。【解決手段】可視光通信システムは、光源１１から、点滅光であって、撮像素子８０の１フレーム分の走査時間内に所定の複数個が出力される点滅光を出力すると共に、複数個の点滅光の点滅間隔を、それぞれ、全体として均一でない固有の点滅間隔とすることで、複数個の点滅光を符号化してその符号化データを出力する。光源１１からの複数個の点滅光は、撮像素子８０により、点滅光と同一数の明暗線からなると共に、点滅光のそれぞれの固有の点滅間隔に対応する幅をそれぞれ有する明暗線パターンを撮像し、その明暗線パターンを出力して、その明暗線パターンに基づき、点滅光からの符号化データを復号化して復号化データを出力する。【選択図】図１PROBLEM TO BE SOLVED: To realize high-speed data processing without complicating the entire configuration. A visible light communication system outputs a plurality of blinking lights from a light source 11, which are a predetermined number of blinking lights that are output within a scanning time of one frame of an image sensor 80. By setting the blinking intervals of the blinking lights to be unique blinking intervals that are not uniform as a whole, a plurality of blinking lights are encoded and the encoded data is output. The plurality of blinking lights from the light source 11 are imaged by the image sensor 80 to form light and dark line patterns each having the same number of bright and dark lines as the blinking lights and having a width corresponding to each unique blinking interval of the blinking lights. , The bright and dark line pattern is output, the encoded data from the blinking light is decoded based on the bright and dark line pattern, and the decoded data is output. [Selection diagram] Figure 1
Description
本発明は、可視光通信システムに関し、特に、撮像素子として（ＣＭＯＳイメージセンサ等の）受光イメージを一定時間ごとに位置をずらしながら走査して撮像するタイプの撮像素子を使用した可視光通信システムに関する。 The present invention relates to a visible light communication system, and more particularly to a visible light communication system using an image pickup device that scans and picks up a received light image (such as a CMOS image sensor) while shifting the position at regular intervals. .
［従来の可視光通信］
近年、可視光通信なる通信方式が提案されている。この可視光通信は、発光素子から出力する可視光を変調（即ち、強度変調）することにより、可視光に所望の情報を付与して出力し、受光素子で受光した可視光を復調して前記所望の情報を読み出すことにより、所望のデータを送受信する通信方式である。可視光通信は、信号出力装置として特別な装置を用意しなくても、照明器具、誘導灯、交通信号機等の身近な発光装置を利用して情報伝送を行うことができることから、光の直進性による制約がない環境（即ち、発光側と受光側との間に障害物がない環境）で、従来の無線通信方式を代替する、或いは、従来の無線通信方式と競合する通信技術として期待されている。なお、可視光通信で使用される発光素子としては、ＬＥＤ（発光ダイオード）や有機ＥＬ等の高速点滅可能な半導体素子が一般的である。また、可視光通信の受光素子としては、フォトダイオードが一般的であるが、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子の使用も提案されている。なお、受光素子として固体撮像素子を使用した可視光通信は、イメージセンサ通信とも呼ばれている。
[Conventional visible light communication]
In recent years, a communication method called visible light communication has been proposed. In this visible light communication, the visible light output from the light emitting element is modulated (that is, intensity modulated), thereby giving and outputting desired information to the visible light, and demodulating the visible light received by the light receiving element. This is a communication method for transmitting / receiving desired data by reading desired information. Visible light communication can transmit information using familiar light emitting devices such as lighting fixtures, guide lights, traffic lights, etc. without preparing a special device as a signal output device. It is expected as a communication technology that replaces the conventional wireless communication system or competes with the conventional wireless communication system in an environment where there is no restriction due to (ie, an environment where there is no obstacle between the light emitting side and the light receiving side). Yes. In addition, as a light emitting element used in visible light communication, a semiconductor element capable of blinking at high speed such as an LED (light emitting diode) or an organic EL is generally used. A photodiode is generally used as a light receiving element for visible light communication, but use of a solid-state imaging element such as a CCD image sensor or a CMOS image sensor has also been proposed. Note that visible light communication using a solid-state image sensor as a light receiving element is also called image sensor communication.
［従来の可視光通信に関する特許文献］
ここで、可視光通信に関する発明として、特許文献１に記載の表示装置及びプログラムが提案されている。この発明は、可視光による情報送信を好適に行なえるようにすることを目的とし、携帯端末において、制御部が、他の携帯端末へ送信すべき情報であるタグＩＤを可視光通信に用いるマーカーに変換するようにしている。更に、制御部及びドライバが、変換されたマーカーを表示部に表示させる制御を行うようにしている。また、制御部及びドライバが、表示部に表示されるマーカーの表示態様を調整する制御を行うようにしている。
[Patent Literature on Conventional Visible Light Communication]
Here, as an invention related to visible light communication, a display device and a program described in
特許文献１に記載の可視光通信装置は、受光素子としてＣＣＤイメージセンサを使用するため、上記したイメージセンサ通信技術に関するものであるが、一般に、イメージセンサ通信技術では、データ処理の高速化が難しいという課題があり、データ処理の高速化を図るためには構成が複雑化するという更なる課題がある。
The visible light communication device described in
そこで、本発明は、撮像素子として（ＣＭＯＳイメージセンサ等の）受光イメージを経時的に位置をずらしながら走査して撮像するタイプの撮像素子を使用すると共に、そのような撮像素子に特有の現象を利用して、全体の構成を複雑化することなくデータ処理の高速化を実現することができる可視光通信システムを提供することを目的とする。 Therefore, the present invention uses a type of image pickup device that scans and picks up a received light image (such as a CMOS image sensor) while shifting its position over time as an image pickup device, and provides a phenomenon peculiar to such an image pickup device. It is an object of the present invention to provide a visible light communication system that can be used to achieve high-speed data processing without complicating the overall configuration.
本発明に係るコンピュータ装置用の可視光通信システムは、発光側装置と受光側装置とからなる可視光通信システムである。前記発光側装置は、発光素子からなる光源と、前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備える。前記受光側装置は、前記光源の光を受光して、その受光イメージを撮像し、その撮像データを出力する撮像素子と、前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備える。前記発光側制御手段は、前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力する。前記受光側制御手段は、前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化する。前記発光側制御手段は、更に、前記撮像素子の解像度に応じて、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成する。 The visible light communication system for a computer device according to the present invention is a visible light communication system including a light emitting side device and a light receiving side device. The light emitting side device includes a light source composed of a light emitting element, and light emitting side control means for controlling the light from the light source to be output directly or indirectly in a predetermined manner. The light receiving side device receives the light of the light source, picks up a light receiving image thereof, outputs the picked up image data, and inputs image pick-up data from the image pick-up device. And a light receiving side control means for performing control. The light emission side control means outputs a predetermined plurality of blinking lights by directly or indirectly using light from the light source, and each of the blinking intervals of the plurality of blinking lights is unique. By setting the flashing interval to, the plurality of flashing lights are encoded and the encoded data is output. The light-receiving side control means inputs the plurality of blinking lights from the light source to the image sensor, and images a pattern corresponding to each unique blinking interval of the plurality of blinking lights by the image sensor. The pattern is output, and the encoded data from the flashing light is decoded based on the pattern. The light emission side control means further controls the blinking light so that each turn-on time and each turn-off time of the blinking light are equal to or longer than an exposure time over a plurality of pixels of the image pickup element according to the resolution of the image pickup element. A blinking interval is set, and a predetermined blinking light set is configured by the blinking light of the blinking interval.
本発明は、上記のように構成したことにより、撮像素子として（ＣＭＯＳイメージセンサ等の）受光イメージを経時的に位置をずらしながら走査して撮像するタイプの撮像素子を使用すると共に、そのような撮像素子に特有の現象を利用して、全体の構成を複雑化することなくデータ処理の高速化を実現することができる。 According to the present invention configured as described above, an image pickup device that scans and images a received light image (such as a CMOS image sensor) while shifting its position over time is used as the image pickup device. By utilizing a phenomenon peculiar to the image sensor, it is possible to realize high-speed data processing without complicating the entire configuration.
以下、本発明を実施するための形態（以下、実施の形態という）を説明する。なお、各実施の形態を通じ、同一の部材、要素または部分には同一の符号を付して、その説明を省略する。なお、以下の説明における「・・・手段」とは、所定の電気・電子部品や電子素子等により対応する所定の機能を実現するよう構成されたハードウエア資源による構成を指す場合もあり、また、コンピュータ装置のＣＰＵ、ＲＯＭ、ＲＡＭ、外部記憶装置、入力装置、出力装置等のハードウエア資源を、所定のプログラムによる指令によって動作させることで、対応する所定の機能を実現するように構成されたソフトウエア資源による構成を指す場合もあり、更には、ハードウエア資源とソフトウエア資源との組み合わせによる構成を指す場合もある。いずれにしても、ある「手段」について、ハードウエア資源による構成をソフトウエア資源による構成で置換できる場合は、そのようなソフトウエア資源による構成も発明の範囲内にあり、また、ソフトウエア資源による構成をハードウエア資源による構成で置換できる場合は、そのようなハードウエア資源による構成も発明の範囲内にある。 Hereinafter, modes for carrying out the present invention (hereinafter referred to as embodiments) will be described. Throughout each embodiment, the same members, elements, or parts are denoted by the same reference numerals and description thereof is omitted. In the following description, "... means" may refer to a configuration using hardware resources configured to realize a predetermined function corresponding to a predetermined electric / electronic component or electronic element. It is configured to realize corresponding predetermined functions by operating hardware resources such as CPU, ROM, RAM, external storage device, input device, output device, etc. of a computer device according to a command by a predetermined program In some cases, it may refer to a configuration based on software resources, and further to a configuration based on a combination of hardware resources and software resources. In any case, if a configuration using hardware resources can be replaced with a configuration using software resources for a certain “means”, such configuration using software resources is also within the scope of the invention. If the configuration can be replaced with a configuration using hardware resources, such a configuration using hardware resources is also within the scope of the invention.
［実施の形態１：可視光通信システム］
本発明は、図１〜図３に示す実施の形態１の可視光通信システムとして具体化することができる。以下、この可視光通信システムの全体構成について、まず、図１を参照して概略的に説明する。本実施の形態の可視光通信システムは、図１に示すように、発光側装置（発光部）１０と、受光側装置（受光部）５０とから構成されている。発光側装置１０は、発光素子からなる光源１１と、発光部側制御ユニット２０と、入力装置２５とを備えている。一方、受光側装置５０は、カメラモジュール６０と、受光部側制御ユニット９０と、出力装置９３とを備えている。カメラモジュール６０は、筐体６１と、筐体６１の前面開口部に装着した絞り部６２と、絞り部６２と同軸状に配設したレンズ６３と、デジタルシグナルプロセッサ（ＤＳＰ）７０と、受光素子としてのＣＭＯＳイメージセンサ８０とを備える構成である。
[Embodiment 1: Visible light communication system]
The present invention can be embodied as the visible light communication system according to the first embodiment shown in FIGS. Hereinafter, the overall configuration of the visible light communication system will be schematically described with reference to FIG. As shown in FIG. 1, the visible light communication system according to the present embodiment includes a light emitting side device (light emitting unit) 10 and a light receiving side device (light receiving unit) 50. The light emitting
［可視光通信システムの骨子］
本実施の形態の可視光システムの各部の詳細について説明する前に、本発明に係る可視光通信システムの骨子となる構成について概略的に説明する。まず、本実施の形態を含む本発明に係る可視光通信システムは、後述するように、ＣＯＭＳイメージセンサ８０撮像素子の１回分の走査時間（動画の場合、１フレーム分の走査時間）内に、（点滅駆動手段から出力される）所定の点滅周期による点滅光が光源１１からＣＭＯＳイメージセンサ８０に入力されると、ＣＭＯＳイメージセンサ８０には、光源１１からの１つの点滅光に対応して１対の明暗線（１本の明線と１本の暗線との対）が撮像されるという本発明者らの新規な知見に基づき完成されたものである。例えば、ＣＯＭＳイメージセンサ８０の１回分の走査時間内に、光源１１から１０個の点滅光が出力されてＣＭＯＳイメージセンサ８０に入力されると、ＣＭＯＳイメージセンサ８０には、対応する１０対の明暗線が点滅光の周期（即ち、点滅間隔）に相当する間隔を置いて連続的に平行に配置された状態で撮像され、ストライプ状のパターン（縞模様）の撮像イメージがＣＭＯＳイメージセンサ８０から出力される。本発明に係る可視光通信システムは、かかる本発明者らの新規な知見に係る現象を前提として創作されたものであり、このようなＣＭＯＳイメージセンサ８０に撮像された明暗線のパターンを、コンピュータ装置を制御するための（例えば、コンピュータ装置に所定のイベント等の処理を実行させるための）制御用データ又は制御符号（制御コード）として使用する。
[Outline of visible light communication system]
Before describing the details of each part of the visible light system according to the present embodiment, the configuration that forms the gist of the visible light communication system according to the present invention will be schematically described. First, in the visible light communication system according to the present invention including the present embodiment, as will be described later, within one scanning time of the
詳細には、本実施の形態を含む本発明の可視光通信システムでは、典型的には、所定の複数対数だけ連続する明暗線の集合（セット）により１組の明暗線のセット（本願では、「明暗線セット」と称する。）を構成し、この明暗線セットを前記ＣＭＯＳイメージセンサ８０の撮像データ（即ち、制御用データ又は制御符号）として使用する。このとき、この可視光通信システムでは、明暗線セットを構成する各明暗線の明線の幅及び暗線の幅のうち、少なくともいずれか一方の幅（明線若しくは暗線の幅、又は、両方の幅）を所定幅に設定し、一つの明暗線セットにおいて連続する明暗線の幅（明線及び／又は暗線の幅）の相互の関係により、一意の情報を表現している。
Specifically, in the visible light communication system of the present invention including the present embodiment, typically, a set of bright and dark lines (in this application, a set of bright and dark lines continuous by a predetermined number of logarithms) The bright and dark line set is used as image data (ie, control data or control code) of the
一方、この可視光通信システムでは、前記明暗線セットをＣＭＯＳイメージセンサ８０に撮像するため、前記明暗線セットの明暗線の数に対応して（明暗線セットの明暗線の数と）同一の複数だけ連続する点滅光の集合（セット）により１組の点滅光のセット（本願では、「点滅光セット」と称する。）を構成し、この点滅光セットを前記発光部側制御ユニット２０の制御によって光源１１から出力する。このとき、この可視光通信システムでは、点滅光セットを構成する各点滅光の点灯間隔（オン時間間隔）及び消灯間隔（オフ時間間隔）の時間間隔のうち、少なくともいずれか一方の時間間隔（点灯間隔若しくは消灯間隔、又は、両方の時間間隔）を（前記明暗線の幅に対応する）所定時間間隔に設定し、一つの点滅光セットにおいて連続する点滅光の時間間隔（点灯間隔及び／又は消灯間隔）の相互の関係が、前記明暗線の幅の相互の関係と一致するようにしている。即ち、１組の点滅光セットの点滅光は、明暗線セットの明暗線の数と同一の複数だけ連続すると共に、明暗線セットの各明暗線の幅に対応する周期で点滅（オンオフ）する点滅光の集合により構成され、この点滅光セットが、前記発光部側制御ユニット２０の制御によって光源１１から出力される。
On the other hand, in this visible light communication system, since the bright and dark line set is imaged by the
そして、本実施の形態を含む本発明の可視光通信システムでは、前記発光部側制御ユニット２０の制御によって光源１１から出力された点滅光セットの点滅光パターンを、カメラモジュール６０によりＣＭＯＳイメージセンサ８０に撮像し、前記明暗線パターンを撮像データとして取得する。その後、受光部側制御ユニット９０が、ＣＭＯＳイメージセンサ８０から出力された明暗線セットのパターンの態様（即ち、明暗線の数と明暗線の幅とにより決定される一意の情報）を認識して読解し、その明暗線セットに対応する所定の信号を出力することで、その明暗線セットに対応する所定の処理をコンピュータ装置に実行させる。
In the visible light communication system of the present invention including this embodiment, the blinking light pattern of the blinking light set output from the
＜点滅光セット及び明暗線セットの具体例１（モノクロ態様）＞
次に、前記点滅光セット及び明暗線セットの具体例について説明する。例えば、本実施の形態の可視光通信システムでは、図２に示すように、発光部側制御ユニット２０の制御により、光源１１から、前記点滅光セットとして、合計６つの連続する点滅光（即ち、連続する６つのオン時間及びオフ時間の対）から構成する。この場合、図２中の光源１１からの点滅光のタイミングチャート（図２中の左下側）に示すように、６つの点滅光を光源１１から順次出力すると共に、６つの点滅光の消灯部分（オフ部分）Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔（オフ時間間隔）を、所定の時間間隔（時間幅）Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６に設定する。この場合、例えば、６つの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６として、最大の時間間隔（最大間隔）、最小の時間間隔（最小間隔）、及び、それらの中間的な時間間隔（中間間隔）の３つの相対的な間隔を設定し、これら最大間隔、中間間隔及び最小間隔のいずれかを前記６つの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６として割り当てることができる。具体的には、６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２をいずれも中間間隔の対として同一間隔とすると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４を最小間隔及び最大間隔の対として異なる間隔とし、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６を最小間隔及び最大間隔の対として異なる間隔とすることができる。
<Specific example 1 (monochrome mode) of blinking light set and light / dark line set>
Next, specific examples of the blinking light set and the bright / dark line set will be described. For example, in the visible light communication system of the present embodiment, as shown in FIG. 2, a total of six continuous flashing lights (that is, as the flashing light set) from the
前記点滅光セットの構成に対応して、明暗線セットにおいては、明暗線セットを合計６対の連続する明暗線（即ち、連続する６つの明線及び暗線の対）から構成する。この場合、それらの明暗線のうち、最初の２対の明暗線（２つの明線及び暗線の対）を、その明暗線セットの開始位置を（受光部側制御ユニット９０が）認識するため開始位置認識用明暗線又は同期信号用明暗線（いわゆるスタートビットに対応する開始部又はプリコード）として設定し、残りの４対の明暗線を、前記制御用データ又は制御符号となるデータ部として設定することができる。また、この場合、明暗線セットの各明暗線の明線及び暗線のうち、暗線を前記開始部及びデータ部を構成する信号又はデータとして使用することができる。即ち、この場合、図２中のＣＭＯＳイメージセンサ８０における撮像イメージの概念図（図２中の右下側）に示すように、光源１１からの点滅光セットの６つの点滅光に対応して、６対の明暗線がＣＭＯＳイメージセンサ８０に撮像される。このとき、６対の明暗線の暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅（ＣＭＯＳイメージセンサ８０の走査方向における間隔）を、所定の間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６に設定する。なお、この明暗線セットの暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６の値は、点滅光セットの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６の値にそれぞれ対応している。
Corresponding to the configuration of the blinking light set, in the light / dark line set, the light / dark line set is composed of a total of 6 pairs of continuous light / dark lines (that is, a pair of 6 light lines and dark lines). In this case, among the bright and dark lines, the first two pairs of bright and dark lines (two pairs of bright lines and dark lines) are started to recognize the light / dark line set start position (by the light receiving unit side control unit 90). It is set as a light / dark line for position recognition or a light / dark line for sync signals (a start part or pre-code corresponding to a so-called start bit), and the remaining four pairs of light / dark lines are set as the data part for the control data or control code. can do. In this case, among the bright and dark lines of each bright and dark line of the bright and dark line set, the dark line can be used as a signal or data constituting the start part and the data part. That is, in this case, as shown in the conceptual diagram of the captured image in the
即ち、６対の明暗線の暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６は、点滅光セットの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６に対応して、最大の間隔（最大間隔）、最小の間隔（最小間隔）、及び、それらの中間的な間隔（中間間隔）の３つの相対的な間隔に設定され、これら最大間隔、中間間隔及び最小間隔のいずれかが前記６対の明暗線の暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６として割り当てられる。具体的には、６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２をいずれも中間間隔の対として同一間隔とすると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４を最小間隔及び最大間隔の対として異なる間隔とし、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６を最小間隔及び最大間隔の対として異なる間隔とした場合、６対の明暗線の最初の２本の暗線Ｓ１，Ｓ２（開始部）の幅Ｗ１，Ｗ２のいずれも中間間隔の対として同一間隔となると共に、次の２本の暗線（データ部の最初の２本の暗線）Ｓ３，Ｓ４も最小間隔及び最大間隔の対として異なる間隔となり、更に、次の２本の暗線（データ部の最後の２本の暗線）Ｓ５，Ｓ６も最小間隔及び最大間隔の対として異なる間隔となる。 That is, the widths W1, W2, W3, W4, W5, and W6 of the six pairs of bright and dark lines S1, S2, S3, S4, S5, and S6 are the extinguishing portions L1, L2, L3, and B3 of the flashing light set. Corresponding to the turn-off intervals W1, W2, W3, W4, W5, and W6 of L4, L5, and L6, the maximum interval (maximum interval), the minimum interval (minimum interval), and the intermediate interval (intermediate) 3), one of these maximum, intermediate and minimum intervals is the width W1, W2 of the dark lines S1, S2, S3, S4, S5, S6 of the six pairs of bright and dark lines. , W3, W4, W5, W6. Specifically, the first two extinguishing portions L1 and L2 (starting portion) of the six blinking lights are set to the same interval as a pair of intermediate intervals, and the next two extinguishing portions ( The first two extinguished portions of the data portion) L3 and L4 are set as different intervals as a pair of the minimum interval and the maximum interval, and the next two extinguished portions (the last two extinguished portions of the data portion) L5 and L6 are minimized. When different intervals are used as the pair of the interval and the maximum interval, the widths W1 and W2 of the first two dark lines S1 and S2 (starting portion) of the six pairs of bright and dark lines are the same interval as a pair of intermediate intervals. The next two dark lines (the first two dark lines in the data portion) S3 and S4 are also different intervals as a pair of the minimum interval and the maximum interval, and further, the next two dark lines (the last two dark lines in the data portion) Dark lines) S5 and S6 are also the minimum and maximum intervals A different spacing as pairs of.
なお、かかる点滅光セットの点滅光の消灯間隔の設定、及び、これに対応する明暗線セットの暗線の幅の設定については、より具体的な事例を後述する。また、点滅光セットの他の態様、及び、これに対応する明暗線セットの他の態様についても、より具体的な事例を後述する。 A more specific example will be described later regarding the setting of the turn-off interval of the blinking light of the blinking light set and the setting of the dark line width of the corresponding bright-dark line set. A more specific example will be described later with respect to another aspect of the blinking light set and another aspect of the bright and dark line set corresponding thereto.
＜１フレーム内の明暗線の最低包含数＞
ここで、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０では、前記明暗線セットによるパターンを取得するためには、１フレーム分の走査時間内に、最低でも前記点滅光セットの点滅光の数以上の点滅光が入力されて撮像される必要がある。即ち、上記のとおり、ＣＭＯＳイメージセンサ８０による１フレーム分の走査時間（即ち、１フレーム分の撮像時間）内に、例えば６個の点滅光を１セットとするデータセットである点滅光セットが、少なくとも１セットは（点滅光セット内のどの点滅光も欠けることなく）全て含まれるようにする必要がある（即ち、ＣＭＯＳイメージセンサ８０により全て撮像されるようにする必要がある）。こうすると、ＣＭＯＳイメージセンサ８０には、光源１１からの１つの点滅光に対応して１対の明暗線（１本の明線と１本の暗線との対）が撮像される。即ち、１セットの点滅光セットを構成する６個の点滅光については、６対の明暗線が点滅光の周期（即ち、点滅間隔）に相当する間隔を置いて連続的に平行に配置された状態で撮像され、ストライプ状のパターン（縞模様）の撮像イメージがＣＭＯＳイメージセンサ８０から出力される。
<Minimum number of bright and dark lines in one frame>
Here, in the visible light communication system of the present invention including the present embodiment, in the
しかし、このとき、光源１１からＣＭＯＳイメージセンサ８０への点滅光セットの点滅光の入力開始のタイミングと、ＣＭＯＳイメージセンサ８０による走査開始のタイミングとがずれると、点滅光セットの最初の点滅光が、ＣＭＯＳイメージセンサ８０の走査時間の途中から入力されて、対応する明暗線セットの明暗線が、ＣＭＯＳイメージセンサ８０の走査方向の途中から撮像開始されることになる。この場合、ＣＭＯＳイメージセンサ８０の１フレーム分の走査時間内に撮像される点滅光の数（本願書類において、「フレーム内点滅光数」と称する。）が、少なくとも、１組の点滅光セットの点滅光の総数の２倍より１少ない数だけあれば、即ち、光源１１からの点滅光を連続的に撮像する場合において、ＣＭＯＳイメージセンサ８０に撮像される明暗線の数（本願書類において、「フレーム内明暗線数」と称する。）が、少なくとも、１組の明暗線セットの明暗線の総数の２倍より１少ない数だけあれば、ＣＭＯＳイメージセンサ８０における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも１組の点滅光セットの全ての点滅光をＣＭＯＳイメージセンサに撮像できるとの新規な知見を、本発明者らは鋭意の試験研究により得ている。したがって、この知見に基づき、本発明者らは、使用するＣＭＯＳイメージセンサ８０の特性（解像度や走査速度等）に応じて、前記フレーム内点滅数が、少なくとも、１組の点滅光セットの点滅光の総数の２倍より１少ない数（本願書類において、「最小フレーム内点滅光数」と称する。）となり、前記フレーム内明暗線が、少なくとも、１組の明暗線セットの明暗線の総数の２倍より１少ない数（本願書類において、「最小フレーム内明暗線数」と称する。）となるよう、発光部側制御ユニット２０により、光源１１から出力される点滅光の周期を設定するようにしている。例えば、１組の点滅光セットの点滅光の総数が６つで、１組の明暗線セットの明暗線の総数が６対の場合、前記フレーム内点滅数が、少なくとも、１組の点滅光セットの点滅光の総数（６個）の２倍（１２個）より１少ない数（１１個）となり、前記フレーム内明暗線が、少なくとも、１組の明暗線セットの明暗線の総数（６対）の２倍（１２対）より１少ない数（１１対）となるよう、発光部側制御ユニット２０により、光源１１から出力される点滅光の周期を設定するようにしている。無論、使用するＣＭＯＳイメージセンサ８０の特性（解像度や走査速度等）に応じて、前記フレーム内点滅数が、１組の点滅光セットの点滅光の総数の２倍以上の数となり、前記フレーム内明暗線が、１組の明暗線セットの明暗線の総数の２倍以上の数となるよう、発光部側制御ユニット２０により、光源１１から出力される点滅光の周期を設定することもできる。
However, at this time, if the input start timing of the flashing light of the flashing light set from the
［発光側装置］
次に、本実施の形態の発光側装置（発光部１０）について詳細に説明すると、前記光源１１の発光素子としては、発光ダイオード（ＬＥＤ）を好適に使用することができるが、後述するような点滅動作が可能な限りにおいて、有機ＥＬ等の他の光源を使用することもできる。また、ＬＥＤとしては、白色ＬＥＤ等の特定色の可視光ＬＥＤを使用することができるが、赤色、緑色及び青色の三原色を発光自在なフルカラーＬＥＤを使用することもできる。また、光源は、ＬＥＤ等の発光素子を１個のみ配設した構成とすることもできるが、後述するような所定の発光パターン（点滅パターン）での発光駆動が可能な限りにおいて、複数個の発光素子を集合的に配置した構成（例えば、複数個のＬＥＤを集合配置したＬＥＤモジュールの構成）とすることもでき、或いは、ＬＥＤチップを基板上に複数又は多数実装したチップＬＥＤモジュールを使用することもできる。更には、後述するような所定の発光パターン（点滅パターン）での発光駆動が可能な限りにおいて、一般的な照明器具を光源として使用することもできる。
[Light emitting device]
Next, the light emitting side device (light emitting unit 10) of the present embodiment will be described in detail. As the light emitting element of the
＜発光部側制御ユニット＞
前記発光部側制御ユニット２０は、光源１１を所定の態様で発光するように（即ち、上記のような点滅光セットを出力するための所定の点滅パターンで発光するように）制御する発光制御手段を構成する。詳細には、発光部側制御ユニット２０は、点滅駆動手段を構成する点滅駆動回路２１、点滅周期調整手段２２、点滅セット設定手段２３、変調回路２４、及び、発光駆動回路２５を備える構成とすることができる。発光部側制御ユニット２０は、本実施の形態の発光側装置の特徴的な構成であるが、ハードウエア資源による構成としての各種のマイコン（マイクロコンピュータ）に対して、後述するような所定の機能を当該マイコンに実現させる（各種プログラム等の）ソフトウエア資源による構成を組み合わせて構成することができる。
<Light emitting unit side control unit>
The light emitting unit
＜点滅駆動回路＞
点滅駆動手段としての点滅駆動回路２１は、光源１１を所定の点滅周期で連続的に点滅駆動する点滅駆動機能を実現するものである。典型的には、点滅駆動回路２１からなる点滅駆動手段は、連続する所定幅のパルスにより光源１１の発光素子（典型的にはＬＥＤ）をパルス駆動するパルス駆動機能を実現するものであり、パルス発振器から出力するパルスの幅を任意に増減調節して、パルスを一定周期で連続的に出力すると共に、ＰＷＭ制御によりデューティー比（１周期に対するパルスのオン時間の比）を制御して出力するＰＷＭ駆動回路より構成することができる。ここで、点滅駆動回路２１は、一例として、１周期２０００マイクロ秒（Ｔ＝２０００μｓ／周期）のパルスを出力するよう構成することができ、この場合、所定の点滅周波数（５００Ｈｚ）でＬＥＤ等の発光素子を連続的に点滅駆動するものである。即ち、本実施の形態では、点滅駆動回路２１からなる点滅駆動手段は、ＰＷＭ駆動回路等の点滅駆動回路からなるハードウエア資源による構成として実現することができ、パルスを、一定周期で（即ち、一定間隔で）、かつ、一定のデューティー比で連続的に（即ち、回路の駆動開始時から回路の駆動停止時まで連続して）出力する機能を実現するものである。
<Flashing drive circuit>
The blinking
＜点滅周期調整手段＞
ここで、上記のように、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０の１回分の走査時間（動画の場合、１フレーム分の走査時間）内に、前記点滅光セットの全ての点滅光が必ずＣＭＯＳイメージセンサ８０内に入力されて撮像されるよう（即ち、前記明暗線セットの全ての明暗線が撮像されるように）、前記光源１１からの点滅光の周期が設定されている必要がある。即ち、発光部側制御ユニット２０において、点滅駆動回路２１による点滅光の周期が、ＣＭＯＳイメージセンサ８０の１回分の走査時間内に前記点滅光セットの全ての点滅光が包含される周期となる必要がある（即ち、全点滅光の個数分の時間間隔が、前記１回分の走査時間内となる必要がある）。この場合、発光部側制御ユニット２０の点滅駆動回路２１による点滅光の周期の初期設定値において、全点滅光の個数分の時間間隔が前記１回分の走査時間内となるような周期である場合、発光部側制御ユニット２０による点滅光の周期の調整は不要である。しかし、発光部側制御ユニット２０の点滅駆動回路２１による点滅光の周期の初期設定値において、全点滅光の個数分の時間間隔が前記１回分の走査時間を超えるような周期である場合、発光部側制御ユニット２０による点滅光の周期の調整が必要となる。
<Flashing cycle adjustment means>
Here, as described above, in the visible light communication system of the present invention including this embodiment, the blinking is performed within one scanning time of the CMOS image sensor 80 (one frame scanning time in the case of a moving image). The flashing light from the
これに加え、上記のとおり、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０の撮像動作における１フレーム内の明暗線の最低包含数が、前記最小フレーム内明暗線（明暗線セットの明暗線の総数の２倍より１少ない数以上の数）となるよう、光源１１からの点滅光の周期を設定することが望ましい。
In addition, as described above, in the visible light communication system of the present invention including the present embodiment, the minimum number of bright and dark lines included in one frame in the imaging operation of the
そこで、本実施の形態では、発光部側制御ユニット２０は、かかる点滅光の周期の調整のために、点滅周期調整手段２２を設けている。詳細には、点滅周期調整手段２２は、前記点滅駆動回路２１の設置値の点滅周期による光源１１からの点滅光の点滅数が、前記最小フレーム内点滅光数に満たない場合に、前記点滅駆動回路２１から出力されるパルスの周期を、点滅光数が前記最小フレーム内点滅光数以上の数となる所定の周期へと調整するものであり、本実施の形態では、上記ソフトウエア資源による構成として実現されている。なお、点滅駆動回路２１の設定値において、前記点滅駆動回路２１の設置値の点滅周期による光源１１からの点滅光の点滅数が、前記最小フレーム内点滅光数以上の数となっている場合は、点滅周期調整手段２２は省略することもできる。
Therefore, in the present embodiment, the light emitting unit
詳細には、点滅周期調整手段２２は、ＣＯＭＳイメージセンサ８０の１回分の走査時間内に点滅駆動回路２１から出力される（その際の設定値である）点滅周期の点滅光の数が、前記最小フレーム内点滅光数未満の数となっている場合（例えば、最小フレーム内点滅光数が１１個の場合において、１回分の走査時間内に入力されている点滅光の数が１０個以下の数となっている場合）、点滅駆動回路２１による点滅駆動用の信号の周期を短くする（例えば、ＰＷＭ制御におけるパルスの周期を短くする）ことにより、ＣＯＭＳイメージセンサ８０の１回分の走査時間内に点滅駆動回路２１から出力される（新たな設定値である）点滅周期の点滅光の数が、前記最小フレーム内点滅光数以上の数になるように、点滅駆動回路２１を制御する（即ち、点滅駆動回路２１に対応する制御信号を出力して制御する）。例えば、最小フレーム内点滅光数が１１個の場合において、１回分の走査時間内に入力されている点滅光の数が１０個以下の数となっている場合、点滅周期調整手段２２は、１回分の走査時間内に入力されている点滅光の数が１１個以上の数となるように、点滅光の周期を早める。このように、例えば、１組の点滅光セットの点滅光数を６個とした場合に、フレーム内点滅光数を１１個以上（即ち、最小フレーム内点滅光数以上の数）とすれば、点滅光セットを複数セット連続的にＣＭＯＳイメージセンサ８０に入力したときに、ＣＭＯＳイメージセンサ８０に撮像されたイメージには、必ず、１セット分の点滅光セットの点滅光が完全に含まれる（即ち、いずれの点滅光も欠けることなく、全ての点滅光が含まれる）ことになり、データセットとしての点滅光セットの情報を欠けることなく読み出すことができるようになる。したがって、例えば、１組の点滅光セットの点滅光数を６個とした場合、フレーム内点滅光数は、少なくとも１１個とすることが好ましい。
Specifically, the blinking
このとき、ＣＭＯＳイメージセンサ８０の１回分の走査時間内に光源１１からの点滅光が何個撮像されるかは、例えば、実機としての光源１１から実機としてのカメラモジュール６０に点滅光を入力することで実験的に確認することもできる。即ち、この場合、図４に示すように、光源１１からの点滅光を、スマートフォンや通信機能付デジカメ等のコンピュータ装置からなる情報端末装置１００のカメラモジュール６０により撮影し、それらの点滅光を、レンズ６３を介してＣＭＯＳイメージセンサ８０に入射して実際に撮像して、情報端末装置１００のディスプレイ１１０に表示することにより、その撮像イメージからなる受信データ１１１に何対の明暗線が含まれるかを目視により確認する。そして、実際に撮像された明暗線の数が１１対未満の場合は、１１対以上となるように、点滅駆動回路２１によるパルス出力の周期を調節して設定することで、前記フレーム内点滅数を前記最小フレーム内点滅数以上の数に設定することができる。
At this time, how many blinking lights from the
＜点滅光セット設定手段＞
また、上記のように、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０に（所定複数の明暗線からなると共に、各明暗線の幅が所定幅となる）明暗線セットからなるパターンを撮像するために、光源１１から対応する点滅光セットの点滅光を出力する（即ち、明暗線セットと同一数の点滅光からなり、かつ、各点滅光の暗線の幅を各明暗線の所定幅と対応させた点滅光を出力する）必要がある。そこで、本実施の形態では、発光部側制御ユニット２０は、かかる点滅光セットの設定のために、点滅光セット設定手段２３を設けている。詳細には、点滅光設定手段２３により点滅光セットを設定していない状態では、点滅駆動回路２１から出力される信号（パルス）は、一定周期であり、点滅周期調整手段２２による周期調整を受けた後でも、やはり、点滅駆動回路２１は、調整後の一定周期の信号を出力している。そこで、点滅光セット設定手段２３は、前記点滅駆動回路２１から出力される信号を、１周期単位及びパルス単位で変調することにより、点滅駆動回路２１からの信号が前記点滅光セットの信号となるように変調する機能を実現するものであり、上記のソフトウエア資源による構成として実現されている。
<Flashing light set setting means>
Further, as described above, in the visible light communication system of the present invention including this embodiment, the
例えば、点滅光セットを合計６個の点滅光から構成し、かつ、各点滅光の周期をそれぞれ異なる値に設定する場合、点滅光セット設定手段２３は、点滅駆動回路２１から一定周期で連続して出力される信号を、６個単位で１セットとして設定し、かつ、各セットの各信号の周期を前記各点滅光の周期と一致する周期に設定し、その設定値を変調回路２４に出力する。具体的には、図５に示すように、点滅光セットが、６つの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６について、それぞれ、固有の（一定幅ではない）消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６を有する場合、各消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の間隔がそのような消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６とするための制御信号（即ち、変調回路２４が点滅駆動回路２１からの信号をそのような態様に変調するための制御信号）を変調回路２４に出力する。即ち、例えば、ある点滅光セットについて、６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２が、いずれも中間間隔の対として同一間隔に設定されると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４が、最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６が、最小間隔及び最大間隔の対として異なる間隔に設定されている場合、点滅駆動回路２１からの信号をそのような消灯部分Ｌ１〜Ｌ６の間隔Ｗ１〜Ｗ６とそれぞれ一致するように変調するための制御信号を、変調回路２４に出力する。
For example, when the flashing light set is composed of a total of six flashing lights and the cycle of each flashing light is set to a different value, the flashing light set setting means 23 continues from the flashing
＜変調回路＞
変調回路２４は、点滅駆動回路２１からの信号を入力すると共に、前記点滅光セット設定手段２３からの制御信号を受けて、点滅駆動回路２１から一定周期で連続して出力される信号を、６個単位で１セットとして、各セットの各信号の周期を前記各点滅光の周期と一致する周期に変調し、その変調後の信号を出力するものであり、ハードウエア資源による構成として実現されている。例えば、変調回路２４は、ある点滅光セットの６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２がいずれも中間間隔の対として同一間隔に設定されると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４が最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６が最小間隔及び最大間隔の対として異なる間隔に設定されている場合、点滅駆動回路２１からの信号をそのような消灯部分Ｌ１〜Ｌ６の間隔Ｗ１〜Ｗ６とそれぞれ一致するように変調して出力する。
<Modulation circuit>
The
＜発光駆動回路＞
発光駆動回路２５は、変調回路２４からの信号を入力し、その信号にしたがって光源１１を発光駆動するものであり、上記ハードウエア資源により構成されている。詳細には、発光駆動回路２５は、変調回路２４から前記点滅光セットに対応する信号（６個単位で１セットとされ、各セットの各信号の周期が前記各点滅光の周期と一致する周期に変調された変調後の信号）を受けて、その変調後の信号を増幅等した駆動信号を光源１１に出力する。これにより、光源は、発光駆動回路２５からの駆動信号にしたがって点滅発光し、例えば、上記のように、６個の点滅光を１セットとした点滅光セットであって、最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２がいずれも中間間隔の対として同一間隔に設定されると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４が最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６が最小間隔及び最大間隔の対として異なる間隔に設定されている点滅光セットを出力する。
<Light emission drive circuit>
The light
＜入力装置＞
入力装置２６は、前記点滅周期調整手段２２及び前記点滅光セット調整手段２４への入力インターフェースを提供するものであり、上記ハードウエア資源による構成として実現されている。詳細には、入力装置は、点滅周期調整手段２２に対して、前記点滅周期を調整して調整後の点滅周期を設定するための入力機能を提供すると共に、点滅光セット調整手段２４に対して、所望の各種の点滅光セットを設定するための入力機能を提供する。
<Input device>
The
［受光側装置］
次に、本実施の形態の受光側装置（受光部５０）について詳細に説明する。まず、前記カメラモジュール６０自体は、公知の構成であり、上記のとおり、筐体６１の前面開口部に絞り部６２を装着し、絞り部６２と同軸状にレンズ６３を配設している。そして、絞り部６２を介してレンズ６３から受光されたイメージが、デジタルシグナルプロセッサ（ＤＳＰ）７０の制御により、ＣＭＯＳイメージセンサ８０により撮像されて出力される。なお、図３に示すように、ＤＳＰ７０は、メモリコントロールユニット（ＭＣＵ）、クロック発生手段、ＲＧＢ補完処理手段、色再現調整手段、ノイズ除去手段、ホワイトバランス手段、γ補正手段、スケーラ手段、色差信号生成手段、輪郭補正手段、出力インターフェース等の公知の構成を備えている。また、ＣＭＯＳイメージセンサ８０自体も、公知の構成であり、駆動回路によりフォトダイオードアレイを駆動して撮像動作を行い、その撮像データ（アナログデータ）をＡ−Ｄコンバータによりデジタルデータへと変換して出力するモノであり、ＣＤＳ（相関二重サンプリング）によるノイズ低減機能を備えたものもある。
[Receiving device]
Next, the light receiving side device (light receiving unit 50) of the present embodiment will be described in detail. First, the camera module 60 itself has a known configuration. As described above, the
＜ＣＭＯＳイメージセンサによる撮像イメージ＞
上記のように、ＣＭＯＳイメージセンサ８０には、光源１１からの所定の点滅光セットの点滅光が、上記所定の固有の周期で連続的に入力され、それらの点滅光に対応する周期の明暗線が、ストライプ状のパターンとなる撮像イメージとして記録される。具体的には、図５に示す点滅光セットを入力した場合、ＣＭＯＳイメージセンサ８０には、その点滅光セットに対応して、図６に示すような明暗線セットが撮像される。即ち、図５に示すように、点滅光セットが、６つの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６について、それぞれ、固有の（一定幅ではない）消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６を有する場合、ＣＭＯＳイメージセンサ８０には、これに対応して、６対の明暗線から明暗線セットが撮像される。このとき、この撮像パターンである明暗線セットの暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６は、それぞれ、点滅光セットの消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６に相当し、かつ、各暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６は、各点滅光の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６に相当する値となり、固有の（一定幅ではない）値となる。
<Image captured by CMOS image sensor>
As described above, the flashing light of the predetermined flashing light set from the
具体的には、点滅光セットについて、６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２が、いずれも中間間隔の対として同一間隔に設定されると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４が、最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６が、最小間隔及び最大間隔の対として異なる間隔に設定されている場合を例にとる。この場合、ＣＭＯＳイメージセンサ８０に撮像される明暗線セットについては、６本の暗線の最初の２本の暗線Ｓ１，Ｓ２（開始部）の幅Ｗ１，Ｗ２は、消灯部Ｌ１，Ｌ２の消灯間隔Ｗ１，Ｗ２に対応して、いずれも中間間隔の対として同一間隔となる。また、次の２つの暗線（データ部の最初の２本の暗線）Ｓ３，Ｓ４の幅Ｗ３，Ｗ４は、消灯部分Ｌ３，Ｌ４の消灯間隔Ｗ３．Ｗ４に対応して、最小間隔及び最大間隔の対として異なる間隔となる。更に、次の２つの暗線（データ部の最後の２本の暗線）Ｓ５，Ｓ６は、消灯部分Ｌ５，Ｌ６の消灯間隔Ｗ５，Ｗ６に対応して、最小間隔及び最大間隔の対として異なる間隔となる。
Specifically, for the blinking light set, the extinguishing intervals W1 and W2 of the first two extinguishing portions L1 and L2 (starting portions) of the six blinking lights are set to the same interval as a pair of intermediate intervals. The next two extinguishing parts (first two extinguishing parts of the data part) L3, L4 are set to different intervals as a pair of the minimum interval and the maximum interval, and the next two extinguishing parts (the last part of the data part) As an example, the two extinction portions L5 and L6 are set to different intervals as a pair of the minimum interval and the maximum interval. In this case, for the bright and dark line set captured by the
＜撮像タイミングと撮像イメージ（１フレーム１２本の暗線撮像の場合）＞
ここで、例えば、光源１１から、６個の点滅光からなる点滅光セットを連続的に出力して、その点滅光をＣＭＯＳイメージセンサ８０により１フレーム分撮像した場合、ＣＭＯＳイメージセンサ８０のフレームの走査開始タイミングと光源１１からの点滅光セットの開始位置とが同期して一致している場合は、図６及び図７（ａ）に示すように、フレームの読取り方向（走査方向）における始端から明暗線セットの１本目の暗線が順番に連続して撮像されることになる。そして、例えば、ＣＭＯＳイメージセンサ８０の１フレーム内に１２対の明暗線（即ち、１２本の暗線）が撮像される場合は、１フレーム内に２セット分の明暗線セットが完全な態様で（即ち、各明暗線セットが６対の明暗線を含む態様で）撮像されることになる。一方、ＣＭＯＳイメージセンサ８０のフレームの走査開始タイミングと光源１１からの点滅光セットの開始位置とが同期していない場合は、図７（ｂ）及び図７（ｃ）に示すように、明暗線セットの１本目の暗線が、フレームの読取り方向における途中位置から順番に連続して撮像されることになる。そして、例えば、ＣＭＯＳイメージセンサ８０の１フレーム内に１２対の明暗線が撮像される場合は、１フレーム内に２セット分の明暗線セットは完全な態様で撮像されず、１セット分の明暗線セットのみが完全な態様で撮像されることになる。いずれにしても、明暗線セットの１本目の暗線が、フレームの読取り方向におけるどの位置から開始しても、少なくとも、１セット分の明暗線セットが完全な態様で撮像されることになる。
<Imaging timing and imaging image (in the case of
Here, for example, when a blinking light set consisting of six blinking lights is continuously output from the
＜撮像タイミングと撮像イメージ（１フレーム１１本の暗線撮像の場合）＞
また、図８に示すように、６個の点滅光からなる点滅光セットを連続的に出力する場合において、ＣＭＯＳイメージセンサ８０の１フレーム内に１１対の明暗線（即ち、１１本の暗線）が撮像されるようにした場合、かかる１１対の明暗線は、前記フレーム内最低明暗線数となるため、上記のとおり、ＣＭＯＳイメージセンサ８０における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも１組の点滅光セットの全ての点滅光をＣＭＯＳイメージセンサに撮像して、１組の明暗線セットを完全な態様で撮像することができる。例えば、光源１１から、６個の点滅光からなる点滅光セットを連続的に出力して、その点滅光をＣＭＯＳイメージセンサ８０により１フレーム分撮像した場合、ＣＭＯＳイメージセンサ８０のフレームの走査開始タイミングと光源１１からの点滅光セットの開始位置とが同期して一致している場合は、図８及び図９（ａ）に示すように、フレームの読取り方向（走査方向）における始端から明暗線セットの１本目の暗線が順番に連続して撮像されることになる。この場合、１フレーム内に１セット分の明暗線セットが完全な態様で撮像されることになる。一方、ＣＭＯＳイメージセンサ８０のフレームの走査開始タイミングと光源１１からの点滅光セットの開始位置とが同期していない場合は、図９（ｂ）及び図９（ｃ）に示すように、明暗線セットの１本目の暗線が、フレームの読取り方向における途中位置から順番に連続して撮像されることになる。そして、この場合も、１セット分の明暗線セットが完全な態様で撮像されることになる。いずれにしても、明暗線セットの１本目の暗線が、フレームの読取り方向におけるどの位置から開始しても、少なくとも、１セット分の明暗線セットが完全な態様で撮像されることになる。
<Imaging timing and imaging image (in the case of
In addition, as shown in FIG. 8, in the case where a blinking light set consisting of six blinking lights is continuously output, 11 pairs of bright and dark lines (that is, 11 dark lines) in one frame of the
＜明暗線撮像の機序＞
ここで、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０には、光源１１自体のイメージやその周囲の風景等のイメージが撮像されるのではなく、上記のとおり、入力された点滅光の点滅周期に対応する明暗線からなるストライプ状のパターン（即ち、所定の点滅光セットを入力し田場合は所定の明暗線セットからなるパターン）のみが撮像される。これは、ＣＭＯＳイメージセンサの動作機序（特に、蓄積した電化を順次走査方向に走査して読み出すという機序）に起因するものと予想される。即ち、例えば、ＣＭＯＳイメージセンサと共に固体撮像素子の典型例となるＣＣＤイメージセンサでは、グローバル露光と呼ばれる動作方式を採用し、同一期間中に各画素のフォトダイオードに入射した光（撮影イメージを反映した光）を、信号電荷として各画素のフォトダイオードに同時に蓄積し、全ての画素の電荷を同時に垂直ＣＣＤに読み出している。そのため、ＣＣＤイメージセンサは、電子シャッターと組み合わせることで、高速に移動する物体（即ち、高速動体）もその瞬間を止めて撮像することができ、撮像イメージに歪みが生じることはない。即ち、ＣＣＤイメージセンサの場合、全ての画素の信号電化の蓄積動作は同一期間に行われるため、いわゆる蓄積の同時性が維持される。
<Mechanism of bright and dark line imaging>
Here, in the visible light communication system of the present invention including the present embodiment, the
一方、ＣＭＯＳイメージセンサの場合、ライン露光又はローリングシャッターと呼ばれる動作方式を採用しており、同一期間中に各画素のフォトダイオードに入射した光（撮影イメージを反映した光）を、信号電荷として各画素のフォトダイオードに蓄積する際に、各画素のフォトダイオードにおける電荷の蓄積期間が走査方向における走査タイミングに依存し、走査線単位でみると、走査する時間差分だけ信号電荷の蓄積期間が走査方向にずれることになる。したがって、ＣＭＯＳイメージセンサの場合、高速動体を撮像すると、その撮像イメージに走査方向への歪み（いわゆる動体歪み）が生じる。 On the other hand, in the case of a CMOS image sensor, an operation method called line exposure or rolling shutter is adopted, and light incident on the photodiode of each pixel during the same period (light reflecting a photographed image) is used as a signal charge. When accumulating in the photodiode of the pixel, the charge accumulation period in the photodiode of each pixel depends on the scanning timing in the scanning direction. When viewed in units of scanning lines, the signal charge accumulation period is equal to the scanning time difference. It will shift to. Therefore, in the case of a CMOS image sensor, when a high-speed moving object is imaged, distortion in the scanning direction (so-called moving object distortion) occurs in the captured image.
本発明の可視光通信システムにおいて、ＣＭＯＳイメージセンサ８０に、所定の点滅光セットを入力した場合に所定の明暗線セットからなるパターンのみが撮像されるのは、このＣＭＯＳイメージセンサ８０に固有の動作方式によるものと推定される。即ち、ＣＭＯＳイメージセンサ８０の特性（解像度に応じた画素数、特に、走査方向の画素数、及び、１フレームの走査に要する走査時間等）に基づき、ＣＭＯＳイメージセンサ８０に入射した点滅光セットの各点滅光の点滅間隔（点滅周期）に対応する時間間隔の信号電荷が、ＣＭＯＳイメージセンサ８０の走査タイミングに応じて、順次、ＣＭＯＳイメージセンサ８０の走査方向（図６中の読取り方向）における対応画素に蓄積されることで、点滅光の点滅順序にしたがって、各点滅光の点滅周期に対応する固有の幅を有する明暗線が、ＣＭＯＳイメージセンサ８０の走査方向に順次撮像され、最終的に、点滅光セットに対応する明暗線セットのパターンが撮像イメージとして出力されると推定される。
In the visible light communication system of the present invention, when a predetermined blinking light set is input to the
［制御符号の具体例］
ここで、ＣＭＯＳイメージセンサ８０に撮像された明暗線セットを所定の制御用データ又は制御符号として利用する場合の具体例について説明する。まず、この場合、１個の点滅光がＣＭＯＳイメージセンサ８０で占める画素数について算出し、その画素数に基づき、点滅光の周期（特に、消灯部分の消灯間隔の値）を設定する。詳細には、まず、点滅光セットについて、例えば、光源１１としてＬＥＤを使用し、（必要に応じて点滅周期調整手段２２により周期を調整した）点滅駆動回路２１によって、２０００マイクロ秒で１周期となる波長の点滅光又はパルス光を光源１１から出力する場合において、デューティー比を５０とすると、各パルス光のオン時間間隔は１０００マイクロ秒となり、オフ時間間隔は１０００マイクロ秒となる。そして、この周期の点滅光を光源１１から出力した場合において、ＣＭＯＳイメージセンサ８０に１１対の明暗線が撮像される場合、ＣＭＯＳイメージセンサの解像度に基づき、１対の明暗線が占める画素数を算出できる。即ち、この場合において、例えば、ＣＭＯＳイメージセンサの走査方向の画素数が１０８０ピクセルである場合、１フレームの撮像イメージにおいて１対の明暗線が占める走査方向の画素数（ピクセル数）は、１０８０／１１＝約９８（１対の明暗線当たり約９８ピクセル）となる。即ち、２０００マイクロ秒／周期の点滅光は、ＣＭＯＳイメージセンサ８０において約９８ピクセル分の幅を有することになり、その暗線部分は、約４９ピクセル（約９８／２＝約４９）分の幅を有することになる。
[Specific examples of control codes]
Here, a specific example in the case where the bright and dark line set imaged by the
そこで、本実施の形態の可視光通信システムでは、点滅光の消灯部分の消灯間隔（１周期のオフ部分の時間間隔）を所定の調整単位で増減調整することで、結果的に、ＣＭＯＳイメージセンサ８０に撮像される明暗線の暗線の幅を調整し、その調整幅の値をＩＤ化することで、制御用データ又は制御符号として使用する。具体的には、点滅光の消灯部分の消灯間隔の調整単位は、１単位１００マイクロ秒とする（即ち、消灯部分の時間間隔である１０００マイクロ秒の１０分の１の間隔とする）。この場合、点滅光の消灯部分の時間間隔について１単位分の増減調整を行うと、対応する明暗線の暗線の幅は、ＣＭＯＳイメージセンサ８０の約５ピクセル分の幅となる（約４９／１０＝約５）。そして、上記のように、点滅光セットを６個の点滅光から構成し、明暗線セットに６本の暗線Ｓ１〜Ｓ６を含むようにした場合において、各点滅光の消灯部分Ｌ１〜Ｌ６の消灯間隔Ｗ１〜Ｗ６を、基準値としての１０００マイクロ秒に対して１００マイクロ秒単位で増減調整すると、各暗線Ｓ１〜Ｓ６の幅Ｗ１〜Ｗ６は、基準値である約４９ピクセルに対して約５ピクセル単位で増減調整される。なお、各明線の幅は、増減調整されず、（点滅光の点灯部分の時間間隔の設定値である１０００マイクロ秒に対応する）約４９ピクセル分の同一幅となる。また、点滅光の消灯部分の消灯間隔の増減調整は、例えば、発光部側制御ユニット２０を構成するマイコン等のｄｅｌａｙ関数（又は、ｄｅｌａｙＭｉｃｒｏｓｅｃｏｎｄｓ関数）を使用して実現することができる。
Therefore, in the visible light communication system according to the present embodiment, the extinction interval (time interval of the off portion of one cycle) of the blinking light extinction portion is increased or decreased by a predetermined adjustment unit, resulting in a CMOS image sensor. By adjusting the width of the dark line of the bright and dark lines imaged at 80 and converting the value of the adjustment width into an ID, it is used as control data or control code. Specifically, the adjustment unit of the turn-off interval of the turn-off portion of the flashing light is set to 100 microseconds per unit (that is, an interval of 1 / 10th of 1000 microseconds which is the time interval of the turn-off portion). In this case, when the increase / decrease adjustment for one unit is performed for the time interval of the extinguishing part of the flashing light, the width of the dark line of the corresponding bright / dark line becomes the width of about 5 pixels of the CMOS image sensor 80 (about 49/10). = About 5). As described above, when the blinking light set is composed of six blinking lights and the dark / light line set includes six dark lines S1 to S6, the extinction portions L1 to L6 of each blinking light are turned off. When the intervals W1 to W6 are increased or decreased in units of 100 microseconds with respect to 1000 microseconds as the reference value, the widths W1 to W6 of the dark lines S1 to S6 are about 5 pixels with respect to the reference value of about 49 pixels. Increase / decrease in units. Note that the width of each bright line is not increased or decreased, and is the same width of about 49 pixels (corresponding to 1000 microseconds, which is the set value of the time interval of the blinking light lighting portion). The increase / decrease adjustment of the turn-off interval of the turn-off portion of the flashing light can be realized, for example, using a delay function (or a delay Microseconds function) such as a microcomputer configuring the light emitting unit
＜制御符号の具体例１＞
この場合について更に詳細に説明すると、まず、６個の点滅光の消灯部分Ｌ１〜Ｌ６について、以下のように消灯間隔Ｗ１〜Ｗ６を前記調整単位で増減調整することができる。
消灯部分Ｌ１（プリコード）の間隔Ｗ１：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ２（プリコード）の間隔Ｗ２：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ３（コード）の間隔Ｗ３：−１００（１００マイクロ秒減少）
消灯部分Ｌ４（コード）の間隔Ｗ４：１００（１００マイクロ秒増加）
消灯部分Ｌ５（コード）の間隔Ｗ５：−４００（４００マイクロ秒減少）
消灯部分Ｌ６（コード）の間隔Ｗ６：４００（４００マイクロ秒増加）
<Specific example 1 of control code>
This case will be described in more detail. First, with respect to the extinguishing portions L1 to L6 of the six blinking lights, the extinguishing intervals W1 to W6 can be increased or decreased by the adjustment unit as follows.
Unlit portion L1 (precode) interval W1: 0 (zero adjustment, ie no increase or decrease)
Unlit portion L2 (precode) interval W2: 0 (zero adjustment, ie no increase or decrease)
Unlit portion L3 (code) interval W3: -100 (100 microsecond decrease)
L4 (code) interval W4: 100 (100 microsecond increase)
Unlit portion L5 (code) interval W5: -400 (400 microsecond decrease)
Interval L6 (code) interval W6: 400 (400 microsecond increase)
したがって、制御符号の具体例１の場合、６本の明暗線における暗線Ｓ１〜Ｓ６の幅Ｗ１〜Ｗ６は、上記点滅光の消灯部分Ｌ１〜Ｌ６の幅Ｗ１〜Ｗ６の増減に対応する値となる。即ち、図１０に示すように、プリコードとなる暗線Ｓ１及び暗線Ｓ２の幅は、共に、（点滅光の暗線部分の基準値である１００マイクロ秒に対応する）基準値である約５ピクセル分を１単位として、１０単位分の幅となる。また、コードとなる暗線Ｓ３及び暗線Ｓ４の幅は、基準値である約５ピクセル分を１単位として、それぞれ、９単位分の幅及び１１単位分の幅となる。また、コードとなる暗線Ｓ５及び暗線Ｓ６の幅は、基準値である約５ピクセル分を１単位として、それぞれ、６単位分の幅及び１４単位分の幅となる。なお、図１０では、説明の便宜上、（実際は図９等に示すように走査方向に連続する）暗線Ｓ１〜Ｓ６を、暗線単位で分割して描画し、かつ、暗線Ｓ１〜Ｓ６を基準値である約５ピクセル分を１単位として分割するよう描画しているが、実際は、単位間の直線が表れるものではない。 Therefore, in the case of specific example 1 of the control code, the widths W1 to W6 of the dark lines S1 to S6 in the six bright and dark lines are values corresponding to the increase and decrease of the widths W1 to W6 of the extinguishing portions L1 to L6 of the flashing light. . That is, as shown in FIG. 10, the widths of the dark line S1 and the dark line S2 serving as pre-code are both about 5 pixels which is a reference value (corresponding to 100 microseconds which is the reference value of the dark line part of the flashing light). Is a unit of 10 units. Further, the widths of the dark line S3 and the dark line S4 serving as codes are 9 units and 11 units, respectively, with a reference value of about 5 pixels as one unit. The widths of the dark line S5 and the dark line S6 serving as codes are 6 units and 14 units, respectively, with a reference value of about 5 pixels as one unit. In FIG. 10, for convenience of explanation, the dark lines S1 to S6 (actually continuous in the scanning direction as shown in FIG. 9 and the like) are drawn by being divided in units of dark lines, and the dark lines S1 to S6 are used as reference values. Although drawing is performed so that about 5 pixels are divided as one unit, a straight line between units does not actually appear.
＜制御符号の具体例２＞
また、６個の点滅光の消灯部分Ｌ１〜Ｌ６について、以下のように消灯間隔Ｗ１〜Ｗ６を前記調整単位で増減調整することもできる。
消灯部分Ｌ１（プリコード）の間隔Ｗ１：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ２（プリコード）の間隔Ｗ２：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ３（コード）の間隔Ｗ３：−４００（４００マイクロ秒減少）
消灯部分Ｌ４（コード）の間隔Ｗ４：４００（４００マイクロ秒増加）
消灯部分Ｌ５（コード）の間隔Ｗ５：−２００（２００マイクロ秒減少）
消灯部分Ｌ６（コード）の間隔Ｗ６：２００（２００マイクロ秒増加）
<Specific example 2 of control code>
Further, the extinguishing intervals W1 to W6 of the six blinking light extinguishing parts L1 to L6 can be increased or decreased by the adjustment unit as follows.
Unlit portion L1 (precode) interval W1: 0 (zero adjustment, ie no increase or decrease)
Unlit portion L2 (precode) interval W2: 0 (zero adjustment, ie no increase or decrease)
L3 (code) interval W3: -400 (400 microsecond decrease)
Interval L4 (code) interval W4: 400 (400 microsecond increase)
Unlit portion L5 (code) interval W5: -200 (200 microsecond decrease)
Interval L6 (code) interval W6: 200 (200 microsecond increase)
＜制御符号の具体例３＞
また、６個の点滅光の消灯部分Ｌ１〜Ｌ６について、以下のように消灯間隔Ｗ１〜Ｗ６を前記調整単位で増減調整することもできる。
消灯部分Ｌ１（プリコード）の間隔Ｗ１：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ２（プリコード）の間隔Ｗ２：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ３（コード）の間隔Ｗ３：４００（４００マイクロ秒増加）
消灯部分Ｌ４（コード）の間隔Ｗ４：−４００（４００マイクロ秒減少）
消灯部分Ｌ５（コード）の間隔Ｗ５：２００（２００マイクロ秒増加）
消灯部分Ｌ６（コード）の間隔Ｗ６：−２００（２００マイクロ秒減少）
<Specific example 3 of control code>
Further, the extinguishing intervals W1 to W6 of the six blinking light extinguishing parts L1 to L6 can be increased or decreased by the adjustment unit as follows.
Unlit portion L1 (precode) interval W1: 0 (zero adjustment, ie no increase or decrease)
Unlit portion L2 (precode) interval W2: 0 (zero adjustment, ie no increase or decrease)
Unlit portion L3 (code) interval W3: 400 (increase of 400 microseconds)
Unlit portion L4 (code) interval W4: -400 (400 microsecond decrease)
Unlit portion L5 (code) interval W5: 200 (200 microsecond increase)
Unlit portion L6 (code) interval W6: -200 (200 microsecond decrease)
また、上記点滅光セットによりＣＭＯＳイメージセンサ８０に撮像される明暗線セットの例を、図１１（ａ）〜（ｃ）に示す。図１１（ａ）の例は、点滅光のデューティー比を５０とした場合の例を示す。即ち、図１１（ａ）の例では、基準値と同一幅となる暗線Ｓ１，Ｓ２の幅Ｗ１，Ｗ２が、（全て同一幅となる）明線の幅と同一となっている。また、図１１（ｂ）の例は、点滅光のデューティー比を５０より小さくとした場合の例を示す。即ち、図１１（ｂ）の例では、デューティー比の減少にしたがって暗線の幅の基準値が相対的に小さくなり、かつ、明線の幅の設定値が相対的に大きくなるため、暗線Ｓ１，Ｓ２の幅Ｗ１，Ｗ２が、明線の幅よりも小さくなっている。また、図１１（ｃ）の例は、点滅光のデューティー比を５０より小さくとした場合の例を示す。即ち、図１１（ｃ）の例でも、デューティー比の減少にしたがって暗線の幅の基準値が相対的に小さくなり、かつ、明線の幅の設定値が相対的に大きくなるため、暗線Ｓ１，Ｓ２の幅Ｗ１，Ｗ２が、明線の幅よりも小さくなっている。このように、点滅光のデューティー比を５０以外の値として点滅光セットを構成することもできるが、いずれの場合も、上記制御符号の具体例のように、点滅光の消灯間隔を増減調整して明暗線の暗線の幅を増減調整することで、所望の制御用データ又は制御符号を得ることができる。
Moreover, the example of the bright-dark line set imaged by the
＜受光部側制御ユニット＞
次に、受光部側制御ユニット９０は、上記のように所定の明暗線セットからなる撮像イメージを出力するＣＭＯＳイメージセンサ８０に接続され、ＣＭＯＳイメージセンサ８０の出力を受けて所定の制御動作を行うものであり、本実施の形態の受光側装置の特徴的な構成である。受光部側制御ユニット９０は、ハードウエア資源による構成としての各種のマイコン（マイクロコンピュータ）に対して、後述するような所定の機能を当該マイコンに実現させる（各種プログラム等の）ソフトウエア資源による構成を組み合わせて構成することができる。詳細には、受光部側制御ユニット９０は、パターン認識手段９１、マッチング手段９２、及び、指令手段９３を備える構成とすることができる。
<Light receiving unit side control unit>
Next, the light receiving unit
＜パターン認識手段＞
パターン認識手段９１は、ＣＭＯＳイメージセンサ８０の出力した撮像イメージを入力して、その撮像イメージのパターンを認識するものであり、例えば、上記ソフトウエア資源による構成として実現することができる。即ち、パターン認識手段９１は、ＣＭＯＳイメージセンサ８０の出力した明暗線セットのパターンにおいて走査方向（読取り方向）に連続する各明暗線（制御符号として暗線を使用した場合は各暗線）と、各明暗線の幅（制御符号として暗線を使用した場合は暗線の幅）とを認識し、その認識結果に応じた制御信号を出力する。例えば、上記制御符号の具体例１（図１０参照）のように制御符号を校正した場合、パターン認識手段９１は、まず、プリコードとしての暗線Ｓ１，Ｓ２を、その幅Ｗ１，Ｗ２により認識し（即ち、暗線Ｓ１，Ｓ２の幅Ｗ１，Ｗ２が基準値と同一値であることを認識し）、これに続くコードである一対の暗線Ｓ３，Ｓ４及び一対の暗線Ｓ５，Ｓ６を認識する。このとき、パターン認識手段９１は、一対の暗線Ｓ３，Ｓ４の幅Ｗ３，Ｗ４の基準値からの増減幅、及び、一対の暗線Ｓ５，Ｓ６の幅Ｗ５，Ｗ６の基準値からの増減幅を認識し、それらの増減幅をＩＤ情報として利用する。具体的には、前記制御符号の具体例１では、パターン認識手段９１は、図１０に示すように、暗線Ｓ１〜Ｓ６の幅Ｗ１〜Ｗ６の基準値からの増減幅が、「０＿０＿−１００＿１００＿−４００＿４００」からなる配列であると認識し、この配列（特に、コード部分の配列である「−１００＿１００＿−４００＿４００」）を一意のコード情報又は識別子（即ち、ＩＤ）として、対応する信号を出力する。
<Pattern recognition means>
The
＜マッチング手段＞
マッチング手段９２は、パターン認識手段９１からの信号を入力し、パターン認識手段９１の認識結果を、所定の処理とマッチングするものであり、例えば、上記ソフトウエア資源による構成として実現することができる。詳細には、前記明暗線セットのパターンに応じた特定の処理をコンピュータ装置に実行させるための特定の指令情報が、異なる明暗線セットごとに対応付けて用意されている（例えば、データベースに格納されている）。よって、マッチング手段９２は、パターン認識手段９１から入力された（明暗線セットの制御符号の内容に対応する）一意のコード情報を表す信号に基づき、ＣＭＯＳイメージセンサ８０に撮像された明暗線セットのパターンを、特定の指令情報とマッチングし、そのマッチング情報に対応する信号を出力する。
<Matching means>
The matching
＜指令手段＞
指令手段９３は、マッチング手段９２からの信号を入力し、その信号に対応する指令情報を出力するものであり、例えば、上記ソフトウエア資源による構成として実現することができる。例えば、指令手段９３は、マッチング手段９２からのマッチング情報に基づき、コンピュータ装置に特定の処理を実行させるための指令情報を出力することができ、この指令情報に応答して、コンピュータ装置が、例えば、その出力装置９４に、所定の情報（映像、画像、音声等）を出力するよう構成することができる。
<Command means>
The
［使用方法］
本実施の形態の可視光通信システムは、例えば、以下のようにして使用することができる。即ち、図４に示すように、まず、カメラ装置（例えば、情報端末装置１００のカメラモジュール６０）をオンする一方で、光源１１から所定の点滅光セットからなる点滅光を出力し、この点滅光をカメラモジュール６０のレンズ６３を介して撮影し、ＣＭＯＳイメージセンサ８０の１フレームに撮像する。このときの撮像は、静止画により行ってもよく、動画により行ってもよい。動画による撮像とすると、制御符号の情報量を多く確保することができる。いずれにしても、１フレーム内に少なくとも１つの明暗線セットが過不足なく撮像されればよい。そして、ＣＭＯＳイメージセンサ８０の撮像パターンをパターン認識手段９１により認識してＩＤ等の制御符号に変換し、マッチング手段９２によりその認識結果に応じたマッチング情報を出力して、指令手段９３によりそのマッチング情報に対応する指令をコンピュータ装置に出力する。なお、パターン認識手段９１により認識した明暗線セットの撮像パターンは、情報端末装置１００のディスプレイ１１０等にそのまま表示してもよいが、表示しないよう構成することもできる（即ち、プログラムの仕様により任意の設定とすることができる）。
[how to use]
The visible light communication system of the present embodiment can be used as follows, for example. That is, as shown in FIG. 4, first, the camera device (for example, the camera module 60 of the information terminal device 100) is turned on, while the
［作用効果］
上記実施の形態を含む本発明の可視光通信装置によれば、光源１１の明るさ（即ち、輝度）の変化によってもＣＭＯＳイメージセンサ８０における撮像イメージのパターン（明暗線の周期や幅）は影響されず、光源１１からの点滅光セットに常に対応する明暗線セットを得ることができるため、安定した動作が可能となる。また、光源１１からの距離に関係なく（即ち、光源１１からカメラモジュール６０等のカメラ装置までの距離が遠くても近くても）、撮影によりＣＭＯＳイメージセンサ８０に撮像される明暗線セットの明暗線の幅は変わることがなく、常に、点滅光セットの点滅間隔に対応する幅となる。即ち、明暗線の（幅調製される）暗線の幅は、点滅光の消灯部分の時間間隔にのみ依存して決定される。更に、カメラモジュール６０等のカメラ装置を光源１１に対して傾斜させて撮影しても、ＣＭＯＳイメージセンサに撮像される明暗線セットの明暗線が傾斜することはなく、常に、走査方向に直交する直線状となる。よって、このようなバイに対処するための補正機能が不要となり、カメラ装置をどの角度として撮影しても所期の良好な結果を得ることができる。また、光源１１は、点滅光を出力するが、この点滅動作は（上記のように、周期２０００マイクロ秒等の）高速点滅動作となるため、通常の点灯状態と同様に視認され、点滅光にＩＤが含まれているにもかかわらず、人には認識できないものとなっている。また、従来の可視光通信は、「０」及び「１」のビット情報からなるタイムラインの信号を読み取るが、本発明は、撮像イメージをストライプ状の縞模様としてＩＤ化すると共に、ＣＭＯＳイメージセンサの１フレームを撮像する間に一つのＩＤが含まれる構成であるため、非常に高速動作が可能となる。なお、この動作速度は、使用するカメラ装置やスマートフォン等に実装したカメラモジュールのＣＭＯＳイメージセンサの性能に応じた１秒間のフレーム数に依存し、ＣＭＯＳイメージセンサの精度やリフレッシュレートに依存する。
[Function and effect]
According to the visible light communication device of the present invention including the above-described embodiment, the pattern of the captured image (period and width of bright and dark lines) in the
［撮像パターンの使用例］
上記実施の形態を含む本発明の可視光通信装置によれば、明暗線セットからなる撮像パターンの制御符号は、ＩＤとして使用することができるが、制御符号をコード化して文字データとしたり、制御符号をＵＲＬを表す情報として使用することもでき、或いは、エラー訂正のための符号として使用することもできる。ＵＲＬとして実現する場合、そのＵＲＬを送信して対応するウエブページを取得する等の処理をコンピュータ装置に実行させることもできる。なお、制御符号をＩＤ化する場合は、明暗線セットは、上記のようにＣＭＯＳイメージセンサ８０の１フレーム内に収まる情報量ですむが、文字コード化する場合、２〜３フレーム分の情報量が必要となる。また、ＵＲＬ化する場合も、同様に、２〜３フレーム分の情報量が必要となる。
[Examples of using imaging patterns]
According to the visible light communication device of the present invention including the above embodiment, the control code of the imaging pattern made up of the light and dark line set can be used as an ID. The code can be used as information representing a URL, or can be used as a code for error correction. When realized as a URL, the computer device can also execute processing such as transmitting the URL and acquiring a corresponding web page. When the control code is converted into an ID, the bright and dark line set can be an amount of information that can be accommodated in one frame of the
［本発明の範囲］
［別例１（ＲＧＢ出力による情報量増大）］
上記実施の形態の可視光通信システムで説明した構成以外に、本発明の可視光通信システムは、各部の構成を変更して実施することもできる。例えば、上記実施の形態では、光源１１から白色光等の同一色又は単色の点滅光を出力し、この点滅光からなる点滅光セットの各消灯部分の消灯間隔を増減調整することで、ＣＭＯＳイメージセンサ８０に撮像する明暗線セットの各暗線の幅を増減調整して符号化している。即ち、明暗線セットをモノクロ情報として撮像している。しかし、光源１１からＲＧＢ（赤、緑、青）の３原色の光からなる点滅光を選択的に出力し、この３原色の点滅光からなる点滅光セットの各消灯部分の消灯間隔を増減調整することで、ＣＭＯＳイメージセンサ８０に撮像する明暗線セットの各暗線の幅を増減調整して符号化することもできる。この場合、明暗線セットの明線の色を認識することにより、明暗線セットによる符号化の際の情報量を、モノクロ情報として撮像する場合の情報量の３乗の情報量を確保することができる。更に、ＲＧＢの３原色以外の色を使用して、色数を増やすことも可能である。ただし、色数を増やすと、それに応じてエラーが増加するので、エラーが増加しないよう、色数を所定数以下に抑える必要がある。また、ＣＭＯＳイメージセンサの１フレーム分のスペースの制約もあるため、色数を大きく増加することは好ましくない。
[Scope of the present invention]
[Another example 1 (Increase of information amount by RGB output)]
In addition to the configuration described in the visible light communication system of the above embodiment, the visible light communication system of the present invention can be implemented by changing the configuration of each unit. For example, in the above-described embodiment, a CMOS image is obtained by outputting blinking light of the same color or single color such as white light from the
［別例２（明暗線セット）］
また、上記実施の形態では、明暗線セットの最初の２本の暗線を同一幅の暗線としてプリコードとして使用しているが、プリコードとしては、他の本数及び／又は幅（例えば、異なる幅）の暗線を使用することもできる。また、上記実施の形態では、明暗線セットは、６本の暗線からなる構成としているが、これを他の本数からなる構成とすることもできる。更に、明暗線セットの明線の幅を認識して符号化する構成としたり、明暗線セットの明線の幅及び暗線の幅を共に認識して符号化する構成とすることも理論上は可能である。
[Another example 2 (bright and dark line set)]
In the above embodiment, the first two dark lines in the light / dark line set are used as pre-coded as dark lines of the same width, but other numbers and / or widths (for example, different widths) are used as pre-coded. ) Dark lines can also be used. Moreover, in the said embodiment, although the light-dark line set is set as the structure which consists of six dark lines, it can also be set as the structure which consists of another number. Furthermore, it is theoretically possible to recognize and encode the bright line width of the bright and dark line set, or to recognize and encode both the bright line width and dark line width of the bright and dark line set. It is.
［別例３（左右一対の構成）］
また、上記実施の形態を含む本発明の可視光通信装置において、左右一対の光源を用意すると共に、左側の光源からの点滅光セットを音声出力用とし、右側の光源からの点滅光セットを映像（動画）出力用とすることもできる。
[Another example 3 (a pair of left and right configurations)]
In the visible light communication apparatus of the present invention including the above embodiment, a pair of left and right light sources are prepared, a blinking light set from the left light source is used for audio output, and a blinking light set from the right light source is displayed as an image. It can also be used for (movie) output.
［別例４（ＣＭＯＳイメージセンサ）］
まず、本発明の可視光通信システムの全体構成において、前記受光素子としての撮像素子としてＣＭＯＳイメージセンサを使用する場合、ＣＭＯＳイメージセンサとしては、直線状の構成のものに加え、直線状でない構成のもの（例えば、曲線状の構成のもの等、非直線形状の構成のもの）も理論上は製作可能であり、将来的に開発されるこのようなＣＭＯＳイメージセンサも含め、任意のＣＭＯＳイメージセンサを使用することもできる。
[Example 4 (CMOS image sensor)]
First, in the overall configuration of the visible light communication system of the present invention, when a CMOS image sensor is used as the image sensor as the light receiving element, the CMOS image sensor has a non-linear configuration in addition to a linear configuration. (E.g., a non-linear configuration such as a curved configuration) can be manufactured theoretically, and any CMOS image sensor including such a CMOS image sensor to be developed in the future can be used. It can also be used.
［別例５（受光素子）］
また、上記実施の形態を含む本発明の可視光通信システムの全体構成においては、前記受光素子としての撮像素子（イメージセンサ）としては、ＣＭＯＳイメージセンサを典型的な撮像素子として使用しているが、ＣＭＯＳイメージセンサ以外にも、ＣＭＯＳイメージセンサと同等の撮像動作を行うイメージセンサを使用することもできる。即ち、本発明の受光素子は、ＣＣＤイメージセンサのように同時にイメージを取得する撮像方式（グローバル露光方式又は同時撮像方式）ではなく、ＣＭＯＳイメージセンサのようにずれたタイミングでイメージを取得する撮像方式（ライン露光方式又は順次撮像方式）と同等の撮像方式による撮像を行うものであれば、将来的に開発されるイメージセンサも含め、任意のイメージセンサを使用することができる。即ち、本発明の受光側装置に必要な本質的性質は、「同時にイメージを取得するものではない（ずれたタイミングで取得する）」構造であることであり、このような構造を備える限り、任意の構成を採用することができる。
[Another example 5 (light receiving element)]
Further, in the entire configuration of the visible light communication system of the present invention including the above embodiment, a CMOS image sensor is used as a typical image sensor as the image sensor (image sensor) as the light receiving element. In addition to the CMOS image sensor, an image sensor that performs an imaging operation equivalent to that of the CMOS image sensor can also be used. That is, the light receiving element of the present invention is not an image pickup method (global exposure method or simultaneous image pickup method) for acquiring images simultaneously like a CCD image sensor, but an image pickup method for acquiring images at a shifted timing as in a CMOS image sensor. Any image sensor including an image sensor that will be developed in the future can be used as long as the image is picked up by an image pickup method equivalent to the line exposure method or the sequential image pickup method. That is, the essential property required for the light-receiving side device of the present invention is a structure that “does not acquire images at the same time (acquires at a shifted timing)”. The configuration can be adopted.
［別例６（変調手段）］
上記実施の形態では、変調手段は、電気回路によるハードウエア構成からなる変調回路により実現され、光源に供給する発光駆動用の電力を制御する構成とされているが、光源から前記点滅光セットを出力できる限りにおいて、電力での変調以外の構成も採用することができ、例えば、液晶シャッターによる構成等、任意の構成を採用することができる。
[Another example 6 (modulation means)]
In the above embodiment, the modulation means is realized by a modulation circuit having a hardware configuration by an electric circuit, and is configured to control the power for driving light emission supplied to the light source. As long as output is possible, a configuration other than modulation with electric power can be employed. For example, an arbitrary configuration such as a configuration using a liquid crystal shutter can be employed.
［別例７（本発明の本質的特徴に関する別例）］
可視光通信システムに具体化される本発明の本質的特徴は、大きく、以下の二点にある。即ち、（１）使用する撮像素子の「非同時のイメージ取得」という特性を用いることで、フレームレートを上回る転送レートを出す仕組み、及び、（２）この撮像素子に載せるコード及びデコード手法又は符号化・復号化手法（なお、今回の実装に係るコード・デコード手法はごく一例を示すにすぎない）。例えば、本発明の可視光通信システムは、光源の明るさの変化にできるだけ追従する工夫も盛り込んでいる（以下、この工夫に係る機能実現手段を「明度変化追従手段」という）。更には、本発明の可視光通信システムは、「ゆっくり明滅する光源」にも安定してデータを載せられる（任意に、即時に、データが得られる）工夫をしている（以下、この工夫に係る機能実現手段を「低速点滅光源用データ安定化手段」という）。また、本発明の可視光通信システムは、光源にフルカラーＬＥＤを使用する場合は、フルカラーＬＥＤの各色のＬＥＤを個別に駆動することで（同期しつつも独立した情報を載せることで）、単位時間あたりに送信できる容量を増やせるという大変重要な性質を備えている（以下、この性質を達成するための機能実現手段を「データ送信容量増大手段」という）。
[Another example 7 (another example regarding the essential features of the present invention)]
The essential features of the present invention embodied in the visible light communication system are largely the following two points. That is, (1) a mechanism for obtaining a transfer rate that exceeds the frame rate by using the characteristic of “non-simultaneous image acquisition” of the image sensor to be used, and (2) a code and a decoding method or code to be placed on the image sensor (The code decoding method according to this implementation is only an example). For example, the visible light communication system of the present invention incorporates a device that follows as much as possible the change in the brightness of the light source (hereinafter, the function realization device relating to this device is referred to as “brightness change tracking device”). Furthermore, the visible light communication system of the present invention is devised so that data can be stably placed on a “light source that blinks slowly” (data can be obtained immediately and arbitrarily) (hereinafter, this contrivance is used). Such function realization means is referred to as “slow blinking light source data stabilization means”). Further, in the visible light communication system of the present invention, when a full color LED is used as a light source, each color LED of the full color LED is individually driven (by putting independent information while being synchronized), and unit time It has a very important property of increasing the capacity that can be transmitted per unit (hereinafter, function realizing means for achieving this property is referred to as “data transmission capacity increasing means”).
［別例７（撮像動作の時間間隔）］
上記実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、（ＣＭＯＳイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して）一定時間間隔ごとに入力データとしての点滅光セットの各点滅光を撮像する構成であるが、この入力データの撮像のための時間間隔は、一定時間間隔でなくともよい。例えば、その時間間隔が既知であればその非一定の時間間隔を既知の情報に基づいて調整することで（或いは、未知であっても、事前校正することで）、本発明の可視光通信システムを構成することができる。また、この時間間隔が仮にランダムであったとしても、その揺らぎが一定範囲以内であれば、その揺らぎ範囲を考慮した制御を行うことで、本発明の可視光通信システムを構成することができる。即ち、撮像素子の撮像動作における前記時間間隔の要件としては、時間がずれていること（また、更には、ある時間間隔以下であること）だけが必要である。即ち、本発明の可視光通信システムは、入力データの撮像のための時間間隔が非一定である一方で既知の場合においてその非一定の時間間隔を既知の情報（即ち、既知の非一定時間間隔）に基づいて調整するための機能実現手段（以下、「非一定時間間隔調整手段」という）、入力データの撮像のための時間間隔が非一定である一方で既知の場合においてその非一定の時間間隔が未知の場合においてその非一定の時間間隔を事前校正するための機能実現手段（以下、「非一定時間間隔事前校正手段」という）、及び、入力データの撮像のための時間間隔が仮にランダムである一方でその揺らぎが一定範囲以内である場合においてその揺らぎ範囲を考慮した制御を実行するための機能実現手段（以下、「揺らぎ範囲に基づく非一定時間間隔制御手段」という）を設けることで、入力データの撮像のための時間間隔が非一定又はランダムである場合においても、上記と同様に所定の点滅光セットに応じた所定の明暗線セットを復元可能である。
[Another example 7 (time interval of imaging operation)]
In the visible light communication system of the present invention including the above-described embodiment, an imaging device such as a CMOS image sensor inputs a blinking light set from a light source over time, and corresponds to a rolling shutter function of a CMOS image sensor or the like. Although the configuration is such that each blinking light of the blinking light set as input data is captured at regular time intervals (using a function), the time interval for imaging the input data may not be a regular time interval. For example, if the time interval is known, the non-constant time interval is adjusted based on known information (or even if unknown, it is calibrated in advance), so that the visible light communication system of the present invention is used. Can be configured. Even if this time interval is random, if the fluctuation is within a certain range, the visible light communication system of the present invention can be configured by performing control in consideration of the fluctuation range. In other words, the time interval requirement in the image pickup operation of the image pickup device is only required to be shifted in time (and further, to be less than a certain time interval). That is, in the visible light communication system of the present invention, the time interval for imaging the input data is non-constant, but in the known case, the non-constant time interval is changed to known information (that is, the known non-constant time interval). ) Based on the function realization means (hereinafter referred to as “non-constant time interval adjusting means”), the time interval for imaging the input data is non-constant, but in the known case, the non-constant time Function realization means for pre-calibrating the non-constant time interval when the interval is unknown (hereinafter referred to as “non-constant time interval pre-calibration means”), and the time interval for imaging the input data is randomly random On the other hand, when the fluctuation is within a certain range, a function realization means for executing control in consideration of the fluctuation range (hereinafter referred to as “non-constant time interval control based on the fluctuation range”). In the case where the time interval for imaging the input data is non-constant or random, it is possible to restore a predetermined light / dark line set corresponding to a predetermined flashing light set as described above. is there.
［別例８（撮像動作の方向）］
上記実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、（ＣＭＯＳイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して）所定の方向（又は一定方向）に入力データとしての点滅光セットの各点滅光を撮像する構成であるが、この入力データの撮像のための方向は、一定方向でなくともよい。例えば、その方向が一定でなくても、その撮像順序が既知であればその非一定の方向を既知の情報に基づいて調整することで（或いは、未知であっても、事前校正することで）本発明の可視光通信システムを構成することができる。即ち、本発明の可視光通信システムは、入力データの撮像方向又は撮像順序が非一定方向である一方で既知の場合においてその非一定方向を既知の撮像順序に基づいて調整するための機能実現手段（以下、「非一定撮像順序調整手段」という）、入力データの撮像方向が非一定である一方で未知の場合においてその非一定の時間間隔を事前校正するための機能実現手段（以下、「非一定撮像順序事前校正手段」という）を設けることで、入力データの撮像順序が非一定又はランダムである場合においても、上記と同様に所定の点滅光セットに応じた所定の明暗線セットを復元可能である。
[Another example 8 (direction of imaging operation)]
In the visible light communication system of the present invention including the above-described embodiment, an imaging device such as a CMOS image sensor inputs a blinking light set from a light source over time, and corresponds to a rolling shutter function of a CMOS image sensor or the like. This is a configuration in which each blinking light of the blinking light set as input data is imaged in a predetermined direction (or a certain direction) using the function, but the direction for imaging this input data is not necessarily a certain direction. Good. For example, even if the direction is not constant, if the imaging order is known, the non-constant direction can be adjusted based on known information (or even if unknown, by pre-calibration) The visible light communication system of this invention can be comprised. That is, the visible light communication system of the present invention is a function realization means for adjusting the non-constant direction based on the known imaging order when the imaging direction or imaging order of the input data is a non-constant direction while known. (Hereinafter referred to as “non-constant imaging order adjusting means”), a function realization means (hereinafter referred to as “non-constant imaging order adjusting means”) for pre-calibrating the non-constant time interval when the imaging direction of input data is not constant but unknown. By providing a “fixed imaging order pre-calibration unit”, it is possible to restore a predetermined light-dark line set according to a predetermined flashing light set in the same manner as described above even when the imaging order of input data is non-constant or random. It is.
［別例９（撮像素子における撮像動作の位置）］
上記実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、（ＣＭＯＳイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して）所定の方向（又は一定方向、或いは、上記のような非一定の方向）に入力データとしての点滅光セットの各点滅光の位置をずらして（位置をシフトして）撮像する構成であるが、この入力データの撮像のための位置のシフトは、下記のように、一定の条件を満たせば、必ずしも必要ではない。即ち、上記実施の形態を含む本発明の可視光通信システムでは、撮像素子は、１フレーム分の走査時間内に１セット分の点滅光セットの点滅光を撮像している。これにより、この可視光通信システムは、１フレーム分の走査時間内で一つの点滅光セット（即ち、一つのコード情報）を処理することができ、（従来のように一つのコード情報を処理するために多数のフレームを必要とする場合と比較して）情報処理を大幅に高速化することができる。しかし、本発明の可視光通信システムは、撮像素子における１フレーム分の走査時間を分割して（例えば、１フレーム分の１／５に分割して）撮像し、その分割した時間範囲内で１セットの点滅光セットを撮像するように構成する動作方式を採用することもできる。即ち、この動作方式は、撮像素子のフレームを走査方向に分割して使用する動作方式と考えることもできる。こうすると、１フレームを更に複数に分割した短い走査時間内で一つの点滅光セットを処理することができ、情報処理を更に大幅に高速化することができる。更には、この動作方式を更に押し進めて、撮像素子の一素子だけを超高速で動作する光センサとして使用することも理論上は可能であり、この場合、「位置をずらして」撮影することを必要とせず、本発明の可視光通信システムを構成することができる。即ち、この場合、撮像素子の特定のアドレスの単一のフォトダイオードのみにより、光源からの点滅光セットを受光して、その受光した点滅光のタイミングに基づいて（即ち、点滅光の点滅間隔に基づいて）所定のパターン（即ち、点滅間隔のパターン）を読取り、点滅光セットのコード情報（符号化データ）を読解することも可能である。
[Another example 9 (position of imaging operation in imaging device)]
In the visible light communication system of the present invention including the above-described embodiment, an imaging device such as a CMOS image sensor inputs a blinking light set from a light source over time, and corresponds to a rolling shutter function of a CMOS image sensor or the like. Using the function), the position of each blinking light of the blinking light set as input data is shifted (shifted) in a predetermined direction (or a certain direction or a non-constant direction as described above). However, the shift of the position for imaging the input data is not necessarily required as long as a certain condition is satisfied as described below. That is, in the visible light communication system of the present invention including the above-described embodiment, the imaging element captures the blinking light of one set of the blinking light set within the scanning time of one frame. As a result, the visible light communication system can process one blinking light set (that is, one code information) within a scanning time of one frame (processing one code information as in the conventional case). Therefore, the information processing can be greatly speeded up (compared to the case where a large number of frames are required). However, the visible light communication system of the present invention divides the scanning time for one frame in the image sensor (for example, divides the scanning time into 1/5 of one frame), and captures 1 within the divided time range. It is also possible to adopt an operation method configured to image a set of blinking light. That is, this operation method can be considered as an operation method in which the frame of the image sensor is divided and used in the scanning direction. In this way, one blinking light set can be processed within a short scanning time in which one frame is further divided into a plurality of times, and the information processing can be further speeded up significantly. Furthermore, it is theoretically possible to push this operation system further and use only one image sensor as an optical sensor that operates at an ultra-high speed. Without being necessary, the visible light communication system of the present invention can be configured. That is, in this case, the flashing light set from the light source is received only by a single photodiode at a specific address of the image sensor, and based on the timing of the received flashing light (that is, at the flashing light flashing interval). It is also possible to read a predetermined pattern (i.e., a blinking interval pattern) and read code information (encoded data) of the blinking light set.
［別例１０（光源からの光による点滅光セット）］
上記実施の形態では、光源として、能動的に発光するＬＥＤ等の能動的光源を使用したが、本発明の可視光通信システムは、他の光源からの光を反射して前記点滅光セットを出力するように構成することもでき、本発明の可視光システムにおける「光源」には、このような受動的光源も含む。また、本発明の可視光通信システムは、上記実施の形態では、発光側制御手段により、光源自体の発光動作を制御して、光源から直接的に所定の点滅光セットを出力する構成の機能実現手段（以下、「直接的点滅光出力手段」という）を採用しているが、光源からの発光を点滅光ではなく連続光とする一方で、光源と受光側装置との間に、前記光源からの連続光を所定の点滅光セットに変換して間接的に出力する構成の機能実現手段（以下、「間接的点滅光出力手段」という）を採用してもよい。例えば、このような間接的点滅光出力手段としては、光源からの連続光を機械式シャッター構造等によってオンオフ動作（開閉動作）するシャッター装置がある。また、このような間接的点滅光出力手段は、光源と受光側装置との間に配設して光源から直接入射する連続光（即ち、直接光）をオンオフ動作するよう構成してもよいが、光源からの連続光を一旦反射手段により反射した反射光を間接的点滅光出力手段によりオンオフ動作するよう構成してもよい。この場合、間接的点滅光出力手段は反射手段と受光側装置との間に配設する。なお、上記の場合、本発明の可視光通信システムにおいて、間接的点滅光出力手段や反射手段は、発光側装置に含まれる。
[Another example 10 (blinking light set by light from light source)]
In the above embodiment, an active light source such as an LED that actively emits light is used as the light source. However, the visible light communication system of the present invention reflects light from other light sources and outputs the blinking light set. The “light source” in the visible light system of the present invention includes such a passive light source. In the above-described embodiment, the visible light communication system of the present invention realizes a function of a configuration in which the light emission control of the light source itself is controlled by the light emission side control means, and a predetermined blinking light set is directly output from the light source. Means (hereinafter referred to as “direct flashing light output means”), the light emission from the light source is not continuous light but continuous light, and between the light source and the light receiving side device, The function realizing means (hereinafter referred to as “indirect blinking light output means”) configured to convert the continuous light into a predetermined blinking light set and output it indirectly may be employed. For example, as such an indirect blinking light output means, there is a shutter device that performs on / off operation (opening / closing operation) of continuous light from a light source by a mechanical shutter structure or the like. Further, such an indirect flashing light output means may be arranged between the light source and the light receiving side device so as to turn on and off continuous light (that is, direct light) directly incident from the light source. The reflected light once reflected by the reflecting means once from the continuous light from the light source may be configured to be turned on / off by the indirect flashing light output means. In this case, the indirect blinking light output means is disposed between the reflection means and the light receiving side device. In the above case, in the visible light communication system of the present invention, the indirect blinking light output means and the reflection means are included in the light emitting side device.
［別例１１（可視光通信システムの応用）］
本発明の可視光通信システムは、上記実施の形態のように、発光側装置からの符号化データを受光側装置により復号化し、その復号化データに基づき、所定の処理をコンピュータ装置に実行させるための指令を出力するように構成する以外にも、出力側にコンピュータ装置を使用しない場合（即ち、出力側のコンピュータ装置に何らかの処理を指令する指令信号を出力しない場合）にも適用できる。例えば、本発明の可視光通信システムは、復号化データを指令信号として出力するのではなく、データとして表示したり、データとして活用するだけのアプリケーションにも適用することができる。また、本発明の可視光通信システムは、コンピュータ装置で利用する識別子や一意の情報（ＩＤ、パスワード、アカウント情報等）を表現するよう符号化データ及び複合化データを構成し、コンピュータ装置で利用する識別子や一意の情報を出力する構成として具体化することもできる。
[Another example 11 (application of visible light communication system)]
In the visible light communication system of the present invention, the encoded data from the light-emitting side device is decoded by the light-receiving side device as in the above embodiment, and a predetermined process is executed by the computer device based on the decoded data. In addition to being configured to output the above command, the present invention can also be applied to the case where the computer device is not used on the output side (that is, the command signal for instructing the output side computer device is not output). For example, the visible light communication system of the present invention can be applied to an application in which decoded data is not output as a command signal, but is displayed or used as data. Further, the visible light communication system of the present invention configures encoded data and composite data so as to express identifiers and unique information (ID, password, account information, etc.) used in the computer device, and uses them in the computer device. It can also be embodied as a configuration for outputting an identifier or unique information.
［別例１２（コード化）］
本発明の可視光通信システムでは、撮影のシャッタースピードが落ちると、明線が「太くなる」現象が生じるとの知見を本発明者らは得ている。即ち、この現象により、光源からの点滅光におけるオン時間間隔とオフ時間間隔とが同一である場合でも、撮像素子に撮像される明線の幅が異なることがあるとの知見を、本発明者らは得ている。したがって、本発明の可視光通信システムを実現するための（所定のプログラムの）アルゴリズムでは、この現象を軽減するための手段（工夫）が施されている（以下、この工夫に係る機能実現手段を「低シャッタースピード用コード化手段」という）。
[Example 12 (coding)]
In the visible light communication system of the present invention, the inventors have obtained the knowledge that when the shutter speed for photographing decreases, the phenomenon that the bright line becomes “thick” occurs. That is, the present inventor has found that, due to this phenomenon, even when the on-time interval and the off-time interval in the flashing light from the light source are the same, the width of the bright line imaged on the image sensor may be different. Have gained. Therefore, the algorithm (predetermined program) for realizing the visible light communication system of the present invention is provided with means (ingenuity) for reducing this phenomenon (hereinafter referred to as function realization means relating to this idea). Called "low shutter speed coding means").
［別例１３（走査方向又は走査順序）］
本発明の実施の形態１では、（ＣＭＯＳイメージセンサ等の）受光イメージを一定時間ごとに一定方向に位置をずらしながら走査して撮像するタイプの撮像素子を使用することを想定して、撮像素子は、従来のパソコン用ディスプレイにおける走査方式であるプログレッシブ方式（ノンインターレース方式）と同様に、撮像素子の各露光ラインを一定方向に順次走査して撮像する構成となっている。したがって、この場合、発光側装置からの所定の点滅光セットに応じて撮像素子が撮像するのは、上記実施の形態１で述べたような明暗線セットのパターンとなる。なお、上記の場合における撮像素子の「露光ライン」とは、例えば、撮像素子の水平方向に隣接配置されて左右方向に延びる１列の画素ブロック（以下、「水平列ライン」という）の各々により構成され、或いは、撮像素子の垂直方向に隣接配置されて上下方向に延びる１列の画素ブロック（以下、「垂直列ライン」という）の各々により構成される。そして、この場合、撮像素子は、露光ラインの延びる方向と直交する方向、即ち、水平列ラインの場合は撮像素子の垂直方向となる上下方向（例えば、上端から下端に向かう方向）、垂直列ラインの場合は撮像素子の水平方向となる左右方向（例えば、左端から右端に向かう方向）に位置をずらしながら走査して、点滅光セットの点滅光を経時的に順次撮像することになる。具体的には、この場合、例えば、上記のように、撮像素子において垂直列ラインの画素ブロックを左右方向に（即ち、最も左端の垂直列ラインから右端の垂直列ラインに向かって、又は、最も右端の垂直列ラインから左端の垂直列ラインに向かって）位置をずらしながら走査して撮像する場合、点滅光セットのパターンに応じて、撮像素子の垂直方向に延びる明暗線からなる明暗線セットのパターンが撮像されることになる。
[Another example 13 (scan direction or scan order)]
In the first embodiment of the present invention, it is assumed that an image sensor that scans and images a received light image (such as a CMOS image sensor) while shifting the position in a certain direction every certain time is used. In the same manner as the progressive method (non-interlace method) which is a scanning method in a conventional personal computer display, each exposure line of the image sensor is sequentially scanned in a fixed direction to pick up an image. Therefore, in this case, the pattern of the bright and dark line set as described in the first embodiment is taken by the imaging device in accordance with a predetermined blinking light set from the light emitting side device. The “exposure line” of the image sensor in the above case refers to, for example, each of one column of pixel blocks (hereinafter referred to as “horizontal column lines”) that are arranged adjacent to each other in the horizontal direction of the image sensor and extend in the left-right direction. Alternatively, each pixel block is arranged adjacently in the vertical direction of the image sensor and extends in the vertical direction (hereinafter referred to as “vertical column line”). In this case, the image sensor is in a direction perpendicular to the direction in which the exposure line extends, that is, in the case of a horizontal row line, the vertical direction of the image sensor in the vertical direction (for example, the direction from the upper end to the lower end), the vertical row line. In this case, scanning is performed while shifting the position in the horizontal direction (for example, the direction from the left end to the right end), which is the horizontal direction of the image pickup device, and the flashing light of the flashing light set is sequentially captured over time. Specifically, in this case, for example, as described above, in the imaging device, the pixel block of the vertical column line is moved in the left-right direction (that is, from the leftmost vertical column line toward the rightmost vertical column line, or most In the case of scanning and imaging while shifting the position (from the rightmost vertical column line to the leftmost vertical column line), according to the pattern of the blinking light set, the light / dark line set consisting of the light / dark lines extending in the vertical direction of the image sensor A pattern is imaged.
一方、上記別例８（撮像動作の方向）で述べたように、本発明のコンピュータ装置用の可視光通信システムでは、撮像素子において、一定方向ではない任意の方向に経時的に順次位置をずらしながら走査して撮像することにより、点滅光セットのパターンに応じたパターンの（前記明暗線パターンに相当する）明暗部パターンを出力することもできる。例えば、撮像素子は、従来のＮＴＳＣ方式のテレビにおける走査方式であるインターレース方式と同様に、撮像素子の各露光ラインを１本置きに（又は複数本置きに）順次走査して撮像する構成とすることができる。発光側装置からの所定の点滅光セットに応じて撮像素子が撮像する明暗部のパターンは、上記実施の形態１で述べたような明暗線セットの各明暗線が、露光ラインの１本置きに（又は複数本置きに）隙間を置いて平行となるよう配置されたパターンとなる。なお、上記実施の形態１のようないわゆるプログレッシブ方式による撮像の場合も、上記インターレース方式による撮像の場合も、撮像素子の１回の露光単位が同列上の連続する画素からなる１本の直線帯状の画素ラインである露光ラインとなるため、明暗部パターンは、実施の形態１の明線及び暗線から構成されるパターン（即ち、点滅光の点灯間隔に相当する幅の明線と、点滅光の消灯間隔に相当する幅の暗線とが、プログレッシブ方式の場合は互いに隣接して、インターレース方式の場合は単位本数だけの画素列を飛ばした隙間間隔を置いて平行に配置されるパターン）となる。 On the other hand, as described in the above-described another example 8 (direction of imaging operation), in the visible light communication system for the computer apparatus of the present invention, the position of the imaging element is sequentially shifted in time in an arbitrary direction that is not a fixed direction. By scanning and imaging, it is possible to output a light / dark part pattern (corresponding to the light / dark line pattern) having a pattern corresponding to the pattern of the blinking light set. For example, the image pickup device is configured to sequentially scan every other exposure line of the image pickup device (or every other plurality of exposure lines) in the same manner as the interlace method that is a scanning method in a conventional NTSC television. be able to. The pattern of the bright and dark portions captured by the image sensor in accordance with a predetermined blinking light set from the light-emitting side device is such that each bright and dark line of the bright and dark line set as described in the first embodiment is every other exposure line. The pattern is arranged so as to be parallel with a gap (or every other). Note that, in both the case of the so-called progressive system imaging as in the first embodiment and the case of the above-described interlaced system imaging, one linear strip shape in which one exposure unit of the image sensor is composed of continuous pixels on the same column. Therefore, the bright / dark part pattern is a pattern composed of the bright line and the dark line in the first embodiment (that is, the bright line having a width corresponding to the lighting interval of the flashing light, and the flashing light. The dark lines having a width corresponding to the turn-off interval are adjacent to each other in the case of the progressive method, and in the case of the interlace method, are arranged in parallel with a gap interval in which only a unit number of pixel rows are skipped.
一方、撮像素子及び／又は発光制御手段を適宜構成することにより、撮像素子の１回の露光単位を、１本の直線帯状の露光ラインではなく、撮像素子の１個の画素単位（即ち、各画素単位）、或いは、隣接する複数個の画素を１ブロックとして１つの画素ブロックを構成した場合における各画素ブロック単位とすると共に、撮像方向又は撮像順序を、撮像素子の全画素単位又は全画素ブロック単位を、最初の画素単位又は画素ブロック単位から最後の画素単位又は画素ブロック単位まで、一つずつ、かつ、重複しないよう、任意の順番で経時的に移動しながら撮像する構成とすることもできる。好ましくは、撮像方向又は撮像順序については、撮像素子の全画素ブロック単位を、最初の画素ブロック単位から最後の画素ブロック単位まで、一ブロックずつ、かつ、画素ブロックが重複しないよう、任意の順番で経時的に移動しながら撮像する構成とする。こうすれば、露光単位を画素単位とする場合と比較して、より大面積の画素ブロックにより明部及び暗部を判別できるため、撮像素子のダイナミックレンジが低く明暗の差の表現能力が低い等、ハードウエア資源の性能が低い場合であっても、点滅光セットの符号化データに対応する完全な複合化データを正確に復元することができる。また、この場合、撮像素子における全画素ブロックの各々を同一数で同一寸法（及び同一外形）とすることもできるが（即ち、全ての画素ブロックの各々を同一数のｎ個の画素により構成し、かつ、例えば同一の矩形状等に形成することもできるが）、理論上は、一部の画素ブロックを他の画素ブロックと異なる画素数の画素ブロックとしたり、一部の画素ブロックを他の画素ブロックと異なる寸法（及び外形）の画素ブロックとしたりすることも可能である。なお、撮像素子における露光単位を画素ブロック単位とする場合、（撮像素子における露光単位を画素ライン単位とする場合の）前記明暗線の明線及び暗線に対応する明部及び暗部が、撮像素子の対応する画素ブロックに撮像され、これら明部及び暗部の対からなる明暗部の所定数の組（例えば、６つの点滅光からなる点滅光セットを撮像する場合、６組の明暗部）により、前記明暗線パターンに対応する明暗部パターンが生成される。このとき、明部及び暗部のそれぞれの外形及び寸法は、対応する画素ブロックのそれぞれの外形及び寸法に対応するものとなる。 On the other hand, by appropriately configuring the image sensor and / or the light emission control means, one exposure unit of the image sensor is not a single linear strip-shaped exposure line, but one pixel unit of the image sensor (that is, each (Pixel unit), or each pixel block unit when a plurality of adjacent pixels constitute one block and each pixel block unit, and the imaging direction or imaging order is set to all pixel units or all pixel blocks of the image sensor. The unit may be configured to pick up an image while moving from time to time in an arbitrary order so as not to overlap one by one from the first pixel unit or pixel block unit to the last pixel unit or pixel block unit. . Preferably, with respect to the imaging direction or imaging order, all pixel block units of the imaging device are arranged in any order from the first pixel block unit to the last pixel block unit, one block at a time, and the pixel blocks do not overlap. A configuration is adopted in which imaging is performed while moving over time. In this way, compared to the case where the exposure unit is a pixel unit, the bright part and the dark part can be distinguished by a pixel block having a larger area, so that the dynamic range of the image sensor is low and the ability to express the difference between light and dark is low. Even when the performance of the hardware resource is low, complete composite data corresponding to the encoded data of the blinking light set can be accurately restored. In this case, all the pixel blocks in the image sensor can have the same number and the same size (and the same outer shape) (that is, all the pixel blocks are each configured by the same number of n pixels. In theory, some of the pixel blocks may be different from other pixel blocks, or some of the pixel blocks may be different from each other. The pixel block may have a different size (and outer shape) from the pixel block. When the exposure unit in the image sensor is a pixel block unit (when the exposure unit in the image sensor is a pixel line unit), the bright line and the bright part corresponding to the dark line and the dark part correspond to the image sensor. With a predetermined number of sets of bright and dark parts composed of pairs of bright parts and dark parts (for example, six sets of bright and dark parts when imaging a flashing light set consisting of six flashing lights) A light / dark part pattern corresponding to the light / dark line pattern is generated. At this time, the respective outer shapes and dimensions of the bright and dark portions correspond to the respective outer shapes and dimensions of the corresponding pixel block.
［別例１４（撮像素子）］
本発明の可視光通信システムは、撮像素子としてＣＭＯＳイメージセンサを使用する以外にも、発光側装置からの所定の点滅光セットの点滅光を、その点滅光の順序に応じた所定の順序で、経時的に撮像位置をずらしながら撮像する（即ち、画素ライン単位、画素単位又は画素ブロック単位で位置をずらしながら撮像する）ことにより、点滅光セットの符号化データに対応する完全な複合化データを正確に復元することができる限りにおいて、任意の撮像素子を使用することができる。例えば、ＣＣＤイメージセンサであっても、オンオフリレーにより、点滅光セットの点滅光を、その点滅光の順序に応じた所定の順序で、経時的に撮像位置をずらしながら撮像することも可能である。
[Another Example 14 (Image sensor)]
In the visible light communication system of the present invention, in addition to using a CMOS image sensor as an image sensor, the flashing light of a predetermined flashing light set from the light emitting side device in a predetermined order according to the order of the flashing light, By capturing images while shifting the imaging position over time (that is, imaging while shifting the position in pixel line units, pixel units, or pixel block units), complete composite data corresponding to the encoded data of the blinking light set can be obtained. Any imaging device can be used as long as it can be accurately restored. For example, even with a CCD image sensor, it is possible to capture the blinking light of the blinking light set in a predetermined order corresponding to the order of the blinking light while shifting the imaging position over time by an on / off relay. .
［別例１５（点滅光セットの点滅光の点滅間隔及び点滅タイミング）］
本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットは、得るべき符号化データに応じて、点滅光セットを構成する点滅光の点滅間隔が非均一となることもあるが、符号化データにより表現する情報の種類が少なく、情報館の区別のための符号化データの種類が少なくなるような場合は、均一な点滅間隔の点滅光により点滅光セットを生成することも可能である。即ち、本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットの点滅光の点滅間隔が特定のパターンとなる限りにおいて、点滅光の点滅間隔を任意の間隔とすることができる。また、本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットは、所定の周期で点滅する所定の複数の点滅光により構成する以外に、所定の点滅タイミングで点滅する所定の複数の点滅光により構成することもできる。即ち、点滅光セットにより所定のパターンの点滅光を表現できる限りにおいて、点滅光セットの点滅光の点滅間隔は、周期性を有するもの以外に、任意の点滅タイミングとなる点滅間隔とすることもできる。
[Another Example 15 (blinking interval and timing of blinking light of blinking light set)]
In the visible light communication system of the present invention, the blinking light set generated by the light emission control unit may have non-uniform blinking intervals of the blinking light constituting the blinking light set according to the encoded data to be obtained. When there are few types of information expressed by encoded data and there are few types of encoded data for distinguishing information halls, it is also possible to generate a flashing light set with flashing light with a uniform flashing interval It is. That is, the visible light communication system of the present invention can set the blinking light blinking interval to an arbitrary interval as long as the blinking light blinking interval of the blinking light set generated by the light emission control unit has a specific pattern. . Further, in the visible light communication system according to the present invention, the blinking light set generated by the light emission control means includes a predetermined blinking timing other than a predetermined plurality of blinking lights blinking at a predetermined cycle. It can also be configured by a plurality of flashing lights. That is, as long as the blinking light of a predetermined pattern can be expressed by the blinking light set, the blinking interval of the blinking light of the blinking light set can be a blinking interval that is an arbitrary blinking timing in addition to the periodicity. .
［別例１６（点滅光セットの時間間隔）］
本発明の可視光通信システムは、実施の形態１では、一つの点滅光セットの時間間隔が、撮像素子の１回の操作時間間隔（及び、シャッタースピード）よりも短い時間間隔となるよう、発光制御手段により点滅光セットを生成し、これにより、点滅光セットのパターンに応じた明暗部のパターンを撮像素子に撮像して生成し、その結果、撮像素子の１フレームに相当する時間間隔内に所定の情報を表現する符号化データを包含させることで、撮像素子のフレームレートを超える高速な情報処理を可能としている。換言すれば、本発明の可視光通信システムは、撮像素子の１フレーム内で所定の情報処理を完結することができるが、表現すべき情報量が増大した場合、撮像素子の複数フレーム（２フレーム以上）にわたって１つの点滅光セットのパターンが撮像されるよう、発光制御手段により点滅光を発光制御すると共に、これにより撮像素子の複数フレームにわたって撮像された明暗部のパターンに基づき、点滅光セットのパターンが表現する符号化データに対応する複合化データを復元するよう、受光制御手段によって撮像素子による撮像データを処理することも可能である。
[Another example 16 (time interval of blinking light set)]
In the first embodiment, the visible light communication system of the present invention emits light so that the time interval of one blinking light set is shorter than the operation time interval (and shutter speed) of one time of the image sensor. A flashing light set is generated by the control means, and thereby, a pattern of a bright and dark part corresponding to the pattern of the flashing light set is captured and generated on the image sensor, and as a result, within a time interval corresponding to one frame of the image sensor. By including encoded data representing predetermined information, high-speed information processing exceeding the frame rate of the image sensor can be performed. In other words, the visible light communication system of the present invention can complete predetermined information processing within one frame of the image sensor, but when the amount of information to be expressed increases, a plurality of frames (2 frames) of the image sensor. The light emission control means controls the emission of the blinking light so that the pattern of one blinking light set is captured over the above), and based on the pattern of the bright and dark parts imaged over a plurality of frames of the image sensor, It is also possible to process the imaging data by the imaging device by the light receiving control means so as to restore the composite data corresponding to the encoded data represented by the pattern.
［別例１７（情報処理速度）］
本発明の可視光通信システムは、上記のとおり、少なくとも１セットの点滅光セットの点滅光を、撮像素子の画素ライン単位や画素ブロック単位で一定方向又は任意の方向又はランダムに位置をずらしながら走査して撮像するため、各点滅光セットの時間間隔は、上記のとおり、撮像素子の１回分の走査時間以下の時間間隔となり、撮像素子のシャッタースピード以下の時間間隔となる。例えば、撮像素子のシャッタースピードが１／３０秒の場合は、各点滅光セットの時間間隔は、１／３０秒以下となり、撮像素子のシャッタースピードが１／６０秒の場合は、各点滅光セットの時間間隔は、１／６０秒以下となる。また、本発明の可視光通信システムは、上記のとおり、撮像素子における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも１組の点滅光セットの全ての点滅光を撮像素子により完全に撮像できるよう、撮像素子の１回の走査時間内に撮像される点滅光セットの点滅光の数である１走査時間内点滅光数が、少なくとも、１組の点滅光セットの点滅光の総数の２倍より１少ない数となるよう、発光側制御手段による点滅光セットの点滅制御を行うことで、前記１組の点滅光セットの点滅光に対応して撮像素子の１操作時間内に撮像素子により撮像される明暗部の数である１走査時間内明暗部数が、少なくとも、１組の明暗部セットの明暗部の総数の２倍より１少ない数となるようにすることが好ましい。なお、この場合のシャッタリングは、撮像のラインごとに行われる。この場合、シャッターの開始時間が、フレームレートをライン数で割っただけずれているものと予想される。この場合、シャッターが閉じるタイミングについては、それぞれスタートからの経過時間（開放時間）で閉じられることとなる。（「開放時間」は、一フレーム内では、通常、同じ時間と思われる。）開放時間が、「ずれ」の時間より遅い場合は、線が太く写る。短い場合は、露出が抑えられるだけと考えられる。（被写体の動きが激しい場合は別であり、ラインごとの像が、とぎれとぎれになることがある。）
[Another Example 17 (Information Processing Speed)]
As described above, the visible light communication system of the present invention scans at least one set of blinking light while shifting the position in a fixed direction, an arbitrary direction, or at random in units of pixel lines or pixel blocks of an image sensor. Therefore, as described above, the time interval of each blinking light set is a time interval that is less than or equal to the scanning time of one time of the image sensor and a time interval that is less than or equal to the shutter speed of the image sensor. For example, when the shutter speed of the image sensor is 1/30 seconds, the time interval of each flash light set is 1/30 seconds or less, and when the shutter speed of the image sensor is 1/60 seconds, each flash light set The time interval is 1/60 seconds or less. In addition, as described above, the visible light communication system according to the present invention captures all the blinking lights of at least one set of blinking light regardless of the time lag between the input timing of the blinking light and the scanning timing in the imaging element. The number of blinking lights within one scanning time, which is the number of blinking lights of the blinking light set that is imaged within one scanning time of the image sensor, is at least one blinking light of one set of blinking light sets. By performing blinking control of the blinking light set by the light emission side control means so as to be one less than twice the total number of the above, the imaging element within one operation time corresponding to the blinking light of the one set of blinking light set It is preferable that the number of light and dark parts within one scanning time, which is the number of light and dark parts imaged by the image sensor, is at least one less than twice the total number of light and dark parts in one set of light and dark parts. Note that the shuttering in this case is performed for each imaging line. In this case, the shutter start time is expected to be shifted by the frame rate divided by the number of lines. In this case, the closing timing of the shutter is closed at the elapsed time (opening time) from the start. (The “opening time” is usually considered to be the same time within one frame.) When the opening time is later than the “deviation” time, the line appears thick. When it is short, it is considered that only exposure is suppressed. (This is not the case when the subject moves strongly, and the image for each line may be cut off.)
［実施例６（複数フレームにわたる点滅光セットの処理）］
本発明の可視光通信システムは、実施の形態１では、１セットの点滅光セットの全体を１フレーム内に撮像することで、情報処理の高速化を図っているが、１セットの点滅光セットの符号長が１フレームを超えるような情報の場合、図１２に示すような処理が可能である。具体的には、例えば、１セットの点滅光セットの符号長が１．５フレームに相当する長さとなる情報の場合、このままこの点滅光セットを撮像素子により撮像すると、この点滅光セットの点滅光は、２フレームにわたって撮像されることになる。このとき、フレーム間のタイミングで点滅光セットの点滅光が撮像素子に入射することがあるが、この場合、フレーム間の時間間隔を正確に予測して補完を行うことは容易でない。したがって、本実施例の可視光通信システムは、図１２に示すように、例えば、１セットの点滅光セットの符号長が１フレームを越える長さで２フレーム未満の長さとなる情報の場合、撮像素子の連続する３フレームを使用してその撮像を行うよう、発光制御手段による制御を行う構成としている。例えば、１セットの点滅光セットの符号長が１．５フレームに相当する長さとなる情報の場合、撮像素子の連続する３フレームを使用してイメージを撮像素子に撮像させるよう、発光制御手段は、撮像素子のフレームレート（及び／またはシャッタースピード）に応じて、点滅光セットの符号長のうち、前半２／３の長さの符号部分の点滅光を１番目のフレームＦ１の時間間隔の範囲内で出力し（例えば、フレームＦ１の走査開始と同期して前半２／３の点滅光の最初の点滅光を出力すると共に、フレームＦ１の走査終了直前に前半２／３の点滅光の最後の点滅光を出力し）、次に、２番目のフレームＦ２に対応する時間間隔を置いて（即ち、２番目のフレームＦ２の時間間隔内では、残りの１／３の点滅光を出力せずに消灯動作を維持して待機し）、残りの後半１／３の長さの符号部分の点滅光を３番目のフレームＦ３の時間間隔の範囲内で出力する（例えば、フレームＦ３の走査開始と同期して後半１／３の点滅光の最初の点滅光を出力する）。こうすると、点滅光セットの符号長のうち、前半２／３の長さの符号部分の点滅光が３フレーム中の１番目のフレームＦ１に撮像され、次の２番目のフレームＦ２は点滅光は撮像されることなく空白フレームとなり、後半１／３の長さの符号部分の点滅光が３番目のフレームＦ３に撮像される。したがって、１セットの点滅光セットの撮像に撮像素子の３フレームを必要とし、上記実施の形態１のように撮像素子の１フレーム内に１セットの点滅光セットを撮像する場合と比較すると、情報処理速度は低下する（情報処理時間が３倍になる）が、それでも、フレームレートが３０ｆｐｓの場合でも、１単位の点滅光セットの符号データの撮像時間は１／１０秒となり、従来の可視光通信装置と比較して大幅に高速な情報処理が可能となる。また、複数フレームに渡る信号を載せる場合は、一連の情報のスタート、一連の情報のエンド、個別のデータの区切り（ダブったり抜けたりしないため）のマーカーが必要である。
[Example 6 (Processing of blinking light set over a plurality of frames)]
In the visible light communication system of the present invention, in
［実施例７（明暗部セットの明暗線の幅認識処理）］
本発明の可視光通信システムは、実施の形態１のように、点滅光セットのパターンに対応して撮像素子に明暗線セットのパターンを撮像する場合において、明暗線セットの明線の幅及び暗線の幅は、点滅光の点灯時間（オン時間）及び消灯時間（オフ時間）に対応する幅、即ち、同一又は比例する幅となるが、明線の場合、撮像素子の走査特性に依存して、撮像素子においてより高い明度の光を撮像した部分（即ち、輝度の大きい部分）において、明線の幅方向端縁が外方に膨出する傾向にあることを本発明者らは実験結果により確認している。例えば、図１３に示すように、光源からの点滅光の強度が撮像素子の（露光ラインの長さ方向中央部で大きくなり、撮像素子の垂直方向中央部の輝度が他の部分より大きくなるような場合、明線の長さ方向中央部の両端縁が外方に張り出すように撮像される傾向にある。この場合、明線の幅及び暗線の幅の比率が、実際の点滅光の点灯間隔及び消灯間隔の比率と異なる比率になる（例えば、実際は６：４の比率が７：３として撮像される）可能性がある。
[Example 7 (light / dark line width recognition processing of light / dark part set)]
In the visible light communication system of the present invention, the bright line width and dark line of the bright / dark line set are used when the image sensor captures the bright / dark line set pattern corresponding to the blinking light set pattern as in the first embodiment. Is a width corresponding to the lighting time (on time) and the extinguishing time (off time) of the flashing light, that is, the same or proportional width, but in the case of a bright line, it depends on the scanning characteristics of the image sensor. Based on the experimental results, the present inventors have shown that the edge in the width direction of the bright line tends to bulge outward in the portion where the light of the lightness is picked up by the image sensor (that is, the portion where the luminance is high). I have confirmed. For example, as shown in FIG. 13, the intensity of the flashing light from the light source is increased at the center of the image sensor (in the lengthwise direction of the exposure line, and the brightness at the center in the vertical direction of the image sensor is higher than the other portions In this case, there is a tendency that both ends of the central portion in the length direction of the bright line are projected outward, and the ratio of the width of the bright line and the width of the dark line is the actual lighting of the flashing light. There is a possibility that the ratio is different from the ratio between the interval and the extinction interval (for example, the image is actually captured with a 6: 4 ratio as 7: 3).
このような事態に対処し、撮像素子の撮像（特に明線）が入射光の強度によって部分的又は全体的に膨張した場合にも、撮像データを復号化する際に明線及び暗線の比率を誤認識しないよう、本発明の可視光通信システムは、図１４に示すような構成を採用することができる。詳細には、本発明の可視光通信システムは、撮像素子に撮像される明線の幅が一定となり、暗線の幅の大小により情報を表現するよう、発光制御手段により、点滅光セットの点灯部分の時間間隔を一定とし、消灯部分の時間間隔を基準値から所定単位で増減して設定し、かかる点滅光セットを出力するようになっている。また、本発明の可視光通信システムは、図１４に示すように、明線の両側に隣接する１対の暗線のそれぞれの幅方向中心位置の間の間隔ＴＨを取得し、この間隔ＴＨから、（幅が一定である）左右の明線のそれぞれの幅の１／２の間隔をそれぞれ減算することで、結果的に、中央の暗線の幅を取得している。こうすると、撮像素子に撮像された明線の幅が、点滅光の点灯時間に対応する本来の幅よりも幅方向に拡大して撮像される場合に（例えば、明線の幅が、本来は図１４中に実線で示す位置であるにもかかわらず、破線で示す位置まで拡大して撮像された場合に）、両明線の中心位置間の間隔ＴＨから、拡大した左側の明線の幅の中心位置までの寸法１／２ＷＨ１と、拡大した右側の明線の幅の中心位置までの寸法１／２ＷＨ１とを減算すると、両明線の中心位置間の間隔ＴＨから、本来の左側の明線の幅の中心位置までの寸法１／２ＷＨ２と、本来の右側の明線の幅の中心位置までの寸法１／２ＷＨ２とを減算した値と同一となり、明線の幅の拡大いかんにかかわらず、常に本来の暗線の幅ＢＷ２を取得することができる。即ち、ＴＨ−（１／２ＷＨ１−１／２ＷＨ１）＝ＴＨ−（１／２ＷＨ２−１／２ＷＨ２）＝ＢＨ２となる。なお、上記のように明線を固定長とし暗線を可変長とする構成とは逆に、暗線を固定長とし明線を可変長とする場合にも、上記の明線及び暗線を暗線及び明線として取り扱うことで、上記発光制御手段により制御を適用することができる。
In response to such a situation, even when the imaging (particularly the bright line) of the image sensor is partially or wholly expanded due to the intensity of the incident light, the ratio of the bright line and the dark line is set when decoding the imaging data. In order to avoid misrecognition, the visible light communication system of the present invention can employ a configuration as shown in FIG. Specifically, in the visible light communication system of the present invention, the light-emitting control means uses the light emission control means so that the width of the bright line captured by the image sensor is constant and the information is expressed by the width of the dark line. This time interval is set to be constant, the time interval of the extinguishing part is set to be increased or decreased by a predetermined unit from the reference value, and such a blinking light set is output. Further, as shown in FIG. 14, the visible light communication system of the present invention acquires a distance TH between the center positions in the width direction of a pair of dark lines adjacent to both sides of the bright line, and from this distance TH, The width of the dark line at the center is acquired as a result by subtracting an interval of ½ of the width of each of the left and right bright lines (the width is constant). In this case, when the width of the bright line imaged by the image sensor is enlarged in the width direction from the original width corresponding to the lighting time of the flashing light (for example, the width of the bright line is originally In the case where the image is magnified to the position indicated by the broken line in spite of the position indicated by the solid line in FIG. 14, the width of the enlarged left bright line is determined from the distance TH between the center positions of both bright lines. Subtracting the
［実施例８（発光制御処理）］
本発明の可視光通信システムは、発光性制御手段により、例えば、図１５に示すような発光制御処理を行う。詳細には、図１５に示すように、ＳＴＥＰ１で、撮像素子の垂直方向（縦方向）の画素における輝度の平均化を行う（即ち、露光ラインの上の画素を縦方向に全て同じ平均輝度にする）。詳細には、ＳＴＥＰ１では、露光ラインの長さ方向（上下方向）に沿って、中心付近の所定画素数文（例えば、５０ｐｘ分）の輝度を取得して、これらの輝度値に基づき１つの平均値を算出する。ここで、露光ラインの画素数が縦方向に７６８ｐｘであるとすると、７６８個の全ての画素の輝度を取得して、それらの輝度の合計値に基づき（合計値／７６８）１つの平均値を算出することもできるが、処理量軽減等の観点から、また、撮像素子においては中心部では光強度が大きくなる傾向にあることから、中心部の所定画素数文の輝度を取得して、平均値を算出するようにしている。なお、撮像素子の特性として、露光ラインの長さ方向（縦方向）において入射光の輝度に差が生じることから、ＳＴＥＰ１のように、縦方向においても輝度差を平均化する処理を実行するようにしている。
[Example 8 (light emission control process)]
In the visible light communication system of the present invention, for example, the light emission control means performs a light emission control process as shown in FIG. Specifically, as shown in FIG. 15, in
次に、ＳＴＥＰ２で、撮像素子の水平方向の撮像領域（有効画素範囲）をｎ分割してそれらの撮像領域について、それぞれ、（平均値−標準偏差／２）を閾値の候補（仮閾値）として設定する。この場合、例えば、ｎ＝３に設定する。即ち、撮像素子に明暗線（ストライプ）を生成する場合、撮像素子の横方向（水平方向、走査方向）において、中心付近と周辺での輝度の差があるため、これを平均化して標準化する。例えば、撮像素子の画素数が水平方向１０８０ｐｘの場合、１０８０ｐｘを３つの領域に分けて３つの値を算出する。なお、上記ｎ分割は例えば３分割とすることができるが、その他の分割数としてもよい。そして、ｎ領域の各領域において、平均値−標準偏差／２を仮閾値として設定する。
Next, in
次に、ＳＴＥＰ３で、ＳＴＥＰ２で得た閾値の最大値が画面の中心となり、最小値が画面の外側になるように線形に補完し、閾値を画素分（例えば、水平方向１０８０ｐｘの場合は１０８０個）求める。このとき、ＳＴＥＰ２の仮閾値の最大値と最小値を使用する（中間値は使用しない）。即ち、撮像素子の特性として、画面中央の方が光の強度が相対的に大きくなるため、画面中央の閾値を最大値とし、画面の周辺は光の強度が想定的に小さくなるため、画面周辺の閾値を最小値とする。このようにして、画面の左右前置にわたって等分に閾値が変わるようにする。なお、このとき、処理量の軽減等の理由により、まず、水平方向の全ての画素ではなく中央部分の所定数の画素（例えば、１００ｐｘ分の画素）について計算を行う。そして、その後、線形補完により、全ピクセル分（１０８０）について閾値を出す。
Next, in
次に、ＳＴＥＰ４で、ＳＴＥＰ３で求めた値を閾値にして、各画素について２値化を行う。即ち、画素を水平方向に走査して全ピクセルの輝度を閾値と比較し、閾値より大きければ白（１）、小さければ黒（０）と判断する。 Next, in STEP4, binarization is performed for each pixel using the value obtained in STEP3 as a threshold value. That is, the pixels are scanned in the horizontal direction, and the luminance of all the pixels is compared with a threshold value.
次に、ＳＴＥＰ５で、２値化した画像の１列を走査して（黒＋白）の幅を数列化する。このとき、任意の水平方向の一列の画素を走査して、黒が何個あるかを数え、数列化する（数列として保持する）。なお、白は一定間隔に設定されているため、白に対応する画素の数は一定数となる。例えば、黒５、白、黒６、白、黒３、白・・・のように連続する場合、（５，２，６，２，３，２，・・・）のような数列化を行う。 Next, in STEP5, one column of the binarized image is scanned, and the width of (black + white) is converted into several columns. At this time, the pixels in an arbitrary horizontal column are scanned to count how many blacks there are to form a number sequence (hold as a number sequence). Since white is set at a constant interval, the number of pixels corresponding to white is a fixed number. For example, in the case of continuous black 5, white, black 6, white, black 3, white,..., A sequence like (5, 2, 6, 2, 3, 2,...) Is performed. .
次に、ＳＴＥＰ６において、ＳＴＥＰ５で得られた数列が送信コードかどうか判定する。この場合、数列の最小値から２つの数が６つおきに配置されるかどうかを判定する。詳細には、数列の最小値から２つの数、即ち、プリコードとして最初に表れる最小値の黒（２００ｍｓ分）と、その次の白の組合せからなるストライプ（黒白２本の線）が、６つおきに表れるかどうか判断し、６つおきの場合、送信コードと判定する。異なる数値の場合、送信コードを正常に読取れなかったと判断する。
Next, in
次に、ＳＴＥＰ７において、ＳＴＥＰ６で得られたコードの候補の６つの数字を時間に置き換える。（黒の最小値が２００ｕｓであるため。）例えば、１ピクセル分の時間がｔ＝２０μｓ／ｐｘである場合、各数字の数値にｔ＝２０を乗算して、点灯時間及び消灯時間として算出する。
Next, in
次に、ＳＴＥＰ８において、ＳＴＥＰ７で得られた時間を分解能に対応する所定数（例えば、「５０」）で割って送信数列にする。なお、この所定数は「５０」以外の数とすることができるが、本発明者らが現在の送信数列の分解能を実験結果により確認した結果、５０μｓが最小値となることが判明したため、分解能として設定している。また、この分解能に対応する所定数は、カメラや撮像素子の性能によって相違する数値となる。
Next, in
次に、ＳＴＥＰ９において、ＳＴＥＰ８でのチェックデジットを計算する。即ち、送信コードの最終ビットに基づきチェックデジットを計算する。
Next, in
次に、ＳＴＥＰ１０で、チェックデジットが正しかったらテーブルから対応するコードをを探す。なお、このテーブルは、コードと数列との対応表である。
Next, in
ＳＴＥＰ７及びＳＴＥＰ１０で、「ＮＯ」の場合、ＳＴＥＰ１２及びＳＴＥＰ１３の例外処理に移行する。
If “NO” in
なお、本発明では、コードとしては、ＯＮ時間（白）、ＯＦＦ時間（黒）とし、白＋黒をストライプと称している。また、白の間隔は一定に設定し（固定長とし）、黒の最小値は２００μｓに設定している。また、６ストライプで１つのコードを表す（先頭＋コード部（４本）＋チェックデジット（１本））ようにしている。更に、最初のストライプは、最小値（２００ｕｓ）としている。また、黒は６００ｕｓを基準にして、図１６の表のように時間的なずらしを加えている。具体的には、コードを、５０ｕｓ区切りで１６段階作成すると、ＯＦＦ時間は２００ｕｓ（最小）及び１０００ｕｓ（最大）となる。また、データ部分の単位合計が「５０」になるようにしている（明るさが一定になるようにしている）。これは、１つの数字あたりが１６通りの場合、４つの数字の合計の組み合わせが一番多い場合が「５０（２７３６通り）」となるためである。 In the present invention, the codes are ON time (white) and OFF time (black), and white + black is referred to as a stripe. Further, the white interval is set constant (fixed length), and the minimum black value is set to 200 μs. Further, one code is represented by 6 stripes (head + code part (4) + check digit (1)). Furthermore, the first stripe has a minimum value (200 us). Further, black is shifted in time as shown in the table of FIG. 16 on the basis of 600 us. Specifically, if the code is created in 16 stages with 50 us breaks, the OFF time is 200 us (minimum) and 1000 us (maximum). Further, the total unit of the data portion is set to “50” (the brightness is constant). This is because when there are 16 patterns per number, the number of combinations of the four numbers is the largest, which is “50 (2736 patterns)”.
送信する数列は、送信時は５から２０までの１６種類である。また、５つの数字をセットにし（Ｘ１,Ｘ２,Ｘ３,Ｘ４,ＣＤ）、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４＝５０）になるものをコードとして採用している（全２７３６種類）。また、誤り検出のためにチェックデジット（ＣＤ）を計算している。ＣＤの計算に関しては、便宜上、Ｘ１,Ｘ２,Ｘ３,Ｘ４を０から１５として扱う（コードの値から５を引いたもの）。また、計算式は、ＣＤ＝（Ｘ１−Ｘ２＋１６）％４＋（（Ｘ３−Ｘ４＋１６）％４）＊４である。また、この計算式で得られるＣＤの分布は、図１７の表の左側部に示すとおりであり、更にＣＤの２進数表記を（ｄ３,ｄ２,ｄ１,ｄ０）とした時にｄ０が「０」になるようにしている。これにより、ｄ３,ｄ２＝（０，１）又は（１，１）のときにｄ０を反転させることで、図１７の表の左側部に示すとおりとなる。 There are 16 types of numerical sequences to be transmitted from 5 to 20 at the time of transmission. Also, a set of five numbers (X1, X2, X3, X4, CD) and (X1 + X2 + X3 + X4 = 50) is adopted as a code (2736 types in total). In addition, a check digit (CD) is calculated for error detection. Regarding the calculation of CD, for convenience, X1, X2, X3, and X4 are treated as 0 to 15 (a value obtained by subtracting 5 from the code value). The calculation formula is CD = (X1−X2 + 16)% 4 + ((X3−X4 + 16)% 4) * 4. The distribution of CD obtained by this calculation formula is as shown on the left side of the table of FIG. 17, and d0 is “0” when the binary representation of CD is (d3, d2, d1, d0). It is trying to become. Thus, by inverting d0 when d3, d2 = (0, 1) or (1, 1), the result is as shown on the left side of the table of FIG.
［実施の形態２：カード型発光装置］
本発明の可視光通信システムは、図１８に示す実施の形態２の発光部としての発光装置として具体化することができる。詳細には、発光装置２００は、シート状又はカード状の基体２０１の内部に、（上記発光制御手段に相当する）マイコンチップ２０２と、電源２０３と、光源としてのＬＥＤ２０４とを実装し、マイコンチップ２０２からの発光制御によりＬＥＤ２０４を上記した所定の態様で点滅発光制御する。また、ＬＥＤ２０４の表面側には拡散層がＬＥＤ２０４を覆うように設けられ、ＬＥＤ２０４からの点滅光を拡散して放射するようになっている。
[Embodiment 2: Card-type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as the light emitting unit of the second embodiment shown in FIG. Specifically, the
［実施の形態３：電球型発光装置］
本発明の可視光通信システムは、図１９に示す実施の形態３の発光部としての発光装置として具体化することができる。詳細には、発光装置３００は、通常の電球と同様の構成のソケット部３０１、電球部３０２及び発光部３０３を備え、電球部３０２及び発光部３０３の内部に、基板３０４を配設すると共に、基板３０４に、光源としてのＬＥＤ３０５と、（上記発光制御手段に相当する）マイコンチップ３０６とを実装し、マイコンチップ３０６からの発光制御によりＬＥＤ３０５を上記した所定の態様で点滅発光制御する。
[Embodiment 3: Light Bulb Type Light Emitting Device]
The visible light communication system of the present invention can be embodied as a light emitting device as the light emitting unit of the third embodiment shown in FIG. Specifically, the
［実施の形態４：プロジェクタ型発光装置］
本発明の可視光通信システムは、図２０に示す実施の形態４の発光部としての発光装置として具体化することができる。詳細には、発光装置４００は、通常のプロジェクタと同様の構成の基体４０１及びレンズ４０２を備え、基体４０１の内部に、（上記発光制御手段に相当する）マイコンチップ（図示略）を実装し、マイコンチップからの発光制御によりプロジェクタに内装した光源からの光を、上記した所定の態様で点滅発光制御する。また、発光装置４００は、基体４０１の所定位置にスロット４０３を設け、所定形状（例えば、コイン型又はメダル型）の識別子提供装置４１０をスロット４０３に挿入することにより、識別子提供装置４１０に固有の識別子４１１を認識して、識別子４１１に応じた発光制御態様でレンズ４０２から前記点滅光セットに対応する点滅光を出力するようになっている。
[Embodiment 4: Projector-type light-emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as the light emitting unit of the fourth embodiment shown in FIG. Specifically, the
［実施の形態５：コイン型発光装置］
本発明の可視光通信システムは、図２１に示す実施の形態５の発光部としての発光装置として具体化することができる。詳細には、発光装置５００は、コイン型の基体５０１の内部に、（上記発光制御手段に相当する）マイコンチップ５０２と、電源５０３と、光源としてのＬＥＤ５０４とを実装し、マイコンチップ５０２からの発光制御によりＬＥＤ５０４を上記した所定の態様で点滅発光制御する。また、マイコンチップ５０２の記憶部に、所定の通貨情報を格納しており、前記点滅光は、この通貨情報に対応したコード情報を提供するような点滅光セットとして出力される。
[Embodiment 5: Coin-type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as the light emitting unit of the fifth embodiment shown in FIG. Specifically, the light-emitting
［実施の形態６：鍵型発光装置］
本発明の可視光通信システムは、図２２に示す実施の形態６の発光部としての発光装置として具体化することができる。詳細には、発光装置６００は、把持部６０１及び鍵部６０２を備え、把持部６０１の内部に、電源６０３と、（上記発光制御手段に相当する）マイコンチップ６０４とを実装すると共に、鍵部６０２の先端にＬＥＤ６０６を実装し、マイコンチップ６０３からの発光制御によりＬＥＤ６０６を、上記した所定の態様で点滅発光制御する。また、タブレットやスマートフォン等の携帯端末装置６２０のカメラレンズ部分に対応する位置には（３Ｄプリンタ等で製作した）嵌合部６１０が装着され、嵌合部６１０の鍵孔６１１に、発光装置６００の鍵部６０２の先端を差し込んで嵌合することで、タブレット６２０がＬＥＤ６０６からの点滅光パターンを認識して、その点滅光パターンに応じた動作を行うようになっている。
[Embodiment 6: Key-type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as the light emitting unit of the sixth embodiment shown in FIG. Specifically, the
［実施の形態７：ボール型発光装置］
本発明の可視光通信システムは、図２３に示す実施の形態７の発光部としての発光装置として具体化することができる。詳細には、発光装置７００は、球状の基部７０１を備え、基部７０１の内部に、電源７０２と、（上記発光制御手段に相当する）マイコンチップ７０３と、ＬＥＤ７０５とを実装し、マイコンチップ７０３からの発光制御によりＬＥＤ７０５を、上記した所定の態様で点滅発光制御する。また、基部７０１の内部には、図示はしないが、近距離無線通信装置が内蔵されている。更に、任意の位置に隠蔽状態で配置した発光装置７００を、タブレットやスマートフォン等の携帯端末装置７１０が、そのＧＰＳ機能や近距離無線通信技術を使用して探索し、所定のアプリによりディスプレイ７１１に表示した探索画面７２０の探索領域７２１上に、探索した発光装置７００の位置７２２を表示する。そして、探索された発光装置７００のＬＥＤ７０５から、その発光装置７００に固有のパターンの点滅光セットを出力することで、携帯端末装置７０１がその点滅光セットに対応するコードを取得し、そのコードに応じた動作を実行する。
[Embodiment 7: Ball-type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as the light emitting unit of the seventh embodiment shown in FIG. Specifically, the light-emitting
１０：発光部（発光側装置）
１１：光源
２０：発光部側制御ユニット（発光部側制御手段）
５０：受光部（受光側装置）
６０：カメラモジュール
８０：ＣＭＯＳイメージセンサ（撮像素子）
９０：受光部側制御ユニット（受光部側制御手段）
10: Light emitting part (light emitting side device)
11: Light source 20: Light emitting unit side control unit (light emitting unit side control means)
50: Light receiving part (light receiving side device)
60: Camera module 80: CMOS image sensor (imaging device)
90: Light receiving side control unit (light receiving side control means)
Claims (7)
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記撮像素子の解像度に応じて、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成することを特徴とする可視光通信システム。 A visible light communication system comprising a light emitting side device and a light receiving side device,
The light emitting side device is:
A light source comprising a light emitting element;
Light emission side control means for controlling to output light from the light source directly or indirectly in a predetermined manner;
The light receiving side device is:
An image sensor that receives the light of the light source, exposes and captures the received image on different pixels while shifting the position over time, and outputs the imaging data;
Light receiving side control means for inputting image data from the image sensor and performing predetermined control based on the image data;
The light emission side control means includes:
The light from the light source is directly or indirectly used to output a predetermined plurality of blinking lights, and the blinking intervals of the plurality of blinking lights are respectively set to unique blinking intervals. , Encoding the plurality of flashing lights and outputting the encoded data;
The light receiving side control means includes:
The plurality of flashing lights from the light source are input to the image sensor, and the image sensor captures a pattern corresponding to a specific flashing interval of the plurality of flashing lights, and outputs the pattern. , Based on the pattern, decoding the encoded data from the flashing light,
The light emission side control means further controls the blinking light so that each turn-on time and each turn-off time of the blinking light are equal to or longer than an exposure time over a plurality of pixels of the image pickup element according to the resolution of the image pickup element. A visible light communication system, wherein a predetermined blinking light set is configured by blinking light of the blinking interval.
前記光源からの光を直接的に又は間接的に使用して前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化して復号化データを出力することを特徴とする請求項１記載の可視光通信システム。 The light receiving side control means includes:
The light from the light source is directly or indirectly used to input the plurality of blinking lights to the image sensor, and the image sensor responds to a specific blinking interval of each of the plurality of blinking lights. The visible light communication system according to claim 1, wherein a pattern to be captured is imaged, the pattern is output, the encoded data from the blinking light is decoded based on the pattern, and the decoded data is output. .
前記光源からの光を直接的に又は間接的に使用して、前記撮像素子の１フレーム分の走査時間内に、前記撮像素子の露光ラインの複数本に相当する所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光と同一数の明暗線からなると共に、前記複数の点滅光のそれぞれの固有の点滅間隔に対応する幅をそれぞれ有する明暗線パターンを撮像し、その明暗線パターンを出力して、その明暗線パターンに基づき、前記点滅光からの符号化データを復号化して復号化データを出力することを特徴とする請求項１記載の可視光通信システム。 The light emission side control means includes:
Using the light from the light source directly or indirectly, a plurality of predetermined blinking lights corresponding to a plurality of exposure lines of the image sensor within a scanning time of one frame of the image sensor. And outputting the plurality of blinking light with a unique blinking interval, thereby encoding the plurality of blinking lights and outputting the encoded data,
The light receiving side control means includes:
The plurality of flashing lights are input to the image sensor, and the image sensor includes the same number of bright and dark lines as the plurality of flashing lights, and corresponds to a specific flashing interval of each of the plurality of flashing lights. A bright and dark line pattern each having a width to be output, output the bright and dark line pattern, and based on the bright and dark line pattern, decode encoded data from the blinking light and output decoded data The visible light communication system according to claim 1.
前記光源を所定の点滅タイミングで連続的に点滅駆動する点滅駆動手段と、
前記撮像素子の１フレーム分の走査時間内に、所定の点滅周期の点滅光が２以上の所定の複数からなるフレーム内点滅数以上包含されるように、前記点滅光の所定の点滅タイミングを設定する点滅タイミング設定手段と、
前記点滅光において、前記フレーム内点滅数の範囲内で、所定の複数だけ連続する一連の点滅光の集合を、前記点滅光の複数個と同一数である点滅光セットとして設定すると共に、前記点滅光セットの各々の点滅光について、そのオン時間とオフ時間のうちの少なくともいずれか一方を、前記点滅光の所定の点滅タイミングにおける初期設定値を基準として増減調整した所定の時間間隔である駆動用設定値に設定することで、前記点滅光セットの各々の点滅光の点滅間隔を駆動用点滅間隔へと設定する点滅光セット設定手段と、
前記点滅駆動手段による前記光源の点滅駆動を制御して、前記点滅光セットの各々の点滅光の点滅間隔が前記駆動用点滅間隔となるように変調する変調手段とを備え、
前記変調手段により変調した点滅光により前記光源を発光駆動することを特徴とする請求項２記載の可視光通信システム。 The light emission side control means includes:
Blinking driving means for continuously blinking the light source at a predetermined blinking timing;
The predetermined flashing timing of the flashing light is set so that the flashing light of the predetermined flashing period is included in the scanning time for one frame of the image sensor more than the number of flashing in the frame composed of two or more predetermined plural. Blinking timing setting means to
In the flashing light, within a range of the number of flashes in the frame, a set of a series of flashing lights continuous by a predetermined number is set as a flashing light set having the same number as the plurality of flashing lights, and the flashing For each blinking light of the light set, at least one of the on time and the off time is a predetermined time interval that is adjusted to increase or decrease with reference to an initial set value at a predetermined blinking timing of the blinking light. By setting to a set value, a blinking light set setting means for setting the blinking interval of each blinking light of the blinking light set to a driving blinking interval,
Modulation means for controlling the blinking drive of the light source by the blinking drive means to modulate the blinking interval of each blinking light of the blinking light set to be the drive blinking interval,
3. The visible light communication system according to claim 2, wherein the light source is driven to emit light by blinking light modulated by the modulation means.
前記光源からの前記駆動用点滅間隔で点滅する点滅光を前記撮像素子により撮像することで、前記撮像素子の前記固有の特性を利用して、前記撮像素子による撮像イメージとして、前記点滅光セットの各点滅光のオン時間部分を直線状の明線とすると共にオフ時間部分を直線状の暗線とし、前記点滅光セットの点滅数に対応する数の前記明線及び前記暗線が交互に連続的に繰り返すストライプ状のパターンとなる縞模様イメージを撮像し、かつ、前記縞模様イメージにおける前記明線の各々の幅が、当該明線の元となる点滅光のオン時間部分に対する前記駆動用設定値に対応する幅となると共に、前記縞模様イメージにおける前記暗線の各々の幅が、当該暗線の元となる点滅光のオフ時間部分に対する前記駆動用設定値に対応する幅となるようにして、その縞模様イメージを前記点滅光セットのパターンデータとして前記撮像素子から出力し、
前記受光側制御手段は、前記撮像素子からの前記縞模様イメージからなる点滅光セットのパターンデータを入力し、そのパターンデータに基づき、コンピュータ装置に対応する所定の処理を実行させる指令を出力することを特徴とする請求項４記載の可視光通信装置。 The light receiving side device is:
The blinking light that blinks at the drive blinking interval from the light source is imaged by the imaging element, so that the image of the blinking light set is captured as an image captured by the imaging element by using the unique characteristic of the imaging element. The on-time part of each flashing light is a straight light line and the off-time part is a straight dark line, and the number of bright lines and dark lines corresponding to the number of flashes of the flashing light set are alternately and continuously. A striped pattern image that is a repeated stripe pattern is captured, and the width of each of the bright lines in the striped pattern image is set to the drive setting value for the on-time portion of the flashing light that is the source of the bright line. The width of each dark line in the striped pattern image is a width corresponding to the setting value for driving with respect to the off-time portion of the blinking light that is the source of the dark line. The to and output from the imaging element the stripes image as pattern data of the flashing light set,
The light receiving side control means inputs pattern data of a blinking light set composed of the striped pattern image from the image sensor, and outputs a command for executing a predetermined process corresponding to a computer device based on the pattern data. The visible light communication device according to claim 4.
前記発光側制御手段は、
前記光源を所定の点滅周期で連続的に点滅駆動する点滅駆動手段と、
前記ＣＭＯＳイメージセンサの１フレーム分の走査時間内に、所定の点滅周期の点滅光が２以上の所定の複数からなるフレーム内点滅数以上包含されるように、前記点滅光の所定の点滅周期を設定する点滅周期設定手段と、
前記点滅光において、前記フレーム内点滅数の範囲内で、所定の複数だけ連続する一連の点滅光の集合を、前記点滅光の複数個と同一数である点滅光セットとして設定すると共に、前記点滅光セットの各々の点滅光について、そのオン時間とオフ時間のうちの少なくともいずれか一方を、前記点滅光の所定の点滅タイミングにおける初期設定値を基準として増減調整した所定の時間間隔である駆動用設定値に設定することで、前記点滅光セットの各々の点滅光の点滅間隔を駆動用点滅間隔へと設定する点滅光セット設定手段と、
前記点滅駆動手段による前記光源の点滅駆動用の電力を、前記点滅光セットの各々の点滅光の点滅間隔が前記駆動用点滅間隔となるように変調する変調手段と、
前記変調手段からの点滅駆動用の電力を前記光源に供給して前記光源を発光駆動する発光駆動手段とを備えることを特徴とする請求項２記載の可視光通信システム。 The imaging device of the light emitting side device receives the light of the light source, scans and captures the received light image while shifting the position in a predetermined direction at regular intervals by line exposure, and outputs the imaging data A CMOS image sensor,
The light emission side control means includes:
Blinking drive means for continuously blinking the light source at a predetermined blinking cycle;
The predetermined flashing cycle of the flashing light is set so that the flashing light of the predetermined flashing cycle is included in the scanning time for one frame of the CMOS image sensor more than the predetermined number of flashing within the frame composed of two or more. Blinking cycle setting means to be set;
In the flashing light, within a range of the number of flashes in the frame, a set of a series of flashing lights continuous by a predetermined number is set as a flashing light set having the same number as the plurality of flashing lights, and the flashing For each blinking light of the light set, at least one of the on time and the off time is a predetermined time interval that is adjusted to increase or decrease with reference to an initial set value at a predetermined blinking timing of the blinking light. By setting to a set value, a blinking light set setting means for setting the blinking interval of each blinking light of the blinking light set to a driving blinking interval,
Modulation means for modulating the power for driving the blinking of the light source by the blinking driving means so that the blinking interval of each blinking light of the blinking light set becomes the blinking interval for driving;
The visible light communication system according to claim 2, further comprising: a light emission drive unit that supplies power for driving blinking from the modulation unit to the light source to drive the light source to emit light.
前記光源からの前記駆動用点滅間隔で点滅する点滅光を前記ＣＭＯＳイメージセンサにより撮像することで、前記ＣＭＯＳイメージセンサのライン露光による固有の特性を利用して、前記ＣＭＯＳイメージセンサによる撮像イメージとして、前記点滅光セットの各点滅光のオン時間部分を直線状の明線とすると共にオフ時間部分を直線状の暗線とし、前記点滅光セットの点滅数に対応する数の前記明線及び前記暗線が交互に連続的に繰り返すストライプ状のパターンとなる縞模様イメージを撮像し、かつ、前記縞模様イメージにおける前記明線の各々の幅が、当該明線の元となる点滅光のオン時間部分に対する前記駆動用設定値に対応する幅となると共に、前記縞模様イメージにおける前記暗線の各々の幅が、当該暗線の元となる点滅光のオフ時間部分に対する前記駆動用設定値に対応する幅となるようにして、その縞模様イメージを前記点滅光セットのパターンデータとして前記ＣＯＭＳイメージセンサから出力し、
前記受光側制御手段は、前記ＣＭＯＳイメージセンサからの前記縞模様イメージからなる点滅光セットのパターンデータを入力し、そのパターンデータに基づき、コンピュータ装置に対応する所定の処理を実行させる指令を出力することを特徴とする請求項６記載の可視光通信装置。 The light receiving side device is:
By capturing the blinking light blinking at the drive blinking interval from the light source by the CMOS image sensor, using the characteristic characteristic of the CMOS image sensor by line exposure, as the captured image by the CMOS image sensor, The on-time part of each flashing light of the flashing light set is a straight bright line and the off-time part is a linear dark line, and the number of bright lines and dark lines corresponding to the number of flashing of the flashing light set is Taking a striped pattern image that becomes a stripe pattern that repeats alternately and continuously, and the width of each of the bright lines in the striped image is the on-time portion of the flashing light that is the source of the bright line The width corresponds to the set value for driving, and the width of each dark line in the striped pattern image indicates the blinking light source that is the source of the dark line. As a width corresponding to the driving set value for the time portion, and output from the COMS image sensor the striped image as pattern data of the flashing light set,
The light receiving side control means inputs pattern data of a blinking light set composed of the striped pattern image from the CMOS image sensor, and outputs a command for executing a predetermined process corresponding to the computer device based on the pattern data. The visible light communication device according to claim 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022078459A JP7550467B2 (en) | 2014-05-16 | 2022-05-11 | Visible Light Communication System |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014102863 | 2014-05-16 | ||
| JP2014102863 | 2014-05-16 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015101439A Division JP6653128B2 (en) | 2014-05-16 | 2015-05-18 | Visible light communication system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022078459A Division JP7550467B2 (en) | 2014-05-16 | 2022-05-11 | Visible Light Communication System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019208233A true JP2019208233A (en) | 2019-12-05 |
| JP7090233B2 JP7090233B2 (en) | 2022-06-24 |
Family
ID=54934484
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015101439A Active JP6653128B2 (en) | 2014-05-16 | 2015-05-18 | Visible light communication system |
| JP2019128821A Active JP7090233B2 (en) | 2014-05-16 | 2019-07-10 | Visible light communication system |
| JP2022078459A Active JP7550467B2 (en) | 2014-05-16 | 2022-05-11 | Visible Light Communication System |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015101439A Active JP6653128B2 (en) | 2014-05-16 | 2015-05-18 | Visible light communication system |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022078459A Active JP7550467B2 (en) | 2014-05-16 | 2022-05-11 | Visible Light Communication System |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6653128B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111416661A (en) * | 2020-01-15 | 2020-07-14 | 华中科技大学 | An optical path alignment method for space optical communication |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7128742B2 (en) | 2016-10-12 | 2022-08-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Transmitting device, receiving device, communication system, transmitting method, receiving method and communication method |
| US12231165B2 (en) | 2016-10-21 | 2025-02-18 | Panasonic Intellectual Property Corporation Of America | Transmission device, reception device, communication system, transmission method, reception method, and communication method |
| EP3678302A4 (en) * | 2017-08-30 | 2021-03-24 | Shaanxi Whyhow Information Technology Co., Ltd | Optical communication device and system, and corresponding information transmission and reception method |
| US11340137B2 (en) | 2017-12-01 | 2022-05-24 | Exfo Inc. | Method and system for multi-link connection testing |
| US10591385B2 (en) | 2017-12-01 | 2020-03-17 | Exfo Inc. | Method and system for multi-fiber cable testing |
| CN110943778B (en) * | 2018-09-25 | 2021-12-07 | 北京外号信息技术有限公司 | Optical communication device and method for transmitting and receiving information |
| JP7052696B2 (en) | 2018-11-30 | 2022-04-12 | カシオ計算機株式会社 | Transmitter, transmission method and program |
| JP7228889B2 (en) * | 2019-04-11 | 2023-02-27 | 学校法人加計学園 | Visible light communication device and visible light communication method |
| CN112394322B (en) * | 2020-05-27 | 2023-06-20 | 南京邮电大学 | A two-step method for precise positioning of indoor visible light communication systems |
| WO2022208883A1 (en) * | 2021-04-02 | 2022-10-06 | 日本電信電話株式会社 | Optical space communication device and optical space communication method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5395293B1 (en) * | 2012-05-24 | 2014-01-22 | パナソニック株式会社 | Information communication method and information communication apparatus |
| WO2014037866A1 (en) * | 2012-09-10 | 2014-03-13 | Koninklijke Philips N.V. | Light detection system and method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0380719A (en) * | 1989-08-24 | 1991-04-05 | Sunx Ltd | Optical communication system and its transmitting station and receiving station |
| JP4736397B2 (en) * | 2004-10-22 | 2011-07-27 | 日本電気株式会社 | Imaging device, imaging module, and portable terminal |
| JP4577612B2 (en) | 2005-03-30 | 2010-11-10 | カシオ計算機株式会社 | Information display system and information display method |
| JP4639127B2 (en) | 2005-08-31 | 2011-02-23 | 株式会社オプナス | Receiving machine |
| JP2007274580A (en) | 2006-03-31 | 2007-10-18 | Nakagawa Kenkyusho:Kk | Visible light communication system |
| JP5936902B2 (en) | 2012-04-13 | 2016-06-22 | 株式会社東芝 | Transmission system, transmission device and reception device |
-
2015
- 2015-05-18 JP JP2015101439A patent/JP6653128B2/en active Active
-
2019
- 2019-07-10 JP JP2019128821A patent/JP7090233B2/en active Active
-
2022
- 2022-05-11 JP JP2022078459A patent/JP7550467B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5395293B1 (en) * | 2012-05-24 | 2014-01-22 | パナソニック株式会社 | Information communication method and information communication apparatus |
| WO2014037866A1 (en) * | 2012-09-10 | 2014-03-13 | Koninklijke Philips N.V. | Light detection system and method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111416661A (en) * | 2020-01-15 | 2020-07-14 | 华中科技大学 | An optical path alignment method for space optical communication |
| CN111416661B (en) * | 2020-01-15 | 2021-06-29 | 华中科技大学 | An optical path alignment method for space optical communication |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7090233B2 (en) | 2022-06-24 |
| JP2022097664A (en) | 2022-06-30 |
| JP2015233276A (en) | 2015-12-24 |
| JP6653128B2 (en) | 2020-02-26 |
| JP7550467B2 (en) | 2024-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7550467B2 (en) | Visible Light Communication System | |
| US10949647B2 (en) | System and method of efficient illuminator-sensor synchronization to capture images | |
| US9516295B2 (en) | Systems and methods for multi-channel imaging based on multiple exposure settings | |
| US20170237887A1 (en) | Imaging device and imaging method | |
| JP6373577B2 (en) | Imaging control device | |
| JP6073501B2 (en) | Method and apparatus for generating a variable illumination pattern infrared illumination beam | |
| US20160349043A1 (en) | Depth information extracting device and method | |
| US10321534B1 (en) | Color error corrected segmented LED array | |
| CN109784120B (en) | Optical code generation device, light sensation data interaction method and image acquisition device | |
| KR20180057505A (en) | Hidden camera prevention device | |
| US10218439B2 (en) | Optical communication device, optical communication method, and non-transitory recording medium | |
| CN109784119B (en) | Optical code generating device, decoding device, encoding method, decoding method, and system | |
| CN113422945A (en) | Laser projection equipment and display method of projected image thereof | |
| US7400826B2 (en) | Imaging device and method for producing a flash of light with pulsing | |
| JP2016063347A (en) | Signal transmitter, signal transmission method and signal transmission program | |
| JP6459620B2 (en) | Light receiving unit, light emission control method and program | |
| JP2018113600A (en) | Light emitting device, imaging device, information transmission system, information transmission method and program | |
| US10951312B2 (en) | Transmitting device, transmission control device, and transmission method | |
| JP7209195B2 (en) | Display device and display method | |
| JP2014140117A (en) | Camera apparatus and imaging method | |
| CN112788311B (en) | Information acquisition method and information acquisition device | |
| JP2018113662A (en) | Imaging apparatus | |
| JP6859996B2 (en) | Light emitting unit, light emitting control method and program | |
| CN113728564B (en) | Method and system for invisible light communication using visible light camera | |
| JP6307922B2 (en) | Imaging system, imaging device, light emitting device, imaging method, light emitting method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190809 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201012 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210505 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7090233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |