JP4568987B2

JP4568987B2 - Neuron and hierarchical neural network constructed using the neuron

Info

Publication number: JP4568987B2
Application number: JP2000337651A
Authority: JP
Inventors: 毅川島
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2000-11-06
Filing date: 2000-11-06
Publication date: 2010-10-27
Anticipated expiration: 2020-11-06
Also published as: JP2002150259A

Description

【０００１】
【発明の属する技術分野】
本発明は、文字や図形の認識、連想記憶、多入出力非線形マッピングなどに応用される階層型ニューラルネットワークに関する。
【０００２】
【従来の技術】
従来、生体で行われている情報処理をモデル化したニューラルネットワーク（神経細胞回路網）が知られている。このニューラルネットワークでは、神経細胞（ニューロン）を機能単位とし、複数のニューロンをネットワーク状に配置して情報処理を行う。このようなニューラルネットワークは、従来のノイマン型コンピュータではなかなか達成できない文字や図形の認識、連想記憶、多入出力非線形マッピング等の情報処理に好適である。
【０００３】
次に、本発明に対する理解を容易にするため、ニューラルネットワークについて説明する。
最初にニューラルネットワークの概要構成を説明する。
上述したように、ニューラルネットワークはニューロンをネットワーク状に配置して構成される。例えば図１３に示す如くである。図１３に示したニューラルネットワークは３層階層型ニューラルネットワークと呼ばれ、入力層、中間層（隠れ層）、出力層を備えている。
【０００４】
なお、信号は入力層から入力され、中間層、出力層と順に伝播し、出力層から出力される。ニューラルネットワークの技術分野では周知であるが、入力層は入力信号を中間層に伝播させるのみであり、中間層や出力層のような演算を行わない。そのため、中間層及び出力層を構成する機能単位をニューロンと呼ぶ。中間層と出力層にはそれぞれ、少なくとも１つのニューロンが含まれる。
【０００５】
図１３に示すように、入力層は中間層の各ニューロンと結合され、同様に、中間層の各ニューロンは出力層の各ニューロンと結合されている。そして、上述したように、ニューラルネットワークの入力層に対して入力された信号は中間層に伝播し、中間層に含まれるニューロン内で後述するような所定の演算が行われ、その出力値がさらに出力層へ伝播する。出力層に含まれるニューロンにおいても同様の演算が行われ、その出力値がネットワークの最終出力となる。
【０００６】
この一連の動作が順伝播（フォワード処理）と呼ばれるニューラルネットワークの情報処理であり、中間層に含まれるニューロンを十分多くとると、任意の入出力が実現される。
なお、図１３に示したニューラルネットワークは、１つの中間層を有する３層構造のネットワークであるが、２以上の中間層を有するネットワークも提案されている。
【０００７】
続いて、ニューラルネットワークの構成単位であるニューロンについて説明する。
図１４は、図１３中に記号ｊで示したｊ番目のニューロンの模式図である。ニューロンは、外部からの入力値を入力する入力部、それら入力値を演算する演算部、及び演算結果を出力する出力部から構成されている。
【０００８】
外部からの各入力値をｘ_i （ｉ＝１，２，３，・・・，ｎ）で示せば、演算部は、対応する結合係数ｗ_ji（ｉ＝１，２，３，・・・，ｎ）を各入力値ｘ_i に乗じ、それらの和ｙ_j を計算する。次の式１に示す如くである。
ｙ_j ＝Σｗ_jiｘ_i …式１
なお、記号Σはｉについての和記号である。また、結合係数ｗ_jiは、ニューロン間の結合の強さを表すものであり、ｊ番目のニューロンとｉ番目のニューロンとの結合の強さを示す。
【０００９】
さらに演算部は、求めた和ｙ_j に対して非線形演算ｆを行って出力値ｚ_j とする。次の式２に示す如くである。
ｚ_j ＝ｆ（ｙ_j ） …式２
非線形関数ｆとしては、シグモイド関数が用いられることが多い。それは、学習機能の実現において必要となる非線形関数ｆの微分値ｆ’が、ｆ’＝ｆ・（１−ｆ）というように非線形関数ｆ自体を用いて表現され、演算量を減らすことができるからである。また、非線形関数ｆとしてステップ関数（階段関数）を用いることもある。ただし、これらの関数には限られず、飽和特性を持つ単調増加関数であればよい。
【００１０】
このようなニューロンを構成単位とするニューラルネットワークの特徴として、学習機能を備えていることが挙げられる。
以上ニューラルネットワークの概要について詳述したが、ニューラルネットワークを構成するにあたっては、上述したニューロンの機能を如何にして実現するかが問題となる。
【００１１】
従来、ノイマン型コンピュータを用い、ソフトウェア処理にてニューロンの機能を実現する手法を用いることが多かった。しかし、この場合、複数のニューロンにおける処理をＣＰＵが時分割で実行することになるため、本来の並列情報処理がなされない。
【００１２】
従来、ディジタル回路を用いてニューロンを構成する技術として、特開平７−１１４５２４号公報に開示されたものがある。この技術では、ニューロンの機能をディジタル回路で実現するにあたり、パルス密度という概念を採用した。
しかし、パルス密度を用いた場合には、次に示すような問題がある。
【００１３】
それは、ニューラルネットワークのニューロン間の結合には興奮性結合と抑制性結合があり、数学的には結合関数の正負符号によって表現されるが、パルス密度を用いた場合は両者を区別することができない。すなわち、特開平７−１１４５２４号公報には、パルス密度で「０〜１」を表現できる構成となっているが、ニューラルネットワークのニューロン間の結合を表現するためには「−１〜１」に相当する信号を表現する必要がある。そのため、この技術では、結合係数の正負によって各結合を興奮性結合と抑制性結合の２つのグループに分けている。その結果、この公報でいうところのシナプス回路から細胞体回路への信号線が２系統必要となってくる。
【００１４】
このような課題を解決するため、本出願人は、特願平１１−３２８３１２号において、パルスの遅延時間を用いてニューロンの機能を実現した。これによれば、１つの信号にて興奮性結合と抑制性結合とを表現可能にし、パルス密度を用いた場合の信号線を１系統にすることができ、ニューラルネットワークの回路面積の縮小が図られる。
【００１５】
【発明が解決しようとする課題】
ところが、次のような点においてはさらに改良の余地がある。
それは、上記公報に記載の技術においても言えることであるが、ｍ個のパルスをニューロンの信号単位としている点である。つまり、上記式２に示した非線形演算ｆを実現するために、ニューロンへの入力信号を、正規分布に従うパルス列で表現していた。そして、このパルス列は時系列に入力され、ｍ個のパルスが入力されてはじめてニューロンの出力が得られることになるため、ニューロンの演算に時間を要する結果となっていた。
【００１６】
本発明は、このような問題を解決するためになされたものであり、パルスの遅延時間を用いて演算を行うニューロンにおいて、回路規模を増大させることなく、演算時間の短縮を図ることを目的とする。
【００１７】
【課題を解決するための手段及び発明の効果】
上述した目的を達成するためになされた請求項１に記載のニューロンは、ディジタル電子回路として実現される階層型ニューラルネットワークの構成単位であり、生体の神経細胞（ニューロン）をモデル化したものである。
【００１８】
本ニューロンには、基準パルスに対し、入力信号としてのパルスが入力される。この基準パルスは、一定時間間隔で生成されることが考えられるが（請求項９）、一定時間間隔でなくても差し支えない。ただし、一定時間間隔で基準パルスを生成する場合、カウンタなどを用いて容易に実現できる点で有利である。基準パルスは、本ニューロンの外部にて生成され、本ニューロンへ入力されるようにしてもよいが、基準パルス生成手段を備える構成とし（請求項８）、本ニューロンの内部にて生成するようにしてもよい。一般的に、ニューロンの外部で基準パルスを生成する構成では、各ニューロンの回路構成が簡単になるというメリットが得られる。しかし、外部で基準パルスを生成すると、各ニューロンへの信号線が必要となるため、ニューラルネットワーク全体の回路規模などによっては、ニューロン内部に基準パルス生成手段を備える構成の方がメリットが高くなる場合もある。
【００１９】
本ニューロンの特徴は、このような基準パルスに対する、例えば１つのパルスを入力信号の単位とできることである。入力信号としてのパルスが入力されると、本ニューロンは、以下のように動作する。
まず、乗算手段が、対応する結合係数に基づく乗算値を求める。続いて、加算手段が、乗算手段にてパルスのそれぞれに対して求められる乗算値を加算する。
この乗算手段及び加算手段による演算が、上記式１に示す演算に相当する。そして、非線形演算手段は、加算手段による加算値を平均値とする確率分布に従う乱数を生成し、当該乱数の累積分布を求めることによって非線形演算値を求める。
この非線形演算手段による演算が、上記式２に示す演算に相当する。
【００２０】
ここで乗算手段は、基準パルスからのパルスの遅延時間に、対応する結合係数を乗じて乗算値を求めることが考えられる（請求項４）。なお、ここでいう「遅延時間」はマイナスの値を取り得る。遅延時間がマイナス値となるのは、対応する基準パルスに、パルスが先行するときである。
【００２１】
以下の説明で単に「パルスの遅延時間」という場合、上述したような、対応する基準パルスからの遅延時間をいうものとする。
ここで本発明の技術思想について説明する。上述した特願平１１−３２８３１２号に開示したニューロンでは、例えば２５６個というようなｍ個のパルスを入出力信号の単位としていた。そして、このｍ個の各パルスの遅延時間は、平均をλとする正規分布に従うものであった。このようにした理由は、ニューロンを構成する回路の簡略化にあり、ニューロン内部での非線形演算が、正規分布に従う遅延時間の累積分布を求めることによって簡単に実現できるためであり、具体的には、図１６に示した回路により加算値の符号ｓｉｇｎΣに基づく正数値のカウントで実現できるためである。
【００２２】
ところが、実際の演算で意味をなすのは各パルスの遅延時間の平均値であり、ニューロン内部で正規分布に従う乱数を生成するようにして非線形演算を可能にすれば、パルス列における平均遅延時間を、１つのパルスの遅延時間で置き換えてもよい。すなわち、入出力信号に１つのパルスを用いてもよい。
【００２３】
そこで、本発明では、非線形演算手段が、加算値を平均値とする確率分布に従う乱数を生成し、当該乱数の累積分布を求めることによって非線形演算値を求めるようにした。
この場合、確率分布に従う乱数をニューロン内部で生成する構成が必要となるが、特願平１１−３２８３１２号に開示したニューロンでも、非線形演算値を平均遅延時間とするパルス列を出力信号として改めて生成しており、ニューロン内部で正規分布に従う乱数を生成している。言い換えれば、従来より、ニューロン内部で確率分布に従う乱数を生成する構成を有していた。したがって、本発明の構成を採用しても、従来の構成と比較して、回路規模が増大することはない。
【００２４】
演算時間の短縮について言えば、ｍ個のパルス列を信号単位とするニューロンでは、ｍ個のパルスが入力されてはじめて、ニューロンからの出力が得られ、演算がなされることになる。これに対して、本発明では、例えば１つの基準パルスに対応する１つのパルスを入力信号とすることができ、このとき演算時間は（１／ｍ）に短縮される。
【００２５】
すなわち、本発明のニューロンによれば、パルスの遅延時間を用いて演算を行うニューロンにおいて、回路規模を増大させることなく、演算時間の短縮を図ることができる。
なお、非線形演算値そのものを出力信号としてもよいが、中間層のニューロンなど、次のニューロンへの入力信号を出力することを考えると、さらに、非線形演算手段にて求められた非線形演算値に基づき、基準パルスに対する出力信号としてのパルスを生成するパルス生成手段を備える構成としてもよい（請求項５）。例えば、パルス生成手段は、非線形演算値に基づく遅延時間を基準パルスからの遅延時間とする１つのパルスを生成するという具合である。
【００２６】
ところで、基準パルスに対しパルスが先行するときに、遅延時間がマイナスの値を取り得ることは既に述べた。しかしながら、本発明の技術思想では、ニューロン間の信号であるパルスの遅延時間がマイナスの値をとらなくても、ニューロンの内部で遅延時間をマイナス値として処理できればよい。すなわち、対応する結合係数がマイナスであった場合に、その結合係数との乗算値がマイナス値を含めて計算できればよい。したがって、上述したパルスが基準パルスよりも遅れて入力されることを前提として、各手段を構成することが考えられる（請求項７）。つまり、入力パルスの遅延時間が常にプラス値をとることを前提としてもよい。この場合、基準パルスに先行するパルスを判断する必要がなくなるため、回路構成が簡単になる。また、パルス生成手段を備える構成においては、当該パルス生成手段が、基準パルスよりも遅れたパルスを生成することが考えられる（請求項６）。
【００２７】
なお、上述したように、乗算手段は、例えばパルスの遅延時間に結合係数を乗じて乗算値を求めるものとできる。したがってこの場合、最も簡単には乗算回路を用いて構成することが考えられる。しかし、一般に乗算回路は回路面積が大きくなるという欠点がある。
【００２８】
そこで、乗算手段は、一様乱数発生器を備える構成とし、パルスの遅延時間に応じた回数だけ一様乱数発生器にて乱数を生成し、当該生成した乱数と結合係数との値を比較し、当該比較結果に基づき乗算値を求めるものとすることが考えられる（請求項１０）。
【００２９】
これは二項分布の正規分布近似を応用したものである。二項分布の正規分布近似とは、二項分布に従うｎ回の試行において、ｎを大きくすると、二項分布は平均値ｎ・Ｐの正規分布に近づくという性質である。ここでＰは、一回の試行において結果が「成功」する確率である。この性質を使い結合係数ｗ、遅延時間に応じた回数ｘとし、Ｐ＝ｗ、ｎ＝ｘとすれば、ｘ回の試行で「成功」する確率の分布は平均ｗｘの正規分布に従う。すなわち、ｘ回だけ一様乱数発生器にて乱数ｒを生成し、この乱数ｒが結合係数ｗよりも小さくなる回数を計数すれば、この計数値は、ｗｘを平均とする正規分布に従うことになる。したがって、この計数値で乗算値を近似してもよい。このようにすれば、乗算回路を用いた場合と比較して、ニューロンの回路面積が大幅に削減される。この意味で、本明細書でいうところの「乗算値」には、乗算相当値とでも呼ぶべき近似値も含まれる
ところで、非線形演算手段にて生成される確率分布に従う乱数は、正規分布に従う乱数（以下「正規乱数」という。）とすることが考えられる（請求項１１）。また、三角分布に従う乱数（以下「三角乱数」という。）としてもよい（請求項１２）。累積分布の関数が、飽和型の単調増加関数になればよいためである。
【００３０】
このような乱数を生成して非線形演算を実現する非線形演算手段について、次に説明する。
非線形演算手段は、乱数生成手段と、非線形変換手段とを備える構成とすることが考えられる（請求項１〜３）。このとき、乱数生成手段は、加算手段による加算値を平均値とする確率分布に従う乱数を生成し、一方、非線形変換手段は、乱数生成手段によって生成された乱数の中の正数値の個数を、非線形演算値として計数する。ここでいう正数値には「０」を含めてもよいし、「０」を含めなくてもよい。境界値「０」を含めるか否かは、計数値全体からみればほとんど影響しないからである。
【００３１】
なお、乱数生成手段は、平均値を「０」とする確率分布に従う乱数を生成し、当該乱数に加算手段による加算値を加えることによって、加算手段による加算値を平均値とする確率分布に従う乱数を生成することが考えられる（請求項１）。具体的に、平均値を「０」とする確率分布に従う乱数は、一様乱数発生器を用いて生成することができる。したがって、乱数生成手段は、一様乱数発生器と、当該一様乱数発生器にて生成された乱数を加算する加算器とを用いて構成すればよい（請求項２，３）。
【００３２】
分布が有限な乱数を多数加えると、中心極限定理により正規分布に近づくことが知られている。例えば一様乱数Ｕ（０≦Ｕ＜１）を１２個加えて６引いた値の分布は、Ｎ（０，１）の正規分布となる。また、２つの一様乱数発生器を用いれば、上述した三角分布に従う乱数を得ることができる。
【００３３】
上述したように１２個の一様乱数発生器を用意すれば、その加算値は確率的に精度良く正規分布に従うことになる。しかし、本発明において、正規分布に従う乱数を生成するのは非線形演算を可能にするためであり、この乱数がそれほど精度よく正規分布に従わなくても、ニューロンの機能を損なうことはない。したがって、現実的に正規分布に従う乱数を生成するには、３つ又は４つの一様乱数発生器を用いれば十分である。
【００３４】
以上、ニューロンの構成を説明してきたが、上述したニューロンを機能単位とする階層型ニューラルネットワークの発明として実現することもできる（請求項１３）。
【００３５】
【発明の実施の形態】
以下、本発明を具体化した実施例を図面を参照して説明する。なお、本発明は以下の実施例に何等限定されることなく、発明の技術的範囲に属する限り種々の実施形態を取り得ることは言うまでもない。
【００３６】
図１は、階層型ニューラルネットワークの機能単位となるニューロンの模式図である。
ニューロン１０は、図１３に模式的に示した階層型ニューラルネットワークのｊ番目のニューロンを例示したものである。
【００３７】
ニューロン１０は、図１３に示すように、ニューラルネットワークの入力層からの入力信号を入力し、所定の演算を行い、さらに、出力層のニューロンへ出力信号を出力する。なお、中間層及び出力層に含まれるニューロンは全て、同様の構成となっている。出力層に含まれるニューロンは、中間層のニューロンからの入力信号に基づく演算を行い、ニューラルネットワークの出力信号を生成する。
【００３８】
図１に示すように、ニューロン１０には、ｎ本のパルスｘ₁，ｘ₂，・・・，ｘ_nが入力信号として入力される。そして、ニューロン１０は、パルスｚ_j'を出力信号として出力する。
そして、ニューロン１０の外部にて一定時間間隔で生成される基準パルスＴからの遅延時間に基づき信号処理を行うことを特徴としている。
【００３９】
図１中に示すｎ本のパルスｘ₁，ｘ₂，・・・，ｘ_nは、基準パルスＴに対するパルスであり、例えばパルスｘ₁の遅延時間は、基準パルスＴからの遅れである。図１中には、パルスｘ₁の遅延時間をｄ₁で示した。同様に、パルスｘ₂，・・・，ｘ_nの遅延時間は、ｄ₂，・・・，ｄ_nとなる。
【００４０】
なお、本実施例では、遅延時間ｄ_iは、常にプラス値（ｄ_i≧０）である。遅延時間を用いる理由の一つには、興奮性結合と抑制性結合を１つの信号で表現できるからであった。パルスの遅延時間を用いれば、結合係数との乗算値が内部的にマイナス値として処理できる。このとき、ニューロン１０の内部でマイナス値として処理できれば十分である。したがって、遅延時間ｄ_iが常にプラス値となるように、ニューロン１０の入出力信号を正規化してもよい。もちろん、遅延時間ｄ_iがマイナス値をとるように構成することもできる。この場合、パルスｘ_iが基準パルスＴに先行する。
【００４１】
図１に示すようにニューロン１０は、ｎ本のパルスｘ_iのそれぞれに対応する結合係数ｗ_j1，ｗ_j2，・・・，ｗ_jnを記憶している。そして、パルスｘ_i に対し、従来技術の説明中に述べた式１及び式２に相当する演算を行う。そして、式２の演算結果に基づいて、パルスｚ_j'を出力する。なお、以下の説明では、結合係数を単にｗと記述する。ただし、パルスｘ_iとの対応関係を明に示す場合、適宜添え字を付してｗ_iと記述することにする。
【００４２】
次に、ニューロン１０の構成及び動作を説明する。
図２は、ニューロン１０の機能ブロック図である。ニューロン１０は、乗算ブロック２０と、加算ブロック３０と、正規乱数生成ブロック４０と、非線形変換ブロック５０と、パルス生成ブロック６０とを備えている。
【００４３】
まず乗算ブロック２０では、パルスｘ_i に対応する結合係数ｗ_jiを、当該パルスｘ_iの遅延時間ｄ_iに乗じる。この乗算値をｗ・ｘ_iで示すことにする。結合係数ｗ_jiは、各乗算ブロック２０毎に設けられたレジスタ２０Ｒに記憶されている。次に加算ブロック３０では、各乗算ブロック２０にて算出されたｗ・ｘ_iを加算する。この加算置をｙ_jで示すことにする。この乗算ブロック２０及び加算ブロック３０での演算が、上記式１の演算に相当する。なお、図２では３つの乗算ブロック２０を備える構成を示したが、入力信号の本数に応じて乗算ブロック２０は設けられる。
【００４４】
正規乱数生成ブロック４０では、加算ブロック３０による加算値ｙ_jを平均値とする正規分布に従う乱数を生成し、当該生成した乱数の最上位ビット（符号ビット）ｓｉｇｎを出力する。この符号ビットｓｉｇｎは、乱数がプラス値であれば「０」、乱数がマイナス値であれば「１」となる。そして、非線形変換ブロック５０では、正規乱数生成ブロック４０からの出力である符号ビットｓｉｇｎに基づき、乱数の中の正数値の個数を計数する。この計数値をｚ_jと示す。この正規乱数生成ブロック４０及び非線形変換ブロック５０での演算が、上記式２の演算に相当する。
【００４５】
パルス生成ブロック６０は、基準パルス生成ブロック１００からのカウント値Ｃｏｕｎｔに基づき、基準パルスＴからの遅延時間が計数値ｚ_jとなるパルスｚ_j'を生成し、ニューロン１０の出力信号とする。
以上ニューロン１０を機能ブロック単位で大まかに説明した。次に、各ブロックについての構成及び動作を詳細に説明する。
【００４６】
最初に乗算ブロック２０について説明する。
図３は、乗算ブロック２０の構成を示す回路図である。乗算ブロック２０は、遅延時間計時部２１、一様乱数発生器である線形シフトレジスタ（以下「ＬＦＳＲ」という。）２２、反転スイッチ部２３、比較器２４、アップダウンスイッチ部２５、及びアップダウンカウンタ２６を備えている。
【００４７】
遅延時間計時部２１は、ＳＲフリップフロップ（以下「ＳＲＦ／Ｆ」という。
）２１ａ及び２入力のＡＮＤゲート２１ｂを備えている。
また、ＳＲＦ／Ｆ２１ａのリセット端子（Ｒ）へは入力信号ｘ_i が入力され、セット端子（Ｓ）へは、基準パルスＴが入力される。ＳＲＦ／Ｆ２１ａの出力端子は、ＡＮＤゲート２１ｂの一方の入力端子に結線されている。また、ＡＮＤゲート２１ｂの他方の入力端子には、外部からのクロック信号ＣＬＫが入力される。そして、ＡＮＤゲート２１ｂの出力端子が、ＬＦＳＲ１２２のクロック端子に結線されている。
【００４８】
ＬＦＳＲ２２は、クロック端子へパルスが入力される毎に、ｍビット［ｍ−１：０］の一様乱数を生成する。ＬＦＳＲ２２にて生成された乱数は、比較器２４の入力端子（Ｌ）へ入力される。
一方、比較器２４の他方の入力端子（Ｒ）には、結合係数ｗが入力される。結合係数ｗは、上述したように各乗算ブロック２０に対応するレジスタ２０Ｒから取得される。結合係数ｗは、ｍ＋１ビット［ｍ：０］の数値であり、２の補数表現を用い、興奮性結合である場合にはプラスの値として示され、一方、抑制性結合である場合にはマイナスの値として示される。
【００４９】
この結合係数ｗの最上位ビット［ｍ］が、反転スイッチ部２３及びアップダウンスイッチ部２５へ入力される。
反転スイッチ部２３は、結合係数ｗの最上位ビット［ｍ］が「０」であれば、スイッチを「０」側に切り換える。一方、最上位ビットｍが「１」であれば、スイッチを「１」側へ切り換える。これによって、スイッチが「０」側に切り換えられたときは、最上位ビット［ｍ］を除くｍビット［ｍ−１：０］の数値がそのまま比較器の入力端子（Ｒ）へ入力される。一方、スイッチが「１」側に切り換えられたときは、最上位ビット［ｍ］を除くｍビット［ｍ−１：０］の各ビットが反転ゲート２３ａにて反転され、ｍビットの数値として比較器２４の入力端子（Ｒ）へ入力される。これによって、２の補数表現となっていたマイナスの結合係数ｗの絶対値が比較器２４へ入力されることになる。なお、厳密には、２の補数表現を用いた場合には反転した後に「１」を加算することが必要となるが、ニューロンの処理精度に特に影響を及ぼすことがないため、本実施例ではハードウェアの削減を図る意味で加算していない。
【００５０】
上述したように、比較器２４の入力端子（Ｌ）へはＬＦＳＲ２２にて生成された乱数が入力される。一方、入力端子（Ｒ）へは結合係数ｗの絶対値が入力される。比較器２４は、両方の入力値を比較し、結合係数ｗが乱数よりも大きくなるとパルスを出力する。この比較器２４からの出力が、アップダウンスイッチ部２５を介し、アップダウンカウンタ２６のアップ側の入力端子又はダウン側の入力端子のいずれか一方へ入力される。
【００５１】
また、アップダウンスイッチ部２５は、結合係数ｗの最上位ビット［ｍ］が「０」であればスイッチを「０」側に切り換え、一方、「１」であればスイッチを「１」側に切り換える。これによって、結合係数ｗがマイナス値として２の補数表現で示されている場合には、アップダウンカウンタ２６にてダウンカウントされることになる。
【００５２】
アップダウンカウンタ２６は、ｎ＋２ビット［ｎ＋１：０］のカウンタであり、アップ側の端子にパルスが入力される度に「０」→「１」→「２」→・・・という具合にカウントを行う。一方、ダウン側の端子にパルスが入力される度に「０」→「−１」→「−２」→・・・という具合にカウントを行う。なお、アップダウンカウンタ２６の出力は、下位１ビットを除くｎ＋１ビット［ｎ＋１：１］である。これはカウント値を２で割ったものに相当する。
【００５３】
このように構成された乗算ブロック２０の動作を図３の回路図及び図５のタイミングチャートに基づき説明する。なお、図５のタイミングチャートには、パルスｘ₁に対応して、乗算値ｗ₁・ｘ₁が出力される様子を示した。
図５に示すように時刻ｔ１で基準パルスＴが入力されると、ＳＲＦ／Ｆ２１ａの出力がＨレベルへ反転する。したがって、クロック信号ＬＣＬＫが、ＡＮＤゲート２１ｂから出力される。その結果、ＬＦＳＲ２２を動作させるクロック信号出力が開始される。
【００５４】
その後、時刻ｔ２で入力信号ｘ_i のパルスが入力されると、ＳＲＦ／Ｆ２１ａの出力がＬレベルへ反転する。そのため、ＡＮＤゲート２１ｂの出力がＬレベルに保持され、ＬＦＳＲ２２を動作させるクロック信号出力が停止される。
したがって、ＬＦＳＲ２２へのクロック信号ＬＣＬＫは、図５中に示すように時刻ｔ１〜ｔ２の期間、すなわちパルスｘ₁の遅延時間ｄ₁に応じて出力されることになる。
【００５５】
このとき結合係数ｗの符号がプラスであるとする。２の補数表現を用いた結合係数ｗがプラスの値であるとき、ｍ＋１ビット［ｍ：０］のレジスタ２０Ｒの最上位ビット［ｍ］は「０」である。したがって、反転スイッチ部２３は、スイッチを「０」側に切り換える。そのため、最上位ビット［ｍ］を除くｍビット［ｍ−１：０］の数値が、比較器２４の一方の入力端子（Ｒ）へ入力される。
【００５６】
また、結合係数の最上位ビット［ｍ］が「０」であるため、アップダウンスイッチ部２５は、スイッチを「０」側へ切り換える。すなわち、比較器２４からの出力がアップダウンカウンタ２６のアップ側の入力端子へ入力されるようにスイッチを切り換える。
【００５７】
ＬＦＳＲ２２へのクロック信号ＬＣＬＫが、時刻ｔ１〜ｔ２の期間に出力されることは上述した。図５に示すように、時刻ｔ１〜ｔ２の期間にＬＦＳＲ２２へのクロック信号ＬＣＬＫが出力されている。ＬＦＳＲ２２は、クロック信号としてのパルスが入力される毎に、ｍビット［ｍ−１：０］の乱数を発生する。そして、この乱数が比較器２４の一方の入力端子（Ｌ）に出力される。
【００５８】
比較器２４では、結合係数ｗが乱数よりも大きくなると、アップダウンカウンタ２６へパルスを出力する。図５では、結合係数ｗ＞乱数となったのが１４８回であったため、アップダウンカウンタ２６は、「１４８」までカウントしている。
【００５９】
なお、結合係数ｗの符号がマイナスであれば、アップダウンスイッチ部２５は、スイッチを「１」側へ切り換える。すなわち、比較器２４からの出力がアップダウンカウンタ２６のダウン側の端子へ入力される。そのため、比較器２４によるパルス出力によってアップダウンカウンタ２６は、「０」→「−１」→「−２」→「−３」とカウントすることになる。
【００６０】
これによって、結合係数ｗがマイナス値である場合は、この乗算ブロック２０にて遅延時間ｄ_iがマイナスの数値に変換される。
ここで、この乗算ブロック２０のアップダウンカウンタ２６の出力値の分布は、二項分布の正規分布近似によりＮ（ｗｘ，１）の正規分布に従う。
【００６１】
二項分布の正規分布近似とは、二項分布に従うｎ回の試行において、ｎを大きくすると、二項分布は平均値ｎ・Ｐの正規分布に近づくという性質である。ここでＰは、一回の試行において結果が「成功」する確率である。つまり、上述した乗算ブロック２０では、遅延時間ｄ_iに応じた回数ｄ_i'だけＬＦＳＲ２２によって乱数を発生させ、比較器２４によって「成功」した回数だけパルスを出力する。そして、この「成功」した回数を、アップダウンカウンタ２６にて計数している。すなわち、アップダウンカウンタ２６のカウント値は確率的に、Ｎ（ｗｄ’，１）の正規分布に従うことになる。したがって、パルスｘ_iの遅延時間ｄ_iと結合係数ｗとの乗算値として、アップダウンカウンタ２６のカウント値を近似的に採用することができ、本実施例では、アップダウンカウンタ２６の出力を２で割ったものを乗算値ｗ・ｘ_iと示した。
【００６２】
続いて加算ブロック３０について説明する。
図６は、加算ブロック３０の構成を示す回路図である。加算ブロック３０は、加算器３１及びレジスタ３２を備えている。
加算器３１は、ｎ＋３ビット［ｎ＋２：０］である。この加算器３１には、各乗算ブロック２０のアップダウンカウンタ２６からのｎ＋１ビット［ｎ＋１：１］の出力値ｗ・ｘ_iが入力される。ここでは、図２に示す各乗算ブロック２０からの出力値をｗ₁ ・ｘ₁ ，ｗ₂ ・ｘ₂ ，ｗ₃ ・ｘ₃ と記述した。
【００６３】
加算器３１は、レジスタ３２に接続されている。レジスタ３２には、基準パルスＴ及びクロック信号ＣＬＫが入力される。レジスタ３２は、基準パルスＴの入力タイミングで、加算器３１の加算結果を加算値ｙ_jとして出力する。
以上のように構成された加算ブロック３０の動作を、図４の回路図及び図５のタイミングチャートに基づき説明する。
【００６４】
加算器３１には各乗算ブロック２０からの出力値ｗ₁ ・ｘ₁ ，ｗ₂ ・ｗ₂ ，ｗ₃ ・ｘ₃ が入力され、加算器３１では、これらの値が加算される。パルスｘ₁が時刻ｔ２で入力されているように、パルスｘ₂，ｘ₃も、時刻ｔ１で入力された基準パルスＴに遅れて入力される。したがって、乗算値ｗ₁・ｘ₁と同様に乗算値ｗ₂・ｘ₂，ｗ₃・ｘ₃が計算されて、乗算ブロック２０から出力される。
【００６５】
加算器３１による加算結果は、時刻ｔ３で次の基準パルスＴが入力されると、レジスタ３２によって、加算値ｙ_jとして出力される。この出力は、さらに次の基準パルスＴが入力されるまで保持される。図５中では、加算値ｙ_jとして「３００」が出力されている。
【００６６】
続いて正規乱数生成ブロック４０について説明する。
図６は、正規乱数生成ブロック４０の構成を示す回路図である。正規乱数生成ブロック４０は、基準正規乱数生成部４１と、加算器４２とを備えている。基準正規乱数生成部４１は、３つのＬＦＳＲ４１ａ、及び加算器４１ｂとで構成されている。なお、２つの加算器４１ｂ，４２を区別するため、それぞれ第１の加算器４１ｂ、第２の加算器４２と記述する。
【００６７】
基準正規乱数生成部４１のＬＦＳＲ４１ａは、クロック端子へパルスが入力されると、ｎ＋１ビット［ｎ：０］の一様乱数を生成する。各ＬＦＳＲ４１ａにはクロック信号ＣＬＫが入力されるようになっており、したがって、クロック信号ＣＬＫに合わせて乱数が生成される。２の補数表現も含めてｎ＋１ビットの乱数は、−２ⁿ〜２ⁿ−１の範囲で生成される。ｎ＝７であれば、−１２８〜１２７の乱数が生成されるという具合である。
【００６８】
各ＬＦＳＲ５２にて生成された乱数は、基準正規乱数生成部４１の第１の加算器４１ｂにて加算される。そして、第１の加算器４１ｂからｎ＋３ビット［ｎ＋２：０］の加算結果が、第２の加算器４２へ出力される。また、第２の加算器４２へは、加算ブロック３０からのｎ＋３ビット［ｎ＋２：０］の加算値ｙ_jが入力される。
【００６９】
第２の加算器４２はｎ＋２ビット［ｎ＋１：０］であり、最上位の符号ビット［ｎ＋１］が正規乱数生成ブロック４０の出力ｓｉｇｎとなる。
このような構成を有する正規乱数生成ブロック４０の動作を、図６の回路図及び図８のタイミングチャートに基づいて説明する。なお、図８のタイミングチャートは、図５のタイミングチャートに続くものであり、時刻ｔ３で基準パルスが入力されると、加算ブロック３０から加算値ｙ_jとして「３００」が出力された様子が示されている。
【００７０】
基準正規乱数生成部４１の各ＬＦＳＲ４１ａは、クロック信号ＣＬＫの立ち上がりで乱数を生成する。そして、同時に、各ＬＦＳＲ４１ａにて生成された乱数が第１の加算器４１ｂにて加算される。例えばｎ＝７であれば、加算器４１ｂによる加算結果は−３８４〜３８１のランダムな数値となる。
【００７１】
このように、分布が有限な乱数を多数加えると、中心極限定理により正規分布に近づくことが知られている。例えば一様乱数Ｕ（０≦Ｕ＜１）を１２個加えて６引いた値の分布は、Ｎ（０，１）の正規分布となる。
そのため、第１の加算器４１ｂによる加算結果は、ランダムな数値であるが、全体として見れば、平均値を「０」とする正規分布に確率的に従う。
【００７２】
したがって、これに加算ブロック３０からの加算値ｙ_jを加算した第２の加算器４２による加算結果は、平均値を加算値ｙ_jとする正規分布に確率的に従うことになる。図８では、加算値ｙ_jとして「３００」が加算されるため、第２の加算器４２による加算結果は、平均値を「３００」とする正規分布にほぼ従う乱数となる。
【００７３】
そして、正規乱数生成ブロック４０からは、この第２の加算器４２の最上位ビット［ｎ＋１］が、符号ビットｓｉｇｎとして出力される。この符号ビットｓｉｇｎは、加算結果がプラス値であれば「０」となり、マイナス値であれば「１」となる。
【００７４】
なお、本実施例では、正規乱数生成ブロック４０の基準正規乱数生成部４１に、３つのＬＦＳＲ４１ａを備える構成としたが、ＬＦＳＲ４１ａを４つ以上備える構成とすることもできる。ＬＦＳＲ４１ａの個数を増やせば、正規分布に精度よく従う乱数を生成することができる反面、回路規模が増大する。図９には、４つのＬＦＳＲ４１ａの出力を繰り返し加算した場合の加算結果の分布を示した。
これはｎ＝７の場合であるが、このように少ない数のＬＦＳＲ４１ａを用いても、ニューロンの演算に十分な分布が得られる。また、ＬＦＳＲ４１ａを２つ備える構成とすれば、三角分布にほぼ従う乱数が得られることになる。
【００７５】
続いて、非線形変換ブロック５０について説明する。
図７は、非線形変換ブロック５０の構成を示す回路図である。非線形変換ブロック５０は、ｎ＋１ビット［ｎ：０」のカウンタ５１と、ｎ＋１ビット［ｎ：０］のレジスタ５２とを備えている。
【００７６】
カウンタ５１には、正規乱数生成ブロック４０からの出力である符号ビットｓｉｇｎが反転ゲート５１ａにて反転されて入力される。つまり、図６中に示した第２の加算器４２による加算結果がプラス値であれば「１」が入力され、一方、マイナス値であれば「０」が入力される。
【００７７】
また、カウンタ５１にはクロック信号ＣＬＫ及び基準パルスＴが入力されるようになっており、カウンタ５１は、基準パルスＴの入力で「０」にリセットされ、反転ゲート５１ａからの出力が「１」であると、クロック信号ＣＬＫに合わせてカウントアップする。これによって、基準パルスＴから次に基準パルスＴが入力されるまでの間、上述した第２の加算器４２による加算結果の中の正数値がカウントされる。
【００７８】
カウンタ５１のカウント値は、基準パルスＴの入力により、リセットされる直前にレジスタ５２に保持され、非線形変換ブロック５０の出力である非線形演算値ｚ_jとなる。
このような構成を有する非線形変換ブロック５０の動作を、図７の回路図及び図８のタイミングチャートに基づいて説明する。
【００７９】
図８では、時刻ｔ３に基準パルスＴが入力されているが、その直後の基準パルスＴの立ち下がりタイミングでカウンタ５１は「０」にリセットされる。そして、カウンタ５１は、反転ゲート５１ａからの出力が「１」であれば、クロック信号ＣＬＫの立ち下がりタイミングでカウントアップを行う。
【００８０】
そして、時刻ｔ４に次の基準パルスが入力されると、その立ち上がりタイミングで、カウンタ５１のカウント値がレジスタ５２に保持される。図８には、カウント値「２０３」が保持された様子を示した。このカウント値が非線形演算値ｚ_jである。
【００８１】
以上のように、加算ブロック３０から出力される加算値ｙ_jに基づき、正規乱数生成ブロック４０及び非線形変換ブロック５０によって、非線形演算値ｚ_jが求められた。本実施例の１つの特徴は、この非線形変換にあるため、ここでこの非線形変換の原理を図１０を用いて説明する。
【００８２】
正規乱数生成ブロック４０の第２の加算器４２による加算結果は、平均値を加算値ｙ_jとする正規分布に従うことは上述した。したがって、その加算結果の分布は、図１０中の上段に示す如くとなる。
一方、非線形変換ブロック５０のカウンタ５１は、正規乱数生成ブロック４０から出力される符号ビットｓｉｇｎに基づくカウントアップを行い、第２の加算器４２の値の中の正数値の個数、すなわち、図１０中にハッチングを施して示した領域の面積を非線形演算値ｚ_jとして求めている。
【００８３】
そして、この面積は、図１０中に示した正規分布（上段）から得られる累積分布の関数ｆ（下段）における加算値ｙ_jに対応する関数値ｆ（ｙ_j）となる。この関数ｆは飽和型の単調増加関数であり、非線形性を有する。
したがって、ニューロン１０に必要な非線形演算は、非線形変換ブロック５０によって、平均値を加算値ｙ_jとする正規分布に従う乱数の中の正数値の個数を計数することで実現できる。
【００８４】
続いてパルス生成ブロック６０について説明する。
図１１は、パルス生成ブロック６０の構成を示す回路図である。なお、図１１には、基準パルス生成ブロック１００の構成も図示した。基準パルス生成ブロック１００は、本実施例のニューロン１０の外部に設けられるものであり、上述した基準パルスＴを生成する。パルス生成ブロック６０は基準パルス生成ブロック１００からのカウント値Ｃｏｕｎｔに基づき動作するため、まず最初に基準パルス生成ブロック１００の構成を説明する。
【００８５】
基準パルス生成ブロック１００は、カウンタ１０１と、ｎ＋２入力のＡＮＤゲート１０２とを備えている。
カウンタ１０１にはクロック信号ＣＬＫが入力され、カウンタ１０１は、クロック信号ＣＬＫに合わせてカウントアップする。このカウンタ１０１はｎ＋１ビット［ｎ：０］であり、０〜２ⁿ⁺¹−１までを繰り返しカウントする。例えばｎ＝７であれば、０〜２５５までを繰り返しカウントすることになる。
【００８６】
そして、カウンタ１０１のカウント値ＣｏｕｎｔがＡＮＤゲート１０２に入力されるように結線されている。ＡＮＤゲート１０２には、クロック信号ＣＬＫも入力され、これによってカウント値Ｃｏｕｎｔが「０」になったことを検出して基準パルスＴを出力する。
【００８７】
一方、パルス生成ブロック６０は、比較器６１と、２入力のＡＮＤゲート６２とを備えている。比較器６１の入力端子（Ｒ）には上述したカウンタ１０１のカウント値Ｃｏｕｎｔが入力され、また、入力端子（Ｌ）には、非線形変換ブロック５０からの非線形演算値ｚ_jが入力される。
【００８８】
比較器６１の出力端子はＡＮＤゲート６２の一方の入力端子に結線されており、ＡＮＤゲート６２の他方の入力端子には、クロック信号ＣＬＫが入力されるようになっている。
比較器６１は、入力端子に入力された２つの値が等しいと、すなわち、カウント値Ｃｏｕｎｔ＝非線形演算値ｚ_jであると、その出力をＨレベルに反転させる。したがって、カウント値Ｃｏｕｎｔが非線形演算値に等しくなったときに、クロック信号ＣＬＫがＡＮＤゲート６２から出力される。これによって、カウント値Ｃｏｕｎｔ「０」で出力される基準パルスＴに対し、非線形演算値ｚ_j分だけ遅れたパルスｚ_j'が出力されることになる。
【００８９】
このような構成を有するパルス生成ブロック６０の動作を、図１１の回路図及び図１２のタイミングチャートに基づいて説明する。なお、図１２のタイミングチャートは、図８のタイミングチャートに続くものであり、時刻ｔ４で基準パルスが入力されると、非線形変換ブロック５０のレジスタ５２に非線形演算値ｚ_jとして「２０３」が保持される様子が示されている。
【００９０】
時刻ｔ４で入力される基準パルスＴに対し、時刻ｔ５において、基準パルス生成ブロック１００におけるカウンタ１０１のカウント値Ｃｏｕｎｔが「２０３」になるため、パルスｚ_j'が出力される。これが、ニューロン１０の出力信号である。
【００９１】
なお、本実施例の乗算ブロック２０が「乗算手段」に相当し、加算ブロック３０が「加算手段」に相当し、正規乱数生成ブロック４０及び非線形変換ブロック５０が「非線形演算手段」に相当し、パルス生成ブロック６０が「パルス生成手段」に相当する。また、正規乱数生成ブロック４０は「乱数生成手段」に、非線形変換ブロック５０は「非線形変換手段」にそれぞれ相当する。
【００９２】
次に、本実施例のニューロン１０の発揮する効果を説明する。
本実施例のニューロン１０を用いてニューラルネットワークを構成すれば、本出願人が特願平１１−３２８３１２号に開示したニューロン（以下「パルス列ニューロン」という。）と同様の効果を得られることは言うまでもない。
【００９３】
すなわち、ディジタル回路を用いたことにより、完全な並列処理が可能となると共に、温度特性や素子形成上のプロセスのばらつきによる影響を受けず、回路を形成することも比較的容易で、信頼性が高くなる。
また、処理対象の信号値をパルスの遅延時間を用いて表現しているため、内部的に遅延時間をマイナス値として処理することによって、興奮性結合と抑制性結合とを１つの信号で表現することができる。その結果、パルス密度を用いた上記公報記載のニューラルネットワークと比べ、シナプス回路と神経回路との接続部分に相当する配線は半分になる。
【００９４】
しかも、本実施例のニューロン１０によれば、パルス列ニューロンと比べて、回路規模を増大させることなく、演算時間を短縮できる。以下、これについて説明する。
パルス列ニューロンでは、例えば２５６個というようなｍ個のパルスからなるパルス列を入出力信号の単位としていた。そして、このｍ個の各パルスは、平均をλとする正規分布に従う遅延時間を有するものであった。このようにした理由は、非線形演算を実現する回路の簡略化にあり、ニューロン内部での非線形演算がカウンタを用いて容易に実現できるからである。すなわち、入力信号としてのパルス列の遅延時間が正規分布に従うため、図１６に示すように、加算器からの出力ｓｉｇｎΣに基づき、加算値の中の正数値を計数するカウンタによって非線形演算が実現できる。
【００９５】
しかしながら、入力信号としてのパルス列で重要なのは各パルスの遅延時間の平均であり、ニューロン内部で正規分布に従う乱数を生成するようにして非線形演算を可能にすれば、パルス列の平均遅延時間を、１つのパルスの遅延時間で置き換えてもよい。すなわち、入出力信号に１つのパルスを用いてもよい。
【００９６】
そこで、本発明では、ニューロン１０の内部に正規乱数生成ブロック４０を備える構成とし、従来と同様の非線形演算を非線形変換ブロック５０にて行うようにした。
この場合、非線形演算の実現に、正規乱数生成ブロック４０が新たに追加されることになるが、パルス列ニューロンでも、非線形演算値を平均遅延時間とするパルス列を出力信号として改めて生成しており、ニューロン内部で正規分布に従う乱数を生成している。具体的には、図１７に示すように、複数のＬＦＳＲを用いて正規分布に従う乱数を出力信号として生成している。
【００９７】
一方、本実施例のニューロン１０では入力信号と同様の１つのパルスを出力信号とするため、パルス生成ブロック６０は、比較器６１とＡＮＤゲート６２を用いた簡単な構成で実現される。
乗算ブロック２０及び加算ブロック３０は、パルス列ニューロンとほぼ同様の構成となっている。
【００９８】
したがって、本実施例のニューロン１０には、正規乱数生成ブロック４０が追加されたものの、パルス生成ブロック６０が簡略化されたため、パルス列ニューロンの回路規模とほぼ同様になっており、回路規模が増大することはない。
演算時間の短縮について言えば、ｍ個のパルス列を信号単位とするパルス列ニューロンでは、ｍ個のパルスが時系列に入力されてはじめて演算がなされる。これに対して、本実施例では、１つのパルスを入力信号としたことによって、演算時間は（１／ｍ）に短縮される。
【００９９】
なお、図５、８、１２に示したタイミングチャートから分かるように、本実施例のニューロン１０では、入力信号から出力信号が得られるまでに、３個の基準パルスＴ（時刻ｔ１，ｔ３，ｔ４）が入力される必要がある。しかしながら、図１３に示すように複数のニューロン１０を組み合わせて階層型ニューラルネットワークを構成した場合には、前層の出力を待つことなくパイプライン処理を行うことができるため、例えば図５において乗算ブロック２０は時刻ｔ１の基準パルスＴに対する入力信号を処理した後、続いて時刻ｔ３の基準パルスに対する次の入力信号を処理できるため、実質的には各基準パルスＴの入力間隔で出力信号が得られることになる。このようなパイプライン処理が回路を機能させる上で最も効率がよいが、例えば基準パルスＴが入力されてから次の基準パルスＴが入力されるまでの間にニューロン１０内部の演算を全て行うように構成することもできる。
【０１００】
以上詳述したように、本実施例のニューロン１０によれば、パルス列ニューロンと比較して、回路規模を増大させることなく、演算時間を大幅に短縮することができる。
また、本実施例のニューロン１０では、二項分布の正規分布近似を利用することによって、乗算ブロック２０がいわゆる加算回路からなる乗算回路を用いることなく構成されている（図３参照）。本出願人が乗算回路を用いて乗算ブロックを構成したときと回路面積を比較したところ、約１／１１の回路面積で乗算ブロック２０を構成することができ、ニューロン１０の回路面積の大幅な削減に寄与する。
【０１０１】
さらにまた、本実施例では、入力信号であるパルスｘ_iが基準パルスＴよりも遅れて発生することを前提とした。したがって、基準パルスＴに対してパルスｘ_iが先行する場合を判断する必要がないため、乗算ブロック２０の遅延時間計時部２１の構成が比較的簡単になっている。
【０１０２】
なお、図１０に示した累積分布の関数ｆの傾きが大きくなると、ニューラルネットワークの応答が過敏になることが知られている。制御対象に合わせて、このような関数ｆの傾きを調整したい場合がある。このときは、図１５に示したように、正規乱数生成ブロック４０における基準正規乱数生成部４１の第１の加算器４１ｂによる加算結果の分布範囲を狭くすればよい。図１５中に破線で示す如くである。
【図面の簡単な説明】
【図１】実施例のニューロンの模式図である。
【図２】実施例のニューロンを示す機能ブロック図である。
【図３】乗算ブロックの構成を示す回路図である。
【図４】加算ブロックの構成を示す回路図である。
【図５】乗算ブロック及び加算ブロックの動作を示すタイミングチャートである。
【図６】正規乱数生成ブロックの構成を示す回路図である。
【図７】非線形変換ブロックの構成を示す回路図である。
【図８】正規乱数生成ブロック及び非線形変換ブロックの動作を示すタイミングチャートである。
【図９】一様乱数を実際に加算したときの分布を示す説明図である。
【図１０】非線形変換ブロックの数学的意味を示す説明図である。
【図１１】基本パルス生成ブロック及びパルス生成ブロックの構成を示す回路図である。
【図１２】パルス生成ブロックの動作を示すタイミングチャートである。
【図１３】階層型ニューラルネットワークを説明するための模式図である。
【図１４】一般的なニューロンを説明するための模式図である。
【図１５】正規分布と累積分布との関係を示す説明図である。
【図１６】従来の非線形演算回路を示す説明図である。
【図１７】従来のパルス生成回路を示す説明図である。
【符号の説明】
１０…ニューロン
２０…乗算ブロック
２１…遅延時間計時部
２１ａ…ＳＲフリップフロップ
２１ｂ…ＡＮＤゲート
２２…線形シフトレジスタ
２３…反転スイッチ部
２３ａ…反転ゲート
２４…比較器
２５…アップダウンスイッチ部
２６…アップダウンカウンタ
３０…加算ブロック
３１…加算器
３２…レジスタ
４０…正規乱数生成ブロック
４１…基準正規乱数生成部
４１ａ…線形シフトレジスタ
４１ｂ…第１の加算器
４２…第２の加算器
５０…非線形変換ブロック
５１…カウンタ
５２…レジスタ
６０…パルス生成ブロック
６１…比較器
６２…ＡＮＤゲート
１００…基準パルス生成ブロック
１０１…カウンタ
１０２…ＡＮＤゲート[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a hierarchical neural network applied to recognition of characters and figures, associative memory, multiple input / output nonlinear mapping, and the like.
[0002]
[Prior art]
Conventionally, a neural network (neural cell network) that models information processing performed in a living body is known. In this neural network, nerve cells (neurons) are used as functional units, and a plurality of neurons are arranged in a network to perform information processing. Such a neural network is suitable for information processing such as character and figure recognition, associative memory, multi-input / output non-linear mapping, etc., which are difficult to achieve with a conventional Neumann computer.
[0003]
Next, in order to facilitate understanding of the present invention, a neural network will be described.
First, a schematic configuration of the neural network will be described.
As described above, the neural network is configured by arranging neurons in a network form. For example, as shown in FIG. The neural network shown in FIG. 13 is called a three-layer hierarchical neural network, and includes an input layer, an intermediate layer (hidden layer), and an output layer.
[0004]
Signals are input from the input layer, propagated in order from the intermediate layer to the output layer, and output from the output layer. As is well known in the technical field of neural networks, the input layer only propagates the input signal to the intermediate layer, and does not perform operations like the intermediate layer and the output layer. Therefore, the functional units constituting the intermediate layer and the output layer are called neurons. Each of the intermediate layer and the output layer includes at least one neuron.
[0005]
As shown in FIG. 13, the input layer is coupled to each neuron in the intermediate layer, and similarly, each neuron in the intermediate layer is coupled to each neuron in the output layer. As described above, the signal input to the input layer of the neural network propagates to the intermediate layer, and a predetermined calculation as described later is performed in the neurons included in the intermediate layer. Propagate to the output layer. Similar calculations are performed in the neurons included in the output layer, and the output value is the final output of the network.
[0006]
This series of operations is information processing of a neural network called forward propagation (forward processing). If a sufficient number of neurons are included in the intermediate layer, arbitrary input / output is realized.
The neural network shown in FIG. 13 is a three-layered network having one intermediate layer, but a network having two or more intermediate layers has also been proposed.
[0007]
Next, a neuron that is a structural unit of a neural network will be described.
FIG. 14 is a schematic diagram of the j-th neuron indicated by the symbol j in FIG. The neuron includes an input unit that inputs external input values, a calculation unit that calculates the input values, and an output unit that outputs the calculation results.
[0008]
Each input value from outside x _i If expressed as (i = 1, 2, 3,..., N), the calculation unit can select the corresponding coupling coefficient w. _ji (I = 1, 2, 3,..., N) to each input value x _i Multiplied by the sum of them y _j Calculate As shown in the following formula 1.
y _j = Σw _ji x _i ... Formula 1
The symbol Σ is a sum symbol for i. The coupling coefficient w _ji Represents the strength of connection between neurons, and indicates the strength of connection between the j-th neuron and the i-th neuron.
[0009]
Further, the calculation unit calculates the sum y _j A non-linear operation f is performed on the output value z _j And It is as shown in the following formula 2.
z _j = F (y _j ) ... Formula 2
As the nonlinear function f, a sigmoid function is often used. That is, the differential value f ′ of the non-linear function f required for realizing the learning function is expressed using the non-linear function f itself as f ′ = f · (1−f), and the amount of calculation can be reduced. Because. A step function (step function) may be used as the nonlinear function f. However, it is not limited to these functions, and may be a monotonically increasing function having a saturation characteristic.
[0010]
A characteristic of a neural network that has such a neuron as a constituent unit is that it has a learning function.
The outline of the neural network has been described in detail above. However, in configuring the neural network, there is a problem of how to realize the above-described neuron function.
[0011]
Conventionally, a Neumann type computer is often used and a technique for realizing a neuron function by software processing is often used. However, in this case, since the CPU executes processing in a plurality of neurons in a time division manner, original parallel information processing is not performed.
[0012]
Conventionally, as a technique for constructing a neuron using a digital circuit, there is one disclosed in Japanese Patent Laid-Open No. 7-114524. In this technology, the concept of pulse density was adopted when the neuron function was realized by a digital circuit.
However, when the pulse density is used, there are the following problems.
[0013]
There are excitatory and inhibitory connections between neurons in a neural network, which are mathematically expressed by the sign of the connection function, but cannot be distinguished when using pulse density. . That is, in Japanese Patent Laid-Open No. 7-114524, the pulse density can express “0-1”, but in order to express the connection between neurons of the neural network, it is set to “−1-1”. It is necessary to express the corresponding signal. Therefore, in this technique, each coupling is divided into two groups of excitatory coupling and inhibitory coupling depending on the sign of the coupling coefficient. As a result, two signal lines are required from the synapse circuit to the cell body circuit in this publication.
[0014]
In order to solve such a problem, the present applicant has realized the function of a neuron using a pulse delay time in Japanese Patent Application No. 11-328312. According to this, excitatory coupling and inhibitory coupling can be expressed by one signal, and signal lines when using pulse density can be made into one system, and the circuit area of the neural network can be reduced. It is done.
[0015]
[Problems to be solved by the invention]
However, there is room for further improvement in the following points.
This is also true of the technique described in the above publication, but is that m pulses are used as signal units of neurons. That is, in order to realize the non-linear operation f shown in Equation 2, the input signal to the neuron is expressed by a pulse train that follows a normal distribution. This pulse train is input in time series, and the output of the neuron is obtained only when m pulses are input, so that the neuron operation takes time.
[0016]
The present invention has been made to solve such a problem, and it is an object of the present invention to reduce the computation time without increasing the circuit scale in a neuron that performs computation using a delay time of a pulse. To do.
[0017]
[Means for Solving the Problems and Effects of the Invention]
The neuron according to claim 1, which has been made to achieve the above-described object, is a structural unit of a hierarchical neural network realized as a digital electronic circuit, and is a model of a living nerve cell (neuron). .
[0018]
This neuron receives a pulse as an input signal with respect to the reference pulse. This reference pulse may be generated at regular time intervals ( Claim 9 ), It does not matter if it is not at regular intervals. However, when the reference pulse is generated at regular time intervals, it is advantageous in that it can be easily realized using a counter or the like. The reference pulse may be generated outside the neuron and input to the neuron. However, the reference pulse is configured to include reference pulse generation means ( Claim 8 And may be generated inside the neuron. In general, a configuration in which a reference pulse is generated outside a neuron has an advantage that the circuit configuration of each neuron is simplified. However, if a reference pulse is generated externally, a signal line to each neuron is required. Depending on the circuit scale of the entire neural network, the configuration with the reference pulse generation means inside the neuron is more advantageous. There is also.
[0019]
The feature of this neuron is that, for example, one pulse can be used as a unit of an input signal with respect to such a reference pulse. When a pulse as an input signal is input, this neuron operates as follows.
First, the multiplication means obtains a multiplication value based on the corresponding coupling coefficient. Subsequently, the adding means adds the multiplication values obtained for each of the pulses by the multiplying means.
The calculation by the multiplication means and the addition means corresponds to the calculation shown in the above equation 1. Then, the non-linear operation means generates a random number according to a probability distribution having the addition value obtained by the addition means as an average value, and obtains a non-linear operation value by obtaining a cumulative distribution of the random number.
The calculation by the non-linear calculation means corresponds to the calculation shown in Equation 2 above.
[0020]
Here, it is conceivable that the multiplication means obtains a multiplication value by multiplying the delay time of the pulse from the reference pulse by the corresponding coupling coefficient ( Claim 4 ). The “delay time” here can take a negative value. The delay time becomes a negative value when the pulse precedes the corresponding reference pulse.
[0021]
In the following description, the term “pulse delay time” simply refers to the delay time from the corresponding reference pulse as described above.
Here, the technical idea of the present invention will be described. In the neuron disclosed in the above-mentioned Japanese Patent Application No. 11-328312, m pulses such as 256 are used as input / output signal units. The delay time of each of the m pulses follows a normal distribution with an average of λ. The reason for this is to simplify the circuits that make up the neuron, and because non-linear operations inside the neuron can be easily realized by finding the cumulative distribution of delay times according to the normal distribution. This is because the circuit shown in FIG. 16 can be realized by counting positive values based on the sign of the added value signΣ.
[0022]
However, what makes sense in the actual calculation is the average value of the delay time of each pulse.If non-linear calculation is enabled by generating a random number that follows a normal distribution inside the neuron, the average delay time in the pulse train is It may be replaced by the delay time of one pulse. That is, one pulse may be used for the input / output signal.
[0023]
Therefore, in the present invention, the non-linear operation means generates a random number according to a probability distribution having an added value as an average value, and obtains a non-linear operation value by obtaining a cumulative distribution of the random number.
In this case, it is necessary to generate a random number according to the probability distribution inside the neuron, but the neuron disclosed in Japanese Patent Application No. 11-328312 also generates a pulse train having a non-linear operation value as an average delay time as an output signal. A random number that follows a normal distribution is generated inside the neuron. In other words, conventionally, it has a configuration for generating random numbers according to a probability distribution inside a neuron. Therefore, even if the configuration of the present invention is adopted, the circuit scale does not increase as compared with the conventional configuration.
[0024]
In terms of shortening the computation time, in a neuron having m pulse trains as signal units, an output from the neuron is obtained and computation is performed only when m pulses are input. On the other hand, in the present invention, for example, one pulse corresponding to one reference pulse can be used as the input signal, and at this time, the calculation time is shortened to (1 / m).
[0025]
That is, according to the neuron of the present invention, it is possible to reduce the calculation time without increasing the circuit scale in the neuron that performs the calculation using the delay time of the pulse.
Note that the nonlinear calculation value itself may be used as the output signal. However, considering that the input signal to the next neuron such as an intermediate layer neuron is output, it is further based on the nonlinear calculation value obtained by the nonlinear calculation means. Further, it may be configured to include pulse generation means for generating a pulse as an output signal with respect to the reference pulse ( Claim 5 ). For example, the pulse generation means generates one pulse with the delay time based on the nonlinear calculation value as the delay time from the reference pulse.
[0026]
By the way, as described above, when the pulse precedes the reference pulse, the delay time can take a negative value. However, according to the technical idea of the present invention, it is only necessary to process the delay time as a negative value inside the neuron even if the delay time of the pulse which is a signal between neurons does not take a negative value. In other words, when the corresponding coupling coefficient is negative, it is only necessary that the multiplication value with the coupling coefficient can be calculated including the negative value. Therefore, it is conceivable to configure each means on the assumption that the above-described pulse is input later than the reference pulse ( Claim 7 ). That is, it may be assumed that the delay time of the input pulse always takes a positive value. In this case, since it is not necessary to determine a pulse preceding the reference pulse, the circuit configuration is simplified. Further, in the configuration including the pulse generation means, it is conceivable that the pulse generation means generates a pulse delayed from the reference pulse ( Claim 6 ).
[0027]
Note that, as described above, the multiplication means can obtain the multiplication value by multiplying the delay time of the pulse by the coupling coefficient, for example. Therefore, in this case, the simplest configuration using a multiplication circuit can be considered. However, in general, the multiplication circuit has a drawback that the circuit area becomes large.
[0028]
Therefore, the multiplication means has a configuration including a uniform random number generator, generates a random number by the number of times corresponding to the delay time of the pulse, and compares the generated random number with the coupling coefficient. , The product may be determined based on the comparison result ( Claim 10 ).
[0029]
This is an application of normal distribution approximation of binomial distribution. The normal distribution approximation of the binomial distribution is a property that when n is increased in n trials according to the binomial distribution, the binomial distribution approaches a normal distribution with an average value n · P. Where P is the probability that the result will be “successful” in a single trial. If this property is used and the coupling coefficient w and the number of times x corresponding to the delay time are set to P = w and n = x, the probability distribution of “success” in x trials follows a normal distribution with an average wx. That is, if the random number r is generated by the uniform random number generator x times and the number of times that the random number r is smaller than the coupling coefficient w is counted, the counted value follows a normal distribution with wx as an average. Become. Therefore, the multiplication value may be approximated by this count value. In this way, the circuit area of the neuron is greatly reduced as compared with the case where the multiplication circuit is used. In this sense, the “multiplication value” in this specification includes an approximate value that should be called a multiplication equivalent value.
By the way, it is conceivable that the random number according to the probability distribution generated by the nonlinear arithmetic means is a random number according to the normal distribution (hereinafter referred to as “normal random number”). Claim 11 ). Alternatively, random numbers according to a triangular distribution (hereinafter referred to as “triangular random numbers”) may be used ( Claim 12 ). This is because the function of the cumulative distribution only needs to be a saturated monotonically increasing function.
[0030]
Next, a non-linear calculation means for generating such random numbers to realize non-linear calculation will be described.
The non-linear operation means may be configured to include a random number generation means and a non-linear conversion means ( Claims 1-3 ). At this time, the random number generation means generates a random number according to a probability distribution having an average value of the addition value by the addition means, while the nonlinear conversion means calculates the number of positive values in the random numbers generated by the random number generation means, Count as a nonlinear operation value. The positive value here may include “0” or may not include “0”. This is because whether or not the boundary value “0” is included has little influence on the entire count value.
[0031]
The random number generation means generates a random number according to a probability distribution having an average value of “0”, and adds the addition value by the addition means to the random number, thereby generating a random number according to the probability distribution having the addition value by the addition means as an average value. Can be generated ( Claim 1 ). Specifically, random numbers according to a probability distribution with an average value of “0” can be generated using a uniform random number generator. Therefore, the random number generation means may be configured using a uniform random number generator and an adder that adds the random numbers generated by the uniform random number generator ( Claims 2 and 3 ).
[0032]
It is known that when a large number of random numbers with a finite distribution are added, the distribution approaches a normal distribution by the central limit theorem. For example, a distribution of values obtained by adding 12 uniform random numbers U (0 ≦ U <1) and subtracting 6 is a normal distribution of N (0, 1). If two uniform random number generators are used, random numbers according to the above-described triangular distribution can be obtained.
[0033]
As described above, if twelve uniform random number generators are prepared, the added value will follow a normal distribution with a high degree of probability and accuracy. However, in the present invention, the random numbers according to the normal distribution are generated in order to enable non-linear calculation. Even if the random numbers do not follow the normal distribution with high accuracy, the function of the neuron is not impaired. Therefore, it is sufficient to use three or four uniform random number generators to generate a random number that actually follows a normal distribution.
[0034]
The configuration of the neuron has been described above, but it can also be realized as an invention of a hierarchical neural network having the above-described neuron as a functional unit ( Claim 13 ).
[0035]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. Needless to say, the present invention is not limited to the following examples, and various embodiments can be adopted as long as they belong to the technical scope of the invention.
[0036]
FIG. 1 is a schematic diagram of a neuron that is a functional unit of a hierarchical neural network.
The neuron 10 is an example of the j-th neuron of the hierarchical neural network schematically shown in FIG.
[0037]
As shown in FIG. 13, the neuron 10 receives an input signal from the input layer of the neural network, performs a predetermined operation, and further outputs an output signal to the neuron in the output layer. All neurons included in the intermediate layer and the output layer have the same configuration. The neuron included in the output layer performs an operation based on the input signal from the neuron in the intermediate layer, and generates an output signal of the neural network.
[0038]
As shown in FIG. 1, the neuron 10 has n pulses x ₁ , X ₂ , ..., x _n Is input as an input signal. And the neuron 10 has a pulse z _j 'Is output as an output signal.
The signal processing is performed based on the delay time from the reference pulse T generated at regular time intervals outside the neuron 10.
[0039]
N pulses x shown in FIG. ₁ , X ₂ , ..., x _n Is a pulse with respect to the reference pulse T, for example the pulse x ₁ The delay time is a delay from the reference pulse T. In FIG. 1, pulse x ₁ Delay time of d ₁ It showed in. Similarly, pulse x ₂ , ..., x _n The delay time of d is ₂ , ..., d _n It becomes.
[0040]
In this embodiment, the delay time d _i Is always a positive value (d _i ≧ 0). One reason for using the delay time is that excitatory coupling and inhibitory coupling can be represented by one signal. If the pulse delay time is used, the multiplication value with the coupling coefficient can be internally processed as a negative value. At this time, it is sufficient to process as a negative value inside the neuron 10. Therefore, the delay time d _i The input / output signal of the neuron 10 may be normalized so that is always a positive value. Of course, the delay time d _i Can be configured to take a negative value. In this case, pulse x _i Precedes the reference pulse T.
[0041]
As shown in FIG. 1, the neuron 10 has n pulses x _i Coupling coefficient w corresponding to each of _j1 , W _j2 , ..., w _jn Is remembered. And pulse x _i On the other hand, the operations corresponding to the equations 1 and 2 described in the description of the prior art are performed. Based on the calculation result of Equation 2, the pulse z _j 'Is output. In the following description, the coupling coefficient is simply written as w. However, pulse x _i When clearly showing the correspondence between and w _i Will be described.
[0042]
Next, the configuration and operation of the neuron 10 will be described.
FIG. 2 is a functional block diagram of the neuron 10. The neuron 10 includes a multiplication block 20, an addition block 30, a normal random number generation block 40, a non-linear conversion block 50, and a pulse generation block 60.
[0043]
First, in the multiplication block 20, the pulse x _i Coupling coefficient w corresponding to _ji The pulse x _i Delay time d _i Multiply This multiplication value is expressed as w · x _i I will show in Coupling coefficient w _ji Is stored in a register 20R provided for each multiplication block 20. Next, in the addition block 30, w · x calculated in each multiplication block 20. _i Is added. This addition position is y _j I will show in The calculation in the multiplication block 20 and the addition block 30 corresponds to the calculation of the above formula 1. Although FIG. 2 shows a configuration including three multiplication blocks 20, the multiplication block 20 is provided according to the number of input signals.
[0044]
In the normal random number generation block 40, the addition value y by the addition block 30 _j A random number according to a normal distribution with an average value of is generated, and the most significant bit (sign bit) sign of the generated random number is output. The sign bit sign is “0” if the random number is a positive value and “1” if the random number is a negative value. Then, the non-linear transformation block 50 counts the number of positive values in the random number based on the sign bit sign that is the output from the normal random number generation block 40. This count value is z _j It shows. The calculation in the normal random number generation block 40 and the non-linear conversion block 50 corresponds to the calculation of Expression 2 above.
[0045]
Based on the count value Count from the reference pulse generation block 100, the pulse generation block 60 determines the delay time from the reference pulse T as the count value z. _j The pulse z _j 'Is generated and used as the output signal of the neuron 10.
The neuron 10 has been roughly described in units of functional blocks. Next, the configuration and operation of each block will be described in detail.
[0046]
First, the multiplication block 20 will be described.
FIG. 3 is a circuit diagram showing a configuration of the multiplication block 20. The multiplication block 20 includes a delay time counting unit 21, a linear shift register (hereinafter referred to as “LFSR”) 22, which is a uniform random number generator, an inverting switch unit 23, a comparator 24, an up / down switch unit 25, and an up / down counter. 26.
[0047]
The delay time counting unit 21 is an SR flip-flop (hereinafter referred to as “SRF / F”).
) 21a and a 2-input AND gate 21b.
Further, the input signal x is supplied to the reset terminal (R) of the SRF / F 21a. _i And the reference pulse T is input to the set terminal (S). The output terminal of the SRF / F 21a is connected to one input terminal of the AND gate 21b. An external clock signal CLK is input to the other input terminal of the AND gate 21b. The output terminal of the AND gate 21b is connected to the clock terminal of the LFSR 122.
[0048]
The LFSR 22 generates a uniform random number of m bits [m−1: 0] every time a pulse is input to the clock terminal. The random number generated by the LFSR 22 is input to the input terminal (L) of the comparator 24.
On the other hand, the coupling coefficient w is input to the other input terminal (R) of the comparator 24. The coupling coefficient w is obtained from the register 20R corresponding to each multiplication block 20 as described above. The coupling coefficient w is a numerical value of m + 1 bits [m: 0], and is shown as a positive value in the case of excitatory coupling using a two's complement expression, while it is minus in the case of inhibitory coupling. It is shown as the value of.
[0049]
The most significant bit [m] of the coupling coefficient w is input to the inverting switch unit 23 and the up / down switch unit 25.
When the most significant bit [m] of the coupling coefficient w is “0”, the inverting switch unit 23 switches the switch to the “0” side. On the other hand, if the most significant bit m is “1”, the switch is switched to the “1” side. Thus, when the switch is switched to the “0” side, the numerical value of m bits [m−1: 0] excluding the most significant bit [m] is input as it is to the input terminal (R) of the comparator. On the other hand, when the switch is switched to the “1” side, each bit of m bits [m−1: 0] except the most significant bit [m] is inverted by the inversion gate 23a and compared as a numerical value of m bits. To the input terminal (R) of the device 24. As a result, the absolute value of the negative coupling coefficient w, which has been expressed as a two's complement, is input to the comparator 24. Strictly speaking, when the 2's complement expression is used, it is necessary to add “1” after inversion, but this does not particularly affect the processing accuracy of the neuron. Not added to reduce hardware.
[0050]
As described above, the random number generated by the LFSR 22 is input to the input terminal (L) of the comparator 24. On the other hand, the absolute value of the coupling coefficient w is input to the input terminal (R). The comparator 24 compares both input values, and outputs a pulse when the coupling coefficient w becomes larger than the random number. The output from the comparator 24 is input to either the up-side input terminal or the down-side input terminal of the up / down counter 26 via the up / down switch unit 25.
[0051]
The up / down switch unit 25 switches the switch to the “0” side if the most significant bit [m] of the coupling coefficient w is “0”, while the switch to the “1” side if it is “1”. Switch. As a result, when the coupling coefficient w is expressed as a minus value in two's complement expression, the up / down counter 26 counts down.
[0052]
The up / down counter 26 is an n + 2 bit [n + 1: 0] counter, and counts in the order of “0” → “1” → “2” →... Each time a pulse is input to the up side terminal. Do. On the other hand, every time a pulse is input to the terminal on the down side, counting is performed in the order of “0” → “−1” → “−2” →. The output of the up / down counter 26 is n + 1 bits [n + 1: 1] excluding the lower 1 bit. This corresponds to the count value divided by two.
[0053]
The operation of the multiplication block 20 configured as described above will be described with reference to the circuit diagram of FIG. 3 and the timing chart of FIG. In the timing chart of FIG. ₁ Corresponding to the multiplication value w ₁ ・ X ₁ Was shown.
As shown in FIG. 5, when the reference pulse T is input at time t1, the output of the SRF / F 21a is inverted to the H level. Therefore, the clock signal LCLK is output from the AND gate 21b. As a result, clock signal output for operating the LFSR 22 is started.
[0054]
After that, at time t2, the input signal x _i Is input, the output of the SRF / F 21a is inverted to the L level. Therefore, the output of the AND gate 21b is held at the L level, and the clock signal output for operating the LFSR 22 is stopped.
Therefore, the clock signal LCLK to the LFSR 22 is a period from time t1 to t2, that is, a pulse x as shown in FIG. ₁ Delay time d ₁ Will be output in response to.
[0055]
At this time, it is assumed that the sign of the coupling coefficient w is positive. When the coupling coefficient w using the 2's complement expression is a positive value, the most significant bit [m] of the register 20R of m + 1 bits [m: 0] is “0”. Therefore, the reversing switch unit 23 switches the switch to the “0” side. Therefore, a numerical value of m bits [m−1: 0] excluding the most significant bit [m] is input to one input terminal (R) of the comparator 24.
[0056]
Since the most significant bit [m] of the coupling coefficient is “0”, the up / down switch unit 25 switches the switch to the “0” side. That is, the switch is switched so that the output from the comparator 24 is input to the input terminal on the up side of the up / down counter 26.
[0057]
As described above, the clock signal LCLK to the LFSR 22 is output during the period of time t1 to t2. As shown in FIG. 5, the clock signal LCLK to the LFSR 22 is output during the period from time t1 to time t2. The LFSR 22 generates m bits [m−1: 0] random numbers each time a pulse as a clock signal is input. The random number is output to one input terminal (L) of the comparator 24.
[0058]
The comparator 24 outputs a pulse to the up / down counter 26 when the coupling coefficient w becomes larger than the random number. In FIG. 5, since the coupling coefficient w> random number was 148 times, the up / down counter 26 counts up to “148”.
[0059]
If the sign of the coupling coefficient w is negative, the up / down switch unit 25 switches the switch to the “1” side. That is, the output from the comparator 24 is input to the down terminal of the up / down counter 26. Therefore, the up / down counter 26 counts as “0” → “−1” → “−2” → “−3” by the pulse output from the comparator 24.
[0060]
As a result, when the coupling coefficient w is a negative value, the delay time d is determined in the multiplication block 20. _i Is converted to a negative number.
Here, the distribution of output values of the up / down counter 26 of the multiplication block 20 follows a normal distribution of N (wx, 1) by normal distribution approximation of a binomial distribution.
[0061]
The normal distribution approximation of the binomial distribution is a property that when n is increased in n trials according to the binomial distribution, the binomial distribution approaches a normal distribution with an average value n · P. Where P is the probability that the result will be “successful” in a single trial. That is, in the multiplication block 20 described above, the delay time d _i Number of times according to _i Random numbers are generated by the LFSR 22, and pulses are output as many times as “successful” by the comparator 24. The number of “successful” is counted by the up / down counter 26. That is, the count value of the up / down counter 26 stochastically follows a normal distribution of N (wd ′, 1). Therefore, pulse x _i Delay time d _i The count value of the up / down counter 26 can be approximately employed as the multiplication value of the coupling coefficient w. In this embodiment, the product of the output of the up / down counter 26 divided by 2 is the multiplication value w · x. _i It showed.
[0062]
Next, the addition block 30 will be described.
FIG. 6 is a circuit diagram showing a configuration of the addition block 30. The addition block 30 includes an adder 31 and a register 32.
The adder 31 is n + 3 bits [n + 2: 0]. The adder 31 includes an output value w · x of n + 1 bits [n + 1: 1] from the up / down counter 26 of each multiplication block 20. _i Is entered. Here, the output value from each multiplication block 20 shown in FIG. ₁ ・ X ₁ , W ₂ ・ X ₂ , W _Three ・ X _Three It was described.
[0063]
The adder 31 is connected to the register 32. The register 32 receives the reference pulse T and the clock signal CLK. The register 32 adds the addition result of the adder 31 to the added value y at the input timing of the reference pulse T. _j Output as.
The operation of the addition block 30 configured as described above will be described based on the circuit diagram of FIG. 4 and the timing chart of FIG.
[0064]
The adder 31 has an output value w from each multiplication block 20. ₁ ・ X ₁ , W ₂ ・ W ₂ , W _Three ・ X _Three Are input, and the adder 31 adds these values. Pulse x ₁ As x is input at time t2. ₂ , X _Three Is also input later than the reference pulse T input at time t1. Therefore, the multiplication value w ₁ ・ X ₁ Multiplication value w ₂ ・ X ₂ , W _Three ・ X _Three Is calculated and output from the multiplication block 20.
[0065]
When the next reference pulse T is input at time t3, the addition result by the adder 31 is added by the register 32 to the added value y. _j Is output as This output is held until the next reference pulse T is input. In FIG. 5, the added value y _j “300” is output.
[0066]
Next, the normal random number generation block 40 will be described.
FIG. 6 is a circuit diagram showing a configuration of the normal random number generation block 40. The normal random number generation block 40 includes a reference normal random number generation unit 41 and an adder 42. The reference normal random number generation unit 41 includes three LFSRs 41a and an adder 41b. In order to distinguish between the two adders 41b and 42, they are described as a first adder 41b and a second adder 42, respectively.
[0067]
When a pulse is input to the clock terminal, the LFSR 41a of the reference normal random number generator 41 generates a uniform random number of n + 1 bits [n: 0]. The clock signal CLK is input to each LFSR 41a. Therefore, a random number is generated in accordance with the clock signal CLK. A random number of n + 1 bits including 2's complement expression is -2 ⁿ ~ 2 ⁿ It is generated in the range of -1. If n = 7, a random number of −128 to 127 is generated.
[0068]
The random numbers generated by each LFSR 52 are added by the first adder 41 b of the reference normal random number generation unit 41. Then, the addition result of n + 3 bits [n + 2: 0] is output from the first adder 41 b to the second adder 42. Further, the addition value y of n + 3 bits [n + 2: 0] from the addition block 30 is sent to the second adder 42. _j Is entered.
[0069]
The second adder 42 is n + 2 bits [n + 1: 0], and the most significant code bit [n + 1] is the output sign of the normal random number generation block 40.
The operation of the normal random number generation block 40 having such a configuration will be described based on the circuit diagram of FIG. 6 and the timing chart of FIG. Note that the timing chart of FIG. 8 is a continuation of the timing chart of FIG. 5. When a reference pulse is input at time t3, the addition value y is added from the addition block 30. _j As a result, “300” is output.
[0070]
Each LFSR 41a of the reference normal random number generation unit 41 generates a random number at the rising edge of the clock signal CLK. At the same time, the random numbers generated by the LFSRs 41a are added by the first adder 41b. For example, if n = 7, the addition result by the adder 41b is a random numerical value of −384 to 381.
[0071]
Thus, it is known that when a large number of random numbers having a finite distribution are added, the distribution approaches a normal distribution by the central limit theorem. For example, a distribution of values obtained by adding 12 uniform random numbers U (0 ≦ U <1) and subtracting 6 is a normal distribution of N (0, 1).
Therefore, although the addition result by the first adder 41b is a random numerical value, if viewed as a whole, it follows a normal distribution with an average value of “0” stochastically.
[0072]
Therefore, the added value y from the adding block 30 is added to this. _j As a result of addition by the second adder 42, the average value is added to the added value y. _j Will follow the normal distribution. In FIG. 8, the added value y _j As a result, “300” is added, so that the addition result by the second adder 42 is a random number substantially following a normal distribution with an average value of “300”.
[0073]
Then, the most significant bit [n + 1] of the second adder 42 is output from the normal random number generation block 40 as the sign bit sign. The sign bit sign is “0” if the addition result is a positive value, and “1” if the addition result is a negative value.
[0074]
In the present embodiment, the reference normal random number generation unit 41 of the normal random number generation block 40 is configured to include three LFSRs 41a, but may be configured to include four or more LFSRs 41a. Increasing the number of LFSRs 41a can generate random numbers that accurately follow the normal distribution, but increases the circuit scale. FIG. 9 shows the distribution of the addition results when the outputs of the four LFSRs 41a are repeatedly added.
This is a case where n = 7, but even with such a small number of LFSRs 41a, a distribution sufficient for neuron computation can be obtained. In addition, if the configuration includes two LFSRs 41a, random numbers that substantially follow a triangular distribution can be obtained.
[0075]
Next, the nonlinear conversion block 50 will be described.
FIG. 7 is a circuit diagram showing a configuration of the nonlinear conversion block 50. The non-linear conversion block 50 includes an n + 1 bit [n: 0] counter 51 and an n + 1 bit [n: 0] register 52.
[0076]
The counter 51 receives the sign bit sign output from the normal random number generation block 40 after being inverted by the inversion gate 51a. That is, if the addition result by the second adder 42 shown in FIG. 6 is a positive value, “1” is input, and if the addition result is a negative value, “0” is input.
[0077]
Further, the clock signal CLK and the reference pulse T are input to the counter 51. The counter 51 is reset to “0” when the reference pulse T is input, and the output from the inverting gate 51a is “1”. If it is, it counts up according to the clock signal CLK. As a result, the positive value in the addition result by the second adder 42 described above is counted from the reference pulse T to the next input of the reference pulse T.
[0078]
The count value of the counter 51 is held in the register 52 immediately before being reset by the input of the reference pulse T, and is a non-linear operation value z that is an output of the non-linear conversion block 50. _j It becomes.
The operation of the nonlinear conversion block 50 having such a configuration will be described based on the circuit diagram of FIG. 7 and the timing chart of FIG.
[0079]
In FIG. 8, the reference pulse T is input at time t3, but the counter 51 is reset to “0” at the falling timing of the reference pulse T immediately after that. If the output from the inverting gate 51a is “1”, the counter 51 counts up at the falling timing of the clock signal CLK.
[0080]
When the next reference pulse is input at time t4, the count value of the counter 51 is held in the register 52 at the rising timing. FIG. 8 shows a state in which the count value “203” is held. This count value is the non-linear operation value z _j It is.
[0081]
As described above, the addition value y output from the addition block 30 _j Based on the above, the normal random number generation block 40 and the non-linear transformation block 50 perform the non-linear operation value z _j Was requested. Since one feature of the present embodiment is this nonlinear transformation, the principle of this nonlinear transformation will now be described with reference to FIG.
[0082]
The addition result by the second adder 42 of the normal random number generation block 40 is obtained by calculating the average value as the addition value y. _j As described above, it follows the normal distribution. Therefore, the distribution of the addition results is as shown in the upper part of FIG.
On the other hand, the counter 51 of the non-linear transformation block 50 counts up based on the sign bit sign output from the normal random number generation block 40, and the number of positive values in the value of the second adder 42, that is, FIG. The area of the hatched area is expressed as a non-linear calculation value z _j Asking.
[0083]
This area is the added value y in the function f (lower part) of the cumulative distribution obtained from the normal distribution (upper part) shown in FIG. _j The function value f (y corresponding to _j ) This function f is a saturated monotonically increasing function and has nonlinearity.
Therefore, the nonlinear calculation necessary for the neuron 10 is performed by adding the average value to the added value y by the nonlinear conversion block 50. _j It can be realized by counting the number of positive values in random numbers according to the normal distribution.
[0084]
Next, the pulse generation block 60 will be described.
FIG. 11 is a circuit diagram showing a configuration of the pulse generation block 60. FIG. 11 also shows the configuration of the reference pulse generation block 100. The reference pulse generation block 100 is provided outside the neuron 10 of this embodiment, and generates the reference pulse T described above. Since the pulse generation block 60 operates based on the count value Count from the reference pulse generation block 100, the configuration of the reference pulse generation block 100 will be described first.
[0085]
The reference pulse generation block 100 includes a counter 101 and an AND gate 102 having n + 2 inputs.
The counter 101 receives the clock signal CLK, and the counter 101 counts up according to the clock signal CLK. This counter 101 has n + 1 bits [n: 0] and is 0-2. ^{n + 1} Count up to -1. For example, if n = 7, 0 to 255 are repeatedly counted.
[0086]
The count value Count of the counter 101 is connected so as to be input to the AND gate 102. The clock signal CLK is also input to the AND gate 102, thereby detecting that the count value Count has become “0” and outputting the reference pulse T.
[0087]
On the other hand, the pulse generation block 60 includes a comparator 61 and a 2-input AND gate 62. The count value Count of the counter 101 described above is input to the input terminal (R) of the comparator 61, and the non-linear operation value z from the non-linear conversion block 50 is input to the input terminal (L). _j Is entered.
[0088]
The output terminal of the comparator 61 is connected to one input terminal of the AND gate 62, and the clock signal CLK is input to the other input terminal of the AND gate 62.
The comparator 61 determines that the two values input to the input terminal are equal, that is, count value Count = nonlinear operation value z. _j If so, the output is inverted to H level. Accordingly, the clock signal CLK is output from the AND gate 62 when the count value Count becomes equal to the non-linear operation value. As a result, the non-linear operation value z with respect to the reference pulse T output at the count value Count “0”. _j Pulse z delayed by minutes _j 'Will be output.
[0089]
The operation of the pulse generation block 60 having such a configuration will be described based on the circuit diagram of FIG. 11 and the timing chart of FIG. The timing chart of FIG. 12 is a continuation of the timing chart of FIG. 8, and when a reference pulse is input at time t4, the nonlinear calculation value z is stored in the register 52 of the nonlinear conversion block 50. _j As shown in FIG.
[0090]
Since the count value Count of the counter 101 in the reference pulse generation block 100 is “203” at time t5 with respect to the reference pulse T input at time t4, the pulse z _j 'Is output. This is the output signal of the neuron 10.
[0091]
Note that the multiplication block 20 of this embodiment corresponds to “multiplication means”, the addition block 30 corresponds to “addition means”, the normal random number generation block 40 and the nonlinear transformation block 50 correspond to “nonlinear calculation means”, The pulse generation block 60 corresponds to “pulse generation means”. The normal random number generation block 40 corresponds to “random number generation means”, and the non-linear conversion block 50 corresponds to “non-linear conversion means”.
[0092]
Next, the effect exhibited by the neuron 10 of this embodiment will be described.
It goes without saying that if the neural network is configured using the neuron 10 of the present embodiment, the same effect as the neuron disclosed by the present applicant in Japanese Patent Application No. 11-328312 (hereinafter referred to as “pulse train neuron”) can be obtained. Yes.
[0093]
In other words, the use of a digital circuit enables complete parallel processing, is not affected by variations in temperature characteristics and process variations in element formation, and it is relatively easy to form a circuit with high reliability. Get higher.
In addition, since the signal value to be processed is expressed using the delay time of the pulse, the excitatory coupling and the inhibitory coupling are expressed by one signal by processing the delay time as a negative value internally. be able to. As a result, the wiring corresponding to the connection portion between the synapse circuit and the neural circuit is halved as compared with the neural network described in the above publication using the pulse density.
[0094]
Moreover, according to the neuron 10 of the present embodiment, the calculation time can be shortened without increasing the circuit scale as compared with the pulse train neuron. This will be described below.
In the pulse train neuron, for example, a pulse train composed of m pulses such as 256 is used as a unit of input / output signals. Each of the m pulses has a delay time according to a normal distribution with an average of λ. The reason for this is that the circuit for realizing the non-linear operation is simplified, and the non-linear operation inside the neuron can be easily realized using the counter. That is, since the delay time of the pulse train as the input signal follows a normal distribution, as shown in FIG. 16, a non-linear calculation can be realized by a counter that counts positive values in the added value based on the output sign Σ from the adder.
[0095]
However, what is important in the pulse train as an input signal is the average of the delay time of each pulse. If a non-linear operation is enabled by generating a random number according to a normal distribution inside the neuron, the average delay time of the pulse train is one. The delay time of the pulse may be replaced. That is, one pulse may be used for the input / output signal.
[0096]
Therefore, in the present invention, the normal random number generation block 40 is provided inside the neuron 10, and the non-linear calculation similar to the conventional one is performed by the non-linear conversion block 50.
In this case, the normal random number generation block 40 is newly added to realize the non-linear operation. However, even in the pulse train neuron, the pulse train having the non-linear operation value as the average delay time is newly generated as the output signal. Generates random numbers that follow a normal distribution internally. Specifically, as shown in FIG. 17, a random number according to a normal distribution is generated as an output signal using a plurality of LFSRs.
[0097]
On the other hand, in the neuron 10 of this embodiment, one pulse similar to the input signal is used as the output signal, so that the pulse generation block 60 is realized with a simple configuration using the comparator 61 and the AND gate 62.
The multiplication block 20 and the addition block 30 have substantially the same configuration as that of the pulse train neuron.
[0098]
Therefore, although the normal random number generation block 40 is added to the neuron 10 of the present embodiment, the pulse generation block 60 is simplified, so that the circuit scale is almost the same as that of the pulse train neuron, and the circuit scale increases. There is nothing.
In terms of shortening the computation time, in a pulse train neuron having m pulse trains as signal units, computation is performed only when m pulses are input in time series. On the other hand, in this embodiment, the calculation time is shortened to (1 / m) by using one pulse as an input signal.
[0099]
As can be seen from the timing charts shown in FIGS. 5, 8, and 12, in the neuron 10 of the present embodiment, three reference pulses T (time t1, t3, t4) are obtained until an output signal is obtained from the input signal. ) Need to be entered. However, when a hierarchical neural network is configured by combining a plurality of neurons 10 as shown in FIG. 13, pipeline processing can be performed without waiting for the output of the previous layer. 20 can process the next input signal for the reference pulse at time t3 after processing the input signal for the reference pulse T at time t1, so that an output signal can be obtained substantially at the input interval of each reference pulse T. It will be. Such pipeline processing is the most efficient in functioning the circuit. For example, all operations in the neuron 10 are performed between the input of the reference pulse T and the input of the next reference pulse T. It can also be configured.
[0100]
As described above in detail, according to the neuron 10 of the present embodiment, the calculation time can be significantly shortened without increasing the circuit scale as compared with the pulse train neuron.
Further, in the neuron 10 of the present embodiment, the multiplication block 20 is configured without using a multiplication circuit composed of a so-called addition circuit by using normal distribution approximation of binomial distribution (see FIG. 3). When the applicant compared the circuit area with the multiplication block using the multiplication circuit, the multiplication block 20 can be configured with a circuit area of about 1/11 and the circuit area of the neuron 10 is greatly reduced. Contribute to.
[0101]
Furthermore, in this embodiment, the pulse x which is the input signal _i Is assumed to occur later than the reference pulse T. Therefore, the pulse x with respect to the reference pulse T _i Therefore, the configuration of the delay time counter 21 of the multiplication block 20 is relatively simple.
[0102]
It is known that the response of the neural network becomes sensitive when the slope of the function f of the cumulative distribution shown in FIG. 10 increases. In some cases, it is desired to adjust the slope of the function f in accordance with the control target. At this time, as shown in FIG. 15, the distribution range of the addition result by the first adder 41b of the reference normal random number generation unit 41 in the normal random number generation block 40 may be narrowed. As indicated by the broken line in FIG.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a neuron of an embodiment.
FIG. 2 is a functional block diagram illustrating a neuron according to an embodiment.
FIG. 3 is a circuit diagram showing a configuration of a multiplication block.
FIG. 4 is a circuit diagram showing a configuration of an addition block.
FIG. 5 is a timing chart showing operations of a multiplication block and an addition block.
FIG. 6 is a circuit diagram showing a configuration of a normal random number generation block.
FIG. 7 is a circuit diagram showing a configuration of a nonlinear conversion block.
FIG. 8 is a timing chart showing operations of a normal random number generation block and a non-linear conversion block.
FIG. 9 is an explanatory diagram showing a distribution when uniform random numbers are actually added.
FIG. 10 is an explanatory diagram showing the mathematical meaning of a nonlinear transform block.
FIG. 11 is a circuit diagram showing a configuration of a basic pulse generation block and a pulse generation block.
FIG. 12 is a timing chart showing the operation of the pulse generation block.
FIG. 13 is a schematic diagram for explaining a hierarchical neural network.
FIG. 14 is a schematic diagram for explaining a general neuron.
FIG. 15 is an explanatory diagram showing a relationship between a normal distribution and a cumulative distribution.
FIG. 16 is an explanatory diagram showing a conventional nonlinear arithmetic circuit.
FIG. 17 is an explanatory diagram showing a conventional pulse generation circuit.
[Explanation of symbols]
10 ... Neurons
20 ... Multiplication block
21 ... Delay time counter
21a ... SR flip-flop
21b ... AND gate
22 ... Linear shift register
23. Reversing switch
23a ... Inversion gate
24 ... Comparator
25 ... Up / down switch
26 ... Up / down counter
30 ... Addition block
31 ... Adder
32 ... Register
40: Regular random number generation block
41 ... Reference normal random number generator
41a ... linear shift register
41b ... first adder
42. Second adder
50: Nonlinear transformation block
51 ... Counter
52 ... Register
60: Pulse generation block
61 ... Comparator
62 ... AND gate
100: Reference pulse generation block
101 ... Counter
102 ... AND gate

Claims

A neuron that models a neuron, which is a structural unit of a hierarchical neural network realized as a digital electronic circuit,
When a pulse as an input signal is input to the reference pulse, multiplication means for obtaining a multiplication value based on a corresponding coupling coefficient;
Adding means for adding a multiplication value obtained for each of the pulses by the multiplying means;
A non-linear operation means for generating a random number according to a probability distribution with an average value of the addition value by the addition means, and obtaining a non-linear operation value by obtaining a cumulative distribution of the random number ;
With
The non-linear operation means includes
Random number generation that generates random numbers according to a probability distribution with an average value of “0”, and adds an addition value by the addition means to the random numbers, thereby generating a random number according to a probability distribution with the addition value by the addition means as an average value Means,
Non-linear conversion means for counting the number of positive values in the random number generated by the random number generation means as the non-linear operation value;
Having
Neurons characterized by.

The neuron according to claim 1 , wherein
The neuron characterized in that the random number generation means is configured using a uniform random number generator and an adder that adds the random numbers generated by the uniform random number generator.

A neuron that models a nerve cell, which is a structural unit of a hierarchical neural network realized as a digital electronic circuit,
  When a pulse as an input signal is input to the reference pulse, multiplication means for obtaining a multiplication value based on a corresponding coupling coefficient;
  Adding means for adding a multiplication value obtained for each of the pulses by the multiplying means;
  A non-linear operation means for generating a random number according to a probability distribution with an average value of the addition value by the addition means, and obtaining a non-linear operation value by obtaining a cumulative distribution of the random number;
  With
  The non-linear operation means includes
  Random number generating means for generating a random number according to a probability distribution with an average value of the added value by the adding means;
  Non-linear conversion means for counting the number of positive values in the random number generated by the random number generation means as the non-linear operation value;
  With
  The random number generation means is configured using a uniform random number generator and an adder that adds the random numbers generated by the uniform random number generator.
  Neurons characterized by.

The neuron according to any one of claims 1 to 3,
Said multiplying means, when with respect to the reference pulse is a pulse as an input signal is input, the delay time of the pulse from the reference pulse, multiplied by the corresponding coupling coefficients neurons and obtains the multiplication values.

The neuron according to any one of claims 1 to 4,
Neurons, comprising the non-linear based on the non-linear operation values determined by the computing means, pulse generation means to generate a pulse as the output signal with respect to the reference pulse.

The neuron according to claim 5 , wherein
The neuron characterized in that the pulse generation means generates a pulse delayed from the reference pulse.

In the neuron according to any one of claims 1 to 6 ,
A neuron characterized in that each of the means is configured on the assumption that the pulse is input later than the reference pulse.

In the neuron according to any one of claims 1 to 7 ,
The neuron further comprising reference pulse generation means for generating the reference pulse.

In the neuron according to any one of claims 1 to 8 ,
The neuron according to claim 1, wherein the reference pulse is generated at regular time intervals.

In the neuron according to any one of claims 1 to 9 ,
The multiplication means is
Equipped with a uniform random number generator,
A random number is generated by the uniform random number generator a number of times corresponding to the delay time of the pulse, the generated random number is compared with a coupling coefficient, and the multiplication value is obtained based on the comparison result. A neuron.

In the neuron according to any one of claims 1 to 10 ,
The random number according to the probability distribution generated by the nonlinear arithmetic means is a random number according to a normal distribution (normal random number).

In the neuron according to any one of claims 1 to 10 ,
The neuron according to the probability distribution generated by the nonlinear arithmetic means is a random number according to a triangular distribution (triangular random number).

A hierarchical neural network having the neuron according to any one of claims 1 to 12 as a functional unit.