JP3925633B2 - 音声再生装置 - Google Patents
音声再生装置 Download PDFInfo
- Publication number
- JP3925633B2 JP3925633B2 JP2002119127A JP2002119127A JP3925633B2 JP 3925633 B2 JP3925633 B2 JP 3925633B2 JP 2002119127 A JP2002119127 A JP 2002119127A JP 2002119127 A JP2002119127 A JP 2002119127A JP 3925633 B2 JP3925633 B2 JP 3925633B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- audio signal
- input audio
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
【発明の属する技術分野】
この発明は、リスナ頭外またはリスナ周辺の任意の位置に音像を定位させて、ヘッドホンまたは少数のスピーカによって多チャンネルの音声を再生する装置に関する。
【0002】
【従来の技術】
近時、映画などの映像に伴う音声としては、多チャンネルの音声が多く用いられ、映像が表示されるスクリーンやディスプレイの両側およびセンターに置かれたスピーカ、およびリスナの後方または両横に置かれたスピーカなどによって再生されることを想定して記録されている。これによって、映像中の音源と実際に聞こえてくる音像位置が一致するとともに、自然な広がりを持った臨場感のある音場が得られる。
【0003】
しかし、このような多チャンネルの音声を再生する多数のスピーカをリスニングルームに設置できるリスナは限られるという問題がある。そこで、このような多チャンネルの音声をヘッドホンによって再生することが考えられる。
【0004】
しかし、ヘッドホンによって音声を再生する場合、入力音声信号による音像はリスナの頭の中に定位し、映像位置と音像定位位置が一致せず、きわめて不自然な音像定位となるとともに、各チャンネルの音声信号の音像定位位置を分離独立させることができない。
【0005】
楽音などの多チャンネルの音声のみを観賞する場合も同様で、ヘッドホンによって再生する場合には、スピーカによって再生する場合と異なり、音が頭の中から聞こえ、多チャンネルの音声信号の音像定位位置が分離せず、きわめて不自然な音場再生となる。
【0006】
そこで、ヘッドホンによって音声を再生する場合に、リスナ頭外の任意の位置に音像を定位させて、その位置にスピーカが配置されている場合と同等の音場が得られるようにすることが考えられる。
【0007】
図22は、その原理を示し、ステレオの2チャンネルの音声を、それぞれの音像をリスナ頭外の任意の位置、例えばリスナ前方の正中面に対して対称な左右の位置に定位させて、ヘッドホンによって再生する場合である。
【0008】
この場合、あらかじめ、定位させる音源5Lおよび5Rの位置に左右のスピーカを配置して、これから出力された左右の音声をリスナ1の左右の耳1Lおよび1Rの位置で測定することによって、または計算によって、音源5Lからリスナ1の左右の耳1Lおよび1Rに至る伝達関数HLLおよびHLR、および音源5Rからリスナ1の左右の耳1Lおよび1Rに至る伝達関数HRLおよびHRRを求めておく。
【0009】
図23は、図22の場合の、従来の音声再生装置を示し、端子11Lおよび11Rに得られる、図22の音源5Lおよび5Rの信号に相当する左右のアナログ音声信号AlおよびArが、A/Dコンバータ12Lおよび12Rでデジタル音声信号DlおよびDrに変換され、一方のデジタル音声信号Dlが、デジタルフィルタ21LLおよび21LRに供給され、他方のデジタル音声信号Drが、デジタルフィルタ21RLおよび21RRに供給される。
【0010】
デジタルフィルタ21LLおよび21LRは、それぞれデジタル音声信号Dlに、上記の伝達関数HLLおよびHLRを時間軸上に変換した、それぞれ図13に示すようなインパルス応答を畳み込むものであり、デジタルフィルタ21RLおよび21RRは、それぞれデジタル音声信号Drに、上記の伝達関数HRLおよびHRRを時間軸上に変換した、それぞれ図13に示すようなインパルス応答を畳み込むものである。
【0011】
具体的に、デジタルフィルタ21LL,21LR,21RL,21RRは、例えば、それぞれ図14に示すようなFIR(Finite Impulse Response)フィルタによって構成することができる。
【0012】
すなわち、この場合、入力音声信号Sinが、そのサンプリング周期τの遅延時間の、多段接続された遅延回路71によって順次遅延され、各乗算回路72で、入力音声信号Sinおよび各遅延回路71の出力信号に係数が乗じられ、各加算回路73で、各乗算回路72の出力信号が順次加算されて、出力音声信号Soutが得られる。
【0013】
また、図15に示すように、デジタルフィルタ21LLおよび21LR、またはデジタルフィルタ21RLおよび21RRは、遅延回路71が共用されて、一方のデジタルフィルタ21LLまたは21RLを構成する乗算回路72および加算回路73と、他方のデジタルフィルタ21LRまたは21RRを構成する乗算回路74および加算回路75とが設けられた構成とすることもできる。
【0014】
そして、図23の音声再生装置では、加算回路22Lで、デジタルフィルタ21LLおよび21RLの出力信号が加算され、加算回路22Rで、デジタルフィルタ21LRおよび21RRの出力信号が加算され、加算回路22Lおよび22Rの出力信号が、定位のための信号処理後のデジタル音声信号DLおよびDRとして、D/Aコンバータ13Lおよび13Rでアナログ音声信号に変換され、その2系統のアナログ音声信号が、音声増幅回路14Lおよび14Rで増幅されて、ヘッドホン3の左右の音響変換器3Lおよび3Rに供給される。
【0015】
したがって、図23の音声再生装置では、伝達関数HLLおよびHRLが、デジタルフィルタ21LLおよび21RLの系で実現され、伝達関数HLRおよびHRRが、デジタルフィルタ21LRおよび21RRの系で実現されて、左右の入力音声信号DlおよびDrによる音像が、図22の音源5Lおよび5Rの位置に定位する。
【0016】
図23は、2チャンネルの音声を再生する場合であるが、図23のような2個のデジタルフィルタ21LL,21LRまたは21RL,21RRからなる音像定位用の信号処理部を、3チャンネル、4チャンネル、5チャンネル、6チャンネル(いわゆる5.1チャンネル)というような多チャンネルの入力音声信号に対して設けることによって、リスナの周囲に音像を定位させて多チャンネルの音声を再生することができ、サラウンド感および臨場感のある音場を生成することができる。
【0017】
一方、スピーカによって音声を再生する場合にも、少ないスピーカで、例えば2個のスピーカで、多チャンネルの音声を、それぞれの音像をリスナ周辺の任意の位置に定位させて再生することが考えられる。
【0018】
図24は、その原理を示し、リスナ前方の正中面に対して対称な左右の位置にスピーカ6Lおよび6Rを配置し、入力音声信号SOの音像をリスナ周辺の任意の位置、例えば音源7で示す左後方位置に定位させる場合である。
【0019】
この場合、音源7の信号である入力音声信号SOと、スピーカ6Lおよび6Rの駆動信号SLおよびSRとの関係は、
SL=HL×SO …(1a)
SR=HR×SO …(2a)
で表される。
【0020】
HLおよびHRは、それぞれ、スピーカ6Lからリスナ1の左右の耳1Lおよび1Rに至る伝達関数HLLおよびHLR、スピーカ6Rからリスナ1の左右の耳1Lおよび1Rに至る伝達関数HRLおよびHRR、および音源7からリスナ1の左右の耳1Lおよび1Rに至る伝達関数HOLおよびHORの関数として、図24の式(1)および(2)中の信号SOに乗じられる項で表される伝達関数で、スピーカ6L,6R間のクロストークをキャンセルするように考慮されたものである。伝達関数HLL,HLR,HRL,HRR,HOL,HORは、あらかじめ、実測または計算によって求めておく。
【0021】
図25は、図24の場合の、従来の音声再生装置を示し、端子11に得られるアナログ音声信号Ainが、A/Dコンバータ12でデジタル音声信号Dinに変換され、そのデジタル音声信号Dinが、デジタルフィルタ21Lおよび21Rに供給される。
【0022】
デジタルフィルタ21Lおよび21Rは、それぞれデジタル音声信号Dinに、上記の伝達関数HLおよびHRを時間軸上に変換した、それぞれ図13に示すようなインパルス応答を畳み込むものであり、例えば、図14または図15に示すようなFIRフィルタによって構成することができる。
【0023】
そして、図25の音声再生装置では、デジタルフィルタ21Lおよび21Rの出力信号が、定位のための信号処理後のデジタル音声信号SLおよびSRとして、D/Aコンバータ13Lおよび13Rでアナログ音声信号に変換され、その2系統のアナログ音声信号が、音声増幅回路14Lおよび14Rで増幅されて、上記のスピーカ6Lおよび6Rに供給される。
【0024】
したがって、図25の音声再生装置では、伝達関数HLおよびHRが、デジタルフィルタ21Lおよび21Rの系で実現されて、入力音声信号Din(SO)による音像が、図24の音源7の位置に定位する。
【0025】
図25は、1チャンネルの音声を再生する場合であるが、図25のような2個のデジタルフィルタ21Lおよび21Rからなる音像定位用の信号処理部を、3チャンネル、4チャンネル、5チャンネル、6チャンネル(いわゆる5.1チャンネル)というような多チャンネルの入力音声信号に対して設けることによって、リスナの周囲に音像を定位させて多チャンネルの音声を再生することができ、サラウンド感および臨場感のある音場を生成することができる。
【0026】
【発明が解決しようとする課題】
上述したように、図23のような2個のデジタルフィルタ21LL,21LRまたは21RL,21RRからなる音像定位用の信号処理部、または図25のような2個のデジタルフィルタ21Lおよび21Rからなる音像定位用の信号処理部を、多チャンネルの入力音声信号に対して設けることによって、リスナの周囲に音像を定位させて多チャンネルの音声を再生することができ、サラウンド感および臨場感のある音場を生成することができる。
【0027】
しかしながら、多チャンネルの各チャンネルの入力音声信号に対して、図14または図15に示したような構成の音像定位用の信号処理部を設けると、音像定位用の信号処理部をハードウェア回路によって構成する場合には、回路規模が膨大となり、音像定位用の信号処理部をDSP(Digital Signal Processor)のようにソフトウェア(プログラム)を含むものとして構成する場合には、演算量が莫大となる。
【0028】
そこで、この発明は、音像定位用の信号処理部の回路規模や演算量を増大させることなく、少数の入力チャンネルによって、リスナの周囲に音像を定位させた多チャンネル音声再生を実現することができ、サラウンド感および臨場感のある音場を生成することができるようにしたものである。
【0029】
【課題を解決するための手段】
この発明の音声再生装置は、
入力音声信号を定位させる第1の位置からリスナの左右の耳に至る伝達関数である第1の伝達関数に相当するインパルス応答を再現するフィルタ手段と、
前記入力音声信号から、前記第1の位置とは異なる第2の位置に定位させる音声信号である疑似音声信号を生成する信号生成手段と、
その生成された疑似音声信号に、これを定位させる前記第2の位置からリスナの左右の耳に至る伝達関数である第2の伝達関数と前記第1の伝達関数との相違に応じた補正処理を施す補正手段と、
その補正処理後の音声信号と、前記入力音声信号とを加算して、前記フィルタ手段に入力する加算手段と、
を備えるものとする。
【0031】
上記のように構成した、この発明の音声再生装置では、補正手段は、信号生成手段によって入力音声信号から生成された疑似音声信号に、第2の伝達関数と第1の伝達関数との相違に応じた補正処理を施すものであって、第1の伝達関数に相当するインパルス応答を再現するフィルタ手段に比べて回路規模や演算量が著しく小さいものでよい。
【0032】
したがって、入力音声信号と疑似音声信号を含む全てのチャンネルの音声信号に対して、それぞれの定位用にインパルス応答を再現するフィルタ手段を設ける場合に比べて、音像定位用の信号処理の回路規模や演算量を著しく縮小することができる。
【0033】
【発明の実施の形態】
〔ヘッドホン再生の場合の実施形態:図1〜図7〕
(第1の例:図1)
図1は、ステレオ音声信号により、すなわち2チャンネルの入力チャンネルにより、ヘッドホンによって多チャンネル音声再生を行う場合の、第1の例を示す。
【0034】
この例では、端子11Lおよび11Rに得られる左右のアナログ入力音声信号AlおよびArが、A/Dコンバータ12Lおよび12Rでデジタル入力音声信号DlおよびDrに変換され、その入力音声信号DlおよびDrが、多チャンネル音声再生モードと2チャンネル音声再生モードの選択用のスイッチ31および32を通じて、疑似信号生成部40に供給される。
【0035】
疑似信号生成部40では、入力音声信号DlおよびDrから、後述のような方法によって疑似的に、別チャンネルの入力音声信号が生成される。
【0036】
具体的に、この例は、2チャンネルの入力音声信号DlおよびDrが、図6に音源5Lおよび5Rとして示す、リスナ前方の正中面に対して対称な左右の位置に定位される信号として得られるとともに、疑似信号生成部40において、疑似的な2チャンネルの入力音声信号BlおよびBrが、図6に音源7Lおよび7Rとして示す、リスナ1の後方寄りの正中面に対して対称な左右の位置に定位される信号として生成される場合である。
【0037】
この場合、音源5Lからリスナ1の左右の耳1L,1Rに至る伝達関数をHLL,HLRとし、音源5Rからリスナ1の左右の耳1L,1Rに至る伝達関数をHRL,HRRとし、音源7Lからリスナ1の左右の耳1L,1Rに至る伝達関数をBLL,BLRとし、音源7Rからリスナ1の左右の耳1L,1Rに至る伝達関数をBRL,BRRとする。
【0038】
そして、図1の例では、疑似信号生成部40で生成された音声信号Blが、補正回路51および52に供給され、疑似信号生成部40で生成された音声信号Brが、補正回路53および54に供給される。
【0039】
補正回路51は、音声信号Blに、図6の式(11)で表される伝達関数比に相当する補正処理を施すものとし、補正回路52は、音声信号Blに、図6の式(12)で表される伝達関数比に相当する補正処理を施すものとし、補正回路53は、音声信号Brに、図6の式(13)で表される伝達関数比に相当する補正処理を施すものとし、補正回路54は、音声信号Brに、図6の式(14)で表される伝達関数比に相当する補正処理を施すものとする。
【0040】
一般に伝達関数は、伝送路における信号の遅延および減衰、および伝送路の周波数特性などの要素を含むが、音像定位については、遅延時間が定位感に最も影響する。
【0041】
そこで、補正回路51〜54は、例えば、図8に示すように、それぞれ遅延回路55によって構成する。
【0042】
具体的に、(1)伝達関数比BLL/HLLに相当する補正処理を施す補正回路51は、主音が音源7Lおよび5Lからリスナ1の左耳1Lに到達するのに要する時間の差を、遅延回路55によって実現し、(2)伝達関数比BLR/HLRに相当する補正処理を施す補正回路52は、主音が音源7Lおよび5Lからリスナ1の右耳1Rに到達するのに要する時間の差を、遅延回路55によって実現し、(3)伝達関数比BRL/HRLに相当する補正処理を施す補正回路53は、主音が音源7Rおよび5Rからリスナ1の左耳1Lに到達するのに要する時間の差を、遅延回路55によって実現し、(4)伝達関数比BRR/HRRに相当する補正処理を施す補正回路54は、主音が音源7Rおよび5Rからリスナ1の右耳1Rに到達するのに要する時間の差を、遅延回路55によって実現する。
【0043】
また、補正回路51〜54は、例えば、図9に示すように、それぞれ上記の遅延回路55と減衰回路56とによって構成することができる。
【0044】
このように信号の減衰も考慮することによって、より確実に距離感を持って所望の位置に音像を定位させることができる。
【0045】
また、補正回路51〜54は、例えば、図10に示すように、それぞれ上記の遅延回路55と周波数特性補正回路57とによって構成することができる。
【0046】
一般に、音源の位置がリスナ正中面から左右方向に離れるほど、リスナの反対側の耳に到達する信号の高域成分が減少する。
【0047】
図10の例では、定位させる音像位置(音源7Lおよび7Rの位置)に応じて、周波数特性補正回路57を調整することによって、このような実際の定位感に、より近い定位感を得ることができる。
【0048】
周波数特性補正回路57は、例えば、図11に示すように、入力音声信号Sinが、遅延回路61aおよび61bで順次、入力音声信号Sinのサンプリング周期τの時間遅延され、出力音声信号Soutが、遅延回路62aおよび62bで順次、τの時間遅延され、乗算回路63および64a,64b,65a,65bで、入力音声信号Sinおよび遅延回路61a,61b,62a,62bの出力信号に係数が乗じられ、加算回路66で、乗算回路63,64a,64b,65a,65bの乗算結果が加算され、その加算結果が出力音声信号Soutとして取り出される構成のIIR(Infinite Impulse Response)フィルタによって構成する。
【0049】
さらに、補正回路51〜54は、例えば、それぞれ図12に示すようなFIRフィルタによって構成することができる。
【0050】
すなわち、この場合、入力音声信号Sinが、そのサンプリング周期τの遅延時間の、多段接続された遅延回路67によって順次遅延され、各乗算回路68で、入力音声信号Sinおよび各遅延回路67の出力信号に係数が乗じられ、各加算回路69で、各乗算回路68の出力信号が順次加算されて、出力音声信号Soutが得られる。
【0051】
この場合、補正回路51〜54を構成するFIRフィルタは、伝達関数比に相当する補正処理を施すものであって、後述のデジタルフィルタ21LL,21LR,21RL,21RRとは異なり、長いインパルス応答が得られる必要はなく、100タップ程度の低次のフィルタでよい。
【0052】
このように補正回路51〜54をFIRフィルタによって構成することによって、より高精度の音像定位を行うことができる。
【0053】
そして、図1の例では、加算回路23Lで、A/Dコンバータ12Lからの入力音声信号Dlと補正回路51からの音声信号が加算され、加算回路24Lで、入力音声信号Dlと補正回路52からの音声信号が加算され、加算回路23Rで、A/Dコンバータ12Rからの入力音声信号Drと補正回路54からの音声信号が加算され、加算回路24Rで、入力音声信号Drと補正回路53からの音声信号が加算される。
【0054】
さらに、加算回路23L,24L,23R,24Rの出力信号が、それぞれデジタルフィルタ21LL,21LR,21RR,21RLに供給される。
【0055】
デジタルフィルタ21LL,21LR,21RR,21RLは、それぞれ加算回路23L,24L,23R,24Rの出力信号に、それぞれ上記の伝達関数HLL,HLR,HRR,HRLを時間軸上に変換した、それぞれ図13に示すようなインパルス応答を畳み込むものとする。
【0056】
具体的に、デジタルフィルタ21LL,21LR,21RR,21RLは、例えば、それぞれ図14に示すようなFIRフィルタによって構成することができる。
【0057】
すなわち、この場合、入力音声信号Sinが、そのサンプリング周期τの遅延時間の、多段接続された遅延回路71によって順次遅延され、各乗算回路72で、入力音声信号Sinおよび各遅延回路71の出力信号に係数が乗じられ、各加算回路73で、各乗算回路72の出力信号が順次加算されて、出力音声信号Soutが得られる。
【0058】
ただし、図1では、疑似信号生成用および音像定位用の信号処理部30を、機能ブロック的に、ハードウェア回路のように示しているが、信号処理部30は、DSPのようにソフトウェア(プログラム)を含むものとして構成することができる。
【0059】
そして、図1の例では、加算回路22Lで、デジタルフィルタ21LLおよび21RLの出力信号が加算され、加算回路22Rで、デジタルフィルタ21LRおよび21RRの出力信号が加算され、加算回路22Lおよび22Rの出力信号が、信号処理部30の出力のデジタル音声信号DLおよびDRとして、D/Aコンバータ13Lおよび13Rでアナログ音声信号に変換され、その2系統のアナログ音声信号が、音声増幅回路14Lおよび14Rで増幅されて、ヘッドホン3の左右の音響変換器3Lおよび3Rに供給される。
【0060】
したがって、図1の例では、(1)入力音声信号Dlにつき、デジタルフィルタ21LLの系によって、音源5Lからリスナ1の左耳1Lに至る伝達関数HLLが実現され、デジタルフィルタ21LRの系によって、音源5Lからリスナ1の右耳1Rに至る伝達関数HLRが実現されて、入力音声信号Dlによる音像が、図6の音源5Lの位置に定位する。
【0061】
また、(2)入力音声信号Drにつき、デジタルフィルタ21RLの系によって、音源5Rからリスナ1の左耳1Lに至る伝達関数HRLが実現され、デジタルフィルタ21RRの系によって、音源5Rからリスナ1の右耳1Rに至る伝達関数HRRが実現されて、入力音声信号Drによる音像が、図6の音源5Rの位置に定位する。
【0062】
また、(3)疑似信号生成部40で生成された音声信号Blにつき、補正回路51およびデジタルフィルタ21LLの系によって、音源7Lからリスナ1の左耳1Lに至る伝達関数BLLが実現され、補正回路52およびデジタルフィルタ21LRの系によって、音源7Lからリスナ1の右耳1Rに至る伝達関数BLRが実現されて、音声信号Blによる音像が、図6の音源7Lの位置に定位する。
【0063】
また、(4)疑似信号生成部40で生成された音声信号Brにつき、補正回路53およびデジタルフィルタ21RLの系によって、音源7Rからリスナ1の左耳1Lに至る伝達関数BRLが実現され、補正回路54およびデジタルフィルタ21RRの系によって、音源7Rからリスナ1の右耳1Rに至る伝達関数BRRが実現されて、音声信号Brによる音像が、図6の音源7Rの位置に定位する。
【0064】
したがって、図1の例によれば、2チャンネルの入力チャンネルにより、ヘッドホン3によって音声を再生する場合に、リスナ1の周囲の音源5L,5R,7L,7Rの位置に音像を定位させて4チャンネルの音声を再生することができ、サラウンド感および臨場感のある音場を生成することができる。
【0065】
しかも、補正回路51〜54は、図6の式(11)〜(14)で表される伝達関数比に相当する補正処理を行うだけであって、一般に、異なる音源からリスナの同一の耳への伝達特性は類似した特性を有するので、補正回路51〜54は、デジタルフィルタ21LL,21LR,21RL,21RRに比べて、回路規模を著しく小さくし、演算量を著しく少なくすることができる。
【0066】
したがって、2個のデジタルフィルタ21LL,21LRまたは21RL,21RRからなる音像定位用の信号処理部を4チャンネル分設ける場合のように、音像定位用の信号処理の回路規模や演算量が膨大となることがない。
【0067】
疑似的な入力音声信号BlおよびBrは、もとの入力音声信号DlおよびDrの一方から生成し、または入力音声信号DlおよびDrを合成して生成する。
【0068】
ただし、より良好なサラウンド感および臨場感を得るには、疑似的な入力音声信号BlおよびBrとしては、もとの入力音声信号DlおよびDrに対して相関性が低いものが望ましく、入力音声信号Blと入力音声信号Brとの間でも、互いに相関性が低いことが望ましい。
【0069】
図16は、疑似信号生成部40の一例を示し、もとの入力音声信号DlおよびDrを合成して疑似的な入力音声信号BlおよびBrを生成する場合の一例である。
【0070】
具体的に、加算回路41で、入力音声信号Dlから入力音声信号Drが減算されて、入力音声信号Blが生成され、加算回路42で、入力音声信号Drから入力音声信号Dlが減算されて、入力音声信号Brが生成される。したがって、入力音声信号BlおよびBrは、互いに逆相のものとなる。
【0071】
図17は、同様に、もとの入力音声信号DlおよびDrを合成して疑似的な入力音声信号BlおよびBrを生成する場合の他の例を示し、加算回路43で、入力音声信号DlおよびDrが加算され、加算回路43の出力信号が、一方で、ある高域周波数以下の成分を抽出するフィルタ44を通じて取り出されて、入力音声信号Blが得られ、他方で、ある低域周波数以上の成分を抽出するフィルタ45を通じて取り出されて、入力音声信号Brが得られる。
【0072】
図18は、もとの入力音声信号DlおよびDrを合成しないで疑似的な入力音声信号BlおよびBrを生成する場合の一例を示し、入力音声信号Dlが、遅延回路46で、ある時間遅延されて、入力音声信号Blが得られ、入力音声信号Drが、遅延回路47で、ある時間遅延されて、入力音声信号Brが得られる。
【0073】
図19は、図16および図17の例と同様に、もとの入力音声信号DlおよびDrを合成して疑似的な入力音声信号BlおよびBrを生成する場合の他の例を示す。
【0074】
この例では、加算回路41で、入力音声信号Dlから入力音声信号Drが減算され、加算回路42で、入力音声信号Drから入力音声信号Dlが減算され、残響付加回路48および49によって、加算回路41および42の出力信号に、それぞれ残響特性が付加されて、入力音声信号BlおよびBrが得られる。
【0075】
残響付加回路48および49は、それぞれ、遅延回路81で、入力信号が、ある時間遅延され、各乗算回路82で、入力信号および遅延回路81の出力信号に係数が乗じられ、加算回路83で、各乗算回路82の出力信号が加算される構成とされる。
【0076】
図18の例のように、もとの入力音声信号DlおよびDrを合成しないで疑似的な入力音声信号BlおよびBrを生成する場合の例として、入力音声信号DlおよびDrが、それぞれ上記のような残響付加回路に供給されることによって入力音声信号BlおよびBrが得られる構成としてもよい。
【0077】
図1の例の音声再生装置では、リスナの操作に基づいてスイッチ31および32がオフにされると、疑似信号生成部40から入力音声信号BlおよびBrが得られず、もとの入力音声信号DlおよびDrのみが、図6の音源5Lおよび5Rの位置に定位されて再生されるモードとなる。
【0078】
したがって、リスナは、好みや場合に応じて、4チャンネル(多チャンネル)サラウンド再生モードと2チャンネル(少数チャンネル)前方定位再生モードとのいずれかを選択することができる。
【0079】
この場合、2チャンネル前方定位再生モードとしたとき、2個のデジタルフィルタ21LL,21LRまたは21RL,21RRからなる音像定位用の信号処理部を4チャンネル分設けた場合とは異なり、十分に長いインパルス応答を得る一部のデジタルフィルタが使用されないということがなく、音像定位用の信号処理リソースが無駄になることがない。
【0080】
(第2の例:図2)
図2は、2チャンネルの入力チャンネルにより、ヘッドホンによって多チャンネル音声再生を行う場合の、第2の例を示す。
【0081】
上記の入力音声信号Dl,Drと入力音声信号Bl,Brとの間に、図7の式(21)(22)で示す関係が実現されれば、図6に示したように、入力音声信号Dl,Dr,Bl,Brによる音像を、それぞれ音源5L,5R,7L,7Rの位置に定位させることができる。
【0082】
そこで、図2の例では、補正回路51,52,53,54は、それぞれ図7の式(31)(32)(33)(34)で表される伝達関数比を実現するものとする。
【0083】
さらに、図2の例では、加算回路25Lで、A/Dコンバータ12Lからの入力音声信号Dlと補正回路51および53からの音声信号が加算され、加算回路25Rで、A/Dコンバータ12Rからの入力音声信号Drと補正回路52および54からの音声信号が加算され、加算回路25Lの出力信号が、デジタルフィルタ21LLおよび21LRに供給され、加算回路25Rの出力信号が、デジタルフィルタ21RLおよび21RRに供給される。
【0084】
デジタルフィルタ21LL,21LR,21RL,21RRは、加算回路25L,25Rの出力信号を、それぞれ図6の音源5L,5Rの位置に定位させるような伝達関数を実現するものとする。
【0085】
したがって、図2の例でも、入力音声信号Dl,Dr,Bl,Brによる音像が、それぞれ図6の音源5L,5R,7L,7Rの位置に定位する。
【0086】
なお、図2の例では、図15に示すように、デジタルフィルタ21LLおよび21LR、またはデジタルフィルタ21RLおよび21RRを、遅延回路71が共用されて、一方のデジタルフィルタ21LLまたは21RLを構成する乗算回路72および加算回路73と、他方のデジタルフィルタ21LRまたは21RRを構成する乗算回路74および加算回路75とが設けられた構成とすることができる。
【0087】
(第3の例:図3)
図3は、2チャンネルの入力チャンネルにより、ヘッドホンによって多チャンネル音声再生を行う場合の、第3の例を示す。
【0088】
図6に示したように、入力音声信号DlおよびDrによる音像を、リスナ前方の正中面に対して対称な音源5Lおよび5Rの位置に定位させる場合、リスナ1が視聴する部屋の反射条件などが左右でほぼ同じであり、かつリスナ1の左右の耳1Lおよび1Rの伝達関数がほぼ同じであれば、近似的に、HLL=HRR,HLR=HRLとみなすことができ、図1および図2のデジタルフィルタ21LL,21LR,21RL,21RRを一対のデジタルフィルタによって構成することができる。図3は、その場合の例を示す。
【0089】
図3の例では、補正回路51〜54の特性は、図2の例の補正回路51〜54と同じにされ、図2の例と同様に、加算回路25Lで、A/Dコンバータ12Lからの入力音声信号Dlと補正回路51および53からの音声信号が加算され、加算回路25Rで、A/Dコンバータ12Rからの入力音声信号Drと補正回路52および54からの音声信号が加算される。
【0090】
さらに、図3の例では、加算回路26Lで、加算回路25Lの出力信号Clと加算回路25Rの出力信号Crが加算され、加算回路26Rで、出力信号Crから出力信号Clが減算され、加算回路26Lの出力信号Elが、デジタルフィルタ21Pに供給され、加算回路26Rの出力信号Erが、デジタルフィルタ21Qに供給される。
【0091】
デジタルフィルタ21Pは、加算回路26Lの出力信号Elに、(HLL+HLR)/2で表される伝達関数を時間軸上に変換したインパルス応答を畳み込むものとし、デジタルフィルタ21Qは、加算回路26Rの出力信号Erに、(HLL−HLR)/2で表される伝達関数を時間軸上に変換したインパルス応答を畳み込むものとする。
【0092】
そして、加算回路22Lで、デジタルフィルタ21Pの出力信号Flとデジタルフィルタ21Qの出力信号Frが加算され、加算回路22Rで、出力信号Frから出力信号Flが減算され、加算回路22Lおよび22Rの出力信号が、信号処理部30の出力のデジタル音声信号DLおよびDRとして、D/Aコンバータ13Lおよび13Rでアナログ音声信号に変換され、その2系統のアナログ音声信号が、音声増幅回路14Lおよび14Rで増幅されて、ヘッドホン3の左右の音響変換器3Lおよび3Rに供給される。
【0093】
この例では、十分に長いインパルス応答を得るデジタルフィルタが2個でよく、信号処理部30の回路規模や演算量をより縮小することができる。
【0094】
(第4の例:図4)
図4は、2チャンネルの入力チャンネルにより、ヘッドホンによって多チャンネル音声再生を行う場合の、第4の例を示す。
【0095】
この例では、疑似信号生成部40で生成された音声信号BlおよびBrから、加算回路58Lで、両者の和信号(Bl+Br)が得られて、補正回路59Lに供給され、加算回路58Rで、両者の差信号(Br−Bl)が得られて、補正回路59Rに供給される。
【0096】
補正回路59Lは、図7の式(41)で表される伝達関数比を実現するものとし、補正回路59Rは、図7の式(42)で表される伝達関数比を実現するものとする。
【0097】
さらに、図4の例では、加算回路27Lで、A/Dコンバータ12Lからの入力音声信号DlとA/Dコンバータ12Rからの入力音声信号Drが加算され、加算回路27Rで、入力音声信号Drから入力音声信号Dlが減算され、加算回路28Lで、加算回路27Lの出力信号と補正回路59Lの出力信号が加算され、加算回路28Rで、加算回路27Rの出力信号と補正回路59Rの出力信号が加算され、加算回路28Lの出力信号が、デジタルフィルタ21Pに供給され、加算回路28Rの出力信号が、デジタルフィルタ21Qに供給される。
【0098】
デジタルフィルタ21Pは、加算回路28Lの出力信号に、(HLL+HLR)/2で表される伝達関数を時間軸上に変換したインパルス応答を畳み込むものとし、デジタルフィルタ21Qは、加算回路28Rの出力信号に、(HLL−HLR)/2で表される伝達関数を時間軸上に変換したインパルス応答を畳み込むものとする。
【0099】
そして、加算回路22Lで、デジタルフィルタ21Pの出力信号Flからデジタルフィルタ21Qの出力信号Frが減算され、加算回路22Rで、逆に出力信号Frから出力信号Flが減算され、加算回路22Lおよび22Rの出力信号が、信号処理部30の出力のデジタル音声信号DLおよびDRとして、D/Aコンバータ13Lおよび13Rでアナログ音声信号に変換され、その2系統のアナログ音声信号が、音声増幅回路14Lおよび14Rで増幅されて、ヘッドホン3の左右の音響変換器3Lおよび3Rに供給される。
【0100】
この例でも、十分に長いインパルス応答を得るデジタルフィルタが2個でよく、信号処理部30の回路規模や演算量をより縮小することができる。
【0101】
(第5の例:図5)
図5は、2チャンネルの入力チャンネルにより、ヘッドホンによって多チャンネル音声再生を行う場合の、第5の例を示す。
【0102】
この例では、図6に示すように、上記の音源5L,5R,7L,7R以外に、例えば、リスナ前方の正中面上の位置に音源5Cを想定し、この音源5Cからリスナ1の左右の耳1Lおよび1Rに至る伝達関数を、HCLおよびHCRとする。
【0103】
そして、図5の例では、疑似信号生成部40で生成された音声信号Blが、補正回路51および52に供給され、疑似信号生成部40で生成された音声信号Brが、補正回路53および54に供給されるとともに、A/Dコンバータ12Lからの入力音声信号Dlが、補正回路91および92に供給され、A/Dコンバータ12Rからの入力音声信号Drが、補正回路93および94に供給される。
【0104】
補正回路51は、音声信号Blに、伝達関数比(BLL/HCL)に相当する補正処理を施すものとし、補正回路52は、音声信号Blに、伝達関数比(BLR/HCR)に相当する補正処理を施すものとし、補正回路53は、音声信号Brに、伝達関数比(BRL/HCL)に相当する補正処理を施すものとし、補正回路54は、音声信号Brに、伝達関数比(BRR/HCR)に相当する補正処理を施すものとする。
【0105】
また、補正回路91は、入力音声信号Dlに、伝達関数比(HLL/HCL)に相当する補正処理を施すものとし、補正回路92は、入力音声信号Dlに、伝達関数比(HLR/HCR)に相当する補正処理を施すものとし、補正回路93は、入力音声信号Drに、伝達関数比(HRL/HCL)に相当する補正処理を施すものとし、補正回路94は、入力音声信号Drに、伝達関数比(HRR/HCR)に相当する補正処理を施すものとする。
【0106】
そして、図5の例では、加算回路29Lで、補正回路91,93,51,53の出力信号が加算され、加算回路29Rで、補正回路92,94,52,54の出力信号が加算され、加算回路29Lの出力信号が、デジタルフィルタ21CLに供給され、加算回路29Rの出力信号が、デジタルフィルタ21CRに供給される。
【0107】
デジタルフィルタ21CLは、加算回路29Lの出力信号に、図6の音源5Cからリスナ1の左耳1Lに至る伝達関数HCLを時間軸上に変換したインパルス応答を畳み込むものとし、デジタルフィルタ21CRは、加算回路29Rの出力信号に、図6の音源5Cからリスナ1の右耳1Rに至る伝達関数HCRを時間軸上に変換したインパルス応答を畳み込むものとする。
【0108】
そして、図5の例では、デジタルフィルタ21CLおよび21CRの出力信号が、信号処理部30の出力のデジタル音声信号DLおよびDRとして、D/Aコンバータ13Lおよび13Rでアナログ音声信号に変換され、その2系統のアナログ音声信号が、音声増幅回路14Lおよび14Rで増幅されて、ヘッドホン3の左右の音響変換器3Lおよび3Rに供給される。
【0109】
したがって、図5の例では、(1)入力音声信号Dlにつき、補正回路91およびデジタルフィルタ21CLの系によって、音源5Lからリスナ1の左耳1Lに至る伝達関数HLLが実現され、補正回路92およびデジタルフィルタ21CRの系によって、音源5Lからリスナ1の右耳1Rに至る伝達関数HLRが実現されて、入力音声信号Dlによる音像が、音源5Lの位置に定位する。
【0110】
また、(2)入力音声信号Drにつき、補正回路93およびデジタルフィルタ21CLの系によって、音源5Rからリスナ1の左耳1Lに至る伝達関数HRLが実現され、補正回路94およびデジタルフィルタ21CRの系によって、音源5Rからリスナ1の右耳1Rに至る伝達関数HRRが実現されて、入力音声信号Drによる音像が、音源5Rの位置に定位する。
【0111】
また、(3)疑似信号生成部40で生成された音声信号Blにつき、補正回路51およびデジタルフィルタ21CLの系によって、音源7Lからリスナ1の左耳1Lに至る伝達関数BLLが実現され、補正回路52およびデジタルフィルタ21CRの系によって、音源7Lからリスナ1の右耳1Rに至る伝達関数BLRが実現されて、音声信号Blによる音像が、音源7Lの位置に定位する。
【0112】
また、(4)疑似信号生成部40で生成された音声信号Brにつき、補正回路53およびデジタルフィルタ21CLの系によって、音源7Rからリスナ1の左耳1Lに至る伝達関数BRLが実現され、補正回路54およびデジタルフィルタ21CRの系によって、音源7Rからリスナ1の右耳1Rに至る伝達関数BRRが実現されて、音声信号Brによる音像が、音源7Rの位置に定位する。
【0113】
したがって、図5の例でも、2チャンネルの入力チャンネルにより、ヘッドホン3によって音声を再生する場合に、リスナ1の周囲の音源5L,5R,7L,7Rの位置に音像を定位させて4チャンネルの音声を再生することができ、サラウンド感および臨場感のある音場を生成することができる。
【0114】
しかも、この例では、図3および図4の例と同様に、十分に長いインパルス応答を得るデジタルフィルタが2個でよく、信号処理部30の回路規模や演算量をより縮小することができる。
【0115】
図1〜図5の例は、いずれも、疑似信号生成部40で、もとの入力音声信号DlおよびDrの一方から、または入力音声信号DlおよびDrを合成して、別の入力音声信号BlおよびBrを生成する場合であるが、もとの入力音声信号DlおよびDrを、そのまま別の入力音声信号BlおよびBrとして、補正回路51,52および53,54で音源7Lおよび7Rの位置への定位用に補正処理するように構成してもよい。
【0116】
〔スピーカ再生の場合の実施形態:図20および図21〕
図20は、ステレオ音声信号により、すなわち2チャンネルの入力チャンネルにより、2個のスピーカによって多チャンネル音声再生を行う場合の、この発明の音声再生装置の一例を示す。
【0117】
具体的に、この例は、図21に示すように、リスナ前方の正中面に対して対称な左右の位置にスピーカ6Lおよび6Rが配置され、2チャンネルの入力音声信号DlおよびDrが、スピーカ6Lおよび6Rとは異なる、リスナ前方の正中面に対して対称な左右の音源5Lおよび5Rの位置に定位される信号として得られ、疑似的な2チャンネルの入力音声信号BlおよびBrが、リスナ1の後方寄りの正中面に対して対称な左右の音源7Lおよび7Rの位置に定位される信号として生成される場合である。
【0118】
図20の例の音声再生装置では、疑似信号生成部40を含む信号処理部30が、ヘッドホン再生の場合における図2の例の音声再生装置の信号処理部30と同様に構成される。
【0119】
ただし、デジタルフィルタ21LLおよび21LRは、入力音声信号Dlを音源5Lの位置に定位させる伝達関数を時間軸上に変換したインパルス応答を畳み込むものとし、デジタルフィルタ21RLおよび21RRは、入力音声信号Drを音源5Rの位置に定位させる伝達関数を時間軸上に変換したインパルス応答を畳み込むものとする。
【0120】
また、補正回路51および52は、音声信号Blに、これを音源7Lの位置に定位させる伝達関数比に相当する補正処理を施すものとし、補正回路53および54は、音声信号Brに、これを音源7Rの位置に定位させる伝達関数比に相当する補正処理を施すものとする。
【0121】
したがって、この例によれば、2チャンネルの入力チャンネルにより、2個のスピーカ6Lおよび6Rによって音声を再生する場合に、リスナ1の周囲の音源5L,5R,7L,7Rの位置に音像を定位させて4チャンネルの音声を再生することができ、サラウンド感および臨場感のある音場を生成することができる。
【0122】
しかも、2個のデジタルフィルタ21LL,21LRまたは21RL,21RRからなる音像定位用の信号処理部を4チャンネル分設ける場合のように、音像定位用の信号処理の回路規模や演算量が膨大となることがない。
【0123】
このスピーカ再生の場合についても、もとの入力音声信号DlおよびDrを、そのまま音声信号BlおよびBrとして、補正回路51,52および53,54で、音源7Lおよび7Rの位置への定位用に補正処理するように構成してもよい。
【0124】
〔他の実施形態〕
上述した実施形態は、疑似信号生成部40で、2チャンネルの入力音声信号Dl,Drから2チャンネルの疑似音声信号Bl,Brを生成する場合であるが、2チャンネルの入力音声信号から1チャンネルまたは3チャンネル以上の疑似音声信号を生成するように構成してもよい。
【0125】
また、この発明は、入力音声信号が1チャンネルの場合にも適用することができる。この場合には、その1チャンネルの入力音声信号から、少なくとも1チャンネルの疑似音声信号を生成する。
【0126】
【発明の効果】
上述したように、この発明によれば、音像定位用の信号処理部の回路規模や演算量を増大させることなく、少数の入力チャンネルによって、リスナの周囲に音像を定位させた多チャンネル音声再生を実現することができ、サラウンド感および臨場感のある音場を生成することができる。
【0127】
さらに、入力音声信号から疑似音声信号を生成するので、より良好なサラウンド感および臨場感を得ることができる。
【0128】
また、疑似音声信号を遮断できる構成とする場合には、音像定位用の信号処理リソースを無駄にすることなく、選択的に少数チャンネル再生モードとすることができる。
【図面の簡単な説明】
【図1】ヘッドホン再生の場合の第1の例を示す図である。
【図2】ヘッドホン再生の場合の第2の例を示す図である。
【図3】ヘッドホン再生の場合の第3の例を示す図である。
【図4】ヘッドホン再生の場合の第4の例を示す図である。
【図5】ヘッドホン再生の場合の第5の例を示す図である。
【図6】ヘッドホン再生の場合の音像定位の説明に供する図である。
【図7】ヘッドホン再生の場合の音像定位の説明に供する式を示す図である。
【図8】補正回路の一例を示す図である。
【図9】補正回路の一例を示す図である。
【図10】補正回路の一例を示す図である。
【図11】図10の周波数特性補正回路の一例を示す図である。
【図12】補正回路の一例を示す図である。
【図13】インパルス応答の一例を示す図である。
【図14】インパルス応答の再現用のデジタルフィルタの一例を示す図である。
【図15】インパルス応答の再現用のデジタルフィルタの一例を示す図である。
【図16】疑似信号生成部の一例を示す図である。
【図17】疑似信号生成部の一例を示す図である。
【図18】疑似信号生成部の一例を示す図である。
【図19】疑似信号生成部の一例を示す図である。
【図20】スピーカ再生の場合の一例を示す図である。
【図21】図20の例の音像定位の説明に供する図である。
【図22】ヘッドホン再生の場合にリスナ頭外の任意の位置に音像を定位させるときの原理を示す図である。
【図23】従来の音声再生装置の一例を示す図である。
【図24】スピーカ再生の場合にリスナ周辺の任意の位置に音像を定位させるときの原理を示す図である。
【図25】従来の音声再生装置の一例を示す図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
Claims (8)
- 入力音声信号を定位させる第1の位置からリスナの左右の耳に至る伝達関数である第1の伝達関数に相当するインパルス応答を再現するフィルタ手段と、
前記入力音声信号から、前記第1の位置とは異なる第2の位置に定位させる音声信号である疑似音声信号を生成する信号生成手段と、
その生成された疑似音声信号に、これを定位させる前記第2の位置からリスナの左右の耳に至る伝達関数である第2の伝達関数と前記第1の伝達関数との相違に応じた補正処理を施す補正手段と、
その補正処理後の音声信号と、前記入力音声信号とを加算して、前記フィルタ手段に入力する加算手段と、
を備える音声再生装置。 - 請求項1の音声再生装置において、
前記加算手段において前記入力音声信号に前記補正処理後の音声信号が加算される再生モードと、前記入力音声信号のみが前記フィルタ手段に入力される再生モードとを切り替える手段を備える音声再生装置。 - 請求項1の音声再生装置において、
前記補正手段は、前記疑似音声信号を遅延させる音声再生装置。 - 請求項1の音声再生装置において、
前記補正手段は、前記疑似音声信号を遅延させるとともに、そのレベルを補正する音声再生装置。 - 請求項1の音声再生装置において、
前記補正手段は、前記疑似音声信号を遅延させるとともに、その周波数特性を補正する音声再生装置。 - 請求項1の音声再生装置において、
前記補正手段は、FIRフィルタである音声再生装置。 - 請求項1の音声再生装置において、
前記入力音声信号が2チャンネルであり、前記信号生成手段は前記疑似音声信号として1チャンネルまたは複数チャンネルの音声信号を生成する音声再生装置。 - 請求項7の音声再生装置において、
前記信号生成手段は、前記2チャンネルの入力音声信号を合成して前記疑似音声信号を生成する音声再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002119127A JP3925633B2 (ja) | 2002-04-22 | 2002-04-22 | 音声再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002119127A JP3925633B2 (ja) | 2002-04-22 | 2002-04-22 | 音声再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319499A JP2003319499A (ja) | 2003-11-07 |
| JP3925633B2 true JP3925633B2 (ja) | 2007-06-06 |
Family
ID=29535777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002119127A Expired - Fee Related JP3925633B2 (ja) | 2002-04-22 | 2002-04-22 | 音声再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3925633B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333211A (ja) | 2004-05-18 | 2005-12-02 | Sony Corp | 音響収録方法、音響収録再生方法、音響収録装置および音響再生装置 |
-
2002
- 2002-04-22 JP JP2002119127A patent/JP3925633B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003319499A (ja) | 2003-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100644617B1 (ko) | 7.1 채널 오디오 재생 방법 및 장치 | |
| JP3276528B2 (ja) | 音像拡大装置 | |
| US8442237B2 (en) | Apparatus and method of reproducing virtual sound of two channels | |
| CA2430403C (en) | Sound image control system | |
| JP4499206B2 (ja) | オーディオ処理装置及びオーディオ再生方法 | |
| US5844993A (en) | Surround signal processing apparatus | |
| JP4744695B2 (ja) | 仮想音源装置 | |
| JP2924710B2 (ja) | ステレオ音場拡大装置 | |
| JP3874099B2 (ja) | 音声再生装置 | |
| EP0917400A2 (en) | An apparatus for localizing a sound image and a method for localizing the same | |
| WO1999035885A1 (fr) | Dispositif de localisation d'images sonores | |
| JP4240683B2 (ja) | オーディオ処理装置 | |
| NL1032538C2 (nl) | Apparaat en werkwijze voor het reproduceren van virtueel geluid van twee kanalen. | |
| JPH08265899A (ja) | サラウンド信号処理装置及び映像音声再生装置 | |
| JP4006842B2 (ja) | オーディオ信号再生装置 | |
| JPH05260597A (ja) | 音場信号再生装置 | |
| JP2910891B2 (ja) | 音響信号処理装置 | |
| JPH07123498A (ja) | ヘッドホン再生システム | |
| JP3925633B2 (ja) | 音声再生装置 | |
| WO2006057521A1 (en) | Apparatus and method of processing multi-channel audio input signals to produce at least two channel output signals therefrom, and computer readable medium containing executable code to perform the method | |
| JP2000333297A (ja) | 立体音生成装置、立体音生成方法及び立体音を記録した媒体 | |
| JP2985704B2 (ja) | サラウンド信号処理装置 | |
| JP2003111198A (ja) | 音声信号処理方法および音声再生システム | |
| KR20060048520A (ko) | 음상정위장치 | |
| JP3700254B2 (ja) | 映像音声再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |