JP2002044796A - 音像定位装置 - Google Patents
音像定位装置Info
- Publication number
- JP2002044796A JP2002044796A JP2000220876A JP2000220876A JP2002044796A JP 2002044796 A JP2002044796 A JP 2002044796A JP 2000220876 A JP2000220876 A JP 2000220876A JP 2000220876 A JP2000220876 A JP 2000220876A JP 2002044796 A JP2002044796 A JP 2002044796A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- filter
- input
- tone
- sound image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004807 localization Effects 0.000 title claims abstract description 65
- 230000005236 sound signal Effects 0.000 claims abstract description 10
- 210000005069 ears Anatomy 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims 1
- 238000012546 transfer Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 230000004044 response Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 6
- 239000007788 liquid Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000007598 dipping method Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Electrophonic Musical Instruments (AREA)
- Filters That Use Time-Delay Elements (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
することが出来る音像定位装置を提供する。 【解決手段】 音像定位装置は、楽音信号を入力する入
力手段と、複数の方向から両耳への楽音伝達特性で前記
楽音信号を畳み込み演算して出力する複数の第1のフィ
ルタ手段と、前記第1のフィルタ手段が出力する楽音信
号の周波数特性を補正する第2のフィルタ手段とを有す
る。
Description
ディオ機器が出力する楽音の音像を所定の位置に定位す
る音像定位装置に関する。
音の臨場感を増すため、楽音が空間のある点から発音し
ているように聴取者がイメージできるように、複数(左
右)のスピーカの音量や出力タイミングなどを制御して
いる。この空間の「ある点」を仮想発音位置といい、楽
音が発音されているようにイメージされる仮想的な空間
領域(仮想的な楽器の所在場所)を音像という。
ピーカに予め決められたバランスの音量で楽音を供給す
ることにより、その楽音の音像を定位するようにしてい
る。
め、聴取者が頭を動かしたときヘッドホンのスピーカも
これに追従して動き、上記制御のみでは音像も一緒に動
いてしまう。これに対応するため、聴取者が頭を動かし
たことを検出して、左右スピーカに出力する楽音特性を
制御することにより、頭を動かしても音像の位置が変化
しないヘッドホンシステムが提案されている(特開平4
−44500号など)。
置も提案されている(特開平10−23600号)。
テムでは、左耳用,右耳用のフィルタをそれぞれ設け、
ヘッドホンの向きに応じてその向きに対応した応答特性
のパラメータを読み出して上記フィルタに設定するとい
う制御を行っているため、パラメータメモリに多くの仮
想発音位置に対応するパラメータを記憶しておく必要が
あった。このため、大きなパラメータメモリを備えなけ
れば正確に音像を定位することができず、また、聴取者
が頭を動かす毎にパラメータの読み出しをし直さなけれ
ばならないという欠点があった。
定の受聴者に最適な定位を得ることが困難であり、ヘッ
ドホンの種類や特性による効果の差が大きかった。さら
に、音像定位と残響を体系的に制御することは出来なか
った。
果を選択調整することが出来る音像定位装置を提供する
ことを目的とする。
種類毎に定位感の調整をすることが出来る音像定位装置
を提供することを目的とする。
ば、音像定位装置は、楽音信号を入力する入力手段と、
複数の方向から両耳への楽音伝達特性で前記楽音信号を
畳み込み演算して出力する複数の第1のフィルタ手段
と、前記第1のフィルタ手段が出力する楽音信号の周波
数特性を補正する第2のフィルタ手段とを有する。
あるヘッドホンシステムの構成を示す図である。このヘ
ッドホンシステムは、音源である電子楽器1が発生した
楽音信号を音像定位部2を介してステレオのヘッドホン
3に供給する。ヘッドホン3の頂部には方位センサ4が
設けられており、この方位センサ4によりヘッドホン3
すなわちこのヘッドホンを装用する聴取者がどの方向を
向いているかを検出することができる。この方位センサ
4の検出内容は係数発生部5に入力される。また、この
係数発生部5にはジョイスティック等の入力装置6及び
設定ボタン7が接続されている。入力装置6は電子楽器
1が発生する楽音の仮想発音位置を指定するために用い
られる。この仮想発音位置は、聴取者に装用されて移動
するヘッドホン3に対する相対的なものではなく、その
空間内における絶対的な位置として設定される。また、
設定ボタン7は、ヘッドホン3を装着した聴取者が後述
する仮想的壁面8に対して正面を向いたとき、その方位
(北を0度とする角度)を設定するためのボタンであ
る。なお、これら操作子に対応して、係数発生部5には
正面方位レジスタ5a,仮想発音位置レジスタ5bが設
定されている。
の音像定位方式を説明する図である。図3は第1の実施
例による前記音像定位部2の構成を示す図である。図3
において、音像定位部2は8チャンネルのFIRフィル
タ15(15L,15R)を並列に備えている。
れぞれ図2(A)の〜の方向に対応している。すな
わち、Ch1のFIRフィルタ15L,15Rは、それ
ぞれ図2(A)のの方向(位置)から左耳,右耳まで
の楽音の伝達特性(頭部音響伝達関数:HRTF)で楽
音信号を畳み込み演算するFIRフィルタである。
も図2(A)の〜の方向から左右両耳までの楽音伝
達特性で楽音信号を畳み込み演算するFIRフィルタで
ある。このように図2(A)の〜は聴取者の正面す
なわちヘッドホン3に対する方向を示し、聴取者が頭の
向きを変えるとそれに合わせてこの〜の向きも変わ
る。
電子楽器1が発生する楽音の仮想発音位置を設定するた
めの操作子である。図2(B)では仮想発音位置はヘッ
ドホン3からz0の距離にある仮想的壁面8上の1点に
定位されるようになっており、該平面8上の座標がヘッ
ドホン3からの垂線の交点を原点とするx,y座標で表
される。
仮想発音位置のx座標が増加し、左向きに操作すると前
記仮想発音位置のx座標が減少する。また、入力装置6
を上向きに操作すると前記仮想発音位置のy座標が増加
し、下向きに操作すると前記仮想発音位置のy座標が減
少する。
が仮想的な壁面8上の点9に設定され、ヘッドホン3が
図示の向きであるとすると、仮想発音位置の方向は前記
基本の方向〜のうち、、、に対してα1,
α2,α5,α6の角度となる。したがって、図3のC
h1,Ch2,Ch5,Ch6のゲイン乗算器12,1
3のそれぞれにこの角度α1,α2,α5,α6に対応
して主として直接音(先行音)を取り込むようなゲイン
を与え、他のチャンネルには上記角度に対応して主とし
て壁面等からの初期反射音(後行音)を取り込むような
ゲインを与えることにより、ヘッドホン3において音像
を点9に定位させることができる。
ッドホン3の角度も変化するが、このとき新たに基本方
向との角度が算出され、これに対応するゲインが割り出
されるため、ヘッドホン装用者がどの方向を向いても楽
音の音像は常に空間内における絶対的位置である仮想発
音位置9に定位され続けることになる。
操作して仮想発音位置9を移動させた場合には、これに
合わせて新たな角度α1,α2,α5,α6が算出さ
れ、定位が移動する。
3の正面付近にある場合についてのみ説明したが、仮想
的発音位置がヘッドホン3の左側にある場合にはCh
1,Ch4,Ch5,Ch8に対する角度α1,α4,
α5,α8を算出して対応するゲインが割り出され、仮
想的発音位置がヘッドホン3の右側にある場合にはCh
2,Ch3,Ch6,Ch7に対する角度α2,α3,
α6,α7を算出して対応するゲインが割り出される。
側にある場合にはCh3,Ch4,Ch7,Ch8に対
する角度α3,α4,α7,α8を算出して対応するゲ
インが割り出され、仮想的発音位置がヘッドホン3の上
側にある場合にはCh5,Ch6,Ch7,Ch8に対
する角度α5,α6,α7,α8を算出して対応するゲ
インが割り出され、仮想的発音位置がヘッドホン3の下
側にある場合にはCh1,Ch2,Ch3,Ch4に対
する角度α1,α2,α3,α4を算出して対応するゲ
インが割り出される。
仮想的壁面8上のみに設定可能にしているが、空間内の
任意の点に設定できるようにしてもよい。この場合に
は、入力装置6を3次元の座標を設定できるようにす
る。
イスティックに限定されるものではなく、ジョイスティ
ックに類似した座標値を相対的に増減する操作子のほ
か、テンキーなど座標値を直接入力する操作子、ロータ
リーエンコーダ、スライダ等を用いることができ、ま
た、モニタ上に表示される壁面や空間の画像内で仮想発
音位置をグラフィックに設定できるようにしてもよい。
また、仮想的壁面8に向かう方向をセットする設定スイ
ッチ7も同様にグラフィックに設定できるようにしても
よい。
する。音像定位部2は、A/Dコンバータ10、ディレ
イライン11、バンドパスフィルター(BPF)40、
ゲイン乗算器12、ゲイン乗算器13、加算器14、F
IRフィルタ15、IIRフィルタ41、加算器16、
D/Aコンバータ17、アンプ18を有する。
Dコンバータ10によってデジタル信号に変換される。
電子楽器1がデジタル楽器であり、楽音をデジタル信号
のまま出力するものであれば、このA/Dコンバータ1
0をスキップして直接ディレイライン11に信号を入力
するようにしてもよい。
タで構成されており、入力されたデジタル楽音信号を順
次シフトしてゆく。このディレイライン11の任意の位
置(レジスタ)に2つのタップが設けられ、この2つの
タップ(先行音タップ,後行音タップ)からディレイさ
れた信号(先行音,後行音)が取り出される。
るタップ位置係数によって決定される。2つのタップの
うちディレイライン11の入力端に近いタップから取り
出される信号を先行音といい、入力端に遠いタップから
取り出される信号を後行音という。先行音は直接音に対
応しており、後行音は初期反射音に対応している。
2に入力され、後行音はBPF40に入力された後、C
h1〜Ch8のゲイン乗算器13に入力される。ディレ
イライン11の2つのタップ及びゲイン乗算器12,1
3のゲインを適当に設定することにより、音像の距離感
や前後感を出すことができる。
対して、反射による減衰を模するために設けられてい
る。
後行音のずれを小さくすると距離感が小さくなり音像を
近くに定位することができ、逆に先行音と後行音のずれ
を大きくすると距離感が大きくなり音像を遠くに定位す
ることができる。ただし、先行音と後行音のずれは20
msを超えないようにする。ずれが20msを超えると
聴取者に別の音として認識されてしまうからである。
乗算器12のゲインとゲイン乗算器13のゲインの差)
を大きくすると、音像が前方に定位しやすくなり、先行
音と後行音のレベル差を小さくすると音像が後方に定位
しやすくなる。
のゲインは係数発生部5から入力される。このゲインが
乗算された先行音信号及び後行音信号は加算器14によ
って加算され、FIRフィルタ15に入力される。1つ
の楽音信号を遅延して先行音信号,後行音信号の2つの
信号を取り出すのは同一の楽音信号が微小な時間差でず
れて聞こえ、かつ、そのレベル差により距離感や前後間
を出すためである。
L,右耳用フィルタ15Rの2系統が並列に設けられて
いる。Ch1のFIRフィルタ15Lは、楽音が図2
(A)のの方向から左耳に聞こえてくる場合の響きを
頭部音響伝達関数によりシミュレートし、Ch1のFI
Rフィルタ15Rは、楽音が図2(A)のの方向から
右耳に聞こえてくる場合の響きを頭部音響伝達関数によ
りシミュレートする。同様にCh2〜Ch8のFIRフ
ィルタ15L,FIRフィルタ15Rはそれぞれ〜
の方向から左右両耳への楽音の伝達を頭部音響伝達関数
によりシミュレートする。
方向〜の中間の方向であった場合、係数発生部5
は、図2(A)に示したように、〜の方向のうちそ
の仮想発音位置の方向を囲む4方向となす角度を算出
し、その角度に対応するゲイン及びディレイライン11
のタップを決定する係数を各チャンネルのゲイン乗算器
12,13及びディレイライン11に与える。なお、ヘ
ッドホン3における音像定位位置が変化しても音量を変
化させない場合には、上記全てのゲイン乗算器12,1
3に与えられるゲインの対数的な合計値は1であるが、
音像定位位置によってゲインの合計を変化させることに
よって特殊な効果を出してもよい。
出力された信号は加算器16Lで加算合成される。ま
た、各チャンネルのFIRフィルタ15Rから出力され
た信号は加算器16Rで加算合成される。これら加算合
成されたデジタルの楽音信号はそれぞれIIRフィルタ
41L及びIILフィルタ41Rに入力される。
ジタルの楽音信号の特性を補正するためのフィルタであ
る。前段に設けられたFIRフィルタは、応答長が非常
に短く、周波数分解能が粗い為、とりわけ低域の特性が
所望のものとは異なる傾向にあるが、IIRフィルタ4
1は、その周波数特性を補正することが出来る。
Rフィルタ41を用いることにより、各聴取者の嗜好
や、定位特性の差異(特に上下方向定位感)を補正する
ことが出来る。
合の周波数特性の変化を表す図である。図中点線で示す
加算合成されたデジタルの楽音信号を、IIRフィルタ
41に通すと、図中上向きの矢印が示すように高域及び
低域の周波数帯域の楽音信号をブーストすると共に、下
向きの矢印で示すように、例えば8KHzの部分をディ
ッピングさせることができる。高域及び低域の周波数帯
域の楽音信号をブースとすることにより、ヘッドホンの
周波数特性補償や各聴取者に対する嗜好合わせをするこ
とが出来る。また8kHzの部分をディッピングさせる
ことで、定位特性(特に上下方向定位感)を調整する事
ができる。8kHz周波のディッピングは、人の頭部構
造に基づく雑音成分を低減するので、定位特性を改善す
ることが出来る。
ブーストしたが、IIRフィルタ41は、それらを逆に
カットすることも出来る。また、ディッピングする周波
数は、8KHzに限らず、これを微調整することで、H
RTFの個人差を補正することが出来る。
音信号はD/Aコンバータ17でアナログ信号に変換さ
れ、アンプ18で増幅されたのちヘッドホン3に出力さ
れる。
図5はヘッドホン3の頂部に取り付けられている方位セ
ンサ4の構成図である。ヘッドホン3の両方の耳あて部
には小型スピーカが内蔵されており、それぞれ前記アン
プ18から出力された左右のアナログ楽音信号が入力さ
れる。そしてアーチの頂部には方位センサ4が設けられ
ている。方位センサ4は円筒形のケース28に収納され
ており、図5(B)に示すようにコンパス20及びフォ
トセンサ25,26,27で構成されている。
球状の透明アクリルケース22内に球状磁石体21を収
納し、この球状磁石体21と透明アクリルケース22の
内壁面との隙間に液体23を充填したものである。この
液体23は無色透明のものである。
て常に上下関係を維持すると共に南北の方位を指すよう
にするため、中央部に板状磁石21aを収納し、上部に
空間21c,下部に重り21bを有している。
わちヘッドホン3がどの向きになってもどのように傾い
てもこの球状磁石体21aは必ず特定の部位が地磁気に
より北を指し、重り21bが重力方向を向くように透明
アクリルケース20内で回転揺動する。
石体21は液体23で浮揚しており、摩擦なく透明アク
リルケース22内で回転揺動できる。
は、青と赤のグラデーションで彩色されている。青のグ
ラデーションは同図(A),(B)に示すようにその濃
度が方位を表すように経線状に彩色されており、北→東
→南→西→北と回転するにしたがって青の濃度が薄くな
るようにされている。
(北を0度とする時計回りの角度)を表すことになる。
赤のグラデーションは同図(C),(D)に示すように
その濃度が傾斜角を示すように緯線状に彩色されてお
り、透明アクリルケース20が下向きに傾斜するほど赤
の濃度の高い部分が現れるようになっている。
デーションが同じ球面にされており、両色が混ざり合っ
ている。
0の側面に向けてフォトセンサ25〜27が設けられて
いる。フォトセンサ25は青色の濃度を検出するセンサ
であり、フォトセンサ26,27は赤色の濃度を検出す
るセンサである。フォトセンサ25はヘッドホン3の前
側からコンパス20の側面に向けられており、フォトセ
ンサ26はヘッドホン3の右側からコンパス20の側面
に向けられており、フォトセンサ27はヘッドホン3の
後側からコンパス20の側面に向けられている。
の構成を示す。LED30及びフォトダイオード32が
コンパス20に向けて設けられ、これらLED30,フ
ォトダイオード32の前面に所定色のみを通過させる光
学フィルタが設けられている。LED30は電池31に
よって連続点灯され、コンパス20の球状磁石体21の
表面を照射している。また、フォトダイオード32は、
上記LED30が照射した光の球状磁石体21表面の反
射光を受光することによって抵抗値が変化する。
接続されている。アンプ33はフォトダイオード32の
検出値を増幅してLPF34に入力する。LPF34
は、検出値のうち微小な振動成分を除去して動作として
の頭の動きのみを抽出し、係数発生部5に出力する。
の球状磁石体21の青色濃度を検出することにより、図
9(A)に示す濃度検出値と方位角の関係に基づいて、
このヘッドホン3がどの方位を向いているかを検出する
ことができる。
磁石体21の赤色を検出することにより、図9(B)に
示す濃度検出値と傾斜角(仰角)の関係に基づいて、ヘ
ッドホン3が右にどの程度傾いているかを検出すること
ができる。
磁石体21の赤色を検出することにより、図9(B)に
示す濃度検出値と仰角の関係に基づいて、ヘッドホン3
がどの程度上を向いているかを検出することができる。
ることにより、係数発生部5は、入力装置6によって設
定された仮想発音位置がヘッドホン3からみてどの方向
・距離にあるかを計算することができ、この方向・距離
を信号処理的に実現するためのディレイライン11のタ
ップ位置及びCh1〜Ch8のゲイン乗算器12,13
のゲインを算出して音像定位部2に出力する。
センサを用いたことにより、他のセンサ例えばジャイロ
センサなどに比べて以下のような利点がある。首を傾け
て回してもズレや誤差が生じないため、上体を動かして
演奏する電子ピアノのヘッドホンに用いても安定した音
像定位を実現することができる。地磁気が常時安定して
いるため、電子楽器やAV機器など音源となる装置との
キャリブレーション(位置関係の設定)を1回とれば、
以後使用開始時や使用途中に取り直す必要がなく、以後
装置を移動させるまでキャリブレーションをとることが
不要となる。また、ジャイロなど他の方位センサに比べ
て安価である。
を調節することで、頭の回転に対する応答性を調節する
ことができる。また、この検出内容の係数発生部5への
伝送は、有線でも無線でもよい。無線で行う場合には、
電源として電池を用いるが、その電池は充電式電池でも
よい。例えば、ヘッドホンを掛けておくホルダに充電機
能を設け、そのホルダに載せている間に充電されるよう
にしてもよい。また、有線で行う場合には、ヘッドホン
のオーディオケーブルを介して信号及び電源の送受をす
るようにすることもできる。
を示すフローチャートである。図10において、この装
置の動作がスタートすると、まず、各種レジスタをイニ
シャライズする。正面方位レジスタ5aには0度のデー
タが入力される。すなわち、ヘッドホン3の正面(仮想
的壁面8)は真北に向いているとされる。そして、仮想
発音位置レジスタ5bにはx,y座標として0,0がセ
ットされる。すなわち、ヘッドホン3の正面に仮想発音
位置があるように設定される。こののち設定ボタン7の
オン(s2)又は入力装置6の操作(s3)があるまで
待機する。設定ボタン7がオンされると(s2)、その
ときの方位センサ4の方位(フォトセンサ25の検出
値)を読み取り(s4)、その方位を正面方位レジスタ
5aに記憶する(s5)。一方、入力装置6が操作され
ると、その操作に応じて仮想発音位置レジスタ5bの
x,y座標を書き換える(s6)。すなわち、入力装置
6が左右に操作されるとその操作に応じてx座標の値を
増減し、入力装置6が上下に操作されるとその操作に応
じてy座標の値を増減する。
この動作は数十ミリ秒に1回の頻度で行われる定位位置
制御動作である。まず、方位センサ4に内蔵されている
3つのフォトセンサ25,26,27の検出値を読み取
る(s11)。そして、この検出値に基づいてヘッドホ
ン3の向き(方位)及び傾きを検出する(s12,s1
3)。このデータと正面方位データ,仮想音源のz0
及びx,y座標に基づいて仮想発音位置に対する方向・
距離を算出する(s14)。この方向・距離に基づいて
各チャンネルに与えるゲイン及びディレイライン11の
タップ位置を決定し(s15)、これらを音像定位部2
に送出する(s16)。
は、算出された方向・距離に基づき所定の演算式を用い
て算出するようにしてもよく、種々の方向・距離に対応
する係数をテーブルとして記憶しておき、その中の適当
なものを読み出すようにしてもよい。この係数テーブル
は複数の距離・方向に対応するFIRフィルタの伝達特
性パラメータを記憶したテーブルに比べてデータ量が極
めて小さいためこのようにしてもメモリ容量は少なくて
すむ。
する。上述の第1の実施例では、センサ付のヘッドホン
を利用し、仮想音像位置を8箇所に設定したが、このよ
うな構成では、安価なシステムを構成することは難し
い。そこで、第2の実施例では、通常のヘッドホンを利
用して、仮想音像位置(仮想スピーカ位置)を4箇所に
設定する場合を説明する。聴取者は正面を向き、ヘッド
ホンの向きはほぼ一定の場合を想定する。
おける仮想スピーカ位置と音源位置VPを表す概念図で
ある。本実施例では、左右前方、左右後方の4箇所に、
仮想スピーカSP1からSP4を配置する。音源位置V
Pの方向は、図に示すように頭部周囲の仮想スピーカS
P1からSP4間のレベル重み付けによって決定され
る。また、音源位置VPと聴取者位置に対して点対称位
置VP’から原音と数〜10数ms遅らせた音を発生さ
せて定位感を強調する。この点対称位置VP’からの音
は、壁面からの反射音を想定しており後述のBPFを介
することにより、反射による減衰がシミュレートされ
る。
期反射音(y)、残響音(z)のレベル差、到着時間の
遅れの大きさによって制御される。例えば、レベル差の
制御は、後述の乗算部に供給されるDSPパラメータの
ゲイン係数によって制御され、初期反射音用のゲイン係
数をaとし、残響音用のゲイン係数をbとすると、音源
位置VPの距離を近くに設定する場合は、直接音のレベ
ルが初期反射音と残響音のレベルの和よりも大きくなる
ようにx>ay+bzの関係が成り立つように制御し、
音源位置VPの距離を遠くに設定する場合は、直接音の
レベルが初期反射音と残響音のレベルの和よりも小さく
なるようにx<ay+bzの関係が成り立つように制御
する。
置の基本構成を表すブロック図である。
3、RAM54、ROM55、CPU56、外部記憶装
置57、通信インターフェイス58、音源回路59、タ
イマ60が接続される。
子(入力手段)62を用いて、後述の物理パラメータ、
プリセットの入力及び選択等をすることができる。操作
子62は、例えば、ロータリーエンコーダ、スライダ、
マウス、キーボード、鍵盤、ジョイスティック、スイッ
チ等、ユーザの入力に応じた信号を出力できるものなら
どのようなものでもよい。また、複数の入力手段が接続
されていてもよい。
され、後述の物理パラメータ、プリセット番号等の各種
情報をディスプレイ63に表示することができる。ディ
スプレイ63は、液晶表示装置(LCD)、発光ダイオ
ード(LED)等で構成されるが、各種情報を表示でき
るものならばどのようなものでもよい。
ンターフェイスを含み、そのインターフェイスを介して
バス51に接続される。外部記憶装置57は、例えば、
フラッシュメモリなどの半導体メモリ、フロッピディス
クドライブ(FDD)、ハードディスクドライブ(HD
D)、光磁気ディスク(MO)ドライブ、CD−ROM
(コンパクトディスク−リードオンリィメモリ)ドライ
ブ、DVD(Digital Versatile Di
sc)ドライブ等である。外部記憶装置57には、ユー
ザが設定するプリセット等を保存することができる。
ファ、各種データ等を記憶するCPU56用のワーキン
グエリアを有する。
テーブル、各種パラメータ及び制御プログラム等を記憶
することができる。この場合、プログラム等を重ねて、
外部記憶装置57に記憶する必要は無い。CPU56
は、ROM55又は、外部記憶装置57に記憶されてい
る制御プログラム等に従い、演算又は制御を行う。
続されており、基本クロック信号、割り込み処理タイミ
ング等をCPU56に指示する。
等に応じて楽音信号を生成し、外部に出力する。本実施
例では、音源回路59は、波形ROM64、波形読出装
置65、DSP(DIGITAL SOUNDFIEL
D PROCESSOR)66及びD/Aコンバータ
(DAC)67で構成される。
により波形ROM64に記憶される音源の各種音色波形
を読み出す。DSP66は、波形読出し装置65が読み
出す波形に残響や定位等の効果を与える。DAC67は
DSP66によって各種効果が付与された波形をデジタ
ル形式からアナログ形式に変化して外部に出力する。な
お、DSP66の機能については後述する。
モリ方式に限らず、FM方式、物理モデル方式、高調波
合成方式、フォルマント合成方式、VCO(Volta
geControlled Oscillator)+
VCF(VoltageControlled Fil
ter)+VCA(Voltage Controll
ed Amplifier)のアナログシンセサイザ方
式等、どのような方式を用いたものであってもよい。
アを用いて構成するものに限らず、DSP(Degit
al Signal Processor)+マイクロ
プログラムを用いて構成してもよいし、CPU+ソフト
ウェアのプログラムで構成するようにしてもよいし、サ
ウンドカードのようなものでもよい。
ることにより複数の発音チャンネルを形成するようにし
てもよいし、複数の音源回路を用い、1つの発音チャン
ネルにつき1つの音源回路で複数の発音チャンネルを構
成するようにしてもよい。
音響機器、コンピュータ等に接続できるものであり、少
なくとも電子楽器と接続できるものである。この場合、
通信インターフェイス58は、MIDIインターフェイ
ス、RS−232C、USB(ユニバーサル・シリアル
・バス)、IEEE1394(アイトリプルイー139
4)等の汎用のインターフェイスを用いて構成する。
ローを示す概念的ブロック図である。
の入力手段62及び外部記憶装置57又はROM55に
よって構成され、パラメータ変換部72に各種の物理パ
ラメータを入力する。
及び再生条件が入力される。これらの情報の入力は、入
力手段62を介してユーザが行うか又はこれらの情報を
予め含むプリセットの中からユーザが選択することによ
り行われる。
空間の種類及び形状、受聴者から見た仮想音源の距離、
及び方向が含まれる。再生条件には、受聴者の個人差、
使用するヘッドホンの特性等が含まれる。
物理パラメータとして、パラメータ変換部72に送られ
る。
CPU56で構成され、入力される物理パラメータをD
SPパラメータに変換する。物理パラメータからDSP
パラメータへの変換はパラメータ変換テーブル73を参
照することにより行われる。パラメータ変換テーブル7
3は、図14の外部記憶装置57、又はROM55に保
存されている。
制御部85で、FIRフィルタ15及びIIRフィルタ
41等を制御するためのフィルタ係数、各種乗算部を制
御するためのゲイン係数、ディレイ11bの遅延時間等
を含み、また、残響付加部86を制御するための各種パ
ラメータを含む。
ット(音源回路)59に送られる。音源ユニット59で
は、入力されるDSPパラメータに基づき各種効果を波
形データに付与して楽音信号として出力する。
タから変換されるだけでなく、定位パターンや、残響パ
ターン、又はそれらの組合せのパターンごとに、予めプ
リセットとして記憶されていてもよい。
すブロック図である。DSP66は、乗算部84、定位
制御部85、残響付加部86、乗算部87、加算部8
8、加算部90、マスターイコライザ89を有する。
た複数チャンネル(xNch)の波形データはDSP6
6に入力されると、それぞれ、直接音、初期反射音、残
響音用の波形データとして3系統に分けられる。複数チ
ャンネル(xNch)の直接音用の波形データはそのま
まDryInとして、定位制御部85に入力される。
用の波形データは、乗算部84aで受聴者と仮想発音位
置の設定距離により定められるゲイン係数に従い乗算さ
れた後、ERInとして、定位制御部85に入力され
る。複数チャンネル(xNch)の残響音用の波形デー
タは、乗算部84bで受聴者と仮想発音位置の設定距離
により定められるゲイン係数に従い乗算された後、加算
部90で加算されてRevInとして、残響付加部86
に入力される。
述するように、仮想発音位置を制御する。
に、残響を付加して、仮想音源の距離感を創出すると共
に、仮想空間をシミュレートし、残響音として出力す
る。残響音のパターンは、空間タイプによって残響時
間、直接音及び初期反射音のレベル差、周波数帯域毎の
減衰量が異なる。これら、残響時間、直接音及び初期反
射音とのレベル差、周波数帯域毎の減衰量は、DSPパ
ラメータとして入力される。これらDSPパラメータ
は、ユーザが入力する物理パラメータを変換して生成す
るが、空間タイプ(ホール、スタジオなど)ごとにプリ
セットとして記憶しておいてもよい。
力される波形データは、それぞれ乗算部87a、87b
で乗算され、加算部88で加算合成されて1つの波形デ
ータとして、マスターイコライザ89に入力される。マ
スターイコライザ89では、入力される波形データの周
波数特性を補正して、図14のDAC67に出力する。
85の機能を示すブロック図である。定位制御部85
は、複数チャンネル(xNch)のそれぞれに対応する
複数の前段部85aと、1つの後段部85bで構成され
る。複数の入力を有する事、チャンネル数が少ない事等
を除き基本的な構成は図3に示す第1の実施例とほぼ同
様のものであり、同様の機能を持つ構成には同様の参照
番号を附す。
入力DryInと初期反射音用の波形データの入力ER
Inを有している。DryInから入力された波形デー
タは、左右前方及び左右後方の4chに分けられた後、
それぞれ乗算部12で乗算され加算部14に入力され
る。乗算部12のゲイン係数は、DSPパラメータとし
て入力される。
ィレイ11bで、DSPパラメータ中の遅延時間に基づ
き直接音から数〜10数ms遅れて初期反射音としてB
PF40に出力される。BPF40は、初期反射音に対
して、反射による減衰を模するために設けられている。
その後初期反射音は、左右前方及び左右後方の4chに
分けられた後、それぞれ乗算部13で乗算され加算部1
4に入力される。乗算部13のゲイン係数は、DSPパ
ラメータとして入力される。
加算合成して後段部85bの加算部19に送る。
L,右耳用フィルタ15Rの2系統を有している。Ch
1のFIRフィルタ15Lは、楽音が図13の左前方か
ら左耳に聞こえてくる場合の響きを頭部音響伝達関数に
よりシミュレートし、Ch1のFIRフィルタ15R
は、楽音が図13の左前方から右耳に聞こえてくる場合
の響きを頭部音響伝達関数によりシミュレートする。同
様にCh2〜Ch4のFIRフィルタ15L,FIRフ
ィルタ15Rはそれぞれ右前方、左右後方から左右両耳
への楽音の伝達を頭部音響伝達関数によりシミュレート
する。
間の方向であった場合、基本方向のうちその仮想発音位
置の方向を囲む2方向となす角度を算出し、その角度に
対応するディレイ11bの遅延時間及びゲイン係数をデ
ィレイ11b及び各チャンネルのゲイン乗算器12,1
3に与える。
から出力された波形データはそれぞれ加算部16で加算
合成される。これら加算合成されたデジタルの楽音信号
(波形データ)はそれぞれ左右2チャンネルを有するI
IRフィルタ41に入力される。
ジタルの楽音信号の特性を補正するためのフィルタであ
り、図3の第1の実施例のものと同様のものである。I
IRフィルタ41によって補正された波形データは、図
16の乗算部87aに出力される。
RTF再現をインパルス応答畳み込み用FIRフィルタ
とその後段に配置される周波数特性補正用IIRフィル
タによって実現するので、受聴者の嗜好や定位特性の差
異に応じてデジタルの楽音信号を補正することができ
る。
に応じたHRTFをプリセットすることが出来るので、
HRTF再現の設定を容易に行うことが出来る。
セットパターンとして記憶することが出来、ユーザはそ
れを選択することが出来る。
り、FIRフィルタ及びIIRフィルタを各発音定位位
置に関係なく係数固定にすることが出来、図17に示す
ように前段部85aを入力ライン数分備えることにより
小規模な構成で多数の個別音源の定位を実現することが
出来る。
いて受聴する場合を説明したが、図3または図17のI
IRフィルタ41の後段にクロストークキャンセラを配
置することにより、スピーカでの受聴にも適用できる。
対応するコンピュータプログラム等をインストールした
市販のコンピュータ等によって、実施させるようにして
もよい。
ュータプログラム等を、CD−ROMやフロッピー(登
録商標)ディスク等の、コンピュータが読み込むことが
出来る記憶媒体に記憶させた状態で、ユーザに提供して
もよい。
が、LAN、インターネット、電話回線等の通信ネット
ワークに接続されている場合には、通信ネットワークを
介して、コンピュータプログラムや各種データ等を汎用
コンピュータ又はコンピュータ等に提供してもよい。
だけに限らず、さまざまな装置をMIDIや各種ネット
ワーク等の通信手段を用いて接続したものであってもよ
い。また、音源装置や自動演奏装置等を内蔵した電子楽
器などで実施例を実施することもできる。ここでいう電
子楽器とは、鍵盤楽器タイプ、弦楽器タイプ、管楽器タ
イプ、打楽器タイプ等の電子楽器である。
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組合せ等が可能なことは当業者に自明
であろう。
ンによる受聴において十分な臨場感を得ることが出来
る。
選択調整することが出来る。またそれを記憶することも
出来る。
位感の調整をすることが出来る。またそれを記憶するこ
とも出来る。
ブロック図である。
ある。
る。
である。
ある。
である。
図である。
位角、傾斜(仰角)との関係を示す図である。
ローチャートである。
ローチャートである。
変化を表すグラフである。
ピーカ位置と音源位置VPを表す概念図である。
を表すブロック図である。
念的ブロック図である。
である。
表すブロック図である。
…係数発生部、5a…正面方位レジスタ、5b…仮想発
音位置レジスタ、6…入力装置、7…設定ボタン、11
…ディレイライン、12,13…ゲイン乗算器、15
L,15R…FIRフィルタ、16L,16R…加算
器、20…コンパス、21…球状磁石体、21a…板状
磁石、21b…重り、21c…空間、23…液体、2
5,26,27…フォトセンサ、28…ケース、30…
LED、32…フォトダイオード、35…フィルタ 、
40…BPF、41…IIRフィルタ、51…バス、5
2…検出回路、53…表示回路、54…RAM、55…
ROM、56…CPU、57…外部記憶装置、58…通
信インターフェイス、59…音源回路、60…タイマ、
62…入力手段、63…ディスプレイ、64…波形RO
M、65…波形読出装置、66…DSP、67…DA
C、71…パラメータ入力部、72…パラメータ変換
部、73…パラメータテーブル、84、87…乗算部、
85…定位制御部、86…残響付加部、88…加算部、
89…マスターイコライザ
Claims (5)
- 【請求項1】 楽音信号を入力する入力手段と、 複数の方向から両耳への楽音伝達特性で前記楽音信号を
畳み込み演算して出力する複数の第1のフィルタ手段
と、 前記第1のフィルタ手段が出力する楽音信号の周波数特
性を補正する第2のフィルタ手段とを有する音像定位装
置。 - 【請求項2】 さらに、前記楽音信号に初期反射音を付
加する初期反射音付加手段と、 前記初期反射音を減衰させるための第3のフィルタ手段
を有する請求項1記載の音像定位装置。 - 【請求項3】 さらに、前記楽音信号に残響音を付加す
る残響音付加手段を有する請求項1又は2記載の音像定
位装置。 - 【請求項4】 楽音信号を入力する入力工程と、 複数の方向から両耳への楽音伝達特性で前記楽音信号を
畳み込み演算して出力する複数の第1のフィルタ工程
と、 前記第1のフィルタ手段が出力する楽音信号の周波数特
性を補正する第2のフィルタ工程とを有する音像定位方
法。 - 【請求項5】 楽音信号を入力する入力手順と、 複数の方向から両耳への楽音伝達特性で前記楽音信号を
畳み込み演算して出力する複数の第1のフィルタ手順
と、 前記第1のフィルタ手段が出力する楽音信号の周波数特
性を補正する第2のフィルタ手順とを有する音像定位手
順をコンピュータに実行させるためのプログラムを記録
した媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000220876A JP3624805B2 (ja) | 2000-07-21 | 2000-07-21 | 音像定位装置 |
| US09/908,906 US20020164037A1 (en) | 2000-07-21 | 2001-07-19 | Sound image localization apparatus and method |
| GB0117793A GB2370480B (en) | 2000-07-21 | 2001-07-20 | Sound image localization apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000220876A JP3624805B2 (ja) | 2000-07-21 | 2000-07-21 | 音像定位装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004258918A Division JP2005051801A (ja) | 2004-09-06 | 2004-09-06 | 音像定位装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002044796A true JP2002044796A (ja) | 2002-02-08 |
| JP3624805B2 JP3624805B2 (ja) | 2005-03-02 |
Family
ID=18715403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000220876A Expired - Fee Related JP3624805B2 (ja) | 2000-07-21 | 2000-07-21 | 音像定位装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20020164037A1 (ja) |
| JP (1) | JP3624805B2 (ja) |
| GB (1) | GB2370480B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100584606B1 (ko) | 2004-09-13 | 2006-05-30 | 삼성전자주식회사 | 이어폰의 주파수 특성 보정 장치 및 방법 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1886780A (zh) * | 2003-12-15 | 2006-12-27 | 法国电信 | 声音合成和空间化方法 |
| JP4198045B2 (ja) * | 2003-12-25 | 2008-12-17 | オリンパス株式会社 | 被検体内位置検出システム |
| JP2006074572A (ja) * | 2004-09-03 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 情報端末 |
| US8015590B2 (en) * | 2004-12-30 | 2011-09-06 | Mondo Systems, Inc. | Integrated multimedia signal processing system using centralized processing of signals |
| US8880205B2 (en) * | 2004-12-30 | 2014-11-04 | Mondo Systems, Inc. | Integrated multimedia signal processing system using centralized processing of signals |
| US7653447B2 (en) | 2004-12-30 | 2010-01-26 | Mondo Systems, Inc. | Integrated audio video signal processing system using centralized processing of signals |
| EP2258120B1 (en) | 2008-03-07 | 2019-08-07 | Sennheiser Electronic GmbH & Co. KG | Methods and devices for reproducing surround audio signals via headphones |
| JP4735993B2 (ja) * | 2008-08-26 | 2011-07-27 | ソニー株式会社 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
| KR20120053587A (ko) * | 2010-11-18 | 2012-05-29 | 삼성전자주식회사 | 디스플레이장치 및 그 사운드 제어방법 |
| US9736609B2 (en) | 2013-02-07 | 2017-08-15 | Qualcomm Incorporated | Determining renderers for spherical harmonic coefficients |
| EP2830327A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio processor for orientation-dependent processing |
| CN105307086A (zh) * | 2015-11-18 | 2016-02-03 | 王宋伟 | 一种双声道耳机模拟环绕立体声的方法及系统 |
| CN105578355B (zh) * | 2015-12-23 | 2019-02-26 | 惠州Tcl移动通信有限公司 | 一种增强虚拟现实眼镜音效的方法及系统 |
| US10440462B1 (en) * | 2018-03-27 | 2019-10-08 | Cheng Uei Precision Industry Co., Ltd. | Earphone assembly and sound channel control method applied therein |
| KR102845979B1 (ko) | 2019-05-20 | 2025-08-12 | 삼성전자주식회사 | 지향성 음향 센서 및 이를 이용한 음원 거리 측정방법 |
| JP7342451B2 (ja) * | 2019-06-27 | 2023-09-12 | ヤマハ株式会社 | 音声処理装置および音声処理方法 |
| US10735885B1 (en) * | 2019-10-11 | 2020-08-04 | Bose Corporation | Managing image audio sources in a virtual acoustic environment |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4817149A (en) * | 1987-01-22 | 1989-03-28 | American Natural Sound Company | Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization |
| US5440639A (en) * | 1992-10-14 | 1995-08-08 | Yamaha Corporation | Sound localization control apparatus |
| US5583936A (en) * | 1993-05-17 | 1996-12-10 | Macrovision Corporation | Video copy protection process enhancement to introduce horizontal and vertical picture distortions |
| JP3578783B2 (ja) * | 1993-09-24 | 2004-10-20 | ヤマハ株式会社 | 電子楽器の音像定位装置 |
| EP1816895B1 (en) * | 1995-09-08 | 2011-10-12 | Fujitsu Limited | Three-dimensional acoustic processor which uses linear predictive coefficients |
| US6091894A (en) * | 1995-12-15 | 2000-07-18 | Kabushiki Kaisha Kawai Gakki Seisakusho | Virtual sound source positioning apparatus |
| JP3750198B2 (ja) * | 1996-07-01 | 2006-03-01 | ヤマハ株式会社 | 音像定位装置 |
| AUPO099696A0 (en) * | 1996-07-12 | 1996-08-08 | Lake Dsp Pty Limited | Methods and apparatus for processing spatialised audio |
| TW379512B (en) * | 1997-06-30 | 2000-01-11 | Matsushita Electric Industrial Co Ltd | Apparatus for localization of a sound image |
| US6504934B1 (en) * | 1998-01-23 | 2003-01-07 | Onkyo Corporation | Apparatus and method for localizing sound image |
-
2000
- 2000-07-21 JP JP2000220876A patent/JP3624805B2/ja not_active Expired - Fee Related
-
2001
- 2001-07-19 US US09/908,906 patent/US20020164037A1/en not_active Abandoned
- 2001-07-20 GB GB0117793A patent/GB2370480B/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100584606B1 (ko) | 2004-09-13 | 2006-05-30 | 삼성전자주식회사 | 이어폰의 주파수 특성 보정 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2370480B (en) | 2002-12-11 |
| US20020164037A1 (en) | 2002-11-07 |
| GB2370480A (en) | 2002-06-26 |
| GB0117793D0 (en) | 2001-09-12 |
| JP3624805B2 (ja) | 2005-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3624805B2 (ja) | 音像定位装置 | |
| US5440639A (en) | Sound localization control apparatus | |
| US5995631A (en) | Sound image localization apparatus, stereophonic sound image enhancement apparatus, and sound image control system | |
| JP5298649B2 (ja) | 音楽装置 | |
| WO2002052896A2 (en) | Multi-channel audio converter | |
| US20050013442A1 (en) | Sound field control system and sound field control method | |
| JP2886402B2 (ja) | ステレオ信号発生装置 | |
| WO2018100232A1 (en) | Distributed audio capture and mixing | |
| JPH06315200A (ja) | 音像定位処理における距離感制御方法 | |
| JP2005051801A (ja) | 音像定位装置 | |
| JP3750198B2 (ja) | 音像定位装置 | |
| JP2002084599A (ja) | 音響再生方法および音響再生装置 | |
| JP3271532B2 (ja) | 電気弦楽器の音像定位装置 | |
| JP2725444B2 (ja) | 音響効果装置 | |
| JPH0444500A (ja) | ヘッドホンシステム | |
| JP3177714B2 (ja) | 多次元パンニング効果装置 | |
| KR0186028B1 (ko) | 전자악기의 공간효과음장치 | |
| JP2002140072A (ja) | 電子楽器および音量制御方法 | |
| JP2737436B2 (ja) | 電子楽器 | |
| JP3090416B2 (ja) | 音像制御装置及び音像制御方法 | |
| JPH10290500A (ja) | ステレオシステム | |
| JP3197077B2 (ja) | 定位音像生成装置 | |
| JPH10126898A (ja) | 音像定位装置及び音像定位方法 | |
| WO1998030064A1 (en) | Processing audio signals | |
| JPH06130942A (ja) | 音響効果装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040906 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041122 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |