JP2012049708A - Echo route characteristic estimation device, echo route characteristic estimation program and echo canceller - Google Patents
Echo route characteristic estimation device, echo route characteristic estimation program and echo canceller Download PDFInfo
- Publication number
- JP2012049708A JP2012049708A JP2010188600A JP2010188600A JP2012049708A JP 2012049708 A JP2012049708 A JP 2012049708A JP 2010188600 A JP2010188600 A JP 2010188600A JP 2010188600 A JP2010188600 A JP 2010188600A JP 2012049708 A JP2012049708 A JP 2012049708A
- Authority
- JP
- Japan
- Prior art keywords
- echo
- signal
- echo path
- signal component
- impulse response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003044 adaptive effect Effects 0.000 claims abstract description 82
- 230000004044 response Effects 0.000 claims abstract description 75
- 238000005070 sampling Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
Description
本発明は、エコー経路特性推定装置、エコー経路特性推定プログラム及びエコーキャンセラーに関し、例えば、1又は複数箇所のエコー発生点(エコー発生源)を有し得るエコー経路特性を推定するエコー経路特性推定装置、エコー経路特性推定プログラム及びエコーキャンセラーに適用し得るものである。 The present invention relates to an echo path characteristic estimation apparatus, an echo path characteristic estimation program, and an echo canceller, and for example, an echo path characteristic estimation apparatus that estimates an echo path characteristic that can have one or a plurality of echo generation points (echo generation sources). The present invention can be applied to an echo path characteristic estimation program and an echo canceller.
音声通信で使用されるエコーキャンセラーは、大別すると、音響エコーキャンセラーと回線エコーキャンセラーとの2種類がある。 Echo cancellers used in voice communication are roughly classified into two types: acoustic echo cancellers and line echo cancellers.
音響エコーキャンセラーは、例えば、スピーカとマイクを使用するハンズフリーホンや会議装置において、通信相手から受信した音声信号がスピーカから音波として放射され、当該音波がマイクに回り込みエコー信号となって通信相手に戻り、通話品質が劣化することを抑制する装置である。 An acoustic echo canceller, for example, in a hands-free phone or conference device that uses a speaker and a microphone, a sound signal received from the communication partner is emitted as a sound wave from the speaker, and the sound wave wraps around the microphone and becomes an echo signal to the communication partner. It is a device that suppresses the deterioration of call quality by returning.
回線エコーキャンセラーは、例えば、アナログ電話機を収容する加入者交換機や宅内VoIP(Voice Over Internet Protocol)ルータには、2線/4線変換器と呼ばれるアナログ部品が搭載されており、当該アナログ部品におけるインピーダンス不整合により通信相手から受信した音声信号の一部が当該通信相手への送信信号にエコー信号として漏れ込み、通話品質が劣化することを抑制する装置である。 A line echo canceller, for example, is equipped with an analog component called a 2-wire / 4-wire converter in a subscriber exchange or a VoIP (Voice Over Internet Protocol) router that accommodates an analog telephone, and the impedance of the analog component This is a device that suppresses deterioration of call quality due to leakage of a part of a voice signal received from a communication partner due to inconsistency as an echo signal into a transmission signal to the communication partner.
音声通信系のエコーキャンセラーはいずれのタイプも、データ通信系のエコーキャンセラーのように通信開始前に白色雑音を使用してエコー経路を前もって同定することが不可能である。従って、音声通信系のエコーキャンセラーは、音声通信中に音声信号を試験信号と見なしてエコー経路を同定しなければならない。この点に技術的な困難がある。換言すると、この点に工夫の余地がある。 Any type of echo canceller of the voice communication system cannot identify the echo path in advance using white noise before the start of communication like the echo canceller of the data communication system. Therefore, the echo canceller of the voice communication system must identify the echo path by regarding the voice signal as a test signal during voice communication. There are technical difficulties in this regard. In other words, there is room for improvement in this respect.
音響エコーの場合、音波がスピーカからマイクまで回り込むエコー経路は1つとは限らない。通常は、複数のエコー経路が同時に存在する。例えば、音波がスピーカからマイクまで空間を介して直接回り込む経路と、室内の壁/床/天井/設置物等を1回以上反射して回り込む経路とがある。このような場合、音響エコーキャンセラーはこれら多重反射のことを考慮して設計する必要がある。 In the case of acoustic echo, the number of echo paths through which sound waves travel from the speaker to the microphone is not limited to one. Usually, multiple echo paths exist simultaneously. For example, there are a path in which a sound wave directly goes from a speaker to a microphone through a space, and a path in which a sound wave is reflected at an interior wall / floor / ceiling / installed object one or more times. In such a case, the acoustic echo canceller needs to be designed in consideration of these multiple reflections.
回線エコーにおいても、エコー経路は1つとは限らず、多重反射が存在し得る。例えば、企業網では公専公(公衆網‐専用網‐公衆網)接続のような多段リンクを介して音声通信する場合がある。このような状況下では、アナログ回線が複数箇所に現れるのに伴い、2線/4線変換器も複数箇所に現れるので、複数のエコー経路が同時に存在することになる。このような場合、回線エコーキャンセラーはこれら多重反射のことを考慮して設計する必要がある。 Also in the line echo, the number of echo paths is not limited to one, and multiple reflections may exist. For example, in a corporate network, voice communication may be performed via a multistage link such as a public-private network (public network-private network-public network) connection. Under such circumstances, as the analog line appears at a plurality of locations, the 2-wire / 4-wire converter also appears at a plurality of locations, so that a plurality of echo paths exist simultaneously. In such a case, the line echo canceller needs to be designed in consideration of these multiple reflections.
通信相手からの受信信号のエコーを生成するエコー経路を線形回路と見なすとき、一般的には、エコー経路は、有限インパルス応答(FIR:Finit Impulse Response)フィルタH(z)で表現される。 When an echo path for generating an echo of a received signal from a communication partner is regarded as a linear circuit, the echo path is generally expressed by a finite impulse response (FIR) filter H (z).
ここで、H(z)はz関数である。N次FIRフィルタと想定すると、H(z)は、式(1−1)と表現できる。なお、h(k)はタップ係数である。
式(1−2)に示すように、式(1−1)のタップ係数h(k)は、H(z)を逆z変換して得られる時間領域のインパルス応答h(n)でもある。ここで、式(1−2)において、jは純虚数であり、Cはz平面の原点を内包する周回積分路である。 As shown in Expression (1-2), the tap coefficient h (k) in Expression (1-1) is also a time-domain impulse response h (n) obtained by inverse z-transforming H (z). Here, in Expression (1-2), j is a pure imaginary number, and C is a circular integration path including the origin of the z plane.
一般に、エコー経路は、周波数領域では式(1−1)の伝達関数H(z)で表現され、時間領域では式(1−2)のインパルス応答h(n)で表現されている。 In general, the echo path is expressed by the transfer function H (z) of Expression (1-1) in the frequency domain, and is expressed by the impulse response h (n) of Expression (1-2) in the time domain.
次に、エコー経路のインパルス応答h(n)の具体例を図4に示す。 Next, a specific example of the impulse response h (n) of the echo path is shown in FIG.
ここで、時間を標本数(整数)に換算し、
Ntotal:h(n)全体の長さ
Nd:エコーキャンセラーとエコー経路の間の往復伝搬遅延時間
Nhyb:エコー経路の中に存在し、エコーを発生させる素子、例えば2線/4線変換器のインパルス応答時間
とする。ここで、Ntotal=Nd+Nhybである。
Here, time is converted into the number of samples (integer),
N total : Total length of h (n) N d : Round-trip propagation delay time between the echo canceller and the echo path N hyb : An element that exists in the echo path and generates an echo, for example, 2-wire / 4-line conversion The impulse response time of the instrument. Here, N total = N d + N hyb .
図4に示すエコー経路のインパルス応答は、エコーの発生が1カ所の場合である。例えば、企業網などでは公専公接続などの多段リンク構成により、アナログ回線が複数箇所に存在する場合、エコー経路も複数箇所に存在し、話者には多重反射されたエコーが戻ることとなる。 The impulse response of the echo path shown in FIG. 4 is the case where the echo is generated at one place. For example, in a corporate network or the like, due to a multi-stage link configuration such as public-private public connection, when analog lines exist in a plurality of locations, echo paths also exist in a plurality of locations, and echoes that have been multi-reflected return to the speaker.
図5は、例えばエコー経路が2カ所に存在するときのインパルス応答の例を示す。 FIG. 5 shows an example of an impulse response when there are, for example, two echo paths.
図5において、
Ntotal:h(n)全体の長さ
Nd1:エコーキャンセラーと第1のエコー経路の間の往復伝搬遅延時間
Nhyb1:第1のエコー経路の中に存在し、エコーを発生させる素子、例えば2線/4線変換器のインパルス応答時間
Nd2=エコーキャンセラーと第2のエコー経路の間の往復伝搬遅延時間
Nhyb2=第2のエコー経路の中に存在し、エコーを発生させる素子、例えば2線/4線変換器のインパルス応答時間
とする。ここで、Ntotal=Nd2+Nhyb2である。
In FIG.
N total : total length of h (n) N d1 : round-trip propagation delay time between the echo canceller and the first echo path N hyb1 : an element that exists in the first echo path and generates an echo, for example 2-wire / 4-wire transducer impulse response time N d2 = round-trip propagation delay time between echo canceller and second echo path N hyb2 = element present in the second echo path and generating an echo, eg The impulse response time of the 2-wire / 4-wire converter. Here, N total = N d2 + N hyb2 .
図6は、エコーキャンセラー周辺のブロック構成図である。図6において、入力信号x(n)は、図6に図示しない通信相手から受信した信号である。入力信号x(n)は、エコーキャンセラー51とエコー経路52とに供給される。
FIG. 6 is a block configuration diagram around the echo canceller. In FIG. 6, an input signal x (n) is a signal received from a communication partner not shown in FIG. The input signal x (n) is supplied to the
入力信号x(n)は、エコー経路52を介して、エコー信号y(n)としてエコーキャンセラー51に戻ってくる。それと同時に、入力信号x(n)は、エコーキャンセラー51において、エコー信号y(n)の推定値である推定エコー信号y^(n)に変換される。減算器53において、エコー信号y(n)から推定エコー信号y^(n)が減算され、残留エコー信号e(n)が算出される。
The input signal x (n) returns to the
通常、減算器53は、エコーキャンセラー51に内蔵されるものであるが、図6では、説明の便宜のために、減算器53をエコーキャンセラー51から分離して描いている。この残留エコー信号e(n)は、通信相手に送出されると同時に、エコーキャンセラー51にフィードバックされる。
Normally, the
以上は、エコーキャンセラーの適応制御の概要である。エコーキャンセラーの適応制御を一般的に採用されている学習同定法アルゴリズムで表記すると以下のようになる。
ここで、Nはエコーキャンセラーの適応フィルタの次数、hn^(k)は時刻nにおけるエコーキャンセラーの適応フィルタのタップ係数である。また、μは定数であり、μの値域は0<μ≦1である。 Here, N is the order of the adaptive filter of the echo canceller, and h n ^ (k) is the tap coefficient of the adaptive filter of the echo canceller at time n. Further, μ is a constant, and the range of μ is 0 <μ ≦ 1.
なお、エコー経路のインパルス応答h(k)とするとき、hn^(k),0≦k≦Nは、h(k),0≦k≦Nの推定値である。つまり、エコーキャンセラーは、エコー信号y(n)を推定する以前に、タップ係数h(k)を推定しているのである。 When the impulse response h (k) of the echo path is assumed, h n ^ (k), 0 ≦ k ≦ N is an estimated value of h (k), 0 ≦ k ≦ N. That is, the echo canceller estimates the tap coefficient h (k) before estimating the echo signal y (n).
h(n)=0,n>Mとする場合、エコーキャンセラーは、N=Mなるとき、最良の性能を発揮することが知られている。 When h (n) = 0, n> M, the echo canceller is known to exhibit the best performance when N = M.
これを実現するには、装置が、通信中に、エコー経路のインパルス応答時間(フィルタ次数)を測定し、エコーキャンセラーの適応フィルタの次数を、そのインパルス応答時間の値に動的変更できるようにすることが良い。 To achieve this, the device can measure the impulse response time (filter order) of the echo path during communication and dynamically change the order of the echo canceller's adaptive filter to its impulse response time value. Good to do.
従来、エコーキャンセラーの適応フィルタ次数の動的変更は実施しないが、エコー経路のインパルス応答時間の最大値を前もって想定しておき、エコーキャンセラーの適応フィルタの次数をその最大値に設定する技術がある。 Conventionally, the adaptive filter order of the echo canceller is not dynamically changed, but there is a technique that assumes the maximum value of the impulse response time of the echo path in advance and sets the order of the adaptive filter of the echo canceller to the maximum value. .
特許文献1及び特許文献2の記載技術は、エコー経路のインパルス応答時間の最大値を前もって想定しておき、適応フィルタが収束するまで待つ。そして、適応フィルタ収束後に、適応フィルタの係数の分布を解析し、適応制御区間を定める方法である。特許文献1及び特許文献2の記載技術によれば、例えば、図5の例示のように反射が2回発生するエコー経路の場合、エコーキャンセラーの適応フィルタ収束後には、適応フィルタの係数はほぼこのインパルス応答と同様の分布を示すことになる。よって、適応フィルタの全長はNtotalに相当する値に設定し直すことができる。適応制御区間はNhyb1とNhyb2に相当する区間に限定すれば、最小のリソースで最大の効果を得ることが可能となる。
The techniques described in
特許文献3及び特許文献4の記載技術は、まず、エコーキャンセラーの適応フィルタの次数を適当な値に設定しておく。特許文献3及び特許文献4の記載技術は、後述するエコーリターンロス改善量(ERLE:Echo Return Loss Enhancement)が前もって定めた閾値を下回るときは、適応フィルタ次数が足りないと判断し、適宜、適応フィルタの次数を増加させるというものである。それ以降、ERLEが閾値以上となるまで、適応フィルタの次数を増加させる処理を繰り返す。 In the techniques described in Patent Document 3 and Patent Document 4, first, the order of the adaptive filter of the echo canceller is set to an appropriate value. The techniques described in Patent Literature 3 and Patent Literature 4 determine that the adaptive filter order is insufficient when an echo return loss improvement amount (ERLE: Echo Return Loss Enhancement), which will be described later, falls below a predetermined threshold. The order of the filter is increased. Thereafter, the process of increasing the order of the adaptive filter is repeated until ERLE becomes equal to or greater than the threshold.
ここで、ERLEは、図6に現れる信号を使用して、ERLE=<y2(n)>/<e2(n)>と定義される量である。ここで、<>は統計的平均を表している。 Here, ERLE is a quantity defined as ERLE = <y 2 (n)> / <e 2 (n)> using the signal appearing in FIG. Here, <> represents a statistical average.
しかしながら、上述した、従来技術、特許文献1〜特許文献4の記載技術には以下のような問題が生じ得る。
However, the following problems may occur in the above-described prior art and the techniques described in
上述した、エコーキャンセラーの適応フィルタの次数の動的変更を行わず、適応フィルタの次数を最大値に設定する従来技術は、エコー経路のインパルス応答長が想定される最大値であることを前提とする。エコーキャンセラーの適応フィルタの次数も、その最大値に対応させている。そのため、実際のエコー経路のインパルス応答長が当該最大値よりも小さい場合、実際のエコー経路のインパルス応答長と最大値との差分に相当するエコーキャンセラーのリソース、処理、ならびに、電力が無駄に消費される。さらに、適応フィルタの収束時間もこの差分に相当する分だけ長くなる。これは、特にエコーキャンセラーを1つの装置内に多チャンネル実装するとき、装置の原価/大きさ/消費電力の上昇を招くことになり得る。 The conventional technique for setting the order of the adaptive filter to the maximum value without dynamically changing the order of the adaptive filter of the echo canceller described above is based on the assumption that the impulse response length of the echo path is the maximum value assumed. To do. The order of the adaptive filter of the echo canceller is also made to correspond to the maximum value. Therefore, if the impulse response length of the actual echo path is smaller than the maximum value, the resources, processing, and power of the echo canceller corresponding to the difference between the impulse response length of the actual echo path and the maximum value are wasted. Is done. Furthermore, the convergence time of the adaptive filter is increased by an amount corresponding to this difference. This can lead to an increase in cost / size / power consumption of the device, particularly when the echo canceller is mounted in a multi-channel in one device.
特許文献1及び特許文献2の記載技術は、エコーキャンセラーの適応フィルタ収束後では、最適なリソース配分を実現している。しかし、適応フィルタの収束が完了するまでの間では、特許文献1及び特許文献2の記載技術は、上述した従来技術と同等のリソースを必要とする。これは、特にエコーキャンセラーを多チャンネル実装する装置の場合、一斉発呼数の能力を低下させることになる。一斉発呼数とは、同時に通信開始可能な通話数のことであり、音声通信装置の能力を表す重要な指標の一つとなっている。
The technologies described in
特許文献3及び特許文献4の記載技術の課題は、エコーキャンセラーのERLEの値に応じて、適応フィルタの次数を変更することにある。対向話者からの音声のみが存在する、いわゆるシングルトーク状態ではなんら問題はない。しかし、両端の話者の音声が同時に存在する、いわゆるダブルトーク状態のとき、ERLEは低下する。このとき、エコーキャンセラーは、適応フィルタの次数が不足してERLEが低下しているのか、又はダブルトーク状態なのでERLEが低下しているのか、厳密な区別が困難である。さらに、ダブルトーク状態であるが、ERLEの低下と誤って判断して適応制御を継続した場合、適応フィルタの係数が発散する。これは、エコー消去が不能となるだけでなく、最悪の場合、雑音が発生する可能性もある。 The problem of the technology described in Patent Literature 3 and Patent Literature 4 is to change the order of the adaptive filter in accordance with the value of ERLE of the echo canceller. There is no problem in the so-called single talk state in which only the voice from the opposite speaker exists. However, ERLE decreases when the voices of the speakers at both ends exist at the same time, that is, in a so-called double talk state. At this time, it is difficult for the echo canceller to strictly discriminate whether the order of the adaptive filter is insufficient and ERLE is lowered or whether ERLE is lowered because of the double talk state. Furthermore, although it is in the double talk state, when it is erroneously determined that the ERLE has decreased and the adaptive control is continued, the coefficient of the adaptive filter diverges. This not only makes echo cancellation impossible, but in the worst case, noise may be generated.
そのため、エコー発生点が1個の場合又は複数個ある多重反射の場合でも、適応フィルタを有するエコーキャンセラーの適応制御の効率化を図るために、エコー経路の特性を推定することができるエコー経路特性推定装置、エコー経路特性推定プログラム及びエコーキャンセラーが求められる。 Therefore, even in the case of one echo generation point or multiple reflections, the echo path characteristic can be estimated to improve the efficiency of adaptive control of the echo canceller having the adaptive filter. An estimation device, an echo path characteristic estimation program, and an echo canceller are required.
かかる課題を解決するために、第1の本発明のエコー経路特性推定装置は、(1)受信した第1の入力信号について、所定帯域の第1の信号成分を抽出し、その第1の信号成分を所定の低域にシフトする第1の周波数シフト手段と、(2)第1の周波数シフト手段からの第1の信号成分のダウンサンプリングを行う第1のダウンサンプリング手段と、(3)エコー経路を経由した受信した第2の入力信号について、所定帯域の第2の信号成分を抽出し、その第2の信号成分を所定の低域にシフトする第2の周波数シフト手段と、(4)第2の周波数シフト手段からの第2の信号成分のダウンサンプリングを行う第2のダウンサンプリング手段と、(5)第1のダウンサンプリング手段及び第2のダウンサンプリング手段によりダウンサンプリングされた第1の信号成分及び第2の信号成分に基づいて、上記エコー経路のインパルス応答を推定するインパルス応答推定手段と、(6)インパルス応答推定手段により推定されたエコー経路のインパルス応答波形に基づき、エコー経路のエコー経路特性を推定するエコー経路特性推定手段とを備えることを特徴とする。 In order to solve such a problem, the echo path characteristic estimation apparatus according to the first aspect of the present invention (1) extracts a first signal component of a predetermined band from a received first input signal, and the first signal First frequency shifting means for shifting the component to a predetermined low frequency; (2) first downsampling means for downsampling the first signal component from the first frequency shifting means; and (3) echo. A second frequency shift means for extracting a second signal component of a predetermined band from the second input signal received via the path and shifting the second signal component to a predetermined low frequency; (4) Second down-sampling means for down-sampling the second signal component from the second frequency shift means; and (5) down-sampling by the first down-sampling means and the second down-sampling means. And (6) an impulse response waveform of the echo path estimated by the impulse response estimation means, based on the first signal component and the second signal component that have been shifted. And an echo path characteristic estimating means for estimating an echo path characteristic of the echo path.
第2の本発明のエコー経路特性推定プログラムは、コンピュータを、(1)受信した第1の入力信号について、所定帯域の第1の信号成分を抽出し、その第1の信号成分を所定の低域にシフトする第1の周波数シフト手段、(2)第1の周波数シフト手段からの上記第1の信号成分のダウンサンプリングを行う第1のダウンサンプリング手段、(3)エコー経路を経由した受信した第2の入力信号について、所定帯域の第2の信号成分を抽出し、その第2の信号成分を所定の低域にシフトする第2の周波数シフト手段、(4)第2の周波数シフト手段からの第2の信号成分のダウンサンプリングを行う第2のダウンサンプリング手段、(5)第1のダウンサンプリング手段及び第2のダウンサンプリング手段によりダウンサンプリングされた第1の信号成分及び第2の信号成分に基づいて、エコー経路のインパルス応答を推定するインパルス応答推定手段、(6)インパルス応答推定手段により推定されたエコー経路のインパルス応答波形に基づき、エコー経路のエコー経路特性を推定するエコー経路特性推定手段として機能させることを特徴とする。 The echo path characteristic estimation program according to the second aspect of the present invention is a computer that extracts (1) a first signal component of a predetermined band from a received first input signal, and the first signal component is reduced to a predetermined low level. First frequency shifting means for shifting to a frequency range, (2) first downsampling means for downsampling the first signal component from the first frequency shifting means, and (3) received via an echo path A second frequency shift means for extracting a second signal component of a predetermined band for the second input signal and shifting the second signal component to a predetermined low frequency; (4) from the second frequency shift means Second down-sampling means for down-sampling the second signal component, (5) down-sampled by the first down-sampling means and the second down-sampling means (6) an impulse response estimating means for estimating an impulse response of the echo path based on the signal component of 1 and the second signal component, and (6) an echo response of the echo path based on the impulse response waveform of the echo path estimated by the impulse response estimating means. It is made to function as an echo path characteristic estimation means for estimating the echo path characteristic.
第3の本発明のエコーキャンセラーは、適応フィルタにより疑似エコーを生成して、第1の入力信号から第2の入力信号を減算してエコー成分を消去するエコーキャンセラーにおいて、第1の本発明のエコー経路特性推定装置を備えることを特徴とする。 The echo canceller of the third aspect of the present invention is an echo canceller that generates a pseudo echo by an adaptive filter and subtracts the second input signal from the first input signal to eliminate the echo component. An echo path characteristic estimation device is provided.
本発明によれば、エコー発生点が1個の場合又は複数個ある多重反射の場合でも、適応フィルタを有するエコーキャンセラーの適応制御の効率化を図るために、エコー経路の特性を推定することができる。 According to the present invention, it is possible to estimate the characteristics of an echo path in order to improve the efficiency of adaptive control of an echo canceller having an adaptive filter even in the case of one echo generation point or multiple reflections. it can.
(A)実施形態
以下では、本発明のエコー経路特性推定装置、エコー経路特性推定プログラム及びエコーキャンセラーの実施形態を、図面を参照しながら説明する。
(A) Embodiment Hereinafter, embodiments of an echo path characteristic estimation apparatus, an echo path characteristic estimation program, and an echo canceller according to the present invention will be described with reference to the drawings.
本発明は、連続値系であるアナログ信号のエコーという物理現象に係るものである。しかし、今日ではアナログ信号処理よりもコスト及びパフォーマンスに圧倒的に優れるディジタル信号処理が普及している。本発明の多重反射推定器及び方法もディジタル信号処理による実現を想定する。 The present invention relates to a physical phenomenon called echo of an analog signal which is a continuous value system. Today, however, digital signal processing, which is far superior in cost and performance to analog signal processing, has become widespread. The multiple reflection estimator and method of the present invention is also assumed to be implemented by digital signal processing.
以下の実施形態の説明では、アナログ信号の現象や処理であったとしても、離散値系で説明していることを断っておく。実際、ディジタル信号処理で実現されるエコーキャンセラーからしてみると、外部の世界は離散値系にしか見えないので、この処置は妥当であろう。 In the following description of the embodiment, even if it is a phenomenon or processing of an analog signal, it should be noted that it is described in a discrete value system. In fact, from the viewpoint of an echo canceller realized by digital signal processing, the outside world can be seen only as a discrete value system.
(A−1)実施形態の構成
図1は、この実施形態の多重反射推定器の内部構成及びその周辺の構成を示す構成図である。
(A-1) Configuration of Embodiment FIG. 1 is a configuration diagram showing the internal configuration of the multiple reflection estimator of this embodiment and the configuration around it.
図1において、エコーキャンセラー51とエコー経路52との間に、多重反射推定器1が配置される場合を例示する。なお、多重反射推定器1は、エコーキャンセラー51の前段に位置していれば、エコーキャンセラー51に内蔵されるようにしてもよい。
In FIG. 1, the case where the
多重反射推定器1は、入力信号x(n)とエコー信号y(n)とに基づいて、エコー経路52における1又は複数のエコー反射点(エコー発生点)を推定するエコー経路特性推定装置である。また、多重反射推定器1は、推定した各エコー反射点までの推定エコー経路情報coe_infoをエコーキャンセラー51に与える。これにより、エコーキャンセラー51は、多重反射推定器1からの推定エコー経路情報coe_infoに基づき各エコー反射点の区間を特定でき、適切な適応制御を行うことができる。
The
エコーキャンセラー51は、エコー経路52を経由して回り込んできたエコー信号y(n)を消去するものである。エコーキャンセラー51は、図示しない適応フィルタ及び減算器を有している。エコーキャンセラー51は、対向話者から受信した入力信号(x)に基づきエコー信号y(n)を推定した推定エコー信号y^(n)を生成する。エコーキャンセラー51は、エコー信号y(n)から推定エコー信号y^(n)を減算して、残留エコー信号e(n)を算出する。さらに、エコーキャンセラー51は、多重反射推定器1から推定エコー経路情報coe_infoを受け取り、その推定エコー経路情報coe_infoに基づき、適応フィルタによる適応制御を行う。
The
エコー経路52は、1又は複数のエコー発生点を内包しているエコー経路である。入力信号x(n)は、図示しない対向話者から受信した信号である。入力信号x(n)は、エコー経路52を経由することで、各エコー発生点で反射する。反射したエコー信号y(n)は、多重反射推定器1及びエコーキャンセラー51に供給される。
The
図1において、多重反射推定器1は、帯域通過濾波器(BPF)11、乗算器(MPY)12、低域濾波器(LPF)13、間引器(DCM)14、帯域通過濾波器(BPF)11、乗算器(MPY)22、低域濾波器(LPF)23、間引器(DCM)24、正弦波発生器(SGEN)31、シングルトーク検出器(SGL)32、適応ディジタルフィルタ(ADF)33、減算器(SUB)34を有する。
In FIG. 1, a
帯域通過濾波器(BPF)11は、入力したエコー信号y(n)から所定の帯域周波数成分のみを抽出するものである。帯域通過濾波器(BPF)11は、抽出した帯域周波数成分を出力信号y1(n)として乗算器(MPY)12に供給する。 The band pass filter (BPF) 11 extracts only a predetermined band frequency component from the input echo signal y (n). The band pass filter (BPF) 11 supplies the extracted band frequency component to the multiplier (MPY) 12 as an output signal y 1 (n).
乗算器(MPY)12は、出力信号y1(n)と正弦波発生器(SGEN)31からの正弦波s(n)との積を算出するものである。乗算器(MPY)12は、算出した信号を出力信号y2(n)として低域濾波器(LPF)13に供給する。 The multiplier (MPY) 12 calculates the product of the output signal y 1 (n) and the sine wave s (n) from the sine wave generator (SGEN) 31. The multiplier (MPY) 12 supplies the calculated signal as an output signal y 2 (n) to the low-pass filter (LPF) 13.
低域濾波器(LPF)13は、乗算器(MPY)12から受け取った出力信号y2(n)から所定の低周波数成分のみを抽出するものである。低域濾波器(LPF)13は、抽出した低周波数成分を出力信号y3(n)として間引器(DCM)14に供給する。 The low pass filter (LPF) 13 extracts only a predetermined low frequency component from the output signal y 2 (n) received from the multiplier (MPY) 12. The low-pass filter (LPF) 13 supplies the extracted low-frequency component to the decimation device (DCM) 14 as the output signal y 3 (n).
間引器(DCM)14は、低域濾波器(LPF)13からの出力信号y3(n)を所定の間隔で間引くものである。また、間引器(DCM)14は、間引いた後の信号を出力信号y4(r)として減算器(SUB)34に与えるものである。 The decimation device (DCM) 14 decimates the output signal y 3 (n) from the low-pass filter (LPF) 13 at a predetermined interval. The decimation device (DCM) 14 gives the signal after decimation to the subtracter (SUB) 34 as an output signal y 4 (r).
帯域通過濾波器(BPF)21は、対向話者から受信した入力信号x(n)から所定の帯域周波数成分のみを抽出するものである。帯域通過濾波器(BPF)21は、抽出した帯域周波数成分を出力信号x1(n)として乗算器(MPY)22に供給する。 The band pass filter (BPF) 21 extracts only a predetermined band frequency component from the input signal x (n) received from the opposite speaker. The band pass filter (BPF) 21 supplies the extracted band frequency component to the multiplier (MPY) 22 as an output signal x 1 (n).
乗算器(MPY)22は、出力信号x1(n)と正弦波発生器(SGEN)31からの正弦波s(n)との積を算出するものである。乗算器(MPY)22は、算出した信号を出力信号x2(n)として低域濾波器(LPF)23に供給する。 The multiplier (MPY) 22 calculates the product of the output signal x 1 (n) and the sine wave s (n) from the sine wave generator (SGEN) 31. The multiplier (MPY) 22 supplies the calculated signal to the low-pass filter (LPF) 23 as the output signal x 2 (n).
低域濾波器(LPF)23は、乗算器(MPY)22から受け取った出力信号x2(n)から所定の低周波数成分のみを抽出するものである。低域濾波器(LPF)23は、抽出した低周波数成分を出力信号x3(n)として間引器(DCM)24に供給する。 The low pass filter (LPF) 23 extracts only a predetermined low frequency component from the output signal x 2 (n) received from the multiplier (MPY) 22. The low-pass filter (LPF) 23 supplies the extracted low-frequency component to the decimation device (DCM) 24 as the output signal x 3 (n).
間引器(DCM)24は、低域濾波器(LPF)23からの出力信号x3(n)を所定の間隔で間引くものである。また、間引器(DCM)24は、間引いた後の信号を出力信号x4(r)として適応ディジタルフィルタ(ADF)33に与えるものである。 The decimation device (DCM) 24 decimates the output signal x 3 (n) from the low-pass filter (LPF) 23 at a predetermined interval. The decimation unit (DCM) 24 gives the signal after decimation to the adaptive digital filter (ADF) 33 as the output signal x 4 (r).
減算器(SUB)34は、間引器(DCM)14からの出力信号y4(r)から、適応ディジタルフィルタ(ADF)33からの推定信号y4^(r)を減算した推定誤差信号e4(r)を算出するものである。減算器(SUB)34は、推定誤差信号e4(r)を適応ディジタルフィルタ(ADF)33に与える。 The subtracter (SUB) 34 subtracts the estimated signal y 4 ^ (r) from the adaptive digital filter (ADF) 33 from the output signal y 4 (r) output from the decimation unit (DCM) 14. 4 (r) is calculated. The subtracter (SUB) 34 provides the estimated error signal e 4 (r) to the adaptive digital filter (ADF) 33.
正弦波発生器(SGEN)31は、単一周波数の正弦波信号s(n)を発生させて、乗算器(MPY)12及び乗算器(MPY)22に正弦波信号s(n)を与えるものである。 The sine wave generator (SGEN) 31 generates a sine wave signal s (n) having a single frequency and supplies the sine wave signal s (n) to the multiplier (MPY) 12 and the multiplier (MPY) 22. It is.
シングルトーク検出器(SGL)32は、対向話者の入力信号x(n)とエコー信号y(n)とを入力し、入力信号x(n)とエコー信号y(n)とに基づき、対向話者のみが話中であることを示すシングルトークを検出するものである。シングルトーク検出器(SGL)32は、シングルトークの検出結果を係数更新イネーブル信号update_enとして、適応ディジタルフィルタ(ADF)33に与えるものである。 The single talk detector (SGL) 32 receives the input signal x (n) and the echo signal y (n) of the opposite speaker, and based on the input signal x (n) and the echo signal y (n) This is to detect a single talk indicating that only the speaker is busy. The single talk detector (SGL) 32 gives the detection result of the single talk to the adaptive digital filter (ADF) 33 as a coefficient update enable signal update_en.
適応ディジタルフィルタ(ADF)33は、エコー経路のインパルス応答を推定するものである。適応ディジタルフィルタ(ADF)33は、エコーキャンセラー51が有する適応フィルタと同様の機能をもつものである。
The adaptive digital filter (ADF) 33 estimates the impulse response of the echo path. The adaptive digital filter (ADF) 33 has the same function as the adaptive filter that the
適応ディジタルフィルタ(ADF)33は、間引器(DCM)24から出力信号x4(r)を入力し、また減算器(SUB)34から推定誤差信号e4(r)を入力し、DCM出力信号y4(r)の推定信号y4^(r)を出力するものである。 The adaptive digital filter (ADF) 33 receives the output signal x 4 (r) from the decimation unit (DCM) 24 and receives the estimated error signal e 4 (r) from the subtracter (SUB) 34 to output the DCM. and it outputs an estimated signal y 4 ^ (r) of the signal y 4 (r).
また、適応ディジタルフィルタ(ADF)33は、係数更新イネーブル信号update_enに基づき、シングルトークの場合にのみインパルス応答の推定を行う。 The adaptive digital filter (ADF) 33 estimates the impulse response only in the case of single talk based on the coefficient update enable signal update_en.
さらに、適応ディジタルフィルタ(ADF)33は、分析部331を有する。分析部331は、適応ディジタルフィルタ(ADF)33によるエコー経路のインパルス応答に基づいて、1又は複数のエコー反射点までの往復伝搬遅延時間、インパルス応答時間を分析する。そして、適応ディジタルフィルタ(ADF)33は、分析部331の分析結果であるフィルタ係数に関する情報を、推定エコー経路情報coe_infoとして、エコーキャンセラー51に与えるものである。
Further, the adaptive digital filter (ADF) 33 has an
(A−2)実施形態の動作
(A−2−1)実施形態の骨子
この実施形態の具体的な動作を説明する前に、実施形態の骨子を記載する。
(A-2) Operation of Embodiment (A-2-1) Outline of Embodiment Before describing the specific operation of this embodiment, the outline of the embodiment will be described.
エコー経路52のインパルス応答長を決定するに際し、正確なインパルス応答を測定する必要はない。その理由は、一般的に、エコー経路52内に存在する複数のエコー発生要素(例えば、2線/4線変換器や壁など)自身のインパルス応答は、図4に示すように、最初急激に立ち上がり、その後は減衰振動を示す。かつ、このエコー発生要素自身のインパルス応答時間のパラツキ(図5のNhyb1とNhyb2に相当)は、多重反射が存在するエコー経路の往復伝搬遅延時間(図5のNd1とNd2に相当)のバラツキに比べると非常に小さいものである。
In determining the impulse response length of the
例えば、2線/4線変換器のインパルス応答時間は3msから12msの間に分布することが知られている。これに対して、往復伝搬遅延時間は音声通信に使用されているレイア2プロトコル、網構成により、数ms〜数百msのバラツキがある。よって、個々のエコー発生要素の最初のピークが、エコー経路全体においてどのように分布しているか測定できれば、エコー経路全体のインパルス応答長を定めることが可能となるのである。 For example, it is known that the impulse response time of a 2-wire / 4-wire converter is distributed between 3 ms and 12 ms. On the other hand, the round-trip propagation delay time varies from several ms to several hundred ms depending on the layer 2 protocol and network configuration used for voice communication. Therefore, if it is possible to measure how the initial peaks of the individual echo generating elements are distributed in the entire echo path, the impulse response length of the entire echo path can be determined.
そこで、この実施形態の多重反射推定器1は、エコーキャンセラー51に入力される対向話者信号x(n)とエコー信号y(n)のそれぞれから一部の帯域成分を抽出する。そして、多重反射推定器1は、その抽出した各帯域成分を低域側に周波数シフトする。次に、多重反射推定器1は、これら音声信号の標本を間引く。そして、多重反射推定器1は、エコーキャンセラー51と同様な適応フィルタでエコー経路52のインパルス応答長を推定する。
Therefore, the
多重反射推定器1による推定結果は、音声通信で使用されているエコーキャンセラー51に与えられる。これにより、エコーキャンセラー51の適応フィルタの次数を実際のエコー経路のインパルス応答と整合を図ることが可能となる。
The estimation result by the
(A−2−2)動作説明
以下では、実施形態の多重反射推定器1における処理について、図面を参照しながら説明する。
(A-2-2) Operation Description Hereinafter, processing in the
(a)ダウンサンプリング
まず、対向話者からの入力信号x(n)が、エコーキャンセラー51及び多重反射推定器1に入力される。
(A) Downsampling First, an input signal x (n) from the opposite speaker is input to the
多重反射推定器1では、入力信号x(n)の帯域成分の一部がダウンサンプリングされる。以下では、入力信号x(n)の帯域成分の一部をダウンサンプリングする方法について説明する。
In the
多重反射推定器1において、入力信号x(n)が帯域通過濾波器(BPF)21に入力される。入力信号x(n)が帯域通過濾波器(BPF)21を通過すると、入力信号x(n)の帯域成分の一部である出力信号x1(n)が出力される。
In the
図2(A)は、帯域通過濾波器(BPF)21による入力信号x(n)の帯域成分の一部の抽出を説明する説明図である。図2(A)では、音声信号の標本に係るナイキスト周波数を4kHzとする場合を例示する。また、帯域通過濾波器(BPF)21の通過帯域は、350Hzから800Hzまでとする。 FIG. 2A is an explanatory diagram for explaining extraction of a part of the band components of the input signal x (n) by the band-pass filter (BPF) 21. FIG. 2A illustrates a case where the Nyquist frequency related to the sample of the audio signal is 4 kHz. The pass band of the band pass filter (BPF) 21 is 350 Hz to 800 Hz.
図2(A)において、点線は入力信号x(n)を示し、実線は帯域通過濾波器(BPF)21を通過する出力信号x1(n)を示す。図2(A)に示すように、入力信号x(n)が帯域通過濾波器(BPF)21を通過することで、350Hzから800Hzまでの450Hz帯域の入力信号の帯域成分が抽出される。 In FIG. 2A, the dotted line indicates the input signal x (n), and the solid line indicates the output signal x 1 (n) passing through the band-pass filter (BPF) 21. As shown in FIG. 2A, when the input signal x (n) passes through the band pass filter (BPF) 21, the band component of the input signal in the 450 Hz band from 350 Hz to 800 Hz is extracted.
次に、x1(n)と単一周波数fcの正弦波信号s(n)とが乗算器(MPY)22に入力される。 Next, x 1 (n) and a sine wave signal s (n) having a single frequency fc are input to the multiplier (MPY) 22.
ここで、正弦波発生器(SGEN)31は、例えば、所望の周波数に対応する極を単位円上に有する2次無限インパルス応答フィルタで実現してもよいし、若しくは、参照正弦波信号をメモリテーブルに前もって作成しておき、所望の周波数の正弦波を得るために当該テーブルを適切に間引きながら読み出すことで実現してもよい。 Here, the sine wave generator (SGEN) 31 may be realized by, for example, a second-order infinite impulse response filter having a pole corresponding to a desired frequency on a unit circle, or stores a reference sine wave signal as a memory. It may be realized by preparing in advance in a table and reading the table while thinning it out appropriately in order to obtain a sine wave having a desired frequency.
乗算器(MPY)22では、x1(n)とs(n)との積が求められる。ここで、三角公式より式(2−1)の関係より、周波数fcを鏡像の中心軸として、上下2カ所に周波数シフトされた信号x2(n)が得られる.
sinαsinβ={cos(α−β)−cos(α+β)}/2 …(2−1)
図2(B)は、周波数シフトを説明する説明図である。乗算器(MPY)22は、x1(n)と単一周波数fc(=300Hz)の正弦波信号s(n)との積を、式(2−1)により演算する。これにより、350HZ〜800Hzの成分(x1(n))は、fc=300Hzを鏡像の中心軸として、周波数650Hz〜1100Hzの帯域と周波数−50Hz〜−500Hzの帯域とにシフトする。このとき、標本化定理から、負の周波数にシフトされた成分は、直流を鏡像の中心軸として正側に折り返される。そのため、周波数−50Hz〜−500Hz帯域にシフトされた成分は、周波数f=0を中心軸として、周波数50Hz〜500Hz帯域に折り返される。周波数シフトした周波数650Hz〜1100Hzの成分及び周波数50Hz〜−500Hzの成分がx2(n)である。
The multiplier (MPY) 22 calculates the product of x 1 (n) and s (n). Here, according to the relationship of the formula (2-1) from the triangular formula, a signal x 2 (n) frequency-shifted in two places above and below is obtained with the frequency fc as the central axis of the mirror image.
sin α sin β = {cos (α−β) −cos (α + β)} / 2 (2-1)
FIG. 2B is an explanatory diagram for explaining the frequency shift. The multiplier (MPY) 22 calculates the product of x 1 (n) and a sine wave signal s (n) having a single frequency fc (= 300 Hz) according to Expression (2-1). As a result, the component (x 1 (n)) of 350 Hz to 800 Hz is shifted to a frequency band of 650 Hz to 1100 Hz and a frequency band of −50 Hz to −500 Hz with fc = 300 Hz as the central axis of the mirror image. At this time, from the sampling theorem, the component shifted to a negative frequency is folded back to the positive side with DC as the central axis of the mirror image. Therefore, the component shifted to the frequency −50 Hz to −500 Hz band is folded back to the
次に、乗算器(MPY)22により周波数シフトされたx2(n)は、低域濾波器(LPF)23に入力される。x2(n)が低域濾波器(LPF)23を通過すると、所定の低域の信号成分であるx3(n)が出力される。 Next, x 2 (n) frequency-shifted by the multiplier (MPY) 22 is input to the low-pass filter (LPF) 23. When x 2 (n) passes through the low-pass filter (LPF) 23, x 3 (n), which is a predetermined low-frequency signal component, is output.
図2(C)は、低域信号成分の抽出を説明する説明図である。図2(C)では、低域濾波器(LPF)23の通過帯域が500Hz以下とする。乗算器(MPY)22からのx2(n)が低域濾波器(LPF)23を通過すると、500Hz以下である50Hz〜500Hzの成分がx3(n)として抽出される。 FIG. 2C is an explanatory diagram for explaining extraction of a low-frequency signal component. In FIG. 2C, the pass band of the low-pass filter (LPF) 23 is 500 Hz or less. When x 2 (n) from the multiplier (MPY) 22 passes through the low-pass filter (LPF) 23, a component of 50 Hz to 500 Hz that is 500 Hz or less is extracted as x 3 (n).
次に、x3(n)が間引器(DCM)24に入力する。間引器(DCM)24は、低域濾波器(LPF)23からのx3(n)の標本を一定間隔で間引く。つまり、間引器(DCM)24は、離散時間の指標をnからrに変換する。その結果、標本が間引かれた信号x4(r)が適応ディジタルフィルタ(ADF)33出力される。 Next, x 3 (n) is input to the decimation unit (DCM) 24. The decimation unit (DCM) 24 decimates x 3 (n) samples from the low-pass filter (LPF) 23 at regular intervals. That is, the decimation device (DCM) 24 converts the discrete time index from n to r. As a result, the signal x 4 (r) from which the samples are thinned is output to the adaptive digital filter (ADF) 33.
ここで、間引器(DCM)24が行う間引きの間引き率について説明する。間引き率は、間引く前の信号のナイキスト周波数と低域濾波器LPF24の通過帯域との比率で決定される。 Here, the thinning-out rate performed by the thinning-out device (DCM) 24 will be described. The thinning rate is determined by the ratio between the Nyquist frequency of the signal before thinning and the passband of the low pass filter LPF24.
例えば、図2の例では、ナイキスト周波数が4kHzであり、低域濾波器(LPF)23の低域通過帯域が500Hzである。そこで、この場合、間引き率は1/8(=500/4000)である。 For example, in the example of FIG. 2, the Nyquist frequency is 4 kHz, and the low-pass band of the low-pass filter (LPF) 23 is 500 Hz. Therefore, in this case, the thinning rate is 1/8 (= 500/4000).
上記のようにして、多重反射推定器1は、入力信号x(n)について、帯域成分の一部を低域側に周波数シフトし、さらに信号の標本を間引くことで、ダウンサンプリングを行う。
As described above, the
また、多重反射推定器1は、エコー信号y(n)についても、ダウンサンプリングを行う。エコー信号y(n)に対するダウンサンプリングの方法は、入力信号x(n)についてのダウンサンプリングの方法と同一の方法である。ここでは、エコー信号y(n)についてのダウンサンプリングを簡単に説明する。
The
なお、帯域通過濾波器(BPF)11及び低域濾波器(LPF)13の通過帯域、間引器(DCM)14の間引き率は、入力信号x(n)に対する帯域通過濾波器(BPF)21及び低域濾波器(LPF)13の通過帯域、間引器(DCM)24の間引き率と同じである。 Note that the pass band of the band pass filter (BPF) 11 and the low pass filter (LPF) 13 and the decimation rate of the decimation unit (DCM) 14 are the band pass filter (BPF) 21 for the input signal x (n). The pass band of the low-pass filter (LPF) 13 is the same as the decimation rate of the decimation unit (DCM) 24.
まず、エコー信号y(n)が帯域通過濾波器(BPF)11に入力される。エコー信号y(n)が帯域通過濾波器(BPF)11を通過すると、エコー信号y(n)の帯域成分の一部である出力信号y1(n)が出力される。 First, the echo signal y (n) is input to the band pass filter (BPF) 11. When the echo signal y (n) passes through the band pass filter (BPF) 11, an output signal y 1 (n) that is a part of the band component of the echo signal y (n) is output.
次に、y1(n)と単一周波数fcの正弦波信号s(n)とが乗算器(MPY)12に入力される。乗算器(MPY)12では、式(2−1)により、y1(n)とs(n)との積がなされ、低域側への周波数シフトが行われる。 Next, y 1 (n) and a sine wave signal s (n) having a single frequency fc are input to the multiplier (MPY) 12. In the multiplier (MPY) 12, the product of y 1 (n) and s (n) is made by the equation (2-1), and the frequency shift to the low frequency side is performed.
乗算器(MPY)12により低域側への周波数シフトされたy2(n)は、低域濾波器(LPF)13に入力される。y2(n)が低域濾波器(LPF)13を通過すると、所定の低域の信号成分であるy3(n)が出力される。 Y 2 (n) frequency-shifted to the low frequency side by the multiplier (MPY) 12 is input to the low frequency filter (LPF) 13. When y 2 (n) passes through the low-pass filter (LPF) 13, y 3 (n) that is a predetermined low-frequency signal component is output.
そして、y3(n)が間引器(DCM)14に入力する。間引器(DCM)14は、低域濾波器(LPF)13からのy3(n)の標本を一定間隔で間引く。その結果、信号y4(r)が間引器4から減算器(SUB)34に出力される。 Then, y 3 (n) is input to the decimation unit (DCM) 14. The decimation unit (DCM) 14 decimates samples of y 3 (n) from the low-pass filter (LPF) 13 at regular intervals. As a result, the signal y 4 (r) is output from the decimation unit 4 to the subtracter (SUB) 34.
(b)適応ディジタルフィルタ(ADF)33及び減算器(SUB)34の処理
次に、適応ディジタルフィルタ(ADF)33及び減算器(SUB)34の動作について説明する。
(B) Processing of Adaptive Digital Filter (ADF) 33 and Subtracter (SUB) 34 Next, operations of the adaptive digital filter (ADF) 33 and the subtracter (SUB) 34 will be described.
適応ディジタルフィルタ(ADF)33及び減算器(SUB)34に入力される信号は、間引かれている。そのため、間引き率と等しく、適応ディジタルフィルタ(ADF)33及び減算器(SUB)34の信号処理速度は低減されている。 Signals input to the adaptive digital filter (ADF) 33 and the subtracter (SUB) 34 are thinned out. For this reason, the signal processing speed of the adaptive digital filter (ADF) 33 and the subtracter (SUB) 34 is reduced, which is equal to the thinning rate.
適応ディジタルフィルタ(ADF)33は、対向話者からの入力信号x(n)の帯域の一部を間引いた信号x4(r)を入力信号とし、適応ディジタルフィルタ(ADF)33が推定したエコー経路52のインパルス応答をh4^(k)とするとき、式(2−2)に従って畳み込み演算を行い、エコー信号y(n)の帯域の一部を間引いた信号y4(r)の推定値y4^(r)を作成する。
また、減算器(SUB)34は、間引器(DCM)14からy4(r)を入力し、また適応ディジタルフィルタ(ADF)33により推定されたy4(r)の推定値y4^(r)を入力する。 Also, the subtracter (SUB) 34 receives y 4 (r) from the decimation unit (DCM) 14 and estimates y 4 (r) estimated by the adaptive digital filter (ADF) 33 y 4 ^ Enter (r).
減算器(SUB)34は、式(2−3)に従って、y4(r)とy4^(r)との推定誤差信号e4(r)を算出する。また、減算器(SUB)34は、算出した推定誤差信号e4(r)を適応ディジタルフィルタ(ADF)33に与える。
適応ディジタルフィルタ(ADF)33は、減算器(SUB)34から受け取った推定誤差信号e4(r)、間引器(DCM)24からのx4(n)を用いて、フィルタ係数の更新を行う。 The adaptive digital filter (ADF) 33 uses the estimated error signal e 4 (r) received from the subtractor (SUB) 34 and x 4 (n) from the decimation unit (DCM) 24 to update the filter coefficient. Do.
ここで、適応ディジタルフィルタ(ADF)33のフィルタ係数更新アルゴリズムは、特に限定されるものではなく、種々のアルゴリズムを広く適用することができる。この実施形態では、一般的によく利用される学習同定法を適用する場合を例示する。 Here, the filter coefficient update algorithm of the adaptive digital filter (ADF) 33 is not particularly limited, and various algorithms can be widely applied. In this embodiment, the case where the learning identification method generally used well is applied is illustrated.
適応ディジタルフィルタ(ADF)33は、式(2−4)に示す学習同定法の演算式に従って、時刻r+1でのフィルタ係数h4,r+1^(k)を算出する。
ここで、μ4は定数であり、その値域は0<μ4≦1である。 Here, μ 4 is a constant, and its range is 0 <μ 4 ≦ 1.
なお、適応ディジタルフィルタ(ADF)33は、フィルタ係数の更新処理について、シングルトーク検出器(SGL)からの係数更新イネーブル信号update_enがアクティブであるときのみ実施する。 The adaptive digital filter (ADF) 33 performs filter coefficient update processing only when the coefficient update enable signal update_en from the single talk detector (SGL) is active.
ここで、シングルトーク検出器(SGL)32によるシングルトーク検出方法は、特に限定されることなく広く適用することができる。例えば、シングルトーク検出器(SGL)は、対向話者の音声信号である入力信号x(n)とエコー信号y(n)とを入力し、両方向の通話状態を監視している。そして、入力信号x(n)のみが存在するとき、すなわち片方向通話状態にあるとき、シングルトーク検出器(SGL)は、係数更新イネーブル信号update_enがアクティブになるようにする。 Here, the single talk detection method by the single talk detector (SGL) 32 is not particularly limited and can be widely applied. For example, a single talk detector (SGL) receives an input signal x (n) and an echo signal y (n) which are voice signals of the opposite speaker, and monitors the call state in both directions. Then, when only the input signal x (n) exists, that is, when the one-way speech state is established, the single talk detector (SGL) makes the coefficient update enable signal update_en active.
例えば、シングルトーク検出器(SGL)は、式(2−5)の条件が成立するとき、シングルトークであると判定する。
ここで、<>は統計的平均を表す。 Here, <> represents a statistical average.
適応ディジタルフィルタ(ADF)33の収束は、下式(2−6)で定義するエコーリターンロス改善量(ERLE)が、ある閾値に到達した時点で収束と見なす。
適応ディジタルフィルタ(ADF)33において、分析部331は、出力信号y4^(r)が収束した時点で、推定されたh4^(k)を分析する。
In the adaptive digital filter (ADF) 33, the
例えば、収束後に、h4^(k)の分布が図5に示すようになったとする。図5は、エコー経路52におけるエコー反射点が2個の場合のインパルス応答である。この場合、適応ディジタルフィルタ(ADF)33の分析部331は、第1反射点までの往復伝搬遅延時間Nd1及びインパルス応答時間Nhyb1と、第2反射点までの往復伝搬遅延時間Nd2及びインパルス応答時間Nhyb2とを算出する。そして、適応ディジタルフィルタ(ADF)33は、エコーキャンセラー51に対して、第1反射点までの往復伝搬遅延時間Nd1及びインパルス応答時間Nhyb1と、第2反射点までの往復伝搬遅延時間Nd2及びインパルス応答時間Nhyb2を供給する。
For example, assume that the distribution of h 4 ^ (k) becomes as shown in FIG. 5 after convergence. FIG. 5 shows an impulse response when there are two echo reflection points in the
これにより、エコーキャンセラー51は、Nd2区間とNd2−Nd1−Nhyb2区間を遅延素子で構成し、Nhyb1区間とNhyb2区間を適応制御の対象とする。
Thereby, the
なお、エコーキャンセラー51が、ここまで詳細な設定をする能力がないときには、適応ディジタルフィルタ(ADF)33はNtotalのみを引き渡してもよい。
If the
また、適応ディジタルフィルタ(ADF)33は、それぞれの反射点の位置をエコーキャンセラー51に供給すればよいので、第1反射点までの往復伝搬遅延時間Nd1及び第2反射点までの往復伝搬遅延時間Nd2を受け渡し、第1反射点及び第2反射点のインパルス応答時間については所定値(例えば定数)として受け渡すようにしてもよい。
Since the adaptive digital filter (ADF) 33 only has to supply the position of each reflection point to the
(c)動作例
図7は、実施形態の多重反射推定処理の動作条件の一例を示す。図3は、図7の動作条件とする場合のエコー経路の実際のインパルス応答を示す図である。
(C) Operation Example FIG. 7 shows an example of operation conditions of the multiple reflection estimation process of the embodiment. FIG. 3 is a diagram showing an actual impulse response of the echo path when the operating conditions of FIG. 7 are used.
図3(A)は、エコー経路の実際のインパルス応答を示す。図3(B)は、この実施形態の多重反射推定器1によって推定されたインパルス応答を示す。図3(B)は、間引き率が1/8であるから時間分解能は1msである。
FIG. 3A shows the actual impulse response of the echo path. FIG. 3B shows the impulse response estimated by the
図3(A)及び図3(B)を比較すると、図3(B)に示す推定されたインパルス応答波形は、図3(A)に示す実際のインパルス応答に対して、標本を間引いているため、詳細では異なっている。しかし、インパルス応答のピークに関してはその位置をほぼ捉えていることがわかる。つまり、多重反射推定器1は、エコー経路に内包されるエコー反射点の位置を捉えている。
Comparing FIG. 3 (A) and FIG. 3 (B), the estimated impulse response waveform shown in FIG. 3 (B) is thinned out from the actual impulse response shown in FIG. 3 (A). Therefore, the details are different. However, it can be seen that the position of the impulse response peak is almost captured. That is, the
エコーキャンセラー51は、多重反射推定器1から供給された3個のピークの報告から、それらよりも数ms手前から一定区間をそれぞれ適応制御の対象とすることでエコーの消去を可能とする。
The
(A−3)実施形態の効果
以上のように、この実施形態によれば、次のような効果が得られる。
(A-3) Effects of Embodiment As described above, according to this embodiment, the following effects can be obtained.
(A−3−1)音声周波数分布の有効利用
例えばアナログ電話網で使用される音声信号帯域は300Hz〜3400Hzに帯域制限されている。従って、単に低域通過濾波器で音声信号の低域を抽出してエコー経路のインパルス応答を推定しても、300Hz以下の信号が存在しない。そのため、エコー信号のインパルス応答の推定値の精度及び推定速度は劣化する。しかしながら、この実施形態は、音声信号の任意の帯域(例えば音声エネルギーが集中している周波数帯域)を抽出し、その周波数帯域を低域側に周波数シフトし、ダウンサンプリングすることで、前記アナログ電話網での音声信号についてもエコー経路のインパルス応答の推定ができる。
(A-3-1) Effective use of voice frequency distribution For example, a voice signal band used in an analog telephone network is limited to 300 Hz to 3400 Hz. Therefore, even if the low frequency of the speech signal is simply extracted by the low pass filter and the impulse response of the echo path is estimated, there is no signal of 300 Hz or less. Therefore, the accuracy and estimated speed of the estimated value of the impulse response of the echo signal are deteriorated. However, this embodiment extracts an arbitrary band of a voice signal (for example, a frequency band where voice energy is concentrated), shifts the frequency band to a low frequency side, and down-samples the analog telephone. The impulse response of the echo path can also be estimated for the voice signal on the network.
(A−3−2)適応ディジタルフィルタの処理量低減
この実施形態は、対向話者音声信号とそのエコー信号をともにダウンサンプリングしているので、エコー経路のインパルス応答を推定する適応ディジタルフィルタの処理量を低減できる。
(A-3-2) Reduction of processing amount of adaptive digital filter In this embodiment, since both the opposite speaker's voice signal and its echo signal are down-sampled, the adaptive digital filter process for estimating the impulse response of the echo path The amount can be reduced.
(A−3−3)適応ディジタルフィルタの推定速度向上
式(2−4)で例示した適応ディジタルフィルタの係数更新式において、μ4は収束速度と定常誤差を決定する定数である。μ4はゼロに近いほど収束速度は遅くなるが定常誤差は小さくなり、1に近いほど収束速度は早くなるが定常誤差は大きくなる。通常の音声エコーキャンセラーは、このことを考慮して、μ4を1に近い値に設定することはない。これに対して、実施形態の場合は、エコー経路のインパルス応答を正確に測定することを目的ではなく、エコー発生点までの往復伝搬遅延時間がある許容偏差内で求めることができればよい。従って、実施形態の多重反射推定器は、μ4を1に近い値に設定でき、エコー経路のインパルス応答の推定速度を、従来技術よりも高速にすることが可能である。
(A-3-3) Improvement of estimation speed of adaptive digital filter In the coefficient update expression of the adaptive digital filter exemplified in Expression (2-4), μ 4 is a constant that determines the convergence speed and the steady-state error. The mu 4 convergence speed closer to zero is slower but steady-state error becomes smaller and the convergence speed becomes faster when steady-state error is increased close to 1. In consideration of this, a normal speech echo canceller does not set μ 4 to a value close to 1. On the other hand, in the case of the embodiment, the purpose is not to accurately measure the impulse response of the echo path, but it is only required to be able to be obtained within a certain allowable deviation to the echo propagation point. Therefore, the multiple reflection estimator of the embodiment can set μ 4 to a value close to 1, and can make the estimated speed of the impulse response of the echo path faster than the conventional technique.
(A−3−4)音声エコーキャンセラーの経済化
実施形態の適応ディジタルレフィルタが推定したエコー経路に複数内在するエコー発生点までの伝搬遅延時間、ならびに、それぞれのエコー発生点のインパルス応答時間(これは、定数扱いでもよい)をエコーキャンセラーに供給することで、エコーキャンセラーは、エコー経路のインパルス応答に関して、エコー経路の全長と適応制御すべき区間を特定できる。そのため、エコーキャンセラーの処理量、回路実装規模、コスト、電力を抑えることが可能となる。特に、エコーキャンセラーを多チャンネル実装するVoIPゲートウェイ装置の場合、この効果は大きい。
(A-3-4) Economicalization of voice echo canceller Propagation delay time to a plurality of echo occurrence points inherent in the echo path estimated by the adaptive digital refilter according to the embodiment, and impulse response time of each echo occurrence point ( This may be treated as a constant) to the echo canceller, so that the echo canceller can specify the total length of the echo path and the interval to be adaptively controlled with respect to the impulse response of the echo path. Therefore, it is possible to reduce the processing amount, circuit implementation scale, cost, and power of the echo canceller. In particular, this effect is significant in the case of a VoIP gateway device in which an echo canceller is mounted in multiple channels.
(B)他の実施形態
上述した実施形態の多重反射推定器は、例えばアナログ電話の通話回線で発生するエコーを消去する回線エコーキャンセラー、もしくは、スピーカとマイクを使用したハンズフリーホンまたは会議システムで発生するエコーを消去する音響エコーキャンセラーに適用可能である。
(B) Other Embodiments The multi-reflection estimator of the above-described embodiment is, for example, a line echo canceller that cancels echoes generated on an analog telephone communication line, or a hands-free phone or conference system that uses a speaker and a microphone. The present invention can be applied to an acoustic echo canceller that cancels generated echoes.
1…多重反射推定器、11…帯域通過濾波器(BPF)、12…乗算器(MPY)、13…低域濾波器(LPF)、14…間引器(DCM)、21…帯域通過濾波器(BPF)、22…乗算器(MPY)、23…低域濾波器(LPF)、24…間引器(DCM)、31…正弦波発生器(SGEN)、32…シングルトーク検出器(SGL)、33…適応ディジタルフィルタ(ADF)、34…減算器(SUB)。
DESCRIPTION OF
Claims (6)
上記第1の周波数シフト手段からの上記第1の信号成分のダウンサンプリングを行う第1のダウンサンプリング手段と、
エコー経路を経由した受信した第2の入力信号について、所定帯域の第2の信号成分を抽出し、その第2の信号成分を所定の低域にシフトする第2の周波数シフト手段と、
上記第2の周波数シフト手段からの上記第2の信号成分のダウンサンプリングを行う第2のダウンサンプリング手段と、
上記第1のダウンサンプリング手段及び上記第2のダウンサンプリング手段によりダウンサンプリングされた上記第1の信号成分及び上記第2の信号成分に基づいて、上記エコー経路のインパルス応答を推定するインパルス応答推定手段と、
上記インパルス応答推定手段により推定された上記エコー経路のインパルス応答波形に基づき、上記エコー経路のエコー経路特性を推定するエコー経路特性推定手段と
を備えることを特徴とするエコー経路特性推定装置。 A first frequency shift means for extracting a first signal component of a predetermined band from the received first input signal and shifting the first signal component to a predetermined low frequency;
First downsampling means for downsampling the first signal component from the first frequency shift means;
Second frequency shift means for extracting a second signal component of a predetermined band for the received second input signal via the echo path, and shifting the second signal component to a predetermined low band;
Second downsampling means for downsampling the second signal component from the second frequency shift means;
Impulse response estimation means for estimating an impulse response of the echo path based on the first signal component and the second signal component down-sampled by the first down-sampling means and the second down-sampling means. When,
An echo path characteristic estimation device comprising: echo path characteristic estimation means for estimating an echo path characteristic of the echo path based on an impulse response waveform of the echo path estimated by the impulse response estimation means.
上記第1の周波数シフト手段及び上記第2の周波数シフト手段が、上記正弦波信号と、上記第1の信号成分及び上記第2の信号成分との積により、上記第1の信号成分及び上記第2の信号成分を低域に周波数シフトするものであることを特徴とする請求項1又は2に記載のエコー経路特性推定装置。 Comprising sine wave generating means for generating a single frequency sine wave signal;
The first frequency shift unit and the second frequency shift unit are configured to calculate the first signal component and the second frequency component by multiplying the sine wave signal by the first signal component and the second signal component. The echo path characteristic estimation apparatus according to claim 1 or 2, wherein the two signal components are frequency-shifted to a low frequency range.
上記インパルス応答推定手段が、上記シングルトーク検出手段によりシングルトーク状態が検出されたときに、上記エコー経路のインパルス応答を推定するものであることを特徴とする請求項1〜3のいずれかに記載のエコー経路特性推定装置。 A single talk detecting means for monitoring reception of the first input signal and the second input signal and detecting a single talk state;
The impulse response estimation means estimates the impulse response of the echo path when a single talk state is detected by the single talk detection means. Echo path characteristic estimation device.
受信した第1の入力信号について、所定帯域の第1の信号成分を抽出し、その第1の信号成分を所定の低域にシフトする第1の周波数シフト手段、
上記第1の周波数シフト手段からの上記第1の信号成分のダウンサンプリングを行う第1のダウンサンプリング手段、
エコー経路を経由した受信した第2の入力信号について、所定帯域の第2の信号成分を抽出し、その第2の信号成分を所定の低域にシフトする第2の周波数シフト手段、
上記第2の周波数シフト手段からの上記第2の信号成分のダウンサンプリングを行う第2のダウンサンプリング手段、
上記第1のダウンサンプリング手段及び上記第2のダウンサンプリング手段によりダウンサンプリングされた上記第1の信号成分及び上記第2の信号成分に基づいて、上記エコー経路のインパルス応答を推定するインパルス応答推定手段、
上記インパルス応答推定手段により推定された上記エコー経路のインパルス応答波形に基づき、上記エコー経路のエコー経路特性を推定するエコー経路特性推定手段
として機能させることを特徴とするエコー経路特性推定プログラム。 Computer
A first frequency shift means for extracting a first signal component of a predetermined band from the received first input signal and shifting the first signal component to a predetermined low frequency;
First downsampling means for downsampling the first signal component from the first frequency shift means;
A second frequency shift means for extracting a second signal component of a predetermined band for the received second input signal via the echo path and shifting the second signal component to a predetermined low frequency;
Second downsampling means for downsampling the second signal component from the second frequency shift means;
Impulse response estimation means for estimating an impulse response of the echo path based on the first signal component and the second signal component down-sampled by the first down-sampling means and the second down-sampling means. ,
An echo path characteristic estimation program that functions as echo path characteristic estimation means for estimating an echo path characteristic of the echo path based on an impulse response waveform of the echo path estimated by the impulse response estimation means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010188600A JP5561025B2 (en) | 2010-08-25 | 2010-08-25 | Echo path characteristic estimation device, echo path characteristic estimation program, and echo canceller |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010188600A JP5561025B2 (en) | 2010-08-25 | 2010-08-25 | Echo path characteristic estimation device, echo path characteristic estimation program, and echo canceller |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012049708A true JP2012049708A (en) | 2012-03-08 |
| JP5561025B2 JP5561025B2 (en) | 2014-07-30 |
Family
ID=45904106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010188600A Active JP5561025B2 (en) | 2010-08-25 | 2010-08-25 | Echo path characteristic estimation device, echo path characteristic estimation program, and echo canceller |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5561025B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018087855A1 (en) * | 2016-11-10 | 2018-05-17 | 三菱電機株式会社 | Echo canceller device, echo cancellation method, and echo cancellation program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08251085A (en) * | 1995-01-04 | 1996-09-27 | At & T Corp | Subband echo canceler |
| JP2007329971A (en) * | 2001-08-29 | 2007-12-20 | Zarlink Semiconductor Inc | Echo position decision and double talk detection of sub-band in communication system |
| JP2009130832A (en) * | 2007-11-27 | 2009-06-11 | Oki Electric Ind Co Ltd | Propagation delay time estimator, method and program, and echo canceler |
-
2010
- 2010-08-25 JP JP2010188600A patent/JP5561025B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08251085A (en) * | 1995-01-04 | 1996-09-27 | At & T Corp | Subband echo canceler |
| JP2007329971A (en) * | 2001-08-29 | 2007-12-20 | Zarlink Semiconductor Inc | Echo position decision and double talk detection of sub-band in communication system |
| JP2009130832A (en) * | 2007-11-27 | 2009-06-11 | Oki Electric Ind Co Ltd | Propagation delay time estimator, method and program, and echo canceler |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018087855A1 (en) * | 2016-11-10 | 2018-05-17 | 三菱電機株式会社 | Echo canceller device, echo cancellation method, and echo cancellation program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5561025B2 (en) | 2014-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101089481B1 (en) | Double talk detection method based on spectral acoustic characteristics | |
| US8139760B2 (en) | Estimating delay of an echo path in a communication system | |
| CN102025852B (en) | Detection and suppression of returned audio at the near end | |
| US6792107B2 (en) | Double-talk detector suitable for a telephone-enabled PC | |
| EP0878060B1 (en) | A system and method for performing echo cancellation in a communications network employing a mixed mode lms adaptive balance filter | |
| US8750493B2 (en) | Method and system for stereo echo cancellation for VoIP communication systems | |
| US20050286714A1 (en) | Echo canceling apparatus, telephone set using the same, and echo canceling method | |
| JP5086769B2 (en) | Loudspeaker | |
| EP1962436A1 (en) | Electricity echo elimination device and method | |
| JP4155774B2 (en) | Echo suppression system and method | |
| CN1192510C (en) | Method and apparatus for controlling echo on both sides of a connection | |
| JP3607625B2 (en) | Multi-channel echo suppression method, apparatus thereof, program thereof and recording medium thereof | |
| US6049606A (en) | Circuit and method of double talk detection for use in handsfree telephony terminals | |
| US8774260B2 (en) | Delay estimation | |
| KR100827146B1 (en) | Echo cancellation method and device in mobile terminal | |
| Lu et al. | Enhancing echo cancellation via estimation of delay | |
| CN1868136B (en) | echo canceller | |
| US8369511B2 (en) | Robust method of echo suppressor | |
| JP5561025B2 (en) | Echo path characteristic estimation device, echo path characteristic estimation program, and echo canceller | |
| Mohammed | A new adaptive beamformer for optimal acoustic echo and noise cancellation with less computational load | |
| US6751313B2 (en) | Method and apparatus for an improved echo canceller | |
| JP4312227B2 (en) | Echo processing method and apparatus | |
| JP2007503795A (en) | Sparse echo canceller | |
| JP2010118793A (en) | Propagation delay time estimator, program and method, and echo canceler | |
| JP5167871B2 (en) | Propagation delay time estimator, program and method, and echo canceller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140421 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140526 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5561025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |