[go: up one dir, main page]

JP4245288B2 - 音声符号化装置および音声復号化装置 - Google Patents

音声符号化装置および音声復号化装置 Download PDF

Info

Publication number
JP4245288B2
JP4245288B2 JP2001347408A JP2001347408A JP4245288B2 JP 4245288 B2 JP4245288 B2 JP 4245288B2 JP 2001347408 A JP2001347408 A JP 2001347408A JP 2001347408 A JP2001347408 A JP 2001347408A JP 4245288 B2 JP4245288 B2 JP 4245288B2
Authority
JP
Japan
Prior art keywords
inverse
bits
quantizing
subband
codeword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001347408A
Other languages
English (en)
Other versions
JP2003150198A (ja
Inventor
裕 番場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2001347408A priority Critical patent/JP4245288B2/ja
Priority to US10/277,827 priority patent/US7155384B2/en
Priority to CNB021504466A priority patent/CN100440758C/zh
Priority to DE60217612T priority patent/DE60217612T2/de
Priority to EP02025094A priority patent/EP1310943B1/en
Publication of JP2003150198A publication Critical patent/JP2003150198A/ja
Application granted granted Critical
Publication of JP4245288B2 publication Critical patent/JP4245288B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208Subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、サブバンドADPCM(Adaptive Differential Pulse Code Modulation)において用いられる音声符号化装置および音声復号化装置に関する。
【0002】
【従来の技術】
従来、サブバンドADPCMにおいて用いられる音声符号化装置および音声復号化装置としては、ITU−T(International Telecommunication Union Telecommunication sector)標準のG.722に準拠した装置が知られている。
【0003】
図8は、上記G.722に記載されている2分割のサブバンドADPCMにおいて用いられる音声符号化装置300および音声復号化装置400の構成を示すブロック図である。
【0004】
音声符号化装置300は、入力信号の周波数帯域を2分割してサブバンド信号を出力する24タップの分割フィルタバンク310、2分割された各サブバンド信号をADPCMにより量子化するADPCM量子化器320a,320b、およびADPCM量子化器320a,320bにより量子化された符号語を多重してビットストリームを整形するマルチプレクサ330から構成されている。
【0005】
一方、音声復号化装置400は、伝送されたビットストリームをサブバンドごとの符号語を出力するデマルチプレクサ410、デマルチプレクサ410から出力されたサブバンドごとの符号語を逆量子化してサブバンド信号を出力するADPCM逆量子化器420a,420b、およびサブバンド信号を合成フィルタ処理する24タップの合成フィルタバンク430から構成されている。
【0006】
次いで、上記のように構成された音声符号化装置300および音声復号化装置400の動作について説明する。
【0007】
入力信号は分割フィルタバンク310により、周波数帯域が2分割されて2つのサブバンド信号となる。それぞれのサブバンド信号は、対応するADPCM量子化器320a,320bにより、予め決められている量子化ビット数が割り当てられて量子化される。そして、量子化されて得られた符号語は、マルチプレクサ330により多重されて、ビットストリームとなる。
【0008】
一方、音声復号化装置400においては、デマルチプレクサ410により、複数の符号語が多重されているビットストリームがサブバンドごとの符号語に分割される。分割されて得られたサブバンドごとの符号語は、ADPCM逆量子化器420a,420bにより、逆量子化されてサブバンド信号となり、合成フィルタバンク430によって合成されて復号信号となる。
【0009】
【発明が解決しようとする課題】
しかしながら、上記従来の音声符号化装置および音声復号化装置においては、音声符号化装置のADPCM量子化器によって各サブバンド信号に割り当てられる量子化ビット数が固定されているため、特に入力信号のサンプリング周波数が高くなった場合に、ビット割り当てが最適でない場合が発生し、音声復号化装置における復号信号の音質劣化を招くおそれがある。
【0010】
本発明はかかる点に鑑みてなされたものであり、音質の向上を図ることができる音声符号化装置・方法および音声復号化装置・方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
本発明の音声符号化装置は、サブバンドADPCM方式により音声信号の符号化を行う音声符号化装置であって、前記音声信号を複数の周波数帯域に分割して複数の前記サブバンド信号を生成する分割手段と、前記各サブバンド信号を割り当てビット数に従って量子化してスケーラブルな符号語を生成する量子化手段と、前記量子化手段によって生成された前記符号語からコアビットを抽出する抽出手段と、前記抽出手段によって抽出された前記コアビットを逆量子化する逆量子化手段と、前記逆量子化手段から出力された逆量子化信号のピッチ周期ごとに、前記逆量子化手段から出力された逆量子化信号のエネルギーに基づいて、前記量子化手段で用いられる前記割り当てビット数を決定する決定手段と、を備え、前記分割手段は、コサイン変調フィルタバンクを有し、該コサイン変調フィルタバンクは、インパルス応答が非対称なFIRフィルタを有する構成を採る。
【0017】
本発明の音声符号化装置は、サブバンドADPCM方式により音声信号の符号化を行う音声符号化装置であって、前記音声信号を複数の周波数帯域に分割して複数の前記サブバンド信号を生成する分割手段と、前記各サブバンド信号を割り当てビット数に従って量子化してスケーラブルな符号語を生成する量子化手段と、前記量子化手段によって生成された前記符号語からコアビットを抽出する抽出手段と、前記抽出手段によって抽出された前記コアビットからスケールファクタを取得する取得手段と、前記抽出手段によって抽出された前記コアビットを逆量子化する逆量子化手段と、前記逆量子化手段から出力された逆量子化信号のピッチ周期ごとに、前記取得手段によって取得された前記スケールファクタに基づいて、前記量子化手段で用いられる前記割り当てビット数を決定する決定手段と、を備え、前記分割手段は、コサイン変調フィルタバンクを有し、該コサイン変調フィルタバンクが、インパルス応答が非対称なFIRフィルタを有する構成を採る。
【0022】
この構成によれば、インパルス応答が非対称な基本フィルタを有するコサイン変調フィルタバンクによって、入力信号を複数の周波数帯域に分割して複数のサブバンド信号を生成するため、フィルタリングにより発生する群遅延量を削減することができ、演算量を少なくすることができる。
【0025】
本発明の音声復号化装置は、サブバンドADPCM方式により音声信号の復号化を行う音声復号化装置であって、与えられたスケーラブルな符号語を割り当てビット数に従って逆量子化して復号サブバンド信号を生成する第1逆量子化手段と、前記第1逆量子化手段によって生成された復号サブバンド信号を合成する合成手段と、前記スケーラブルな符号語からコアビットを抽出する抽出手段と、前記抽出手段によって抽出された前記コアビットを逆量子化する第2逆量子化手段と、前記第2逆量子化手段から出力された逆量子化信号のピッチ周期ごとに、前記第2逆量子化手段から出力された逆量子化信号のエネルギーに基づいて、前記第1逆量子化手段で用いられる前記割り当てビット数を決定する決定手段と、を備え、前記合成手段は、コサイン変調フィルタバンクを有し、該コサイン変調フィルタバンクが、インパルス応答が非対称なFIRフィルタを有する構成を採る。
【0029】
本発明の音声復号化装置は、サブバンドADPCM方式により音声信号の復号化を行う音声復号化装置であって、与えられたスケーラブルな符号語を割り当てビット数に従って逆量子化して復号サブバンド信号を生成する第1逆量子化手段と、前記第1逆量子化手段によって生成された復号サブバンド信号を合成する合成手段と、前記スケーラブルな符号語からコアビットを抽出する抽出手段と、前記抽出手段によって抽出された前記コアビットからスケールファクタを取得する取得手段と、前記抽出手段によって抽出された前記コアビットを逆量子化する第2逆量子化手段と、前記第2逆量子化手段から出力された逆量子化信号のピッチ周期ごとに、前記取得手段によって取得された前記スケールファクタに基づいて、前記第1逆量子化手段で用いられる前記割り当てビット数を決定する決定手段と、を備え、前記合成手段は、コサイン変調フィルタバンクを有し、該コサイン変調フィルタバンクが、インパルス応答が非対称なFIRフィルタを有する構成を採る。
【0034】
この構成によれば、インパルス応答が非対称な基本フィルタを有するコサイン変調フィルタバンクによって、生成された復号サブバンド信号をを合成するため、フィルタリングにより発生する群遅延量を削減することができ、演算量を少なくすることができる。
【0051】
【発明の実施の形態】
本発明の骨子は、入力信号を周波数帯域ごとに分割した複数のサブバンド信号と予測値との残差信号をそれぞれ量子化し、量子化出力を逆量子化してサブバンド信号の次フレームの予測値を算出するサブバンドADPCM符号化において、過去のフレームから次フレームの予測値を算出する過程で各残差信号の次フレームに割り当てる量子化ビット数を決定し、適応的にビット割り当てを変化させることである。
【0052】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0053】
(実施の形態1)
図1は、本発明の実施の形態1に係る音声符号化装置の構成を示すブロック図である。同図において、分割フィルタバンク(分割手段)100は、入力信号を等間隔のサブバンド周波数帯域に4分割し、分割数である4を間引き数として間引き処理を行う。分割フィルタバンク100内の帯域分割FIRフィルタ110a〜110dは、入力信号に対して所定の周波数帯域ごとの分割フィルタリングを行う。ここで、分割フィルタバンク100は、コサイン変調フィルタバンクであり、基本フィルタである帯域分割FIRフィルタ110a〜110dのインパルス応答は非対称である。
【0054】
また、分割フィルタバンク100内のダウンサンプラ120a〜120dは、符号化効率を考慮して間引き数を分割フィルタバンク100における分割数に等しい4として、帯域分割FIRフィルタ110a〜110dの出力に対して間引き処理を行い、それぞれサブバンド信号を出力する。
【0055】
ADPCM量子化器130a〜130dは、各サブバンド信号と過去のフレームのサブバンド信号から算出された予測値との残差信号を量子化してスケーラブルな符号語を出力する。また、ADPCM量子化器130a〜130dは、残差信号から逆量子化値およびスケールファクタを算出する。
【0056】
適応ビット割当器(決定手段)140は、ADPCM量子化器130a〜130dによって算出された逆量子化値のエネルギーに基づき、各残差信号に割り当てる量子化ビット数を決定する。
【0057】
マルチプレクサ150は、ADPCM量子化器130a〜130dから出力された符号語を多重して、多重信号であるビットストリームを整形する。
【0058】
図2は、本発明の実施の形態1に係る音声符号化装置の要部の構成を示すブロック図である。同図においては、ADPCM量子化器130aの構成と適応ビット割当器140とを示したが、他のADPCM量子化器130b〜130dの構成も同様であり、それぞれ適応ビット割当器140に接続されている。
【0059】
図2において、加算器131は、ADPCM量子化器130a〜130dに入力されたサブバンド信号と予測値の差をとって、残差信号を生成する。量子化部132は、生成された残差信号をスケールファクタを用いて量子化し、適応ビット割当器140により決定された量子化ビット数の符号語を出力する。コアビット抽出部133は、量子化部132によって出力された符号語から重要度の低いビット(以下「LSB(Least Significant Bits)」という)を消去しコアビットを抽出する。スケールファクタ適応部134は、抽出されたコアビットからスケールファクタを算出する。逆量子化部135は、抽出されたコアビットを逆量子化し、逆量子化値を予測部136、加算器137、および適応ビット割当器140へ出力する。予測部136は、逆量子化値と予測部136自身の出力とから零予測および極予測を行い、サブバンド信号の次フレームの予測値を算出する。加算器137は、逆量子化値と予測部136によって算出された予測値との和をとる。
【0060】
次いで、上記のように構成された符号化装置の動作について説明する。
【0061】
音声符号化装置に入力された音声信号は分割フィルタバンク100によって4つのサブバンド信号に分割される。ここで、分割フィルタバンク100は、コサイン変調フィルタバンクであり、基本フィルタである帯域分割FIRフィルタ110a〜110dのインパルス応答は非対称であるため、フィルタリングにより発生する群遅延量が削減され、演算量を少なくすることができる。分割されたサブバンド信号は、それぞれADPCM量子化器130a〜130dに入力される。
【0062】
そして、ADPCM量子化器130a〜130dに入力されたサブバンド信号と、予測部136によって過去のフレームから算出された予測値との残差信号が加算器131によって算出され、算出された残差信号は量子化部132に入力される。残差信号は量子化部132により量子化されて、適応ビット割当器140によって割り当てられた量子化ビット数の符号語となる。残差信号の量子化には、スケールファクタ適応部134により算出されるスケールファクタが用いられる。量子化部132によって量子化された符号語は、マルチプレクサ150へと出力されるとともに、コアビット抽出部133に入力されてLSBが消去されコアビットが抽出される。抽出されたコアビットは、スケールファクタ適応部134に入力されてスケールファクタが算出されるとともに、逆量子化部135へ入力される。ここで、スケールファクタの整合性を保つために、量子化部132によって量子化された符号語は、スケーラブルなものとする。
【0063】
逆量子化部135においては、スケールファクタ適応部134により算出されたスケールファクタが用いられて、コアビットが逆量子化される。コアビットが逆量子化されて得られた逆量子化値は予測部136に入力される。この入力値を零予測入力値という。また、逆量子化値は、加算器137により、予測部136から出力される過去のフレームの予測値と加算され、再び予測部136へ入力される。この入力値を極予測入力値という。零予測入力値と極予測入力値から予測部136によって、サブバンド信号の次フレームの予測値が算出される。
【0064】
また、例えばピッチ周期などの所定の数のフレームを1つの単位として、逆量子化値は、適応ビット割当器140に入力される。適応ビット割当器140においては、ADPCM量子化器130a〜130dから出力された逆量子化値のエネルギー、すなわちサンプルとなる逆量子化値の二乗和が算出され、算出された逆量子化値のエネルギーに基づいて、ADPCM量子化器130a〜130dのそれぞれにおいて量子化される各残差信号に割り当てる量子化ビット数が決定される。
【0065】
決定された量子化ビット数は、各ADPCM量子化器130a〜130dの量子化部132に出力され、量子化部132は上述のように、スケールファクタを用いて次フレームの残差信号を量子化し、割り当てられたビット数の符号語を出力する。各ADPCM量子化器130a〜130dによって量子化された符号語は、マルチプレクサ150によって多重され、多重信号であるビットストリームに整形される。
【0066】
図3は、量子化ビット数割り当ての一例を示す図である。同図において、斜線で示すビットは、各バンドにおけるコアビットを示しており、第1バンドでは5ビット、第2バンドでは4ビット、第3バンドでは3ビット、および第4バンドでは2ビットを占めている。これらのコアビットはどのバンドにおいても常にそれぞれ一定であり、適応ビット割当器140によって適応的に割り当てられるのは、図3において白色で示す2ビット分である。この2ビットが、逆量子化値のエネルギーに応じて、各バンドに適応的に割り当てられる。
【0067】
次に、本発明の実施の形態1に係る音声復号化装置について説明する。
【0068】
図4は、本発明の実施の形態1に係る音声復号化装置の構成を示すブロック図である。同図において、デマルチプレクサ(分割手段)200は、入力されたビットストリームを、後述する適応ビット割当器220によって割り当てられた量子化ビット数ごとに分解してサブバンドごとの符号語に分割する。ADPCM逆量子化器210a〜210dは、各符号語を逆量子化して得られた復号残差信号と過去のフレームの符号語から算出された予測値との和を復号サブバンド信号として出力する。また、ADPCM逆量子化器210a〜210dは、符号語からLSBを消去したコアビットのみの逆量子化値およびスケールファクタを算出する。適応ビット割当器(算出手段)220は、ADPCM逆量子化器210a〜210dによって算出されたコアビットの逆量子化値のエネルギーに基づき、音声符号化装置によって各残差信号に割り当てられた量子化ビット数を算出する。
【0069】
合成フィルタバンク(合成手段)230は、ADPCM逆量子化器210a〜210dから出力された復号サブバンド信号を合成して復号信号を得る。合成フィルタバンク230内のアップサンプラ240a〜240dは、間引きされている復号サブバンド信号の補間処理を行う。また、合成フィルタバンク230内の帯域合成FIRフィルタ250a〜250dは、補間処理された復号サブバンド信号に対して合成フィルタリングを行う。ここで、合成フィルタバンク230は、コサイン変調フィルタバンクであり、基本フィルタである帯域合成FIRフィルタ250a〜250dはのインパルス応答は非対称である。
【0070】
図5は、本発明の実施の形態1に係る音声復号化装置の要部の構成を示すブロック図である。同図においては、ADPCM逆量子化器210aの構成と適応ビット割当器220とを示したが、他のADPCM逆量子化器210b〜210dの構成も同様であり、それぞれ適応ビット割当器220に接続されている。
【0071】
図5において、コアビット抽出部211は、ADPCM逆量子化器210a〜210dに入力された符号語からLSBを消去しコアビットを抽出する。逆量子化部212は、抽出されたコアビットを逆量子化し、逆量子化値を加算器214、予測部215、および適応ビット割当器220へ出力する。スケールファクタ適応部213は、抽出されたコアビットからスケールファクタを算出する。加算器214は、逆量子化値と予測部215によって算出された予測値との和をとる。予測部215は、逆量子化値と予測部215自身の出力から零予測および極予測を行い、復号サブバンド信号の次フレームの予測値を算出する。逆量子化部216は、入力された符号語をスケールファクタを用いて適応ビット割当器220により算出された量子化ビット数ごとに逆量子化し、復号残差信号を出力する。加算器217は、逆量子化部216によって出力された復号残差信号と予測値との和をとって、復号サブバンド信号を生成する。
【0072】
次いで、上記のように構成された音声復号化装置の動作について説明する。
【0073】
音声復号化装置に入力されたビットストリームはデマルチプレクサ200によって適応ビット割当器220によって割り当てられた量子化ビット数ごとに分解され、4つのサブバンドごとの符号語に分割される。分割された符号語は、それぞれADPCM逆量子化器210a〜210dに入力される。
【0074】
そして、ADPCM逆量子化器210a〜210dに入力された符号語は、逆量子化部216により、適応ビット割当器220によって割り当てられた量子化ビット数ごとに逆量子化されて復号残差信号が出力される。また、ADPCM逆量子化器210a〜210dに入力された符号語は、コアビット抽出部211によってLSBが消去されコアビットが抽出される。抽出されたコアビットは、スケールファクタ適応部213に入力されてスケールファクタが算出されるとともに、逆量子化部212へ入力される。逆量子化部212においては、スケールファクタ適応部213により算出されたスケールファクタが用いられて、コアビットが逆量子化される。コアビットが逆量子化されて得られた逆量子化値は予測部215に入力される。この入力値を零予測入力値という。また、逆量子化値は、加算器214により、予測部215から出力される過去のフレームの予測値と加算され、再び予測部215へ入力される。この入力値を極予測入力値という。零予測入力値と極予測入力値から予測部215によって、復号サブバンド信号の次フレームの予測値が算出される。
【0075】
また、例えばピッチ周期などの所定の数のフレームを1つの単位として、逆量子化値は、適応ビット割当器220に入力される。適応ビット割当器220においては、ADPCM逆量子化器210a〜210dから出力された逆量子化値のエネルギー、すなわちサンプルとなる逆量子化値の二乗和が算出され、算出された逆量子化値のエネルギーに基づいて、符号化装置のADPCM量子化器130a〜130dのそれぞれにおいて量子化された各残差信号に割り当てられた量子化ビット数が算出される。
【0076】
算出された量子化ビット数は、各ADPCM逆量子化器210a〜210dの逆量子化部216に出力され、逆量子化部216は上述のように、スケールファクタを用いて次フレームの符号語を、適応ビット割当器220によって割り当てられたビット数ごとに逆量子化して復号残差信号を出力する。出力された復号残差信号は、加算器217によって予測部215から出力された予測値と加算され、復号サブバンド信号となり、ADPCM逆量子化器210a〜210dから出力される。
【0077】
各ADPCM逆量子化器210a〜210dによって逆量子化された復号サブバンド信号は、合成フィルタバンク230内のアップサンプラ240a〜240dによって補間処理され、帯域合成FIRフィルタ250a〜250dによって合成フィルタリングされ、加算器260a〜260cによって各帯域合成FIRフィルタ250a〜250dからの出力が加算されて復号信号となる。ここで、合成フィルタバンク230は、コサイン変調フィルタバンクであり、基本フィルタである帯域合成FIRフィルタ250a〜250dのインパルス応答は非対称であるため、フィルタリングにより発生する群遅延量が削減され、演算量を少なくすることができる。
【0078】
このように、本実施の形態の音声符号化装置および音声復号化装置によれば、音声符号化装置においては、周波数帯域ごとのサブバンド信号と予測値の残差信号を量子化して符号語を出力し、出力された符号語を逆量子化して逆量子化値のエネルギーを算出し、算出されたエネルギーから各残差信号の次フレームを量子化する際に割り当てる量子化ビット数を決定し、音声復号化装置においては、音声符号化装置が逆量子化した符号語と同一の符号語を逆量子化して逆量子化値のエネルギーを算出し、算出されたエネルギーから音声符号化装置において決定された各残差信号の次フレームに対して割り当てられた量子化ビット数を算出するため、音声符号化装置においては残差信号に適応的に量子化ビット数を割り当てることができ、かつ、音声符号化装置が割り当てた量子化ビット数を変更した場合でも、音声復号化装置は変更したビット割り当てに関する情報を得ることなく音声符号化装置によるビット割り当ての変更と同期して逆量子化することができる。したがって、音声符号化装置は変更したビット割り当てに関する情報を音声復号化装置に通知して同期させるということが必要ないため、音声情報の伝送効率を下げることなく音質の向上を図ることができる。
【0079】
(実施の形態2)
本発明の実施の形態2に係る音声符号化装置および音声復号化装置の特徴は、量子化ビット数の最適値を決定するためにスケールファクタを用いる点である。なお、実施の形態2に係る音声符号化装置および音声復号化装置の構成は、実施の形態1の図1および図4に示す音声符号化装置および音声復号化装置と同様であり、その説明を省略する。
【0080】
図6は、本発明の実施の形態2に係る音声符号化装置の要部の構成を示すブロック図である。同図においては、ADPCM量子化器130aの構成と適応ビット割当器140aとを示したが、他のADPCM量子化器130b〜130dの構成も同様であり、それぞれ適応ビット割当器140aに接続されている。また、図2に示したブロック図と同様の構成については同じ番号を付してその説明を省略する。
【0081】
図6において、スケールファクタ適応部134aは、コアビット抽出部133によって抽出されたコアビットからスケールファクタを算出し、適応ビット割当器140aへ出力する。逆量子化部135aは、コアビット抽出部133によって抽出されたコアビットを逆量子化し、逆量子化値を予測部136および加算器137へ出力する。適応ビット割当器140aは、ADPCM量子化器130a〜130dによって算出されたスケールファクタに基づき、各残差信号に割り当てる量子化ビット数を決定する。
【0082】
次いで、上記のように構成された音声符号化装置の動作について説明する。
【0083】
分割フィルタバンク100によって分割されたサブバンド信号は、それぞれADPCM量子化器130a〜130dに入力される。そして、加算器131によって、ADPCM量子化器130a〜130dに入力されたサブバンド信号と、予測部136によって過去のフレームから算出された残差信号が算出され、算出された残差信号は量子化部132に入力される。残差信号は量子化部132により量子化されて、適応ビット割当器140aによって割り当てられた量子化ビット数の符号語となる。残差信号の量子化には、スケールファクタ適応部134aにより算出されるスケールファクタが用いられる。量子化部132によって量子化された符号語は、マルチプレクサ150へ出力されるとともに、コアビット抽出部133に入力されてLSBが消去されてコアビットが抽出される。抽出されたコアビットは、スケールファクタ適応部134aに入力されてスケールファクタが算出されるとともに、逆量子化部135aへ入力される。ここで、スケールファクタの整合性を保つために、量子化部132によって量子化された符号語は、スケーラブルなものとする。
【0084】
逆量子化部135aにおいては、スケールファクタ適応部134aにより算出されたスケールファクタが用いられて、コアビットが逆量子化される。コアビットが逆量子化されて得られた逆量子化値から予測部136により、サブバンド信号の次フレームの予測値が算出される。
【0085】
また、例えばピッチ周期などの所定の数のフレームを1つの単位として、スケールファクタは、適応ビット割当器140aに入力される。適応ビット割当器140aにおいては、ADPCM量子化器130a〜130dから出力されたスケールファクタの平均値をエネルギーとみなして、実施の形態1と同様にADPCM量子化器130a〜130dのそれぞれにおいて量子化される各残差信号に割り当てる量子化ビット数が決定される。
【0086】
決定された量子化ビット数は、各ADPCM量子化器130a〜130dの量子化部132に出力され、量子化部132は上述のように、スケールファクタを用いて次フレームの残差信号を量子化し、割り当てられたビット数の符号語を出力する。各ADPCM量子化器130a〜130dによって量子化された符号語は、マルチプレクサ150によって多重され、多重信号であるビットストリームに整形される。
【0087】
次に、本発明の実施の形態2に係る音声復号化装置について説明する。実施の形態2に係る音声復号化装置の構成は、実施の形態1の図4に示す音声復号化装置と同様であり、その説明を省略する。
【0088】
図7は、本発明の実施の形態2に係る音声復号化装置の要部の構成を示すブロック図である。同図においては、ADPCM逆量子化器210aの構成と適応ビット割当器220aとを示したが、他のADPCM逆量子化器210b〜210dの構成も同様であり、それぞれ適応ビット割当器220aに接続されている。
【0089】
図7において、コアビット抽出部211は、ADPCM逆量子化器210a〜210dに入力された符号語からLSBを消去しコアビットを抽出する。逆量子化部212aは、抽出されたコアビットを逆量子化し、逆量子化値を加算器214および予測部215へ出力する。スケールファクタ適応部213aは、抽出されたコアビットからスケールファクタを算出し、適応ビット割当器220aへ出力する。加算器214は、逆量子化値と予測部215によって算出された予測値との和をとる。予測部215は、逆量子化値と予測部215自身の出力から零予測および極予測を行い、復号サブバンド信号の次フレームの予測値を算出する。逆量子化部216は、入力された符号語をスケールファクタを用いて適応ビット割当器220により算出された量子化ビット数ごとに逆量子化し、復号残差信号を出力する。加算器217は、逆量子化部216によって出力された復号残差信号と予測値との和をとって、復号サブバンド信号を生成する。適応ビット割当器220aは、ADPCM逆量子化器210a〜210dによって算出されたスケールファクタに基づき、各残差信号に割り当てる量子化ビット数を決定する。
【0090】
次いで、上記のように構成された音声復号化装置の動作について説明する。
【0091】
デマルチプレクサ200によって分割された符号語は、それぞれADPCM逆量子化器210a〜210dに入力される。そして、ADPCM逆量子化器210a〜210dに入力された符号語は、逆量子化部216により、適応ビット割当器220aによって割り当てられた量子化ビット数ごとに逆量子化されて復号残差信号が出力される。また、ADPCM逆量子化器210a〜210dに入力された符号語は、コアビット抽出部211によってLSBが消去されコアビットが抽出される。抽出されたコアビットは、スケールファクタ適応部213aに入力されてスケールファクタが算出されるとともに、逆量子化部212aへ入力される。逆量子化部212aにおいては、スケールファクタ適応部213aにより算出されたスケールファクタが用いられて、コアビットが逆量子化される。コアビットが逆量子化されて得られた逆量子化値は予測部215に入力される。予測部215においては、入力された逆量子化値から復号サブバンド信号の次フレームの予測値が算出される。
【0092】
また、例えばピッチ周期などの所定の数のフレームを1つの単位として、スケールファクタは、適応ビット割当器220aに入力される。適応ビット割当器220aにおいては、ADPCM逆量子化器210a〜210dから出力されたスケールファクタの平均値をエネルギーとみなして、実施の形態1と同様に符号化装置のADPCM量子化器130a〜130dのそれぞれにおいて量子化された各残差信号に割り当てられた量子化ビット数が算出される。
【0093】
算出された量子化ビット数は、各ADPCM逆量子化器210a〜210dの逆量子化部216に出力され、逆量子化部216は上述のように、スケールファクタを用いて次フレームの符号語を、適応ビット割当器220aによって割り当てられたビット数ごとに逆量子化して復号残差信号を出力する。出力された復号残差信号は、加算器217によって予測部215から出力された予測値と加算され、復号サブバンド信号となり、ADPCM逆量子化器210a〜210dから出力される。各ADPCM逆量子化器210a〜210dによって逆量子化された復号サブバンド信号は、合成フィルタバンク230によって合成されて復号信号となる。
【0094】
このように、本実施の形態の音声符号化装置および音声復号化装置によれば、音声符号化装置においては、周波数帯域ごとのサブバンド信号と予測値の残差信号を量子化して符号語を出力し、出力された符号語のコアビットからスケールファクタを算出し、算出されたスケールファクタから各残差信号の次フレームを量子化する際に割り当てる量子化ビット数を決定し、音声復号化装置においては、音声符号化装置が逆量子化した符号語と同一の符号語のコアビットからスケールファクタを算出し、算出されたスケールファクタから音声符号化装置において決定された各残差信号の次フレームに対して割り当てられた量子化ビット数を算出するため、音声符号化装置においては残差信号に適応的に量子化ビット数を割り当てることができ、かつ、音声符号化装置が割り当てた量子化ビット数を変更した場合でも、音声復号化装置は変更したビット割り当てに関する情報を得ることなく音声符号化装置によるビット割り当ての変更と同期して逆量子化することができる。したがって、音声情報の伝送効率を下げることなく音質の向上を図ることができる
なお、上記の各実施の形態においては、分割フィルタバンクによって入力信号が4分割される構成としたが、これに限定されず、入力信号が周波数帯域によって2以上に分割される構成であればよい。ただし、分割数を多くすることにより、量子化対象信号が平滑化され、スケールファクタの追従性は向上する。加えて、分割フィルタバンクがコサイン変調フィルタである場合は、分割数を多くすることにより、基本フィルタのタップ数が増え、遅延量の増加を抑制する。
【0095】
【発明の効果】
以上説明したように、本発明によれば、音質の向上を図ることができる音声符号化装置・方法および音声復号化装置・方法を提供することができるものである。
【図面の簡単な説明】
【図1】本発明の実施の形態1および実施の形態2に係る音声符号化装置の構成を示すブロック図
【図2】本発明の実施の形態1に係る音声符号化装置の要部の構成を示すブロック図
【図3】本発明の実施の形態1に係る量子化ビット数割り当ての一例を示す図
【図4】本発明の実施の形態1および実施の形態2に係る音声復号化装置の構成を示すブロック図
【図5】本発明の実施の形態1に係る音声復号化装置の要部の構成を示すブロック図
【図6】本発明の実施の形態2に係る音声符号化装置の要部の構成を示すブロック図
【図7】本発明の実施の形態2に係る音声復号化装置の要部の構成を示すブロック図
【図8】従来の2分割のサブバンドADPCMにおいて用いられる音声符号化装置および音声復号化装置の構成を示すブロック図
【符号の説明】
100 分割フィルタバンク(分割手段)
130a,130b,130c,130d ADPCM量子化器(量子化手段)
132 量子化部(量子化手段)
133,211 コアビット抽出部(抽出手段)
134,134a,213,213a スケールファクタ適応部(取得手段)
135,135a,212,212a,216 逆量子化部(逆量子化手段)
140,140a,220,220a 適応ビット割当器(決定手段)
200 デマルチプレクサ(分割手段)
210a,210b,210c,210d ADPCM逆量子化器(逆量子化手段)
230 合成フィルタバンク(合成手段)

Claims (4)

  1. サブバンドADPCM方式により音声信号の符号化を行う音声符号化装置であって、
    前記音声信号を複数の周波数帯域に分割して複数の前記サブバンド信号を生成する分割手段と、
    前記各サブバンド信号を割り当てビット数に従って量子化してスケーラブルな符号語を生成する量子化手段と、
    前記量子化手段によって生成された前記符号語からコアビットを抽出する抽出手段と、
    前記抽出手段によって抽出された前記コアビットを逆量子化する逆量子化手段と、
    前記逆量子化手段から出力された逆量子化信号のピッチ周期ごとに、前記逆量子化手段から出力された逆量子化信号のエネルギーに基づいて、前記量子化手段で用いられる前記割り当てビット数を決定する決定手段と、を備え、
    前記分割手段は、コサイン変調フィルタバンクを有し、該コサイン変調フィルタバンクは、インパルス応答が非対称なFIRフィルタを有することを特徴とする音声符号化装置。
  2. サブバンドADPCM方式により音声信号の符号化を行う音声符号化装置であって、
    前記音声信号を複数の周波数帯域に分割して複数の前記サブバンド信号を生成する分割手段と、
    前記各サブバンド信号を割り当てビット数に従って量子化してスケーラブルな符号語を生成する量子化手段と、
    前記量子化手段によって生成された前記符号語からコアビットを抽出する抽出手段と、
    前記抽出手段によって抽出された前記コアビットからスケールファクタを取得する取得手段と、
    前記抽出手段によって抽出された前記コアビットを逆量子化する逆量子化手段と、
    前記逆量子化手段から出力された逆量子化信号のピッチ周期ごとに、前記取得手段によって取得された前記スケールファクタに基づいて、前記量子化手段で用いられる前記割り当てビット数を決定する決定手段と、を備え、
    前記分割手段は、コサイン変調フィルタバンクを有し、該コサイン変調フィルタバンクが、インパルス応答が非対称なFIRフィルタを有することを特徴とする音声符号化装置。
  3. サブバンドADPCM方式により音声信号の復号化を行う音声復号化装置であって、
    与えられたスケーラブルな符号語を割り当てビット数に従って逆量子化して復号サブバンド信号を生成する第1逆量子化手段と、
    前記第1逆量子化手段によって生成された復号サブバンド信号を合成する合成手段と、
    前記スケーラブルな符号語からコアビットを抽出する抽出手段と、
    前記抽出手段によって抽出された前記コアビットを逆量子化する第2逆量子化手段と、
    前記第2逆量子化手段から出力された逆量子化信号のピッチ周期ごとに、前記第2逆量子化手段から出力された逆量子化信号のエネルギーに基づいて、前記第1逆量子化手段で用いられる前記割り当てビット数を決定する決定手段と、を備え、
    前記合成手段は、コサイン変調フィルタバンクを有し、該コサイン変調フィルタバンクが、インパルス応答が非対称なFIRフィルタを有することを特徴とする音声復号化装置。
  4. サブバンドADPCM方式により音声信号の復号化を行う音声復号化装置であって、
    与えられたスケーラブルな符号語を割り当てビット数に従って逆量子化して復号サブバンド信号を生成する第1逆量子化手段と、
    前記第1逆量子化手段によって生成された復号サブバンド信号を合成する合成手段と、
    前記スケーラブルな符号語からコアビットを抽出する抽出手段と、
    前記抽出手段によって抽出された前記コアビットからスケールファクタを取得する取得手段と、
    前記抽出手段によって抽出された前記コアビットを逆量子化する第2逆量子化手段と、
    前記第2逆量子化手段から出力された逆量子化信号のピッチ周期ごとに、前記取得手段によって取得された前記スケールファクタに基づいて、前記第1逆量子化手段で用いられる前記割り当てビット数を決定する決定手段と、を備え、
    前記合成手段は、コサイン変調フィルタバンクを有し、該コサイン変調フィルタバンクが、インパルス応答が非対称なFIRフィルタを有することを特徴とする音声復号化装置。
JP2001347408A 2001-11-13 2001-11-13 音声符号化装置および音声復号化装置 Expired - Fee Related JP4245288B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001347408A JP4245288B2 (ja) 2001-11-13 2001-11-13 音声符号化装置および音声復号化装置
US10/277,827 US7155384B2 (en) 2001-11-13 2002-10-23 Speech coding and decoding apparatus and method with number of bits determination
CNB021504466A CN100440758C (zh) 2001-11-13 2002-11-12 语音编码装置、语音解码装置以及语音编码/解码方法
DE60217612T DE60217612T2 (de) 2001-11-13 2002-11-12 Verfahren und Vorrichtung zur Kodierung und Dekodierung von Sprachsignalen
EP02025094A EP1310943B1 (en) 2001-11-13 2002-11-12 Speech coding apparatus, speech decoding apparatus and speech coding/decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001347408A JP4245288B2 (ja) 2001-11-13 2001-11-13 音声符号化装置および音声復号化装置

Publications (2)

Publication Number Publication Date
JP2003150198A JP2003150198A (ja) 2003-05-23
JP4245288B2 true JP4245288B2 (ja) 2009-03-25

Family

ID=19160417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001347408A Expired - Fee Related JP4245288B2 (ja) 2001-11-13 2001-11-13 音声符号化装置および音声復号化装置

Country Status (5)

Country Link
US (1) US7155384B2 (ja)
EP (1) EP1310943B1 (ja)
JP (1) JP4245288B2 (ja)
CN (1) CN100440758C (ja)
DE (1) DE60217612T2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1132892B1 (en) 1999-08-23 2011-07-27 Panasonic Corporation Speech encoding and decoding system
RU2413191C2 (ru) * 2005-04-01 2011-02-27 Квэлкомм Инкорпорейтед Системы, способы и устройства для устраняющей разреженность фильтрации
US8892448B2 (en) 2005-04-22 2014-11-18 Qualcomm Incorporated Systems, methods, and apparatus for gain factor smoothing
US20090164211A1 (en) * 2006-05-10 2009-06-25 Panasonic Corporation Speech encoding apparatus and speech encoding method
JP5052514B2 (ja) 2006-07-12 2012-10-17 パナソニック株式会社 音声復号装置
CN101325059B (zh) * 2007-06-15 2011-12-21 华为技术有限公司 语音编解码收发方法及装置
KR101441897B1 (ko) 2008-01-31 2014-09-23 삼성전자주식회사 잔차 신호 부호화 방법 및 장치와 잔차 신호 복호화 방법및 장치
CN102414990A (zh) * 2009-05-29 2012-04-11 日本电信电话株式会社 编码装置、解码装置、编码方法、解码方法及其程序
CN101989428B (zh) * 2009-07-31 2012-07-04 华为技术有限公司 比特分配方法、编码方法、解码方法、编码器及解码器
CN102280107B (zh) 2010-06-10 2013-01-23 华为技术有限公司 边带残差信号生成方法及装置
CN106409300B (zh) * 2014-03-19 2019-12-24 华为技术有限公司 用于信号处理的方法和装置
CN114708874A (zh) 2018-05-31 2022-07-05 华为技术有限公司 立体声信号的编码方法和装置
CN111294147B (zh) * 2019-04-25 2023-01-31 北京紫光展锐通信技术有限公司 Dmr系统的编码方法及装置、存储介质、数字对讲机

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02264520A (ja) 1989-04-04 1990-10-29 Nec Corp 帯域分割符号化復号方式並びに帯域分割符号化器及び帯域分割復号器
JPH03181232A (ja) 1989-12-11 1991-08-07 Toshiba Corp 可変レート符号化方式
JP3111459B2 (ja) 1990-06-11 2000-11-20 ソニー株式会社 音声データの高能率符号化方法
EP0464839B1 (en) * 1990-07-05 2000-09-27 Fujitsu Limited Digitally multiplexed transmission system
JPH05181497A (ja) 1991-12-27 1993-07-23 Toshiba Corp ピッチ変換装置
JPH05183523A (ja) 1992-01-06 1993-07-23 Oki Electric Ind Co Ltd 音声・楽音符号化装置
JPH0669811A (ja) 1992-08-21 1994-03-11 Oki Electric Ind Co Ltd 符号化回路及び復号化回路
US5517511A (en) * 1992-11-30 1996-05-14 Digital Voice Systems, Inc. Digital transmission of acoustic signals over a noisy communication channel
JP2888129B2 (ja) 1994-03-15 1999-05-10 松下電器産業株式会社 デジタル信号記録装置
US5493647A (en) 1993-06-01 1996-02-20 Matsushita Electric Industrial Co., Ltd. Digital signal recording apparatus and a digital signal reproducing apparatus
JP3398457B2 (ja) 1994-03-10 2003-04-21 沖電気工業株式会社 量子化スケールファクタ生成方法、逆量子化スケールファクタ生成方法、適応量子化回路、適応逆量子化回路、符号化装置及び復号化装置
IT1281001B1 (it) * 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP3519859B2 (ja) 1996-03-26 2004-04-19 三菱電機株式会社 符号器及び復号器
JP3263347B2 (ja) 1997-09-20 2002-03-04 松下電送システム株式会社 音声符号化装置及び音声符号化におけるピッチ予測方法
JPH11224099A (ja) * 1998-02-06 1999-08-17 Sony Corp 位相量子化装置及び方法
JP2001007769A (ja) 1999-04-22 2001-01-12 Matsushita Electric Ind Co Ltd 低遅延サブバンド分割/合成装置
US6226616B1 (en) 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
EP1104101A3 (en) 1999-11-26 2005-02-02 Matsushita Electric Industrial Co., Ltd. Digital signal sub-band separating / combining apparatus achieving band-separation and band-combining filtering processing with reduced amount of group delay
WO2001050458A1 (en) 1999-12-31 2001-07-12 Thomson Licensing S.A. Subband adpcm voice encoding and decoding

Also Published As

Publication number Publication date
US20030093266A1 (en) 2003-05-15
DE60217612T2 (de) 2007-05-16
US7155384B2 (en) 2006-12-26
CN100440758C (zh) 2008-12-03
JP2003150198A (ja) 2003-05-23
DE60217612D1 (de) 2007-03-08
EP1310943B1 (en) 2007-01-17
CN1419349A (zh) 2003-05-21
EP1310943A2 (en) 2003-05-14
EP1310943A3 (en) 2004-02-11

Similar Documents

Publication Publication Date Title
KR101220621B1 (ko) 부호화 장치 및 부호화 방법
US6295009B1 (en) Audio signal encoding apparatus and method and decoding apparatus and method which eliminate bit allocation information from the encoded data stream to thereby enable reduction of encoding/decoding delay times without increasing the bit rate
KR101473016B1 (ko) 소스 신호에 대한 손실 인코딩된 데이터 스트림 및 무손실 확장 데이터 스트림으로부터 상기 소스 신호에 대한 무손실 인코딩된 데이터 스트림을 생성하기 위해 상기 소스 신호를 무손실 인코딩하기 방법 및 장치
KR100419546B1 (ko) 신호부호화방법및장치,신호복호화방법및장치,및신호전송방법
USRE46082E1 (en) Method and apparatus for low bit rate encoding and decoding
JP4245288B2 (ja) 音声符号化装置および音声復号化装置
JP4063508B2 (ja) ビットレート変換装置およびビットレート変換方法
JP2012529068A (ja) 圧縮符号化および復号の方法、符号器、復号器、ならびに符号化装置
JP2003337598A (ja) 音響信号符号化方法及び装置、音響信号復号方法及び装置、並びにプログラム及び記録媒体
CN1463496A (zh) 子带自适应差分脉冲编码调制编码装置、子带自适应差分脉冲编码调制编码方法、无线发送系统、子带自适应差分脉冲编码调制解码装置、子带自适应差分脉冲编码调制解码方法、以无线接收系统
Ehret et al. Audio coding technology of exac
JPH1020897A (ja) 適応変換符号化方式および適応変換復号方式
KR100923301B1 (ko) 대역 확장 기법을 이용한 오디오 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
KR100266054B1 (ko) 낮은 샘플링 속도에서 디지탈화된 오디오 신호를 코딩하는 방법
US5875424A (en) Encoding system and decoding system for audio signals including pulse quantization
JP3827720B2 (ja) 差分コーディング原理を用いる送信システム
JP2001094432A (ja) サブバンド符号化・復号方法
JP2008268792A (ja) オーディオ信号符号化装置およびそのビットレート変換装置
JPH0335300A (ja) 音声符号・復号化伝送方式
KR100195708B1 (ko) 디지탈 오디오 부호기
JP2001100796A (ja) オーディオ信号符号化装置
JPS58204632A (ja) 音声符号化方法とその装置
JPH0242835A (ja) 帯域分割形附号復号化方法および装置
JPH0437999B2 (ja)
JPH07154268A (ja) 帯域分割符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061011

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070706

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070717

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees