JP2005107332A - カラオケ装置 - Google Patents

Abstract

【課題】曲のジャンルに応じたタイミングの採点をすることにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供する。
【解決手段】ガイドメロディの発音タイミングと歌唱者の歌唱音声の歌唱開始タイミングのタイミング差を検出し、このタイミング差を点数化する。そして、このタイミングポイントを音程の正確さに基づいて算出した基礎点に加算して最終得点を算出する。タイミングポイントはタイミングポイントテーブルに基づいて割り出すが、タイミングポイントテーブルを演歌、ポップスなどのジャンル別に設け、各ジャンルに応じたタイミング感、リズム感に合致した採点が可能になるようにしている。
【選択図】 図５

Description

この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。

従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの（たとえば特許文献１）やこれに音量変化の評価を加味したもの（特許文献２）などがあった。

特開平１０−４９１８３号公報 特開平１０−１６１６７３号公報

しかし、従来の採点機能は、上記のように歌唱周波数をリファレンスの音高と比較する機能しか備えていなかったため、歌唱タイミングを正確に検出することができず、音量や音程については精度よく採点できても歌唱者の歌唱タイミングすなわちリズム感を正確に採点することができないという欠点があった。

ガイドメロディデータなどのリファレンスデータは、機械的に正確なリズムで進行するデータであるため、たとえば演歌やバラード曲など比較的自由なリズムで歌唱されることの多いカラオケ曲の採点をこのリファレンスデータとの単純な比較で行った場合には、上手な歌唱がかえって低い点数になってしまうという問題点があった。

この発明は、曲のジャンルに応じたタイミングの採点をすることにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。

請求項１の発明は、カラオケ曲を演奏するための演奏データ、歌唱旋律を示すリファレンスデータおよび曲のジャンルを示すジャンルデータを含む楽曲データを記憶した記憶手段と、前記楽曲データの演奏データに基づいてカラオケ曲を演奏するとともに、前記リファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、入力された歌唱音声を前記リファレンスデータと比較することによって、各音符毎の歌唱タイミングの進みまたは遅れの程度であるタイミング差を検出し、検出したタイミング差をこのカラオケ曲のジャンルに応じた重みづけで採点する採点手段と、を備えたことを特徴とする。

請求項２の発明は、請求項１の発明において、前記記憶手段は、前記楽曲データに加えて、タイミング差の大きさに応じた点数を記憶したタイミングポイントテーブルをジャンル別に記憶しており、前記採点手段は、演奏しているカラオケ曲のジャンルに応じたタイミングポイントテーブルを用いてタイミング差を採点することを特徴とする。

一般的なリファレンスデータは、クセのない機械的に正確なリズムで進行する。曲によっては、機械的に正確なリズムで歌唱すると上手く聞こえる曲もあれば、機械的なリズムをくずして自由なリズムで歌唱すると上手く聞こえる曲もある。この発明では、タイミング差を曲のジャンルに応じた重みづけで採点するようにしたことにより、上記のような曲の特性に応じた実際の歌唱の巧拙を採点することが可能になる。

請求項３の発明は、請求項１、２の発明において、前記リファレンスデータは、歌唱旋律の各音符の音高情報および各音符の区切り情報を含み、前記採点手段は、入力した歌唱音声から歌唱音声周波数を検出してこれを各音符の音高周波数と比較し、歌唱音声周波数が各音符の音高周波数から所定の範囲内に接近したタイミングをその音符の歌唱タイミングとし、この歌唱タイミングを当該音符の開始タイミングと比較することによりタイミング差を検出する手段であることを特徴とする。

この発明では、音符の区切り情報に基づいて音符の発音タイミングを検出し、歌唱音声がその音符の音高から所定範囲内に接近したタイミングをその音符の歌唱タイミングとすることで正確に歌唱タイミングと発音タイミングのずれを検出することができ、タイミングの高精度な採点が可能になる。

請求項４の発明は、請求項１、２の発明において、前記リファレンスデータは、歌唱旋律の各音符の音高情報および各音符の区切り情報を含み、前記採点手段は、入力した歌唱音声から歌唱音声周波数を検出してこれを各音符の音高周波数と比較し、採点対象音符を含む所定区間の歌唱音声周波数とリファレンスデータの周波数とを時間軸方向に相互にずらしてその相互相関が最大となる位置を割り出し、そのずれ量をその音符のタイミング差とする手段であることを特徴とする。

いわゆる「しゃくり」などの歌唱法で歌唱したときには、周波数がなだらかに変化するため途中の音符の歌唱タイミングの判定が困難な場合がある。この場合でも、周波数変化の相関をとることによってリファレンスと歌唱とのずれを検出し、このずれを歌唱タイミングのずれとすることで、高精度に歌唱タイミングを判定することができる。

以上のようにこの発明によれば、歌唱者の歌唱をタイミング差に基づいて採点する場合に、曲のジャンルに合わせた重みづけでこのタイミング差を採点するようにしたことにより、その曲の特性に合わせた採点が可能になる。また、この発明によれば、正確な歌唱タイミングのずれを検出することができるため、歌唱の巧拙をより精度よく判定することが可能になる。

図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱者の歌唱音声をリファレンスと比較することによって採点し、曲の終了後に点数を算出して表示する採点動作を実行する。

図１は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するＣＰＵ１０と、これに接続された各種機器で構成されている。ＣＰＵ１０には、ハードディスク１１、ＲＡＭ１２、音源１３、ミキサ（エフェクタ）１４、ボーカルアダプタ１９、ＭＰＥＧデコーダ２０、合成回路２１、操作部２３が接続されている。

ハードディスク１１は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶しているとともに、図８に示すジャンル別のタイミングポイントテーブルを記憶している。
ＲＡＭ１２には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。

音源１３は、ＣＰＵ１０が実行する曲シーケンサ３１の処理によって入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。形成した楽音信号はミキサ１４に入力される。ミキサ１４は、音源１３が発生した複数の楽音信号、および、マイク１７−Ａ／Ｄコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム１５に入力される。サウンドシステム１５はＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。ミキサ１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。

また、Ａ／Ｄコンバータ１８によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ１９にも入力される。ボーカルアダプタ１９は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、ＣＰＵ１０の曲シーケンサ３１から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて３０ｍｓ毎にＣＰＵ１０（採点モード処理３４）に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、Ｃ０からのセント値で表現される。

ＨＤＤ１１に記憶されている背景映像データ４１は、ＭＰＥＧ２形式にエンコードされており、ＣＰＵ１０が実行する背景映像再生プログラム３３は、これを読み出してＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して合成回路２１に入力する。合成回路２１は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのＯＳＤを合成する回路である。この合成された映像信号はモニタディスプレイ２２に表示される。

操作部２３は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をＣＰＵ１０に入力する。ＣＰＵ１０は、操作入力処理プログラム３５によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム３５はシステムプログラムに含まれるものである。

パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。

パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム３５がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ３０に伝達する。シーケンサ３０は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク１１の曲データ記憶エリア４０から読み出す。シーケンサ３０は、曲シーケンサ３１および歌詞シーケンサ３２からなっており、歌詞シーケンサ３２は、文字パターン作成プログラム３２ａを含んでいる。曲シーケンサ３１は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源１３を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ３２は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路２１に出力する。また、背景映像再生プログラム３３は、シーケンサ３０からの指示に応じて所定の背景映像データを読み出してＭＰＥＧデコーダ２０に入力する。

ここで、図２を参照してハードディスク１１に記憶されている曲データについて説明する。曲データは、同図（Ａ）に示すように、曲名や曲のジャンルなどが書き込まれたヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラックなどからなっている。曲データは、これ以外に音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音（ガイドメロディ）の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。

タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源１３に入力することにより、音源１３はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。

通常モードのカラオケ曲の演奏では、シーケンサ３０により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム３４により、採点処理動作が実行される。

まず図３の機能ブロックを参照して、採点モード時の各部の処理について説明する。マイク１７から入力された歌唱音声信号は、Ａ／Ｄコンバータ１８でデジタル音声信号に変換されてボーカルアダプタ１９に入力される（同時にミキサ１４にも入力されるがここでは採点モードの動作のみについて説明する）。ボーカルアダプタ１９では、このデジタル音声信号を歌唱周波数検出部１０２に入力して歌唱周波数（セント値）を検出する。

一方、リファレンス周波数検出部１０１には、カラオケ曲の演奏に同期して、曲シーケンサ３１からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部１０１は、入力されたＭＩＤＩデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として出力する。

歌唱音声検出部１０２による歌唱周波数の検出およびリファレンス周波数検出部１０１によるリファレンス周波数の検出は、３０ｍｓ毎に同期して実行され、その検出結果が３０ｍｓ毎に採点モード処理プログラム３４に入力される。

また、リファレンス周波数検出部１０１は、曲シーケンサ３１からノートオン／オフイベントデータが入力されると、そのタイミングにノートオン情報、ノートオフ情報を採点モード処理プログラム３４に通知する。

採点モード処理プログラム３４では、歌唱周波数のリファレンスに対する周波数差やタイミング差を検出してこれに基づいて歌唱を採点し、最終得点を割り出してモニタ２２に表示する。

採点処理はたとえば以下のようである。採点部１０７は、歌唱周波数とリファレンス周波数とを比較し、その差分（セント値）を算出し、この差分に基づいて各ノート（音符）毎に合格ノート、不合格ノートを判定する。各ノート（音符）毎にノートオン情報・ノートオフ情報が、リファレンス周波数検出部１０１から採点部１０７に入力される。採点部１０７は、そのノート区間に、歌唱周波数が所定（１〜複数）サンプル以上歌唱旋律の音高に合っていた（リファレンス周波数から許容範囲の周波数に入っていた）場合には、「合格ノート」であると判定し、歌唱周波数が歌唱旋律の音高に合った回数が上記所定サンプル未満であった場合には「不合格ノート」であると判定する。

また、各ノート毎にリファレンスの発音タイミングと歌唱者の歌唱音声の歌唱タイミングとを比較してタイミング差を割り出し、このタイミング差に基づいてタイミングポイントを決定する。このタイミングポイントは、カラオケ曲のジャンル毎に設けられているタイミングポイントテーブルを参照して決定される。

曲が終了すると、採点部１０７は、合格ノート数に基づいて算出した基礎点にタイミングポイントの集計値を加算して最終得点を算出し、この最終得点をアドバイスなどとともにモニタ２２に表示する。

図４を参照して歌唱タイミングの検出方式について説明する。歌唱者があるノート（音符）を歌唱しようとして発声を操作したタイミングが歌唱タイミングであり、歌いだしなどの歌の無い部分から歌唱を開始した場合には、同図（Ｂ）に示すように、歌唱周波数検出部１０２に歌唱音声が入力されて、周波数の検出を開始したタイミングｄを歌唱タイミングとする。この歌唱タイミングとリファレンスの発音タイミングＲとの時間差がタイミング差である。

一方レガート歌唱などで複数のノートが連続している場合には、同図（Ａ）のように歌唱周波数が発音タイミングＲの付近で所定範囲（許容範囲）以内に接近したタイミングａを歌唱タイミングとする。

また、歌唱者が前のノートからこのノートに移行しようとし始めたタイミングをとらえて歌唱タイミングとしてもよい。すなわち、同図（Ａ）において、許容範囲内に接近したタイミングａの直前で音高の変化がスタートしたタイミングｂや変化の傾きが所定値以上になったタイミングｃなどを歌唱タイミングとするようにしてもよい。

なお、同図（Ａ）は音高の低いノートから高いノートへの変化（上昇）について説明しているが、音高の高いノートから低いノートへの変化（下降）についても上下が反転するのみで同様である。

また、同図（Ａ）の歌唱タイミングａは遅れ方向であり、歌唱タイミングｂ，ｃおよび同図（Ｂ）の歌唱タイミングｄは進み（突っ込み）方向であるが、タイミングの進み遅れはこれに限定されるものではない。

また、発音タイミングＲと歌唱タイミングａ，ｂ，ｃとのタイミング差を検出する範囲は、前のノートおよび後のノート（発音タイミングＲで発音するノート）の長さのそれぞれ１／２〜１／３程度までの範囲でよい。もし、それ以上離れたタイミングで歌唱周波数がこの条件に該当しても、これがこのノートの発音のための音高変化であると特定しえないためである。

上記歌唱タイミングの検出方式は、歌唱周波数の変化を監視して歌唱タイミングを検出するものであったが、同図（Ｃ）に示す方式は、リファレンスの発音タイミングＲをはさむ２つのノート（前のノートおよび後のノート）のリファレンス周波数と歌唱周波数とを相互に時間軸方向に移動させて相互相関を求めてそれが最大の位置を割り出し、その相互相関が最大の位置ともとのデータ位置とのずれ量をタイミング差（ｅ）とする。この方式であれば、音高変化時の波形だけでなく、ノート全体の波形に基づいて歌唱タイミングを割り出すことができる。

上記の比較において、単に同じタイミングの歌唱周波数とリファレンス周波数とを比較するのではなく、リファレンス周波数を時間軸上で前後に移動させ、両サンプル列の相互相関が最大になる位置で対応する歌唱音声周波数とリファレンス周波数比較するようにしている。相互相関は、

の相互相関関数で求めてもよいが、ずらしたときに対応するサンプル同士の差分をとり、その差分の積算値が最小となる位置を最大相関点とするようにしてもよい。

上記の方式でタイミング差が検出されると、このタイミング差でタイミングポイントテーブルを参照してタイミングポイントを割り出す。

図５は、タイミングポイントテーブルの例を示す図である。同図（Ａ）は「演歌」に対応したタイミングポイントテーブルの例を示している。演歌の場合はジャストタイミングから遅れ気味で歌唱する「ため」の歌唱技巧に対応するため、ジャストタイミングから遅れ気味の範囲で大きな＋点（加点）が与えられるようになっている。これに対して進み気味（突っ込み気味）の歌唱は焦って聞こえるため、−点（減点）が与えられるようになっている。

一方、同図（Ｂ）は「ポップス系」のカラオケ曲対応したタイミングポイントテーブルの例を示している。ポップスの場合、正確なビートでリズムが刻まれているため、歌唱もジャストタイミングが望まれ、大きく遅れても大きく進んでも−点になる。ジャストタイミングの範囲およびわずかな進みの範囲で＋点が与えられる。

カラオケ曲が選択されたとき、そのカラオケ曲のジャンルに応じてタイミングポイントテーブルが選択され、歌唱のノート毎にタイミングポイントが割り出される。そして、カラオケ曲が終了したとき、全てのタイミングポイントの平均値を算出し、合格ノート／不合格ノートの数に基づいて算出された基礎点に加算して最終得点とする。タイミングポイントは＋５点〜−５点程度の範囲で算出されるようにするとよい。

図５には、演歌系とポップス系のカラオケ曲向けのタイミングポイントテーブルのみ示しているが、他の種々のジャンル向けのタイミングポイントテーブルを設けてもよく、ポップス系のタイミングポイントテーブルを非演歌系のカラオケ曲全てに適用してもよい。

また、タイミングポイントの算出方式は、タイミングポイントテーブルに限定されず、関数を用いるなど他の方式によってもよい。

曲が終了したとき、各ノート毎に決定された合格ノート、不合格ノートの数に基づいて得点を求める。得点は、たとえば、合格ノート数の楽曲の全ノート数に対するパーセント、すなわち合格ノート数を全ノート数で除算して１００を掛けたものであるが、この重み付け採点では、合格ノート数を各ランク別に集計してそれぞれの重み付け係数を乗算し、この重み付けされた値を合計したものを全ノート数で除算するようにしている。そして、カラオケ装置におけるエンターテイメント機能であることを考慮して、これに５０を掛けた値に５０を加算して１００点満点とし、最低でも５０点が出るようにしている。この算出方式では、合格ノートのみを採点の対象にしているが不合格ノートの数やそのランクを採点の対象にしてもよい。
そして、この得点にタイミング差に基づいて決定されたタイミングポイントの集計値を加算して最終的な得点を算出する。

また、上記合格ノート、不合格ノートを判定するための周波数の比較に際して、歌唱周波数およびリファレンス周波数に対してローパスフィルタ（ＬＰＦ）処理（１０５，１０６）を施したのち、比較するようにしもよい。リファレンス周波数に対するＬＰＦ処理は、機械的な音高列であるリファレンス（図６（Ａ）参照）の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するＬＰＦ処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。

図６はＬＰＦ処理前後のリファレンス周波数波形および歌唱周波数波形の例を示す図である。
図６（Ａ）はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してＬＰＦ処理を行うことにより、同図（Ｂ）に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このＬＰＦ処理の対象外にする。これにより、音の無い区間のデータによりＬＰＦ処理が不自然な動きになってしまうことを防止することができる。

同図（Ｃ）は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符（音高）の変わり目でなだらかな音高の移行（いわゆる「しゃくり」）をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをＬＰＦ処理することにより、同図（Ｄ）に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。

なお、マイク１７から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部１０２は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がＬＰＦ処理部１０６に入力されると、その１サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、１５０セント以上の突然の音高変化があった場合には、そのデータを無視して（直前のサンプルデータをもう一度採用して）ＬＰＦ処理を行うことにより、ノイズによる悪影響を防止することができる。

歌唱周波数およびリファレンス周波数のデータ列は、３０ｍｓ毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するＬＰＦ処理部１０６は、カットオフ周波数５．５Ｈｚの２次フィルタを用い、リファレンス周波数に対するＬＰＦ処理部１０５は、カットオフ周波数５Ｈｚの２次フィルタを用いている。

なお、この歌唱周波数、リファレンス周波数に対するＬＰＦ処理は必須ではない。また、どちらか一方のみに対して行っても上記それぞれの効果を得ることができる。

また、周波数の判定だけでなく、図４（Ｃ）の相互相関を求めてタイミング差を求める処理においても、リファレンス周波数および歌唱周波数の両方または一方にＬＰＦ処理をしたのち相互相関を求めるようにしてもよい。

フローチャートを参照して採点モード処理プログラム３４の処理について説明する。
図７は採点モード処理プログラム３４の動作を示すフローチャートである。この動作ではボーカルアダプタ１９からの入力を監視し、入力されたデータに対応した処理を実行する。３０ｍｓ毎に入力バッファをチェックして歌唱周波数およびリファレンス周波数を取り込むとともにノートオン／オフ情報が入力されているかを確認する。歌唱周波数、リファレンス周波数を取り込むと（ｓ１）、タイミング差を検出するために生データをリストメモリ（図８参照）のタイミング検出用メモリに書き込む（ｓ５）。そして、その両方に対してＬＰＦ処理を実行し（ｓ６）、このＬＰＦ処理されたサンプルデータを周波数差（音程）を検出するためのリストメモリの音程検出用メモリに書き込む（ｓ７）。

ここで、リストメモリはハードディスク１１またはＲＡＭ１２に設定されるメモリエリアであり、図８に示すように、生のリファレンス周波数・歌唱周波数のサンプルデータ、ＬＰＦ処理されたリファレンス周波数・歌唱周波数およびノートオン、ノートオフのイベント情報を入力順に所定量順次記憶するように設定されている。ノートオフ時にこのメモリエリアに書き込まれたデータを用いて周波数差、タイミング差が検出され合格ノート／不合格ノートが判定される。

リファレンス周波数検出部１０１からノートオン情報が入力された場合には（ｓ２）、これを前記リストメモリのイベント情報メモリに書き込む（ｓ１０）。このノートオン情報が書き込まれた位置が図４に示すリファレンスの発音タイミングＲに相当する。

ノートオフ情報が送られてきた場合には（ｓ３）、これを前記イベント情報メモリに書き込み（ｓ１１）、音程検出用メモリに蓄積されたサンプルデータに基づいて採点対象ノートの合格／不合格を判定する（ｓ１２）。この判定は、音程（周波数差）に基づく合否の判定である。さらに、タイミング検出用メモリに蓄積されたサンプルデータに基づいてタイミング差を検出し、これに基づいてタイミングポイントを割り出す（ｓ１３）。このタイミングポイントを割り出すときに用いるテーブルは、このカラオケ曲のジャンルに対応したものであり、このタイミングポイントテーブルの読み出しは、カラオケ曲のスタート時にヘッダのジャンルデータを参照して行われる。そして、この合否判定結果およびタイミングポイントを記憶する（ｓ１４）。

上記の処理をノート毎に繰り返して行い。曲が終了すると（ｓ４）、得点集計処理（ｓ１５）を実行する。

図９は得点集計処理を示すフローチャートである。この動作は、上記メインルーチンのｓ１５で実行される。まず、全ノート数および合格ノート数を集計する（ｓ３０）。次に合格ノート数を全ノート数で除算し、この点に５０を乗算し、次に５０を加算して得点を算出する（ｓ３１）。そして、タイミングポイントを集計する（ｓ３２）。このタイミングポイントの集計は、全タイミングポイントを加算して全ノートで除した平均点を算出する処理である。そして、この集計されたタイミングポイントを合格ノート数から算出した得点に加算して最終得点を算出し（ｓ３３）、この最終得点、およびタイミングのアドバイス等をモニタ２２に表示する（ｓ３４）。

このモニタ２２への表示例を図１０に示す。同図（Ａ）はタイミング差をヒストグラム表示した例である。この表示によると、歌唱者の歌唱の傾向を詳細に知ることができる。また、同図（Ｂ）は進みノート数と遅れノート数を縦軸／横軸に表示した例である。この表示によると、歌唱者の歌唱の傾向を一見して知ることができる。
また、単純にタイミング差の平均値を求めて、これを表示するようにしてもよい。

なお、この実施形態では、タイミングポイントテーブルをジャンル別に設けたが、カラオケ曲毎に設けるようにしてもよい。たとえば、カラオケ曲の楽曲データ中にタイミングポイントテーブルを含めておき、カラオケ曲の配信と一緒に配信されるようにしてもよい。そして、曲別のタイミングポイントテーブルを有さない旧来の楽曲データの場合には、予め設けてあるジャンル別のタイミングポイントテーブルを用いるようにすればよい。

また、この実施形態では、前記歌唱音声入力手段が、歌唱音声周波数の検出を開始したとき、この開始点をその周波数にかかわらず歌唱タイミングとしている。
これにより、フレーズの切れ目など歌の無い部分からのや歌いだし時に、歌唱が入力されて周波数の検出がスタートしたときを歌唱タイミングとする。これにより、歌唱者によっては歌いだしの音程が外れてしまう場合があるが、その場合でもタイミングの判定を正しくすることができる。

この発明の実施形態であるカラオケ装置のブロック図 同カラオケ装置で用いられる曲データの構成例を示す図 同カラオケ装置の採点処理の機能ブロックを示す図 同カラオケ装置おけるタイミング差検出の方式を説明する図 同カラオケ装置が用いるタイミングポイントテーブルの例を示す図 同カラオケ装置におけるＬＰＦ処理を説明する図 同カラオケ装置の採点処理動作を示すフローチャート 同カラオケ装置のタイミング検出用メモリおよび音程検出用メモリを示す図 同カラオケ装置の得点集計処理を示すフローチャート 同カラオケ装置におけるタイミング差およびアドバイスの表示例を示す図

符号の説明

１０…ＣＰＵ、１１…ハードディスク、１２…ＲＡＭ、１３…音源、１４…ミキサ、１５…サウンドシステム、１６…スピーカ、１７…マイク、１８…Ａ／Ｄコンバータ、１９…ボーカルアダプタ、２０…ＭＰＥＧデコーダ、２１…合成回路、２２…モニタ、２３…操作部、
３０…シーケンサ、３１…曲シーケンサ、３２…歌詞シーケンサ、３２ａ…文字パターン作成プログラム、３３…背景映像再生プログラム、３４…採点モード処理プログラム、３５…操作入力処理プログラム、
４０…曲データ記憶エリア、４１…背景映像記憶エリア、４３…採点ログ、
１０１…リファレンス周波数検出部、１０２…歌唱周波数検出部、１０５、１０６…ローパスフィルタ処理部、１０７…採点部

Claims (4)

1. カラオケ曲を演奏するための演奏データ、歌唱旋律を示すリファレンスデータおよび曲のジャンルを示すジャンルデータを含む楽曲データを記憶した記憶手段と、
   前記楽曲データの演奏データに基づいてカラオケ曲を演奏するとともに、前記リファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
   歌唱音声を入力する歌唱音声入力手段と、
   入力された歌唱音声を前記リファレンスデータと比較することによって、各音符毎の歌唱タイミングの進みまたは遅れの程度であるタイミング差を検出し、検出したタイミング差をこのカラオケ曲のジャンルに応じた重みづけで採点する採点手段と、
   を備えたカラオケ装置。
2. 前記記憶手段は、前記楽曲データに加えて、タイミング差の大きさに応じた点数を記憶したタイミングポイントテーブルをジャンル別に記憶しており、
   前記採点手段は、演奏しているカラオケ曲のジャンルに応じたタイミングポイントテーブルを用いてタイミング差を採点する請求項１に記載のカラオケ装置。
3. 前記リファレンスデータは、歌唱旋律の各音符の音高情報および各音符の区切り情報を含み、
   前記採点手段は、入力した歌唱音声から歌唱音声周波数を検出してこれを各音符の音高周波数と比較し、歌唱音声周波数が各音符の音高周波数から所定の範囲内に接近したタイミングをその音符の歌唱タイミングとし、この歌唱タイミングを当該音符の開始タイミングと比較することによりタイミング差を検出する手段である請求項１または請求項２に記載のカラオケ装置。
4. 前記リファレンスデータは、歌唱旋律の各音符の音高情報および各音符の区切り情報を含み、
   前記採点手段は、入力した歌唱音声から歌唱音声周波数を検出してこれを各音符の音高周波数と比較し、採点対象音符を含む所定区間の歌唱音声周波数とリファレンスデータの周波数とを時間軸方向に相互にずらしてその相互相関が最大となる位置を割り出し、そのずれ量をその音符のタイミング差とする手段である請求項１または請求項２に記載のカラオケ装置。

Images