JP2017062788A - 音声−触覚干渉を補償するように触覚効果を修正するためのプログラム可能な触覚デバイスおよび方法 - Google Patents

Abstract

【課題】従来得られなかった触覚効果の変化を提供し、より没入可能な楽しい体験をユーザに提供する触覚フィードバック・システムを提供する。【解決手段】システムは、プロセッサと、音声ディスプレイと、触覚出力デバイスを含む触覚周辺機器とを含む。音声ディスプレイはスピーカー及びヘッドフォン・コネクタを含む。触覚出力デバイスはプロセッサから制御信号を受信し、該制御信号に応答して触覚周辺機器へ触覚効果を出力する。プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況に応じて触覚出力デバイスに対する制御信号を変化させ、音声ディスプレイが音声出力アクセサリに接続されている場合（ヘッドフォン・コネクタ経由の音声出力）には第１の触覚効果を生成して適用し、接続されていない場合（スピーカー経由の音声出力）には第２の触覚効果を生成して適用するように、触覚出力デバイスを制御する。【選択図】図２

Description

本発明の実施形態は、触覚効果またはフィードバックを与えるためのシステムおよび方法に関する。

ビデオ・ゲームおよびバーチャル・リアリティ・システムは、カジュアルなゲーマーに向けたマーケティング、およびその結果のカジュアルなゲーマーの参加によって、より一層人気となっている。典型的な実装では、コンピュータ・システムは、視覚的またはグラフィカルな環境をユーザに対して表示デバイス上に表示する。ユーザは、コントローラまたは周辺デバイスからコマンドまたはデータを入力することで、表示された環境と対話することができる。コンピュータは、ジョイスティック・ハンドルなどの可動の操作子（ｍａｎｉｐｕｌａｎｄｕｍ）をユーザが操作したことに応答して環境を更新し、表示画面を用いて視覚的フィードバックをユーザに与える。

従来のビデオ・ゲーム・デバイスまたはコントローラは、視覚および聴覚の合図を用いてユーザにフィードバックを与える。一部のコントローラまたは周辺デバイスでは、運動感覚フィードバック（たとえば能動的および抵抗的な触覚フィードバック）および／または触覚フィードバック（たとえば振動、質感、および熱）もまたユーザに与えられ、より一般的には、総称的に「触覚フィードバック」または「触覚効果」として知られている。触覚フィードバックは、ユーザ・コントローラまたは周辺デバイスを強化し簡素化する合図を提供することができる。たとえば、振動効果または振動触覚性の触覚効果は、電子デバイスのユーザに合図を与えてユーザに特定のイベントを警告するのに有用な場合があり、または現実的なフィードバックを与えて疑似環境もしくは仮想環境へのより優れた感覚的な没入を創出することができる。一般的には、ゲーム・デバイスおよび他のデバイス用の従来の触覚フィードバック・システムは、コントローラ／周辺機器の筐体に取り付けられた触覚フィードバックを生成するためのアクチュエータを含む。より具体的には、コントローラまたは周辺デバイスのモータまたは他のアクチュエータは、コントローラ内に収容され、制御用コンピュータ・システムに接続される。コンピュータ・システムは、コントローラまたは周辺デバイスからセンサ信号を受信し、アクチュエータに適切な触覚フィードバック制御信号を送信する。次いで、アクチュエータは触覚フィードバックをコントローラに与える。このようにして、コンピュータ・システムは、身体的な感覚をユーザに対して、他の視覚および聴覚のフィードバックと共に伝えることができる。

従来は得られなかった触覚効果の変化を提供して、より没入可能な楽しい体験をユーザに提供する触覚フィードバック・システムが必要となる。

本発明の実施形態は、プロセッサと、音声ディスプレイと、触覚周辺機器とを備えるシステムに関する。音声ディスプレイは音声出力デバイスを含む。触覚周辺機器は触覚出力デバイスを含み、触覚出力デバイスは、プロセッサから制御信号を受信し、プロセッサからの制御信号に応答して触覚周辺機器へ触覚効果を出力する。プロセッサは、触覚出力デバイスと音声出力デバイスの間の干渉に関連して検出された状況に応じて触覚出力デバイスに対する制御信号を変化させて、触覚出力デバイスと音声出力デバイスの間に干渉がないまたは僅かであることを示す第１の状態を該検出された状況が呈示する場合は第１の触覚効果を生成して適用し、触覚出力デバイスと音声出力デバイスの間に干渉があることを示す第２の状態を該検出された状況が示す場合は第２の触覚効果を生成して適用するように、触覚出力デバイスを制御する。第１の触覚効果は第２の触覚効果と異なる。

また、本発明の実施形態は、プロセッサと、スピーカーおよびヘッドフォン・コネクタを含む音声ディスプレイと、触覚出力デバイスを含む触覚周辺機器とを備えるシステムに関する。触覚出力デバイスは、プロセッサから制御信号を受信し、プロセッサからの制御信号に応答して触覚周辺機器へ触覚効果を出力する。プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況に応じて触覚出力デバイスに対する制御信号を変化させて、ヘッドフォン・コネクタを介して音声を出力するために音声ディスプレイが音声出力アクセサリに接続されている場合は第１の触覚効果を生成して適用し、スピーカーを介して音声を出力するために音声ディスプレイが音声出力アクセサリに接続されていない場合は第２の触覚効果を生成して適用するように、触覚出力デバイスを制御する。第１の触覚効果は第２の触覚効果と異なる。

また、本発明の実施形態は、プロセッサと、音声ディスプレイと、触覚出力デバイスを含む触覚周辺機器とを備えるシステムに関する。音声ディスプレイは、プロセッサから制御信号を受信し、プロセッサからの制御信号に応答して音声を出力する。触覚出力デバイスは、プロセッサから制御信号を受信し、プロセッサからの制御信号に応答して触覚周辺機器へ触覚効果を出力する。プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況に応じて、触覚出力デバイスに対する制御信号または音声ディスプレイに対する制御信号を変化させる。

本発明の一実施形態による触覚周辺機器に触覚フィードバックを与えるためのシステムのブロック図である。 図１のシステムの略図であり、このうち触覚周辺機器は触覚ジョイスティックである。 本発明の一実施形態による触覚周辺機器の斜視図であり、触覚周辺機器は手持ち式ゲーム用コントローラである。 本発明の一実施形態による触覚周辺機器の斜視図であり、触覚周辺機器は手持ち式ゲーム用コントローラである。 図３および図４のゲーム用コントローラのブロック図である。 本発明の一実施形態による触覚周辺機器に触覚フィードバックを与えるためのシステムの斜視図であり、触覚周辺機器はタブレット・コンピュータと共に使用され得るゲーム用タブレット・コントローラである。 図６のシステムのブロック図である。 本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は音声出力アクセサリ接続状況に応じて変化する。 本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は、音声ディスプレイの音声出力アクセサリ接続状況と、音声ディスプレイの検出された設定とに応じて変化し、検出された設定は音量レベルである。 本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は、音声ディスプレイの音声出力アクセサリ接続状況と、音声ディスプレイの検出された設定とに応じて変化し、検出された設定は電源状況である。 本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は、音声ディスプレイの音声出力アクセサリ接続状況と、触覚周辺機器の所定の属性とに応じて変化し、所定の属性は触覚出力および音声出力の間の干渉に関係する。 本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は、触覚出力および音声出力の間の干渉に関連する検出された状況に応じて変化する。

本発明の前述および他の特徴および利点は、添付の図面に示された本発明の実施形態の以下の説明から明らかとなる。添付の図面は、本明細書に組み込まれており本明細書の一部を形成するものであり、さらに、本発明の原理を説明し、当業者が本発明を製作し使用できるようにする役割を果たす。図面は縮尺通りではない。

以下、本発明の特定の実施形態が図面を参照しながら説明され、図面では同様の参照符号は同一または機能的に同様の要素を示す。以下の詳細な説明は本質的に例示的なものにすぎず、本発明または本発明の用途および使用法を限定するものではない。さらに、前述の技術分野、背景、概要または以下の詳細な説明において提示されたいかなる明示または暗示された理論によっても制約される意図はない。さらに、以下の説明は主にゲーム・デバイスおよびゲーム・デバイス用のコントローラを対象としているが、その説明が、他のバーチャル・リアリティ・システムおよびこれらのバーチャル・リアリティ・システム用の周辺機器にも等しく適合することは、当業者であれば理解するであろう。

本発明の実施形態は、プロセッサと、音声ディスプレイと、触覚出力デバイスを含む触覚周辺機器とを含むシステムに関する。触覚周辺機器は触覚出力デバイスを含み、触覚出力デバイスは、プロセッサから制御信号を受信し、プロセッサからの制御信号に応答して触覚周辺機器へ触覚効果を出力するように構成される。図面に関連して本明細書でより詳細に説明される本発明の一実施形態によれば、プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況に応じて触覚出力デバイスに対する制御信号を変化させるように構成される。場合によっては、音声および触覚の出力または効果は互いに干渉することがあり、したがってこれらの場合には、そのような干渉を最小化するまたは防ぐために、音声および／または触覚出力を変化させるまたは修正することが望ましい。たとえば、特定の触覚効果が音声ディスプレイの一体型スピーカーを介して出力される場合に、音声−触覚干渉が問題となり得る。本発明の一実施形態では、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈ（登録商標）デバイスがシステムの音声ディスプレイに接続され、したがって接続された音声出力アクセサリ・デバイスを介して音声が出力される場合、触覚出力デバイスは第１の触覚効果を生成および適用する。しかしながら、音声出力アクセサリ・デバイスがシステムの音声ディスプレイに接続されておらず、したがって音声ディスプレイの一体型スピーカーを介して音声が出力される場合、触覚出力デバイスは第１の触覚効果と異なる第２の触覚効果を生成および適用する。一実施形態では、（ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスが音声ディスプレイに接続されている場合にレンダリングされる）第１の触覚効果は、（音声出力アクセサリ・デバイスが音声ディスプレイに接続されていない場合にレンダリングされる）第２の触覚効果より強く、したがって、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスなどの接続された音声出力アクセサリ・デバイスを介して音声が出力される場合に与えられるより強い効果と比較して、音声ディスプレイの一体型ディスプレイを介して音声が出力される場合により弱い効果が与えられる。

本明細書で使用される場合、「音声ディスプレイ」という用語は、音声または制御信号を出力することによって音を生成することが可能なシステムの１つまたは複数のコンポーネントを含む。言い換えれば、音声ディスプレイは、システムのプロセッサから制御信号を受信し、プロセッサからの制御信号に応答して音声を出力するように構成される。音声ディスプレイは、１つまたは複数の音声出力デバイスまたはアクセサリ、たとえば、限定はされないが、スピーカー、ヘッドフォン、トランスデューサなどを含むことができる。音声出力デバイスもしくはアクセサリはシステムに統合することができ、または音声出力デバイスもしくはアクセサリは、システムに選択的に接続されるもしくは別の方法で接続される別個のコンポーネントとすることができる。たとえば、音声ディスプレイの音声出力デバイスは、１つまたは複数の一体型または内臓デバイス（すなわち、システムの一体型または内臓スピーカー、たとえば携帯電話またはタブレット・コンピュータの一体型スピーカー）とすることができ、ならびに／あるいは、音声ディスプレイの出力またはヘッドフォン・コネクタを介してシステムに選択的に接続される１つまたは複数のアクセサリ・デバイス（すなわち、携帯電話またはタブレット・コンピュータに音声ディスプレイの出力またはヘッドフォン・コネクタを介して接続されるスピーカーまたはヘッドフォン・セット）とすることができる。

音声出力アクセサリ接続状況に応じて触覚効果を変化させるまたは修正することは、様々なタイプの触覚周辺機器、たとえば図１〜７に示されたものと共に利用することができる。より具体的には、図１は、本発明の一実施形態による触覚周辺機器１０２に触覚フィードバックを与えるためのシステム１００のブロック図であり、図２は図１のシステムの略図である。図１〜２の実施形態では、触覚周辺機器１０２は、ただ１つの操作子１２２を有する触覚ジョイスティックである。しかしながら、触覚ジョイスティックが触覚周辺機器の一例示的実施形態にすぎず、他の構成、形状、および大きさを有する触覚周辺機器を使用できることを当業者であれば理解するであろう。たとえば、本明細書でより詳細に説明されるように、触覚周辺機器は、ビデオ・ゲーム・コンソール・システム用に現在使用可能な多数の「ゲームパッド」と同様の形状および大きさの、図３〜５に示されたゲーム・システム用の手持ち式ゲーム用コントローラ３０２、図６〜７に示されたようなタブレット・コンピュータ６０４と共に使用可能な触覚周辺機器６０２、または、ユーザ入力（ＵＩ：ｕｓｅｒ ｉｎｐｕｔ）素子を有する他のコントローラ、たとえば、限定はされないが、携帯電話、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、タブレット、コンピュータ、ゲーム用周辺機器、および当業者に知られているバーチャル・リアリティ・システム用の他のコントローラとすることができる。

図１〜２の実施形態に関して、触覚周辺機器１０２は、仮想環境をユーザに対してビデオまたは視覚ディスプレイ１０６上に生成するように構成されたホスト・コンピュータ（またはコンピュータ・システム）１０４と通信可能である。ホスト・コンピュータ１０４は、ビデオ・ゲーム・コンソール、モバイル・デバイス、または仮想環境をユーザに対してディスプレイ上に生成するように構成されたプロセッサを含む他の任意のタイプのコンピュータ・システムを含むことができる。図１のブロック図に示されるように、ホスト・コンピュータ１０４は、ホスト・プロセッサ１０８、メモリ１１０、および視覚ディスプレイ１０６を含む。ホスト・コンピュータ１０４は、メモリ１１０に格納されホスト・プロセッサ１０８により実行されるソフトウェア・アプリケーションを実行する。ホスト・プロセッサ１０８は、任意のタイプの汎用プロセッサであってよく、または触覚効果信号を提供するよう専用に設計されたプロセッサとすることができる。ホスト・プロセッサ１０８は、ホスト・コンピュータ１０４全体を動作させる同一のプロセッサとすることができ、または別個のプロセッサとすることができる。ホスト・プロセッサ１０８は、どの触覚効果を触覚周辺機器１０２に送信すべきか、およびどの順序で触覚効果を送信すべきかを決定することができる。メモリ１１０は、任意のタイプの記憶デバイスまたはコンピュータ可読媒体、たとえば、限定はされないが、ランダム・アクセス・メモリ（ＲＡＭ）または読み出し専用メモリ（ＲＯＭ）とすることができる。また、メモリ１１０は、ホスト・プロセッサの内部に配置することができ、または内部および外部メモリの任意の組み合わせとすることができる。

ホスト・コンピュータ１０４は、有線または無線の手段を介して視覚ディスプレイ１０６に接続される。視覚ディスプレイ１０６は、グラフィカルな情報をユーザに提供する任意のタイプの媒体とすることができ、これは、限定はされないが、モニタ、テレビ画面、プラズマ、ＬＣＤ、プロジェクタ、または他の任意の表示デバイスを含む。一実施形態では、当技術分野で知られているように、ホスト・コンピュータ１０４はゲーム・デバイス・コンソールであり、視覚ディスプレイ１０６はゲーム・デバイス・コンソールに接続されるモニタである。別の実施形態では、当業者に知られているように、ホスト・コンピュータ１０４および視覚ディスプレイ１０６は、単一のデバイスに組み合わされ得る。

また、ホスト・コンピュータ１０４は、音声ディスプレイ１０５を含む。この実施形態では、音声ディスプレイ１０５はホスト・コンピュータ１０４に統合される。音声ディスプレイ１０５は、少なくとも１つの内臓または一体型スピーカー１０５Ａと、内部にヘッドフォンを受けるように構成されたヘッドフォンまたは出力コネクタ１０５Ｂとを含む。したがって、ユーザはヘッドフォンをホスト・コンピュータ１０４にヘッドフォン・コネクタ１０５Ｂを介して差し込んで音声出力を聞くことができ、または音声は一体型スピーカー１０５Ａを介して出力することができる。本明細書で使用される場合、「ヘッドフォン・コネクタ」は、従来のヘッドフォン・ジャック、ならびにヘッドフォンのペアをシステムに無線で接続するように構成された、たとえば、限定はされないがＢｌｕｅｔｏｏｔｈなどの無線ヘッドフォン・コネクタまたはアダプタを含む。一体型として説明されているが、スピーカー１０５Ａはホスト・コンピュータ１０４に接続される別個のコンポーネントとすることができ、および／またはスピーカー１０５Ａはシステム１００の異なるコンポーネントに接続することができることは当業者にとって明らかであろう。さらに、本明細書でより詳細に説明されるように、本発明の実施形態では、音声ディスプレイは、システムの様々なコンポーネント、たとえばホスト・コンピュータ、触覚周辺機器、または２次周辺機器、たとえば視覚ディスプレイに統合することができる。

図１〜２に示された実施形態では、ホスト・コンピュータ１０４は、有線またはＵＳＢ接続１０３を介して触覚周辺機器１０２と通信可能である。しかしながら、他の実施形態では、触覚周辺機器１０２は、当業者に知られている他の有線通信または無線通信手段を用いてホスト・コンピュータ１０４と通信することができる。これは、限定はされないが、シリアルまたはＢｌｕｅｔｏｏｔｈ接続を含むことができる。さらに、ホスト・コンピュータ１０４は、クラウド内にあってもよく、したがって、ローカルに有線接続されるまたは無線接続される必要はない。

図２に最も良く示されるように、触覚周辺機器１０２は、筐体（または土台）１２０と、１または２以上の自由度で動き得る操作子（またはユーザ入力デバイス）１２２とを含む。操作子１２２は、筐体１２０から延びている。図２では触覚周辺機器の操作子としてジョイスティックを例示しているが、本開示がジョイスティック操作子に限定されず、全体的または部分的に１または２以上の自由度で動かせる任意のデバイスも含むことは当業者には理解されよう。ジョイスティックがコントローラの操作子の一例示的実施形態にすぎず、本明細書でより詳細に説明されるように、他の構成を有する操作子、たとえばトリガ、ボタン、または他のユーザ入力素子を使用できることを当業者であれば理解するであろう。

図１をさらに参照すると、触覚周辺機器１０２は、ローカル・プロセッサ１１２、ローカル・メモリ１１４、操作子センサ１２３、および少なくとも１つの触覚出力デバイス１１８を含む。また、触覚周辺機器１０２は、接続センサ１１６、および追加パラメータ・センサ１１７を含むことができるが、そのようなセンサは、本明細書でより詳細に説明されるように、全ての実施形態で必要なわけではない。あるいは、触覚周辺機器１０２は、ローカル・プロセッサ１１２を含まないように構成することができ、これにより触覚周辺機器１０２からの全ての入力／出力信号がホスト・コンピュータ１０４により直接扱われ処理される。本明細書でより詳細に説明されるように、ローカル・プロセッサ１１２は、触覚出力デバイス１１８に接続されて、ホスト・コンピュータ１０４からの高レベルの監視またはストリーミング・コマンドに基づいて、触覚効果を触覚出力デバイス１１８に提供する。ホスト・プロセッサ１０８と同様に、ローカル・プロセッサ１１２もまた、どんな触覚効果を送信すべきか、およびどんな順番で触覚効果を送信すべきかを決定することができる。加えて、触覚周辺機器１０２が２つ以上の触覚出力デバイスを含む場合、ローカル・プロセッサ１１２は、どの触覚出力デバイスが触覚効果信号を受信するかを決定することができる。加えて、ホスト・コンピュータ１０４のメモリ１１０と同様に、ローカル・メモリ１１４は、任意のタイプの記憶デバイスまたはコンピュータ可読媒体、たとえば、限定はされないが、ランダム・アクセス・メモリ（ＲＡＭ）または読み出し専用メモリ（ＲＯＭ）とすることができる。また、ローカル・メモリ１１４は、ローカル・プロセッサの内部に配置することができ、または内部および外部メモリの任意の組み合わせとすることができる。

上述のように、触覚周辺機器１０２の操作子１２２は、１または２以上の自由度で物理的に動かすことができる。たとえば、ユーザは操作子１２２を前、後、左または右に動かすことができる。ユーザが操作子１２２を動かすと、操作子センサ１２３は、操作子の動きおよび／または位置を検出し、センサ信号をローカル・プロセッサ１１２に送信する。次いで、ローカル・プロセッサ１１２は、センサ信号をホスト・コンピュータ１０４に伝達または送信する。受信されたセンサ信号に基づいて、ホスト・コンピュータ１０４は、ビデオ・ゲーム内でアクションを行い、仮想環境を更新する。言い換えれば、触覚周辺機器１０２の操作子１２２の動きは、ユーザからの入力を表し、これによりユーザが、ホスト・コンピュータ１０４上で動作するソフトウェア・アプリケーション、たとえば、限定はされないが、一人称シューティング（ｆｉｒｓｔ ｐｅｒｓｏｎ ｓｈｏｏｔｅｒ）、三人称キャラクタ・インタラクション（ｔｈｉｒｄ ｐｅｒｓｏｎ ｃｈａｒａｃｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ）、車両関連ゲーム、またはコンピュータ・シミュレーションなどに関係するビデオ・ゲームと対話することが可能になる。操作子１２２の動きは、コンピュータにより生成されるグラフィカル・オブジェクト、たとえばカーソルもしくは他の画像、またはホスト・コンピュータ１０４により視覚ディスプレイ１０６を介して表示される他の何らかのグラフィカル・オブジェクトなどの動きに対応する入力、あるいは仮想キャラクタもしくはゲーム用アバター、たとえば人物、車両、またはゲームもしくはコンピュータ・シミュレーションにおいて見つけることができる他の何らかのエンティティなどを制御するための入力をホスト・コンピュータ１０４に提供することができる。

操作子センサ１２３からセンサ信号を受信することに加えて、ローカル・プロセッサ１１２はまた、触覚出力デバイス１１８から出力される触覚効果に関係する高レベルの監視またはストリーミング・コマンドをホスト・コンピュータ１０４から受信する。次いで、ローカル・プロセッサ１１２は、ホスト・コンピュータ１０４からの高レベルの監視またはストリーミング・コマンドに基づいて、制御または駆動信号を触覚出力デバイス１１８に提供する。たとえば、動作時に、電圧の大きさおよび持続時間がホスト・コンピュータ１０４から触覚周辺機器１０２にストリーミングされ、ここでローカル・プロセッサ１１２を介して触覚出力デバイス１１８に情報が提供される。ホスト・コンピュータ１０４は、高レベルのコマンド、たとえば、触覚出力デバイス１１８により出力される触覚効果のタイプ（たとえば、振動、急激な揺れ（ｊｏｌｔ）、移動止め（ｄｅｔｅｎｔ）、急な衝撃（ｐｏｐ）など）をローカル・プロセッサ１１２に提供することができ、これによりローカル・プロセッサ１１２は触覚出力デバイス１１８に、出力される触覚効果の特定の特徴（たとえば、大きさ、周波数、持続時間など）について指示する。ローカル・プロセッサ１１２は、それに接続されたローカル・メモリ１１４から、触覚効果のタイプ、大きさ、周波数、持続時間、または他の特徴を取得することができる。ホスト・コンピュータ１０４から受信されたゲーム・アクションおよび制御信号に応じて、ローカル・プロセッサ１１２は、多種多様な触覚効果または感覚、たとえば振動、移動止め、質感、急激な揺れまたは急な衝撃のうちの１つを出力するための制御または駆動信号を触覚出力デバイス１１８に送信することができる。

触覚出力デバイス１１８は、バーチャル・リアリティ・システムの当業者に知られているような慣性または運動感覚アクチュエータとすることができる。可能なアクチュエータは、限定はされないが、偏心質量がモータにより動かされる偏心回転質量（「ＥＲＭ：ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ」）アクチュエータ、ばねに取り付けられた質量が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ：ｌｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ」）、圧電アクチュエータ、偏心質量がモータによって動かされる電磁モータ、振動触覚アクチュエータ、慣性アクチュエータ、形状記憶合金、信号に応答して変形する電気活性ポリマー、剛性、静電摩擦（ＥＳＦ：ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ）、超音波表面摩擦（ＵＳＦ：ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ）を変化させるためのメカニズム、または上記のアクチュエータの任意の組み合わせを含む。他の実施形態では、アクチュエータは、たとえば、操作子１２２および／または筐体１２０の剛性／減衰を変化させるためのソレノイド、操作子１２２および／または筐体１２０内で大きさが変化する小型のエアバッグ、または形状変化材料などを含む運動感覚触覚フィードバックを用いることができる。

前述のように、触覚周辺機器１０２は単に触覚周辺機器の一例示的実施形態にすぎず、他の構成、形状、および大きさを有する触覚周辺機器を使用することができる。たとえば、図３〜５に、本発明の実施形態で利用され得る触覚周辺機器３０２の別の実施形態を示す。図３および図４は触覚周辺機器３０２の異なる斜視図であり、ここで触覚周辺機器は手持ち式ゲーム用コントローラであり、図５は、ホスト・コンピュータ１０４、音声ディスプレイ１０５、および視覚ディスプレイ１０６をさらに含むゲーム用システム３００で使用される触覚周辺機器３０２のブロック図を示している。触覚周辺機器３０２の筐体３２４は、左利きのユーザまたは右利きのユーザのいずれによっても、デバイスを握る両手を簡単に収容できるように成形されている。触覚周辺機器３０２は、ビデオ・ゲーム・コンソール・システム用に現在使用可能な多数の「ゲームパッド」と同様の形状および大きさのコントローラの一例示的実施形態にすぎず、ユーザ入力素子の他の構成、形状、および大きさのコントローラ、たとえば、限定はされないが、Ｗｉｉ（商標）リモートまたはＷｉｉ（商標）Ｕコントローラ、Ｓｏｎｙ（登録商標）ＳｉｘＡｘｉｓ（商標）コントローラまたはＳｏｎｙ（登録商標）Ｗａｎｄコントローラ、Ｘｂｏｘ（商標）コントローラまたは類似のコントローラ、ならびに実生活の物体（たとえばテニス・ラケット、ゴルフ・クラブ、野球のバットなど）の形状および他の形状のコントローラなどのコントローラを使用できることを当業者であれば理解するであろう。

触覚周辺機器３０２は、いくつかのユーザ入力素子または操作子、たとえばジョイスティック３２２、ボタン３３０、およびトリガ３３２を含む。本明細書で使用される場合、ユーザ入力素子とは、ユーザによりホスト・コンピュータ１０４と対話するために操作される、トリガ、ボタン、ジョイスティックなどのインターフェース・デバイスを指す。図３〜４に見られ、当業者に知られているように、各ユーザ入力素子および追加のユーザ入力素子を２つ以上、触覚周辺機器３０２に含めることができる。したがって、たとえば、トリガ３３２の本説明は、触覚周辺機器３０２を単一のトリガに限定するものではない。さらに、図５のブロック図では、ジョイスティック３２２、ボタン３３０、およびトリガ３３２をそれぞれ１つのみ示している。しかしながら、上述のように、複数のジョイスティック、ボタン、およびトリガ、ならびに他のユーザ入力素子を使用できることを当業者であれば理解するであろう。

図５のブロック図からわかるように、触覚周辺機器３０２は、そのユーザ入力素子のそれぞれを直接駆動するためのターゲット触覚出力デバイス（またはモータ）、ならびにユーザの手が通常配置される場所で筐体３２４に接続された１つまたは複数の一般的なまたは振動型（ｒｕｍｂｌｅ）触覚出力デバイス３２６、３２８を含む。より詳細には、ジョイスティック３２２は、それに接続されたターゲット触覚出力デバイス（またはモータ）３１８Ａを含み、ボタン３３０は、それに接続されたターゲット触覚出力デバイス（またはモータ）３１８Ｂを含み、トリガ３３２は、それに接続されたターゲット触覚出力デバイス（またはモータ）３１８Ｃを含む。複数のターゲット触覚出力デバイスに加えて、触覚周辺機器３０２は、そのユーザ入力素子のそれぞれに接続された位置センサを含む。より詳細には、ジョイスティック３２２は、それに接続された位置センサ３２３を含み、ボタン３３０は、それに接続された位置センサ３３１を含み、トリガ３３２は、それに接続された位置センサ３３３を含む。ローカル・プロセッサ３１２は、ターゲット触覚出力デバイス３１８Ａ、３１８Ｂ、３１８Ｃ、ならびにジョイスティック３２２、ボタン３３０、およびトリガ３３２の位置センサ３２３、３３１、３３３にそれぞれ接続される。位置センサ３２３、３３１、３３３から受信された信号に応答して、ローカル・プロセッサ３１２は、ターゲット触覚出力デバイス３１８Ａ、３１８Ｂ、３１８Ｃに、指令されたまたは対象の効果をそれぞれジョイスティック３２２、ボタン３３０、およびトリガ３３２に直接提供するように指示する。そのような対象の効果は、全体触覚出力デバイス３２６、３２８によりコントローラの本体全体に沿って生成される一般的なまたは振動型触覚効果とは識別可能または区別可能である。集合的な触覚効果は、複数の様相、たとえばビデオ、音声、および触覚が同時に関与するので、ゲームへのより高い没入感をユーザに与える。触覚周辺機器１０２およびホスト・コンピュータ１０４と同様に、触覚周辺機器３０２は、音声ディスプレイ１０５および視覚ディスプレイ１０６を有するホスト・コンピュータ１０４に接続され、これと通信する。触覚周辺機器３０２のローカル・プロセッサ３１２は、各触覚出力デバイスに接続されて、ホスト・コンピュータ１０４からの高レベルの監視またはストリーミング・コマンドに基づいて、触覚効果をその触覚出力デバイスに与える。触覚周辺機器３０２の触覚出力デバイスは、触覚周辺機器１０２の触覚出力デバイス１１８用に本明細書で列挙された任意のタイプの触覚出力デバイスとすることができる。また、触覚周辺機器３０２は、接続センサ１１６と同様の接続センサ（図示せず）、および／または追加パラメータ・センサ１１７と同様の追加パラメータ・センサ（図示せず）を含むこともできるが、本明細書でより詳細に説明されるような全ての実施形態でセンサが必要なわけではない。

図６〜７に本発明の他の実施形態による触覚周辺機器６０２を示し、ここで触覚周辺機器６０２は、当業者に理解されるように、統合された視覚および音声ディスプレイを含むタブレット・コンピュータ６０４と共に使用可能なゲーム用タブレット・コンピュータである。タブレット・コンピュータ６０４は、Ｒａｚｅｒ社から入手可能なものなど、ゲーム活動専用に設計することができ、または、よく知られており市販されているタブレット・コンピュータ、たとえばＡｐｐｌｅ（登録商標）Ｉｐａｄ（登録商標）、Ｋｉｎｄｌｅ（登録商標）Ｆｉｒｅ（登録商標）、およびＳａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂ（登録商標）などとすることができる。触覚周辺機器６０２は、タブレット・コンピュータ６０４を収めるように構成されたドッキング部６４０と、ユーザがタブレット・コンピュータ６０４上のゲームを制御するための操作子が配置されたハンドル６４２、６４４とを含む。ドッキング部６４０は、触覚周辺機器６０２をタブレット・コンピュータ６０４に接続し、その結果、ユーザがハンドル６４２、６４４上でアクションを行う、たとえばボタンを押す、ジョイスティックを動かす、トリガを押すと、タブレット・コンピュータ６０４上でプレイ中のゲーム上でアクションが行われることになる。

ハンドル６４２、６４１は、コントローラ上に見られる典型的な操作子またはユーザ入力素子を含む。操作子は、ハンドル６４４に関して説明される。しかしながら、同一または類似の操作子をハンドル６４２で使用できることを当業者であれば理解するであろう。特に、ハンドル６４４は、ジョイスティック６２２、ボタン６３０、およびトリガ６３２を含む。図６に見られ、当業者に知られているように、これらのユーザ入力素子のそれぞれを２つ以上、各ハンドル６４２、６４４に含めることができる。さらに、ハンドル６４２、６４４は、一般的なまたは振動型触覚出力デバイス３２６、３２８について上記で説明されたように、一般的なまたは振動型触覚効果をハンドル６４２、６４４に提供するために、ユーザの手が通常配置される場所に、それらに取り付けられた一般的なまたは振動型触覚出力デバイス６２６、６２８を含む。

図７のブロック図に示されるように、触覚周辺機器６０２は、ドッキング部６４０を介してタブレット・コンピュータ６０４と通信するローカル・プロセッサ６１２を含む。図７のブロック図では、ジョイスティック６２２、ボタン６３０、およびトリガ６３２をそれぞれ１つのみ示している。しかしながら、上述のように、複数のジョイスティック、ボタン、およびトリガ、ならびに他のユーザ入力素子を使用できることを当業者であれば理解するであろう。ローカル・プロセッサ６１２は、ターゲット触覚出力デバイス６１８Ａ、６１８Ｂ、６１８Ｃ、ならびにジョイスティック６２２、ボタン６３０、およびトリガ６３２の位置センサ６２３、６３１、６３３にそれぞれ接続される。位置センサ６２３、６３１、６３３から受信された信号に応答して、ローカル・プロセッサ６１２は、ターゲット触覚出力デバイス６１８Ａ、６１８Ｂ、６１８Ｃに、指令されたまたは対象の効果をそれぞれジョイスティック６２２、ボタン６３０、およびトリガ６３２に直接提供するように指示する。触覚周辺機器６０２のローカル・プロセッサ６１２は、各触覚出力デバイスに接続されて、ホスト・コンピュータ６０４からの高レベルの監視またはストリーミング・コマンドに基づいて、触覚効果をその触覚出力デバイスに与える。触覚周辺機器６０２の触覚出力デバイスは、触覚周辺機器１０２の触覚出力デバイス１１８用に本明細書で列挙された任意のタイプの触覚出力デバイスとすることができる。また、触覚周辺機器６０２は、接続センサ１１６と同様の接続センサ（図示せず）、および／または追加パラメータ・センサ１１７と同様の追加パラメータ・センサ（図示せず）を含むこともできるが、本明細書でより詳細に説明されるような全ての実施形態でセンサが必要なわけではない。

図６〜７は、タブレット・コンピュータ６０４と共に使用可能なゲーム用タブレット・コントローラとして触覚周辺機器６０２を例示しているが、触覚周辺機器およびホストまたはタブレット・コンピュータが、同一のデバイスまたは筐体の中にあってもよいことは当業者に理解されよう。言い換えれば、ゲーム用タブレット・コントローラは、関連する周辺機器を有さないゲーム用タブレットとすることができるが、むしろ触覚出力デバイスおよび音声ディスプレイはゲーム用タブレット自体に単一のデバイスとして統合される。

どの触覚周辺機器の構成または実施形態が利用されるかにかかわらず、システムのホスト・プロセッサおよび／またはローカル・プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況に応じて触覚出力デバイスに対する制御信号を変化させるように構成される。言い換えれば、システムのホスト・プロセッサおよび／またはローカル・プロセッサは、システムの音声ディスプレイが音声出力アクセサリ、たとえばヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されているか否かに応じて、触覚出力デバイスに対する制御信号を変化させるまたは修正するように構成される。たとえば、音声出力アクセサリ・デバイスが音声ディスプレイに接続されておらず、音声が音声ディスプレイの一体型スピーカーを介して出力される場合には、より弱い触覚効果が再生または出力され、音声出力アクセサリ・デバイスが音声ディスプレイに接続されており、音声が接続された音声出力アクセサリ・デバイスを介して出力される場合には、より強い触覚効果が再生または出力される。本明細書で先に述べられたように、場合によっては、音声および触覚の出力または効果は互いに干渉することがあり、したがってこれらの場合には、そのような干渉を最小化するまたは防ぐために、音声および／または触覚出力を変化させるまたは修正することが望ましい。別の例では、携帯電話のスピーカーに伝達されない特定の音または音声効果はヘッドフォンで聞くことができ、したがってこれらの場合には、携帯電話のスピーカーを介して音が出力される場合に視聴者に聞こえない音を有する触覚効果を回避するのが望ましい。接続されたヘッドフォンの存在またはその不在を検出することによって、これらの考慮事項を考慮した触覚トラック（ｔａｃｔｉｌｅ ｔｒａｃｋ）または触覚効果の選択が可能になる。本明細書でより詳細に説明されるように、本発明の実施形態は、ヘッドフォンを用いてまたは用いずにビデオを見るときの内容美学（ｃｏｎｔｅｎｔ ａｅｓｔｈｅｔｉｃ）の差を補償し、スピーカー−触覚干渉を補償し、様々なハードウェアまたはデバイス固有の問題または能力を考慮する。

本発明の任意の実施形態において、音声出力アクセサリ・デバイスは、システムの任意のコンポーネントに接続することができる。より具体的には、音声出力アクセサリ・デバイスは音声ディスプレイに接続され、本明細書に記載のように、音声ディスプレイは、ホスト・コンピュータ、触覚周辺機器、または２次周辺機器、たとえば視覚ディスプレイなどに統合することができる。したがって、音声出力アクセサリ・デバイスの接続は、どのシステム・コンポーネントに音声ディスプレイが統合されるかに依存する。たとえば、一実施形態では、音声出力アクセサリ・デバイスは、ホスト・コンピュータに接続される。より具体的には、この例では、音声ディスプレイは、ホスト・コンピュータ、たとえば、限定はされないが、ＰＣの一部であるか、またはこれに統合される。このようにして、ユーザはヘッドフォンをホスト・コンピュータに差し込んで音声出力を聞くことができ、また、ユーザは同様に触覚周辺機器をホスト・コンピュータに差し込んでゲームを制御することができる。別の実施形態では、音声出力アクセサリ・デバイスは、触覚周辺機器に接続される。より具体的には、この例では、音声ディスプレイは、触覚ディスプレイと同じ周辺機器の一部であるかまたはこれに統合され、たとえば、音声ジャックおよび一体型または内臓スピーカーを有するゲーム・コントローラである。別の実施形態では、音声出力アクセサリ・デバイスは、周辺ディスプレイ・デバイスまたはインターフェース、たとえば音声接続も提供する視覚ディスプレイ・デバイスに接続される。より具体的には、この例では、音声ディスプレイは、２次周辺機器の一部であるかまたはこれに統合され、たとえば音声機能または外部アンプを有するコンピュータ・モニタである。このようにして、ユーザはヘッドフォンを２次周辺機器に差し込んで音声出力を聞くことができ、また、ユーザは同様に触覚周辺機器をホスト・コンピュータに差し込んでゲームを制御することができる。本発明の任意の実施形態において、触覚周辺機器により出力される触覚効果は、ユーザがヘッドフォンでまたはスピーカーのいずれかを介して何を聞いているかに基づいて修正される。

より具体的には、図８は、本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートである。ステップ８５０は、方法の開始または始まりを示す。図８の実施形態では、レンダリングされる触覚効果は、音声ディスプレイの音声出力アクセサリ接続状況に応じて変化する。一実施形態では、図８の流れ図の機能は、ホスト・コンポーネントのホスト・メモリに格納されホスト・プロセッサにより実行されるソフトウェア、および／または触覚周辺機器のローカル・メモリに格納されローカル・プロセッサにより実行されるソフトウェアにより実装される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ」）、またはハードウェアおよびソフトウェアの任意の組み合わせの使用を通じてハードウェアによって、実施することができる。この実施形態では、システムの音声ディスプレイは、少なくとも一体型スピーカーと、ヘッドフォンを内部に受けるように構成されたヘッドフォン・コネクタとを含む。音声ディスプレイは、ホスト・コンピュータ、触覚周辺機器、または２次周辺機器、たとえば視覚ディスプレイに統合することができる。図８の方法が、触覚周辺機器１０２、触覚周辺機器３０２、触覚周辺機器６０２、またはビデオ・ゲームの分野で知られているような別の構成を有する触覚周辺機器により実施できることは当業者に理解されよう。

ステップ８５２において、音声出力アクセサリ接続状況が検出される。本明細書で使用される場合、音声出力アクセサリは、ヘッドフォン、Ｂｌｕｅｔｏｏｔｈデバイスたとえばヘッドフォンもしくは外部スピーカー、または音声または音を出力するために音声ディスプレイに接続可能な他のアクセサリ・デバイスを含む。接続状況とは、本明細書で使用される場合、音声または音を出力するために音声出力アクセサリが音声ディスプレイに接続されているかを指す。音声出力アクセサリが音声ディスプレイに接続されていない場合、音声ディスプレイの一体型スピーカーが、音声または音を出力するために利用される。音声ディスプレイの音声出力アクセサリ接続状況は、いくつかの方法のうちの１つによって検出することができる。本発明の特定の実施形態では、音声ディスプレイの音声出力アクセサリ接続状況は、接続センサ１１６を通じて検出することができる（図１参照）。この実施形態における接続センサ１１６の例は、限定はされないが、ハードウェア・センサ、たとえば光依存性抵抗器（ＬＤＲ：ｌｉｇｈｔ ｄｅｐｅｎｄｅｎｔ ｒｅｓｉｓｔｏｒ）、機械式スイッチ、および容量センサ、ならびに電気接続がなされているかをシステムが判定するソフトウェア・センサも含む。本発明の他の実施形態では、ホスト・プロセッサおよび／またはローカル・プロセッサは、接続センサ１１６を用いることなく音声出力アクセサリ接続状況を検出するように構成される（したがってこの実施形態では追加の接続センサ１１６が必要ない）。たとえば、タブレット・コンピュータまたは携帯電話などの触覚周辺機器のプロセッサは、音声出力アクセサリが接続されているかを検出または判定するようにプログラムするまたは構成することができる。

音声ディスプレイが音声出力アクセサリに接続されているかが一旦判定されると、ホスト・プロセッサおよび／またはローカル・プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況に応じて、触覚出力デバイスに対する制御信号を変化させるように構成される。ステップ８５４に示されるように、音声ディスプレイがヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されている場合、ステップ８５６に示されるように、触覚出力デバイスは、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイス用に最適化された触覚トラックまたは効果を再生または出力するように指示される。ステップ８５８に示されるように、音声ディスプレイが音声出力アクセサリに接続されていない場合（すなわち音声ディスプレイがヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されていない場合）、ステップ８６０に示されるように、触覚出力デバイスは、デバイス・スピーカー用に最適化された触覚トラックまたは効果を再生または出力するように指示される。言い換えれば、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスが音声ディスプレイに接続されている（したがって接続された音声アクセサリ・デバイスを介して音声が出力される）場合、ステップ８５６において、触覚出力デバイスは第１の触覚効果を生成および適用する。しかしながら、音声アクセサリ・デバイスが音声ディスプレイに接続されていない（したがって音声ディスプレイの一体型スピーカーを介して音声が出力される）場合、ステップ８６０において、触覚出力デバイスは第２の触覚効果を生成および適用する。一実施形態では、第１の触覚効果は第２の触覚効果より強く、したがって、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスなどの接続された音声出力アクセサリ・デバイスを介して音声が出力される場合に与えられるより強い効果と比較して、音声ディスプレイの一体型スピーカを介して音声が出力される場合により弱い効果が与えられる。

本明細書で使用される場合、触覚出力デバイスに対する制御信号を変化させることは、音声ディスプレイの検出された音声出力アクセサリ接続状況に応じて触覚効果のトラックを出力もしくは選択することを含むことができ、または音声ディスプレイの検出された音声出力アクセサリ接続状況に応じてトラックの触覚効果を修正または変更することを含むことができる。言い換えれば、検出された音声出力アクセサリ接続状況に応じて、ホスト・プロセッサおよび／またはローカル・プロセッサは、所定の触覚トラックの触覚効果を調整するように構成することができ、またはどの触覚トラックが再生もしくは出力されるかを選択するように構成することができる。

より具体的には、一実施形態において、ホスト・プロセッサおよび／またはローカル・プロセッサは、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈスピーカーに対してより強いまたは追加の効果を有する触覚トラックを有効にするまたは選択するように構成し、音声ディスプレイの一体型スピーカーから再生する場合についてより弱いまたは少ない効果を有するトラックを有効にするまたは選択するように構成することができる。たとえば、ホスト・プロセッサは、状態の変化と触覚効果との事前定義されたマッピングにアクセスする。ホスト・プロセッサは、状態の変化が存在し（すなわち、音声出力アクセサリがヘッドフォン・コネクタに差し込まれているか、または別の方法で音声ディスプレイに接続されており）、関連付けられた触覚効果が触覚効果を強めることおよび／または追加の触覚効果を与えることであると決定することができる。この状態の変化についての関連付けられた触覚効果は、ホスト・プロセッサおよび／またはローカル・プロセッサにより採用された事前定義されたマッピング・システムに従って決定することができる。たとえば、事前定義されたマッピング・システムは、音声出力アクセサリが音声ディスプレイに接続されていることが検出された場合に、作成された触覚効果の特定のコンテンツ・トラックまたはシーケンスが再生されるように指示することができる。

他の実施形態では、ホスト・プロセッサおよび／またはローカル・プロセッサは、音声出力アクセサリが検出されず、したがって音声および触覚効果の両方が音声ディスプレイの一体型スピーカーから出力される場合に、所定の触覚トラックを修正してその特定の触覚効果を中止または省略するように構成することができる。たとえば、事前定義されたマッピング・システムは、作成された触覚効果の現在再生中のコンテンツ・トラックまたはシーケンスが、接続状況に応じて修正されるまたは変化するように指示することができる。音声出力アクセサリが音声ディスプレイに接続されていることが検出された場合に、現在再生中のコンテンツ・トラックに従って出力される触覚効果は、徐々に強まるか、または所定の時間の間に所定のレベルまで強まってもよい。したがって、音声ディスプレイが音声出力アクセサリに接続されている場合に、触覚ボリュームまたは強度が増加するか、または質感などの触覚効果を追加することができる。事前定義されたマッピング・システムの上記の例は本質的に例示的であり、任意の事前定義されたマッピング・システムを仮想環境の開発者の要望通りに利用できることは当業者にとって明らかであろう。

触覚出力デバイスにより出力される触覚効果は、限定はされないが、様々な度合いの振動、様々な度合いの移動止め、または他のタイプの触覚効果を含むことができる。１つの例示的な例として、ユーザがキャラクタまたは他の何らかのグラフィカル・オブジェクトを操作しており、次いで仮想環境において爆発に遭遇した場合、関連付けられた触覚効果は振動とすることができる。この場合、ローカル・プロセッサは、音声ディスプレイの検出された音声出力アクセサリ接続状況に応じて変化する強度で触覚周辺機器が振動するように指示する信号を受信する。結果として、ローカル・プロセッサは、この信号を触覚出力デバイスに送信して、適切な触覚効果を提供できるようにし、適切な触覚効果は、この例では、音声ディスプレイが音声出力アクセサリに接続されているか否かに応じた特定の強度を有する振動である。実行されユーザに与えられる触覚効果のタイプを決定する際に、高レベルの触覚パラメータまたはストリーミング値が、ソフトウェア・コードで生成され、触覚エンジン（図示せず）に送信され、ここでそれらが処理され、適切な電圧レベルが触覚出力デバイスに対して生成される。これにより、触覚周辺機器は、適切な触覚フィードバックをユーザに与え、触覚出力デバイスに対して生成された異なる電圧レベルによって触覚フィードバックの量またはタイプを変化させることが可能になる。加えて、ゲーム用ソフトウェアおよび触覚ソフトウェアは、同一のプロセッサまたは複数のプロセッサ上に常駐することができる。

図８では、最適化される触覚効果について２つの選択肢のみ（すなわち、音声出力アクセサリが音声ディスプレイに接続されているか否か）を示しているが、そのような最適化される触覚効果が音声出力アクセサリのタイプに応じてさらに変化し得ることは当業者には理解されよう。言い換えれば、触覚効果は、どのタイプの音声出力アクセサリが音声ディスプレイに接続されているかに応じて異なってもよい。たとえば、音声ディスプレイがイヤホン型ヘッドフォンに接続されている場合に、第１の最適化されたトラックまたは触覚効果を再生することができ、音声ディスプレイが耳覆い型ヘッドフォンに接続されている場合に、異なる最適化されたトラックまたは触覚効果を再生することができ、音声ディスプレイが外部スピーカーに接続されている場合に、さらに別の異なる最適化されたトラックまたは触覚効果を再生することができる。したがって、どの音声出力コンポーネントまたはアクセサリが使用されているかの検知に基づいて、異なる触覚効果を与えることができる。

本発明の別の実施形態では、レンダリングされる触覚効果は、検出されたデバイス設定ならびに、音声ディスプレイの音声出力アクセサリ接続状況とに応じて変化してもよい。デバイス設定は、限定はされないが、図９に関して説明されるような音量レベル、または図１０に関して説明されるような電源状況を含むことができる。したがって、どの音声出力コンポーネントまたはアクセサリが使用されているか、およびそれがどのように使用されているかの検知に基づいて、異なる触覚効果を与えることができる。

より具体的には、図９は、本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は、音声ディスプレイの音声出力アクセサリ接続状況と、音声ディスプレイの検出された設定とに応じて変化し、検出された設定は音量レベルである。ステップ９５０は、方法の開始または始まりを示す。一実施形態では、図９の流れ図の機能は、ホスト・コンポーネントのホスト・メモリに格納されホスト・プロセッサにより実行されるソフトウェア、および／または触覚周辺機器のローカル・メモリに格納されローカル・プロセッサにより実行されるソフトウェアにより実装される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアおよびソフトウェアの任意の組み合わせの使用を通じてハードウェアによって、実施することができる。この実施形態では、システムの音声ディスプレイは、少なくとも一体型スピーカーと、ヘッドフォンを内部に受けるように構成されたヘッドフォン・コネクタとを含む。音声ディスプレイは、ホスト・コンピュータ、触覚周辺機器、または２次周辺機器、たとえば視覚ディスプレイに統合することができる。図９の方法が、触覚周辺機器１０２、触覚周辺機器３０２、触覚周辺機器６０２、またはビデオ・ゲームの技術で知られているような別の構成を有する触覚周辺機器により実施できることは当業者に理解されよう。

ステップ９５２において、音声ディスプレイの音声出力アクセサリ接続状況が検出される。音声出力アクセサリが音声ディスプレイに接続されていない場合、音声ディスプレイの一体型スピーカーが、音声または音を出力するために利用される。図８に関して上記で説明されたように、音声ディスプレイの音声出力アクセサリ接続状況は、たとえば接続センサ１１６を通じてなどいくつかの方法の１つによって検出することができ、またはホスト・プロセッサおよび／またはローカル・プロセッサが、接続センサ１１６を用いることなく、音声ディスプレイの音声出力アクセサリ接続状況を検出するように構成される。

音声ディスプレイが音声出力アクセサリに接続されているかが一旦判定されると、ホスト・プロセッサおよび／またはローカル・プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況と、音声ディスプレイの音量レベルとに応じて、触覚出力デバイスに対する制御信号を変化させるように構成される。ステップ９５４に示されるように、音声ディスプレイがヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されている場合、ステップ９５６に示されるように、触覚出力デバイスが、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイス用に最適化された触覚トラックまたは効果を再生または出力するように指示される。ステップ９５８に示されるように、音声ディスプレイが音声出力アクセサリに接続されていない場合（すなわち音声ディスプレイがヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されていない場合）、ステップ９６２において、触覚周辺機器の音量レベルが検出される。本発明の一実施形態では、ホスト・プロセッサおよび／またはローカル・プロセッサは、触覚周辺機器の音量レベルを検出するように構成される。所定の閾値未満の比較的小さい音量が検出された場合、ステップ９６４に示されるように、触覚出力デバイスは、音声出力が小音量のデバイス・スピーカー用に最適化された触覚トラックまたは効果を再生または出力するように指示される。所定の閾値を超える比較的大きい音量が検出された場合、ステップ９６６に示されるように、触覚出力デバイスは、音声出力が大音量のデバイス・スピーカー用に最適化された触覚トラックまたは効果を再生または出力するように指示される。言い換えれば、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスが音声ディスプレイに接続されている（したがって接続された音声アクセサリ・デバイスを介して音声が出力される）場合、ステップ９５６において、触覚出力デバイスは第１の触覚効果を生成および適用する。しかしながら、音声アクセサリ・デバイスが音声ディスプレイに接続されていない（したがって音声ディスプレイの一体型スピーカーを介して音声が出力される）場合、触覚出力デバイスは、音声出力の検出された音量レベルに応じて、ステップ９６４において第２の触覚効果を、またはステップ９６６において第３の触覚効果を生成および適用する。

図１０は、本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は、音声ディスプレイの音声出力アクセサリ接続状況と、触覚周辺機器の検出された電源状況とに応じて変化する。この実施形態では、システムの音声ディスプレイは、少なくとも一体型スピーカーと、ヘッドフォンを内部に受けるように構成されたヘッドフォン・コネクタとを含む。音声ディスプレイは、ホスト・コンピュータ、触覚周辺機器、または２次周辺機器、たとえば視覚ディスプレイに統合することができる。本発明の一実施形態では、図１０の方法は、触覚出力デバイスおよび音声ディスプレイがゲーム用タブレット自体に単一のデバイスとして統合されたゲーム用タブレットにより実施される。本発明の別の実施形態では、図１０の方法は、音声ディスプレイが統合された触覚周辺機器、たとえば、限定はされないが、携帯電話デバイスにより実施される。しかしながら図１０の方法が、触覚周辺機器１０２、触覚周辺機器３０２、触覚周辺機器６０２、またはビデオ・ゲームの技術で知られているような別の構成を有する触覚周辺機器により実施できることは当業者に理解されよう。ステップ１０５０は、方法の開始または始まりを示す。一実施形態では、図１０の流れ図の機能は、ホスト・コンポーネントのホスト・メモリに格納されホスト・プロセッサにより実行されるソフトウェア、および／または触覚周辺機器のローカル・メモリに格納されローカル・プロセッサにより実行されるソフトウェアにより実装される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアおよびソフトウェアの任意の組み合わせの使用を通じてハードウェアによって、実施することができる。

ステップ１０５２において、音声ディスプレイの音声出力アクセサリ接続状況が検出される。音声出力アクセサリが音声ディスプレイに接続されていない場合、音声ディスプレイの一体型スピーカーが、音声または音を出力するために利用される。図８に関して上記で説明されたように、音声ディスプレイの音声出力アクセサリ接続状況は、たとえば接続センサ１１６を通じてなどいくつかの方法の１つによって検出することができ、またはホスト・プロセッサおよび／またはローカル・プロセッサが、接続センサ１１６を用いることなく、音声ディスプレイの音声出力アクセサリ接続状況を検出するように構成される。

音声ディスプレイが音声出力アクセサリに接続されているかが一旦判定されると、ホスト・プロセッサおよび／またはローカル・プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況と、触覚周辺機器の電源状況とに応じて、触覚出力デバイスに対する制御信号を変化させるように構成される。ステップ１０５４に示されるように、音声ディスプレイがヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されている場合、ステップ１０５５において、触覚周辺機器の電源状況が検出される。本発明の一実施形態では、ホスト・プロセッサおよび／またはローカル・プロセッサは、触覚周辺機器の電源状況を検出するように構成される。所定の閾値未満の比較的低いバッテリー・レベルが検出された場合、ステップ１０５６Ａに示されるように、触覚出力デバイスは、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスおよび低いバッテリー状況向けに最適化された触覚トラックまたは効果を再生または出力するように指示される。所定の閾値を超える比較的高いバッテリー状況またはプラグで接続された状況が検出された場合、ステップ１０５６Ｂに示されるように、触覚出力デバイスは、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイス用に最適化された触覚トラックまたは効果を再生または出力するように指示される。

ステップ１０５８に示されるように、音声ディスプレイが音声出力アクセサリに接続されていない場合（すなわち音声ディスプレイがヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されていない場合）、ステップ１０５９において、触覚周辺機器の電源状況が検出される。本発明の一実施形態では、ホスト・プロセッサおよび／またはローカル・プロセッサは、触覚周辺機器の電源状況を検出するように構成される。所定の閾値未満の比較的低いバッテリー・レベルが検出された場合、ステップ１０６０Ａに示されるように、触覚出力デバイスは、デバイス・スピーカーおよび低いバッテリー状況向けに最適化された触覚トラックまたは効果を再生または出力するように指示される。所定の閾値を超える比較的高いバッテリー状況またはプラグで接続された状況が検出された場合、ステップ１０６０Ｂに示されるように、触覚出力デバイスは、デバイス・スピーカー用に最適化された触覚トラックまたは効果を再生または出力するように指示される。

図８に関して上記で説明されたように、触覚出力デバイスに対する制御信号を変化させることは、音声ディスプレイの検出された接続状況および検出されたデバイス設定に応じて触覚効果のトラックを出力もしくは選択することを含むことができ、または音声ディスプレイの検出された接続状況および検出されたデバイス設定に応じてトラックの触覚効果を修正または変更することを含むことができる。言い換えれば、音声ディスプレイの検出された接続状況および検出されたデバイス設定に応じて、ホスト・プロセッサおよび／またはローカル・プロセッサは、所定の触覚トラックの触覚効果を調整するように構成することができ、またはどの触覚トラックが再生もしくは出力されるかを選択するように構成することができる。

本発明の別の実施形態では、レンダリングされる触覚効果は、触覚周辺機器の所定の属性ならびに、音声ディスプレイの音声出力アクセサリ接続状況とに応じて変化し得る。本発明の一実施形態では、所定の属性は、触覚周辺機器の触覚および音声出力の間の干渉に関係する。たとえば、所定の属性は、一体型デバイス・スピーカーの特徴もしくは能力（すなわち、特定のモデルもしくは触覚周辺機器との音声干渉により生じる既知の問題）、または触覚周辺デバイスの特徴、たとえば一体型デバイス・スピーカーの物質性および／または位置に関係し得る。一例として、特定の触覚周辺機器は、一体型デバイス・スピーカーを介して音声が出力される場合に、触覚および音声出力の間で多くの干渉を有することが分かっていることがある。加えて、触覚周辺機器の所定の属性は、特定の触覚効果またはトラックの特徴に関係し得る。別の例として、触覚周辺機器の所定の属性は、音声ディスプレイの一体型スピーカーの周波数範囲と比較した触覚アクチュエータの周波数範囲とすることができる。たとえば、サブウーファなどの一体型スピーカーは、比較的低い周波数のみを放出することができる。比較的低い周波数が音声−触覚干渉の唯一の部分または発生源である場合、ホスト・プロセッサおよび／またはローカル・プロセッサは、音声の音量を増加させつつ、特定の比較的低い周波数における触覚効果を減少させるおよび／または除去するように構成することができる。

図１１は、本発明の一実施形態による触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は、音声ディスプレイの音声出力アクセサリ接続状況と、触覚周辺機器の所定の属性とに応じて変化し、所定の属性は触覚周辺機器の触覚出力および音声出力の間の干渉に関係する。より具体的には、図１１の実施形態では、音声ディスプレイの音声出力アクセサリ接続状況は、触覚周辺機器の所定の属性が既知の音声干渉問題に関連する場合にのみ検出される。ステップ１１５０は、方法の開始または始まりを示す。一実施形態では、図１１の流れ図の機能は、ホスト・コンポーネントのホスト・メモリに格納されホスト・プロセッサにより実行されるソフトウェア、および／または触覚周辺機器のローカル・メモリに格納されローカル・プロセッサにより実行されるソフトウェアにより実装される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアおよびソフトウェアの任意の組み合わせの使用を通じてハードウェアによって、実施することができる。この実施形態では、システムの音声ディスプレイは、少なくとも一体型スピーカーと、ヘッドフォンを内部に受けるように構成されたヘッドフォン・コネクタとを含む。音声ディスプレイは、ホスト・コンピュータ、触覚周辺機器、または２次周辺機器、たとえば視覚ディスプレイに統合することができる。図１１の方法が、触覚周辺機器１０２、触覚周辺機器３０２、触覚周辺機器６０２、またはビデオ・ゲームの技術で知られているような別の構成を有する触覚周辺機器により実施できることは当業者に理解されよう。

ステップ１１７０において、触覚周辺機器の所定の属性が検出される。上述のように、本発明の一実施形態では、所定の属性は、触覚周辺機器の触覚および音声出力の間の干渉に関係する。たとえば、特定の触覚周辺機器は、触覚出力および音声出力の間で多くの干渉を有することが分かっていることがあり、したがって所定の属性の検出は、触覚周辺機器のタイプ（すなわち製作または製造業者）および／またはモデルの検出を含む。ステップ１１７２において、ホスト・プロセッサおよび／またはローカル・プロセッサは、検出された所定の属性が既知の音声−触覚干渉問題に関連するかを判定する。たとえば、ホスト・プロセッサは、所定の属性と、関連する音声−触覚干渉問題との事前定義されたマッピングにアクセスする。

検出された所定の属性が既知の音声−触覚干渉問題に関連する場合、ステップ１１５２において音声ディスプレイの音声出力アクセサリ接続状況が検出される。音声出力アクセサリが音声ディスプレイに接続されていない場合、音声ディスプレイの一体型スピーカーが、音声または音を出力するために利用される。図８に関して上記で説明されたように、音声ディスプレイの音声出力アクセサリ接続状況は、たとえば接続センサ１１６を通じてなどいくつかの方法の１つによって検出することができ、またはホスト・プロセッサおよび／またはローカル・プロセッサが、接続センサ１１６を用いることなく、音声ディスプレイの音声出力アクセサリ接続状況を検出するように構成される。

音声ディスプレイが音声出力アクセサリに接続されているかが判定されると、ホスト・プロセッサおよび／またはローカル・プロセッサは、音声ディスプレイの音声出力アクセサリ接続状況と、検出された所定の属性とに応じて、触覚出力デバイスに対する制御信号を変化させるように構成される。ステップ１１５４に示されるように、音声ディスプレイがヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されている場合、ステップ１１５６に示されるように、触覚出力デバイスが、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイス用に最適化された触覚トラックまたは効果を再生または出力するように指示される。ステップ１１５８に示されるように、音声ディスプレイが音声出力アクセサリに接続されていない場合（すなわち音声ディスプレイがヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスに接続されていない場合）、ステップ１１６０に示されるように、触覚出力デバイスは、デバイス・スピーカー用に最適化された触覚トラックまたは効果を再生または出力するように指示される。言い換えれば、ヘッドフォンまたはＢｌｕｅｔｏｏｔｈデバイスが音声ディスプレイに接続されている（したがって接続された音声アクセサリ・デバイスを介して音声が出力される）場合、ステップ１１５６において、触覚出力デバイスは第１の触覚効果を生成および適用する。しかしながら、音声アクセサリ・デバイスが音声ディスプレイに接続されていない（したがって音声ディスプレイの一体型スピーカーを介して音声が出力される）場合、ステップ１１６０において、触覚出力デバイスは第２の触覚効果を生成および適用する。

上述の実施形態は、音声ディスプレイの音声出力アクセサリ接続状況を、可能性のある音声−触覚干渉に関連する状況指示子として検出することを含む。しかしながら、接続状況の代わりにまたはこれに加えて、他のパラメータを、可能性のある音声−触覚干渉に関連する状況指示子として検出または検知することができる。たとえば、一実施形態では、生体センサを、可能性のある音声−触覚干渉に関連する状況指示子として利用することができ、触覚効果をアドレナリンの検出に応じて変化させることができる。ユーザが厳しい活動（ｒｉｇｏｒｏｕｓ ａｃｔｉｖｉｔｙ）を行っている場合に、ホスト・プロセッサおよび／またはローカル・プロセッサは、生体センサからの検知された信号に応じて触覚出力デバイスに対する制御信号を変化させるように構成される（すなわち、アドレナリンが検知された場合に、触覚効果を強めるまたは追加することができる）。同様に、一実施形態では、モーション・センサを、可能性のある音声−触覚干渉に関連する状況指示子として利用することができ、触覚効果をユーザの動きの検出に応じて変化させることができる。ユーザがトレーニングしているか、または活動もしくは運動が増加している場合に、ホスト・プロセッサおよび／またはローカル・プロセッサは、モーション・センサからの検知された信号に応じて触覚出力デバイスに対する制御信号を変化させるように構成される（すなわち、ユーザが動いている、またはユーザの運動が所定の閾値を超えて増加している場合に、触覚効果を強めるまたは追加することができる）。この実施形態におけるモーション・センサの例は、限定はされないが、ビデオ・カメラ・デバイス、ウェブカメラ・デバイス、いかなる物理的な接触もなしで近くの物体の存在を検出するセンサ、モーション・センサ、筋肉の動きを検出してユーザの動きを決定するユーザの皮膚に貼り付けられるセンサ、赤外センサ、超音波センサ、近距離伝送、ステレオ三角測量、符号化開口、干渉計、または他の任意の距離画像センサ、たとえばＸＢＯＸ Ｋｉｎｅｃｔなどのデバイスを含む。単一のモーション・センサとして説明されているが、ユーザの動きを決定するために、複数のセンサを同時に利用するまたは併用することができることは当業者には理解されよう。たとえば、センサ・システムをテレビ、モニタ、またはＫｉｎｅｃｔアクセサリに配置して、複数のセンサを用いて空間内のユーザのリアルタイム３Ｄ画像をキャプチャすることができる。また、センサ・システムは、ウェブカメラを用いて顔を識別し、ならびにユーザの両手などのユーザとの相互作用の点、および触覚周辺機器などの他の物体との相互作用の点を識別するように構成される。センサ・システムはこの情報を用いて、システムおよび／または周辺機器に対するユーザの位置を決定し、ユーザおよび／またはシステムに対する周辺機器の位置を決定する。また、物体に配置された知的センサによって、互いを認識することが可能になり、それによって、周辺機器内のセンサ（たとえばジャイロスコープ、加速度計など）が、これらの周辺機器の配向および位置をさらに知らせるようになる。

別の実施形態では、周囲温度またはノイズ・センサを、可能性のある音声−触覚干渉に関連する状況指示子として利用することができ、周囲温度ならびに／あるいは触覚領域および音声領域の一方または両方における周囲ノイズの検出に応じて触覚効果を変化させることができる。周囲温度および／または周囲ノイズが検出された場合、ホスト・プロセッサおよび／またはローカル・プロセッサは、周囲センサからの検知された信号に応じて触覚出力デバイスに対する制御信号を変化させるように構成される（すなわち、周囲温度および／または周囲ノイズの増加が検知された場合に、触覚効果を強めるまたは追加することができる）。

別の実施形態では、物理位置センサまたはセンサ・システムを、可能性のある音声−触覚干渉に関連する状況指示子として利用することができ、ユーザを基準とした触覚周辺機器の物理位置の検出に応じて触覚効果を変化させることができる。より具体的には、触覚周辺機器がユーザを基準としてどこに物理的に配置されているか、すなわち、ユーザのポケットの中か、手で保持されているか、ユーザの体に取り付けられているか、または身につけているかに応じて、触覚効果を変化させることができる。センサの組み合わせ、すなわちセンサ・システムは、電話の位置を検出することができ、触覚効果を変化させるために利用することができる。たとえば、一部の携帯電話では、常に電話の位置を知ることが可能である（すなわち、ＧｏｏｇｌｅのＰｒｏｊｅｃｔ Ｔａｎｇｏの電話、またはＬｙｎｘ携帯電話）。ホスト・プロセッサおよび／またはローカル・プロセッサは、物理位置センサからの検知された信号に応じて触覚出力デバイスに対する制御信号を変化させるように構成される（すなわち、ユーザが触覚周辺機器を保持しているまたは触っている場合に、触覚効果を強めるまたは追加することができる）。同様に、別の実施形態では、触覚周辺機器は、複数の周辺デバイスが互いに接続されたメッシュまたはパーソナル／ボディ・ネットワーク内の周辺機器とすることができる。メッシュ・ネットワークの部分の場合、ユーザがどの周辺機器と対話しているかに応じて、触覚効果を変化させることができる。たとえば、２つの触覚対応デバイスまたは周辺機器が互いに接触するほど十分に近づけた場合に、システムは、一方の触覚対応デバイスまたは周辺機器への触覚効果を、他方の触覚対応デバイスまたは周辺機器よりも優先するように構成することができる。

図１２は、本発明の一実施形態による、触覚周辺機器のユーザに触覚効果を与えるための方法を示すフローチャートであり、レンダリングされる触覚効果は、触覚および音声出力デバイスの間の干渉に関連する検出された状況に応じて変化する。上述のように、可能性のある音声−触覚干渉に関連する状況指示子として様々なパラメータを単独または任意の組み合わせで検出または検知することができる。たとえば、検出される状況は、音声ディスプレイの音声出力アクセサリ接続状況、音量レベル、電源状況、ユーザ・バイオメトリクス、ユーザの動き、周囲温度、周囲ノイズ、ユーザを基準とした触覚周辺機器の物理位置、および／または接続された周辺機器のメッシュ・ネットワークへの参加に関係し得る。ステップ１２５０は、方法の開始または始まりを示す。一実施形態では、図１２の流れ図の機能は、ホスト・コンポーネントのホスト・メモリに格納されホスト・プロセッサにより実行されるソフトウェア、および／または触覚周辺機器のローカル・メモリに格納されローカル・プロセッサにより実行されるソフトウェアにより実装される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアおよびソフトウェアの任意の組み合わせの使用を通じてハードウェアによって、実施することができる。この実施形態では、システムの音声ディスプレイは、少なくとも一体型スピーカーと、ヘッドフォンを内部に受けるように構成されたヘッドフォン・コネクタとを含む。音声ディスプレイは、ホスト・コンピュータ、触覚周辺機器、または２次周辺機器、たとえば視覚ディスプレイに統合することができる。図１２の方法が、触覚周辺機器１０２、触覚周辺機器３０２、触覚周辺機器６０２、またはビデオ・ゲームの技術で知られているような別の構成を有する触覚周辺機器により実施できることは当業者に理解されよう。

ステップ１２５２において、触覚周辺機器の音声−触覚干渉に関連する状況が検出される。本発明の特定の実施形態では、触覚周辺機器の音声−触覚干渉に関連する状況を、追加パラメータ・センサ１１７（図１参照）を介して検出することができる。この実施形態における追加パラメータ・センサ１１７の例は、限定はされないが、可能性のある音声−触覚干渉に関連する状況指示子を検出するための１つまたは複数のセンサを含み、状況指示子は、たとえば、限定はされないが、音声ディスプレイの音声出力アクセサリ接続状況、音量レベル、電源状況、ユーザ・バイオメトリクス、ユーザの動き、周囲温度、周囲ノイズ、ユーザを基準とした触覚周辺機器の物理位置、および／または接続された周辺機器のメッシュ・ネットワークへの参加などである。本発明の他の実施形態では、ホスト・プロセッサおよび／またはローカル・プロセッサは、追加パラメータ・センサ１１７を用いることなく、触覚周辺機器の音声−触覚干渉に関連する状況を検出するように構成される（したがって、追加パラメータ・センサ１１７はこの実施形態では必要ない）。

ステップ１２５４に示されるように、検出された状況が、音声−触覚干渉がないまたは僅かであること、すなわち「状態１」を示している場合、ステップ１２５６に示されるように、触覚出力デバイスは、音声−触覚干渉がないまたは僅かな場合向けに最適化された触覚トラックまたは効果を再生または出力するように指示される。ステップ１２５８に示されるように、検出された状況が、音声−触覚干渉が存在するまたは可能性があること、すなわち「状態２」を示している場合、ステップ１２６０に示されるように、触覚出力デバイスは、音声−触覚干渉用に最適化された触覚トラックまたは効果を再生または出力するように指示される。言い換えれば、ホスト・プロセッサおよび／またはローカル・プロセッサは、触覚および音声出力の間の干渉に関連する触覚周辺機器の検出された状況に応じて、触覚出力デバイスに対する制御信号を変化させるように構成され、それによって、触覚および音声出力の間に干渉がないまたは僅かであることを示す第１の状態を、検出された状況が示している場合に、触覚出力デバイスが第１の触覚効果を生成および適用し、触覚および音声出力の間の干渉を示す第２の状態を、検出された状況が示している場合に、触覚出力デバイスが第２の触覚効果を生成および適用する。一実施形態では、（検出された状況が、触覚および音声出力の間の干渉を示す第２の状態を示している場合にレンダリングされる）第２の触覚効果は、（検出された状況が、触覚および音声出力の間に干渉がないまたは僅かであることを示す第１の状態を示している場合にレンダリングされる）第１の触覚効果より強く、したがって、触覚周辺機器の触覚および音声出力の間に干渉が存在する場合に、より強い効果が与えられる。

本発明の一実施形態では、触覚周辺機器の音声−触覚干渉に関連する状況は、触覚アクチュエータの可聴レベルである。より具体的には、いくつかのデバイスにおいて、触覚アクチュエータは、触覚アクチュエータが係合するときに、可聴バズ（ｂｕｚｚ）またはノイズを生成するまたは生じさせることがある。たとえば、触覚周辺機器（すなわち携帯電話デバイス）が振動するときに、ユーザは可聴バズを聞くことがある。高い強度では、この可聴バズまたはノイズは、ユーザの注意を、触覚周辺機器上でコンテンツを見るまたは聞くことからそらす可能性がある。したがって、一実施形態では、システムは触覚アクチュエータの可聴レベルを検出するように構成され、可聴レベルが所定の閾値を超える場合に、ホスト・プロセッサおよび／またはローカル・プロセッサは、可聴バズまたはノイズを低減し、したがってユーザの体験全体を改善するよう、レンダリングされる触覚効果の強度、周波数、パターンまたは質感を調整するように構成される。反対に、検出された可聴レベルが所定の閾値未満である場合、レンダリングされる触覚効果を、ホスト・プロセッサおよび／またはローカル・プロセッサにより強めることができる。触覚周辺機器が、複数の周辺デバイスが互いに接続されたメッシュまたはパーソナル／ボディ・ネットワーク内の周辺機器である本発明の一実施形態では、触覚アクチュエータの可聴レベルが所定の閾値を超える場合に、触覚アクチュエータのノイズを低減するように、触覚および／または音声出力を調整することができる。たとえば、複数の触覚周辺機器の文脈では、コンテンツを１次触覚周辺機器およびウェアラブル触覚周辺機器上で同時に再生することができ、ウェアラブル触覚周辺機器上での触覚アクチュエータのノイズを検出すると、ウェアラブル触覚周辺機器のノイズを低減するように音声および／または触覚強度のボリュームが調整されて、１次触覚周辺機器で再生中のコンテンツとの干渉が回避される。

本発明の任意の実施形態において、ホスト・プロセッサおよび／またはローカル・プロセッサは、触覚出力の代わりにまたはこれに加えて、音声出力を変化させるまたは修正するように代替的にまたは追加的に構成することができる。より具体的には、本発明の実施形態の音声ディスプレイは、ホスト・プロセッサおよび／またはローカル・プロセッサから制御信号を受信し、ホスト・プロセッサおよび／またはローカル・プロセッサからの制御信号に応答して触覚周辺機器に音声を出力するように構成される。ホスト・プロセッサおよび／またはローカル・プロセッサは、可能性のある音声−触覚干渉に関連する状況指示子、たとえば、限定はされないが、音声ディスプレイの音声出力アクセサリ接続状況、音量レベル、電源状況、ユーザ・バイオメトリクス、ユーザの動き、周囲温度、周囲ノイズ、ユーザを基準とした触覚周辺機器の物理位置、および／または接続された周辺機器のメッシュ・ネットワークへの参加に応じて、触覚出力デバイスに対する制御信号および／または音声ディスプレイに対する制御信号を変化させるように構成することができる。たとえば、スピーカーにより出力される振動を補償するように触覚効果の大きさを変化させるもしくは調整する（または特別に作成されたトラックを選択する）のに加えてあるいはその代わりに、触覚および音声出力の間の干渉を示す状態を、検出された状況が示している場合に、レンダリングされる触覚効果を高めるように音声トラックを修正することができる。たとえば、触覚および音声出力の間の干渉を示す状態を、検出された状況が示している場合に、スピーカーの強度または音量を、触覚効果を高めるように調節することができる。別の例として、特定の触覚効果またはシーケンスによっていくらかの既知の量の音声干渉が生じる場合に、設計者が意図したようにユーザが音声フィードバックを聞くことができるだけでなく触覚フィードバックも感じることができることを保証するように、音声効果のボリュームが、触覚効果もしくはシーケンスの持続時間の間に調整される。

本発明による様々な実施形態が上記で説明されているが、これらは限定ではなく説明および例示の目的でのみ提示されていることを理解されたい。本発明の趣旨および範囲から逸脱することなく、形態および細部の様々な変更がそれらになされ得ることは当業者にとって明らかであろう。したがって、本発明の広さおよび範囲は、上述の例示的実施形態のいずれによっても制限されるべきではなく、添付の特許請求の範囲およびその等価物に従ってのみ定義されるべきである。また、本明細書で論じられた各実施形態の各特徴と、および本明細書で引用された各参考文献の各特徴とは、他の任意の実施形態の特徴と組み合わせて使用できることは理解されよう。言い換えれば、触覚効果をレンダリングする上記の方法の態様は、本明細書に記載の他の方法と任意の組み合わせで使用することができ、またはこれらの方法を別々に使用することができる。本明細書で論じられている全ての特許および刊行物は、引用によりそれらの全体が本明細書に組み込まれている。

Claims (20)

1. プロセッサと、音声出力デバイスを含む音声ディスプレイと、触覚出力デバイスを含む触覚周辺機器とを備えるシステムであって、
   前記触覚出力デバイスは、前記プロセッサから制御信号を受信し、前記プロセッサからの前記制御信号に応答して前記触覚周辺機器へ触覚効果を出力し、
   前記プロセッサは、前記触覚出力デバイスと前記音声出力デバイスとの間の干渉に関連して検出された状況に応じて前記触覚出力デバイスに対する前記制御信号を変化させることにより、（１）前記検出された状況が前記触覚出力デバイスと前記音声出力デバイスとの間に干渉がないまたは僅かであることを示す第１の状態を呈示する場合には第１の触覚効果を生成して適用し、（２）前記検出された状況が前記触覚出力デバイスと前記音声出力デバイスとの間に干渉があることを示す第２の状態を呈示する場合には第２の触覚効果を生成して適用するように、前記触覚出力デバイスを制御し、
   さらに、前記第１の触覚効果は前記第２の触覚効果とは異なることを特徴とするシステム。
2. 前記プロセッサは、前記触覚出力デバイスと前記音声出力デバイスの間の干渉に関連する前記状況を検出することを特徴とする、請求項１に記載のシステム。
3. 前記第１の触覚効果は前記第２の触覚効果より強いことを特徴とする、請求項１に記載のシステム。
4. 前記検出された状況は音声出力アクセサリ接続状況であり、前記音声出力デバイスがヘッドフォン・コネクタを介して前記音声ディスプレイに接続されている場合には、前記触覚出力デバイスは前記第１の触覚効果を生成して適用し、前記音声出力デバイスが前記システムの一体型スピーカーである場合には、前記触覚出力デバイスは前記第２の触覚効果を生成して適用することを特徴とする、請求項１に記載のシステム。
5. 前記プロセッサは前記音声ディスプレイの音量レベルを検出し、前記検出された音量レベルに応じて前記触覚出力デバイスに対する前記制御信号を変化させることを特徴とする、請求項４に記載のシステム。
6. 前記プロセッサは前記音声ディスプレイの電源状況を検出し、前記検出された電源状況に応じて前記触覚出力デバイスに対する前記制御信号を変化させることを特徴とする、請求項４に記載のシステム。
7. 前記プロセッサは前記触覚周辺機器の所定の属性を検出し、前記検出された所定の属性に応じて前記触覚出力デバイスに対する前記制御信号を変化させ、前記所定の属性は前記触覚出力デバイスと前記音声出力デバイスの間の干渉に関係することを特徴とする、請求項４に記載のシステム。
8. 生体センサをさらに含み、前記検出された状況は前記生体センサで検知された信号により得られることを特徴とする、請求項１に記載のシステム。
9. モーション・センサをさらに含み、前記検出された状況は前記モーション・センサで検知された信号により得られることを特徴とする、請求項１に記載のシステム。
10. 周辺触覚ノイズ・センサをさらに含み、前記検出された状況は前記周辺触覚ノイズ・センサで検知された信号により得られることを特徴とする、請求項１に記載のシステム。
11. 物理位置センサをさらに含み、前記検出された状況は前記物理位置センサで検知された信号により得られることを特徴とする、請求項１に記載のシステム。
12. 前記プロセッサは、前記検出された状況に応じて前記音声ディスプレイに対する制御信号を変化させることを特徴とする、請求項１に記載のシステム。
13. ホスト・コンピュータをさらに含み、前記プロセッサは前記ホスト・コンピュータ内に配備されることを特徴とする、請求項１に記載のシステム。
14. 前記プロセッサは前記触覚周辺機器内に配備されることを特徴とする、請求項１に記載のシステム。
15. プロセッサと、スピーカーおよびヘッドフォン・コネクタを含む音声ディスプレイと、触覚出力デバイスを含む触覚周辺機器とを備えるシステムであって、
    前記触覚出力デバイスは、前記プロセッサから制御信号を受信し、前記プロセッサからの前記制御信号に応答して前記触覚周辺機器へ触覚効果を出力し、
    前記プロセッサは、前記音声ディスプレイの音声出力アクセサリ接続状況に応じて前記触覚出力デバイスに対する前記制御信号を変化させることにより、（１）前記ヘッドフォン・コネクタを介して音声を出力するために前記音声ディスプレイが音声出力アクセサリに接続されている場合には第１の触覚効果を生成して適用し、（２）前記スピーカーを介して音声を出力するために前記音声ディスプレイが音声出力アクセサリに接続されていない場合には第２の触覚効果を生成して適用するように、前記触覚出力デバイスを制御し、
    さらに、前記第１の触覚効果が前記第２の触覚効果と異なることを特徴とするシステム。
16. 前記プロセッサは、前記音声ディスプレイの前記音声出力アクセサリ接続状況を検出することを特徴とする、請求項１５に記載のシステム。
17. 前記第１の触覚効果は前記第２の触覚効果より強いことを特徴とする、請求項１５に記載のシステム。
18. 前記プロセッサは前記音声ディスプレイの音量レベルを検出し、前記検出された音量レベルに応じて前記触覚出力デバイスに対する前記制御信号を変化させることを特徴とする、請求項１５に記載のシステム。
19. プロセッサと、音声ディスプレイと、触覚出力デバイスを含む触覚周辺機器とを備えるシステムであって、
    前記音声ディスプレイは、前記プロセッサから制御信号を受信し、前記プロセッサからの前記制御信号に応答して音声を出力し、
    前記触覚周辺機器は、前記プロセッサから制御信号を受信し、前記プロセッサからの前記制御信号に応答して前記触覚周辺機器へ触覚効果を出力し、
    前記プロセッサは、前記音声ディスプレイの音声出力アクセサリ接続状況に応じて、前記触覚出力デバイスに対する前記制御信号または前記音声ディスプレイに対する前記制御信号を変化させることを特徴とするシステム。
20. 前記触覚出力デバイスは、前記音声ディスプレイが音声出力アクセサリに接続されている場合に第１の触覚効果を生成して適用し、前記音声ディスプレイが音声出力アクセサリに接続されていない場合に第２の触覚効果を生成して適用し、さらに前記第１の触覚効果は前記第２の触覚効果と異なることを特徴とする、請求項１９に記載のシステム。

Images