JP2010055510A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】検出された接触位置又は近接位置ではなく、ユーザの意図した接触位置又は近接位置に近づくように接触位置又は近接位置を精度良く補正することが可能な情報処理装置及び情報処理方法を提供すること。
【解決手段】操作体と表示部の表面との接触又は近接に関する接近値を取得する近接検出部１６１と、接近値を３値化処理し、３値化処理された接近値に応じて、第１の領域と、第１の領域と異なる第２の領域を検出したのち、第１の領域及び第２の領域それぞれの重心の位置を算出し、それぞれの重心を結ぶ直線の方向を算出する角度算出部１６３と、接近値に基づいて操作体と表示部の表面との接触位置又は近接位置を算出する指座標算出部１６２と、接触位置又は近接位置、及び第１の重心と第２の重心を結ぶ直線の方向に基づいて、接触位置又は近接位置と異なる指示位置を算出する補正指座標算出部１６５とを有することを特徴とする。
【選択図】図１

Description

本発明は、情報処理装置及び情報処理方法に関する。

表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサーを設けるタッチパネル（タッチスクリーン）がある。タッチパネルによれば、表示部の画面に触れることで情報処理装置への情報の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。

また、表示部近傍の操作を検出する表示装置として、静電容量方式や抵抗膜方式以外のタッチパネルの技術が開示されている。例えば特許文献１には、表示装置が発光と受光とを同時に行う技術が開示されている。また、特許文献２には、操作者の手や人体などの動作に応じてコンピュータ装置を操作する技術が開示されている。更に、特許文献３には、パネル上の入力点に関して、複数の点の情報を出力できるパネルの技術が開示されている。

特開２００６−２７６２２３号公報 特開平１１−２４８３９号公報（特許第３９６８４７７号公報） 特開２００８−１４６１６５号公報

従来、タッチパネルにおける接触又は近接は、タッチパネル面上に占めるある面積を有する領域として検出される。そこで、タッチパネルにおける接触又は近接の代表点を算出するためには、ある面積を有する接触領域又は近接領域の重心を算出して、算出された重心位置を接触又は近接の代表点として判定している。

しかし、上記のように領域の重心をもとに、タッチパネルに接触又は近接していると判定された点は、ユーザが意図してタッチパネルに接触又は近接した点と差異が生じるという問題があった。例えば、タッチパネルの画面にユーザが選択可能な複数のボタンが近接して表示されているとき、タッチパネルの持ち方やユーザの爪の長さ等の要因によって、意図したボタンと異なるボタンが選択されるという問題があった。

このような問題点を回避するため、タッチパネルの持ち方やユーザの利用状況を考慮し、画面上の検出場所に応じて、ユーザの意図をある程度推測して、実際に検出された接触点又は近接点と異なる点をユーザの意図した指示点として算出することが考えられる。しかし、タッチパネルは、縦持ち、横持ち、又は上下逆さまに利用するといった様々な持ち方や利用状況がある。そのため、予め持ち方や利用状況を推測して、その推測によって接触点又は近接点を修正することは困難であった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、検出された接触位置又は近接位置ではなく、ユーザの意図した接触位置又は近接位置に近づくように接触位置又は近接位置を精度良く補正することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像データに基づいて画面上に画像を表示する表示部と、操作体と表示部の表面との接触又は近接に関する接近値を取得する接近値取得部と、接近値を３値化処理し、３値化処理された接近値に応じて、第１の領域と、第１の領域と異なる第２の領域を検出する領域検出部と、第１の領域及び第２の領域それぞれの重心の位置を算出する重心位置算出部と、第１の領域の重心である第１の重心と、第２の領域の重心である第２の重心とを結ぶ直線の方向を算出する直線方向算出部と、接近値に基づいて操作体と表示部の表面との接触位置又は近接位置を算出する位置算出部と、接触位置又は近接位置、及び第１の重心と第２の重心を結ぶ直線の方向に基づいて、接触位置又は近接位置と異なる指示位置を算出する指示位置算出部とを有する情報処理装置が提供される。

上記位置算出部は、第１の重心を接触位置又は近接位置として算出し、指示位置算出部は、接触位置又は近接位置からオフセット量分移動した、直線上の位置を指示位置として算出してもよい。

上記オフセット量を、第１の重心と第２の重心との間の距離に基づいて算出するオフセット量算出部を有してもよい。

上記接近値取得部は、外部から表示部の表示面に入射する光を受光し、受光した光を電気信号に変換する受光部と、電気信号から画素毎の輝度値を接近値として算出する輝度値算出部とを有してもよい。

上記接近値取得部は、操作体と表示部の表面との間の静電容量を検出する静電容量検出部と、静電容量の変化を接近値として算出する接近値算出部とを有してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、表示部が画像データに基づいて画面上に画像を表示するステップと、接近値取得部が操作体と表示部の表面との接触又は近接に関する接近値を取得するステップと、領域検出部が接近値を３値化処理し、３値化処理された接近値に応じて、第１の領域と、第１の領域と異なる第２の領域を検出するステップと、重心位置算出部が第１の領域及び第２の領域それぞれの重心の位置を算出するステップと、直線方向算出部が、第１の領域の重心である第１の重心と、第２の領域の重心である第２の重心とを結ぶ直線の方向を算出するステップと、位置算出部が接近値に基づいて操作体と表示部の表面との接触位置又は近接位置を算出するステップと、指示位置算出部が、接触位置又は近接位置、及び第１の重心と第２の重心を結ぶ直線の方向に基づいて、接触位置又は近接位置と異なる指示位置を算出するステップとを有する情報処理方法が提供される。

本発明によれば、検出された接触位置又は近接位置ではなく、ユーザの意図した接触位置又は近接位置に近づくように接触位置又は近接位置を精度良く補正することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は以下の順序で行う。
１．一実施形態の構成
２．一実施形態の動作

＜１．一実施形態の構成＞
まず、本発明の一実施形態に係る情報処理装置１００について説明する。図１は、本実施形態に係る情報処理装置１００を示すブロック図である。
本実施形態の情報処理装置１００は、例えば、制御部１０２と、メモリ１０４と、ストレージ１０６と、入力Ｉ／Ｆ１０７と、画像信号処理部１１４と、ディスプレイパネル１０８と、表示制御部１１２と、音声出力Ｉ／Ｆ１１６と、受光処理部１２２などを有する。なお、本実施形態では、情報処理装置１００にディスプレイパネル１０８が一体的に設けられる場合について説明するが、本発明は、情報処理装置１００と、ディスプレイパネル１０８とが別体の装置として設けられる場合にも適用することができる。

情報処理装置１００は、例えば、パーソナルコンピュータ、オーディオプレイヤー、メディアプレイヤー、ＰＤＡ（personal digital assistant）、携帯電話、デジタルカメラなどである。

制御部１０２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などが組み合わされて構成されるマイクロコンピュータなどを有する。制御部１０２は、プログラムによって演算処理装置及び制御装置として機能し、情報処理装置１００における上記各構成要素などを制御する。

メモリ１０４は、例えば、ＲＡＭ、ＲＯＭ、キャッシュメモリなどの記憶部で構成されており、制御部１０２のＣＰＵの処理に関するデータ、ＣＰＵの動作プログラムなどを一時的に記憶する機能を有する。

ストレージ１０６は、例えば、ハードディスク、光ディスク、フラッシュメモリなどであり、データを長期に亘って格納するための記憶部である。ストレージ１０６は、例えば、音楽データやビデオ、写真などの映像データを記憶する。ストレージ１０６は、音楽データや映像データを、制御部１０２におけるデータ受信制御処理、蓄積制御処理を経て記録する。

入力Ｉ／Ｆ１０７は、例えば、ＵＳＢ端子、IEEE 1394端子等であり、外部装置と接続可能なインターフェースである。各種データは、入力Ｉ／Ｆ１０７を介して、情報処理装置１００に各種情報や指令が入力される。

画像信号処理部１１４は、受光処理部１２２で生成された画像信号に対して信号処理をする。画像信号処理部１１４は、画像信号について、表示部１１０の画素数に変換する解像度変換、輝度補正、色補正、ガンマ補正など各種所要の信号処理を実行する。

ディスプレイパネル１０８は、例えば表示部１１０と、受光センサー１２０などからなり、受光センサー１２０がユーザの指、手などの操作体を検知することで、ユーザの操作を受け付ける。本実施形態のディスプレイパネル１０８は、タッチパネルと異なり、画面上の接触は不要であり、画面への近接を検知することで、ユーザの操作を受け付ける。そして、ディスプレイパネル１０８は、ユーザの動作に応じて、画面に表示された項目を選択したり、画面のスクロール、拡大又は縮小表示など表示を変化させたりする。

表示部１１０は、例えば、液晶ディスプレイであり、表示制御部１１２によって制御される。表示部１１０は、各種メニュー画面や、画像データによる画像を表示する。受光センサー１２０は、受光部の一例であり、外部から表示部１１０の表示面に入射する光を受光し、受光した光を電気信号に変換する。受光センサー１２０は、生成した電気信号を受光処理部１２２に送る。

音声出力Ｉ／Ｆ１１６は、例えばフォーンプラグなどの端子であり、ヘッドフォン、スピーカ等の外部装置と接続される。音声出力Ｉ／Ｆ１１６は、再生された音声データを外部装置に出力する。

図２は、本実施形態に係るディスプレイパネル１０８の画素部分を示す説明図である。ディスプレイパネル１０８には、複数の画素セット１３０が例えばマトリクス状に配置される。そして、画素セット１３０には、発光素子である赤色表示画素１１０Ｒ、緑色表示画素１１０Ｇ、青色表示画素１１０Ｂと、受光センサー１２０が設けられる。１つの画素セット１３０内では、表示画素１１０Ｒ、１１０Ｇ、１１０Ｂと受光センサー１２０が隣接して配置される。なお、画素の配列は図２に示す例に限定されず、他の配列であってもよい。

本実施形態のディスプレイパネル１０８により、ユーザの指、手などの操作体が表示面に近接したとき、情報処理装置１００は操作体を検出することができる。

表示制御部１１２は、入力された画像信号を利用して表示部１１０を駆動する。表示制御部１１２は、画像信号処理部１１４から受けた画像信号の表示処理をする。また、表示制御部１１２は、表示データの合成処理をして、表示部１１０でユーザが視聴可能となるデータを生成する。表示制御部１１２で生成されたデータは、表示部１１０に出力される。

受光処理部１２２は、受光センサー１２０から電気信号を受けて、アナログデジタル変換処理などを行い、画素毎の画像信号を生成する。これにより、画像信号処理部１１４で画像信号処理が可能となり、制御部１０２における画像信号に基づいた各演算を行うことができる。

次に、本実施形態に係る情報処理装置１００の制御部１０２について説明する。制御部１０２は、近接検出部１６１、指座標算出部１６２と、角度算出部１６３と、オフセット量算出部１６４と、補正指座標算出部１６５などを有する。

近接検出部１６１は、接近値取得部の一例であり、受光処理部１２２が生成した画像信号に基づいて画素毎に輝度値を算出し、輝度値を接近値として算出する。近接検出部１６１が算出した接近値は、操作体とディスプレイパネル１０８の表面との間の接触又は近接に関する値である。

近接検出部１６１は、領域検出部の一例であり、輝度値を３値化処理し、３値化処理された輝度値に応じて、検出された対象について、第１の領域と、第１の領域と異なる第２の領域を検出する。また、近接検出部１６１は、重心位置算出部の一例であり、第１の領域及び第２の領域それぞれの重心の位置を算出する。

指座標算出部１６２は、位置算出部の一例であり、近接検出部１６１が算出した第１の重心を接触位置又は近接位置として算出する。第１の重心の座標は、操作体がディスプレイパネル１０８の表面と接触又は近接した位置の代表点とする。なお、ディスプレイパネル１０８の表面と接触又は近接した位置の代表点は、第１の重心に限定されず、例えば、第１の領域の一端から他端までの中間点としてもよい。

角度算出部１６３は、直線方向算出部の一例であり、近接検出部１６１で算出された第１の領域の重心である第１の重心と、第２の領域の重心である第２の重心とを結ぶ直線の方向を算出する。角度算出部１６３は、例えば、画面の上から下（又は下から上）への方向（垂直方向）に対する、第１の重心と第２の重心を結ぶ直線の角度を算出する。第１の重心と第２の重心を結ぶ直線は、指１０の方向と対応する。

オフセット量算出部１６４は、例えば、近接検出部１６１で算出された第１の重心と、第２の重心との間の距離に基づいて、オフセット量を算出する。例えば第１の重心と第２の距離が長くなるほど、ユーザの指がディスプレイパネル１０８に対して水平に近いことを示す。一方、第１の重心と第２の距離が短くなるほど、ユーザの指がディスプレイパネル１０８に対して垂直に近いことを示す。この特性を用いて、オフセット量算出部１６４は、オフセット量を算出する。
なお、オフセット量算出部１６４は、第１の重心及び第２の重心を結ぶ直線が第１の領域の境界と交わる第１の領域の一端部と、第１の重心との間の距離をオフセット量として算出してもよい。

補正指座標算出部１６５は、指示位置算出部の一例であり、指座標算出部１６２で算出された接触位置又は近接位置、及び近接検出部１６１で算出された第１の重心と第２の重心を結ぶ直線の方向に基づいて、接触位置又は近接位置と異なる指示位置を算出する。例えば、補正指座標算出部１６５は、指座標算出部１６２で算出された接触位置又は近接位置からオフセット量分移動した、直線上の位置を指示位置として算出する。補正指座標算出部１６５が用いるオフセット量は、オフセット量算出部１６４が算出したオフセット量である。指示位置は、第１の重心などによって算出される接触又は近接位置に比べて、ユーザが意図した接触又は近接位置に近い位置である。

＜２．一実施形態の動作＞
次に、本実施形態に係る情報処理装置１００の動作について説明する。
図３は、本実施形態に係る情報処理装置１００の動作を示すフローチャートである。図４は、ディスプレイパネル１０８に表示された画像とユーザによる操作を示す説明図である。図５〜図７は、ディスプレイパネル１０８とユーザの指の関係を示す説明図である。
図８は、受光センサー１２０で検出され３値化処理された輝度値による領域を示す説明図である。図９は、輝度値（光強度）の分布を示すグラフである。図９（Ａ）は、図８のＡ−Ａ線上の輝度値の分布を示し、図９（Ｂ）は、図８のＢ−Ｂ線上の輝度値の分布を示す。

まず、情報処理装置１００は、画像データに基づいてユーザインタフェースとしてのディスプレイパネル１０８に画像やメニュー画面などの各種表示をする（ステップＳ１０１）。図４に示す例では、ディスプレイパネル１０８にソフトウェアキーボード１４０が表示されている例を示す。

そして、ユーザによって、図４に示すように、指１０や手、スタイラス等の操作体がディスプレイパネル１０８の画面に近接されると、受光センサー１２０が検出した光に基づいて、受光処理部１２２が受光処理をする（ステップＳ１０２）。画面上の操作対象（例えばソフトウェアキーボード１４０の各キーボタンなど）をユーザが指示する場合、図５に示すように、指１０や手、スタイラスの一端側が画面に近接し、他端側が一端側に比べて画面から離隔する状態となる。以下では、指１０の先端（指先）が最も画面に接近し、手のひら側の指１０が指先より画面から離れている場合について、説明する。

次に、制御部１０２は、受光処理部１２２で生成された画像信号の各画素の輝度値を算出し、輝度値を３値化処理する。３値化処理は、所定の閾値を２つ設定しておき、図９に示すような様々な分布を有している輝度値を閾値に応じて３つの値に集約する。なお、閾値は種々の条件に応じて設定可能である。

そして、ユーザが画面を指１０で指示している状況では、図８に示すような輝度値の分布を得ることができる。領域１５２は、輝度値が強い領域であり、領域１５４は、輝度値が中間の領域である。輝度値が弱い領域は、領域１５０、領域１５４以外の領域である。領域１５２は、指１０の先端など最も操作体が画面に近接している領域であり、領域１５４は、指１０の先端より画面から離れた指１０に対応する領域である。

情報処理装置１００は、強い閾値を超える輝度値が検出されれば（ステップＳ１０３）、ユーザによる操作があり、画面への近接があったと判断できる。そして、引き続き、情報処理装置１００は、弱い閾値での近接を検出する（ステップＳ１０４）。弱い閾値での近接が検出されれば、ユーザが所定の方向から指１０等で画面を指示していると判断できる。

そして、近接検出部１６１が、領域１５２、領域１５４それぞれの重心位置を算出する。図８に示す第１の重心Ｇ_１は、領域１５２の重心位置であり、第２の重心Ｇ_２は、領域１５４の重心位置である。

次に、指座標算出部１６２は、第１の重心Ｇ_１に基づいて、近接検出部１６１が算出した第１の重心Ｇ_１を接触位置又は近接位置として算出する（ステップＳ１０５）。第１の重心Ｇ_１の座標は、操作体がディスプレイパネル１０８の表面と接触又は近接した位置の仮の代表点である。しかし、第１の重心Ｇ_１の座標は、ユーザが意図する接触又は近接点と異なることが多い。そこで、本実施形態では、以下に示すように補正した指座標を算出してユーザが意図する接触又は近接点に近い指座標を算出する。

角度算出部１６３は、重心Ｇ_１、Ｇ_２に基づいて、第１の重心Ｇ_１と第２の重心Ｇ_２を結ぶ直線の方向を算出する（ステップＳ１０６）。例えば、角度算出部１６３は、画面の垂直方向Ｄ_０に対する、第１の重心と第２の重心を結ぶ直線Ｄ_１の角度θ（図８参照）を算出する。図６に示す例では、画面の垂直方向Ｄ_０と第１の重心と第２の重心を結ぶ直線Ｄ_１のなす角度は、θ_１である。図７に示す例では、画面の垂直方向Ｄ_０と第１の重心と第２の重心を結ぶ直線Ｄ_１のなす角度は、θ_２である。第１の重心と第２の重心を結ぶ直線Ｄ_１は、指１０の方向と対応する。従って、ディスプレイパネル１０８に対して指１０がいずれの方向から指示されているか、数値（角度θ）で表現できる。

更に、オフセット量算出部１６４は、図８に示すように、例えば、近接検出部１６１で算出された第１の重心Ｇ_１と、第２の重心Ｇ_２との間の距離Ｌ_１に基づいて、オフセット量Ｃ_１を算出する（ステップＳ１０７）。

次に、補正指座標算出部１６５が、指座標算出部１６２で算出された接触位置又は近接位置（第１の重心Ｇ_１）と、第１の重心Ｇ_１と第２の重心Ｇ_２を結ぶ直線の方向の角度θに基づいて、接触位置又は近接位置と異なる指示位置を算出する（ステップＳ１０８）。接触位置又は近接位置と異なる指示位置とは、補正後の指座標である。例えば、補正指座標算出部１６５は、指座標算出部１６２で算出された接触位置又は近接位置からオフセット量Ｃ_１分移動した、直線上の位置を指示位置Ｐ_２として算出する。指示位置Ｐ_２は、第１の重心Ｇ_１などによって算出される接触又は近接位置に比べて、ユーザが意図した接触又は近接位置に近い位置である。

なお、ステップＳ１０７において、オフセット量算出部１６４は、第１の重心Ｇ_１及び第２の重心Ｇ_２を結ぶ直線Ｄ_１が第１の領域１５２の境界と交わる第１の領域１５２の一端部と、第１の重心Ｇ_１との間の距離をオフセット量として算出してもよい。このとき、ステップＳ１０８において、補正指座標算出部１６５は、指座標算出部１６２で算出された接触位置又は近接位置からオフセット量分移動した、直線上の位置を指示位置Ｐ_１として算出する（図８参照）。指示位置Ｐ_１は、第１の重心Ｇ_１などによって算出される接触又は近接位置に比べて、ユーザが意図した接触又は近接位置に近い位置である。

そして、最後に、補正後の指座標に基づいて、ディスプレイパネル１０８に表示された各種表示に対して表示処理を行う（ステップＳ１０９）。例えば、図４に示すようにソフトウェアキーボード１４０が３段で表示されているような場合について説明する。ユーザは、上段のキーボタンに対して接触又は近接する意図であったとしても、中段のキーボタンとの接触又は近接が検出される場合がある。また、距離が短い場合は、左右のキーボタンに対しても誤検出される可能性がある。本実施形態によれば、指１０が画面の垂直方向Ｄ_０となす角度θが分かる。そのため、指１０の方向と対応する直線上に補正後の指座標を算出することができ、ユーザが意図した接触又は近接位置に近い支持位置を算出できる。その結果、図４に示す例では、中段のキーボタンが選択されることなく、上段のキーボタンが選択される。また、左右のキーボタンが選択されることなく、意図したキーボタンが選択される。

従来、タッチパネルにおける接触又は近接は、タッチパネル面上に占めるある面積を有する領域として検出される。そこで、タッチパネルにおける接触又は近接の代表点を算出するためには、ある面積を有する接触領域又は近接領域の重心を算出して、算出された重心位置を接触又は近接の代表点として判定していた。

しかし、上記のように領域の重心をもとに、タッチパネルに接触又は近接していると判定された点は、ユーザが意図してタッチパネルに接触又は近接した点と差異が生じるという問題があった。例えば、タッチパネルの画面にユーザが選択可能な複数のボタンが近接して表示されているとき、タッチパネルの持ち方やユーザの爪の長さ等の要因によって、意図したボタンと異なるボタンが選択されるという問題があった。

一方、本実施形態によれば、ユーザの指１０とディスプレイパネル１０８との間の検出された接触又は近接位置ではなく、ユーザの意図に近い接触又近接位置である指示位置を算出できる。その結果、ユーザの違和感を低減することができ、また、誤った表示ボタンをディスプレイパネル１０８上でタップしてしまうといった誤動作を減少させることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、接近値取得部の一例として、近接検出部１６１が輝度値を接近値として算出する場合について説明したが、本発明はかかる例に限定されない。例えば、接近値取得部は、例えば、静電容量方式のタッチパネルであり、静電容量検出部と接近値算出部からなるとしてもよい。静電容量検出部は、ユーザの指（操作体）と表示部の表面との間の静電容量を検出する。接近値算出部は、検出した静電容量の変化を接近値として算出する。例えば、静電容量の変化に応じて、指と表示部の表面とが接触しているか否か、又はどの程度離隔しているかを算出できる。そして、算出した接近値をもとに、上述した実施形態と同様に、制御部１０２の近接検出部１６１が、接近値を３値化処理して、第１の領域と第２の領域を算出する。

また、接近値取得部は、感圧式のタッチパネルでもよく、検出した圧力に応じて、接近値を算出してもよい。圧力の程度に応じて、接近値を３値化処理して、第１の領域と第２の領域を算出する。例えば、ユーザの指の画面に対する接触圧力に応じて、指の接触方向を知ることができる。

また、上記実施形態では、算出した第１の領域と第２の領域それぞれの重心を算出するとしたが、本発明はかかる例に限定されない。例えば、２つの領域を結ぶ方向を算出できる領域を代表する値であれば、重心以外でもよく、領域の一端から他端を結ぶ線分の中心などでもよい。

また、上記実施形態では、ディスプレイパネル１０８に表示されて表示処理対象となるものとして、図４に示すようにソフトウェアキーボード１４０の場合について説明したが、本発明はかかる例に限定されない。例えば、各種ボタン類、スライダー、テキスト、ブラウザリンクなど、ユーザによって選択可能な表示であれば、その他の表示にも適用できる。

本発明の一実施形態に係る情報処理装置を示すブロック図である。 同実施形態に係るディスプレイパネルの画素部分を示す説明図である。 同実施形態に係る情報処理装置の動作を示すフローチャートである。 ディスプレイパネルに表示された画像とユーザによる操作を示す説明図である。 ディスプレイパネルとユーザの指の関係を示す説明図である。 ディスプレイパネルとユーザの指の関係を示す説明図である。 ディスプレイパネルとユーザの指の関係を示す説明図である。 受光センサーで検出され３値化処理された輝度値による領域を示す説明図である。 輝度値（光強度）の分布を示すグラフである。

符号の説明

１００ 情報処理装置
１０２ 制御部
１０４ メモリ
１０６ ストレージ
１０７ 入力Ｉ／Ｆ
１０８ ディスプレイパネル
１１０ 表示部
１１０Ｒ、１１０Ｇ、１１０Ｂ 表示画素
１１２ 表示制御部
１１４ 画像信号処理部
１１６ 音声出力Ｉ／Ｆ
１２２ 受光処理部
１２０ 受光センサー
１３０ 画素セット
１６１ 近接検出部
１６２ 指座標算出部
１６３ 角度算出部
１６４ オフセット量算出部
１６５ 補正指座標算出部

Claims (6)

1. 画像データに基づいて画面上に画像を表示する表示部と、
   操作体と前記表示部の表面との接触又は近接に関する接近値を取得する接近値取得部と、
   前記接近値を３値化処理し、前記３値化処理された接近値に応じて、第１の領域と、前記第１の領域と異なる第２の領域を検出する領域検出部と、
   前記第１の領域及び前記第２の領域それぞれの重心の位置を算出する重心位置算出部と、
   前記第１の領域の重心である第１の重心と、前記第２の領域の重心である第２の重心とを結ぶ直線の方向を算出する直線方向算出部と、
   前記接近値に基づいて前記操作体と前記表示部の表面との接触位置又は近接位置を算出する位置算出部と、
   前記接触位置又は前記近接位置、及び前記第１の重心と前記第２の重心を結ぶ前記直線の方向に基づいて、前記接触位置又は前記近接位置と異なる指示位置を算出する指示位置算出部と
   を有する、情報処理装置。
2. 前記位置算出部は、前記第１の重心を前記接触位置又は前記近接位置として算出し、
   前記指示位置算出部は、前記接触位置又は前記近接位置からオフセット量分移動した、前記直線上の位置を前記指示位置として算出する、請求項１に記載の情報処理装置。
3. 前記オフセット量を、前記第１の重心と前記第２の重心との間の距離に基づいて算出するオフセット量算出部を有する、請求項２に記載の情報処理装置。
4. 前記接近値取得部は、
   外部から前記表示部の表示面に入射する光を受光し、受光した前記光を電気信号に変換する受光部と、
   前記電気信号から画素毎の輝度値を前記接近値として算出する輝度値算出部と
   を有する、請求項１に記載の情報処理装置。
5. 前記接近値取得部は、
   前記操作体と前記表示部の表面との間の静電容量を検出する静電容量検出部と、
   前記静電容量の変化を前記接近値として算出する接近値算出部と
   を有する、請求項１に記載の情報処理装置。
6. 表示部が画像データに基づいて画面上に画像を表示するステップと、
   接近値取得部が操作体と前記表示部の表面との接触又は近接に関する接近値を取得するステップと、
   領域検出部が前記接近値を３値化処理し、前記３値化処理された接近値に応じて、第１の領域と、前記第１の領域と異なる第２の領域を検出するステップと、
   重心位置算出部が前記第１の領域及び前記第２の領域それぞれの重心の位置を算出するステップと、
   直線方向算出部が、前記第１の領域の重心である第１の重心と、前記第２の領域の重心である第２の重心とを結ぶ直線の方向を算出するステップと、
   位置算出部が前記接近値に基づいて前記操作体と前記表示部の表面との接触位置又は近接位置を算出するステップと、
   指示位置算出部が、前記接触位置又は前記近接位置、及び前記第１の重心と前記第２の重心を結ぶ前記直線の方向に基づいて、前記接触位置又は前記近接位置と異なる指示位置を算出するステップと
   を有する、情報処理方法。
   

Images