JP5828800B2 - 表示装置、表示制御方法及びプログラム - Google Patents

Description

本発明は、タッチパネルを介して受け付けた入力操作に応じて、データを表示する表示装置、表示制御方法及びプログラムに関する。

近年、表示部（例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）ディスプレイ）の上部にタッチパネルが搭載された携帯端末（例えばスマートフォン）が普及している。表示部の画面にコンテンツ（例えば地図）を表示する場合、携帯端末は、ユーザの入力操作に応じて、表示倍率を小さくすることで広域な地図を表示し、又は表示倍率を大きくすることで詳細な地図（例えば特定地点周辺の局所的な地図）を表示する。

この種の先行技術として、タッチパネルの操作性を向上させた表示装置が知られている（例えば特許文献１参照）。特許文献１の表示装置は、画面上に表示された小さなボタンを正確に選択させるために、指が接触したボタンを拡大表示し、指が画面から離れた後に拡大表示した箇所の選択を確定させる。

また、ユーザの指の近接を検知するタッチパネルを有する非接触型ユーザ入力装置が知られている（例えば特許文献２参照）。特許文献２の非接触型ユーザ入力装置は、複数の線状の送信電極と、各送信電極に送信用の交流電流を供給する発信器と、各送信電極とは接触しないように配置された複数の線状の受信電極と、受信電極を流れる交流電流を受信する受信器とを含む。送信電極と受信電極との各交差点ではコンデンサが形成され、ユーザの指先の近接に応じてコンデンサが形成されるため、指先の近接程度に応じてコンデンサの静電容量が変化する。非接触型ユーザ入力装置は、静電容量の変化を基に、タッチパネルと指との距離を認識できる。

特開２００８−２２６２８２号公報 特開２００２−３４２０３３号公報

しかし、従来の携帯端末には、次のような問題があった。具体的には、ユーザが地図のようなコンテンツの特定箇所周辺を参照し又は特定箇所周辺に対する操作を行う場合に、従来の携帯端末が地図の特定箇所周辺を局所的に表示すると、ユーザは広域な地図を把握することが難しい。即ち、広域な地図の把握と、特定地点周辺の局所的な地図の参照又は特定地点周辺に対する操作との両立が困難であった。

また、従来の携帯端末では、特定地点周辺の細かい位置を確認するためには、ユーザは、地図の表示倍率の変更操作（例えばピンチ操作）を行う必要がある。このため、表示倍率の変更操作によって表示された地図上の位置がユーザの所望位置と異なっていた場合には、ユーザは表示倍率の再変更操作を繰り返す必要があり、操作が煩雑であった。

特許文献１の表示装置は、指が接触した箇所を拡大して表示することはできるが、ユーザの入力操作に応じて、画面に表示されたコンテンツの内容を選択的に切り替えることは想定されていないと考えられる。

特許文献２では指と非接触型ユーザ入力装置との近接を検知することは記載されているが、ユーザの入力操作に応じて、画面に表示されたコンテンツの内容を選択的に切り替えることは想定されていないと考えられる。

本発明は、上述した従来の事情に鑑みてなされたものであり、煩雑な操作を行うことなく、タッチパネルに対するユーザの入力操作に応じて、画面に表示されたコンテンツの内容を選択的に切り替える表示装置、表示制御方法及びプログラムを提供することを目的とする。

本発明は、画像を画面に表示する表示部と、前記画面に対する指の近接を検知する近接検知部と、前記検知された前記指の近接に応じて、前記画面に表示された前記画像が所定の拡大表示倍率により拡大された拡大画像を生成する画像生成部と、前記近接が検知された前記指の鉛直下方向における前記画面の位置において、前記生成された拡大画像から一部を切り出した局所拡大画像を前記画像の一部の上に重ねることで、前記画面に、前記画像の一部が前記局所拡大画像となった画像を表示させる表示制御部と、を備える。

また、本発明は、表示装置における表示制御方法であって、画像を画面に表示するステップと、前記画面に対する指の近接を検知するステップと、前記検知された前記指の近接に応じて、前記画面に表示された前記画像が所定の拡大表示倍率により拡大された拡大画像を生成するステップと、前記近接が検知された前記指の鉛直下方向における前記画面の位置において、前記生成された拡大画像から一部を切り出した局所拡大画像を前記画像の一部の上に重ねることで、前記画面に、前記画像の一部が前記局所拡大画像となった画像を表示させるステップと、を有する。

また、本発明は、表示装置としてのコンピュータに、画像を画面に表示するステップと、前記画面に対する指の近接を検知するステップと、前記検知された前記指の近接に応じて、前記画面に表示された前記画像が所定の拡大表示倍率により拡大された拡大画像を生成するステップと、前記近接が検知された前記指の鉛直下方向における前記画面の位置において、前記生成された拡大画像から一部を切り出した局所拡大画像を前記画像の一部の上に重ねることで、前記画面に、前記画像の一部が前記局所拡大画像となった画像を表示させるステップと、を実現させるためのプログラムである。

この構成によれば、煩雑な操作を行うことなく、タッチパネルに対するユーザの入力操作に応じて、画面に表示されたコンテンツの内容を選択的に切り替えることができる。

本発明によれば、煩雑な操作を行うことなく、タッチパネルに対するユーザの入力操作に応じて、画面に表示されたコンテンツの内容を選択的に切り替えることができる。

各実施形態における携帯端末のハードウェア構成を示すブロック図 携帯端末の機能的構成を示すブロック図 （ａ）元画像と拡大画像との各レイヤの概念を示す説明図、（ｂ）元画像に対応する第１のレイヤと指との関係を示す図、（ｃ）拡大画像に対応する第２のレイヤと指との関係を示す図 従来技術において距離ａ又は距離ａ’にわたる指の移動によって、「目標地点」周辺の局所拡大画像又は「△△交番前」周辺の局所拡大画像が表示される例を示す説明図 本実施形態において距離ａ’にわたる指の移動によって、「目標地点」周辺の局所拡大画像が表示される例を示す説明図 第１の実施形態の携帯端末の動作手順を説明するフローチャート 第２の実施形態における指の高さｚの値と高さｚの値に対応する拡大画像との関係を示す説明図 第２の実施形態における拡大画像と、各々の拡大画像と重ねて表示される背景画像との関係を示す説明図 指の高さｚの値と拡大表示倍率との関係を表すテーブルの具体例を示す図 第２の実施形態の携帯端末の動作手順を説明するフローチャート 局所拡大画像の表示後に指をホバースライド操作した場合に、指の移動後に表示された局所拡大画像の内容が元画像のどの位置に対応するかを説明するための説明図 指が画面から横方向に外れた場合と指が画面に横方向から再度進入した場合とにおける局所拡大画像の内容を説明するための説明図

以下、本発明に係る表示装置、表示制御方法及びプログラムの各実施形態について、図面を参照して説明する。本実施形態の表示装置は、データを画面に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、ＰＤＡ（personal digital assistant）又は電子書籍端末である。以下、各実施形態の表示装置の一例として携帯端末（例えばスマートフォン）を用いて説明するが、各実施形態の携帯端末は上述した各電子機器に限定されない。

なお、本発明は、装置としての表示装置、又は表示装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、表示装置により実行される各動作（ステップ）を含む表示制御方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。

また、以下の説明において、ユーザからのタッチ操作の受け付けが可能であって、表示装置の画面（例えばＬＣＤ又は有機ＥＬディスプレイ）に表示されたアプリケーション毎のコンテンツの一部を選択可能とするための項目、又は選択によってコンテンツに対する所定の処理を起動可能とするための項目を「ボタン」と定義する。所定の処理は、例えばアプリケーションにおいて現在表示されているコンテンツに関連した内容を実行する処理である。

「ボタン」は、アプリケーションのコンテンツとして、例えばニュースの見出しが表示されている場合、ハイパーリンクされた文字列、即ち、ニュースの見出しでも良いし、ユーザの選択操作を促すための画像（例えばアイコン又はキーボードのソフトウェアキー）でも良いし、又は、文字列と画像との組合せでも良い。表示装置は、ユーザの入力操作に応じて、ボタンに対する操作として、例えばボタンに対応する「ニュースの見出し」の選択を受け付け、選択されたボタンに対応するニュースの詳細を表示することができる。なお、「ボタン」は表示装置において起動しているアプリケーションに応じて定められる。

また、「ボタン」は、アプリケーションのコンテンツとして、例えば地図が表示されている場合、ユーザが参照を希望する特定地点又は経路の探索を希望する特定地点を示す地図上の場所でも良い。表示装置は、ユーザの入力操作に応じて、ボタンに対する所定の処理の入力操作として、例えばユーザの現在地からボタンに対応する特定地点までの経路探索操作を受け付け、該当する経路を探索して表示することができる。

また、タッチパネル上の水平面を表す２軸をｘ軸及びｙ軸とし、タッチパネルの鉛直方向、即ち、タッチパネルからの鉛直方向（高さ方向）を表す軸をｚ軸とする。更に、以下の説明において、「座標」は、タッチパネルの水平面上の位置、即ち、ｘ座標及びｙ座標の組合せにより定まる座標（ｘ、ｙ）と、この座標（ｘ、ｙ）とタッチパネルと指との間の鉛直方向（高さ方向）における距離、即ち、タッチパネルからの指の高さｚとを用いた座標（ｘ、ｙ、ｚ）との両方を含むとする。

なお、以下の説明において、タッチパネルへの指示媒体としては、一例としてユーザの指を用いて説明するが、指に限らず、ユーザの手により把持された導電性のスタイラスを用いても良い。また、指示媒体は、タッチパネルの構造及び検知方式に応じて、タッチパネルへの近接及びタッチが検出可能な媒体であれば特に限定されない。

更に、以下の説明において、指をタッチパネルの面上から離間した空間上の位置に翳す操作を「ホバー操作」と定義し、ホバー操作によって翳された空間上の位置からタッチパネルの面に対して略平行にスライドする操作を、「ホバースライド操作」と定義する。従って、指がタッチパネルの面上に直接タッチする操作は「ホバー操作」ではなく、「タッチ操作」となる。また、ホバー操作又はホバースライド操作において指とタッチパネルの面上との距離（近接距離）は、タッチパネルが検出する静電容量に反比例するため、タッチパネルが検出可能な静電容量の範囲に対応する。

更に、以下の説明において、説明を分かり易くするためにコンテンツの一例として地図を用いて説明し、各実施形態の携帯端末のアプリケーションに応じて拡大表示される前の基準となる表示倍率（例えば１倍）によって初期的に表示される画像を、「元画像」と定義する。

（各実施形態に共通する携帯端末のハードウェア構成）
図１は、各実施形態における携帯端末１のハードウェア構成を示すブロック図である。携帯端末１は、プロセッサ１１、表示部１３、タッチパネルドライバ１４、タッチパネル１５、電源制御部１６、アンテナ１７ａが接続された通信制御部１７、ＲＯＭ（Read Only Memory）２１、ＲＡＭ（Random Access Memory）２２及び記憶部２３を含む。

プロセッサ１１、表示部１３、タッチパネルドライバ１４、電源制御部１６、通信制御部１７、ＲＯＭ２１、ＲＡＭ２２及び記憶部２３は、バス１９を介して、相互にデータを入出力可能に接続されている。

プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、携帯端末１の総括的な制御を行い、その他の種々の演算処理又は制御処理を行う。プロセッサ１１は、ＲＯＭ２１に格納されたプログラム及びデータを読み込み、後述の各実施形態における種々の処理を行う。

ＲＯＭ２１は、携帯端末１にインストールされているアプリケーション６５（図２参照）、並びに、プロセッサ１１が図２に示す各部の処理を実行するためのプログラム及びデータを格納している。また、ＲＯＭ２１には、後述するテーブル２１ａが格納されている。

ＲＡＭ２２は、プロセッサ１１、タッチパネルドライバ１４又は通信制御部１７の動作におけるワークメモリとして動作する。

記憶部２３は、携帯端末１に内蔵されるハードディスク又はフラッシュメモリを用いて構成され、携帯端末１が取得したデータ又は生成したデータを格納する。なお、アプリケーション６５は、記憶部２３に格納される。記憶部２３は、ハードディスク又はフラッシュメモリではなく、例えばＵＳＢ（Universal Serial Bus）端子を介して接続された外部記憶媒体（例えばＵＳＢメモリ）を用いて構成されても良い。

表示部１３は、例えばＬＣＤ又は有機ＥＬ（Electroluminescence）ディスプレイを用いて構成され、プロセッサ１１又はタッチパネルドライバ１４から出力されたデータを画面に表示する。

タッチパネルドライバ１４は、タッチパネル１５の動作を制御してタッチパネル１５に対するユーザの入力操作を監視する。例えば、タッチパネルドライバ１４は、タッチパネル１５がユーザの指６８（図３参照）のタッチ操作による接触又はホバー操作による近接を検知すると、接触座標（ｘ、ｙ）又は近接座標（ｘ、ｙ、ｚ）を取得し、接触座標（ｘ、ｙ）又は近接座標（ｘ、ｙ、ｚ）の情報をプロセッサ１１、ＲＡＭ２２又は記憶部２３に出力する。以下、接触座標（ｘ、ｙ）を「タッチ座標（ｘ、ｙ）」という。

タッチパネル１５は、表示部１３の画面４５（図３参照）の上に搭載され、ユーザの指６８がタッチパネル１５の水平面上をタッチ操作したことを検知する。また、タッチパネル１５は、ユーザの指６８がホバー操作によって指６８がタッチパネル１５に近接したことを検知する。

なお、タッチパネル１５の具体的構成は、例えば上述した特許文献２に詳細に開示されているため説明を省略するが、タッチパネル１５は、ホバー操作における指の高さｚが所定値ｚｔｈ以下、又は指の高さｚに応じて定まる静電容量が所定値以上となる場合に、指６８の近接状態を検知する。

電源制御部１６は、携帯端末１の電力供給源（例えばバッテリ）を用いて構成され、タッチパネル１５への入力操作に応じて、携帯端末１の電源のオン状態又はオフ状態を切り替える。電源がオン状態の場合、電源制御部１６は、電力供給源から図１に示す各部に電力を供給して携帯端末１を動作可能にさせる。

通信制御部１７は、無線通信回路を用いて構成され、送受信用のアンテナ１７ａを介して、プロセッサ１１により処理された処理結果としてのデータを送信し、更に、不図示の基地局又は他の通信端末から送信されたデータを受信する。また、図１に示す携帯端末１は、各実施形態の説明に必要となる構成が図示され、更に、通話音声を制御する音声制御部と、ユーザの声を集音するマイクロフォンと、更に通話相手の音声データを出力するスピーカとを含んでも良い。

（携帯端末１の機能的構成）
次に、各実施形態に共通する携帯端末１の機能的構成について、図２を参照して説明する。図２は、携帯端末１の機能的構成を示すブロック図である。

図２に示す携帯端末１は、近接検知部５、タッチ検知部１０、画面表示部３０、メモリ４０、近接座標抽出部５１、タッチ座標抽出部５２、表示レイヤ切替判定部５４、画像位置変換部５６、画像ボタン管理部５５、表示レイヤ画像生成部５８、アプリ画面生成部５９、画像合成部６０及びアプリケーション６５を含む。

近接検知部５は、ホバー操作によって指６８がタッチパネル１５に近接した状態を検知する。近接検知部５は、指がタッチパネル１５に近接した旨の近接通知を近接座標抽出部５１に出力する。

タッチ検知部１０は、タッチ操作によって指６８がタッチパネル１５にタッチした動作を検知する。タッチ検知部１０は、指６８がタッチパネル１５にタッチした旨の接触通知をタッチ座標抽出部５２に出力する。なお、近接検知部５とタッチ検知部１０とはタッチパネル１５を用いて構成可能であり、図２では近接検知部５とタッチ検知部１０とは別々の構成としているが、両者をタッチパネル１５として一纏めに構成しても良い。

画面表示部３０は、図１に示す表示部１３に対応し、後述する画像合成部６０から出力された合成画像データを画面４５に表示する。合成画像データは、アプリケーション６５における画面（以下、単に「アプリ画面」という）のデータと、表示レイヤ画像生成部５８により生成された画像データとが画像合成部６０によって合成されたデータである。

メモリ４０は、図１に示すＲＡＭ２２又は記憶部２３に対応し、少なくとも画像ボタンデータベース５５ａとして構成される。画像ボタンデータベース５５ａは、例えばアプリケーション６５において用いられる画面のデータ及び画像データ、アプリケーション６５によって生成された画像データ、拡大画像の画像データが既に生成されていることを示す拡大画像生成済みフラグ、不図示の基地局又は他の通信端末から受信された画像データ、並びにアプリケーション６５において用いられるボタンの座標情報及びボタンに割り当てられたアプリケーション６５の動作情報を格納する。

なお、メモリ４０には、近接座標抽出部５１により抽出された近接座標（ｘ、ｙ、ｚ）又はタッチ座標抽出部５２により抽出されたタッチ座標（ｘ、ｙ）の各情報が一時的に格納されても良い。図２では、図面の複雑化を避けるために、近接座標抽出部５１及びタッチ座標抽出部５２からメモリ４０への矢印の図示を省略している。

近接座標抽出部５１は、近接検知部５から出力された近接通知を基に、指６８のタッチパネル１５に対する近接座標（ｘ、ｙ、ｚ）を算出して抽出し、近接座標（ｘ、ｙ、ｚ）のうち指６８の鉛直下方向におけるタッチパネル１５上の位置を示す座標（ｘ、ｙ）を基準点７５（後述参照）として設定する。近接座標（ｘ、ｙ、ｚ）のうち、ｘ成分及びｙ成分はタッチパネル１５の水平面上における位置を表す座標値であって、ｚ成分は指６８とタッチパネル１５との間の鉛直方向の距離、即ち、指６８のタッチパネル１５に対する高さを表す座標値である。近接座標抽出部５１は、抽出された近接座標（ｘ、ｙ、ｚ）及び基準点（ｘ、ｙ）の各情報を表示レイヤ切替判定部５４及び画像位置変換部５６にそれぞれ出力する。

表示レイヤ切替判定部５４は、拡大画像４６（図３参照）の画像データが既に生成されているか否かを判定する。表示レイヤ切替判定部５４は、例えば拡大画像４６の画像データが既に生成されていることを示す拡大画像生成済みフラグがメモリ４０に格納されているか否かを画像ボタン管理部５５に問い合わせ、画像ボタン管理部５５から出力された問い合わせ結果を基に、拡大画像４６が既に生成されているか否かを判定する。

表示レイヤ切替判定部５４は、画像ボタン管理部５５からの問い合わせ結果を基に、拡大画像４６の画像データが既に生成されていないと判定した場合に、近接座標抽出部５１から出力された基準点７５（ｘ、ｙ）及び近接座標（ｘ、ｙ、ｚ）の各情報を基に、元画像の画像データにおける基準点７５を略中心とする拡大画像の画像データを生成すると判定する。

表示レイヤ切替判定部５４は、例えば高さｚの値が所定の閾値ｚｔｈを超えた場合には、元画像の画像データにおける基準点７５を略中心とする拡大画像の画像データを生成しないと判定する。所定の閾値ｚｔｈは、近接検知部５が指６８がタッチパネル１５に対して近接した状態を検知できるか否かを判定するための閾値であって、更に、表示レイヤ切替判定部５４が元画像の画像データにおける基準点７５を略中心とする拡大画像の画像データを生成するか否かを判定するための閾値である。

表示レイヤ切替判定部５４は、拡大画像の画像データを生成すると判定した場合には、表示レイヤ切替判定部５４の動作において予め設定された拡大表示倍率の情報及び拡大画像の画像データを生成する旨の拡大画像生成指示を、画像位置変換部５６及びアプリケーション６５にそれぞれ出力する。なお、本実施形態では拡大表示倍率の情報は１つとするが、１つに限定されずに、指６８のタッチパネル１５に対する高さｚの値に応じて、複数の拡大表示倍率の情報が設けられても良い（詳しくは第２の実施形態参照）。

画像ボタン管理部５５は、アプリケーション６５において用いられるアプリ画面を構成する各々のボタンの画面４５上における表示座標を示す情報を、メモリ４０から読み出したり書き込んだりする。

画像位置変換部５６は、近接座標抽出部５１から出力された基準点（ｘ、ｙ）の情報を基に、指先、即ち、指６８の鉛直下方向におけるタッチパネル１５上の位置が元画像のどの位置であるかを特定する。なお、画像位置変換部５６により特定された位置は、元画像の表示部１３における物理的な大きさに依存して特定される位置、例えば指６８の鉛直下方向におけるタッチパネル１５上の位置ではなく、元画像の画像データの論理的な座標情報により特定される位置、例えばコンテンツが地図である場合に元画像の経度及び緯度により特定される位置である。

画像位置変換部５６は、表示レイヤ切替判定部５４から出力された拡大表示倍率の情報及び拡大画像生成指示、並びに近接座標抽出部５１から出力された基準点（ｘ、ｙ）に対応する元画像の特定された位置の情報を表示レイヤ画像生成部５８に出力する。

画像位置変換部５６は、拡大画像生成指示を、所定の短い間隔において連続的に表示レイヤ画像生成部５８に出力する。例えば、画像位置変換部５６は、指６８がホバースライド操作によってタッチパネル１５の水平面に対して略平行に移動した場合、移動後の指先に対応する拡大画像の拡大画像生成指示を表示レイヤ画像生成部５８に出力する。

また、画像位置変換部５６は、タッチ座標抽出部５２から出力されたタッチ座標（ｘ、ｙ）の情報を基に、タッチ座標（ｘ、ｙ）にボタンが規定されているか否かを画像ボタン管理部５５に問い合わせる。画像位置変換部５６は、画像ボタン管理部５５から出力された問い合わせ結果を基に、タッチ座標（ｘ、ｙ）にボタンが規定されているか否かを判定する。画像位置変換部５６は、タッチ座標（ｘ、ｙ）にボタンが規定されていると判定した場合、タッチ座標（ｘ、ｙ）に対応するボタンが指６８のタッチ操作によって選択された旨の選択通知をアプリケーション６５に出力する。

表示レイヤ画像生成部５８は、画像位置変換部５６から出力された拡大画像生成指示及び基準点（ｘ、ｙ）に対応する元画像の特定された位置の情報を基に、画像ボタン管理部５５を介して、基準点の座標（ｘ、ｙ）を含む元画像の画像データ及び元画像の画像データに含まれるボタンの画像データ（例えばアイコン）をメモリ４０から取得する。表示レイヤ画像生成部５８は、取得された元画像の画像データ及びボタンの画像データを用いて、アプリ画面生成部５９から出力された元画像の画像データの表示範囲の情報、拡大表示倍率の情報、拡大画像生成指示及び基準点（ｘ、ｙ）に対応する元画像の特定された位置の情報を基に、指先に対応する元画像の画像データの基準点の位置を含む元画像の画像データが拡大表示倍率によって拡大された拡大画像の画像データを生成する。

更に、表示レイヤ画像生成部５８は、表示レイヤ画像生成部５８の動作において予め規定された所定範囲の情報を基に、生成された拡大画像の画像データのうち所定範囲に対応する一部の拡大画像の画像データを切り出す。表示レイヤ画像生成部５８は、切り出された一部の拡大画像の画像データ、即ち、局所的に特定地点の周辺が拡大された局所拡大画像の画像データを画像合成部６０に出力する。

また、画像位置変換部５６からの拡大画像生成指示は連続的に出力されるため、表示レイヤ画像生成部５８は、拡大画像の画像データの切り出しを連続的に行う。例えば指６８がホバースライド操作によって移動した場合に、画像位置変換部５６は、移動後の指先に対応する基準点と移動前の指先に対応する基準点との距離（指の相対移動量）と、後述する元画像と拡大画像との各表示倍率の比とを基に、比と指の相対移動量との乗算結果に応じた指の移動方向における位置の情報を表示レイヤ画像生成部５８に出力する。表示レイヤ画像生成部５８は、画像位置変換部５６から出力された情報に対応する位置を含む所定範囲の拡大画像の画像データの切り出しを継続する（図５参照）。

従って、表示レイヤ画像生成部５８は、後述するように拡大画像の画像データと元画像の画像データとが重ねて表示されている場合に（図４参照）、指６８がホバースライド操作によってタッチパネル１５に対して略平行に移動すると、指６８の移動前における拡大画像の画像データの基準点７５（図４参照）を起点とした指６８の相対移動量と表示倍率の比とに応じた拡大画像の画像データを切り出す。

アプリ画面生成部５９は、アプリケーション６５からの画面生成指示を基に、画像ボタン管理部５５を介してメモリ４０から取得した元画像の画像データを用いて、アプリケーション６５におけるアプリケーション用画面の画面データを生成する。アプリ画面生成部５９は、生成された画面データ、即ち、元画像の画像データの表示範囲の情報を表示レイヤ画像生成部５８に出力し、生成された画面データを画像合成部６０に出力する。

なお、図２では、アプリ画面生成部５９とアプリケーション６５とが別々の構成として示されているが、アプリケーション６５がアプリ画面生成部５９の機能を有することによって、アプリ画面生成部５９とアプリケーション６５とを一纏めにしたアプリケーション６５として構成しても良い。

表示制御部としての画像合成部６０は、アプリ画面生成部５９から出力された画面４５（図４参照）の画面データと、表示レイヤ画像生成部５８から出力された局所拡大画像４６ａ（図４参照）の拡大画像の画像データとを合成する。画像合成部６０は、合成された画像データを画面表示部３０に表示させる。

（携帯端末１の動作概要）
次に、第１の実施形態の携帯端末１の動作概要について、図３から図５を参照して説明する。

図３（ａ）は、元画像と拡大画像との各レイヤの概念を示す説明図である。図３（ｂ）は、元画像４７に対応する第１のレイヤ７１と指６８との関係を示す図である。図３（ｃ）は、拡大画像４６に対応する第２のレイヤ７２と指６８との関係を示す図である。本実施形態では、２つのレイヤ、即ち、第１のレイヤ７１として元画像４７の画像データのレイヤ７１が設定され、第２のレイヤとして元画像４７の画像データが拡大表示倍率によって拡大された拡大画像４６の画像データのレイヤ７２が設定される。なお、各レイヤに設定された画像データは、記憶部２３（メモリ４０）に格納されている。

従って、図３では、レイヤ７１では、元画像４７（例えば地図の画像）の元画像の画像データが設定される。画面４５の上に搭載されたタッチパネル１５に指６８が近づくことで指６８の近接が検知されると、表示レイヤ切替判定部５４は、元画像４７の画像データに基準点７５を設定する。即ち、表示レイヤ切替判定部５４は、指６８のタッチパネル１５に対する近接が検知されたときのタッチパネル１５上における位置（図３の元画像４７の「○○駅」の周囲の黒い丸部分）を、レイヤ７１における基準点７５として初期的に設定する。図３（ｂ）に示すように、第１のレイヤに元画像が設定される場合には、指６８とタッチパネル１５との間に近接状態は検知されていない。しかし、図３（ｃ）に示すように、第２のレイヤに拡大画像が設定される場合には、指６８とタッチパネル１５との間に近接状態が検知されている。

指６８の近接が検知されると、表示レイヤ画像生成部５８は、基準点７５を略中心とする拡大画像４６の画像データを生成し、拡大画像４６の画像データを生成した旨を表す拡大画像生成済みフラグを表示レイヤ切替判定部５４に出力する。表示レイヤ切替判定部５４は、表示レイヤ画像生成部５８から出力された拡大画像生成済みフラグを基に、拡大画像４６の画像データをレイヤ７２に設定する。なお、図２では、図面の複雑化を避けるため、表示レイヤ画像生成部５８と表示レイヤ切替判定部５４との間の矢印の図示を省略している。

図３に示す拡大画像４６は、基準点７５を略中心に元画像４７が拡大された画像である。図３では、画面４５に元画像４７の画像データが表示され、ユーザの指６８が移動可能な範囲、即ち、画面４５の大きさ（物理的なサイズ）に対応する拡大画像４６の画像データが生成される。

表示レイヤ画像生成部５８は、拡大画像４６を生成した後、表示部１３の画面４５の大きさ（物理的なサイズ）に合わせた拡大画像４６の画像データから、画面４５の大きさの一部の拡大画像の拡大画像の画像データを切り出す。なお、表示レイヤ画像生成部５８は、元画像４７の画像データの大きさのうち、基準点７５を略中心として、画像位置変換部５６から出力された所定範囲の情報に合わせた一部の元画像を拡大した局所的な拡大画像の画像データを生成しても良い。

これにより、携帯端末１は、表示部１３の画面４５に、表示レイヤ画像生成部５８の動作において予め規定された所定範囲の情報に対応する大きさの窓枠４８（図４参照）内に、拡大画像４６の一部である局所拡大画像４６ａを、元画像４７と重ねて表示することができる。更に、従来技術では指６８がタッチパネル１５にタッチした場合に指６８に隠れてユーザが視認することが困難であった指先に対応する地図上の特定地点を、本実施形態の携帯端末１は、ホバー操作によって指６８とタッチパネル１５とが離間しているため、ユーザに対して明示的に認知させることができる。

次に、図４及び図５を参照して、局所拡大画像が表示された場合に指６８を移動させた場合の従来の携帯端末と本実施形態の携帯端末１との動作概要を説明する。図４は、従来技術においてベクトルＡの距離ａ又はベクトルＡ‘の距離ａ’にわたる指６８の移動によって、「目標地点４６ｄ」周辺の局所拡大画像４６ｃ又は「△△交番前」周辺の局所拡大画像４６ｂが表示される例を示す説明図である。図５は、本実施形態においてベクトルＡ’の距離ａ’にわたる指６８の移動によって、「目標地点４６ｄ」周辺の局所拡大画像４６ｃが表示される例を示す説明図である。図４及び図５では、説明を簡単にするために、コンテンツの一例として地図を用いて説明する。

先ず、タッチパネル１５に指６８を近接させると、指先、即ち、指６８の鉛直下方向におけるタッチパネル１５（画面４５）の位置（基準点７５）を略中心に含む局所拡大画像４６ａが窓枠４８内に拡大表示される。つまり、画面４５のうち窓枠４８内の表示領域には局所拡大画像４６ａが表示され、画面４５のうち窓枠４８以外の表示領域には拡大画像４６の元画像４７が表示される。図４では、「○○駅」の位置が基準点７５として設定されているとする。なお、窓枠４８の大きさは任意に変更可能でも良い。

基準点７５として設定された「○○駅」の位置周辺の局所拡大画像４６ａが窓枠４８内に表示された状態において、ユーザは、元画像４７の表示倍率では選択が困難な位に小さく表示されている目標地点４６ｄを選択し、基準点７５としての「○○駅」から目標地点４６ｄまでの経路を探索するために、目標地点４６ｄ周辺の局所拡大画像４６ｃを表示したいとする。局所拡大画像４６ａが窓枠４８内に表示されている状態において、指６８が移動すると、指６８の移動方向に合わせて、窓枠４８内に表示されている局所拡大画像４６ａの内容が切り替えられる。

ところが、従来技術では、指６８の図４の紙面左上方向への距離ａにわたった移動によって、窓枠４８内に表示されている局所拡大画像４６ａの内容は、元画像４７の画像データの表示倍率（例えば１倍）に従って切り替えられる。即ち、窓枠４８内に表示されている局所拡大画像４６ａの内容は、指６８が図４の紙面左上方向への距離ａにわたって移動した場合には、拡大画像４６の画像データの表示倍率ではなく元画像４７の画像データの表示倍率の影響を受けるため、基準点７５から距離ａ離れた目標地点４６ｄ周辺の局所拡大画像４６ｃが表示される。

従来技術では、指６８の移動に応じて切り替えられる局所拡大画像４６ａの内容は、元画像４７の画像データの表示倍率の影響を受けるため、例えば基準点７５からあまり離れていない位置（例えば目標地点４６ｄ）に指６８を移動させること、即ち、指６８の移動距離の微調整が困難な場合がある。指６８を距離ａほど適正に移動させることができれば、局所拡大画像４６ａの内容は基準点７５から距離ａほど離れた目標地点４６ｄ周辺の局所拡大画像４６ｃが表示されるが、少しでも距離ａを超えた距離又は距離ａに満たない距離しか移動できないと、目標地点４６ｄ周辺の局所拡大画像４６ｃの表示が困難となってしまう。特に、縮尺が大きい地図画像（例えば２万分の１）が表示されている場合では、指６８の移動距離の調整が少しでもずれると、表示される地図画像はユーザが希望する地域の地図画像と大きく異なり、快適な操作が困難となってしまう。

例えば元画像４７が縮尺２万分の１の地図であって拡大画像４６が縮尺１万分の１の地図である場合に、基準点７５からの指６８の相対移動量、即ち、基準点７５と指６８の移動先に対応する基準点７５ｂとの距離ａ’が３ｃｍであれば、窓枠４８内に表示されている局所拡大画像４６ａの内容は、元画像４７の画像データの縮尺（２万分の１）と指６８の相対移動量（３ｃｍ）とに応じて距離（６００ｍ）移動した場所の拡大画像４６ｂの内容に切り替えられる。即ち、指６８が図４の紙面左上方向への距離ａ’にわたって移動すると、「△△交番前」の周辺が窓枠４８ｂ内の局所拡大画像４６ｂとして表示される。

本実施形態では、指６８が図５の紙面左上方向に距離ａ’にわたって移動した場合には、窓枠４８内に表示されている局所拡大画像４６ａの内容は、元画像４７の画像データの表示倍率（例えば１倍）と拡大画像４６の画像データの表示倍率（例えば２倍）との比と基準点７５からの指６８の相対移動量とに応じて切り替えられる。このため、目標地点４６ｄの周辺（図５の点線円４８ｄ参照）が、指６８の移動先に対応する局所拡大画像４６ｅとして窓枠４８ｅ内に表示される（図５参照）。目標地点４６ｄの周辺が局所拡大画像４６ｅとして窓枠４８ｅ内に表示された後、指６８が目標地点４６ｄをタッチ操作によって選択することで、携帯端末１は、例えば基準点７５としての「○○駅」から目標地点４６ｄまでの経路探索を連続的な操作（一連の操作）として行うことができる。

従って、例えば元画像４７の地図の縮尺が２万分の１であって、拡大画像４６の地図の縮尺が１万分の１である場合に、指６８が基準点７５から目標地点４６ｄのボタンの位置（基準点７５からの距離ａ（図４参照））の約２倍の距離離れた位置（基準点７５からの距離ａ’）まで移動したとする。この場合、本実施形態の携帯端末１は、元画像４７の画像データの表示倍率（例えば２万分の１）と拡大画像４６の画像データの表示倍率（例えば１万分の１）との比（即ち、１／２）と基準点７５からの指６８の相対移動量（距離ａ’）との乗算結果に対応する指６８の移動量（図４に示す距離ａ）だけ基準点７５から移動した位置（図５の点線円４８ｄ）の内容を、指６８の移動先に対応する局所拡大画像４６ｅとして窓枠４８ｅに表示する。なお、指６８の距離ａ’にわたる移動によって拡大表示された局所拡大画像４６ｅにおける基準点は、指６８の距離ａ’にわたる移動後の位置、即ち、局所拡大画像４６ｅ（拡大画像４６）における目標地点４６ｄの位置となる。

これにより、本実施形態の携帯端末１は、元画像４７の地図の縮尺（表示倍率）と拡大画像４６の地図の縮尺（表示倍率）との比と指６８の相対移動量とを基に局所拡大画像の切り替えを行うため、ユーザが所望する局所拡大画像の切り替えを簡易に行うことができ、指６８を用いた地図の局所拡大画像の移動の微調整を容易に行わせることができる。

（第１の実施形態の携帯端末１の動作）
図６は、第１の実施形態の携帯端末１の動作手順を説明するフローチャートである。図６に示すフローチャートは、携帯端末１の表示部１３の画面４５に元画像４７の画像データが表示されている場合に、ユーザの指６８がタッチパネル１５に近接した場合又はタッチ操作した場合の携帯端末１の動作手順を表す。

なお、図６の説明の前提として、画面４５に表示されている元画像４７の画像データは、表示レイヤ切替判定部５４によって第１のレイヤ（レイヤ７１）に設定されている。

図６において、先ず、近接検知部５は、ホバー操作によってユーザの指６８がタッチパネル１５に近接したか否かを検知している（Ｓ１）。近接検知部５は、ホバー操作によってユーザの指６８がタッチパネル１５に近接していないことを検知した場合には（Ｓ１、ＮＯ）、指６８がタッチパネル１５に近接していないことを近接座標抽出部５１に出力する。近接座標抽出部５１は、指６８がタッチパネル１５に近接していないことを表示レイヤ切替判定部５４に出力する。

表示レイヤ切替判定部５４は、近接座標抽出部５１からの出力を基に、拡大画像の画像データが生成されているか否かを判定し、拡大画像の画像データが生成されていると判定した場合には、拡大画像の画像データを、画像ボタン管理部５５にメモリ４０から削除させる。これにより、携帯端末１は、拡大画像の画像データの表示を解除する（Ｓ２）。なお、拡大画像の画像データが生成されているか否かを判定する表示レイヤ切替判定部５４の動作説明は、ステップＳ５において詳述する。なお、ステップＳ２の動作は、拡大画像の画像データが生成されていない場合には省略される。

近接検知部５は、指６８がタッチパネル１５に近接したことを検知した場合に（Ｓ１、ＹＥＳ）、指６８がタッチパネル１５に近接した旨の近接通知を近接座標抽出部５１に出力する。近接座標抽出部５１は、近接検知部５から出力された近接通知を基に、指６８のタッチパネル１５に対する近接座標（ｘ、ｙ、ｚ）を算出して抽出する（Ｓ３）。

更に、近接座標抽出部５１は、近接座標（ｘ、ｙ、ｚ）のうち指６８の鉛直下方向におけるタッチパネル１５上の位置を示す座標（ｘ、ｙ）を元画像の基準点７５として設定する（Ｓ３）。近接座標抽出部５１は、抽出された近接座標（ｘ、ｙ、ｚ）及び基準点（ｘ、ｙ）の各情報を表示レイヤ切替判定部５４及び画像位置変換部５６にそれぞれ出力する。

次に、タッチ検知部１０は、指６８がタッチパネル１５にタッチしたか否かを検知している（Ｓ４）。タッチ検知部１０が指６８のタッチパネル１５に対するタッチ操作を検知していない場合には（Ｓ４、ＮＯ）、携帯端末１の動作はステップＳ５に進む。

表示レイヤ切替判定部５４は、拡大画像４６が既に生成されているか否かを判定する（Ｓ５）。ステップＳ５では、表示レイヤ切替判定部５４は、例えば拡大画像生成済みフラグがメモリ４０に格納されているか否かを画像ボタン管理部５５に問い合わせ、画像ボタン管理部５５から出力された問い合わせ結果を基に、拡大画像４６が既に生成されているか否かを判定する。

表示レイヤ切替判定部５４は、拡大画像４６が生成されていないと判定した場合（Ｓ５、ＮＯ）、近接座標抽出部５１から出力された基準点７５（ｘ、ｙ）及び近接座標（ｘ、ｙ、ｚ）の各情報を基に、元画像の画像データにおける基準点７５を略中心とする拡大画像の画像データを生成すると判定する。

表示レイヤ切替判定部５４は、拡大画像の画像データを生成すると判定した場合には、表示レイヤ切替判定部５４の動作において予め設定された拡大表示倍率の情報及び拡大画像の画像データを生成する旨の拡大画像生成指示を画像位置変換部５６にそれぞれ出力する。

画像位置変換部５６は、近接座標抽出部５１から出力された基準点（ｘ、ｙ）の情報を基に、指先、即ち、指６８の鉛直下方向におけるタッチパネル１５上の位置が元画像のどの位置であるかを特定する。更に、画像位置変換部５６は、表示レイヤ切替判定部５４から出力された拡大表示倍率の情報及び拡大画像生成指示、及び近接座標抽出部５１から出力された基準点（ｘ、ｙ）に対応する元画像の特定された位置の情報を表示レイヤ画像生成部５８に出力する。

表示レイヤ画像生成部５８は、画像位置変換部５６から出力された拡大画像生成指示及び基準点（ｘ、ｙ）に対応する元画像の特定された位置の情報を基に、画像ボタン管理部５５を介して、基準点７５の座標（ｘ、ｙ）を含む元画像の画像データ及び元画像の画像データに含まれるボタンの画像データ（例えばアイコン）をメモリ４０から取得する。

表示レイヤ画像生成部５８は、取得された元画像の画像データ及びボタンの画像データを用いて、アプリ画面生成部５９から出力された元画像の画像データの表示範囲の情報、拡大画像生成指示及び基準点（ｘ、ｙ）に対応する元画像の特定された位置の情報を基に、指先に対応する元画像の画像データの基準点７５の位置を略中心として含む元画像の画像データが拡大表示倍率によって拡大された拡大画像の画像データを生成する（Ｓ６）。

表示レイヤ画像生成部５８は、拡大画像生成済みフラグを表示レイヤ切替判定部５４に出力する。表示レイヤ切替判定部５４は、表示レイヤ画像生成部５８から出力された拡大画像生成済みフラグを基に、拡大画像４６の画像データをレイヤ７２に設定する。

表示レイヤ画像生成部５８は、生成された拡大画像の画像データの基準点（ｘ、ｙ）の情報を保持する（Ｓ７）。更に、表示レイヤ画像生成部５８は、表示レイヤ画像生成部５８の動作において予め規定された所定範囲の情報を基に、生成された拡大画像の画像データのうち所定範囲に対応する一部の拡大画像（局所拡大画像）の画像データを切り出す（Ｓ８）。表示レイヤ画像生成部５８は、切り出された一部の拡大画像の画像データ、即ち、局所的に特定地点の周辺が拡大された局所拡大画像の画像データを画像合成部６０に出力する。

画像合成部６０は、アプリ画面生成部５９から出力された画面４５の画面データと、表示レイヤ画像生成部５８から出力された局所拡大画像４６ａ（図３参照）の画像データとを合成する（Ｓ９）。画像合成部６０は、合成された画像データを画面表示部３０に表示させる。この後、携帯端末１の動作は、ステップＳ１に戻る。

一方、ステップＳ５において、表示レイヤ切替判定部５４は、既に拡大画像４６が生成されていると判定した場合（Ｓ５、ＹＥＳ）、ステップＳ７において既に生成された拡大画像４６の画像データの基準点（ｘ、ｙ）と、現在の指６８の鉛直下方向におけるタッチパネル１５上の位置を示す座標（ｘ１、ｙ１）とにより定まる指６８の相対移動量を算出する（Ｓ１０）。表示レイヤ切替判定部５４は、算出された指６８の相対移動量を画像位置変換部５６に出力する。

画像位置変換部５６は、移動後の指先に対応する基準点と移動前の指先に対応する基準点との距離（指６８の相対移動量、図５に示す距離ａ’参照）と、元画像４７と拡大画像４６との各表示倍率の比とを基に、比と指の相対移動量との乗算結果に応じた指６８の移動方向における位置の情報を表示レイヤ画像生成部５８に出力する。表示レイヤ画像生成部５８は、画像位置変換部５６から出力された情報に対応する位置を含む所定範囲の拡大画像の画像データを切り出す（Ｓ８）。

次に、ステップＳ４においてタッチ検知部１０が指６８のタッチパネル１５に対するタッチ操作を検知した場合には（Ｓ４、ＹＥＳ）、タッチ座標抽出部５２は、タッチ操作を検知したことをタッチ検知部１０から取得すると共に、タッチ座標（ｘ、ｙ）の情報を表示レイヤ切替判定部５４に出力する。表示レイヤ切替判定部５４は、タッチ座標抽出部５２から出力されたタッチ座標（ｘ、ｙ）の情報を基に、拡大画像４６が既に生成されているか否かを判定する（Ｓ１１）。ステップＳ１１の判定方法はステップＳ５と同一のため、具体的な判定方法の説明を省略する。なお、図２では、図面の複雑化を避けるために、タッチ座標抽出部５２と表示レイヤ切替判定部５４との間の矢印の図示は省略している。

表示レイヤ切替判定部５４は、拡大画像４６の画像データが生成されていないと判定した場合には（Ｓ１１、ＮＯ）、拡大画像４６の画像データが生成されていないことを画像位置変換部５６に出力する。画像位置変換部５６は、タッチ座標抽出部５２から出力されたタッチ座標（ｘ、ｙ）及び表示レイヤ切替判定部５４からの出力を基に、元画像４７の画像データの座標情報を基に、タッチ座標（ｘ、ｙ）の位置が元画像４７のどの位置であるかを特定する（Ｓ１２）。ステップＳ１２の後、携帯端末１の動作はステップＳ１３に進む。

また、ステップＳ１２の動作は、拡大画像４６が生成されていると表示レイヤ切替判定部５４により判定された場合に（Ｓ１１、ＹＥＳ）、タッチ座標（ｘ、ｙ）が元画像４７と拡大画像４６とが重ねて表示されている画面４５のうち拡大画像４６の範囲内でないと画像位置変換部５６により判定された場合においても実行される（Ｓ１４、ＮＯ）。

一方、画像位置変換部５６は、タッチ座標（ｘ、ｙ）が元画像４７と拡大画像４６とが重ねて表示されている画面４５のうち拡大画像４６の範囲であると判定した場合には（Ｓ１４、ＹＥＳ）、拡大画像４６の座標情報を基に、タッチ座標（ｘ、ｙ）の位置が拡大画像のどの位置であるかを特定する（Ｓ１５）。なお、拡大画像４６の座標情報は、タッチされた局所拡大画像の論理的な位置に対応する元画像の論理的な位置を示す座標情報である。

ステップＳ１２又はＳ１５においてタッチ座標（ｘ、ｙ）の位置が特定された後、画像位置変換部５６は、画面４５において特定された位置にボタンがあるか否かを画像ボタン管理部５５に問い合わせる。画像位置変換部５６は、画像ボタン管理部５５からの問い合わせ結果を基に、画面４５において特定された位置にボタンがあるか否かを判定する（Ｓ１３）。ボタンが無いと判定された場合には（Ｓ１３、ＮＯ）、携帯端末１の動作は、ステップＳ３に戻る。

画像位置変換部５６は、ボタンがあると判定した場合には（Ｓ１３、ＹＥＳ）、ステップＳ４のタッチ操作によってボタンが押下されたことをアプリケーション６５に出力する。アプリケーション６５は、ボタンに対応した動作を判定し（Ｓ１６）、判定された動作を実行する（Ｓ１７）。この後、図６に示す携帯端末１の動作は終了する。

なお、ステップＳ１で指６８の接近が一旦検知された後、ステップＳ２以降の処理の途中で指６８がタッチパネル１５からタッチパネル１５に垂直な方向に遠ざかり近接が検知されなくなった場合、携帯端末１は画面４５に元画像４７だけを表示し、ステップＳ１の処理に戻るようにしてもよい。これにより、携帯端末１は、元画像だけの画面表示に簡単に戻すことができ、ユーザ操作を簡易化できる。

以上により、第１の実施形態の携帯端末１は、指６８の近接が検知された場合、画面４５に表示されている元画像の基準点７５を略中心として含む拡大画像を生成し、生成された拡大画像のうち基準点を略中心とした所定範囲の局所拡大画像と元画像とを重ねて表示部１３の画面４５に表示させる。

これにより、携帯端末１は、画面４５に表示された画像の細部に対する操作を効率的に行うことが可能となり、ユーザの操作性を格段に向上させることができ、煩雑な操作を行うことなく、タッチパネルに対するユーザの入力操作に応じて、画面上に表示されたコンテンツ（地図画像）の内容を選択的に切り替えることができる。

また、携帯端末１は、局所拡大画像と元画像とが重ねて表示されている場合に、指６８のホバースライド操作による指６８の相対移動量（距離）と、元画像と拡大画像との各表示倍率の比とを基にして、比と指の相対移動量との乗算結果に応じた指の移動方向における位置を含む所定範囲の局所拡大画像に、局所拡大画像の内容を切り替える。これにより、携帯端末１は、従来技術と比べて、指６８のホバースライド操作によって局所拡大画像の内容を簡易に微調整することができ、ユーザに対する操作性を向上させることができる。

また、携帯端末１は、局所拡大画像を表示部１３に表示させることで、目標地点の探索から目標地点に対する選択操作（例えば、基準点としての現在地から目標地点までの経路の探索動作）を簡易な操作（例えばホバースライド操作とタッチ操作との組み合わせ）にて行うことができる。

（第２の実施形態）
第１の実施形態では、携帯端末１が指６８の近接を検知すると、予め規定された拡大表示倍率の情報を用いて、元画像４７の基準点７５を略中心に含む所定範囲の局所拡大画像４６ａを、元画像４７の上に重ねるように表示する例を説明した。

第２の実施形態では、指６８の近接距離、即ち、指６８のタッチパネル１５に対する高さｚの値に応じて拡大表示倍率を可変し、可変された拡大表示倍率によって拡大された局所拡大画像４６ａを、元画像４７の上に重ねるように表示する例を説明する。

第２の実施形態の携帯端末１は第１の実施形態の携帯端末１と同一の構成を有するため、第２の実施形態の携帯端末１においても第１の実施形態の携帯端末１と同一の構成要素については同一の符号を用いて説明を省略し、異なる内容について説明する。

図７は、第２の実施形態における指６８の高さｚの値と高さｚの値に対応する拡大画像４６ＡＡ，４６ＢＢ，４６ＣＣとの関係を示す説明図である。元画像４７が設定される第１のレイヤ７１の上位のレイヤとしての第２のレイヤ７２Ａに、第１の拡大画像４６ＡＡが設定される。また、本実施形態においても、第１の実施形態と同様に、レイヤは２つ設定される。

例えば、第１の拡大画像４６ＡＡが更に拡大された第２の拡大画像４６ＢＢが第２のレイヤ７２Ｂに設定された場合には、第１の拡大画像４６ＡＡが第１のレイヤ７１に設定される。

同様に、第２の拡大画像４６ＢＢが更に拡大された第３の拡大画像４６ＣＣが第２のレイヤ７２Ｃに設定された場合には、第２の拡大画像４６ＢＢが第１のレイヤ７１に設定される。以下、図７に図示していないが、第３の拡大画像４６ＣＣが更に拡大された第４以降の第ｎの拡大画像が第２のレイヤに設定され、第（ｎ−１）の拡大画像が第１のレイヤ７１に設定される。

図７では、元画像４７が画面４５に表示されて第１のレイヤ７１が設定された後、指６８がタッチパネル１５に対して高さｚ_１の位置にて近接が検知されると、元画像４７が第１の拡大表示倍率によって拡大された第１の拡大画像４６ＡＡが生成されて第２のレイヤ７２Ａに設定される。また、第２のレイヤ７２Ａにおいて、基準点７５（図７の黒い丸参照）は、第１の実施形態と同様に、指６８のタッチパネル１５に対して略平行に移動することで移動する（第２のレイヤ７２Ａの太い白抜き矢印参照）。

第１の拡大画像４６ＡＡが生成されて第２のレイヤ７２Ａに設定された後、指６８がタッチパネル１５に対して更に近接して高さｚ_２の位置にて近接が検知されたとする。この場合、第１の拡大画像４６ＡＡが第１のレイヤ７１に設定され、元画像が第２の拡大表示倍率によって拡大された第２の拡大画像４６ＢＢが生成されて第２のレイヤ７２Ｂに設定される。また、第２のレイヤ７２Ｂにおいて、基準点７５は、第１の実施形態と同様に、指６８のタッチパネル１５に対して略平行に移動することで移動する（第２のレイヤ７２Ｂの太い白抜き矢印参照）。

同様に、第２の拡大画像４６ＢＢが生成されて第２のレイヤ７２Ｂに設定された後、指６８がタッチパネル１５に対して更に近接して高さｚ_３の位置にて近接が検知されたとする。この場合、第２の拡大画像４６ＢＢが第１のレイヤ７１に設定され、元画像が第３の拡大表示倍率によって拡大された第３の拡大画像４６ＣＣが生成されて第２のレイヤ７２Ｃに設定される。

図８は、第２の実施形態における拡大画像と、各々の拡大画像とを重ねて表示される背景画像との関係を示す説明図である。図８において、拡大画像は携帯端末１の表示部１３の画面４５の窓枠４８内に表示された局所拡大画像４６ａを示し、背景画像は画面４５において表示された局所拡大画像４６ａを除く画像である。

本実施形態では、第１の拡大画像４６ＡＡの一部である局所拡大画像の内容が拡大画像として表示されている場合には、元画像４７の内容が背景画像として表示される。
また、第２の拡大画像４６ＢＢの一部である局所拡大画像の内容が拡大画像として表示されている場合には、第１の拡大画像４６ＡＡの内容が背景画像として表示される。
同様に、第ｎの拡大画像の一部である局所拡大画像の内容が拡大画像として表示されている場合には、第（ｎ−１）の拡大画像の内容が背景画像として表示される。

なお、背景画像としては、常に元画像４７が表示されていても良い。

図９は、指６８の高さｚの値と拡大表示倍率との関係を表すテーブル２１ａの具体例を示す図である。本実施形態では、指６８とタッチパネル１５との間の距離、即ち、指６８の高さｚの値に応じて、局所拡大画像４６ａの拡大表示倍率が異なる。図１ではテーブル２１ａはＲＯＭ２１に格納されているが、テーブル２１ａは記憶部２３に格納されても良い。

テーブル２１ａでは、指６８の高さｚが例えば３０ｍｍ〜閾値ｚｔｈ［ｍｍ］である場合には、第１のレイヤ７１として、元画像４７、即ち、拡大表示倍率が１［倍］の元画像４７が設定され、第２のレイヤ７２は設定されない。この場合には、携帯端末１は、表示部１３の画面４５の全域に、元画像４７を表示する。

指６８の高さｚが例えば２５〜３０ｍｍである場合には、第１のレイヤ７１として、元画像４７、即ち、拡大表示倍率が１［倍］の元画像４７が設定され、第２のレイヤ７２Ａとして、第１の拡大画像４６Ａ、即ち、拡大表示倍率が５［倍］の第１の拡大画像４６Ａが設定される。

また、指６８の高さｚが例えば２０〜２５ｍｍである場合には、第１のレイヤ７１として、第１の拡大画像４６Ａ、即ち、拡大表示倍率が５［倍］の第１の拡大画像４６Ａが設定され、第２のレイヤ７２Ａとして、第２の拡大画像４６Ｂ、即ち、拡大表示倍率が１０［倍］の第２の拡大画像４６Ｂが設定される。

同様に、指６８の高さｚが例えば０〜５ｍｍである場合には、第１のレイヤ７１として、第（ｎ−１）の拡大画像、即ち、拡大表示倍率が５０［倍］の第（ｎ−１）の拡大画像が設定され、第２のレイヤ７２Ａとして、第ｎの拡大画像、即ち、拡大表示倍率が１００［倍］の第ｎの拡大画像が設定される。

表示レイヤ切替判定部５４は、図９に示すテーブル２１ａを参照し、指６８のタッチパネル１５に対する高さｚの情報（値）に応じて、画像の拡大表示倍率の情報を切り替える。

なお、表示レイヤ切替判定部５４は、ヒステリシスの概念を用いて、図９に示す高さｚの境界値の辺りに指６８が位置する場合には、拡大画像の表示倍率を頻繁に切り替えないようにしても良い。ヒステリシスの概念を用いない場合には、テーブル２１ａによると、指６８の位置が例えばタッチパネル１５から２４ｍｍであれば拡大表示倍率として１０倍が用いられるが、指６８の位置が更に２ｍｍ離れて２６ｍｍになると拡大表示倍率として５倍が用いられる。

これにより、本実施形態の携帯端末１は、指６８のタッチパネル１５からの高さｚが２５ｍｍ付近においてホバー操作の状態で停止していると、わずかな指６８の高さのズレで画面の内容が頻繁に切り替わることを防ぐことができる。

（第２の実施形態の携帯端末１の動作）
図１０は、第２の実施形態の携帯端末１の動作手順を説明するフローチャートである。図６に示すフローチャートと同一の処理内容については同一のステップ番号を付すことにより説明を省略し、異なる処理内容について説明する。

近接検知部５は、指６８がタッチパネル１５に近接したことを検知した場合に（Ｓ１、ＹＥＳ）、指６８がタッチパネル１５に近接した旨の近接通知を近接座標抽出部５１に出力する。近接座標抽出部５１は、近接検知部５から出力された近接通知を基に、指６８のタッチパネル１５に対する近接座標（ｘ、ｙ、ｚ）を算出して抽出する（Ｓ３Ａ）。ステップＳ３Ａにおいて抽出された近接座標（ｘ、ｙ、ｚ）のうちｚ座標の値は、指６８とタッチパネル１５との間の距離、即ち、指６８のタッチパネル１５に対する高さｚの値である（図９参照）。

更に、近接座標抽出部５１は、近接座標（ｘ、ｙ、ｚ）のうち指６８の鉛直下方向におけるタッチパネル１５上の位置を示す座標（ｘ、ｙ）を元画像の基準点７５として設定する（Ｓ３Ａ）。近接座標抽出部５１は、抽出された近接座標（ｘ、ｙ、ｚ）及び基準点（ｘ、ｙ）の各情報を表示レイヤ切替判定部５４及び画像位置変換部５６にそれぞれ出力する。

次に、タッチ検知部１０は、指６８がタッチパネル１５にタッチしたか否かを検知している（Ｓ４）。タッチ検知部１０が指６８のタッチパネル１５に対するタッチ操作を検知していない場合には（Ｓ４、ＮＯ）、携帯端末１の動作はステップＳ５Ａに進む。

表示レイヤ切替判定部５４は、図９に示すテーブル２１ａを参照し、指６８のタッチパネル１５に対する高さｚの情報に応じて、画像の拡大表示倍率を切り替える。表示レイヤ切替判定部５４は、切り替えられた拡大表示倍率によって拡大された拡大画像が表示部１３の画面４５において表示されているか否かを判定する（Ｓ５Ａ）。

ステップＳ５Ａにおいて、指６８のタッチパネル１５に対する高さｚの値に応じて切り替えられた拡大表示倍率によって拡大された拡大画像が表示されていないと判定された場合には（Ｓ５Ａ、ＮＯ）、第１の実施形態と同様に、ステップＳ６において、切り替えられた拡大表示倍率によって拡大された拡大画像の生成が行われる。

一方、ステップＳ５Ａにおいて、表示レイヤ切替判定部５４は、指６８のタッチパネル１５に対する高さｚの値に応じて切り替えられた拡大表示倍率によって拡大された拡大画像が表示されていると判定した場合には（Ｓ５Ａ、ＹＥＳ）、第１の実施形態と同様に、ステップＳ７において既に生成された拡大画像４６の画像データの基準点（ｘ、ｙ）と、現在の指６８の鉛直下方向におけるタッチパネル１５上の位置を示す座標（ｘ１、ｙ１）とにより定まる指６８の相対移動量を算出する（Ｓ１０）。表示レイヤ切替判定部５４は、算出された指６８の相対移動量を画像位置変換部５６に出力する。

画像位置変換部５６は、移動後の指先に対応する基準点と移動前の指先に対応する基準点との距離（指６８の相対移動量、図５に示す距離ａ’参照）と、元画像４７と拡大画像４６との各表示倍率の比とを基に、比と指の相対移動量との乗算結果に応じた指６８の移動方向における位置の情報を表示レイヤ画像生成部５８に出力する。表示レイヤ画像生成部５８は、画像位置変換部５６から出力された情報に対応する位置を含む所定範囲の拡大画像の画像データを切り出す（Ｓ８）。これ以降の処理は、図６に示す第１の実施形態の処理と同様である。

以上により、第２の実施形態の携帯端末１は、指６８のタッチパネル１５に対する高さｚの値に応じて、拡大表示される拡大画像の拡大表示倍率を選択的に切り替える。更に、携帯端末１は、切り替えられた拡大表示倍率によって拡大された拡大画像を局所拡大画像として、切り替えられた拡大表示倍率に最も近い一つ下の拡大表示倍率によって拡大された拡大画像を背景画像として、局所拡大画像と背景画像とを重複して表示部１３の画面に表示させる。

これにより、携帯端末１は、縮尺の大きい（広域表示）の画像に対し、目標位置におおまかに指６８を近づけると、指先に対応する特定地点周辺の画像を拡大して表示でき、指６８をタッチパネル１５に対して略平行に移動させながら、更にタッチパネル１５に近づけると更に拡大された拡大画像を表示できる。従って、携帯端末１は、ユーザが表示された画像の位置を微調整して所望の特定地点の表示を簡易に行うことができる。

このように、携帯端末１は、縮尺が大きい（広域表示）の画像が表示されている状態でおおまかに所望の特定地点の位置の微調整を行い、指６８とタッチパネル１５との間の距離（指６８のタッチパネル１５に対する高さｚの値）を変えることで拡大表示倍率を少しずつ変更させながら徐々に所望の特定地点の位置の表示を行うことが可能となる。従って、本実施形態の携帯端末１は、従来技術のようにピンチ操作とスライド操作とを何度も繰り返すことなく、ユーザが所望する特定地点の表示をスムーズに行うことができる。

以上、図面を参照して各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

また、前述したように、携帯端末１は、局所拡大画像が表示されている状態で、局所拡大画像でない元画像の特定箇所（ボタン）に指によるタッチ操作が行われた場合、局所拡大画像が表示されていない状態と同じ動作を行うようにしてもよい。これにより、局所拡大画像が表示されていなく元画像だけが表示されている通常時の操作と同様に操作できる。

また、上記実施形態では、携帯端末１の画面４５に地図を表示し、特定の箇所を局所的に拡大表示する場合を示したが、次のような画面を表示する場合にも、適用可能である。

例えば、横長の画面にテキスト画像を表示し、読みたい位置に局所拡大画像の窓枠を移動させる場合にも有効である。また、例えば絵画を含む高解像度の画像の局所的な箇所を確認又は編集した場合にも有効である。また、画面４５にブラウザのコンテンツを表示する場合にも有効である。また、例えば色によって視覚的に分類された多くのサムネイル画像を効率良く探索する場合にも有効である。

また、視覚的にインデックス表現された情報を効率良く探索する場合にも有効である。また、ビッグデータの解析結果又は項目間において論理的な繋がりを持ち、更に構造化された情報（例えばマインドマップ化された情報）を効率良く探索する場合にも有効である。また、各レイヤに配置された情報の取得又は機能の選択を効率良く行う場合にも有効である。また、２次元若しくは３次元の位置に紐付け整理分類された情報を視覚的に探索する場合にも有効である。

また、元画像上で、拡大画像を表示したい箇所を示すユーザの指が画面の端に達した場合、一旦、指の接近を解除し、元画像をスライド操作によって変更した後、再び拡大画像の表示動作を行ってもよいし、画面の端に達した時点で、局所拡大画像の表示を中止し、元画像だけを表示する初期状態に復帰するようにしてもよい。

図１１は、局所拡大画像４６ａの表示後に指６８をホバースライド操作した場合に、指６８の移動後に表示された局所拡大画像の内容が元画像のどの位置に対応するかを説明するための説明図である。図１１に示す局所拡大画像４６ａの元になる拡大画像４６（図３参照）が生成されたときの基準点７５の位置は、「○○駅」周辺の位置である。

図１１において、局所拡大画像４６ａが表示された後、指６８がホバースライド操作によって基準点７５の位置から矢印の方向に沿って所定距離移動したとする。指６８の所定距離の移動によって、局所拡大画像４６ａの内容は、第１の実施形態で説明したように、拡大画像の表示倍率と指６８の基準点７５からの相対移動量とを基にして切り替えられる。

画像位置変換部５６は、指６８の基準点７５の位置から矢印の方向に沿った移動に応じて、指６８の移動後に対応する局所拡大画像４６ａの内容が元画像４７のどの位置に対応するかを算出する。更に、画像位置変換部５６は、算出された元画像４７における位置、即ち、局所拡大画像４６ａの該当位置及びその該当位置を含む所定範囲ＯＲを元画像４７において識別可能に画像合成部６０に表示させても良い（図１１に示す所定範囲ＯＲ参照）。これにより、画像位置変換部５６は、局所拡大画像４６ａが表示された後に指６８がホバースライド操作によって移動した場合に、移動後における局所拡大画像４６ａの基準点の位置が元画像４７においてどの位置に対応するかをユーザに対して明示的に認知させることができる。なお、図１１に示す局所拡大画像４６ａでは、目標地点４６ｄ（図５参照）の図示を省略しているが、実際には局所拡大画像４６ａには目標地点４６ｄが表示される。

図１２は、指が画面４５から横方向に外れた場合と指が画面４５に横方向から再度進入した場合とにおける局所拡大画像の内容を説明するための説明図である。図１２において横方向とは、指６８がタッチパネル１５に対してホバースライド操作によって略平行に移動する方向であり、指６８がタッチパネル１５から鉛直上方向、即ち指６８がタッチパネル１５から離れていく方向ではない。

図１２において、指６８が基準点７５としての「○○駅」周辺の位置から同図の矢印（同図の紙面左上方向）に沿って移動して画面４５の範囲から横方向に外れたとする。指６８が画面４５の範囲から横方向に外れたとき、画像位置変換部５６は、図１１を参照して説明したように、局所拡大画像４６ａの内容が表示される窓枠４８の一部又は全部が横方向に外れたときの局所拡大画像４６ａの内容が元画像４７のどの位置に対応するかを算出する。図１２では、算出された位置は太い実線の丸によって囲まれている。

更に、図１２において画面４５の横方向に外れた指６８が再び画面４５の範囲に進入した場合、即ち、指６８のホバースライド操作によってタッチパネル１５における近接検知範囲内に指６８の近接が検知された場合には、画像位置変換部５６は、指６８が画面４５の範囲から横方向に外れたときの局所拡大画像４６ａに対応する元画像４７の位置が拡大表示倍率によって拡大された局所拡大画像４６ａを、指６８の近接座標（ｘ、ｙ、ｚ）の鉛直下方向の位置（ｘ、ｙ）の位置に元画像４７と重ねて表示させる。

これにより、携帯端末１は、指６８が画面４５の範囲から横方向に誤って外れた場合又は図１２の矢印の方向の局所拡大画像を表示させた場合においても、指６８が画面４５の範囲から横方向に外れた操作を誤操作として扱うことなく、ユーザの所望となる局所拡大画像を連続的な操作によって、指６８が画面４５を超えるより広い範囲に対して連続的に閲覧させることができる。

本発明は、コンテンツを表示する場合に、煩雑な操作を行うことなく、タッチパネルに対するユーザの入力操作に応じて、画面上に表示されたコンテンツの内容を選択的に切り替える表示装置、表示制御方法及びプログラムとして有用である。

１ 携帯端末
５ 近接検知部
１０ タッチ検知部
１１ プロセッサ
１３ 表示部
１４ タッチパネルドライバ
１５ タッチパネル
１６ 電源制御部
１７ 通信制御部
１７ａ アンテナ
２１ａ テーブル
２３ 記憶部
３０ 画像表示部
５１ 近接座標抽出部
５２ タッチ座標抽出部
５４ 表示レイヤ切替判定部
５５ 画像ボタン管理部
５５ａ 画像操作ボタンデータベース
５６ 画像位置変換部
５８ 表示レイヤ画像生成部
５９ アプリ画面生成部
６０ 画像合成部
６５ アプリケーション

Claims (8)

1. 画像を画面に表示する表示部と、
   前記画面に対する指の近接を検知する近接検知部と、
   前記検知された前記指の近接に応じて、前記画面に表示された前記画像が所定の拡大表示倍率により拡大された拡大画像を生成する画像生成部と、
   前記近接が検知された前記指の鉛直下方向における前記画面の位置において、前記生成された拡大画像から一部を切り出した局所拡大画像を前記画像の一部の上に重ねることで、前記画面に、前記画像の一部が前記局所拡大画像となった画像を表示させる表示制御部と、を備える表示装置。
2. 請求項１に記載の表示装置であって、
   前記近接検知部は、
   前記指の近接が検知された位置からの前記画面に対する略平行な移動を検知し、
   前記表示制御部は、
   前記指の近接が検知された位置からの前記指の前記画面に対する略平行な移動距離と、前記画像の表示倍率と前記拡大画像の表示倍率との比とを基に、局所拡大画像を前記画像の上に重ねて表示させる表示装置。
3. 請求項１又は２に記載の表示装置であって、
   前記画面に対する前記指の接触を検知するタッチ検知部と、
   前記画面に表示された前記画像の特定箇所の項目と所定動作の起動とを割り当てる動作実行部と、を更に備え、
   前記動作実行部は、
   前記検知された前記指の接触位置が前記局所拡大画像の中に表示された前記特定箇所の項目の位置である場合に、前記所定動作を実行する表示装置。
4. 請求項１〜３のうちいずれか一項に記載の表示装置であって、
   前記表示制御部は、
   前記指の近接が検知された後に前記指の近接が検知されなくなった場合に、前記画面に、前記局所拡大画像と前記画像とを重ねた画像から前記画像へと表示を移行させる表示装置。
5. 請求項１〜４のうちいずれか一項に記載の表示装置であって、
   前記近接検知部は、
   前記近接が検知された前記指と前記画面との間の距離を検知し、
   前記画像生成部は、
   前記距離に応じて、前記所定の拡大表示倍率を可変した複数の拡大画像を生成する表示装置。
6. 請求項５に記載の表示装置であって、
   前記表示制御部は、前記複数の拡大画像のうちの一つである第二の画像を前記画面に表示させ、前記近接が検知された前記指の鉛直下方向における前記画面の位置に、前記第二の画像よりも拡大率の大きい前記複数の拡大画像のうちの一つである第三の画像の局所拡大画像を前記第二の画像の上に重ねて表示させる表示装置。
7. 表示装置における表示制御方法であって、
   画像を画面に表示するステップと、
   前記画面に対する指の近接を検知するステップと、
   前記検知された前記指の近接に応じて、前記画面に表示された前記画像が所定の拡大表示倍率により拡大された拡大画像を生成するステップと、
   前記近接が検知された前記指の鉛直下方向における前記画面の位置において、前記生成された拡大画像から一部を切り出した局所拡大画像を前記画像の一部の上に重ねることで、前記画面に、前記画像の一部が前記局所拡大画像となった画像を表示させるステップと、を有する表示制御方法。
8. 表示装置としてのコンピュータに、
   画像を画面に表示するステップと、
   前記画面に対する指の近接を検知するステップと、
   前記検知された前記指の近接に応じて、前記画面に表示された前記画像が所定の拡大表示倍率により拡大された拡大画像を生成するステップと、
   前記近接が検知された前記指の鉛直下方向における前記画面の位置において、前記生成された拡大画像から一部を切り出した局所拡大画像を前記画像の一部の上に重ねることで、前記画面に、前記画像の一部が前記局所拡大画像となった画像を表示させるステップと、を実現させるためのプログラム。

Images