JP2014099854A - ソーシャルネットワークサービス提供装置及び方法 - Google Patents

Abstract

【課題】 拡張現実を活用したソーシャルネットワークサービス提供装置及び方法を提供する。
【解決手段】 拡張現実技術を活用してソーシャルネットワークサービス（ＳＮＳ）を提供するシステムが開示される。システムは、第１ユーザのイメージを受信し、該受信されたイメージに基づいて基準映像を生成し、基準映像を第２デバイスに伝送する第１デバイスと、第１デバイスから基準映像を受信し、基準映像及び第２ユーザの現在の状況情報に基づいて仮想映像を生成し、仮想映像を所定の位置に表示する第２デバイスと、を含む。
【選択図】 図１

Description

本発明は、テレビジョンシステムを利用してオーグメンテッドリアリティ又は拡張現実(augmented reality)を実現することでソーシャルネットワークサービスを提供すること等に関する。

最近、ソーシャルネットワークサービス（ＳＮＳ）を通じて意見や情報を共有及び交換するトレンドと共に、同じテレビジョン（ＴＶ）の番組を視聴しつつ他のユーザとチャットグループでリアルタイムにユーザが通信できるようにするシステムに関心が高まっている。しかし、ユーザは、ＴＶを視聴しながら、ディスプレイを眺めつつ対話を続けるためにキーボードを用いてメッセージを入力しなければならない。したがって、ユーザは、キーボードにおけるタイプ入力が困難になる一方、ＴＶ視聴に集中することもできなってしまう。すなわち、ＴＶは、家庭電気製品から、ＴＶに対するＳＮＳの簡易なアプリケーションにより多くのユーザで楽しめる通信システムへと進化している。しかしながら、これらの通信システムは、人々が実際に同じ場所に集まって一緒にＴＶを鑑賞しつつ実際に対話しているような感覚をユーザに与えるような環境を提供してはいない。

本発明は、拡張現実を活用したソーシャルネットワークサービス提供装置及び方法を提供することである。

実施の形態による装置は、
第１デバイスと第２デバイスとを有するソーシャルネットワークサービス提供装置であって、
前記第１デバイスは、第１ユーザのイメージを受信し、該受信された前記イメージに基づいて基準映像を生成し、前記基準映像を第２デバイスに伝送し、
前記第２デバイスは、前記第１デバイスから前記基準映像を受信し、前記基準映像及び第２ユーザの現在の状況情報に基づいて仮想映像を生成し、前記仮想映像を所定の位置に表示する、ソーシャルネットワークサービス提供装置である。

本発明の一実施形態によるソーシャルネットワークサービス提供装置の構成図である。 本発明の一実施形態によるソーシャルネットワークサービス提供装置のブロック図である。 ユーザの友人のイメージを表示する実施形態を説明する図面である。 ユーザの友人のイメージを表示する実施形態を説明する図面である。 ユーザの友人のイメージを表示する実施形態を説明する図面である。 本発明の一実施形態によるソーシャルネットワークサービス提供方法のフローチャートである。 本発明の一実施形態による第１デバイスのブロック図である。 本発明の一実施形態による第１デバイスの遂行手続きを示す図面である。 本発明の一実施形態による第２デバイスを例示した図面である。 本発明の一実施形態による第２デバイスの遂行手続きを示す図面である。

＜実施の形態の概要＞
本発明の一態様によれば、ソーシャルネットワークサービス（ＳＮＳ）提供システムは、第１ユーザのイメージを受信し、該受信された前記イメージに基づいて基準映像を生成し、前記基準映像を第２デバイスに伝送する第１デバイスと、前記第１デバイスから前記基準映像を受信し、前記基準映像及び第２ユーザの現在の状況情報に基づいて仮想映像を生成し、前記仮想映像を所定の位置に表示する第２デバイスと、を含む。

この際、前記第１デバイスは、前記第２ユーザのイメージを収集するイメージセンサーを含み、収集された前記イメージを前記第１ユーザに伝送しうる。また、前記第１デバイスは、第１ユーザの第１音声を受信し、前記第１音声を出力するか、または前記第１音声を前記第２デバイスに伝送し、前記第２ユーザの第２音声を受信して、前記第１ユーザに伝送しうる。また、前記第１デバイスは、前記第２ユーザの友人リスト表示、同じ番組又はプログラムを視聴する友人リスト表示、及び前記第２ユーザの友人のうち少なくとも１人との対話開始のうち、少なくとも１つに関する制御命令を受信することができる。

また、前記状況情報は、前記第２ユーザの視線方向または視野角のうち、少なくとも１つを含みうる。

また、前記第２デバイスは、前記状況情報及び前記仮想映像が表示される位置に基づいて前記仮想映像の形状を決定することができる。また、前記第１デバイスは、ＴＶ信号を受信して出力するテレビであり、前記第２デバイスは、着用可能なデバイスであり得る。

また、前記仮想映像は、前記第１デバイスに表示される他イメージと重なって表示される。

本発明の他の態様によれば、ソーシャルネットワークサービス（ＳＮＳ）提供方法は、第１デバイスが、ソーシャルネットワークサービス（ＳＮＳ）の第１ユーザのイメージを受信する段階と、受信された前記イメージに基づいて基準映像を生成する段階と、前記基準映像を第２デバイスに伝送する段階と、前記第２デバイスが、前記基準映像及び第２ユーザの現在の状況情報に基づいて仮想映像を生成する段階と、前記仮想映像を所定の位置に表示する段階と、を含む。

この際、前記第１ユーザの第１音声を受信する段階と、前記第１ユーザの前記第１音声を出力するか、前記第２デバイスに前記第１音声を伝送する段階と、をさらに含みうる。また、第１デバイスが、イメージセンサーを通じて収集された前記第２ユーザのイメージを前記第１ユーザに伝送する段階をさらに含みうる。

また、前記状況情報は、前記第２ユーザの視線方向または視野角のうち、少なくとも１つを含みうる。

また、前記仮想映像を生成する段階は、前記状況情報及び前記仮想映像が表示される位置に基づいて生成される前記仮想映像の形状を決定する段階を含みうる。

また、前記第１デバイスは、ＴＶ信号を受信して出力するテレビであり、前記第２デバイスは、着用可能なデバイスであり得る。

また、前記基準映像を生成する段階は、前記受信されたイメージ及び前記第１ユーザの標準イメージに基づいて前記基準映像を生成する段階を含みうる。また、前記標準イメージは、前記第１ユーザの感情状態と前記第１ユーザの顔の表情とのうち少なくとも１つに基づくことができる。また、前記標準イメージは、標準イメージデータベース内に保存され、アバター、有名人のイメージ、前記第１ユーザの実際イメージ、及び前記第１ユーザと関連したイメージのうち、少なくとも１つを含みうる。

また、前記仮想映像を表示する段階は、前記仮想映像を前記第１デバイスに表示される他イメージと重畳して表示することができる。また、前記仮想映像を表示する段階は、前記第１ユーザの前記仮想映像の一部を表示することができる。

本発明のさらに他の態様によれば、デバイスは、第１ユーザのイメージを収集する少なくとも１つのイメージセンサーと、前記第１ユーザの前記イメージを第２ユーザに伝送し、前記第２ユーザのイメージを受信する第１通信部と、受信された前記第２ユーザのイメージに基づいて基準映像を生成する映像生成部と、前記基準映像を第２デバイスに伝送し、前記基準映像を用いて前記第１ユーザに表示される仮想映像を生成する第２通信部と、を含む。

この際、前記第１ユーザを認識するユーザ認識部と、前記第１ユーザから多様な制御命令を受信し、前記制御命令に対応する動作を処理する命令処理部と、をさらに含みうる。

また、前記制御命令は、全体友人リスト表示、現在放送されている番組を視聴している友人リスト表示、または特定の友人との対話開始のうち、少なくとも１つに関する制御命令を含みうる。

また、前記第１通信部を通じて受信された前記第２ユーザの音声を出力する音声出力部と、前記第１ユーザの音声を受信し、前記第１ユーザの前記音声を前記第１通信部を通じて前記第２ユーザに伝送する音声受信部と、をさらに含みうる。

また、前記基準映像を生成する標準イメージを保存している標準イメージデータベース（ＤＢ）をさらに含み、前記映像生成部は、受信された前記第２ユーザの前記イメージに基づいて１つの標準イメージを選択し、前記基準映像を生成することができる。

本発明のさらに他の態様による第２デバイスは、第１デバイスから第２ユーザの基準映像を受信する通信部と、前記第１デバイスに表示される番組を視聴している第１ユーザの現在の状況情報を認識する状況認識部と、受信された前記基準映像及び前記状況情報に基づいて仮想映像を生成するレンダリング部と、生成された前記仮想映像を所定の位置に表示するディスプレイ部と、を含む。

この際、前記第１ユーザのイメージを生成するイメージセンサーをさらに含み、前記状況認識部は、前記第１ユーザの前記イメージを分析し、前記第１ユーザの視線方向及び前記第１ユーザの視野角のうち少なくとも１つを含む状況情報を生成することができる。

また、前記レンダリング部は、前記状況情報及び前記仮想映像が表示される位置に基づいて前記仮想映像の形状を決定することができる。

また、前記第１デバイスから受信された第２ユーザの音声を前記通信部を通じて出力する音声出力部と、前記第１ユーザの前記音声を受信し、該受信された前記音声を前記通信部を通じて前記第１デバイスに伝送する音声受信部と、をさらに含みうる。

また、前記第２デバイスは、着用可能なものであり得る。

＜実施の形態の詳細な説明＞
その他の実施形態の具体的な事項は、詳しい説明及び図面に含まれている。記載の技術の利点及び特徴、そして、それらを果たす方法は、添付される図面と共に詳細に後述されている実施形態を参照すると、明確になる。明細書の全体に亘って同じ参照符号は、同じ構成要素を指称する。

以下、拡張現実を活用したソーシャルネットワークサービス提供装置及び方法と、デバイスの実施形態を図面を参考にして詳しく説明する。

図１は、本発明の一実施形態によるソーシャルネットワークサービス提供装置の構成図である。図１を参照すると、拡張現実を活用したソーシャルネットワークサービス提供装置１は、第１デバイス１００と第２デバイス２００とを含む。

本実施形態による第１デバイス１００は、２Ｄ／３ＤスマートＴＶ、スマートボックスが連結された一般ＴＶ及びＴＶ受信カードが内蔵されたコンピュータのようにＴＶ受信機能が備われた各種機器になる。しかし、必ずしもＴＶ機能を有する機器として限定されるものではなく、動画や、映画、音楽鑑賞などの多様なコンテンツを楽しめるように支援するコンピュータのような機器が含まれうる。但し、以下、説明の便宜上、ＴＶ受信機能を備えた機器に限定して説明する。

ユーザは、第１デバイス１００を通じてＴＶを視聴しながら、自身が所望する友人とリアルタイム対話ができる。すなわち、第１デバイス１００は、ユーザの要請に応じてユーザの友人リストを提示し、ユーザが選択した友人の第１デバイスに対話要請を伝送し、対話を受諾した友人とリアルタイム対話を可能にする。第１デバイス１００は、対話を受諾した友人の第１デバイスからその友人のイメージを受信し、第１デバイス１００に装着されたイメージセンサー又は画像センサー１１０を通じてユーザのイメージ又は画像又は映像を収集して対話友人に伝送しうる。また、対話友人の音声を受信して出力し、ユーザの音声を対話友人の第１デバイスに伝送することによって、ＴＶを視聴しながらリアルタイム対話を可能にする。

第２デバイス２００は、第１デバイス１００と有無線通信で連結されて各種データを送受信する。また、第２デバイス２００は、ユーザに対話友人の仮想のイメージを表示することができる。例えば、第２デバイス２００は、フレーム２１とレンズ２４とで構成されたメガネ形態の着用可能なデバイスであり得る。他の実施形態で、第２デバイス２００は、単一スクリーンやマルチスクリーンを画面として有するスマートウォッチになることもある。第２デバイス２００の例示は、これらのみに限定されるものではない。詳しく後述するように、第１デバイス１００が受信した対話友人のイメージ又は画像又は映像に基づいて仮想のイメージを生成して、ユーザに表示する機能を備えたあらゆるデバイスが該当しうる。

第２デバイス２００は、第１デバイス１００が受信した対話相手のイメージに基づいてユーザに表示する仮想のイメージを生成し、該生成された仮想のイメージを所望の位置に表示することができる。図１を参照すると、第２デバイス２００は、ユーザの動きを撮影することができるカメラのようなイメージセンサー又は画像センサー２２と生成された仮想のイメージを特定の位置に表示するディスプレイ部２３とを含みうる。イメージセンサー２２は、ユーザの動きを感知して視線位置や視野角などの状況を把握し、これを通じて所望の位置を把握することができる。

図２は、本発明の一実施形態によるソーシャルネットワークサービス提供装置のブロック図である。図２を参照すると、ソーシャルネットワークサービス提供装置１の第１デバイス１００は、イメージセンサー１１０、外部通信部１２０、映像生成部１３０、内部通信部１４０及び音声処理部１５０を含みうる。

イメージセンサー１１０は、対話相手に伝送するユーザのイメージを収集する。

外部通信部１２０は、ユーザが相手とリアルタイムＳＮＳ活動に必要な各種データを送受信する役割を果たす。例えば、外部通信部１２０は、ユーザの友人の第１デバイスの外部通信部と直接無線または有線通信網を通じて連結されうる。外部通信部１２０は、多様な機能を行うことができる。例えば、外部通信部１２０は、ユーザの要請を受信すれば、ユーザの友人に対話受諾要請情報伝送、友人から対話受諾情報受信、対話を受諾した友人からイメージ、音声受信及びユーザのイメージや音声を友人に伝送するなど各種データを送受信することができる。

映像生成部１３０は、外部通信部１２０を通して相手のイメージが受信されれば、対話に参与しているユーザの友人のイメージに基づいてユーザに見せる基準映像を生成する。例えば、ユーザに見せる基準映像は、実際受信された友人のイメージになりうる。または、ユーザの友人ごとに既定の標準イメージになることもある。この際、標準イメージは、図示されていない標準イメージＤＢに保存することができる。標準イメージＤＢには、アバター、芸能人イメージ、対話に参与している友人の実際イメージ、対話相手を連想させる各種イメージなどのユーザと友人に関する多様なイメージが保存することができる。

ユーザの友人が対話要請を受諾すれば、映像生成部１３０は、その友人に対して既定の標準イメージが存在するかを標準イメージＤＢで確認し、標準イメージが存在する場合、その標準イメージを基準映像に生成することができる。また、ユーザの友人のイメージが受信されれば、映像生成部１３０は、第１デバイス１００のディスプレイ装置や第２デバイス２００のディスプレイ装置に複数の標準イメージを提示し、ユーザが標準イメージとして選択したイメージを基準映像として使用できる。

ユーザは、相手から受信されたイメージによってユーザの友人の気分状態（例：楽しい状態、憂鬱な状態、怒った状態など）を把握して、気分状態を表わすのに適した標準イメージ（例：楽しい表情の標準イメージ、憂鬱な表情の標準イメージ、怒った表情の標準イメージなど）を選択することも可能である。ユーザの気分状態によって、複数の対話相手に対して互いに異なる表情の標準イメージを選択することもできる。例えば、特定の相手に対して腹が立った場合、その相手の標準イメージで愚かな表情のイメージを選択することができる。他の対話参与者に対しては、気分が良い場合、きれいな表情の標準イメージをその対話参与者に対するイメージとして選択することができる。

内部通信部１４０は、生成されたそれぞれの対話参与者の基準映像を第２デバイス２００に伝送する。内部通信部１４０は、無線ＬＡＮ（ＷｉＦｉ）、ブルートゥース、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの無線通信またはＵＳＢ、イーサネット（登録商標）などの有線通信を通じて第２デバイス２００と連結してデータを送受信することができる。内部通信部１４０は、外部通信部１２０を通して相手の音声が受信されれば、これを第２デバイス２００に伝送し、第２デバイス２００からユーザの応答を受信することができる。

音声処理部１５０は、外部通信部１２０を通じて受信されたユーザの友人の音声を出力することができる。また、ユーザの音声を受信して、外部通信部１２０を通して相手の第１デバイスに伝送しうる。

一方、第１デバイス１００は、ユーザから各種制御命令を受信し、対応する動作を行うことができる。例えば、ユーザの要請に応じて相手（例：ユーザの友人）リスト表示、同一の番組を視聴している友人リスト表示、ユーザの特定の友人と対話するなどの制御命令が受信されれば、ユーザにユーザの友人リスト、同一の番組を視聴中である友人リストをディスプレイ手段に出力し、ユーザが選択した友人に外部通信部１２０を通して対話受諾要請情報を伝送しうる。

一方、追加的な態様によれば、ソーシャルネットワークサービス提供装置１は、中継サーバをさらに含みうる。中継サーバは、各種ソーシャル活動を支援し、ユーザと対話相手の間のデータ送受信を中継することができる。例えば、中継サーバは、外部通信部１２０から要請情報が受信されれば、そのユーザに対して保存された友人リストを提示するか、友人の活動情報収集（例：現在視聴中である番組など）して提示することができる。または、ユーザが要請した友人に対話受諾要請情報伝送及び対話を受諾した友人からイメージや音声情報を受信して、ユーザに伝送するなどの多様な仲介サービスを提供することができる。

図３Ａないし図３Ｃは、相手のイメージを表示する実施形態を説明する図面である。図２ないし図３Ｃを参照して、ソーシャルネットワークサービスシステム１の第２デバイス２００を説明する。第２デバイス２００は、内部通信部２１０、状況認識部２２０、レンダリング部２３０及びディスプレイ部２４０を含みうる。

内部通信部２１０は、第１デバイス１００から対話相手の基準映像または音声またはその他のデータを受信し、ユーザの音声を第１デバイス１００に伝送しうる。

状況認識部２２０は、ユーザの現在の状況を把握して状況情報を生成することができる。すなわち、ユーザが現在注視している視線方向やユーザの視野角などのビジョン（Ｖｉｓｉｏｎ）を把握して状況情報として生成することができる。状況認識部２２０は、ユーザの動きイメージを通じてユーザが注視している視線方向や視野角などを把握することができる。この際、ユーザの動きイメージは、一例によれば、第１デバイス１００のイメージセンサー１１０によって撮影されて生成され、内部通信部２１０が、第１デバイス１００からその生成されたユーザの動きイメージを受信することができる。他の例によれば、第２デバイス２００は、図１に示したように、ユーザの動きを撮影してイメージを生成するイメージセンサー２２を含み、イメージセンサー２２が、ユーザの動き、特に、ユーザの顔を撮影して動きイメージを生成することができる。

レンダリング部２３０は、受信された基準映像をレンダリングしてユーザに表示する仮想映像を生成する。レンダリング部２３０は、状況認識部２２０によって生成された状況情報に基づいて基準映像をレンダリングすることができる。すなわち、ユーザが見ている視線方向や視野角情報を用いてレンダリングする仮想映像の形状を決定することができる。

図３Ａ及び図３Ｂは、相手（友人１、友人２）の仮想映像がユーザ前方の任意の場所に表示されることを示す図面である。

図３Ａは、ＴＶ画面を真っ直ぐに眺めているユーザの一例を示す。この例の場合、状況認識部２２０は、ユーザがＴＶを正面から真っ直ぐに眺めていることを認識する。この場合、視野角情報は、通常の人間の視野角である４５°であってもよいし、或いは第２デバイス２００により設定可能な所定値であってもよい。

図３Ｃは、ユーザの友人の仮想映像を表示する具体例を示した図であり、ユーザの友人の仮想映像がユーザの隣の位置に存在する感覚をユーザが持つような位置に表示される。ここでは、仮想画像が表示される場所をユーザが指定している。例えば、ユーザが床に座ってＴＶを視聴する場合、或いはユーザがソファーに座ってＴＶを視聴する場合、ユーザの友人の仮想映像は第２のデバイスの中で任意の場所に表示されよく、あたかもユーザの友人がユーザの近くに座っているかのようにユーザが感じることができるような第２のデバイスの位置に、画像が表示される。

レンダリング部２３０は、相手の仮想映像が表示される位置を決定し、該決定された表示位置と視野角情報とを用いてレンダリングする仮想の形状を決定することができる。例えば、図３Ａのように、ユーザが視線を正面にしている場合、視野角内に入ってくる友人１の基準映像左側形状と、友人２の基準映像右側形状のみをレンダリングして仮想映像を生成することができる。図３Ｂまたは図３Ｃのように、ユーザが視線を右側に移した場合に、視野角内に入ってくる友人２の基準映像の全体形状をレンダリングして仮想映像を生成してもよい。

ディスプレイ部２４０は、レンダリング部２３０によって生成された仮想映像を表示位置に重なって見えるように表示する。図１に示したように、ユーザがレンズ２４を通じて仮想映像が出力される場所の実際イメージを見ている場合、実際イメージに仮想映像が重なって見えるように表示することによって、拡張現実を具現することができる。

開示された実施形態によれば、ユーザが所望の特定の場所に友人が実際に座っているような感じを有させることによって、時間上または空間上の制約のために、数人の友人が同時に同じ場所に集まれない状況に非常に有用なソーシャル環境を提供することができる。

状況認識部２２０は、ユーザの状況をリアルタイムで把握してユーザの視線方向によってリアルタイム状況情報を生成し、以前の視線情報と新たに生成された視線情報とを比較して、視線の変位が所定の基準を外れれば、レンダリング部２３０をして再びレンダリングさせうる。

第２デバイス２００は、第１デバイス１００から受信される音声を出力し、ユーザの音声を受信して、第１デバイス１００に伝送する音声処理部を含みうる。音声処理部（図示せず）は、音声を出力するスピーカーと音声を受信するマイクとを含みうる。

図４は、本発明の一実施形態によるソーシャルネットワークサービス提供方法のフローチャートである。図４の動作は、図示順にも行われるが、一部動作の順序が変更されるか、動作中に、一部が発明の概念と範囲とを外れない範囲内で省略されうる。図４の動作のうち、多数が並列的に、または同時に行われる。図１−図３Ｃで説明した内容のうち、図４にも同様に適用可能な内容についての重複的な説明は省略する。

図４を参照して、ソーシャルネットワークサービス提供装置１を通じてソーシャルネットワークサービスを提供する方法を説明する。

まず、第１デバイス１００が、ユーザの要請に応じてユーザの友人のイメージを受信する（段階４１０）。ユーザが、第１デバイス１００を通じて番組を視聴する途中で友人とリアルタイムで対話をしようとする場合、対話を受諾した友人の第１デバイスからその友人のイメージまたは音声情報を受信する。この際、対話参与者は、ユーザと同じ番組を視聴している友人であり得るが、必ずしも同一番組を視聴すると限定されるものではない。

次いで、受信された相手のイメージに基づいてユーザに見せる基準映像を生成し（段階４２０）、該生成された基準映像を第２デバイス２００に伝送する（段階４３０）。第１デバイス１００は、あらかじめ保存された標準イメージを通じて基準映像を生成し、この際、前述したように、相手の気分状態やユーザ自身の気分状態によって、相手の基準映像を多様な表情で生成することができる。このように、相手の基準映像が生成されれば、通信網を通じて第２デバイス２００に伝送する。

第１デバイス１００は、相手の音声情報がさらに受信されれば、該受信された対話音声を出力するか、第２デバイス２００に伝送しうる。

次いで、第２デバイス２００が、第１デバイス１００から基準映像を受信すれば、現在の状況情報に基づいて基準映像をレンダリングする（段階４４０）。この際、ユーザの現在の状況情報に関する詳しい事項は、前述した通りである。現在の状況情報は、ユーザのリアルタイム動き（特に、顔の動き）イメージに基づいて生成され、ユーザのリアルタイム動きイメージは、第１デバイス１００のイメージセンサー１１０を通じて収集されるか、第２デバイス２００にさらに設けられるイメージセンサー２２を通じて収集されうる。

第２デバイス２００は、状況情報に基づいて基準映像をレンダリングして仮想映像を生成する。図３Ａないし図３Ｃを参照して説明したように、ユーザが見ている視線方向や視野角情報を用いて仮想映像の形状を決定し、その決定された仮想映像の形状によって基準映像をレンダリングして仮想映像を生成することができる。

段階４５０では、生成された仮想映像を所定の位置に重畳して見えるように表示する（段階４５０）。生成された仮想映像は、実際の場所の位置に仮想の映像が重なって見えるように表示することによって、ユーザに拡張現実を感じるようにする。

図５は、本発明の一実施形態による第１デバイスのブロック図である。図５の実施形態による第１デバイス５００は、ソーシャルネットワークサービス提供装置１を構成する第１デバイス１００の他の実施形態である。図１−図４の説明は、図５にも適用可能なので、重複的な説明は省略する。

図５を参照すると、第１デバイス５００は、イメージセンサー５０１、ユーザ認識部５０２、命令処理部５０３、外部通信部５０４、映像生成部５０５、内部通信部５０６、音声出力部５０７、音声受信部５０８、ディスプレイ部５０９及びＴＶ信号受信部５１０を含みうる。イメージセンサー５０１、外部通信部５０４、映像生成部５０５、内部通信部５０６については、前述したので、以下、詳しい説明は省略する。第１デバイス５００は、スマートＴＶ、スマートボックスが連結されたＴＶなどのように、ＴＶ視聴機能を主にするデバイスだけではなく、ＴＶ受信カードなどを内蔵してＴＶ視聴機能が可能なコンピュータなどを含みうる。

ユーザ認識部５０２は、現在番組を視聴中であるユーザを認識する。ユーザ認識部５０２は、ユーザからユーザ識別情報（例：ＩＤ及びパスワード）を入力されてユーザを認識することができる。また、イメージセンサー５０１によって収集されたユーザの顔イメージを通じて顔認識技法を用いてユーザを認識することができる。ユーザ認識部５０２は、その他の生体識別技法を用いてユーザを認識し、そのような技法を使うユーザ認識部５０２も、これに開示するユーザ認識部に含まれる。

ＴＶ信号受信部５１０は、ＴＶ信号を受信してディスプレイ部５０９を通して出力する。

命令処理部５０３は、ユーザから各種制御命令を受信し、それに対応する動作を行う。例えば、命令処理部５０３は、ユーザがＴＶ視聴途中でリモコン、キーボード、スマートフォンなどの入力手段を用いてメニュー提供を要請する場合、ディスプレイ部５０９を通じてメニューを出力することができる。ユーザが、出力されたメニュー中の対話する友人リスト提供要請または同一番組を視聴中である友人リスト提供を要請する場合、ユーザ認識部５０２によって認識されたそのユーザの友人としてあらかじめ保存されたリストをディスプレイ部５０９を通じて出力することができる。また、同一番組を視聴している友人リスト提供を要請する場合、その認識されたユーザの友人としてあらかじめ保存された友人のうちから現在視聴している番組情報を収集して、同じ番組を視聴する友人リストをディスプレイ部５０９を通じて提供することができる。

命令処理部５０３は、ユーザが出力された友人リストのうちから入力手段を用いて対話する特定の友人を選択すれば、対話開始要請情報を生成して外部通信部５０４を通じて選択された友人の第１デバイスにその対話受諾要請情報を伝送しうる。命令処理部５０３は、外部通信部５０４を通じてユーザの友人から対話受諾情報が受信されれば、イメージセンサー５０１をしてユーザを撮影してユーザのイメージを生成させ、外部通信部５０４を通じて生成されたイメージを対話を受諾した友人の第１デバイスに伝送させうる。

映像生成部５０５は、外部通信部５０４を通じてユーザの友人からイメージが受信されれば、これを用いて基準映像を生成し、内部通信部５０６を通じて第２デバイスに伝送する。

音声受信部５０８は、ユーザの音声情報を受信して外部通信部５０４を通じてユーザの友人の第１デバイスに伝送する。音声出力部５０９は、外部通信部５０４がユーザの友人の第１デバイスから音声情報を受信すれば、その音声情報をスピーカーやヘッドセットなどの出力手段を通じて出力する。受信した音声情報を音声出力部５０９が第２デバイス２００を通じて出力することもできる。

図６は、本発明の一実施形態による第１デバイス５００の遂行手続きを示す図面である。図４を参照して、前述したので、以下、図６を参照して、第１デバイス５００の遂行手続きを簡単に説明する。図６の動作は、図示順にも行われるが、一部動作の順序が変更されるか、動作中に、一部が発明の概念と範囲とを外れない範囲内で省略されうる。図６の動作のうち、多数が並列的に、または同時に行われる。図１−図５で説明した内容のうち、図６にも同様に適用可能な内容についての重複的な説明は省略する。

まず、現在番組を視聴中であるユーザを認識する（段階６１０）。この際、ユーザ識別情報（例：ＩＤ及びパスワード）を入力されてユーザを認識し、または、イメージセンサーによって収集された顔イメージを通じて顔認識技法を用いてユーザを認識することができる。その他の生体識別技法を用いてユーザを認識することもできる。

次いで、認識されたユーザから各種制御命令を受信し（段階６２０）、該受信された制御命令が友人と対話することである場合、友人リストをユーザに提示することができる（段階６３０）。ユーザが、提示された友人リストのうちから対話相手が選択されれば、その対話相手のデバイスに対話受諾要請情報を伝送しうる（段階６４０）。

次いで、対話相手から対話受諾情報が受信されれば、その友人のイメージを受信し（段階６５０）、イメージセンサーを通じてユーザのイメージを収集して、その友人に伝送しうる（段階６６０）。

次いで、受信された友人のイメージとあらかじめ保存された標準イメージとを用いてユーザに見せる基準映像を生成し（段階６７０）、該生成された基準映像を第２デバイス（段階６８０）に伝送する。

図７は、本発明の一実施形態による第２デバイスのブロック図である。図７の実施形態による第２デバイス７００は、ソーシャルネットワークサービス提供装置１を構成する第２デバイス２００の他の実施形態である。第２デバイス２００は、メガネ形態の着用可能なデバイスであり得る。

図７を参照すると、着用可能な第２デバイス７００は、イメージセンサー７１０、内部通信部７２０、状況認識部７３０、レンダリング部７４０、ディスプレイ部７５０、音声受信部７６０及び音声出力部７７０を含みうる。

第２デバイス７００は、２Ｄまたは３Ｄ立体映像、高解像度２Ｄ映像またはホログラムを生成することができるカメラなどのイメージセンサー７１０を含みうる。イメージセンサー７１０は、リアルタイムでユーザの動きを感知し、動きイメージを生成し、深さ情報を認識することもできる。第２デバイス７００がメガネ形態のデバイスとしてユーザが顔に着用する場合には、イメージセンサー７１０は、ユーザの顔の動きによってユーザが注視する前方を撮影して前方のイメージを生成することができる。

状況認識部７３０、レンダリング部７４０及びディスプレイ部７５０は、図２の関連構成要素２２０、２３０、２４０にそれぞれ対応する。状況認識部７３０は、イメージセンサー７１０または第１デバイスのイメージセンサーを通じて生成されたユーザの動きイメージを用いてユーザが注視している視線方向や視野角などを把握することができる。レンダリング部７４０及びディスプレイ部７５０は、基準映像の仮想映像をレンダリングして表示し、これは、図２を参照して前述した通りである。

音声受信部７６０は、第２デバイス７００の所定の領域に設けられたマイクなどを通じてユーザの音声を受信して内部通信部７２０を通じて第１デバイスに伝送しうる。音声出力部７７０は、内部通信部７２０を通じて第１デバイスからユーザの音声が受信されれば、該受信された第２デバイス７００の所定の領域に設けられたスピーカーを通じて出力することができる。

図８は、本発明の一実施形態による第２デバイスの遂行手続きである。図８を参照して、第２デバイス７００で行われる手続きを簡単に説明する。図８の動作は、図示順にも行われるが、一部動作の順序が変更されるか、動作中に、一部が発明の概念と範囲とを外れない範囲内で省略されうる。図８の動作のうち、多数が並列的に、または同時に行われる。図１−図７で説明した内容のうち、図８にも同様に適用可能な内容についての重複的な説明は省略する。

まず、第２デバイス７００は、第１デバイスから対話相手の基準映像が受信されれば（段階８１０）、ユーザの現在の状況情報を認識して視線、視野角などの状況情報を生成する（段階８２０）。ユーザの状況情報は、ユーザの動きイメージを通じて生成され、動きイメージは、第２デバイス７００に設けられたイメージセンサーによって生成されるか、第１デバイスから受信することができる。

次いで、受信された基準映像をユーザの状況情報に基づいて仮想映像の形状を決定してレンダリングし（段階８３０）、生成された仮想映像を決定された表示位置に重なって見えるように表示する（段階８４０）。

一方、本実施形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。

コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現するものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。そして、本実施形態を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。

当業者なら、本発明が、その技術的思想や必須的な特徴を変更せずとも、他の具体的な形態で実施されることを理解できるであろう。したがって、前述した実施形態は、あらゆる面で例示的なものであり、限定的ではないということを理解しなければならない。

本発明は、拡張現実を活用したソーシャルネットワークサービス提供装置及び方法関連の技術分野に適用可能である。

１００ 第１デバイス
１１０ イメージセンサー
２００ 第２デバイス
２１ フレーム
２２ イメージセンサー
２３ ディスプレイ部
２４ レンズ

Claims (29)

1. 第１デバイスと第２デバイスとを有するソーシャルネットワークサービス提供装置であって、
   前記第１デバイスは、第１ユーザのイメージを受信し、該受信された前記イメージに基づいて基準映像を生成し、前記基準映像を第２デバイスに伝送し、
   前記第２デバイスは、前記第１デバイスから前記基準映像を受信し、前記基準映像及び第２ユーザの現在の状況情報に基づいて仮想映像を生成し、前記仮想映像を所定の位置に表示する、ソーシャルネットワークサービス提供装置。
2. 前記第１デバイスは、
   前記第２ユーザのイメージを収集するイメージセンサーを含み、収集された前記イメージを前記第１ユーザに伝送する請求項１に記載のソーシャルネットワークサービス提供装置。
3. 前記第１デバイスは、
   第１ユーザの第１音声を受信し、前記第１音声を出力するまたは前記第１音声を前記第２デバイスに伝送し、前記第２ユーザの第２音声を受信し、前記第１ユーザに伝送する請求項１又は２に記載のソーシャルネットワークサービス提供装置。
4. 前記第１デバイスは、前記第１デバイスを制御する１つ以上の制御命令を受信するように形成され、前記制御命令は、或る放送番組を現在視聴している前記第２ユーザの友人のリストを表示する命令、又は前記第２ユーザのうち１人以上の友人との対話を開始する命令を有する、請求項１乃至３のうち何れか一項に記載のソーシャルネットワークサービス提供装置。
5. 前記状況情報は、
   前記第２ユーザの視線方向または視野角のうち、少なくとも１つを含む請求項１乃至４のうち何れか一項に記載のソーシャルネットワークサービス提供装置。
6. 前記第２デバイスは、
   前記状況情報及び前記仮想映像が表示される位置に基づいて前記仮想映像の形状を決定する請求項５に記載のソーシャルネットワークサービス提供装置。
7. 前記第１デバイスは、ＴＶ信号を受信して出力するテレビであり、前記第２デバイスは、着用可能なデバイスである請求項１乃至６のうち何れか一項に記載のソーシャルネットワークサービス提供装置。
8. 前記仮想映像は、前記第１デバイスに表示される別のイメージを重ねるように表示される請求項１乃至７の何れか一項に記載のソーシャルネットワークサービス提供装置。
9. 第１デバイスが、ソーシャルネットワークサービス（ＳＮＳ）の第１ユーザのイメージを受信する段階と、
   受信された前記イメージに基づいて基準映像を生成する段階と、
   前記基準映像を第２デバイスに伝送する段階と、
   前記第２デバイスが、前記基準映像及び第２ユーザの現在の状況情報に基づいて仮想映像を生成する段階と、
   前記仮想映像を所定の位置に表示する段階と、
   を含むソーシャルネットワークサービス提供方法。
10. 前記第１ユーザの第１音声を受信する段階と、
    前記第１ユーザの前記第１音声を出力するか、前記第２デバイスに前記第１音声を伝送する段階と、
    をさらに含む請求項９に記載のソーシャルネットワークサービス提供方法。
11. 第１デバイスが、イメージセンサーを通じて収集された前記第２ユーザのイメージを前記第１ユーザに伝送する段階をさらに含む請求項９又は１０に記載のソーシャルネットワークサービス提供方法。
12. 前記状況情報は、前記第２ユーザの視線方向または視野角のうち、少なくとも１つを含む請求項９乃至１１のうち何れか一項に記載のソーシャルネットワークサービス提供方法。
13. 前記仮想映像を生成する段階は、
    前記状況情報及び前記仮想映像が表示される位置に基づいて生成される前記仮想映像の形状を決定する段階を含む請求項１２に記載のソーシャルネットワークサービス提供方法。
14. 前記第１デバイスは、ＴＶ信号を受信して出力するテレビジョンであり、前記第２デバイスは、着用可能なデバイスである請求項９乃至１３のうち何れか一項に記載のソーシャルネットワークサービス提供方法。
15. 前記基準映像を生成する段階は、前記受信されたイメージ及び前記第１ユーザの標準イメージに基づいて前記基準映像を生成する段階を含む請求項９乃至１４のうち何れか一項に記載のソーシャルネットワークサービス提供方法。
16. 前記標準イメージは、前記第１ユーザの感情状態と前記第１ユーザの顔の表情とのうち少なくとも１つに基づく請求項１５に記載のソーシャルネットワークサービス提供方法。
17. 前記標準イメージは、標準イメージデータベース内に保存され、アバター、有名人のイメージ、前記第１ユーザの実際イメージ、及び前記第１ユーザと関連したイメージのうち、少なくとも１つを含む請求項１５に記載のソーシャルネットワークサービス提供方法。
18. 前記仮想映像を表示する段階は、前記仮想映像を前記第１デバイスに表示される他イメージと重畳して表示する請求項９に記載のソーシャルネットワークサービス提供方法。
19. 前記仮想映像を表示する段階は、前記第１ユーザの前記仮想映像の一部を表示する請求項９乃至１８のうち何れか一項に記載のソーシャルネットワークサービス提供方法。
20. 第１ユーザのイメージを収集する少なくとも１つのイメージセンサーと、
    前記第１ユーザの前記イメージを第２ユーザに伝送し、前記第２ユーザのイメージを受信する第１通信部と、
    受信された前記第２ユーザのイメージに基づいて基準映像を生成する映像生成部と、
    前記基準映像を第２デバイスに伝送し、前記基準映像を用いて前記第１ユーザに表示される仮想映像を生成する第２通信部と、
    を含むデバイス。
21. 前記第１ユーザを認識するユーザ認識部と、
    前記第１ユーザから多様な制御命令を受信し、前記制御命令に対応する動作を処理する命令処理部と、
    をさらに含む請求項２０に記載のデバイス。
22. 前記制御命令は、全ての友人のリストを表示すること、現在放送されている番組を視聴している友人のリストを表示すること、または特定の友人との対話を開始することのうち、少なくとも１つに関する制御命令を含む請求項２１に記載のデバイス。
23. 前記第１通信部を通じて受信された前記第２ユーザの音声を出力する音声出力部と、
    前記第１ユーザの音声を受信し、前記第１ユーザの前記音声を前記第１通信部を通じて前記第２ユーザに伝送する音声受信部と、
    をさらに含む請求項２０乃至２２のうち何れか一項に記載のデバイス。
24. 前記基準映像を生成する標準イメージを保存している標準イメージデータベース（ＤＢ）をさらに含み、
    前記映像生成部は、受信された前記第２ユーザの前記イメージに基づいて１つの標準イメージを選択し、前記基準映像を生成する請求項２０乃至２３のうち何れか一項に記載のデバイス。
25. 第１デバイスから第２ユーザの基準映像を受信する通信部と、
    前記第１デバイスに表示される番組を視聴している第１ユーザの現在の状況情報を認識する状況認識部と、
    受信された前記基準映像及び前記状況情報に基づいて仮想映像を生成するレンダリング部と、
    生成された前記仮想映像を所定の位置に表示するディスプレイ部と、
    を含む第２デバイス。
26. 前記第１ユーザのイメージを生成するイメージセンサーをさらに含み、
    前記状況認識部は、前記第１ユーザの前記イメージを分析し、前記第１ユーザの視線方向及び前記第１ユーザの視野角のうち少なくとも１つを含む状況情報を生成する請求項２５に記載の第２デバイス。
27. 前記レンダリング部は、前記状況情報及び前記仮想映像が表示される位置に基づいて前記仮想映像の形状を決定する請求項２６に記載の第２デバイス。
28. 前記第１デバイスから受信された第２ユーザの音声を前記通信部を通じて出力する音声出力部と、
    前記第１ユーザの前記音声を受信し、該受信された前記音声を前記通信部を通じて前記第１デバイスに伝送する音声受信部と、
    をさらに含む請求項２５乃至２７のうち何れか一項に記載の第２デバイス。
29. 前記第２デバイスは着用可能である請求項２５乃至２８のうち何れか一項に記載の第２デバイス。

Images