JP2008515107A - テキスト分割のために言語を選択する方法およびシステム - Google Patents

Abstract

テキスト分割のために言語を選択する方法およびシステムが開示されている。一実施形態として、文字列に関連付けられている第１候補言語および第２候補言語が少なくとも特定され、前記第１候補言語に関連付けられている第１分割結果と前記第２候補言語に関連付けられている第２分割結果とが少なくとも決定され、前記第１分割結果について第１出現頻度を決定するとともに、前記第２分割結果について第２出現頻度を決定し、実施可能言語が少なくとも前記第１出現頻度および第２出現頻度の一部に基づいて前記第１候補言語および第２候補言語から特定される。

Description

本発明は、概してテキスト分割に関するものであり、特に、テキスト分割のために言語を選択することに関するものである。

テキストを示すデータの解釈を試みるテキスト処理方法およびシステムが存在している。テキスト処理は、言葉または他のトークンを示して分割できない文字列を有するテキストが受け取られたとき、より困難となる。トークンは、単語、頭文字語、簡略名、固有名、地理的名称、株式市場ティッカーシンボル、または他のトークンとすることができる。一般に、文字列は、既存の方法およびシステムを使用して、分割された文字列の複数の組合せに分割することができる。そのテキストを選択して使用するために正確な言葉を選択することで、より有意義な結果を出すことができる。

本発明の実施形態は、テキスト分割のために言語を選択する方法およびシステムを有している。本発明の一実施形態は、文字列に関連付けられている第１候補言語および第２候補言語を少なくとも特定するステップと、前記文字列から前記第１候補言語に関連付けられている第１分割結果を少なくとも決定するとともに、前記文字列から前記第２候補言語に関連付けられている第２分割結果を少なくとも決定するステップと、前記第１分割結果について第１出現頻度を決定するとともに、前記第２分割結果について第２出現頻度を決定するステップと、少なくとも前記第１出現頻度および第２出現頻度の一部に基づいて、前記第１候補言語および第２候補言語から実施可能言語を特定するステップと、を有する。

この例示的実施形態は、本発明を限定または定義するものではないが、本発明についての理解を支援するための本発明の実施形態の一例を提供する。例示的実施形態が詳細な説明において記載されており、さらにそこで本発明の詳細が記載されている。本発明の様々な実施形態で示された利点は、本明細書を検討することによってさらに理解することができる。

本発明のこれらおよび他の特徴、態様および利点は、以下の詳細な説明が添付図面を参照して読み取られることで、より良く理解される。

＜序論＞
本発明の実施形態は、テキスト分割のために言語を選択する方法およびシステムを有する。本発明について複数の実施形態がある。序論および実施形態として、本発明の一例の実施形態は、複数のトークンまたは単語の中のドメインネームのような、文字列の正確な言語を選択することで、文字列の分割を改善する方法として提供される。文字列についての多くの可能(potential)または候補言語が、前記文字列に関連している言語、ユーザに関連しているＩＰアドレス、前記文字列で使用された文字セット、前記ユーザに関連づけられたブラウザ・アプリケーション・プログラムのブラウザ設定、および前記文字列に関連づけられた最上位のドメインのような、様々な信号に基づいて選択することができる。文字列は、各候補言語を使用して多くの分割結果に区分することができる。各分割結果は、単語または他のトークンの特定の組合せとなることができる。例えば、文字列「usedrugs」は、英語についての以下の分割結果に分割することができる。
「used rugs」、「use drugs」、「us ed rugs」など。
各候補言語の分割結果のこの数から、実施可能分割結果および実施可能言語が前記実施可能分割結果を含む前記実施可能言語の中の文書または検索クエリーの数に基づいて特定できる。

例えば、最良の実施可能分割結果になるための最高確率の分割結果が各候補言語について選択できる。サーチエンジンは、選択された分割結果を有する文書または検索クエリーの数を決定することができるとともに、各候補言語の中の各選択された分割結果についてこれをすることができる。一実施形態として、特定の言語における文書または検索クエリーの中で最大頻度で生じる分割結果は、最良の実施可能分割結果として特定することができる。前記最良の実施可能分割結果に関連している言語は、最良の実施可能言語として特定することができる。また、前記候補言語の決定に使用された言語信号は、前記実施可能言語の選択に使用することができる。前記実施可能分割結果および実施可能言語は、言語および結果に基づいて広告を選択することを有する各種の機能を使用することができる。

この序論は、本発明の一般的な内容を利用者に紹介するためにある。本発明は、そのような内容に決して限定されない。一例としての実施形態が以下で説明されている。

＜システム構造＞
本発明に従った様々なシステムが構成できる。図１は、本発明として動作可能な実施形態の一例のシステムの図を示している。また、本発明は、他のシステムとして、動作可能であるとともに、実施可能である。参照している図面では、いくつかの図面を通して同様の要素には同様の番号が付いており、図１は、本発明の実施形態を実施するための環境の一例を示す図である。図１に示すシステム１００は、ネットワーク１０６を渡ってサーバ装置１０４およびサーバ装置１５０と通信する複数のクライアント装置１０２ａ−ｎを有する。一実施形態として、示されたネットワーク１０６は、インターネットを有する。他の実施形態として、イントラネット、ＷＡＮまたはＬＡＮのような、他のネットワークを使用することができる。さらに、本発明に係る方法は、１台のコンピュータで動作することもできる。

図１に示されたクライアント装置１０２ａ−ｎは、プロセッサ１１０に接続されたランダム・アクセス・メモリ（ＲＡＭ）１０８のような、コンピュータ読み取り可能媒体を、それぞれ有している。プロセッサ１１０は、メモリ１０８に記憶されたコンピュータ実行可能なプログラム命令を実行する。そのようなプロセッサは、マイクロプロセッサ、ＡＳＩＣ、および状態マシンを有するものとしてもよい。また、そのようなプロセッサは、例えば、コンピュータ読み取り可能な媒体などの媒体と通信するものとしてもよい。前記コンピュータ読み取り可能な媒体は、ここに記載されたステップを実行するように前記プロセッサを動作させるものであって、前記プロセッサによって実行される命令を記憶する。コンピュータ読み取り可能媒体は、電子式、光学式、磁気式または他の記憶装置を有し、またはクライアント１０２ａのプロセッサ１１０ようなプロセッサに、コンピュータ読み取り可能な命令を提供することが可能な他の伝送装置を有するが、これらに限定されない。適当な媒体の他の実施形態としては、プロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ、または他の磁気媒体、またはコンピュータプロセッサが命令を読み取ることができるあらゆる他の適当な媒体を有するが、これらに限定されない。また、コンピュータ読み取り可能な媒体の様々な他の形式が、ルータ、私的のまたは公的ネットワーク、または他の伝送装置またはチャネル、有線および無線の両方を有して、命令をコンピュータに伝送するまたは運ぶことができる。前記命令は、例えば、Ｃ、Ｃ＋＋、ビジュアルベーシック、ジャバ、パイソン、パール、およびジャバスクリプトなどを含む、あらゆるコンピュータ・プログラミング言語のコードを有することとしてもよい。

また、クライアント装置１０２ａ−ｎは、マウス、ＣＤ−ＲＯＭ、ＤＶＤ、キーボード、ディスプレイ、または他の入出力装置のような、多くの外部または内部装置を有することとしてもよい。クライアント装置１０２ａ−ｎの実施形態としては、パーソナルコンピュータ、デジタル・アシスタント、携帯情報端末、携帯電話、移動電話、スマートフォン、ページャ、デジタルタブレット、ラップトップコンピュータ、インターネット接続専用端末、および他のプロセッサベースの装置が挙げられる。一般に、クライアント装置１０２ａは、ネットワーク１０６に接続されて一つ以上の応用プログラムと対話処理するものであって、あらゆる適当なタイプのプロセッサベースのプラットフォームとすることができる。クライアント装置１０２ａ−ｎは、マイクロソフト（登録商標）のウィンドウズ（登録商標）またはリナックスのような、ブラウザまたはブラウザで動作するアプリケーションをサポート可能なあらゆるオペレーティング上で動作するものとしてもよい。クライアント装置１０２ａ−ｎは、例えば、マイクロソフト社のインターネットエクスプローラ（登録商標）、ネットスケープコーポレーションズのネットスケープナビゲータ（登録商標）およびアップルコンピュータ社のサファリ（登録商標）のような、ブラウザ・アプリケーション・プログラムを実行するパーソナルコンピュータを含むものを示す。

クライアント装置１０２ａ−ｎを介して、ユーザ１１２ａ−ｎは、ネットワーク１０６に接続された他のシステムおよび装置と、ネットワーク１０６を渡って、相互に通信することができる。また、図１に示すように、サーバ装置１０４およびサーバ装置１５０は、ネットワーク１０６に接続されている。

サーバ装置１０４は分割化エンジン・アプリケーションプログラムを実行するサーバを有するものとすることができ、サーバ装置１５０はサーチエンジン・アプリケーションプログラムを実行するサーバを有するものとすることができる。クライアント装置１０２ａ−ｎと同様に、図１に示すサーバ装置１０４およびサーバ装置１５０は、コンピュータ読み取り可能メモリ１１８に接続されたプロセッサ１１６と、コンピュータ読み取り可能メモリ１５４に接続されたプロセッサ１５２とを、それぞれを有する。１台のコンピュータシステムのように表現されているサーバ装置１０４および１５０は、コンピュータプロセッサのネットワークとして実現されるものとしてもよい。サーバ装置１０４，１５０の実施形態は、サーバ、メインフレーム・コンピュータ、ネットワーク・コンピュータ、プロセッサベース装置、および同様なタイプのシステムおよび装置とすることができる。クライアント・プロセッサ１１０およびサーバプロセッサ１１６，１５２は、カルフォルニア州サンタクララのインテル社およびイリノイ州スカンバーブのモトローラ社のプロセッサのような、上記の多くのコンピュータプロセッサのいずれかとすることができる。

また、メモリ１１８は、分割化エンジン１２０として知られている分割化アプリケーションプログラムを有している。サーバ装置１０４または関連装置は、ネットワーク１０６に接続された他の装置またはシステムから文字列を受信するために、ネットワーク１０６にアクセスすることができる。文字は、例えば、ＡＳＣＩＩ、ユニコード、ＩＳＯ８８５９−１、Ｓｈｉｆｔ−ＪＩＳ、および拡張２進化１０進符号またはあらゆる他の適当な文字セットのような、文字を表すデータに含まれる書記体型で使用されるマークまたはシンボルを有するものとすることができる。一実施形態として、分割化エンジン１２０は、ユーザ１１２ａがアクティブでないドメインネームをウェブブラウザ・アプリケーションに指示するとき、ネットワーク１０６上のサーバ装置から、ドメインネームのような文字列を受信することができる。

一実施形態として、分割化エンジン１２０は、前記文字列についての候補言語を特定し、各候補言語についてトークンの潜在的(potential)組合せに前記文字列を分割するとともに、前記文字列に関連する特定の言語および組合せを選択する。トークンは、単語、固有名、地名、簡略名、頭文字語、株式市場ティッカーシンボル、または他のトークンを有するものとすることができる。分割化エンジン１２０は、分割化プロセッサ１２２、頻度プロセッサ１２４および言語プロセッサ１２６を有するものとすることができる。図１に示す実施形態では、それぞれがメモリ１１８に具備されているコンピュータ・コードを有している。

言語プロセッサ１２６は、候補言語または文字列の言語を特定することができる。一実施形態として、言語プロセッサ１２６は、文字列について多くの候補言語を特定するために、信号を使用することができる。例えば、前記言語プロセッサは、言語学と、ユーザのＩＰアドレスと、文字列で使用された文字セットと、ユーザに関連づけられたブラウザ・アプリケーション・プログラムのブラウザ設定と、前記文字列に関連づけられた最上位のドメインとを、前記文字列の候補言語決定するために、使用することができる。

分割化プロセッサ１２２は、各候補言語について文字列からトークンまたは分割結果の潜在的組合せのリストを決定することができる。一実施形態として、トークンプロセッサ１２４は、前記リストの中の各分割結果の確率を決定するとともに、前記確率に基づいて各言語について最高分割結果を選択する。分割結果についての前記確率は、前記結果における個々のトークンに関連する頻度値に基づくものとすることができる。一実施形態として、分割されていない文字列が分割結果として含まれているものとしてもよい。

頻度プロセッサ１２４は、頻度検索を実行すること、または各候補言語の最高に選択された分割結果について実行することができる。頻度プロセッサ１２４は、選択された分割結果についてスペルチェックを実行するために、スペルチェック機能を有することができ、または他の場所にあるスペルチェック機能を呼ぶことができる。あらゆるスペル修正結果が前記頻度検索に含まれることとすることができる。一実施形態として、頻度プロセッサは、選択された分割結果について頻度検索を実行するために、選択された分割結果をサーバ装置１５０に送信する。頻度検索は、以下で説明するように、各特定分割結果について出現頻度を決定することができる。前記頻度検索に基づいて、最高または実施可能分割結果が分割化プロセッサ１２２によって特定することができる。前記実施可能な結果に関連する言語は、文字列についての実施可能言語として分割化プロセッサ１２２によって特定できる。一実施形態として、実施可能分割結果および実施可能言語は、広告サーバに送信することができる。広告サーバは、前記実施可能言語および前記選択された結果の一方または両方に基づいて、対象とする広告を選択することができる。分割化プロセッサ１２２と、頻度プロセッサ１２４と、言語プロセッサ１２６との他の機能および特徴は、さらに以下で説明される。

また、サーバ装置１０４は、トークン・データベース１２０が示された実施形態において、トークン記憶要素のような、他の記憶要素へのアクセスを提供する。トークン・データベース１２０は、トークンおよび各トークンに関連する頻度情報を記憶することに使用することができる。また、トークン・データベース１２０は、言語または各トークンに関連する言語を記憶することができる。データ記憶要素は、データ記憶方法として、無制限の包含と、配列と、ハッシュテーブルと、リストと、組とのいずか一つまたは組合せを有することとしてもよい。サーバ装置１０４は、他の同様なタイプのデータ記憶装置にアクセスすることができる。

サーバ装置１５０は、グーグル（登録商標）サーチエンジンのようなサーチエンジン・アプリケーションプログラムを実行するサーバを有することができる。他の実施形態として、サーな装置１５０は、関連情報サーバまたは広告サーバを有することができる。他の実施形態として、多重サーバ装置１５０とすることができる。

メモリ１５４は、また、サーチエンジン１５６として知られているサーチエンジン・アプリケーションプログラムを有している。サーチエンジン１５６は、ユーザ１１２ａからの検索クエリーに対応して、ネットワーク１０６から関連情報の場所を見つけることができるとともに、検索クエリーの検索ログを維持することができる。また、サーチエンジン１５６は、頻度プロセッサ１２４からの頻度検索要求に対応して、頻度検索を実行することができる。サーチエンジン１５６は、ネットワーク１０６を介して、ユーザ１１２ａに検索結果セットを提供することができ、または、分割化エンジン１２０に頻度情報を提供することができる。

一実施形態として、サーバ装置１５０、または関連装置は、ネットワーク１０６に接続された他の装置またはシステムに記憶された、ウェブページのような記事(article)の場所を見つけるために、ネットワーク１０６を巡回すること(crawl)を事前に実行する。記事には、例えば、文書、メール、インスタントメッセンジャメッセージ、データベースエントリ、様々なフォーマットのウェブページ、ＨＴＭＬや、ＸＭＬや、ＸＨＴＭＬや、ポータブル・ドキュメント・フォーマット（ＰＤＦ）ファイルや、雑誌新聞広告欄案内などのような、イメージ・ファイルや、オーディオファイルや、ビデオファイルや、またはあらゆる他の文書など、または文書グループまたはあらゆる適当なタイプの全ての情報などが含まれる。索引装置(indexer)１５８は、インデックス１６０のような、メモリ１５４または他のデータ記憶装置内の前記記事に索引をつけることに使用することができる。また、インデックスは、言語または各記事に関連する言語を有することとしてもよい。一実施形態として、総合記事索引の部分をそれぞれ有している複数のインデックスがある。巡回すること(crawling)の代わりとなる、または組み合わされる、記事に索引をつける他の適当な方法がある、と理解されるべきである。

サーチエンジン１５６は、多くの適当な方法で頻度検索を実行することができる。一実施形態として、サーチエンジン１５６は、検索クエリーとしてそれぞれの最高選択分割結果を使用することでウェブ検索を実行することができるとともに、分割結果の候補言語の中で検索クエリーを有する記事を検索することができる。本実施形態において、頻度検索結果セットは、生成できるとともに、１つ以上の記事識別子を有することとすることができる。例えば、記事識別子は、全域資源位置指示子（ＵＲＬ）、ファイル名、リンク、アイコン、ローカルファイルのためのパス、または記事を特定する他の何か、とすることができる。一実施形態として、記事識別子は、記事に関連するＵＲＬを有することができる。

頻度プロセッサ１２４は、各分割結果の発生回数を表示するものとして、各頻度検索結果セットの中での記事識別子の数を使用することができる。他の実施形態としては、頻度プロセッサ１２４は、索引装置１５８に直接インターフェースすることができる。索引装置１５８は、分割結果が現れる関連候補言語の中の記事の数を、それぞれの最高選択分割結果について、決定することができる。この情報は、頻度プロセッサ１２４に送信することができる。また、他の実施形態として、サーチエンジン１５６および／または頻度プロセッサ１２４は、検索ログの中から関連候補言語の中の検索クエリーの発生回数を、それぞれの選択分割結果について、決定することができるとともに、頻度プロセッサ１２４は、この検索ログ情報に基づいた出現頻度を、決定することができる。一実施形態として、分割結果に関連する頻度検索における記事または検索クエリーの数は、関連言語の中の記事または検索クエリーの総数に基づいて正規化するものとしてもよい。

本発明は、図１に示されたものとは異なる構造のシステムを有することとしてもよいことに留意するべきである。例えば、本発明に従った何らかのシステムにおいて、サーバ装置１０４は、１台の物理的または論理的サーバを有することとしてもよい。図１に示すシステム１００は、単なる例であるとともに、図２に示す方法の説明を補助するために使用される。

＜処理＞
本発明の実施形態に係る様々な方法が実施できる。本発明に従った一例の方法は、文字列に関連する第１候補言語および第２候補言語を少なくとも特定するステップと、前記文字列から前記第１候補言語に関連する第１分割結果を少なくとも決定するとともに、前記文字列から前記第２候補言語に関連する第２分割結果を少なくとも決定するステップと、前記第１分割結果について第１出現頻度を決定するとともに、前記第２分割結果について第２出現頻度を決定するステップと、前記第１出現頻度および第２出現頻度の一部に少なくとも基づいて、前記第１候補言語および第２候補言語から実施可能言語を特定するステップと、を有する。２つ以上の候補言語が特定できるとともに、２つ以上の分割結果が決定できる。例えば、３つの候補言語が特定できるとともに、４つの分割結果が各候補言語について決定できる。

前記実施可能言語は、前記第１出現頻度および第２出現頻度の一部に少なくとも基づく第１分割結果および第２分割結果から、実施可能分割結果を特定するものの一部に基づいて決定することができる。第１候補言語および第２候補言語は、１つ以上の言語信号の一部に基づいて特定されることとしてもよい。前記言語信号は、前記文字列に関連づけられた言語学と、前記文字列に関連づけられたユーザのＩＰアドレスと、前記文字列に使用された文字セットと、前記文字列に関連づけられたユーザに関連するブラウザ・アプリケーション・プログラムのブラウザ設定と、前記文字列に関連する最上位のドメインと、の少なくとも一つを有することができる。一実施形態として、前記実施可能言語を特定することは、言語信号の一部に少なくとも基づくものとしてもよい。

一実施形態として、前記第１出現頻度および第２出現頻度の一部に少なくとも基づいて、前記第１候補言語および前記第２候補言語から前記実施可能言語を特定することは、前記第１出現頻度が前記第２出現頻度よりも大きいときに、前記第１候補言語を選択すること、を有することとすることができる。前記文字列は、ドメインネームを有することができる。前記第１分割結果はトークンの第１組合せを有することができるとともに、前記第２分割結果はトークンの第２組合せを有することができる。

一実施形態として、前記第１分割結果について前記第１出現頻度を決定することは、前記第１分割結果を有している前記第１候補言語における記事の数を決定することと、前記第１候補言語における記事の総数に基づいて記事の数を標準化することと、を有することができ、さらに、前記第１言語において記事の数を決定することは、前記第１分割結果を有している検索クエリーに対応して生成された検索結果セットを識別する記事の数を決定することを有することができる。

一実施形態として、前記第１言語において記事の数を決定することは、前記第１分割結果が記事のインデックスにアクセスすることを有することとすることができる。他の実施形態として、前記第１出現頻度を決定することは、前記第１候補言語の中の複数の検索クエリーにおける前記第１分割結果の出現数を決定することと、前記第１候補言語の中の検索クエリーの総数に基づいて前記出現数を標準化することとを有することとすることができる。

また、前記方法は、前記実施可能言語または前記実施可能分割結果の一部（または両方）に少なくとも基づいて選択することを有することとしてもよく、前記記事は、広告を有することとしてもよい。一実施形態として、前記第１分割結果を決定することは、前記文字列から前記第１候補言語における複数の分割結果を決定することと、前記第１候補言語の中の前記複数の分割結果から前記第１分割結果を特定することとを有することとすることができる。前記第１分割結果を特定することは、前記複数の分割結果それぞれについて確率値を計算することを有することとすることができる。前記第１分割結果に関連する第１確率値は、前記第１分割結果における各トークンの頻度の一部に少なくとも基づくものとすることができる。

他の例の方法としては、ドメインネームから第１候補言語の中で第１分割結果を決定するとともに、ドメインネームから第２候補言語の中で第２分割結果を決定することと、記事インデックスと、テキストインデックスと、検索結果セットとの少なく一つの中で、前記第１分割結果について第１出現頻度を決定することと、前記第２分割結果について第２出現頻度決定することと、前記第１出現頻度が前記第２出現頻度よりも大きいとき、実施可能言語として前記第１候補言語を選択することと、前記第２出現頻度が前記第１出現頻度よりも大きいとき、実施可能言語として前記第２候補言語を選択することと、前記実施可能言語の一部に少なくとも基づいて広告を選択すること、前記ドメインネームに関連づけられたウェブページに関連づけて前記広告の表示をすることとを有する。前記広告は、前記実施可能言語のテキストを有している。

図２は、本発明の一実施形態に従って、テキスト分割のために言語を選択する方法の一例の方法２００を示している。本例の方法は、本発明に従った方法を実行するための様々な方法があるなかの一例として提供する。図２に示されている方法２００は、１つのシステムでまたは様々なシステムの組合せで実行することができ、また他の方法で実行することもできる。方法２００は、実施形態として図１に示されたシステム１００によって実行されるものとして以下で説明されるとともに、システム１００の様々な要素が図２の実施形態方法を説明するために参照される。

図２を参照すると、ブロック２０２において実施形態方法が開始する。ブロック２０２には、ブロック２０４が続く。ブロック２０４では、文字列が分割化エンジン１２０によってアクセスされる。文字列は、例えば、ネットワーク１０６に接続された装置または他の装置から受信またはアクセスできる。一実施形態として、前記文字列は、ドメインネームに関連する広告サーバから受信する、無効または実在しないウェブサイトに関連するドメインネームとすることができる。

ブロック２０４には、ブロック２０６が続く。ブロック２０６では、文字列についての候補言語が特定される。一実施形態として、言語プロセッサ１２６は、前記文字列について多くの候補言語を決定するために、一つ以上の言語信号を使用することができる。例えば、前記言語プロセッサは、前記文字列について、英語、フランス語およびスペイン語を３つの候補言語として、言語信号に基づいて、特定することができる。

例えば、使用されたいくつかの言語信号は、前記文字列に関連する言語学と、前記文字列に関連するユーザのＩＰアドレスと、前記文字列で使用された文字セットと、前記文字列に関連するユーザに関連するブラウザ・アプリケーション・プログラムのブラウザ設定と、前記文字列に関連する最上位のドメインとにすることができる。例えば、言語学は、特定の言語においてそれを示す前記文字列の構成または特徴を決定することに使用することができる。例えば、ある言語は、ある文字のグループにおける開始または終了に傾向をもっているとともに、一般的なパターンを使用する。前記ユーザのＩＰアドレスは、前記ユーザの位置および国を示すことができる。国情報から言語または国に関連する言語は、候補言語として使用することができる。文字列の文字セットは、言語または前記文字列に関連する言語を示すことができる。例えば、「キリル文字」の文字セットは、ロシア語または他のスラヴ言語を示すことができる。文字列に関連するユーザのブラウザ・アプリケーション・プログラムのブラウザ設定は、前記文字列に関連する言語および／または文字セットを示すことができる。例えば、ユーザのブラウザ・アプリケーション・プログラムの設定による前記言語および文字セットは、前記文字列に伴うＨＴＴＰヘッダで渡されることができる。文字列に関連する最上位ドメインは、国を示すことができる。最上位ドメインは、ルートに従う階層の最高水準になることができる。ドメインネームにおいて、最上位ドメインは、右側に最も遠く現れるドメインネームの一部である。例えば、ドメインネーム「usedrugs.co.uk」において、最上位ドメインは、「.uk」であるとともに、「イギリス(United Kingdom)」を示すことができる。最上位ドメイン「.ru」は、ロシアを示すことができる。最上位ドメインに関連する国は、ロシアを示す「ru」のような、候補言語を決定する際に使用されることができる。ここで、関連文字列はロシア言語になり得ることを示している。何らかの最上位ドメインは、１つ以上の言語を示すものとしてもよい。
例えば、「.ch」は、スイスを示すことができるとともに、文字列がフランス語、ドイツ語またはイタリア語に関連し得ることを示すことができる。文字列についての候補言語を特定する他の適当な信号および方法が使用されることとしてもよい。

ブロック２０６には、ブロック２０８が続く。ブロック２０８では、複数の分割結果が各候補言語について文字列を分割することによって文字列から生成される。文字列を分割することは、トークンの複数の組合せに文字列の中の文字を解析することを有することとしてもよく、さらに、分割化プロセッサ１２２によって実行することができる。分割化プロセッサ１２２は、各候補言語について分割結果のリストを発生させることができる。各分割結果は、トークンまたは信号トークンの組合せを特定することができる。例えば、文字列「assocomunicazioni」は、他の分割結果として「asso comunicazioni」にイタリア語で分割できるとともに、他の分割結果として「asso com uni cazioni」にフランス語で分割できる。他の実施形態として、文字列「maisonblanche」は、他の分割結果として「maison blanche」にフランス語で分割できるとともに、他の分割結果として「mai son blanc he」に英語で分割できる。他の実施形態として、文字列「usedrugs」は、「used rugs」、「use drugs」、「us ed rugs」、「u sed rugs」、「usedrugs」などを有する分割結果に英語で分割できる。また、分割結果は、フランス語およびドイツ語など、上記実施形態のような、他の候補言語について生成されることができる。分割されていない文字列が分割結果に含まれることとしてもよい。

分割化プロセッサ１２２は、分割化処理においてトークン・データベース１２６からトークンを利用することができる。ＰＣＴ国際特許出願番号ＰＣＴ／ＵＳ０３／４１６０９、発明の名称「テキスト分割方法およびシステム」、出願日２００３年１２月３０日に開示されたセグメンテーション手法のような、様々な方法が文字列を分割するために使用することができるとともに、その全てがここに引用されることによってここに組み込まれている。

ブロック２０８には、ブロック２１０が続く。ブロック２１０では、各候補言語について最高分割結果が決定される。最高分割結果は、分割化プロセッサ１２２によって決定されることができるとともに、最良または実施可能分割結果となる最高確率の結果とすることができる。一実施形態として、分割結果は、各分割結果について決定された確率値に基づいてランキング分けされることができる。一実施形態として、確率値は、個々の分割結果の中の個々のトークンに関連する加算頻度値によって決定されることができる。他の実施形態として、確率値は、それぞれの個別分割結果の中の個々のトークンに関連する頻度値の対数の合計を伴う複素関数によって決定されることができる。そして、多くの上位分割結果が選択できる。例えば、各候補言語についての分割結果がランキング分けされることができるとともに、各候補言語の上位３つの結果が選択できる。

ブロック２１０には、ブロック２１２が続く。ブロック２１２では、各候補言語について分割結果を選択して、頻度検索がトップについて実行される。前記頻度検索は、サーチエンジン１５６とともに頻度プロセッサ１２４によって実行されることができる。一実施形態として、分割化プロセッサ１２２は、頻度プロセッサ１２４に選択分割結果を渡すことができる。頻度プロセッサ１２４は、記事または検索クエリーの収集資料の中の各分割結果について出現頻度を決定することができる。

一実施形態として、頻度プロセッサ１２４は、サーチエンジン１５６によって索引を付けられた記事に基づいて分割結果について出現頻度を決定することができる。一実施形態として、頻度プロセッサ１２４は、ネットワーク１０６を介してサーチエンジン１５６に、トップ選択分割結果を送信することができる。サーチエンジン１５６は、検索クエリーとして各分割結果を使用して索引を付けられた記事の中の各分割結果について検索を実行することができる。例えば、頻度プロセッサ１２４は、サーチエンジン１５６が特定の言語の記事について正確な分割語句を検索を実行できるように、引用符によって囲まれた各候補言語について各分割結果を検索クエリーとしてサーチエンジン１５６に送信することができる。一実施形態として、各分割結果について、サーチエンジン１５６は、検索クエリーに応答して、多くの記事識別子を有する検索結果セットを生成することができる。サーチエンジン１５６は、ネットワーク１０６を介してもとの頻度プロセッサ１２４へ、分割結果のそれぞれについて検索結果セットを送信することができる。頻度プロセッサ１２４は、各分割結果が出現する頻度を、記事識別子の数に基づいて、各検索結果から決定することができる。

他の実施形態として、頻度プロセッサ１２４は、ネットワーク１０６を介して索引装置１５８に、選択分割結果のトップを送信することができる。索引装置１５８は、分割結果が出現した特定の言語についての記事の数を決定するために、インデックス１６０にアクセスすることができるとともに、選択分割結果のそれぞれにこれをすることができる。一実施形態として、インデックス１６０は複数のインデックスとしてもよく、索引装置１５８は各分割結果について総合インデックスの一部分を検査することができる。そこで、索引装置１５８は、ネットワーク１０６を介して頻度プロセッサ１２４に、各分割結果に関連する出現数を渡すことができる。

また、他の実施形態として、頻度プロセッサ１２４は、検索クエリーにおける分割結果の出現数を決定するために、ネットワーク１０６を介してサーチエンジン１５６に、選択分割結果のトップを送信することができる。例えば、サーチエンジン１５６は、関連言語の中の各分割結果について、分割結果が検索クエリーまたは検索クエリーの一部として使用された回数を決定することができる。各分割結果についての検索クエリーの中の出現数は、ネットワーク１０６を介して頻度プロセッサ１２４に、サーチエンジン１５６によって送信することができる。

例えば、分割化プロセッサ１２２が、英語の文字列「usedrugs」について「used rugs」、「use drugs」および「us ed rugs」として選択分割結果を決定するとき、頻度プロセッサ１２４は、これらの分割結果と他の候補言語に関連する分割結果とをサーチエンジン１５６に送信することができる。例えば、サーチエンジン１５６は、検索クエリーとしてこれらの結果を使用することができるとともに、各分割結果について検索結果セットを生成することができる。例えば、サーチエンジン１５６は、検索クエリーとして「used rugs」を使用することができるとともに、語句「used rugs」を有する英語の記事に関連する記事識別子を有する前記検索クエリーについて検索結果セットを決定することができる。サーチエンジン１５６は、他の候補言語に関連する分割結果に同じことをすることができる。他の実施形態として、サーチエンジン１５６は、優先的に容認された検索クエリーを有する関連検索ログから、受信された分割結果を有する検索クエリーの回数を、決定することができる。例えば、サーチエンジン１５６は、受信された語句「used rugs」を有する検索クエリーの回数について検索ログを検索することができる。また、他の実施形態として、サーチエンジン１５６の索引装置１５８は、検索結果を受信することができるとともに、分割結果を有するインデックス１６０またはインデックス１６０の一部の中の記事の数を決定することができる。例えば、索引装置１５８は、「used rugs」を有する英語の記事の数について、インデックス１６０またはインデックス１６０の一部を介して検索することができる。

また、スペルチェック機能が前記頻度検索の中に含まれることとすることができる。例えば、頻度プロセッサ１２４は、選択分割結果をスペルチェックできる、トップのために、スペルチェック機能を有することができ、または呼ぶことができる。前記スペルチェック機能は、各分割結果の中の個々のトークンについて正しいまたは好ましいスペルを決定することができる。頻度プロセッサ１２４は、両方の結果について出現頻度を決定するために、あらゆるスペル修正済み分割結果のみならず、最高分割結果についても頻度検索を実行することができる。例えば、分割結果が「basebal game」であるとともに、スペル修正結果が「baseball game」であるとき、頻度検索はこれらの結果の両方について実行することができる。

一実施形態として、前記分割結果についての各出現頻度は、特定言語の中の全ての記事または検索クエリーの数に基づいて正規化された値である。例えば、英語についての分割結果が７０の英語記事または検索クエリーの中で出現するとともに、総数１０００の英語記事または検索クエリーがある場合、この英語分割結果についての出現頻度は０．０７（７０／１０００）である。同様に、フランス語の分割結果が６０のフランス語記事または検索クエリーで出現するとともに、総数４００のフランス語記事または検索クエリーがある場合、このフランス語分割結果についての出現頻度は０．１５（６０／４００）である。このように、出現頻度は、記事または検索結果の収集資料の中の特定言語の普及率を考慮するとともに、より一般的な言語に固有の重み付けをしない。

ブロック２１２には、ブロック２１４が続く。ブロック２１４では、実行可能言語および実行可能分割結果が特定される。一実施形態として、頻度プロセッサ１２４は、前記実行可能言語および実行可能分割結果を特定することができる。例えば、前記頻度プロセッサ１２４は、最高関連出現頻度を持つ前記分割結果を選択することができる。上記のように、前記出現頻度は、分割結果を有する記事または検索クエリーの数、および特定言語の中の記事または検索クエリーの総数、に基づいて、正規化された値とすることができる。また、付加信号が実施可能分割結果を決定することに使用できる。例えば、頻度プロセッサ１２４は、各分割結果を有する前記記事の客観的ランキング（ページランク（登録商標）のようなウェブ記事のためのランキング・アルゴリズム）を考慮することができるとともに、各分割結果を有する記事を評価するために前記客観的ランキングを使用することができる。また、記事で出現する前記分割結果の回数と、前記記事の中の前記分割結果の位置とは、分割結果を有する前記記事を評価することに使用することができる。前記実施可能分割結果に関連する候補言語は、前記実施可能言語として選択されることができる。

一実施形態として、ブロック２０６において前記候補言語の特定に使用される前記言語信号は、前記実施可能言語の決定に使用されることとしてもよい。文字列を示す言語信号が十中八九特定言語である場合、これらの信号は、この言語についてのより大きな重みとして使用されることができる。例えば、言語学、関連ユーザのＩＰアドレス、文字列で使用された文字セット、ユーザに関連するブラウザ・アプリケーション・プログラムのブラウザ設定、文字列に関連する最上位のドメイン、のような言語信号は、例えば、フランス語のような、文字列に関連する言語が特定言語であることを示すものとすることができる。例えば、英語のような、他の言語における分割結果についての情報の出現頻度は、フランス語における他の分割結果についての情報の出現頻度に、近いまたは越えるものとしてもよい。前記言語信号は、本例における有効言語としてフランス語の選択をもたらすために、フランス語の重み付けに使用されることができる。２１６において、方法２００が終了する。

前記実施可能言語および実施可能分割結果は、様々な方法で使用されることができる。実施可能言語および／または実施可能分割結果は、広告の選択で使用されることができる。例えば、ユーザ１１２ａは、ウェブサイト「usedrugs.com」について、ブラウザ・アプリケーションの中にこの文字列を入力することによって、自身のブラウザ・アプリケーションでナビゲートすることを試みてもよい。ドメインネーム「usedrugs.com」にウェブサイトが存在していない場合などは、ユーザのブラウザ・アプリケーションが第三者ウェブサイトに転送されることとしてもよい。前記第三者ウェブサイトは、ユーザによって見られているウェブページでユーザによって入力されたドメインネームに関連する広告および／またはリンクを置くことが好ましい。前記第三者ウェブサイトは、ドメインネーム「usedrugs.com」を分割化エンジン１２０に送信することができる。分割化エンジン１２０は、前記ウェブサイトに関連する前記第三者ウェブサイトまたは広告サーバに、実施可能言語および実施可能分割結果を返すために、上記方法およびシステムを使用することができる。例えば、前記実施可能分割結果は「used rugs」とすることができ、前記実施可能言語は英語とすることができる。前記第三者ウェブサイトまたは広告サーバは、ユーザによって見られるウェブページ上で、英語の語句「used rugs」に関連する広告および／またはリンクを表示することができるとともに、前記ウェブサイト上で使用される言語が英語であることを確実にすることができる。また、前記実施可能言語は、ユーザに表示されたステータスメッセージで使用される言語の選択に使用されることができる。

＜全般＞
上述の説明は多くの特定の内容を有しているが、これらは本発明の範囲を限定するものと理解すべきではなく、単なる開示された実施形態として理解すべきである。当業者は、本発明の範囲内のあらゆる他の実施可能な変形をなすことができる。前記用語の第１および第２は、単に、１つの物を他の物から区別するものとして、本明細書では使用されている。前記用語の第１および第２は、明らかな注記がない場合、時間についての第１または第２、リストについての第１または第２、または他の順番、を示すためには使用されない。例えば、「第２」は、他の方法で明らかに示されていない限り、時間について、または「第１」の前のリストについて、のものとしてもよい。

図１は、本発明の一実施形態に係るシステムの図を示している。 図２は、本発明によって実施される方法の一実施形態のフローチャートを示している。

符号の説明

１００ システム
１０２ａ−ｎ クライアント装置
１０４ サーバ装置
１０６ ネットワーク
１１６ プロセッサ
１１８ メモリ
１２０ 分割化エンジン
１２２ 分割化プロセッサ
１２４ 頻度プロセッサ
１２６ 言語プロセッサ
１２６ トークン・データベース
１５０ サーバ装置
１５２ プロセッサ
１５４ メモリ
１５６ サーチエンジン
１５８ 索引装置
１６０ インデックス

Claims (35)

1. 文字列に関連づけられた第１候補言語および第２候補言語を少なくとも特定するステップと、
   前記文字列から前記第１候補言語に関連づけられた第１分割結果を少なくとも決定するとともに、前記文字列から前記第２候補言語に関連づけられた第２分割結果を少なくとも決定するステップと、
   前記第１分割結果について第１出現頻度を決定するとともに、前記第２分割結果について第２出現頻度を決定するステップと、
   少なくとも前記第１出現頻度および第２出現頻度の一部に基づいて、前記第１候補言語および第２候補言語から実施可能言語を特定するステップと、
   を有することを特徴とする方法。
2. 前記実施可能言語を特定するステップは、少なくとも前記第１出現頻度および第２出現頻度の一部に基づいて、前記第１分割結果および第２分割結果から実施可能分割結果を特定するステップを有する請求項１に記載の方法。
3. 前記第１候補言語および第２候補言語を特定するステップは、少なくとも１つの言語信号の一部に基づいて行われる請求項１に記載の方法。
4. 前記少なくとも１つの言語信号は、前記文字列に関連づけられた１つの言語学と、前記文字列に関連づけられたユーザのＩＰアドレスと、前記文字列に関連づけられた文字セットと、前記文字列に関連づけられたユーザに関連づけられたブラウザ・アプリケーション・プログラムのブラウザ設定と、前記文字列に関連づけられた最上位のドメインとを少なくとも有する請求項３に記載の方法。
5. 前記実施可能言語を特定するステップは、少なくとも１つの言語信号の少なくとも一部に基づいて行われる請求項１に記載の方法。
6. 前記第１分割結果は、トークンの第１組合せを有し、
   前記第２分割結果は、トークンの第２組合せを有する請求項１に記載の方法。
7. 前記第１分割結果について前記第１出現頻度を決定するステップは、前記第１分割結果を有している前記第１候補言語における記事の数を決定するステップと、前記第１候補言語における記事の総数に基づいて前記記事の数を標準化するステップとを有する請求項１に記載の方法。
8. 前記第１分割結果を有している前記第１候補言語において前記記事の数を決定するステップは、前記第１分割結果を有している検索クエリーに対応して生成された検索結果セットを識別する記事の数を決定するステップを有する請求項７に記載の方法。
9. 前記第１分割結果を有している前記記事の数を決定するステップは、記事のインデックスにアクセスするステップを有する請求項７に記載の方法。
10. 前記第１分割結果について前記第１出現頻度を決定するステップは、前記第１候補言語の中で複数の検索クエリーにおける第１分割結果の出現数を決定するステップと、前記第１候補言語の中の検索クエリーの総数に基づいて前記出現数を標準化するステップとを有する請求項１に記載の方法。
11. 前記文字列は、ドメインネームを有する請求項１に記載の方法。
12. 実施可能言語の一部に少なくともに基づいて記事を選択するステップをさらに有する請求項１に記載の方法。
13. 前記記事は、広告と、ウェブページと、状況メッセージとを少なくとも有する請求項１２に記載の方法。
14. 前記第１分割結果を決定するステップは、
    前記文字列から前記第１候補言語における複数の分割結果を決定するステップと、
    前記複数の分割結果から前記第１分割結果を特定するステップと
    を有する請求項１に記載の方法。
15. 前記第１分割結果を特定するステップは、前記複数の分割結果それぞれについて確率値を計算するステップを有する請求項１４に記載の方法。
16. 前記第１分割結果に関連づけられた第１確率値が、第１分割結果における各トークンの頻度の一部に少なくとも基づいて計算される請求項１５に記載の方法。
17. 前記第１出現頻度および第２出現頻度の一部に少なくとも基づいて、前記第１候補言語および第２候補言語から実施可能言語を特定するステップは、前記第１出現頻度が前記第２出現頻度よりも大きい場合、前記第１候補言語を選択するステップを有する請求項１に記載の方法。
18. 文字列に関連づけられている第１候補言語および第２候補言語を少なくとも特定するプログラムコードと、
    前記文字列から前記第１候補言語に関連づけられた第１分割結果を少なくとも決定するとともに、前記文字列から前記第２候補言語に関連づけられた第２分割結果を少なくとも決定するプログラムコードと、
    前記第１分割結果について第１出現頻度を決定するとともに、前記第２分割結果について第２出現頻度を決定するプログラムコードと、
    少なくとも前記第１出現頻度および第２出現頻度の一部に基づいて、前記第１候補言語および第２候補言語から実施可能言語を特定するプログラムコードと
    を有するプログラムコードを有するコンピュータ読み取り可能媒体。
19. 前記実施可能言語を特定するプログラムコードは、少なくとも前記第１出現頻度および第２出現頻度の一部に基づいて、前記第１分割結果および第２分割結果から実施可能分割結果を特定するプログラムコードを有する請求項１８に記載のコンピュータ読み取り可能媒体。
20. 前記第１候補言語および第２候補言語を特定するプログラムコードは、少なくとも１つの言語信号の一部に基づいて構成されている請求項１８に記載のコンピュータ読み取り可能媒体。
21. 前記少なくとも１つの言語信号は、
    前記文字列に関連づけられた１つの言語学と、前記文字列に関連づけられたユーザのＩＰアドレスと、前記文字列に関連づけられた文字セットと、前記文字列に関連づけられたユーザに関連づけられたブラウザ・アプリケーション・プログラムのブラウザ設定と、前記文字列に関連づけられた最上位のドメインとを少なくとも有する請求項２０に記載のコンピュータ読み取り可能媒体。
22. 前記実施可能言語を特定するプログラムコードは、少なくとも１つの言語信号の少なくとも一部に基づいて構成されている請求項１８に記載のコンピュータ読み取り可能媒体。
23. 前記第１分割結果は、トークンの第１組合せを有し、
    前記第２分割結果は、トークンの第２組合せを有する請求項１８に記載のコンピュータ読み取り可能媒体。
24. 前記第１分割結果について前記第１出現頻度を決定するプログラムコードは、
    前記第１分割結果を有している前記第１候補言語における記事の数を決定するプログラムコードと、前記第１候補言語における記事の総数に基づいて前記記事の数を標準化するプログラムコードとを有する請求項１８に記載のコンピュータ読み取り可能媒体。
25. 前記第１分割結果を有している前記第１候補言語において前記記事の数を決定するプログラムコードは、
    前記第１分割結果を有している検索クエリーに対応して生成された検索結果セットを識別する記事の数を決定するプログラムコードを有する請求項２４に記載のコンピュータ読み取り可能媒体。
26. 前記第１分割結果を有している前記記事の数を決定するプログラムコードは、
    記事のインデックスにアクセスするプログラムコードを有する請求項２５に記載のコンピュータ読み取り可能媒体。
27. 前記第１分割結果について前記第１出現頻度を決定するプログラムコードは、
    前記第１候補言語の中で複数の検索クエリーにおける第１分割結果の出現数を決定するプログラムコードと、前記第１候補言語の中の検索クエリーの総数に基づいて出現頻度を標準化するプログラムコードとを有する請求項１８に記載のコンピュータ読み取り可能媒体。
28. 前記文字列は、ドメインネームを有する請求項１８に記載のコンピュータ読み取り可能媒体。
29. 実施可能言語の一部に少なくともに基づいて記事を選択するプログラムコードをさらに有する請求項１８に記載のコンピュータ読み取り可能媒体。
30. 前記記事は、広告と、ウェブページと、状況メッセージとを少なくとも有する請求項２９に記載のコンピュータ読み取り可能媒体。
31. 前記第１分割結果を決定するプログラムコードは、
    前記文字列から前記第１候補言語における複数の分割結果を決定するプログラムコードと、
    前記複数の分割結果から前記第１分割結果を特定するプログラムコードとを有する請求項１８に記載のコンピュータ読み取り可能媒体。
32. 前記第１分割結果を特定するプログラムコードは、前記複数の分割結果それぞれの確率値を計算するプログラムコードを有する請求項３１に記載のコンピュータ読み取り可能媒体。
33. 前記第１分割結果に関連づけられた第１確率値が、第１分割結果における各トークンの頻度の一部に少なくとも基づいて計算される請求項３２に記載のコンピュータ読み取り可能媒体。
34. 前記第１出現頻度および第２出現頻度の一部に少なくとも基づいて、前記第１候補言語および第２候補言語から実施可能言語を特定するプログラムコードは、
    前記第１出現頻度が前記第２出現頻度よりも大きい場合、前記第１候補言語を選択するプログラムコードを有する請求項１８に記載のコンピュータ読み取り可能媒体。
35. ドメインネームから第１候補言語の中で第１分割結果を少なくとも決定するとともに、ドメインネームから第２候補言語の中で第２分割結果を少なくとも決定するステップと、
    少なくとも記事インデックスと、テキストインデックスと、検索結果セットとの一部に少なくとも基づいて、前記第１分割結果について第１出現頻度を少なくとも決定するステップと、
    前記第２分割結果について第２出現頻度決定するステップと、
    前記第１出現頻度が前記第２出現頻度よりも大きいとき、実施可能言語として前記第１候補言語を選択するステップと、
    前記第２出現頻度が前記第１出現頻度よりも大きいとき、実施可能言語として前記第２候補言語を選択するステップと、
    前記実施可能言語の一部に少なくとも基づいて広告を選択するステップと、
    前記ドメインネームに関連づけられたウェブページに関連づけて前記広告の表示をするステップと、を有し、
    前記広告は、前記実施可能言語のテキストを有していることを特徴とする方法。

Images