[go: up one dir, main page]

JP7608171B2 - 精神的健康評価のためのシステム及び方法 - Google Patents

精神的健康評価のためのシステム及び方法 Download PDF

Info

Publication number
JP7608171B2
JP7608171B2 JP2020571611A JP2020571611A JP7608171B2 JP 7608171 B2 JP7608171 B2 JP 7608171B2 JP 2020571611 A JP2020571611 A JP 2020571611A JP 2020571611 A JP2020571611 A JP 2020571611A JP 7608171 B2 JP7608171 B2 JP 7608171B2
Authority
JP
Japan
Prior art keywords
model
patient
data
subject
logic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020571611A
Other languages
English (en)
Other versions
JP2021529382A (ja
JPWO2019246239A5 (ja
Inventor
ルトフスキ，トマシュ
シュリバーグ，エリザベス・イー
アラトフ，ミハイル
イスラーム，マイヌル
ハラティ，アミール
リン，デイビッド
ルー，ヤン
ハク，ファルシード
ロジャース，ロバート・ディー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2021529382A publication Critical patent/JP2021529382A/ja
Publication of JPWO2019246239A5 publication Critical patent/JPWO2019246239A5/ja
Application granted granted Critical
Publication of JP7608171B2 publication Critical patent/JP7608171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/164—Lie detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)

Description

相互参照
この出願は、２０１８年６月１９日に出願された米国仮出願第６２／６８７，１７６号、２０１８年１０月２２日に出願された米国仮出願第６２／７４９，１１３号、２０１８年１０月２３日に出願された米国仮出願第６２／７４９，６５４号、２０１８年１０月２３日に出願された米国仮出願第６２／７４９，６６３号、２０１８年１０月２３日に出願された米国仮出願第６２／７４９，６６９号、２０１８年１０月２４日に出願された米国仮出願第６２／７４９，６７２号、２０１８年１１月１日に出願された米国仮出願第６２／７５４，５３４号、２０１８年１１月１日に出願された米国仮出願第６２／７５４，５４１号、２０１８年１１月１日に出願された仮出願第６２／７５４，５４７号、２０１８年１１月２日に出願された米国仮出願第６２／７５５，３５６号、２０１８年１１月２日に出願された仮出願第６２／７５５，３６１号、２０１８年９月１９日に出願された米国仮出願第６２／７３３，５６８号、２０１８年９月１９日に出願された米国仮出願第６２／７３３，５５２号の優先権を主張し、これらの出願のそれぞれは、全ての目的のためにその全体が参照により本願に完全に組み入れられる。
行動的健康は深刻な問題である。米国では、疾病管理センター（ＣＤＣ）によって報告されるように、自殺が死因のトップ１０にランクされる。世界保健機関（ＷＨＯ）によると、鬱病は世界中で障害の主要な原因である。医師及び医療提供者による鬱病及び他の精神的健康障害に関するスクリーニングが広く推奨される。患者の鬱病に関するスクリーニング又はモニタリングのための現在の「ゴールドスタンダード」はＰＨＱ－９（Ｐａｔｉｅｎｔ Ｈｅａｌｔｈ Ｑｕｅｓｔｉｏｎｎａｉｒｅ ９）であり、これは、九つ（９）の多肢選択式問題を伴う書面による鬱病スクリーニング又はモニタリングテストである。他の同様の評価テストとしては、ＰＨＱ－２及び全般性不安障害７（ＧＡＤ－７）が挙げられる。
多くの人は、鬱病などの行動的健康診断を検出するためのＰＨＱ－９や他の同様のスクリーニングツール又はモニタリングツールが不十分であると考えている。ＰＨＱ－９は、患者の８５～９５％で鬱病をうまく検出すると言われているが、全ての自殺の５４％が鬱病の診断を伴わない人々によって行なわれているとも言われている。これらの２つの主張は、スクリーニング又はモニタリングという点で互いに完全に矛盾しているように見えるが、実際には、十分な数の人々がスクリーニングされていない。
問題の一部は、従来のスクリーニング調査又はモニタリング調査がそれらの反復的な性質とパーソナライゼーションの欠如とに起因して興味をそそらないという点である。他の問題は、患者が評価ツールに対する自分達の応答において不誠実である可能性があり、また、ＰＨＱ－９及び同様のツールが患者の応答における不誠実さを評価できるメカニズムを与えないという点である。最後に、これらの調査には臨床医及び患者の側で努力を要する。これは、一部の患者が調査の完了のために支援を必要とし、これが臨床医及び患者の両方のワークフローを混乱させるからである。
本開示は、従来の精神的健康評価ツールと比較した場合に、人間の被検者の精神状態をより正確に且つ効果的に評価、スクリーニング、推定、及び／又は、監視することができるシステム及び方法を提供する。一態様では、単一のセッションで又は複数の異なるセッションにわたって被検者の精神状態を評価するための方法が提供される。この方法は、自動化されたモジュールを使用して、評価されるべき１つ以上の目標精神状態に部分的に基づいて少なくとも１つのクエリーを提示及び／又は構築することを含むことができる。少なくとも１つのクエリーは、被検者から少なくとも１つの応答を引き出すように構成され得る。また、方法は、少なくとも１つのクエリーを音声、視覚、及び／又は、テキスト形式で被検者に送信して、少なくとも１つの応答を引き出すことを含んでもよい。また、方法は、少なくとも１つのクエリーを送信することに応じて被検者から少なくとも１つの応答を含むデータを受信することを含んでもよい。データは発話データを含むことができる。方法は、自然言語処理（ＮＬＰ）モデル、音響モデル、及び／又は、視覚モデルを含む１つ以上の個別モデル、結合モデル、又は、融合モデルを使用してデータを処理することを更に含んでもよい。方法は、単一のセッションに関して、複数の異なるそれぞれのセッションごとに、又は、複数の異なるセッションのうちの１つ以上のセッションの完了時に、被検者に関連する精神状態の１つ以上の評価を生成することを更に含んでもよい。
幾つかの実施形態において、１つ以上の個別モデル、結合モデル、又は、融合モデルは、メタデータモデルを含んでもよい。メタデータモデルは、被検者の人口統計情報及び／又は病歴を使用して、被検者に関連する精神状態の１つ以上の評価を生成するように構成され得る。
幾つかの実施形態では、少なくとも１つのクエリーが複数のクエリーを含むことができ、少なくとも１つの応答が複数の応答を含むことができる。複数のクエリーを順次に被検者に送信でき、また、複数のクエリーは、被検者から複数の応答を体系的に引き出すように構成され得る。幾つかの実施形態において、複数のクエリーは、複数のクエリーのそれぞれの後続のクエリーが先行するクエリーに対する被検者の応答への論理的フォローとして構造化されるとともに被検者の精神状態の複数の態様に関する推測を評価する又は引き出すべく設計され得るように、階層的に構造化され得る。
幾つかの実施形態において、自動化されたモジュールは、被検者のプロファイルに部分的に基づいて少なくとも１つのクエリーを提示及び／又は構築するように更に構成され得る。
幾つかの実施形態において、１つ以上の目標精神状態は、鬱病、不安神経症、心的外傷後ストレス障害（ＰＴＳＤ）、統合失調症、自殺傾向、及び、双極性障害から成るグループから選択され得る。
幾つかの実施形態において、１つ以上の目標精神状態は、所定の精神障害のリストと関連付けられる又は併存する１つ以上の状態又は障害を含むことができる。所定の精神障害のリストは、精神障害の診断及び統計マニュアルで規定又は提供される精神障害を含んでもよい。幾つかの実施形態において、１つ以上の関連付けられる又は併存する状態又は障害は、倦怠感、孤独感、意欲の低下、又は、ストレスを含むことができる。
幾つかの実施形態において、評価は、被検者が（ｉ）他人よりも目標精神状態のうちの少なくとも１つを経験する可能性が高いか又は（ｉｉ）将来のある時点で他人よりも目標精神状態のうちの少なくとも１つを経験する可能性が高いかどうかを示すスコアを含むことができる。幾つかの実施形態において、将来のある時点は、臨床的に実行可能な将来の範囲内となり得る。
幾つかの実施形態において、方法は、被検者の精神状態を評価する際に使用されるように医療従事者に評価を送信することを更に含むことができる。送信は、評価中、ジャストインタイムで、又は、評価の完了した後にリアルタイムで実行され得る。
幾つかの実施形態において、複数のクエリーは、被検者の精神状態の複数の態様を検査する又は検出するように設計され得る。
幾つかの実施形態において、評価は、被検者が（ｉ）他人よりも目標精神状態のうちの少なくとも１つを経験する可能性が高いか又は（ｉｉ）将来のある時点で他人よりも目標精神状態のうちの少なくとも１つを経験する可能性が高いかどうかを示すスコアを含むことができる。スコアは、複数のクエリーに対する被検者の複数の応答から得られる処理済みデータに基づいて計算され得る。幾つかの実施形態において、スコアは、先行するクエリーに対する被検者の後続応答のそれぞれから得られる処理済みデータで継続的に更新され得る。
幾つかの実施形態において、方法は、少なくとも１つの応答に基づいて、被検者から引き出される更なる情報を特定することを更に含むことができる。方法は、後続のクエリーを被検者に送信することを更に含むことができる。後続のクエリーは、更なる情報に関連するとともに、被検者から後続の応答を引き出すように構成され得る。また、方法は、後続のクエリーを送信することに応じて被検者から後続の応答を含むデータを受信することを更に含むことができる。方法は、被検者の精神状態の評価を更新するために後続の応答を処理することを更に含むことができる。幾つかの実施形態において、被検者から引き出されるべき更なる情報を特定することは、（ｉ）実質的内容の１つ以上の要素、又は、（ｉｉ）被検者の精神状態にとって重要なデータ内の１つ以上のパターンを特定することを含み得る。方法は、実質的内容の１つ以上の要素又は１つ以上のパターンのそれぞれに関して、被検者に尋ねられるべき１つ以上の要素又は１つ以上のパターンに関連するフォローアップ情報の１つ以上の項目を特定すること、及び、後続のクエリーを生成することを更に含むことができる。後続のクエリーは、フォローアップ情報の１つ以上の項目に関連し得る。
幾つかの実施形態において、ＮＬＰモデルは、感情モデル、統計的言語モデル、話題モデル、構文モデル、埋め込みモデル、対話又は談話モデル、情緒又は感情モデル、及び、話者人格モデルから成るグループから選択され得る。
幾つかの実施形態において、データは、被検者の画像又はビデオを更に含むことができる。データは、被検者の精神状態の評価を生成するために視覚モデルを使用して更に処理され得る。幾つかの実施形態において、視覚モデルは、顔面手がかりモデル、身体移動／動きモデル、及び、眼球活動モデルから成るグループから選択され得る。
幾つかの実施形態において、少なくとも１つのクエリーは、被検者から少なくとも１つの応答を引き出すように構成される質問、発言、又は、コメントの形態の会話文脈で送信され得る。幾つかの実施形態において、会話文脈は、被検者からの真実の、反省的な、思慮深い、又は、率直な応答の聞き出しを促進するように設計され得る。幾つかの実施形態において、会話文脈は、被検者が少なくとも１つの応答を構成するのに要する時間に影響を与えるように設計され得る。幾つかの実施形態において、方法は、待ち時間閾値を超えるときに音声及び／又は視覚形式の１つ以上のプロンプトを被検者に送信することを更に含むことができる。幾つかの実施形態において、会話文脈は、被検者の精神状態の評価の１つ以上の性能メトリクスを強化するように設計され得る。幾つかの実施形態において、１つ以上の性能メトリクスは、Ｆ１スコア、曲線下面積（ＡＵＣ）、感度、特異度、正の予測値（ＰＰＶ）、及び、等しいエラー率から成るグループから選択され得る。
幾つかの実施形態において、少なくとも１つのクエリーは、標準化されたテスト又はアンケートの形式で送信されない又は与えられない、或いは送信される必要がない又は与えられる必要がない。幾つかの実施形態において、少なくとも１つのクエリーは、標準化されたテスト又はアンケートから適合又は修正された主題を含むことができる。幾つかの実施形態において、標準化されたテスト又はアンケートは、ＰＨＱ－９、ＧＡＤ－７、ＨＡＭ－Ｄ、及び、ＢＤＩから成るグループから選択され得る。標準化されたテスト又はアンケートは、患者の精神的健康状態を評価するための他の同様のテスト又はアンケートであってもよい。
幾つかの実施形態において、１つ以上の個別モデル、結合モデル、又は、融合モデルは、回帰モデルを含むことができる。
幾つかの実施形態において、少なくとも１つのクエリーは、被検者からの少なくとも１つの応答をバイナリイエス又はノー応答であるように制限することなく非制約的であるように設計され得る。
幾つかの実施形態では、スコアを使用して、臨床的な値を伴う１つ以上のスコアを計算することができる。
幾つかの実施形態において、評価は、被検者の精神状態の量子化されたスコア推定値を含むことができる。幾つかの実施形態において、量子化されたスコア推定値は、較正されたスコア推定値を含むことができる。幾つかの実施形態において、量子化されたスコア推定値は、バイナリスコア推定値を含むことができる。
幾つかの実施形態では、複数のクエリーを一連のエッジとして表わすことができ、また、複数の応答をノードネットワーク内の一連のノードとして表わすことができる。
幾つかの実施形態において、精神状態は、１つ以上の医学的、心理的、又は、精神医学的状態又は症状を含むことができる。
幾つかの実施形態において、方法は、被検者の発話データに基づいて明らかにされる被検者の物理的状態を更に評価するように構成され得る。方法は、被検者の物理的状態の評価を生成するために１つ以上の個別モデル、結合モデル、又は、融合モデルを使用してデータを処理することを更に含むことができる。幾つかの実施形態において、物理的状態は、被検者が（ｉ）他人よりも複数の生理学的状態のうちの少なくとも１つを経験する可能性が高いか又は（ｉｉ）将来のある時点で他人よりも生理学的状態のうちの少なくとも１つを経験する可能性が高いかどうかを示すスコアを含むことができる。
幾つかの実施形態において、被検者の物理的状態は、被検者の声の特性又は質に影響を与える１つ以上の物理的状態に起因して明らかにされる。
幾つかの実施形態において、自動化されたモジュールは、評価されるべき１つ以上の目標精神状態に部分的に基づいて少なくとも１つのクエリーを動的に構築するように構成され得る精神的健康スクリーニングモジュールであってもよい。
幾つかの実施形態において、１つ以上の個別モデル、結合モデル、又は、融合モデルは、２つ以上の異なるモデルの集合体となり得る複合モデルを含むことができる。
本開示の他の態様は、１つ以上のコンピュータプロセッサによる実行時に、先に記載された又は本明細書中の他の場所で説明された前述の方法のいずれかを実施する機械実行可能な命令を含む持続性コンピュータ可読媒体を提供する。
本開示の他の態様は、１つ以上のコンピュータプロセッサと、１つ以上のコンピュータプロセッサによる実行時に、先に記載された又は本明細書中の他の場所で説明された方法のいずれかを実施する機械実行可能な命令を含むメモリとを備えるシステムを提供する。
本開示の他の態様は、被検者をスクリーニング又は監視する或いは精神的健康障害に関して被検者を診断するための方法を提供する。方法は、少なくとも１つのクエリーを被検者に送信することを含むことができる。少なくとも１つのクエリーは、被検者から少なくとも１つの応答を引き出すように構成され得る。方法は、少なくとも１つのクエリーを送信することに応じて被検者から少なくとも１つの応答を含むデータを受信することを更に含むことができる。データは発話データを含むことができる。方法は、自然言語処理（ＮＬＰ）モデル、音響モデル、及び／又は、視覚モデルを含む１つ以上の個別モデル、結合モデル、又は、融合モデルを使用してデータを処理し、出力を生成することを更に含むことができる。方法は、少なくとも出力を使用してスコア及びスコアの信頼レベルを生成することを更に含むことができる。スコアは、被検者が精神的健康障害を有するという推定を含むことができる。信頼レベルは、発話データの品質に少なくとも部分的に基づくことができ、推定を信頼できる度合いを表わす。
幾つかの実施形態において、１つ以上の個別モデル、結合モデル、又は、融合モデルは、メタデータモデルを含むことができる。メタデータモデルは、被検者の人口統計情報及び／又は病歴を使用して、被検者に関連する精神状態の１つ以上の評価を生成するように構成され得る。
幾つかの実施形態において、出力は、ＮＬＰ出力、音響出力、及び、視覚出力を含むことができる。幾つかの実施形態において、ＮＬＰ出力、音響出力、及び、視覚出力はそれぞれ、データの異なる時間範囲に対応する複数の出力を含むことができる。幾つかの実施形態において、スコアを生成することは、（ｉ）ＮＬＰ出力、音響出力、及び、視覚出力を離散時間セグメントに分けること、（ｉｉ）各離散時間セグメントに重みを割り当てること、（ｉｉｉ）割り当てられた重みを使用して、ＮＬＰ出力、音響出力、及び、視覚出力の加重平均を計算することを含むことができる。幾つかの実施形態において、重みは、少なくとも、（ｉ）１つ以上の個別モデル、結合モデル、又は、融合モデルのベース重み、（ｉｉ）ＮＬＰ出力、音響出力、及び、視覚出力の各離散時間セグメントの信頼レベルに基づくことができる。
幾つかの実施形態において、１つ以上の個別モデル、結合モデル、又は、融合モデルは、１つ以上の個別モデル、結合モデル、又は、融合モデルのそれぞれが１つ以上の個別モデル、結合モデル、又は、融合モデルのうちの少なくとも１つの他のモデルの出力を条件とするように相互依存し得る。
幾つかの実施形態において、スコアを生成することは、ＮＬＰ出力、音響出力、及び、視覚出力を融合させることを含むことができる。
幾つかの実施形態において、スコアの信頼レベルを生成することは、（ｉ）ＮＬＰ出力の信頼レベルを（ｉｉ）音響出力の信頼レベルと融合させることを含むことができる。
幾つかの実施形態において、方法は、スコアを臨床的な値を伴う１つ以上のスコアに変換することを更に含むことができる。
幾つかの実施形態において、方法は、臨床的な値を伴う１つ以上のスコアを被検者及び／又は被検者の連絡先に送信することを更に含むことができる。幾つかの実施形態において、方法は、被検者の精神的健康の評価の際及び／又は精神的健康のための介護を与える際に使用するために臨床的な値を伴う１つ以上のスコアを医療従事者に送信することを更に含むことができる。幾つかの実施形態において、送信することは、スクリーニング中、モニタリング中、又は、診断中に、臨床的な値を伴う１つ以上のスコアを医療従事者に送信することを含むことができる。幾つかの実施形態において、送信することは、前記スクリーニング、モニタリング、又は、診断が完了された後に、臨床的な値を伴う１つ以上のスコアを医療従事者又は支払者に送信することを含むことができる。
幾つかの実施形態では、少なくとも１つのクエリーが複数のクエリーを含むことができ、少なくとも１つの応答が複数の応答を含むことができる。スコアを生成することは、複数の応答のそれぞれを受信した後にスコアを更新することを含むことができ、また、方法は、更新のそれぞれの後にスコアを臨床的な値を伴う１つ以上のスコアに変換することを更に含むことができる。方法は、変換の後に、臨床的な値を伴う１つ以上のスコアを医療従事者に送信することを更に含むことができる。
幾つかの実施形態において、方法は、信頼レベルが所定の基準を満たさないと決定すること、リアルタイムで、少なくとも１つの応答に少なくとも部分的に基づいて、少なくとも１つの更なるクエリーを生成すること、少なくとも１つの更なるクエリーを使用して、信頼レベルが所定の基準を満たすまでステップ（ａ）～（ｄ）を繰り返すことを更に含むことができる。
幾つかの実施形態において、信頼レベルは、少なくとも１つの応答の長さに基づくことができる。幾つかの実施形態において、信頼レベルは、被検者の１つ以上の応答の評価された真実性に基づくことができる。
幾つかの実施形態において、１つ以上の個別モデル、結合モデル、又は、融合モデルは、複数の被検者からの発話データに関してトレーニング可能であり、複数の被検者のそれぞれは、被検者が精神的健康障害を有するかどうかを示す調査又はアンケートを完了してしまっている。信頼レベルは、調査又はアンケートで評価された応答の真実性に基づくことができる。
幾つかの実施形態において、方法は、話題モデルを使用して被検者の１つ以上の関心のある話題を発話データから抽出することを更に含むことができる。
幾つかの実施形態において、方法は、関心のある１つ以上の話題からワードクラウドを生成することを更に含むことができる。ワードクラウドは、被検者の関心のある１つ以上の話題の経時的な変化を反映する。幾つかの実施形態において、方法は、１つ以上の関心のある話題を医療従事者、被検者、又は、その両方に送信することを更に含むことができる。
幾つかの実施形態において、ビデオ出力には、被検者が話していないときにスコアを生成する際にＮＬＰ出力及び音響出力よりも高い重みを割り当てることができる。幾つかの実施形態において、スコアを生成する際のビデオ出力の重みは、被検者の真実性レベルが閾値を下回ることをＮＬＰ出力及び音響出力が示す際に増大され得る。
幾つかの実施形態において、ビデオモデルは、顔面手がかりモデル、身体移動／動きモデル、及び、凝視モデルのうちの１つ以上を含むことができる。
幾つかの実施形態では、少なくとも１つのクエリーが複数のクエリーを含むことができ、少なくとも１つの応答が複数の応答を含むことができる。複数のクエリーは、被検者から複数の応答を順次に体系的に引き出すように構成され得る。複数のクエリーは、複数のクエリーのそれぞれの後続のクエリーが先行するクエリーに対する被検者の応答への論理的フォローとなり得るとともに被検者の精神状態の異なる態様に関する推測を評価する又は引き出すべく設計され得るように、階層的に構造化され得る。
幾つかの実施形態において、少なくとも１つのクエリーは、臨床的に検証された調査、テスト、又は、アンケートから適合又は修正された主題を含むことができる。
幾つかの実施形態において、音響モデルは、音響埋め込みモデル、スペクトル時間モデル、超ベクトルモデル、音響影響モデル、話者人格モデル、イントネーションモデル、発話速度モデル、発音モデル、非言語モデル、又は、流暢性モデルのうちの１つ以上を含むことができる。
幾つかの実施形態において、ＮＬＰモデルは、感情モデル、統計的言語モデル、話題モデル、構文モデル、埋め込みモデル、対話又は談話モデル、情緒又は感情モデル、又は、話者人格モデルのうちの１つ以上を含むことができる。
幾つかの実施形態において、精神的健康障害は、鬱病、不安神経症、心的外傷後ストレス障害、双極性障害、自殺傾向、又は、統合失調症を含むことができる。
幾つかの実施形態において、精神的健康障害は、１つ以上の医学的、心理的、又は、精神医学的状態又は症状を含むことができる。
幾つかの実施形態では、スコアは、範囲から選択されるスコアを含むことができる。範囲は、対象の一般的な母集団又は特定の母集団に関して正規化され得る。
幾つかの実施形態において、臨床的な値を伴う１つ以上のスコアは、精神的健康障害と関連付けられる１つ以上の記述子を含むことができる。
幾つかの実施形態では、前述のステップ（ａ）～（ｄ）を複数の異なる時間に繰り返して、複数のスコアを生成することができる。方法は、複数のスコア及び信頼度をコンピュータデバイスに送信すること、コンピュータデバイス上で、複数のスコア及び信頼度を、ダッシュボード又は１人以上のエンドユーザのための他の表示上に時間の関数としてグラフィカルに表示することを更に含むことができる。
幾つかの実施形態において、発話データの品質は、発話データの音声信号の品質を含むことができる。
幾つかの実施形態において、発話データの品質は、発話データの音声信号に関して実行される発話認識プロセスの信頼度の指標を含むことができる。
幾つかの実施形態において、方法は、単一のセッションに関して実施され得る。スコア及びスコアの信頼レベルは、単一のセッションに関して生成され得る。
幾つかの実施形態において、方法は、複数の異なるセッションに関して該セッションにわたって実施可能であり、また、スコア及びスコアの信頼レベルは、複数の異なるセッションのそれぞれに関して、又は、複数の異なるセッションのうちの１つ以上のセッションの完了時に生成され得る。
本開示の他の態様は、１つ以上のコンピュータプロセッサによる実行時に、先に記載された又は本明細書中の他の場所で説明された方法のいずれかを実施する機械実行可能な命令を含む持続性コンピュータ可読媒体を提供する。
本開示の他の態様は、１つ以上のコンピュータプロセッサと、１つ以上のコンピュータプロセッサによる実行時に、先に記載された又は本明細書中の他の場所で説明された方法のいずれかを実施する機械実行可能な命令を含むメモリとを備えるシステムを提供する。
本開示の他の態様は、被検者の発話及び／又はビデオデータを処理して被検者の精神状態を特定するための方法を提供する。方法は、被検者の発話及び／又はビデオデータを受信すること、少なくとも１つの処理技術を使用して、発話及び／又はビデオデータを処理し、精神状態を特定するために使用可能な標準化された精神的健康アンケート又は試験ツールよりも、（ｉ）少なくとも１０％低い低エラー率で、又は、（ｉｉ）少なくとも１０％高い精度で、精神状態を特定することを含むことができる。低エラー率又は精度は、精神状態を構成する１つ以上の病状を特定する又は評価するためのエンティティによって使用可能な少なくとも１つ以上のベンチマーク基準に対して確立され得る。
幾つかの実施形態において、エンティティは、以下、すなわち、臨床医、医療従事者、保険会社、及び、政府規制機関のうちの１つ以上を含むことができる。幾つかの実施形態において、少なくとも１つ以上のベンチマーク基準は、精神状態を特定する際に正確であることが独立して検証された少なくとも１つの臨床診断を含むことができる。幾つかの実施形態において、発話データは、被検者が話しているときにほぼリアルタイムで受信され得る。幾つかの実施形態において、発話データは、被検者の発話の記憶された記録からオフラインモードで生成され得る。
本開示の他の態様は、被検者の精神状態を特定するために被検者の発話データを処理するための方法を提供する。方法は、被検者の発話データを受信すること、少なくとも１つの処理技術を使用して発話データを処理して精神状態を特定することを含むことができる。精神状態の前記特定は、精神状態を特定するために使用可能な標準化された精神的健康アンケート又は試験ツールと比較して良好に、１つ以上の性能メトリクスにしたがっている。
幾つかの実施形態では、１つ以上の性能メトリクスが感度又は特異度を含むことができ、また、発話データは、所望レベルの感度又は所望レベルの特異度にしたがって処理され得る。幾つかの実施形態では、所望レベルの感度又は所望レベルの特異度がエンティティによって確立される基準に基づいて規定され得る。幾つかの実施形態において、エンティティは、以下、すなわち、臨床医、医療従事者、保険会社、及び、政府規制機関のうちの１つ以上を含むことができる。
本開示の他の態様は、被検者の精神状態を特定又は評価するために被検者の発話データを処理するための方法を提供する。方法は、被検者の発話データを受信すること、１つ以上の処理技術を使用して発話データを処理して、精神状態を示す１つ以上の記述子を生成すること、及び、１つ以上の記述子の複数の視覚要素を生成することを含むことができる。複数の視覚要素は、ユーザの電子デバイスのグラフィカルユーザインタフェースに表示されて精神状態を特定又は評価するべくユーザによって使用できるように構成され得る。
幾つかの実施形態では、ユーザが被検者となり得る。幾つかの実施形態では、ユーザが臨床医又は医療従事者となり得る。幾つかの実施形態において、１つ以上の記述子は、精神状態を示す較正された又は正規化されたスコアを含むことができる。幾つかの実施形態において、１つ以上の記述子は、較正された又は正規化されたスコアに関連する信頼度を更に含むことができる。
本開示の他の態様は、被検者の精神状態を特定、評価、又は、監視するための方法を提供する。方法は、自然言語処理アルゴリズム、音響処理アルゴリズム、又は、ビデオ処理アルゴリズムを使用して被検者のデータを処理し、被検者の精神状態を特定又は評価することを含むことができ、データが被検者の発話又はビデオデータを含み、また、方法は、被検者の精神状態を示す報告を出力することを含むことができる。報告は、精神状態を特定、評価、又は、監視するために使用されるようにユーザに送信され得る。
幾つかの実施形態では、ユーザが被検者となり得る。幾つかの実施形態では、ユーザが臨床医又は医療従事者となり得る。幾つかの実施形態において、報告は、複数のグラフィック視覚要素を含むことができる。幾つかの実施形態において、報告は、ユーザの電子デバイスのグラフィカルユーザインタフェースに表示されるように構成され得る。幾つかの実施形態において、方法は、被検者の精神状態における１つ以上の検出された変化に応じて報告を更新することを更に含むことができる。幾つかの実施形態において、報告は、精神状態における１つ以上の検出された変化が被検者において発生しているときにほぼリアルタイムで更新され得る。
本開示の他の態様は、被検者が精神的又は生理学的な状態のリスクにあるかどうかを特定するための方法を提供する。方法は、被検者から発話データを取得して発話データをコンピュータメモリに記憶すること、部分的に自然言語処理を使用して発話データを処理し、精神的又は生理学的な状態を示す１つ以上の特徴を特定すること、被検者が精神的又は生理学的な状態のリスクにあるかどうかを特定する電子レポートを出力することを含むことができ、リスクは信頼レベルを伴う正規化されたスコアの形態で定量化され得る。信頼レベルを伴う正規化されたスコアは、被検者が精神的又は生理学的な状態のリスクにあるかどうかを特定するためにユーザによって使用可能であってもよい。
幾つかの実施形態では、ユーザが被検者となり得る。幾つかの実施形態では、ユーザが臨床医又は医療従事者となり得る。幾つかの実施形態において、報告は、複数のグラフィック視覚要素を含むことができる。幾つかの実施形態において、報告は、ユーザの電子デバイスのグラフィカルユーザインタフェースに表示されるように構成され得る。
本開示の他の態様は、被検者の精神的な状態又は障害を特定、評価、又は、監視するための方法を提供する。方法は、コンピュータメモリ内の被検者の発話を含む音声又は視聴覚データを受信すること、音声又は視聴覚データを処理して、被検者の精神的な状態又は障害を特定、評価、監視、又は、診断することを含むことができ、処理は、被検者の発話に対して自然言語処理を実行することを含むことができる。
幾つかの実施形態において、音声又は視聴覚データは、被検者に向けられたクエリーに応じて受信され得る。幾つかの実施形態において、音声又は視聴覚データは、被検者が当事者となり得る会話の事前記録からのものであってもよい。幾つかの実施形態において、音声又は視聴覚データは、被検者及び医療従事者を含む臨床セッションの事前記録からのものであってもよい。幾つかの実施形態において、精神的な状態又は障害は、標準化された精神的健康アンケート又は試験ツールと比較して高い性能レベルで特定され得る。幾つかの実施形態において、処理は、トレーニングされたアルゴリズムを使用して、被検者の発話に対して音響解析を実行することを更に含むことができる。
本開示の他の態様は、被検者が精神状態を有するかどうかを推定して該推定を利害関係者に与えるための方法を提供する。方法は、被検者から発話データを取得して発話データをコンピュータメモリに記憶することを含むことができる。発話データは、音声及び／又は視覚形式で被検者に送信される複数のクエリーへの応答を含むことができる。方法は、（１）被検者が精神状態を有するかどうかを推定する際の感度に関して最適化される第１のモデル、又は、（２）被検者が精神状態を有するかどうかを推定する際の特異度に関して最適化される第２のモデルを選択することを含むことができる。方法は、選択された第１のモデル又は第２のモデルを使用して発話データを処理して推定を生成することを更に含むことができる。方法は、推定を利害関係者に送信することを更に含むことができる。
幾つかの実施形態では、第１のモデルを選択することができ、利害関係者が医療支払者となり得る。幾つかの実施形態では、第２のモデルを選択することができ、利害関係者が医療従事者となり得る。
本開示の他の態様は、被検者が精神状態を有するリスクにあるかどうかを決定するためのシステムを提供する。システムは、（ｉ）メモリから発話データを受信し、（ｉｉ）少なくとも１つのモデルを使用して発話データを処理し、被検者が精神状態を有するリスクにあると決定するように構成され得る。少なくとも１つのモデルは、精神状態の臨床的決定を有する他の複数の被検者からの発話データに関してトレーニングされ得る。臨床的決定は、発話データに関する標識として役立ち得る。システムは、臨床的に検証された調査、テスト、又は、アンケートと比較して良好に１つ以上の性能メトリクスにしたがっている精神状態の推定を生成するように構成され得る。
幾つかの実施形態において、システムは、臨床的に検証された調査、テスト、又は、アンケートと比較して高い特異度で精神状態の推定を生成するように構成され得る。幾つかの実施形態において、システムは、臨床的に検証された調査、テスト、又は、アンケートと比較して高い感度で精神状態の推定を生成するように構成され得る。幾つかの実施形態において、特定は、被検者が話している間に出力され得る。幾つかの実施形態において、特定は、ストリーミングにより又は定期的に更新される信号により出力され得る。
本開示の他の態様は、被検者の精神状態を評価するための方法を提供する。方法は、自動化されたスクリーニングモジュールを使用して、評価されるべき１つ以上の目標精神状態に部分的に基づいて少なくとも１つのクエリーを動的に構築することを含むことができる。少なくとも１つのクエリーは、被検者から少なくとも１つの応答を引き出すように構成され得る。方法は、少なくとも１つのクエリーを音声、及び／又は視覚形式で被検者に送信して、少なくとも１つの応答を引き出すことを更に含むことができる。方法は、少なくとも１つのクエリーを送信することに応じて被検者から少なくとも１つの応答を含むデータを受信することを更に含むことができる。データは発話データを含むことができる。方法は、被検者の物理的状態の評価を生成するために少なくとも１つ以上の意味モデルを含む複合モデルを使用してデータを処理することを更に含むことができる。
本開示の他の態様は、１つ以上のコンピュータプロセッサによる実行時に、先に記載された又は本明細書中の他の場所で説明された方法のいずれかを実施する機械実行可能な命令を含む持続性コンピュータ可読媒体を提供する。
本開示の他の態様は、１つ以上のコンピュータプロセッサ及びそれに結合されるコンピュータメモリを備えるシステムを提供する。コンピュータメモリは、１つ以上のコンピュータプロセッサによる実行時に、先の又は本明細書中の他の場所の方法のいずれかを実施する機械実行可能コードを含む。
本開示の更なる態様及び利点は、本開示の単なる例示的な実施形態が示されて記載されるにすぎない以下の詳細な説明から当業者に容易に明らかになる。理解されるように、本開示は、他の異なる実施形態が可能であり、その幾つかの詳細は、全てが本開示から逸脱することなく、様々な自明な点で変更が可能である。したがって、図面及び説明は、本質的に例示と見なされるべきであり、限定的であると見なされるべきでない。 参照による組み入れ
この明細書中で言及される全ての刊行物、特許、及び、特許出願は、あたかもそれぞれの個々の刊行物、特許、又は、特許出願が参照により組み入れられるべく具体的に且つ個別に示唆されたと同じ程度に参照により本願に組み入れられる。参照により組み入れられる刊行物及び特許又は特許出願が明細書中に含まれる開示と矛盾する程度まで、明細書は、任意のそのような矛盾する資料よりも優先する及び／又は優ることを意図している。
本開示の新規の特徴は、添付の特許請求の範囲に詳細に記載される。本開示の特徴及び利点のより良い理解は、本開示の原理が利用される例示的な実施形態を説明する以下の詳細な説明及び添付図面（本明細書中の「図」及び「ＦＩＧ」も）を参照することによって得られ、添付図面は以下の通りである。
健康スクリーニング又はモニタリングサーバ及び臨床データサーバコンピュータシステム及びソーシャルデータサーバが協働して本開示にしたがって患者の健康状態を推定する健康スクリーニング又はモニタリングシステムを示す。 図１Ａからの健康スクリーニング又はモニタリングシステムの更なる実施形態を示す。 ウェブサーバ及び（１又は複数の）モデリングサーバが協働して広域ネットワークを介して患者の状態を評価する幾つかの実施形態に係る患者のスクリーニング又はモニタリングシステムを示す。 リアルタイムコンピュータシステム、モデリングコンピュータシステム、及び、臨床・人口統計データサーバコンピュータシステムが協働して患者の状態を評価して評価された状態を広域ネットワークを介して臨床医デバイスを使用して臨床医に報告する本開示に係る患者評価システムを示す。 図１Ａの健康スクリーニング又はモニタリングサーバのより詳細なブロック図である。 図４の健康スクリーニング又はモニタリングサーバの対話型健康スクリーニング又はモニタリングロジックのより詳細なブロック図である。 図５の対話型健康スクリーニング又はモニタリングロジックの対話型スクリーニング又はモニタリングサーバロジックのより詳細なブロック図である。 図６の対話型スクリーニング又はモニタリングサーバロジックの汎用対話フローロジックのより詳細なブロック図である。 本開示に係る汎用対話フローロジックによる患者との対話型口頭会話の制御を示すロジックフロー図である。 図７の汎用対話フローロジックの質問・適応アクションバンクのより詳細なブロック図である。 図８のステップのより詳細なロジックフロー図である。 図９の質問・適応アクションバンクの質問管理ロジックのより詳細なブロック図である。 本開示に係る質問の質の決定のロジックフロー図である。 本開示に係る２つの質問の等価性の決定のロジックフロー図である。 本開示に係るリアルタイムシステムによる患者との対話型口頭会話の制御を示すロジックフロー図である。 図１４のそれぞれのステップのより詳細なロジックフロー図である。 図１４のそれぞれのステップのより詳細なロジックフロー図である。 図３のリアルタイムシステムとの及びリアルタイムシステムにより制御される口頭会話の例示的な例を示すトランザクションフロー図である。 図３の対話型健康スクリーニング又はモニタリングロジックのランタイムモデルサーバロジックのより詳細なブロック図である。 図１Ａの対話型健康スクリーニング又はモニタリングロジックのモデルトレーニングロジックのより詳細なブロック図である。 幾つかの実施形態に係る、患者スクリーニング又はモニタリングシステムのより詳細なブロック図を示す。 幾つかの実施形態に係る、（１又は複数の）ランタイムモデルサーバのブロック図を与える。 幾つかの実施形態に係る、（１又は複数の）モデルトレーニングサーバのブロック図を与える。 データの一般的な流れを含む、図３のリアルタイムコンピュータシステム及びモデリングコンピュータシステムをより詳細に示す。 幾つかの実施形態に係る、音響モデルのブロック図を与える。 音響モデリングブロックを含む図２３Ａの一実施形態を示す。 スコア較正・信頼度モジュールを示す。 例示目的のための音響モデルの高レベル特徴表示器の簡略化された例を与える。 幾つかの実施形態に係る、自然言語処理（ＮＬＰ）モデルのブロック図を与える。 幾つかの実施形態に係る、視覚モデルのブロック図を与える。 幾つかの実施形態に係る、記述的特徴のブロック図を与える。 幾つかの実施形態に係る、対話エンジンのブロック図を与える。 幾つかの実施形態に係る、精神的健康状態に関して患者を検査するプロセス例のロジックフロー図である。 幾つかの実施形態に係る、モデルトレーニングのプロセス例のロジックフロー図である。 幾つかの実施形態に係る、モデル個人化のプロセス例のロジックフロー図である。 幾つかの実施形態に係る、クライアント対話のプロセス例のロジックフロー図である。 幾つかの実施形態に係る、クライアントの精神状態を分類するプロセス例のロジックフロー図である。 幾つかの実施形態に係る、モデル調整のプロセス例のロジックフロー図である。 幾つかの実施形態に係る、モデルの重み付け・融合のプロセス例のロジックフロー図である。 単なる例示目的で与えられる、音響解析の簡略化されたプロセス例のロジックフロー図である。 モデリングコンピュータシステムの発話認識ロジックをより詳細に示すブロック図である。 モデリングコンピュータシステムの言語モデルトレーニングロジックをより詳細に示すブロック図である。 モデリングコンピュータシステムの言語モデルロジックをより詳細に示すブロック図である。 モデリングコンピュータシステムの音響モデルトレーニングロジックをより詳細に示すブロック図である。 モデリングコンピュータシステムの音響モデルロジックをより詳細に示すブロック図である。 モデリングコンピュータシステムの視覚モデルトレーニングロジックをより詳細に示すブロック図である。 モデリングコンピュータシステムの視覚モデルロジックをより詳細に示すブロック図である。 図１Ａの対話型健康スクリーニング又はモニタリングロジックのスクリーニング又はモニタリングシステムデータストアのより詳細なブロック図である。 健康スクリーニング又はモニタリングサーバが本開示にしたがって周囲の発話を受動的に聞くことによって患者の健康状態を推定する健康スクリーニング又はモニタリングシステムを示す。 本開示にしたがって周囲の発話を受動的に聞くことによる患者の健康状態の推定を示すロジックフロー図である。 本開示にしたがって周囲の発話を受動的に聞くことによる患者の健康状態の推定を示すロジックフロー図である。 図４の健康スクリーニング又はモニタリングサーバのヘルスケア管理ロジックのより詳細なブロック図である。 図４８のヘルスケア管理ロジックのワークフローの構成要素状態のブロック図である。 図４８のヘルスケア管理ロジックのワークフローのアクションのブロック図である。 本開示に係る図４８のヘルスケア管理ロジックのワークフローの自動構築のロジックフロー図である。 図３のリアルタイムコンピュータシステムのより詳細なブロック図である。 図３のモデリングコンピュータシステムのより詳細なブロック図である。 図１Ａの健康スクリーニング又はモニタリングサーバのより詳細なブロック図である。 幾つかの実施形態に係る、解析のために使用される音響信号のスペクトル写真の例示的な例を与える。 幾つかの実施形態に係る、解析のために使用される音響信号のスペクトル写真の例示的な例を与える。 現在の開示を具現化できるコンピュータシステムの例示的な例である。 現在の開示を具現化できるコンピュータシステムの例示的な例である。 システムの精密ケース管理の使用ケースを示す。 システムのプライマリーケアスクリーニング又はモニタリングの使用ケースを示す。 高度従業員支援計画（ＥＡＰ）ナビゲーション及びトリアージのためのシステムを示す。 単一のセッションで又は複数の異なるセッションにわたって被検者の精神状態を評価するようにプログラムされ或いはさもなければ構成されるコンピュータシステムを示す。
本発明の様々な実施形態を本明細書中で示して説明してきたが、当業者に明らかなように、そのような実施形態は単なる一例として与えられる。本発明から逸脱することなく、多くの変形、変更、及び、置換は当業者に想起し得る。本明細書中に記載される発明の実施形態の様々な代替案を使用できることが理解されるべきである。
本発明の典型的な実施形態の態様、特徴、及び、利点は、（１又は複数の）添付図面に関連する以下の説明に関してより良く理解されるようになる。当業者であれば分かるように、本明細書中で与えられる本発明の記載された実施形態は、単なる例示であって、限定的ではなく、単なる一例として与えられている。この明細書本文に開示される全ての特徴は、別段明記されなければ、同じ又は同様の目的を果たす代替的特徴に取って代えられてもよい。したがって、その改変の他の多くの実施形態は、本明細書中に規定される本発明及びその均等物の範囲内にあると考えられる。
以下、例えば、「することになる」、「することにならない」、「するものとする」、「するものとしない」、「しなければならない」、「してはならない」、「第１に」、「最初に」、「次に」、「その後」、「前」、「後」、「最後に」、及び、「最終的に」などの絶対的な及び／又は逐次的な用語の使用は、本明細書中に開示される実施形態が単なる典型例であることから、本発明の範囲を限定しようとするものではない。本発明は、健康スクリーニング又はモニタリングシステムに関し、より詳細には、言語解析、視覚的手がかり、及び、音響解析を活用することによって精度及び有効性が大幅に向上されたコンピュータ実装精神的健康スクリーニング又はモニタリングツールに関する。この出願において、改善された音響解析技術、視覚解析技術、及び、発話解析技術の詳細は、それらが回答者を鬱状態又は他の関心のある精神状態として分類することに関連するように記載される。以下の開示の大部分は、主として患者の鬱病を評価することに焦点を合わせるが、本明細書中に記載されるシステム及び方法は、無数の精神的及び身体的病気に関してユーザを巧みにスクリーニング又は監視できる。例えば、双極性障害、不安神経症、及び、統合失調症は、そのようなシステムが巧みにスクリーニングやモニタリングできる精神疾患の例である。そのようなシステムを利用して身体的病気を評価できることも想定し得る。この開示が鬱病スクリーニング又はモニタリングに重点を置く場合があるが、これが限定的でないことが理解されるべきである。任意の適切な精神的又は身体的病気が開示されたシステム及び方法を使用してスクリーニングされてもよい。
本明細書中に開示されるシステム及び方法は、自然言語処理（ＮＬＰ）を使用して患者発話に関する意味解析を実行してもよい。本明細書中に開示される意味解析とは、患者の精神的健康スクリーニング又はモニタリングを行なう目的で話された言語の意味を決定するべく、評価質問又は捕捉された会話に対する患者の応答から話された言語を解析することを指してもよい。解析は、単語又はフレーズについてであってもよく、プライマリークエリー又はフォローアップクエリーを考慮するように設定されてもよい。捕捉された人間同士の間の会話の場合には、解析が相手の発話に適用されてもよい。本明細書中で使用される「意味解析」及び「自然言語処理（ＮＬＰ）」という用語は、置き換え可能に使用され得る。意味解析は、文脈において、患者による発話の意味を決定するために使用されてもよい。また、意味解析は、患者が話している話題を決定するために使用されてもよい。
本明細書中に記載される精神状態は、幸福、悲しみ、又は、怒りなどの情緒又は感覚から区別されてもよい。精神状態としては、人が自分の環境の物体をどのように認識するか、及び、他人の自分に向けた振る舞いを含めて、心の哲学と組み合わせた１つ以上の感情を挙げることができる。感情は一時的なものであってもよいが、精神状態は、人の感情が変化し得る状況であっても、人の包括的な気質又は気分を表わす場合がある。例えば、鬱状態の人は、様々な時に、幸せ、悲しみ、又は、怒りを様々に感じる場合がある。
本発明の１つ以上の実施形態によれば、サーバコンピュータシステム（健康スクリーニング又はモニタリングサーバ１０２－図１Ａ）は、患者を対話型口頭会話に関与させて、言語モデル、音響モデル、メタデータモデル、及び、視覚モデルを組み合わせることができる複合モデルを対話に関与する患者の捕捉された視聴覚信号に対して適用することによって、クライアントデバイス（患者デバイス１１２）を使用して健康状態スクリーニング又はモニタリングテストを人間の患者に適用してもよい。スクリーニング又はモニタリングテストの一般的な主題は、ＰＨＱ－９などの標準化された鬱病スクリーニング又はモニタリングテストの主題と同様であってもよいが、複合モデルは、（ｉ）会話を患者にとってより魅力あるものにするべく、及び、（ｉｉ）患者の健康状態を推定するべく、患者の視聴覚信号をリアルタイムで解析できる。別表Ａは、日時決めサービス、ＳＭＳサービス、対話サービス、通話サービス、及び、ユーザ管理サービスを含む典型的な実施を例示する。後者の目標が主要であるが、前者の目標は後者を達成する際の重要な要因である。スクリーニング又はモニタリングテストによって提示される質問に答える際の患者の真実性は、患者の気分を評価する上で重要である。健康スクリーニング又はモニタリングサーバ１０２は患者の誠実さを促す。
第１に、口頭会話は、単に質問に対して誠実に応答するのではなく、質問に対して不誠実な応答を成す時間を患者に殆ど与えない場合がある。第２に、会話は、例えば、単にＰＨＱ－９を実施することによって与えられるように、一般的なアンケートよりも、患者にとって自発的且つ個人的に感じる場合があり、患者にとってあまり煩わしくない場合がある。したがって、口頭会話は、医師又は他の臨床医の利益のためにアンケートに答えなければならないことに対する患者の憤りを誘発させない又は増幅させない場合がある。第３に、口頭会話は、患者に応答するように進行中に適応され、それにより、スクリーニング又はモニタリングテストに対する患者の煩わしさが軽減され、場合によっては、スクリーニング又はモニタリングテストが短縮され得る。第４に、健康スクリーニング又はモニタリングサーバ１０２によって実施されるスクリーニング又はモニタリングテストは、患者の鬱病を評価するために会話の言語的内容に加えて、会話の非言語的態様に更に依存し得る。図１Ａに示されるように、健康スクリーニング又はモニタリングシステム１００は、この例示的な実施形態ではインターネットである広域ネットワーク（ＷＡＮ）１１０を介して互いに接続される、健康スクリーニング又はモニタリングサーバ１０２、コールセンターシステム１０４、臨床データサーバ１０６、ソーシャルデータサーバ１０８、患者デバイス１１２、及び、臨床医デバイス１１４を含んでもよい。この例示的な実施形態において、患者デバイス１１２は、公衆交換電話網（ＰＳＴＮ）１２０を介して又は直接にコールセンターシステム１０４によって連絡可能であってもよい。健康スクリーニング又はモニタリングサーバ１０２は、患者デバイス１１２を介して患者に対して健康スクリーニング又はモニタリングテストを実施するとともに、言語モデル、音響モデル、及び、視覚モデルを組み合わせて結果１８２０（図１８）を生み出すサーバコンピュータシステムであってもよく、ランタイムモデルサーバ３０４のモデルをトレーニングするために臨床データサーバ１０６から取り出される臨床データ、ソーシャルデータサーバ１０８から取り出されるソーシャルデータ、及び、過去のスクリーニング又はモニタリングから収集される患者データを使用する（図１８）。臨床データサーバ１０６（図１Ａ）は、ＨＩＰＡＡ（１９９６年の医療保険の携行と責任に関する法律）及び／又はＧＤＰＲ及びＳＯＣ２などの任意の他のプライバシー及びセキュリティに関する政策及び規則に準拠する態様で、診断、投薬情報などを含む患者の利用可能な臨床データ又は人口統計データを、例えば、健康スクリーニング又はモニタリングサーバ１０２に利用できるようにするサーバコンピュータシステムであってもよい。ソーシャルデータサーバ１０６は、ソーシャルメディア投稿、オンライン購入、検索などを含む患者のソーシャルデータを、例えば、健康スクリーニング又はモニタリングサーバ１０２に利用できるようにするサーバコンピュータシステムであってもよい。臨床医デバイス１１４は、健康スクリーニング又はモニタリングサーバ１０２から患者の健康に関するスクリーニング又はモニタリングの結果を表わすデータを受信するクライアントデバイスであってもよい。
システムは、単一のセッションで又は複数のセッションにわたって被検者の精神状態を評価するために使用されてもよい。後続のセッションは、以前の評価からの評価結果によって通知されてもよい。これは、機械学習アルゴリズム又は後続の評価のための他の解析方法に対して評価データを入力として与えることによって行なわれてもよい。各セッションが１つ以上の評価を生成してもよい。個々の評価が複数のセッションからのデータをコンパイルしてもよい。
図１Ｂは、図１Ａからの健康スクリーニング又はモニタリングシステムの更なる実施形態を示す。図１Ｂは、患者１２０と臨床医１３０との間の会話を示す。臨床医１３０は、患者１２０からの１つ以上の発話サンプルを記録し、患者１２０の同意を得て、それらのサンプルを広域ネットワーク１１０にアップロードしてもよい。発話サンプルは、本明細書中の他の場所に記載される１つ以上の機械学習アルゴリズムによって解析されてもよい。
図２は、健康スクリーニング又はモニタリングシステムの更なる実施形態を与える。健康スクリーニング又はモニタリングシステム２００は、患者を対話に関与させるとともに、言語モデル、音響モデル、及び、視覚モデルを組み合わせる複合モデルを対話に関与する患者の捕捉された視聴覚信号に適用することによって、クライアントデバイス（クライアント２６０ａ～ｎ）を使用する人間の患者に対して健康状態スクリーニング又はモニタリングテストを適用してもよい。
スクリーニング又はモニタリングテストの一般的な主題は、ＰＨＱ－９などの標準化された鬱病スクリーニング又はモニタリングテストの主題と同様であってもよいが、複合モデルは、（ｉ）会話を患者にとってより魅力的なものにするため、（ｉｉ）患者の精神的健康を推定するため、及び、（ｉｉｉ）臨床医から適切なスクリーニング又はモニタリングを受けることに対して既に不安や他の精神的障壁に苦しんでいる場合がある患者に判断の自由及びあまり恥ずかしくない体験を与えるために、患者の視聴覚信号をリアルタイムで解析するように構成され得る。
この開示の全体にわたって、一連の用語が置き換え可能に使用されてもよく、また、この使用法がいかなる態様でも開示の範囲を限定しようとするものでないことに留意すべきである。例えば、「患者」、「クライアント」、「被検者」、「回答者」、及び、「ユーザ」という用語は全て、精神的健康状態に関してスクリーニングされている個人及び／又はそれらをスクリーニングするために使用される音声データ及び視覚データを収集して送信するべくこの個人によって利用されているデバイスを指すために置き換え可能に使用されてもよい。同様に、「意味解析」及び「ＮＬＰ」は、自然言語処理モデル及び要素を参照するために置き換え可能に使用されてもよい。同様に、「利害関係者」は、スクリーニングされている患者ではない多種多様な関心のある第三者を指すために使用される。これらの利害関係者としては、医師、医療従事者、介護チームメンバー、保険会社、研究機関、及び、患者の家族／親戚、病院、危機管理センターなどを挙げることができる。したがって、「医師」などの他の標識が使用される場合、本開示の意図は、任意の数の利害関係者を参照することであることが理解されるべきである。
健康スクリーニング又はモニタリングシステム２００は、スクリーニング又はモニタリング対話を実施して結果を解析するように設計されるバックエンドインフラを含む。これは、ウェブサーバ２４０に結合される１つ以上のモデルサーバ２３０を含む。ウェブサーバ２４０及び（１又は複数の）モデルサーバ２３０は、臨床・ソーシャルデータ２１０によって更に投入されるユーザデータ２２０を活用する。臨床データ部は、医療従事者からコンパイルされてもよく、診断、重要な情報（年齢、体重、身長、血液化学など）、疾患、投薬、臨床的遭遇のリスト（入院、診療所訪問、救急科訪問）、臨床医記録などを含んでもよい。この臨床データは、安全なアプリケーションプロトコル、拡張機能、又は、ソケットによって１つ以上の電子健康記録（ＥＨＲ）システム又は医療情報交換（ＨＩＥ）からコンパイルされてもよい。ソーシャルデータは、ソーシャルメディア投稿を含む患者のソーシャルネットワークから、患者の購入の詳細を示すデータベースから、及び、患者の経済的、教育的、居住的、法的、及び、他の社会的決定要因を含むデータベースから収集される情報を含んでもよい。この情報は、ユーザデータベース２２０に投入するべく更なる選好データ、メタデータ、注釈、及び、自発的に供給される情報とともにコンパイルされてもよい。モデルサーバ２３０及びウェブサーバ２４０は、更に、ユーザデータ２２０に選好、抽出された特徴などを投入する及び／又はユーザデータ２２０を増強することができる。
バックエンドインフラは、ネットワークインフラ２５０を介してクライアント２６０ａ～ｎと通信する。一般に、このネットワークは、インターネット、企業のローカルエリアネットワーク、プライベートイントラネット、セルラーネットワーク、又は、これらの何らかの組み合わせを含む。クライアント２６０ａ～ｎはスクリーニングされている人のクライアントデバイスを含み、該クライアントデバイスは、バックエンドスクリーニング又はモニタリングシステムにアクセスするとともに、音声及びビデオ捕捉用のマイクロフォン及びカメラを含む。クライアントデバイスは、マイクロフォン及び随意的なカメラを備える携帯電話、タブレット、ラップトップ又はデスクトップ、家庭内又は他の場所にあるスマートスピーカ、マイクロフォン及び随意的なカメラを備えるスマートウォッチ、或いは、同様のデバイスであってもよい。
クライアントデバイスは、生体認証データなどの付加的なデータを収集してもよい。例えば、スマートウォッチ及びフィットネストラッカーは、動き、心拍数、場合によっては呼吸数及び血液酸素化度、並びに、他の生理学的パラメータを測定できる機能を既に有する。将来のスマートデバイスは、汗、皮膚のｐＨ変化、及び、他の化学的又はホルモン的変化を追跡するための導電率測定値を記録してもよい。クライアントデバイスは、データを収集するために協調して動作してもよい。例えば、電話は音声及び視覚データを捕捉してもよく、一方、Ｂｌｕｅｔｏｏｔｈ対フィットネストラッカーは、体温、脈拍数、呼吸数、及び、運動データを同時に与えてもよい。
各クライアント２６０ａ～ｎに関して収集された全てのデータは、ネットワークインフラ２５０を介して元のウェブサーバ２４０に与えられる。処理後、結果は、消費のため、及び、望まれる場合には所定のクライアント２６０ａ～ｎと関連付けられる１人以上の利害関係者２７０ａ～ｎとそれぞれ共有するために、元のクライアント２６０ａ～ｎに与えられる。この図の例において、利害関係者２７０ａ～ｎは、彼らのそれぞれのクライアント２６０ａ～ｎと直接通信しているように示される。実際にはこれが確かに想定し得るかもしれないが、多くの場合、利害関係者２７０ａ～ｎは、クライアント２６０ａ～ｎを仲介者として使用する必要なく、ネットワークインフラ２５０及びウェブサーバ２４０を介してバックエンドスクリーニング又はモニタリングシステムに直接にアクセスできる。しかしながら、図２は、各クライアント２６０ａ～ｎが任意の他のクライアント２６０ａ～ｎの利害関係者２７０ａ～ｎとは異なる場合がある１人以上の利害関係者２７０ａ～ｎと関連付けられてもよいことをより明確に示すためにこの構成を与える。
スクリーニング又はモニタリングシステムの他の実施形態において、サーバコンピュータシステム（リアルタイムシステム３０２－図３及び図２２）は、患者を対話型口頭会話に関与させて、言語モデル、音響モデル、メタデータモデル、及び、視覚モデルを組み合わせる複合モデルを対話に関与する患者の捕捉された視聴覚信号に対して適用することによって、クライアントデバイス（ポータブルデバイス３１２）を使用して鬱病評価テストを人間の患者に適用する。評価テストの一般的な主題がＰＨＱ－９などの標準化された鬱病評価テストで尋ねられる質問と同様の主題を含むクエリーを組み込んでもよいが、評価は調査質問に対する回答の解析を含むだけではない。実際に、スクリーニング又はモニタリングシステムの複合モデルは、（ｉ）会話を患者にとってより魅力的なものにするため、及び、（ｉｉ）患者の精神的健康を評価するために、患者の視聴覚信号をリアルタイムで解析する。
後者の目標が主要な目標であるが、前者の目標は後者を達成する際の重要な要因である。評価テストによって提示される質問に答える際の患者の真実性は、患者の気分を評価する上で重要である。リアルタイムシステム３０２は、幾つかの方法で患者の誠実さを促す。第１に、口頭会話は、それが単に質問に対して誠実に応答するのに専念するのではなく、質問に対して応答を成す時間を患者に殆ど与えない。
第２に、会話は、明らかに一般的なアンケートよりも、患者にとって自発的で且つ個人的なように感じ、また、患者にとってあまり煩わしくない。したがって、口頭会話は、医師又は他の臨床医に会う前にアンケートに答えなければならないことに対する患者の憤りを誘発させない又は増幅させない。第３に、口頭会話は、患者に応答するように進行中に適応され、それにより、評価テストに対する患者の煩わしさが軽減され、場合によっては、評価テストが短縮される。第４に、リアルタイムシステム３０２によって実施される評価テストは、患者の鬱病を評価するために、会話の言語的内容よりも会話及び患者の非言語的態様に依存する場合がある。
（図３）に示されるように、患者評価システム３００は、この例示的な実施形態ではインターネットである広域ネットワーク（ＷＡＮ）３１０を介して互いに接続される、リアルタイムシステム３０２、モデリングシステム３０４、臨床データサーバ３０６、患者デバイス３１２、及び、臨床医デバイス３１４を含む。リアルタイムシステム３０２は、患者デバイス３１２を介して患者に対して鬱病評価テストを実施するサーバコンピュータシステムである。モデリングシステム３０４は、多くの言語モデル、音響モデル、及び、視覚モデルを組み合わせて複合モデル２２０４（図２２）を生み出すサーバコンピュータシステムであり、複合モデル２２０４をトレーニングするべく臨床データサーバ３０６から取り出される臨床データ及び過去の評価から収集される患者データを使用する。臨床データサーバ３０６（図３）は、ＨＩＰＡＡ（１９９６年の医療保険の携行と責任に関する法律）及び／又はＧＤＰＲ及びＳＯＣ２などの任意の他のプライバシー及びセキュリティに関する政策及び規則に準拠する態様で、診断、投薬情報などを含む患者の臨床データを、例えば、モニタリングシステム３０４に利用できるようにするサーバコンピュータシステムである。臨床医デバイス３１４は、リアルタイムシステム３０２から鬱病に関する結果として生じる評価を表わすデータを受信するクライアントデバイスである。
システムのエンドツーエンド性質
本明細書中に開示されるシステムは、医療専門家に患者の精神状態の予測を与えてもよい。精神状態は、鬱病、不安、又は、他の精神状態であってもよい。システムは、精神状態予測以外に、医療専門家に付加的な情報を与えてもよい。システムは、年齢、体重、職業、身長、民族性、病歴、心理的履歴、及び、性別などの人口統計情報を、図２のクライアントデバイス２６０ａ～ｎなどのクライアントデバイスを介して医療専門家に与えてもよい。システムは、患者が登録されてもよいオンラインシステム又はソーシャルネットワークから情報を与えてもよい。患者は、スクリーニング又はモニタリングのプロセスが始まる前に、この情報を与える許可を自分のクライアントデバイスで設定することにより、オプトインしてもよい。また、患者は、スクリーニング又はモニタリングプロセス中に人口統計情報を入力するように促されてもよい。患者は、電子健康記録から医療専門家に情報を与えることを選択してもよい。更に、医療専門家は、人口統計情報を取得するためにスクリーニング又はモニタリング事象中又は事象後に患者にインタビューしてもよい。スクリーニング又はモニタリングの登録中に、患者は自分の興味を特定又は制約する情報を入力してもよい。例えば、患者は、自分が話したい話題や話したくない話題を入力してもよい。この開示において、「医療従事者」及び「臨床医」という用語は置き換え可能に使用される。医療従事者は、医師、看護師、医師助手、看護助手、臨床心理学者、ソーシャルワーカー、技術者、又は、他の医療提供者であってもよい。
臨床医は、患者に関する精神的健康評価を設定してもよい。これは、フォローアップ質問を含めて、システムが患者に尋ねる質問のリストを選択することを含んでもよい。臨床医は、特定の質問を加えてもよく或いは評価から削除してもよく、或いは、質問が患者に対して実施される順序を変更してもよい。臨床医は、患者が有し得る任意の明確な質問に答えるために、評価中に試験監督官として対応できてもよい。
システムは、それ自体と患者との間の対話を臨床医に与えてもよい。この対話は、スクリーニング又はモニタリングプロセスの記録、又は、対話のテキストの転写であってもよい。システムは、患者の精神状態を予測するために最も重要だった発話のセグメントを選択するべく、意味解析を使用して、システム自体と患者との間の対話の概要を与えてもよい。これらのセグメントは、例えば、それらが精神状態予測を示すバイナリスコア又はスケーリングされたスコアの計算で高度に重み付けされ得るため、選択され得る。システムは、そのような生成されたスコアを、患者とのインタビューの転写から取得される意味的文脈とともに、患者に関する概要レポートに組み込んでもよい。
システムは、患者の発話のテキストの転写から抽出される「ワードクラウド」又は「トピッククラウド」を臨床医に更に与えてもよい。ワードクラウドは、個々の単語又はフレーズの視覚的表示であってもよく、この場合、最も頻繁に使用される単語及びフレーズは、より大きなフォントサイズ、異なる色、異なるフォント、異なる書体、又は、これらの任意の組み合わせを使用して指定される。鬱状態の患者は一般に鬱状態でない患者よりも高い頻度で特定の単語又はフレーズを言うため、そのような態様で単語又はフレーズの頻度を描写することは有益となり得る。例えば、鬱状態の患者は、暗い、黒い、又は、病的なユーモアを示す単語又はフレーズを使用する場合がある。彼らは、価値がないように感じる又は失敗したように感じることについて話したり、「常に」、「決して」、「完全に」などの絶対主義的な言葉を使用する場合がある。また、鬱状態の患者は、一般の母集団と比較して、一人称の単数代名詞（例えば「私」、「私を」）の使用頻度が高く、二人称又は三人称の代名詞の使用頻度が低い場合がある。システムは、鬱状態及び非鬱状態の人々のワードクラウドの意味解析を実行するための機械学習アルゴリズムをトレーニングでき、それらのワードクラウドに基づいて人々を鬱状態又は非鬱状態として分類できるようにしてもよい。ワードクラウド解析は、教師なし学習を使用して実行されてもよい。例えば、システムは、人々を彼らの精神状態に基づいてグループに分けるために、非標識ワードクラウドを解析してパターンを検索してもよい。
本明細書中に記載されるシステムは、患者が精神的又は生理学的な状態のリスクがあるかどうかを特定する電子レポートを出力できる。電子レポートは、ユーザの電子デバイスのグラフィカルユーザインタフェースに表示されるように構成され得る。電子レポートは、精神的又は生理学的な状態のリスクの定量化、例えば、正規化されたスコアを含むことができる。スコアは、対象の母集団全体に関して又はサブ母集団に関して正規化され得る。電子レポートは、正規化されたスコアの信頼レベルを含むこともできる。信頼レベルは、正規化されたスコアの信頼性（つまり、正規化されたスコアを信用できる度合い）を示すことができる。
電子レポートは、視覚的なグラフィック要素を含むことができる。例えば、患者が幾つかの異なる時間に発生した複数のスクリーニング又はモニタリングセッションからの複数のスコアを有する場合、視覚的なグラフィック要素は、患者のスコアの経時的な進行を示すグラフであってもよい。
電子レポートは、患者又は患者に関連する連絡担当者、医療従事者、医療支払者、又は、他の第三者に出力されてもよい。電子レポートは、スクリーニング、モニタリング、又は、診断が進行中であっても、実質的にリアルタイムで出力され得る。スクリーニング、モニタリング、又は、診断の過程での正規化されたスコア又は信頼度の変化に応じて、電子レポートを実質的にリアルタイムで更新してユーザに再送信することができる。
場合によっては、電子レポートは、患者の精神状態に関する１つ以上の記述子を含んでもよい。記述子は、患者の精神状態（例えば「軽度の鬱病」）の定性的な指標となり得る。これに代えて又は加えて、記述子は、スクリーニング中に患者が言及した話題となり得る。記述子は、グラフィックで、例えばワードクラウドで表示され得る。
本明細書中に記載されるモデルは、特定の目的のために又はシステムの出力を受けてもよいエンティティに基づいて最適化されてもよい。例えば、モデルは、患者が精神状態を有するかどうかを推定する際の感度に関して最適化されてもよい。保険会社などの医療支払者は、彼らが偽陽性と診断された患者に対して成される保険金支払い数を最小限に抑えることができるように、そのようなモデルを好む場合がある。他の場合、モデルは、患者が精神状態を有するかどうかを推定する際の特異度に関して最適化されてもよい。医療従事者はそのようなモデルを好む場合がある。システムは、出力が送信される利害関係者に基づいて適切なモデルを選択してもよい。処理後、システムは出力を利害関係者に送信できる。
或いは、本明細書中に記載されるモデルは、臨床医、医療従事者、保険会社、又は、政府規制機関によって決定された所望レベルの感度又は所望レベルの特異度にしたがって発話及び他のデータを処理するように調整され又は構成され得る。
使用ケース
システムは、１０代の若者の鬱病を監視するために使用されてもよい。システムは、鬱病のリスクがあるとして１０代の若者を一意的に分類できる声ベースのバイオマーカーを決定するために１０代の若者のグループに対して機械学習解析を実行してもよい。１０代の若者の鬱病は、成人の場合とは異なる原因を有する場合がある。ホルモンの変化が、成人にとって非定型である１０代の若者の挙動をもたらす場合もある。１０代の若者をスクリーニングする又は監視するためのシステムが、これらの独特の挙動を認識するように調整されたモデルを採用する必要がある。例えば、鬱状態にある又は動揺している１０代の若者は、動揺したときに閉じこもる場合がある成人よりも怒ったり過敏症になる傾向が高いかもしれない。したがって、評価からの質問は、成人とは異なる声ベースのバイオマーカーを１０代の若者から引き出してもよい。成人をスクリーニングする又は監視するために使用されるのとは異なるスクリーニングやモニタリングの方法が、１０代の若者の鬱病を検査する際又は１０代の若者の精神状態を調べる際に使用されてもよい。臨床医は、特に１０代の若者の鬱病に特有の声ベースのバイオマーカーを引き出すために評価を変更してもよい。システムは、これらの評価を使用してトレーニングされて、精神状態を予測するための１０代の若者に固有のモデルを決定してもよい。１０代の若者は、家庭（里親、（１又は複数の）養親、２人の生物学的親、１人の生物学的親、保護者／親戚による介護など）、病歴、性別、年齢（老人対若い１０代）、及び、社会経済的地位によって更にセグメント化されてもよく、また、これらのセグメントは、モデルの予測に組み込まれてもよい。
システムは、鬱病及び認知症に関して高齢者を監視するために使用されてもよい。また、高齢者は、若い成人が有していない場合がある特定の声ベースのバイオマーカーを有してもよい。例えば、高齢者は加齢により声が緊張したり細い場合がある。高齢者は、失語症又は構音障害を示し、調査の質問、フォローアップ、又は、会話の発話を理解するのに苦労する場合があり、また、繰り返しの言葉を使用する場合がある。臨床医は、高齢患者から特定の声ベースのバイオマーカーを引き出すための調査を開発してもよく又は該調査を開発するためにアルゴリズムが使用されてもよい。機械学習アルゴリズムは、具体的には患者を年齢別にセグメント化することにより、高齢患者の精神状態を予測するために開発されてもよい。性別の役割、道徳、及び、文化的規範について異なる見解を持っている場合がある、異なる世代（例えば、グレイテスト、サイレント、ブーマー）との違いが高齢患者に存在する場合がある。モデルは、高齢者の年齢層、性別、人種、社会経済的地位、身体的病状、及び、家族の関与を組み込むようにトレーニングされてもよい。
システムは、航空会社のパイロットの精神的適正を検査するために使用されてもよい。航空会社のパイロットは、ひどく骨の折れる仕事を持っており、長距離飛行では大量のストレスや疲労を経験する場合がある。臨床医又はアルゴリズムを使用して、これらの状態に関するスクリーニング又はモニタリング方法を開発してもよい。例えば、システムは、ミネソタ多面人格目録（ＭＭＰＩ）及びＭＭＰＩ－２で検査されたものと同様のクエリーから評価の基礎を形成してもよい。
システムは、軍人の精神的適正をスクリーニングするために使用されてもよい。例えば、システムは、プライマリーケア心的外傷後ストレス障害の診断及び精神障害の統計マニュアル（ＤＳＭ）－５（ＰＣ－ＰＴＳＤ－５）で尋ねられたものと同様の主題を伴うクエリーを使用してＰＴＳＤを検査する評価を実施してもよい。ＰＴＳＤに加えて、システムは、鬱病、パニック障害、恐怖性障害、不安神経症、及び、敵意に関して軍人をスクリーニングしてもよい。システムは、配備前と配備後の軍人をスクリーニングするために異なる調査を採用してもよい。システムは、職業に関してセグメント化することによって軍人をセグメント化するとともに、支部、将校又は下士官兵、性別、年齢、民族性、服務期間／配備数、婚姻状況、病歴、及び、他の要因によって軍人をセグメント化してもよい。
システムは、身元調査を実施するなどして、見込まれる銃購入者を評価するために使用されてもよい。評価は、銃器を所有するための精神的適正に関して見込まれる購入者を評価するように臨床医によって又はアルゴリズム的に設計されてもよい。調査は、質問及びフォローアップ質問を使用して、見込まれる銃購入者が裁判所又は他の当局によって自分又は自分自身又は他人に対する危険人物として認定され得るかどうかを決定すべき要件を有してもよい。
健康スクリーニング又はモニタリングサーバ１０２（図１Ａ）は、図４に更に詳細に示され、図２２に更に一層詳細に示される。図４に示されるように、健康スクリーニング又はモニタリングサーバ１０２は、対話型健康スクリーニング又はモニタリングロジック４０２及びヘルスケア管理ロジック４０８を含む。更に、健康スクリーニング又はモニタリングサーバ１０２は、スクリーニング又はモニタリングシステムデータストア４１０及びモデルリポジトリ４１６を含む。
本明細書中には、健康スクリーニング又はモニタリングサーバ１０２の各構成要素についてより完全に記載される。簡単に言えば、対話型健康スクリーニング又はモニタリングロジック４０２は、対象患者との対話型会話を行なって、ランタイムモデルサーバ５０４（図１８）のモデルを患者による応答を表わす視聴覚信号に対して適用することによって患者の１つ以上の健康状態を推定する。この例示的な実施形態において、対話型健康スクリーニング又はモニタリングロジック４０２（図４）は、例えば医療臨床医とのセッション中に健康スクリーニング又はモニタリングサーバ１０２との対話型会話の文脈外で患者を観察してそのような観察から患者の健康状態を推定する受動聴取モードで動作してもよい。ヘルスケア管理ロジック４０８は、対話型健康スクリーニング又はモニタリングロジック４０２の健康状態推定に応じて専門家の推奨を行なう。スクリーニングシステムデータストア４１０は、本明細書中に記載される態様で、スクリーニング又はモニタリングのために必要とされてスクリーニング又はモニタリングによって収集される全てのユーザ及び患者のデータを記憶して維持する。
健康スクリーニング又はモニタリングシステムの会話文脈は、システムによって使用される１つ以上の機械学習アルゴリズムと関連付けられる１つ以上の性能メトリクスを改善し得る。これらのメトリクスは、Ｆ１スコア、曲線下面積（ＡＵＣ）、感度、特異度、正の予測値（ＰＰＶ）、及び、等しいエラー率などのメトリクスを含んでもよい。
本明細書中に記載される健康スクリーニング又はモニタリングサーバ１０２の挙動が複数のコンピュータシステムにわたって分散されてもよいことが理解されるべきである。例えば、幾つかの例示的な実施形態において、健康スクリーニング又はモニタリングサーバ１０２のリアルタイムの対話型挙動（例えば、以下に説明する対話型スクリーニング又はモニタリングサーバロジック５０２及びランタイムモデルサーバロジック５０４）は、ＷＡＮ１１０（図１Ａ）を通過する大量のトラフィックを処理するように構成される１つ以上のサーバに実装され、また、健康スクリーニング又はモニタリングサーバ１０２の計算集約的な挙動（例えば、ヘルスケア管理ロジック４０８及びモデルトレーニングロジック５０６）は、非常に複雑な計算を効率的に実行するように構成される１つ以上の他のサーバに実装される。健康スクリーニング又はモニタリングサーバ１０２によって担われる様々な負荷の分配は、複数のコンピュータシステム間で分配されてもよい。
対話型健康スクリーニング又はモニタリングロジック４０２は、図５により詳細に示される。対話型健康スクリーニング又はモニタリングロジック４０２は、対話型スクリーニング又はモニタリングサーバロジック５０２、ランタイムモデルサーバロジック５０４、及び、モデルトレーニングロジック５０６を含む。対話型スクリーニング又はモニタリングサーバロジック５０２は、人間の患者との対話型スクリーニング又はモニタリング会話を行ない、ランタイムモデルサーバロジック５０４は、幾つかの機械学習モデルを使用及び調整して、患者の応答性視聴覚信号を同時に評価し、及び、モデルトレーニングロジック５０６は、ランタイムモデルサーバロジック５０４のモデルをトレーニングする。
対話型スクリーニング又はモニタリングサーバロジック５０２は、図６により詳細に示されており、汎用対話フローロジック６０２及び入力／出力（Ｉ／Ｏ）ロジック６０４を含む。Ｉ／Ｏロジック６０４は、視聴覚信号を患者デバイス１１２に送信するとともに患者デバイス１１２から視聴覚信号を受信することによって対話型スクリーニング又はモニタリング会話に影響を与える。Ｉ／Ｏロジック６０４は、患者に尋ねられるべき質問を指定する汎用対話フローロジック６０２からデータを受信し、それらの質問を表わす視聴覚データを患者デバイス１１２に送信する。対話型スクリーニング又はモニタリング会話がＰＳＴＮ１２０（図１）を介して行なわれる実施形態において、Ｉ／Ｏロジック６０４は、（ｉ）コールセンター１０４の人間の又は自動化されたオペレータにデータを送信して患者デバイス１１２との電話で質問を尋ねるようにオペレータに促すことによって（或いは代わりに、患者向けのバックエンド自動対話システムにデータを送信することによって）視聴覚信号を患者デバイス１１２に送信する、及び、（ｉｉ）コールセンター１０４によって転送された対話型スクリーニング又はモニタリング会話の視聴覚信号を受けることによって患者デバイス１１２から視聴覚信号を受信する。また、Ｉ／Ｏロジック６０４は、対話型スクリーニング又はモニタリング会話の受信された視聴覚信号の少なくとも一部をランタイムモデルサーバロジック５０４（図１８）及びモデルトレーニングロジック５０６（図１９）に送信する。
患者に尋ねられるクエリー又は質問はノードとして記憶されてもよく、一方、視聴覚信号として収集される患者応答はエッジとして記憶されてもよい。したがって、特定の患者に関するスクリーニング又はモニタリング事象或いはスクリーニング又はモニタリング事象のセットは、グラフとして表わされてもよい。例えば、異なるフォローアップ質問に対する異なる回答は、特定のノードを複数の他のノードに接続する複数のスポークとして表わされてもよい。患者に関する精神状態分類を決定する他の方法としての機械学習アルゴリズムのためのトレーニング例として異なる患者に関する異なるグラフ構造が使用されてもよい。分類は、例えば、鬱状態の患者のグラフ間の類似性を決定することによって実行されてもよい。本明細書中で論じられるように、同等の質問がグラフ内でこのように標識付けされ得る。したがって、グラフは、患者による質問の異なるバージョンの解釈における特異性を決定するために研究されて解析されてもよい。
また、Ｉ／Ｏロジック６０４は、視聴覚信号の評価を表わす結果１８２０（図１８）もランタイムサーバロジック５０４から受信する。汎用対話フローロジック６０２は、人間の患者との対話型スクリーニング又はモニタリング会話を行なう。汎用対話フローロジック６０２は、Ｉ／Ｏロジック６０４が患者にどのような質問を尋ねるべきかを決定し、結果１８２０中に表わされる患者の反応を監視する。更に、汎用対話フローロジック６０２は、対話型スクリーニング又はモニタリング会話を何時丁寧に終了すべきかを決定する。
汎用対話フローロジック６０２が図５により詳細に示される。汎用対話フローロジック６０２は、対話制御ロジック発生器７０２を含む。対話制御ロジック発生器７０２は、対話型スクリーニング又はモニタリング会話を実行する際のＩ／Ｏロジック６０４の挙動を指示するＩ／Ｏロジック６０４（図６）に対して対話アクションを表わすデータを送信することによって患者との対話型スクリーニング又はモニタリング会話を管理する。対話アクションの例としては、患者に質問を訪ねること、質問を繰り返すこと、患者に指示すること、会話を丁寧に終わらせること、患者デバイス１１２の表示態様を変更すること、及び、Ｉ／Ｏロジック６０４によって患者により提示される発話の特性、すなわち、ペース、音量、声の見かけの性別などを変更することが挙げられる。
対話制御ロジック発生器７０２は、患者の対話アクションをカスタマイズする。対話制御ロジック発生器７０２は、患者の主観的選好及び患者の臨床的及び社会的履歴を表わすデータをスクリーニング又はモニタリングデータストア２１０から受信する。この例示的な実施形態において、主観的選好は、一般に対話型スクリーニング又はモニタリング会話の前に、患者によって明示的に指定され、Ｉ／Ｏロジック６０４を通じて患者に提示されるべき特定の声、Ｉ／Ｏロジック６０４によって生成されるデフォルト音量及び発話のペース、及び、患者デバイス１１２内で使用されるべき表示スキームのようなものを含む。
患者の臨床的及び社会的履歴は、患者の特定された関心と組み合わせて、特定の話題に関連する質問が患者に尋ねられるべきであることを示してもよい。対話制御ロジック発生器７０２は、患者の選好及び病歴を使用して、患者に尋ねるべき質問の属性を設定する。
対話制御ロジック発生器７０２は、現在のスクリーニング又はモニタリング会話における患者の応答の解析結果を表わすデータをランタイムモデルサーバロジック５０４から受信する。特に、対話制御ロジック発生器７０２は、応答の解析結果、すなわち、ランタイムモデルサーバロジック５０４及び患者の結果１８２０（図１８）と、解析結果の適切な解釈を容易にする記述的モデル・解析１８１２からの結果メタデータを表わすデータを受信する。対話制御ロジック発生器７０２は、結果メタデータとの関連で解析結果を解釈して、患者の現在の状態を決定する。
履歴・状態機械７２０は、スクリーニング又はモニタリング会話の進展、すなわち、どの質問が尋ねられてどの質問が未だ尋ねられていないかを追跡する。質問・対話アクションバンク７１０は、患者に尋ねられ得る全ての質問を含む、対話制御ロジック発生器７０２によってとられ得る全ての対話アクションを記憶するデータストアである。更に、履歴・状態機械７２０は、スクリーニング又はモニタリング会話において次にどの質問が尋ねられるようになっているのかに関して質問・対話アクションバンク７１０に通知する。
対話制御ロジック発生器７０２は、会話の現在の状態、及び、履歴・状態機械７２０から尋ねられるべくいずれの質問が待ち行列に入れられるのかを表わすデータを受信する。対話制御ロジック発生器７０２は、受信されたデータを処理して、スクリーニング又はモニタリング会話の促進において対話型スクリーニング又はモニタリングサーバロジック３０２によってとられるべき次のアクションを決定する。次のアクションが決定された時点で、対話制御ロジック発生器７０２は、質問・対話アクションバンク７１０からアクションを表わすデータを取り出し、次のアクションを実行するべくＩ／Ｏロジック６０４に要求を送信する。
汎用対話フローロジック６０２によるスクリーニング又はモニタリング会話の全体的な実施がロジックフロー図８００（図８）に示される。図８のロジックフロー図は、図２８のブロック図で対話エンジンの構成要素によってとられるアクションについて記載する。更に、図８のロジックフロー図は、図１４に記載されるプロセスのインスタンス化である。ステップ８０２において、汎用対話フローロジック６０２は、質問又は他の対話アクションを選択して、患者との会話を開始する。対話制御ロジック発生器７０２は、現在のスクリーニング又はモニタリング会話がその初期状態にあることを示すデータを履歴・状態機械７２０から受信する。対話制御ロジック発生器７０２は、（ｉ）患者の主観的選好及び（ｉｉ）患者に比較的高い関連性のある話題を示すデータを受信する。その情報が与えられると、対話制御ロジック発生器７０２は、スクリーニング又はモニタリング会話が開始されるべき最初の対話アクションを選択する。最初の対話アクションの例としては、（ｉ）「聞こえますか？」又は「始める準備はできていますか？」などの一般的な会話－開始質問を尋ねること、（ｉｉ）全ての患者に関して使用される所定のスクリプトから質問を尋ねること、（ｉｉｉ）患者との以前のスクリーニング又はモニタリング会話で議論された話題を患者に思い出させてその話題に関するフォローアップ質問を患者に尋ねること、又は、（ｉｖ）患者デバイス１１２でユーザインタフェース技術を使用して選択すべき幾つかの話題を患者に提示することが挙げられる。ステップ８０２において、対話制御ロジック発生器７０２は、Ｉ／Ｏロジック６０４に最初の対話アクションを実行させる。
ループステップ８０４及び次段階ステップ８１６は、スクリーニング又はモニタリング会話が完了されると汎用対話フローロジック６０２が決定するまでステップ８０６～８１４にしたがって汎用対話フローロジック６０２がスクリーニング又はモニタリング会話を行なうループを規定する。
ステップ８０６において、対話制御ロジック発生器７０２は、Ｉ／Ｏロジック６０４に選択された対話アクションを実行させる。ステップ８０６の最初の実行では、対話アクションがステップ８０２で選択される。ステップ８０６の後続の実行では、以下で説明されるように、対話アクションがステップ８１４で選択される。ステップ８０８において、汎用対話フローロジック６０２は、質問に対する患者の応答の視聴覚信号を受信する。ロジックフロー図８００にしたがった処理が同期処理を示唆する態様で示されるが、汎用対話フローロジック６０２は、ステップ８０２～８１６の実行中にステップ８０８を効果的に連続して実行し、会話を非同期的に処理する。同じことがステップ８１０～８１４についても当てはまる。ステップ８１０において、Ｉ／Ｏロジック６０４は、ステップ８０８で受信された視聴覚信号をランタイムモデルサーバロジック５０４に送信し、ランタイムモデルサーバロジック５０４は以下に記載される態様で視聴覚信号を処理する。ステップ８１２において、汎用対話フローロジック６０２のＩ／Ｏロジック６０４は、ランタイムモデルサーバロジック５０４から多重データを受信し、そこから、これまでのスクリーニング又はモニタリング会話のための中間スコアを生み出す。
前述したように、結果データは、解析結果データ及び結果メタデータを含む。Ｉ／Ｏロジック６０４は、（ｉ）スクリーニング又はモニタリング会話が患者の（１又は複数の）目標健康状態のスクリーニング又はモニタリングをどの程度完了したかを決定し、（ｉｉ）フォローアップ質問を正当化する患者の応答における任意の話題を特定し、及び、（ｉｉｉ）スクリーニング又はモニタリング会話を変更するための患者からの任意の明示的な指示を特定する。最後の例としては、「もっと大きい声で話せますか？」、「それを繰り返してもらえますか？」、又は「何？」、及び、「もっとゆっくり話してください」などの患者発言が挙げられる。ステップ８１４において、汎用対話フローロジック６０２は、ステップ８０６の次の実行において、Ｉ／Ｏロジック６０４によって実行されるべき他の対話アクションとともに、対象患者に尋ねるべき次の質問を選択する。特に、対話制御ロジック発生器７０２は、（ｉ）次に尋ねられるべき質問に関して履歴・状態機械７２０から対話状態データを受信し、（ｉｉ）患者のこれまでの健康状態の評価を表わす中間結果データをＩ／Ｏロジック６０４から受信し、（ｉｉｉ）患者の選好及び関連のある話題を受信する。
処理は、次段階ステップ８１６を介してループステップ８０４へ移行する。汎用対話フローロジック６０２は、スクリーニング又はモニタリング会話が完了したと対話制御ロジック発生器７０２が決定するまでステップ８０４～８１６のループを繰り返し、スクリーニング又はモニタリング会話が完了した時点で汎用対話フローロジック６０２がスクリーニング又はモニタリング会話を丁寧に終わらせる。スクリーニング又はモニタリング会話は、（ｉ）全ての必須の質問が尋ねられて患者により回答されたとき、及び、（ｉｉ）ステップ８１２で決定されたスクリーニング又はモニタリングによりもたらされるスコアの信頼度の指標が少なくとも所定の閾値にあるときに完了する。スクリーニング又はモニタリングにおける信頼度が対称的ではないことに留意すべきである。
スクリーニング又はモニタリング会話は、患者の特定の健康状態、例えば鬱病及び不安神経症を検出しようとする。そのような状態が直ちに検出されれば、それらが検出される。しかしながら、そのような状態がないことは、それらを直ぐに検出できないことによって保証されない。より一般的には、証拠の欠如は欠如の証拠ではない。したがって、汎用対話フローロジック６０２は、早期検出において信頼度を見い出すが、早期の検出不良には信頼度を見い出さない。したがって、健康スクリーニング又はモニタリングサーバ１０２（図４）は、患者デバイス１１２を介した患者との口頭会話を使用して患者の現在の健康状態、例えば、気分を推定する。対話型スクリーニング又はモニタリングサーバロジック５０２は、データを臨床医デバイス１１４に送信することによって結果として生じる患者のスクリーニング又はモニタリングを表わすデータを患者の医師又は他の臨床医に送信する。更に、対話型スクリーニング又はモニタリングサーバロジック５０２は、結果として生じるスクリーニング又はモニタリングをスクリーニング又はモニタリングシステムデータストア４１０に記録する。汎用対話フローロジック６０２の最優先事項は、健康スクリーニング又はモニタリングサーバ１０２が患者をスクリーニングする健康状態属性に関して情報的に非常に有益な発話を患者から引き出すことである。例えば、この例示的な実施形態において、健康スクリーニング又はモニタリングサーバ１０２は、鬱病及び不安神経症に関して殆どの患者をスクリーニングする。ランタイムモデルサーバロジック５０４によって実行される解析は、特定の質の患者発話が提示されるときに最も正確である。この文脈において、発話の質とは、患者が話している際の誠実性を指す。一般的に言って、質の高い発話は、正真正銘であり誠実であるが、品の低い発話は、会話に関与していない或いは意図的に不正直である患者からのものである。
例えば、患者がスクリーニング又はモニタリングの正確さを気にせず代わりに全ての質問にできるだけ早く答えてスクリーニング又はモニタリングをできるだけ早く終了したい場合、患者の真の健康について多くを明らかにすることは殆どない。同様に、患者が偽りの応答を与えることによってスクリーニング又はモニタリングの結果を制御しようとする場合には、応答が言語的に偽っているだけでなく、患者による不誠実な関与に起因して発話の情緒的成分が歪められ又は見当たらない場合がある。患者の応答が情報的に比較的非常に有益である可能性を汎用対話フローロジック６０２が高める幾つかの方法が存在する。例えば、汎用対話フローロジック６０２は、患者にそのような傾向があるときにはいつでも、音声日記として対話型スクリーニング又はモニタリングサーバロジック５０２に関与するように患者に促してもよい。患者による自発的な発話は、やる気のあるときにはいつでも、正真正銘で誠実である傾向があり、したがって情報的に非常に有益である。
また、汎用対話フローロジック６０２は、患者に関連のある話題を選択してもよい。これらの話題は、患者の臨床的・社会的記録に固有の話題、及び、患者の関心に固有の話題を含んでもよい。患者に関心のある話題を使用すると、患者の気分に悪影響を与える場合がある。例えば、お気に入りのスポーツチームについて患者に尋ねると、チームの最新ニュースで患者の気分が上下する場合がある。したがって、汎用対話フローロジック６０２は、患者に関心のある健康関連の話題を、患者に関心のある健康関連でない話題から区別する。例えば、患者の疎遠な親戚に関連する質問は健康に関連する場合があるが、患者のお気に入りのテレビシリーズに関連する質問は一般にそうではない。患者の好みに合うように任意の合成声を適応させると、スクリーニング又はモニタリング会話が患者にとってより魅力的になり、したがって、情報的により有益な発話が引き出される。患者デバイス１１２が話者、すなわち、アバターのビデオ表示を患者に対して表示する実施形態では、患者の好みが、好ましい声に加えて、アバターの外観の物理的属性を含む。
患者が合成声又はアバターの好みを指定しなかった場合、汎用対話フローロジック６０２は、最初のスクリーニング又はモニタリング会話のために選択される合成声及びアバターを使用し、その後のスクリーニング又はモニタリング会話において、合成声及びアバターを変更して、患者の反応の情報有益性の度合いを比較し、どの声及びアバターが情報的に最も有益な反応を引き出すかを決定する。最初のスクリーニング又はモニタリング会話のために選択される声及びアバターは、一般の母集団間で又は患者と１つ以上の表現型を共有する一般の母集団の一部同士の間で情報的に最も有益な発話をいずれの声及びアバターが引き出す傾向があるのかにしたがって選択されてもよい。以下、質問によって引き出される応答の情報有益性が決定される態様について説明する。
スクリーニング又はモニタリング会話をより対話型で魅力的なものにするために、汎用対話フローロジック６０２は、合成バックチャネルを会話に挿入する。例えば、汎用対話フローロジック６０２は、患者の発話の短い一時停止中に「うんうん」と発声して、患者が言わなければならないことを汎用対話フローロジック６０２が聴いてそのことに興味を持っていることを示唆してもよい。同様に、汎用対話フローロジック６０２は、患者の注意力及び関心を示すべくビデオアバターに非言語的挙動（「ボディランゲージ」と呼ばれることもある）を示させる。
汎用対話フローロジック６０２は、質の高い質問も選択する。
質問の質は、質問によって引き出される応答の情報有益性で測定される。更に、汎用対話フローロジック６０２は、可能な場合には同等の質問に置き換える、後続のスクリーニング又はモニタリング会話における同一の質問の繰り返しを回避する。以下、質問が互いに同等であると決定される態様について更に完全に説明する。前述のように、質問・適応アクションバンク７１０（図５）は、患者に尋ねられ得る全ての質問を含む、対話制御ロジック発生器７０２によってとられ得る全ての対話アクションを記憶するデータストアである。
質問・適応アクションバンク７１０が図９により詳細に示される。質問・適応アクションバンク７１０は、図７に更に詳しく示されており、幾つかの質問記録９０２及び対話９１２を含む。質問記録９０２のそれぞれは、患者に尋ねられ得る単一の質問を表わすデータを含む。対話９１２は、患者との口頭会話で患者に尋ねる一連の質問である。質問記録９０２のそれぞれは、質問本体９０４、分類９０６、質９０８、及び、等価性９１０を含む。質問本体９０４は、質問の実質的内容、すなわち、質問を尋ねるべく患者に話されるべき一連の単語を指定するデータを含む。話題９０６は、質問が属する階層的話題カテゴリーを指定するデータを含む。カテゴリーは、（ｉ）鬱病、不安神経症などの特定の健康診断、（ｉｉ）不眠症、無気力、一般的無関心などの特定の症状、及び／又は、（ｉｉｉ）投薬、運動などの患者の治療の態様と関連し得る。質９０８は、質問の質を表わすデータを含む。質問の質は、質問によって引き出される応答の情報有益性の指標である。等価性９１０は、質問記録９０２のこの特定の１つによって表わされる質問と同等である、質問記録９０２内の１つ以上の他の質問を特定するデータである。この例示的な実施形態では、同じ話題９０６の質問のみが同等であると見なされてもよい。別の実施形態では、任意の質問が分類に関係なく同等であると見なされてもよい。対話９１２は、順序付けられた一連の質問９１４Ａ～Ｎを含み、それぞれの質問は、患者との口頭会話で尋ねるべき質問記録９０２のそれぞれの１つを特定する。この例示的な実施形態において、口頭会話は、二十個（２０）の事前に選択された質問で始まり、ロジックフロー図６００（図６）の会話を終了するための閾値信頼度を生成するために必要に応じて更なる質問を含んでもよい。事前に選択された質問は、順に、質の高い五つ（５）の非制約的な質問、鬱病に関する標準的な既知のＰＨＱ－８スクリーニング又はモニタリングツールの八つ（８）の質問、及び、不安神経症に関する標準的な既知のＧＡＤ－７スクリーニング又はモニタリングツールの七つ（７）の質問を含む。他の例では、質問がアルゴリズム的に生成されてもよい。この例示的な実施形態では、対話９１２がこれらの二十個（２０）の質問を指定する。ステップ８１４（図１０）に関して前述したように、対話制御ロジック発生器７０２は、ステップ８１４で患者に尋ねるための次の質問を決定する。ステップ８１４の１つの実施形態は、ロジックフロー図１０１４（図８）として示される。ステップ１００２において、対話制御ロジック発生器７０２は、順序付けられた一連の質問９１４Ａ～Ｎを待ち行列として扱う対話９１２から１つの質問を待ち行列から外す。履歴・状態機械７２０は、質問９１４Ａ～Ｎのうちのいずれが次であるかについて追跡し続ける。スクリーニング又はモニタリング会話が中間スコアにしたがって完了せず、質問９１４Ａ～Ｎの全てが同じ口頭会話におけるステップ１００２の以前の実行で処理されてしまった場合、すなわち、質問の待ち行列が空である場合、対話制御ロジック発生器７０２は、質９０８が最も高く患者のために選択される話題に関連する質問記録９０２の質問から質問を選択する。
対話制御ロジック発生器７０２が複数の質問を選択する場合、対話制御ロジック発生器７０２は、各質問がその質９０８と示唆された話題への近さとによって重み付けられる状態で質問を待ち行列から外された質問として無作為に選択してもよい。
ステップ１００４（図１０）において、対話制御ロジック発生器７０２は、ステップ１００２で待ち行列から外された質問に関して等価性９１０（図９）により特定される全ての等価な質問を収集する。ステップ１００６において、対話制御ロジック発生器７０２は、ステップ１００２自体で待ち行列から外された質問を含めて、ステップ１００４で収集された一群の等価な質問から質問を選択する。対話制御ロジック発生器７０２は、等価な質問のうちの１つを無作為に選択してもよく、或いは、患者との以前の対話に関する情報を使用して、例えば、患者に最近尋ねられた等価な質問の１つを選択してもよい。対話制御ロジック発生器７０２は、選択された質問を、ステップ８０４～８１６のループの次の繰り返しにおける次の質問として処理する（図８）。等価な質問の使用が重要である。質問の質、すなわち、質問が引き出す応答がランタイムモデルサーバロジック５０４において情報的に有益である度合いは、所定の患者に関して経時的に低下する。言い換えると、所定の質問が所定の患者に繰り返し尋ねられる場合、患者によるそれぞれの連続する応答は、それが以前の全ての尋ねた質問においてそうだったよりも情報有益性が低くなる。ある意味で、質問は経時的に古くなる。質問を新鮮に保つために、つまり、経時的に一貫して情報的に有益な応答を求めるために、所定の質問が後続の会話において等価であるが異なる質問と置き換えられる。しかしながら、等価性の測定は、一貫性があるように経時的に等価な質問に対する応答の比較に関して正確となり得る。
したがって、汎用対話フローロジック６０２（図７）における質問の２つの重要な概念は、質問の質及び質問の等価性である。質問の質及び質問の等価性は、図１１に更に詳しく示される質問管理ロジック９１６によって管理される。質問管理ロジック９１６は、質問の質を測定する質問クオリティーロジック１１０２と、健康スクリーニング又はモニタリングサーバ１０２との関連で二つ（２）の質問が等価であるかどうかを決定する質問等価性ロジック１１０４とを含む。質問クオリティーロジック１１０２は、幾つかのメトリック記録１１０６及びメトリック集約ロジック１１１２を含む。質問の質を測定するために、すなわち、質問によって引き出される応答がどれほど情報的に有益であるかを測定するために、質問クオリティーロジック１１０２は、質問に適用されるべき幾つかのメトリックを使用し、メトリックのそれぞれが質問に関する数値質スコアをもたらし、また、メトリックのそれぞれがメトリック記録１１０６のうちの１つによって表わされる。メトリック記録１１０６のそれぞれは、質問の質を測定するための単一のメトリックを表わすとともに、メトリックメタデータ１１０８及び定量化ロジック１１１０を含む。メトリックメタデータ１１０８は、メトリック記録１１０６のメトリックに関する情報を表わす。定量化ロジック１１１０は、メトリック記録１１０６のメトリックにしたがって質問の質を評価する際の質問クオリティーロジック１１０２の挙動を規定する。
以下、すなわち、（ｉ）単語数に関して引き出された応答の長さ、（ｉｉ）応答発話の持続時間に関して引き出された応答の長さ、（ｉｉｉ）重み付けられた単語スコア、（ｉｖ）引き出された応答における音響エネルギーの大きさ、（ｖ）質問によって引き出された応答における「声活性化」は、様々な質問の質を測定するために質問クオリティーロジック１１０２によって適用されてもよいメトリックの例である。それぞれについて順に説明する。
単語数に関して引き出された応答の長さのメトリックを表わすメトリック記録１１０６において、定量化ロジック１１１０は、スクリーニング又はモニタリングシステムデータストア４１０（図４）から所定の質問に対する全ての応答を取り出すとともに、スクリーニング又はモニタリングシステムデータストア４１０からの関連する結果データを使用して各応答における単語の数を決定する。定量化ロジック１１１０は、応答における単語の数の統計的指標として、例えば、その統計的平均として、質問の質を定量化する。
応答発話の持続時間に関して引き出された応答の長さに関しては、引き出された応答の持続時間が幾つかの方法で測定されてもよい。一方において、引き出された応答の持続時間は、単に経過した持続時間、すなわち、スクリーニング又はモニタリングシステムデータストア４１０に記録された応答の全持続時間である。他方において、引き出された応答の持続時間は、発話の一時停止を差し引いた経過持続時間である。更に別においては、引き出された応答の持続時間は、応答終了時の発話の任意の一時停止を差し引いた経過持続時間である。
引き出された応答の持続時間のメトリックを表わすメトリック記録１１０６（図１１）において、定量化ロジック１１１０は、スクリーニング又はモニタリングシステムデータストア４１０（図４）から所定の質問に対する全ての応答を取り出して、それらの応答の持続時間を決定する。定量化ロジック１１１０（図１１）は、応答の持続時間の統計的指標として、例えば、その統計的平均として、質問の質を定量化する。
重み付けられた単語スコアに関して、ＮＬＰモデル１８０６の意味モデル（図１８）は、患者の発話の肯定的及び／又は否定的な内容から患者の健康状態を推定する。意味モデルは、個々の単語及びフレーズを、意味モデルが検出するようになっている特定の健康状態に関連付ける。重み付けられた単語スコアのメトリックを表わすメトリック記録１１０６（図１１）において、定量化ロジック１１１０は、収集された患者データ４１０（図５）から所定の質問に対する全ての応答を取り出すとともに、意味モデルを使用して１つ以上の健康状態に対する各応答の各単語の相関を決定する。個々の応答の重み付けられた単語スコアは、重み付けられた単語スコアの相関の統計的平均である。定量化ロジック１１１０は、応答の重み付けられた単語スコアの統計的指標として、例えば、その統計的平均として、質問の質を定量化する。
引き出された応答における音響エネルギーの大きさに関して、ランタイムモデルサーバロジック５０４（図１８）は、以下に記載されるように、患者の発話のピッチ及びエネルギーから患者の健康状態を推定する。ランタイムモデルサーバロジック５０４の様々なモデルに対して発話が情報的にどれほど有益であるかは、発話がどれほど情緒的であるかに直接関連付けられる。音響エネルギーの大きさのメトリックを表わすメトリック記録１１０６（図１１）において、定量化ロジック１１１０は、スクリーニング又はモニタリングシステムデータストア４１０（図４）から所定の質問に対する全ての応答を取り出すとともに、ランタイムモデルサーバロジック５０４からの応答データを使用して各応答に存在するエネルギーの大きさを決定する。定量化ロジック１１１０は、応答の測定された音響エネルギーの統計的指標として、例えば、その統計的平均として、質問の質を定量化する。
質問によって引き出された応答の「声活性化」に関して、質問の質は、ランタイムモデル１８０２が認識するべくトレーニングされる健康状態を完璧に示すように、ランタイムモデル１８０２（図１８）によって認識される発話に対して質問への応答がどれほど類似しているかの指標である。声活性化のメトリックを表わすメトリック記録１１０６（図１１）において、定量化ロジック１１１０は、所定の質問に対する全ての応答における深層学習機械特徴が全体として健康スクリーニング又はモニタリングサーバ１０２における深層学習機械特徴にどれほど類似しているかを決定する。
深層学習機械特徴は、既知であるが、本発明の理解及び認識を容易にするために本明細書中で簡単に記載される。深層学習は、深層学習機械が、機械学習機械、つまり、データで表わされる１つのものをデータで表わされる他のものから区別する方法を自ら学習する学習機械であるという点において、機械学習のサブサイエンスである。以下は、その違いを説明するための簡単な例である。
画像データ内の猫の表示を認識するように構成される通常の（深層ではない）学習機械について考える。そのような学習機械は、一般に、複数の層のロジックを伴うコンピュータプロセスである。１つの層は、ある色から他の色への移行（例えば、明るい色から暗い色への移行、赤から緑への移行など）を伴う画像の連続部分を認識するように手動で構成される。これは一般にエッジ検出と称される。後続の層は、認識されたエッジを表わすデータを受け、互いに結合して形状を画定するエッジを認識するように手動で構成される。最後の層は、形状を表わすデータを受け、三角形（猫の耳）と暗い領域（眼及び鼻）の対称的なグループ分けを認識するように手動で構成される。他の層は、ここで言及される層間で使用されてもよい。
機械学習では、計算における他のステップからの中間結果を含む、計算における任意のステップへの入力として受信されるデータが、特徴と呼ばれる。学習機械の結果は標識と呼ばれる。この例示的な例では、標識が「猫」及び「猫なし」である。
この手動で構成される学習機械は、かなりうまく機能し得るが、重大な欠点を有する場合がある。例えば、形状の対称的なグループ分けを認識すると、猫がプロファイルで表わされる画像が認識されない場合がある。深層学習機械では、何の形状のグループが猫を表わすかを手動で指定しなくても、機械が猫を認識するようにトレーニングされる。深層学習機械は、手動で構成される特徴を利用して、エッジ、形状、及び、形状のグループを認識し得るが、これらは深層学習システムの必須の構成要素ではない。深層学習システムにおける特徴は、標識付けされたトレーニングデータのみに基づくアルゴリズムによって完全に自動的に学習され得る。
画像データ内の猫を認識するように深層学習機械をトレーニングすることは、例えば、多数の画像、好ましくは数百万の画像と、各画像が猫、すなわち、「猫」又は「猫なし」の関連する標識を含むかどうかに関する関連知識とを深層学習機械に提示することを伴い得る。トレーニングで受信されるそれぞれの画像ごとに、深層学習機械の最後の自動的に構成される層は、形状の多数のグループと「猫」又は「猫なし」の関連標識とを表わすデータを受信する。統計的解析と従来の技術とを使用して、深層学習機械は、以前に見えない画像が猫を含むかどうかを決定する際に、各タイプの形状グループ分け、つまり、各特徴が与えられるべき統計的重みを決定する。
深層学習機械のこれらのトレーニングされた、つまり、自動的に生成された特徴は、前述のように学習機械へと手動で構成される形状の対称的なグループ分けをおそらく含む。しかしながら、これらの特徴は、人間のプログラマーが考えていない形状グループ分け及び形状グループ分けの組み合わせもおそらく含む。
質問の質を測定する際、ランタイムモデルサーバロジック５０４（図１８）の構成モデルの特徴は、ランタイムモデルサーバロジック５０４の構成モデルが認識するべく構成される健康状態を示す応答のタイプを正確に指定する。したがって、質問の質を評価する際、これらの特徴は典型的な特徴セットを表わす。このメトリックを使用して質問の質を測定するために、定量化ロジック１１１０（図１１）は、スクリーニング又はモニタリングシステムデータストア４１０から質問に対する全ての応答を取り出すとともに、それらの応答に関連する診断を表わすデータを取り出し、それらの応答と関連データとを使用してランタイムモデル１８０２及びモデルリポジトリ４１６をトレーニングする。
ランタイムモデル１８０２及びモデルリポジトリ４１６をトレーニングする際、深層学習機械は、測定されるべき質問及びトレーニング済みモデルによって行なわれるべき決定に固有の特徴のセットを生み出す。定量化ロジック１１１０は、質問等価性ロジック１１０４に関して以下に記載される態様で質問に固有の特徴セットと典型的な特徴セットとの間の類似性を測定する。
前述したように、対話制御ロジック発生器７０２（図７）は、特定の患者にいずれの（１又は複数の）質問を尋ねるべきかを決定する際に様々な質問の質９０８（図９）を使用する。質９０８（図９）に記憶するべき質問の質の包括的な指標を与えるために、メトリック集約ロジック１１１２（図１１）は、メトリック記録１１０６にしたがって質の様々な指標を集約する。集約ロジック１１１２が所定の質問の質の指標を集約する態様は、ロジックフロー図１２００（図１２）によって示される。
ループステップ１２０２及び次段階ステップ１２１０は、メトリック集約ロジック１１１２がステップ１２０４～１２０８にしたがってメトリック記録１１０６のそれぞれを処理するループを規定する。ステップ１２０２～１２１０のループの繰り返しで処理されるメトリック記録１１０６のうちの特定の１つは、「対象メトリック記録」と称されることがあり、また、対象メトリック記録によって表わされるメトリックは、「対象メトリック」と呼ばれることがある。ステップ１２０４において、メトリック集約ロジック１１１２は、対象メトリック記録の定量化ロジック１１１０と対象質問に対するスクリーニング又はモニタリングシステムデータストア４１０（図４）における全ての応答とを使用して、対象メトリックを評価する。テストステップ１２０６（図１２）において、メトリック集約ロジック１１１０は、スクリーニング又はモニタリングシステムデータストア４１０が対象患者による対象質問に対する応答の統計的に有意なサンプルを含むかどうかを決定する。そうである場合、メトリック集約ロジック１１１０は、定量化ロジック１１１０とステップ１２０８におけるスクリーニング又はモニタリングシステムデータストア４１０内の対象患者に対応するデータのみとを使用して対象メトリックを評価する。逆に、収集された患者データ４１０が対象患者による対象質問への応答の統計的に有意なサンプルを含まない場合、メトリック集約ロジック１１１２はステップ１２０８をスキップする。したがって、メトリック集約ロジック１１１２は、スクリーニング又はモニタリングシステムデータストア４１０が対象患者に対応する十分なデータを含む範囲で対象患者との関連で質問の質を評価する。
ステップ１２０６～１２０８の後、処理が次段階ステップ１２１０を介してループステップ１２０２に移行し、メトリック集約ロジック１１１０がステップ１２０２～１２１０のループにしたがって次のメトリックを処理する。ステップ１２０２～１２１０のループにしたがって全てのメトリックが処理されてしまった時点で、処理がステップ１２１２へ移行し、該ステップ１２１２では、メトリック集約ロジック１１１０が、ステップ１２０４，１２０６の全ての実行からの評価されたメトリックを質の単一の指標へと集約し、質のその指標を表わすデータを質９０８に記憶する。この例示的な実施形態において、メトリックメタデータ１１０８は、メトリック集約ロジック１１１２がステップ１２１２において関連するメトリックを集約指標にどのように含めるべきかを指定するデータを記憶する。例えば、メトリックメタデータ１１０８は、他のメトリックに対する関連するメトリックに帰する重みを指定してもよい。
ステップ１２１２（図１２）の後、ロジックフロー図１２００に係る処理が完了する。
前述したように、所定の質問に関する等価性９１０は、所定の質問と等価な質問記録９０２内の他の１つ以上の質問を特定する。２つの質問が等価であるかどうかは、２つの質問間の類似性を所定の閾値と比較することによって質問等価性ロジック１１０４（図１１）により決定される。ここでの類似性は、文の単語や言い回しがどれほど類似しているかではなく、ランタイムモデルサーバ５０４及びモデルリポジトリ４１６のモデルがどれほど類似しているように見えるかということである。所定の閾値は経験的に決定される。質問等価性ロジック１１０４は、ロジックフロー図１３００（図１３）によって示される態様で２つの質問間の類似性を測定する。
ループステップ１３０２及び次段階ステップ１３０６は、質問等価性ロジック１３０４がステップ１３０４にしたがってメトリック記録１１０６のそれぞれを処理するループを規定する。ステップ１３０２～１３０６のループの繰り返しで処理されるメトリック記録１３０６のうちの特定の１つは、「対象メトリック記録」と称されることがあり、また、対象メトリック記録によって表わされるメトリックは、「対象メトリック」と称されることがある。ステップ１３０４において、質問等価性ロジック１１０４は、２つのそれぞれの質問ごとに対象メトリックを評価する。ステップ１３０２～１１０６のループにしたがって全てのメトリックが処理されてしまった時点で、質問等価性ロジック１１０４による処理がステップ１３０８へ移行する。
ステップ１３０８において、質問等価性ロジック１１０４は、それぞれの質問ごとに評価されたメトリックをそれぞれの質問ごとにそれぞれの多次元ベクトルへと組み合わせる。
ステップ１３１０において、質問等価性ロジック１１０４は、両方のベクトルを１．０の長さを有するように正規化する。ステップ１３１２において、質問等価性ロジック１１０４は、２つの正規化されたベクトル間の角度を決定する。
ステップ１３１４において、ステップ１３１２で決定された角度の余弦は、２つの質問間に測定された類似性があるように質問等価性ロジック１１０４によって決定される。
ベクトルが１．０の長さに正規化されるため、２つの質問間の類似性は－１．０～１．０の範囲であり、１．０は完全に等価である。この例示的な実施形態では、所定の閾値が０．９８であり、それにより、２つの質問は、少なくとも０．９８の測定された類似性を有し、同等であると見なされ、両方の質問に関して等価性９１０（図９）で表わされる。
更に、質問間の比較が単一の値の比較ではなく多次元ベクトルの比較であるため、２つの質問は、一般的に類似している場合だけでなく、測定される殆ど又は全ての方法で類似している場合も等価である。
他の実施形態（図３）において、評価テストアドミニストレータ２２０２（図２２）は、患者デバイス３１２を介して対象患者と対話型口頭会話を行なうことによって対象患者に鬱病評価テストを実施する。評価テストアドミニストレータ２２０２がそのようにする態様はロジックフロー図１４００（図１４）に示される。テストアドミニストレータ２２０２は、患者に対して質問するように構成されるコンピュータプログラムであってもよい。質問は、アルゴリズム的に生成される質問であってもよい。質問は、例えば、自然言語処理（ＮＬＰ）アルゴリズムによって生成されてもよい。ＮＬＰアルゴリズムの例は、意味構文解析、感情解析、ベクトル空間意味論、及び、関係抽出である。幾つかの実施形態において、本明細書中に記載される方法は、人間の臨床医の存在又は介入を必要とせずに評価を生成できてもよい。他の実施形態では、本明細書中に記載される方法を使用して、臨床医が提供する評価を増強又は強化する或いは臨床医が評価を提供するのを支援することができてもよい。評価は、ＰＨＱ－９評価及びＧＡＤ－７評価など、スクリーニング又はモニタリング方法から適合された又は変更された主題を含むクエリーを含んでもよい。ここでの評価は、そのような調査からの質問を逐語的に使用するだけでなく、対象患者からの応答に少なくとも部分的に基づいてクエリーを適応的に修正してもよい。
ステップ１４０２では、評価テストアドミニストレータ２２０２がテスト環境を最適化する。ステップ１４０２は、ロジックフロー図１４０２（図１５）に更に詳しく示される。
ステップ１５０２では、評価テストアドミニストレータ２２０２が対象患者との口頭会話を開始する。この例示的な実施形態において、評価テストアドミニストレータ２２０２は、評価テストの最初の質問を患者に尋ねることによって会話を開始する。最初の質問は、以下でより完全に説明される態様で選択される。尋ねられた正にその質問は特に重要ではない。重要なことは、評価テストアドミニストレータ２２０２が患者デバイス３１２から受信されるビデオ及び音声信号の質を評価できるのに十分な発話で患者が応答することである。
評価テストアドミニストレータ２２０２は、会話全体を通して、患者デバイス３１２から視聴覚データを受信して処理する。ループステップ１５０４及び次段階ステップ１５１０は、視聴覚信号が高品質である又は少なくとも正確な評価を行なうのに適した品質を有すると評価テストアドミニストレータ２２０２が決定するまで、評価テストアドミニストレータ２２０２がステップ１５０６～１５０８にしたがって視聴覚信号を処理するループを規定する。
ステップ１５０６において、評価テストアドミニストレータ２２０２は、患者デバイス３１２から受信される視聴覚信号の品質を評価する。特に、評価テストアドミニストレータ２２０２は、発話の音量、発話の明瞭さ、及び、患者の顔及び利用できる場合には身体がどの程度まで見えるかを測定する。
ステップ１５０８において、評価テストアドミニストレータ２２０２は、評価を患者に報告する。特に、評価テストアドミニストレータ２２０２は、患者デバイス３１２を介して患者に対して再生されるべきメッセージを表わす視聴覚信号を生成する。患者デバイス３１２から受信される視聴覚信号が不十分な品質であると評価テストアドミニストレータ２２０２により決定される場合、メッセージは、信号品質を改善するために患者に自分の環境を調整するように求める。例えば、信号の音声部分が不十分な場合、メッセージは、「あなたの声が聞きとり難いです。マイクをあなたの近くに移動できますか、それとも、静かな場所を見つけられますか？」というものであってもよく、患者の顔及び利用できる場合には身体がはっきりと見えない場合、メッセージは、「あなたの顔（及び身体）が見えません。あなたが見えるようにあなたの電話の位置を変えてもらえますか？」というものであってもよい。ステップ１５０８の後、評価テストアドミニストレータ２２０２による処理が次段階ステップ１５１０を介してループステップ１５０４に移行し、評価テストアドミニストレータ２２０２は、受信された視聴覚が適切となる又はそれが現在の評価テストに関して得られるのと同じくらい良好であると決定されるまでステップ１５０４～１５１０のループにしたがって処理を継続する。ステップ１５０８のその後の実行が患者による任意の発話への応答であることが好ましい。例えば、患者は、「この方が良いですか？」という質問で環境を改善するべくメッセージに応じようとしてもよい。ステップ１５０８の報告で送信される次のメッセージは、患者の質問に対する回答を含むべきである。本明細書中に記載されるように、複合モデル２２０４は言語モデル構成要素を含み、そのため、評価テストアドミニストレータ２２０２は必然的に発話認識を実行する。
受信される視聴覚が適切である又はそれが現在の評価テストに関して得られるのと同じくらい良好であると決定されると、ステップ１５０４～１５１０のループにしたがった評価テストアドミニストレータ２２０２による処理が完了する。更に、ロジックフロー図１４０２に係る処理、したがってステップ１４０２（図１４）が完了する。
ループステップ１４０４及び次段階ステップ１４１６は、評価テストが完了されると評価テストアドミニストレータ２２０２が決定するまで評価テストアドミニストレータ２２０２がステップ１４０６～１４１４にしたがって評価テストの口頭会話を行なうループを規定する。
ステップ１４０６において、評価テストアドミニストレータ２２０２は、口頭会話の促進のために患者に質問を尋ねる。この例示的な実施形態において、評価テストアドミニストレータ２２０２は、待ち行列の質問を使用して患者に尋ね、また、その待ち行列は、本明細書中では会話キューと称されることがある。ステップ１４０６の最初の実行において、待ち行列には、評価テスト中にカバーされるべき質問が事前に投入されてもよい。一般に、これらの質問は、ＰＨＱ－９やＧＡＤ－７などの現在使用される筆記評価テストによりカバーされるのと同じ一般的な主題をカバーする。しかしながら、これらのテストにおける質問は、極めて短い直接的な回答を引き出すように意図的に設計されるが、評価テストアドミニストレータ２２０２は、１語回答によって与えられるよりも多くの音声及びビデオを必要とする場合がある。したがって、最初に待ち行列に入れられた質問がより非制約的であることが好ましい。
この例示的な実施形態において、最初の質問は、一般的な気分、睡眠、及び、食欲の話題に関連する。睡眠に関連する最初の質問の一例は、質問１７０２（図１７）、すなわち、「最近どのように眠っていますか？」である。この質問は、患者から１文又は２文を引き出すことによって非常に率直な質問により通常引き出されるよりも多くの患者の音声及びビデオを与えるように意図される。
ステップ１４０８（図１４）において、評価テストアドミニストレータ２２０２は、質問に対する患者の応答の視聴覚信号を受信する。ロジックフロー図１４００に係る処理は同期処理を示唆する態様で示されるが、評価テストアドミニストレータ２２０２は、ステップ１４０２～１４１６の実行中にステップ１４０８を効果的に継続して実行し、会話を非同期的に処理する。同じことがステップ１４１０～１４１４に関しても当てはまる。
ステップ１４１０において、評価テストアドミニストレータ２２０２は、複合モデル２２０４を使用してステップ１４０８で受信された視聴覚信号を処理する。ステップ１４１２において、評価テストアドミニストレータ２２０２は、これまでに受信された視聴覚信号にしたがって評価テストに関する中間スコアを生成する。
ステップ１４１４において、評価テストアドミニストレータ２２０２は、ステップ１４０６の次の実行において対象患者に尋ねるべき次の質問を選択し、処理が次段階ステップ１４１６を介してループステップ１４０４に移行する。ステップ１４１４は、ロジックフロー図１４１４（図１６）としてより詳細に示される。更に、図１６は、図８のステップ８１４から続くと解釈され得る。
ステップ１６０２において、評価テストアドミニストレータ２２０２は、患者の発話における有意な要素を特定する。特に、評価テストアドミニストレータ２２０２は、複合モデル２２０４の言語部を使用して、ステップ１４０６（図１４）で最後の質問が尋ねられた後に受信された視聴覚信号の部分で別個のアサーションを特定する。視聴覚信号のその部分は、ステップ１６０４～１６１０のループの特定の繰り返しとの関連で本明細書中では「患者の応答」と称されることがある。
リアルタイムシステム３０２の評価テストアドミニストレータ２２０２及び患者デバイス３１２によって行なわれる会話の一例が（図１７）に示される。会話１７００が単なる例示にすぎないことが理解されるべきである。尋ねるべき特定の質問、患者の応答のどの部分が有意であるか、及び、任意の話題が続けられる深さは、評価テストアドミニストレータ２２０２によって収集されるべきタイプ情報により決定され、そこで構成される。ステップ１７０２において、評価テストアドミニストレータ２２０２は、「最近どのように眠っていますか？」という質問を尋ねる。患者の反応は「分かりました．．．私は最近寝るのに苦労しています。私はそのための薬を持っています。それらの薬は役に立っているようだ。」である。ステップ１６０２において、評価テストアドミニストレータ２２０２は、患者の応答における三つ（３）の有意な要素、すなわち、（ｉ）「睡眠障害」は、患者が何らかの形の不眠症を有していること又は少なくとも睡眠が不十分であることを示唆する、（ｉｉ）「私は薬を持っています」は、ユーザが薬を服用していることを示唆する、（ｉｉｉ）「それらの薬は役に立っているようだ」は、ユーザにより服用される薬が効果的であることを示唆する、を特定する。会話１７００の例示的な例において、これらの有意な要素のそれぞれは、ステップ１６０４～１６１０のループにおいて評価テストアドミニストレータ２２０２によって処理される。
ループステップ１６０４及び次段階ステップ１６１０は、評価テストアドミニストレータ２２０２がステップ１６０６～１６０８にしたがってステップ１６０２で特定される患者の回答のそれぞれの有意な要素を処理するループを規定する。ステップ１６０４～１６１０のループの所定の繰り返しとの関連で、処理される特定の有意な要素は、「対象要素」と称されることがある。ステップ１６０６において、評価テストアドミニストレータ２２０２は、対象要素を処理し、それにより、要素に含まれる詳細を記録して、フォローアップ質問を特定する。例えば、会話１７００（図１７）において、評価テストアドミニストレータ２２０２は、不眠症の要素に関するフォローアップ質問における三つ（３）の話題、すなわち、（ｉ）不眠症のタイプ（初期、中期、又は、後期）、（ｉｉ）患者が経験する不眠症の頻度、及び、（ｉｉｉ）任意の患者が不眠症のために服用している場合にはどのような薬を服用しているか、を特定する。
ステップ１６０８において、評価テストアドミニストレータ２２０２は、ステップ１６０６で特定されたフォローアップ質問を待ち行列に入れる。
ステップ１６０８の後、評価テストアドミニストレータ２２０２による処理は、評価テストアドミニストレータ２２０２がステップ１６０４～１６１０のループにしたがって患者の応答の全ての有意な要素を処理してしまうまで次段階ステップ１６１０を介してループステップ１６０４に移行する。評価テストアドミニストレータ２２０２がステップ１６０４～１６１０のループにしたがって患者の応答の全ての有意な要素を処理してしまった時点で、処理がループステップ１６０４からステップ１６１２へ移行する。
会話１７００（図１７）の例示的な文脈において、会話キューの状態は以下の通りである。図１７は、システムと患者との間で進行する会話の特定のインスタンス化を示す。本明細書中で開示されるクエリー及び返事は、典型的なものであり、図１７に開示された順序に従う必要があると解釈されるべきでない。不眠症の応答要素を処理する際、評価テストアドミニストレータ２２０２は、不眠症のタイプ及び不眠症のために服用される任意の薬物に関するフォローアップ話題を特定して待ち行列に入れる。
患者の応答における投薬の応答要素を処理する際、評価テストアドミニストレータ２２０２は、患者が薬物を投与していると分かる。ステップ１６０６において、評価テストアドミニストレータ２２０２は、その事実を記録するとともに、不眠症に関する投薬に関して待ち行列に入れられたフォローアップ質問を特定して、待ち行列に入れられた質問への応答として投薬要素を処理する。
投薬要素に関するステップ１６０８において、評価テストアドミニストレータ２２０２は、ステップ１７０８に示されるように、患者によって使用される特定の薬剤及び用量並びにその有効性に関するフォローアップ質問を待ち行列に入れる。
この例示的な実施形態では、会話キュー内の質問が階層的である。階層内において、各フォローアップ質問は、フォローアップ質問がフォローアップする質問の子である。後者の質問は、フォローアップ質問の親である。会話キューから質問を外す際、評価テストアドミニストレータ２２０２は、会話キュー階層の先順深さ優先ウォークを実施する。言い換えると、所定の質問の全ての子質問は、次の兄弟質問を処理する前に処理される。会話の用語において、所定の質問の全てのフォローアップ質問は、同じレベルで次の質問を再帰的に処理する前に処理される。会話１７００との関連で、評価テストアドミニストレータ２２０２は、頻度及び投薬の質問並びにそれらのフォローアップ質問のいずれかを処理する前に不眠症のタイプの全てのフォローアップ質問を処理する。これは会話が自然に起こる方法である－前に議論された話題に戻る前に完了するまで最後に議論された話題にとどまる。
更に、兄弟質問が評価テストアドミニストレータ２２０２によって処理される順序は、患者の応答によって影響を受ける場合がある。この例示的な例において、不眠症の頻度に関するフォローアップ質問は、投薬に関するフォローアップ質問に先行する。しかしながら、ステップ１６０６で投薬に関する要素を処理する際、評価テストアドミニストレータ２２０２は、不眠症の頻度に関するフォローアップ質問を処理する前に投薬に関するフォローアップ質問が処理されるように、フォローアップ質問の順序を変更する。患者によって投薬が言及されるため、新たな副次的話題を会話に加える前にそれについて説明する。これは、評価テストアドミニストレータ２２０２が患者に応答する他の方法である。
薬効の応答要素（すなわち、「それらの薬は役に立っているようだ」）を処理する際、評価テストアドミニストレータ２２０２は、薬物が中程度に有効であると記録する。会話キューが薬効に関する質問を含むことが分かると、評価テストアドミニストレータ２２０２は、ステップ１７１０において患者の応答のこの部分を待ち行列に入れられたフォローアップ質問への応答として適用する。
ステップ１６１２では、評価テストアドミニストレータ２２０２が次の質問を会話キューから外し、ロジックフロー図１４１４に係る処理、したがって、ステップ１４１４が完了し、会話が継続する。（図１４）の議論に戻る前に、例示的な会話１７００との関連で、ステップ１４１４の更なる実行、したがって、ロジックフロー図１４１４を検討することが有用である。この例示的な実施形態において次の質問として待ち行列から外される質問は、患者の不眠症に関して尋ね、それにより、不眠症の種類を特定しようとする。被検者が経験する特定のタイプの睡眠障害は、睡眠が困難であるという単なる事実ほど強力な鬱病の指標ではないということが、ＰＨＱ－９及びＧＡＤ－７で反映される従来の考え方であるのが分かる。しかしながら、会話の話題をより深く掘り下げることは、幾つかの有益な結果をもたらす。最も重要なことは、患者の状態をより正確に評価するためにユーザがより多くの発話を与えるように促されることである。更に、患者が今しがた言ったことについて質問を尋ねることにより、評価テストアドミニストレータ２２０２が、患者に個人的に興味を持ち、患者から善意を獲得することによって、患者を発話及び挙動の両方において誠実になりやすくさせることが示唆される。
会話１７００の例示的な例では、次の質問が不眠症のタイプに関連付けられる。質問は、特定の情報を依然として対象にしながら意図的に可能な限り非制約的であり、すなわち、「夜中に目覚めたことがありますか？」である。質問１７１２を参照されたい。この質問は「はい」又は「いいえ」という回答を引き出す場合があるが、応答１７１４、すなわち、「いいえ。私はただ眠りにつくのに苦労しています」などのより長い応答を引き出す場合もある。ステップ１６１２の後、ロジックフロー図１４１４に係る処理、したがって、ステップ１４１４（図１４）が完了する。ステップ１４０４～１４１６のループの連続する繰り返しにおいて、評価テストアドミニストレータ２２０２は、会話１７００の例示的な例を継続する。ステップ１４０６の次の実行では、評価テストアドミニストレータ２２０２が質問１７１２を尋ねる（図１７）。ステップ１４０８の次の継続的な実行では、評価テストアドミニストレータ２２０２が応答１７１４を受信する。評価テストアドミニストレータ２２０２は、ステップ１４１４の次の実行において応答１７１４を処理する。
ステップ１６０２（図１６）のこの例示的な実行において、評価テストアドミニストレータ２２０２は、単一の有意な要素を特定する、すなわち、患者が眠りにつくのに苦労しており夜中に目が覚めないということを特定する。ステップ１６０６において、評価テストアドミニストレータ２２０２は、不眠症のタイプを記録し（ステップ１７１６を参照）、この例示的な実施形態では、それに関連するフォローアップ質問がない。
ステップ１６０８のこの例示的な実行では、評価テストアドミニストレータ２２０２が会話キューから次の質問を外す。不眠症の種類と患者が不眠症を薬物で治療しているかどうかについてのフォローアップ質問が未だ回答されてしまっていないため、次の質問は、投薬、つまり、患者により服用される特定の薬物に関連する最初の子質問である。
ステップ１４０６（図１４）の次の繰り返し実行において、評価テストアドミニストレータ２２０２は、質問、すなわち、患者が不眠症のためにどの特定の薬物を服用しているかという質問を形成する。幾つかの実施形態において、評価テストアドミニストレータ２２０２は、最も直接的な方法で、例えば、「あなたは、不眠症のために薬を服用していると言った。どの薬を飲んでいますか？」と質問を尋ねる。これは、単純なイエス／ノー質問よりも非制約的であってより多くの発話を引き出すという利点を有する。
他の実施形態において、評価テストアドミニストレータ２２０２は、患者に関連する臨床データにアクセスして、患者により使用される特定の薬物を特定するのを助ける。臨床データは、臨床データ２２２０を使用して、モデリングシステム３０２（図２２）から、或いは、臨床データサーバ３０６（図３）から受信されてもよい。したがって、評価テストアドミニストレータ２２０２は、想定される薬物の最も一般的な名前及び一般名を使用して、より直接的な質問を尋ねてもよい。例えば、患者がゾルピデム（ブランド名Ａｍｂｉｅｎで販売されている薬の一般名）を処方されていることを患者のデータが示す場合、質問１７２０（図１７）は、「あなたは、不眠症の薬を服用していると言いました。それはアンビエンですか又はゾルピデムですか？」であってもよい。この非常に率直な質問は、単純なイエス／ノー応答（例えば、応答１７２２）しか引き出さないリスクがある。しかしながら、この質問は、患者の知識及び患者への関心も示し、それにより、善意が更に獲得されるとともに、患者による誠実な応答の可能性及び評価テストをより長く継続する意欲が高められる。
この例示的な実施形態において、評価テストアドミニストレータ２２０２は、患者にとって必要な臨床データが利用可能であるかどうか及び患者の状態を評価するのに適した程度の精度を得るためにどの程度の更なる発話が必要とされるかに基づいて、より非制約的な質問ではなく、非常に率直な質問を尋ねるべきかどうかを決定する。
会話１７００の例示的な例は、評価テストアドミニストレータ２２０２がステップ１７２４で応答１７２２の実体を記録することを続ける。
この例示的な実施形態における評価テストアドミニストレータ２２０２は、例えば、ステップ１４０８で受信される回答が完了してステップ１４１４における次の質問の選択が開始され得る時期を決定する際に、患者がごく最近尋ねられた質問に対する自分の応答を完了してしまったかどうかを評価テストアドミニストレータ２２０２が決定する態様でも、患者への応答性を決定する。
患者の善意を更に発展させるために、評価テストアドミニストレータ２２０２は、可能な限り患者の邪魔をしないようにする。応答１７０４、すなわち、「分かりました．．．．私は最近睡眠に問題があります。私はそのための薬を持っています。それらの薬は役に立っているようだ。」である。「分かりました」の後の省略記号は、患者による応答の一時停止を示す。この目的のため、評価テストアドミニストレータ２２０２は、患者が中断することなく一時的に休止できるようにするのに十分長く待つが、例えば、評価テストアドミニストレータ２２０２又はこれとの通信リンクの不具合に起因して評価テストアドミニストレータ２２０２が応答しなくなったと患者に思わせるほど長く待たない。更に、発話の一時停止は、以下でより完全に説明されるように評価で使用され、また、評価テストアドミニストレータ２２０２は、患者の発話の流暢さを妨げないようにすべきである。
この例示的な実施形態において、評価テストアドミニストレータ２２０２は、２つの一時停止持続時間、すなわち、短い一時停止持続時間及び長い一時停止持続時間を使用する。短い一時停止持続時間にわたる一時停止後、評価テストアドミニストレータ２２０２は、評価テストアドミニストレータ２２０２が例えば「うん」又は「うーん、うん」などの聞き取りの理解及び継続を認める非常に短い音声を再生することによって聞き続けていることを示す。メッセージを再生した後、評価テストアドミニストレータ２２０２は、長い持続時間にわたる任意の継続的な一時停止中に待つ。一時停止がそれを長く継続する場合、評価テストアドミニストレータ２２０２は、患者が自分の応答を完了してしまったと決定する。
短い持続時間及び長い持続時間の特定のそれぞれの長さは、経験的に決定されてもよい。更に、最適な長さは患者ごとに異なる場合がある。したがって、評価テストアドミニストレータ２２０２は、患者と対話するときはいつでも患者のためのこれらの持続時間を調整し続ける。評価テストアドミニストレータ２２０２は、クロストークに気付くと、すなわち、評価テストアドミニストレータ２２０２が任意の音声を同時に再生する間に患者から速度が受信されていると、短すぎる持続時間を認識する。評価テストアドミニストレータ２２０２は、長すぎる持続時間を、（ｉ）患者が明示的にそのように示唆するとき（例えば、「もしもし？」又は「まだそこにいますか？」と言う）、及び／又は、（ｉｉ）患者の反応が同じ会話の前半の患者の発話に対する欲求不満又は興奮の増大を示唆するときに認識する。
会話は、評価テストが完了するときに評価テストアドミニストレータ２２０２によって丁寧に終了される。評価テストは、（ｉ）会話キュー内の最初の質問及びそれらの子孫質問の全てが患者によって回答されてしまったとき、又は、（ｉｉ）ステップ１４１２で決定された評価によりもたらされるスコアにおける信頼度の指標が少なくとも所定の閾値であるときに完了する。評価における信頼度は対称的ではないことに留意すべきである。評価テストは、患者における鬱病又は他の行動的健康状態を探求する。それが直ぐに見つけられれば、それが見つけられる。しかしながら、それを直ぐに見つけられないことにより、その欠如が保証されない。したがって、評価テストアドミニストレータ２２０２は、早期検出において信頼度を見出すが、早期の検出不良には信頼度を見出さない。
このように、リアルタイムシステム３０２（図２２）は、患者デバイス３１２を介した患者との対話型口頭会話を使用して患者の現在の精神状態を評価する。評価テストアドミニストレータ２２０２は、データを臨床医デバイス３１４に送信することによって患者の結果として生じる評価を表わすデータを患者の医師又は他の臨床医に送信する。更に、評価テストアドミニストレータ２２０２は、結果として生じる評価を臨床データ２２２０に記録する。
評価テストアドミニストレータ２２０２は、患者の精神状態を評価するために患者との対話型口頭会話を行なうように記載されるが、他の実施形態において、評価テストアドミニストレータ２２０２は、臨床医と話している患者を受動的に聞き、本明細書中に記載される態様で患者の発話を評価する。臨床医は、精神的健康の専門家、一般開業医、或いは、歯科医、心臓外科医、又は、眼科医などの専門家であってもよい。１つの実施形態において、評価テストアドミニストレータ２２０２は、例えば、臨床医のｉＰａｄ上の「開始」制御器によって、患者が臨床医と会話していると決定する際に患者デバイス３１２を介して患者と臨床医との間の会話を受動的に聞く。評価テストアドミニストレータ２２０２は、例えば臨床医のｉＰａｄ上の「停止」制御器によって、患者と臨床医との間の会話が完了したと決定する際、前述の態様で発話を受動的に聞いて評価することを止める。更に、患者デバイス３１２は受動的に聞いており患者を促さないため、評価テストアドミニストレータ２２０２は、患者デバイス３１２を介して受信される視聴覚信号を最適化しようとする試みをせず、また、任意の受信されるビデオ信号中の顔が患者のものであると仮定しない。
幾つかの実施形態では、患者と臨床医との間の会話の開始時に、臨床医が、評価テストアドミニストレータ２２０２による聴取を開始するように患者に求め、患者は、評価テストアドミニストレータ２２０２に聴取し始めるように指示するコマンドを患者デバイス３１２を介して発することによってそうする。同様に、会話の終わりに、臨床医は、評価テストアドミニストレータ２２０２による聴取を終了するように患者に求め、患者は、評価テストアドミニストレータ２２０２に聴取を停止するように指示するコマンドを患者デバイス３１２を介して発することによってそうする。
別の実施形態において、評価テストアドミニストレータ２２０２は、臨床医デバイス３１４を介して患者と臨床医との間の会話を聞く。臨床医は、従来のユーザインタフェース技術を使用して臨床医デバイス３１４を介して評価テストアドミニストレータ２２０２による聴取を手動で開始及び停止してもよい。
評価テストアドミニストレータ２２０２によって受動的に聞かれる会話中、評価テストアドミニストレータ２２０２は、臨床医の発話ではなく患者の発話を評価する。評価テストアドミニストレータ２２０２は、例えば、臨床医のｉＰａｄ上の「ミュート」制御器により、幾つかの方法のいずれかで声を区別してもよい。評価テストアドミニストレータ２２０２が患者デバイス３１２を介して聞く実施形態において、評価テストアドミニストレータ２２０２は、音響モデル（例えば、音響モデル２２１８）を使用して２つの声を区別する。補助テストアドミニストレータ２２０２は、患者デバイス３１２が臨床医よりも患者の方に近いと仮定して、より大きな声を患者の声として特定する。これは、臨床医デバイス３１２が患者をより大きく聞くように設定される実施形態の場合にも当てはまり得る。例えば、臨床医デバイス３１４は、捕捉される音声信号が臨床医の声などの他の周囲音よりもはるかに大きく患者の声を表わすように臨床医が患者に向けて方向付ける高指向性マイクロフォンを介して聞くように構成されてもよい。評価テストアドミニストレータ２２０２は、言語モデル２２１４、特に意味パターンモジュール４００４などの意味パターンモデルを使用して、患者の声を臨床医の声から更に区別して、２つの区別された声のいずれがより頻繁に質問を尋ねるかを特定してもよい。評価テストアドミニストレータ２２０２は、音響モデル２０１６を使用して患者の声を臨床医の声から更に区別してもよく、音響モデル２０１６は、臨床的遭遇前に実行される臨床医の声の音響解析から臨床医の声を特定してセグメント化することができる。
患者と臨床医との間の会話の全体にわたって、評価テストアドミニストレータ２２０２は、本明細書中に記載される態様で患者の発話から患者の精神状態を評価し、会話の結論を検出する際に評価を終了する。
図１８により詳細に示されるランタイムモデルサーバロジック７０４は、対話型スクリーニング又はモニタリング会話における患者の応答を表わす視聴覚信号を処理し、会話が進行している間、視聴覚信号から患者の現在の健康状態を推定する。
自動発話認識（ＡＳＲ）ロジック１８０４は、視聴覚信号で話される単語を特定するべくＩ／Ｏロジック６０４（図６）からの視聴覚データで表わされる発話を処理するロジックである。ＡＳＲロジック１８０４（図１８）の結果は、ランタイムモデル１８０２に送信される。
また、ランタイムモデル１８０２は、Ｉ／Ｏロジック６０４から直接に視聴覚信号も受信する。以下により完全に説明される態様で、ランタイムモデル１８０２は、言語モデル、音響モデル、及び、視覚モデルを組み合わせて、受信された視聴覚信号から結果１８２０を生成する。次に、対話型スクリーニング又はモニタリングサーバロジック７０２は、前述のようにリアルタイムで結果１８２０を使用して、患者の現在の状態を推定し、それに応じて、口頭会話を前述のように患者に応答させる。
ＡＳＲロジック１８０４は、視聴覚信号中の単語を特定することに加えて、視聴覚信号中のどこに各単語が現れるかも、及び、この例示的な実施形態において特定された各単語の精度における信頼度も特定する。また、ＡＳＲロジック１８０４は、位置及び信頼度情報とともに、例えば、笑い声及びフィラーなどの視聴覚信号の非言語的内容を特定してもよい。ＡＳＲロジック１８０４は、そのような情報をランタイムモデル１８０２に利用できるようにする。
ランタイムモデル１８０２は、記述的モデル・解析１８１２、自然言語処理（ＮＬＰ）モデル１８０６、音響モデル１８０８、及び、視覚モデル１８１０を含む。
ＮＬＰモデル１８０６には、（ｉ）鬱病、不安神経症、及び、おそらく他の健康状態を患者により話される単語から直接に予測するため、及び、（ｉｉ）そのような健康状態と相関する要因をモデリングするために、幾つかのテキストベースの機械学習モデルを含む。健康状態を直接にモデリングする機械学習の例としては、感情解析、意味解析、言語モデリング、単語／ドキュメント埋め込み及びクラスタリング、話題モデリング、談話解析、構文解析、及び、対話解析が挙げられる。モデルを１つのタイプの情報に制約する必要はない。モデルは、例えば感情ベース及び話題ベースの特徴の両方からの情報を含んでもよい。ＮＬＰ情報は、特定のモジュールのスコア出力、例えば、精神的健康状態に関してではなく感情に関してトレーニングされる感情検出器からのスコアを含む。ＮＬＰ情報は、転移学習ベースのシステムを介して取得される情報を含む。
ＮＬＰモデル１８０６は、テキストメタデータ及びモデリングダイナミクスを記憶し、そのデータを音響モデル１８０８、視覚モデル１８１０、及び、記述的モデル・解析１８１２と共有する。テキストデータは、前述したようにＡＳＲロジック１８０４から直接に受信されてもよく、或いは、ＮＬＰモデル１８０６からテキストデータとして受信されてもよい。テキストメタデータは、例えば、それぞれの単語又はフレーズごとに、品詞（構文解析）、感情解析、意味解析、話題解析などを特定するデータを含んでもよい。モデリングダイナミクスは、ＮＬＰモデル１８０６の構成モデルの構成要素を表わすデータを含む。このような構成要素としては、ＮＬＰモデル１８０６の機械学習特徴、及び、長短期記憶（ＬＳＴＭ）ユニット、ゲート付き回帰ユニット（ＧＲＵ）、隠れマルコフモデル（ＨＭＭ）、シーケンス間（ｓｅｑ２ｓｅｑ）変換情報などの他の構成要素が挙げられる。ＮＬＰメタデータにより、音響モデル１８０８、視覚モデル１８１０、及び、記述的モデル・解析１８１２は、構文、感情、意味、及び、話題の情報を視聴覚信号の対応する部分に関連付けることができる。したがって、音響モデル１８０８、視覚モデル１８１０、及び、記述的モデル・解析１８１２は、視聴覚信号をより正確にモニタリングできる。
ランタイムモデル１８０２は、視聴覚信号の音声部分を解析して様々な健康状態、例えば、鬱病と関連付けられるパターンを見い出す音響モデル１８０８を含む。発話における音響パターンと健康との間の関連性は、場合によっては、再トレーニングを伴うことなく異なる言語に適用できる。また、これらの言語は、その言語からのデータに基づき再トレーニングされてもよい。特定の言語のうちのＡが話される。したがって、音響モデル１８０８は、言語にとらわれない態様で視聴覚信号を解析する。この例示的な実施形態において、音響モデル１８０８は、高レベル表示を学習するため、及び、視聴覚信号の時間的動態をモデリングするため、畳み込みニューラルネットワーク（ＣＮＮ）、長短期記憶（ＬＳＴＭ）ユニット、隠れマルコフモデル（ＨＭＭ）などの機械学習手法を使用する。
音響モデル１８０８は、音響モデル１８０８の視聴覚信号及び機械学習特徴の属性を表わすデータを音響モデルメタデータとして記憶し、そのデータをＮＬＰモデル１８０６、視覚モデル１８１０、及び、記述的モデル・解析１８１２と共有する。音響モデルメタデータは、例えば、患者の応答の視聴覚信号のスペクトル写真を表わすデータを含んでもよい。更に、音響モデルメタデータは、機械学習特徴の基本的特徴表示及び高レベル特徴表示の両方を含んでもよい。より基本的な特徴としては、メル周波数ケプストラム係数（ＭＦＣＣ）、及び、例えば音響モデル１８０８の様々な対数フィルターバンクを挙げることができる。高レベル特徴表示としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、オートエンコーダ、変分オートエンコーダ、ディープニューラルネットワーク、及び、音響モデル１８０８のサポートベクターマシンを挙げることができる。音響モデルメタデータにより、ＮＬＰモデル１８０６は、例えば、視聴覚信号の音響解析を使用して、単語及びフレーズの感情解析を改善できる。音響モデルメタデータにより、視覚モデル１８１０及び記述的モデル・解析１８１２は、例えば、視聴覚信号の音響解析を使用して、視聴覚信号をより正確にモデリングすることができる。
ランタイムモデルサーバロジック５０４（図１８）は、顔、凝視、及び、姿勢の挙動から患者の様々な健康状態を推測する視覚モデル１８１０を含む。視覚モデル１８１０は、顔面手がかりモデリング、眼／凝視モデリング、姿勢追跡及びモデリングなどを含んでもよい。これらは単なる例にすぎない。
視覚モデル１８１０は、視覚モデル１８１０の視聴覚信号及び機械学習特徴の属性を表わすデータを視覚モデルメタデータとして記憶し、そのデータをＮＬＰモデル１８０６、音響モデル１８０８、及び、記述的モデル・解析１８１２と共有する。例えば、視覚モデルメタデータとしては、患者の反応の視聴覚信号の顔面位置、姿勢追跡情報、及び、凝視追跡情報を表わすデータを挙げることができる。更に、視覚モデルメタデータは、機械学習特徴の基本的特徴表示及び高レベル特徴表示の両方を含んでもよい。より基本的な特徴は、視覚モデル１８１０の画像処理特徴を含んでもよい。高レベル特徴表示としては、例えば、ＣＮＮ、オートエンコーダ、変分オートエンコーダ、ディープニューラルネットワーク、及び、視覚モデル１８１０のサポートベクターマシンを挙げることができる。視覚モデルメタデータにより、記述的モデル・解析１８１２は、例えば、視聴覚信号のビデオ解析を使用して、単語及びフレーズの感情解析を改善することができる。記述的モデル・解析１８１２は、視覚モデルメタデータを音響モデルメタデータと組み合わせて使用して、より正確な感情解析のために単語及びフレーズを話す際の患者の信憑性を推定することさえできる。視覚モデルメタデータにより、音響モデル１８０８は、例えば、視聴覚信号のビデオ解析を使用して、視聴覚信号のビデオ部分に表わされる様々な凝視、姿勢、及び、身振りと関連付けられる音響信号をより良く解釈することができる。
記述的特徴又は記述的解析は、利害関係者が理解できる方法で話者の発話パターンに関する情報を伝える発話、言語、ビデオ、及び、メタデータにおける特徴に基づいて計算され得る解釈可能な記述である。例えば、記述的特徴としては、緊張する又は不安に思われる話者、甲高い声や深い声がある話者、又は、素早く又はゆっくり話す話者を挙げることができる。人間は、情緒を精神的に決定するために、発話のピッチ、速度、及び、意味論などの声の「特徴」を解釈できる。記述的解析モジュールは、それらの特徴に基づいて発話に対して解釈可能な標識を適用することによって、機械学習モジュールとは異なる。機械学習モデルは特徴を解析することによって予測も行なうが、機械学習アルゴリズムが特徴を処理してそれらの特徴の表示を決定する方法は、人間がそれらを解釈する方法とは異なる。したがって、機械学習アルゴリズムがデータに対して「適用」できる標識は、特徴を解析することとの関連で、人間が解釈できる標識でなくてもよい。
記述的モデル・解析１８１２（図１８）は、鬱病だけでなく、多くの健康状態に関する解析及び標識を生成してもよい。そのような標識の例としては、情緒、不安、患者の関与度、患者エネルギー、感情、発話速度、及び、対話の話題が挙げられる。更に、記述的モデル・解析１８１２は、これらの標識を患者の応答の各単語に適用し、各単語が患者の応答においてどれほど有意であるかを決定する。口頭応答における任意の所定の単語の有意性は、品詞、例えば、比較的非有意な冠詞及びフィラー単語から推測され得るが、記述的モデル・解析１８１２は、音響モデル１８０８によって示されるように単語が話される態様で情緒などの単語の更なる質から単語の有意性を推測する。
また、記述的モデル・解析１８１２は、経時的な傾向も解析し、そのような傾向を少なくとも部分的に使用して、患者の応答の解析を正規化する。例えば、所定の患者は、一般に、他の患者よりも少ないエネルギーで話すことがある。この患者における正規化解析は、一般的な母集団に関して使用されるよりも低いレベルのエネルギーを「正常」として設定する場合がある。更に、所定の患者は、一般的な母集団よりも頻繁に特定の単語を使用する場合があり、この患者によるそのような単語の使用は、異なる患者によるそのような使用ほど顕著でない場合がある。記述的モデル・解析１８１２は、リアルタイムで、すなわち、スクリーニング又はモニタリング会話が進行中である間、及び、非リアルタイムの状況で傾向を解析してもよい。
記述的モデル・解析１８１２は、前述の発話解析及び傾向解析を表わすデータ、並びに、記述的モデル・解析１８１２の構成モデルのメタデータを、記述的モデルメタデータとして記憶し、そのデータをＮＬＰモデル１８０６、音響モデル１８０８、及び、視覚モデル１８１０と共有する。記述的モデルメタデータにより、ＮＬＰモデル１８０６、音響モデル１８０８、及び、視覚モデル１８１０は、視聴覚信号をより正確にモニタリングできる。
ランタイムモデル１８０２を介して、ランタイムモデルサーバロジック５０４は、患者の発言、患者の発言方法、及び、同時期に起こる顔の表情、眼つき、及び、姿勢を組み合わせて使用して患者の健康状態を推定し、そのような推定を表わす結果データを結果１８２０として記憶する。そのようなことは、患者の健康状態を推定するための特に正確で効果的なツールをもたらす。
ランタイムモデルサーバロジック５０４は、結果１８２０をＩ／Ｏロジック６０４（図６）に送信し、それにより、対話型スクリーニング又はモニタリングサーバロジック５０２は、患者の応答に応答することができ、その結果、スクリーニング又はモニタリング対話が前述した態様でインタラクティブになる。また、ランタイムモデルサーバロジック５０４（図１８）は、結果１８２０を被検者の履歴に含まれるようにスクリーニング又はモニタリングシステムデータストア４１０に送信する。
図１９により詳細に示されるモデルトレーニングロジック５０６は、ランタイムモデルサーバロジック５０４（図１８）によって使用されるモデルをトレーニングする。
モデルトレーニングロジック５０６（図１９）は、ランタイムモデル１８０２及びＡＳＲロジック１８０４を含み、ランタイムモデル１８０２をトレーニングする。モデルトレーニングロジック５０６は、トレーニング済みモデルをモデルリポジトリ４１６に送信し、トレーニングされたランタイムモデル１８０２をランタイムモデルサーバロジック５０４に利用できるようにする。
図２０Ａは、図２の実施形態のバックエンドスクリーニング又はモニタリングシステムのより詳細な例示の例を与える。ブロック図のこの例において、ウェブサーバ２４０は、それが一群の機能モジュールを含むことを示すために拡張される。ウェブサーバ２４０の主要な構成要素は、ネットワークインフラ２５０を介してシステムにアクセスするための入力／出力（ＩＯ）モジュール２０４１を含む。このＩＯ２０４１は、クライアント２６０ａ－ｎからの応答データ（少なくとも発話及びビデオデータの形式で）及び標識の収集、プロンプト情報（質問又は話題など）の提示、及び、クライアント２６０ａ－ｎへのフィードバックを可能にする。プロンプト材料は、クライアント２６０ａ－ｎの関与を維持して意味のある応答データを生成する対話を構築するべくシステムのニーズ、ユーザコマンド、及び、選好に応答する対話エンジン２０４３によってもたらされる。対話エンジンについては、以下で詳しく説明する。
スクリーニング又はモニタリングテストによって提起される質問（又は他の形式の対話）に答える際の患者の真実性は、親しみやすく、見込まれる患者によって求められて使用されるシステムを有しているように、患者の精神状態を評価する上で重要である。健康スクリーニング又はモニタリングシステム２００は、幾つかの方法で患者の誠実さを促進する。第１に、口頭会話は、患者が質問への応答を構成する又は話題について話すための時間を、書面での応答が要するよりも少なくする。この切り捨てられた時間は、一般に、より誠実で「生の」回答をもたらす。第２に、会話は、後述するように、とりわけユーザの好みが対話に織り込まれるときには、患者にとって、明らかに一般的なアンケートよりも、自発的で且つ個人的であるように感じるとともに、あまり煩わしくない。したがって、口頭会話は、医師又は他の臨床医に会う前にアンケートに答えなければならないことに関する患者の憤りを誘発させない又は増幅させない。第３に、口頭会話は、患者に応答するように進行中に適応され、それにより、スクリーニング又はモニタリングテストに対する患者の煩わしさが軽減され、場合によっては、スクリーニング又はモニタリングテストが短縮される。第４に、健康スクリーニング又はモニタリングシステム２００によって実施されるスクリーニング又はモニタリングテストは、対話の単なる言語成分以上のものに依存している。対話の非言語的態様は、患者の鬱病を評価するために言語的内容と相乗的に活用される。事実上、「発言」は、「発言方法」ほど鬱病の評価においてさほど頼りになるほど正確ではない。
ウェブサーバ２４０の最後の構成要素は、（１又は複数の）モデルサーバ２３０からの結果を照合してそれらをＩＯ２０４１を介してクライアント２６０ａ～ｎに与えるとともに、システムの目標を達成するべく対話の経過を動的に適応させるための対話エンジン２０４３に対してフィードバック情報を与える結果・提示モジュール２０４５である。加えて、結果・提示モジュール２０４５は、利害関係者の通信モジュール２００３を介してフィルタリングされた結果を利害関係者２７０ａ～ｎに更に供給する。通信モジュール２００３は、プロセスエンジン、ルーティングエンジン、及び、ルールエンジンを包含する。ルールエンジンは、何に、何時、及び、誰に通信を送るかを決定する条件付きロジックを具現化し、プロセスエンジンは、タスクの順次完了に基づき得る通信チェーンを介してメッセージを送るべく臨床・演算プロトコルロジックを具現化し、ルーティングエンジンは、ユーザの最適なプラットフォーム（例えば、携帯電話、コンピュータ、固定電話、タブレットなど）に任意のメッセージを送信できる能力を与える。
結果・提示モジュール２０４５による結果のフィルタリング及び／又は変更は、ＨＩＰＡＡ（１９９６年の医療保険の携行と責任に関する法律）及びＧＤＰＲ及びＳＯＣ２コンプライアンスなどの他のプライバシー及びセキュリティに関する政策及び規則を必要に応じて維持するとともに関連する利害関係者２７０ａ－ｎに最も有用な情報を提示するべく必要時に実行される。例えば、臨床医は、スクリーニング又はモニタリング分類（例えば、鬱病又はニューロティピカル）だけでなく、自殺念慮、他の話題に関する不安などの更なる記述的特徴も受け取りたい場合がある。これに対し、保険会社は、これらの更なる特徴の多くを必要としない又は望まない場合があり、診断／スクリーニング又はモニタリング結果のみに関心があるかもしれない。同様に、プライバシー法及び規制の違反を回避するために、研究者には個人的に特定できない集計データのみが与えられる場合がある。
ＩＯ２０４１は、クライアント２６０ａ～ｎに対する接続に加えて、ユーザデータ２２０及び（１又は複数の）モデルサーバ２３０への接続を与える。収集された発話及びビデオデータ（幾つかの実施形態では生の音声及びビデオファイル）は、ＩＯ２０４１によって、ユーザデータ２２０、（１又は複数の）ランタイムモデルサーバ２０１０、及び、トレーニングデータフィルタ２００１に与えられる。クライアント２６０ａ～ｎからの標識データは、ユーザデータ２２０内の標識データセット２０２１に与えられる。これは、様々なデータベース２０２３に記憶されてもよい。標識データは、検証済みの診断された患者だけでなく、特定のユーザ属性又は人間の注釈から収集される推定標識も含む。クライアントＩＤ情報及びログは、同様に、ＩＯ２０４１からユーザデータ２２０に与えられてもよい。ユーザデータ２２０は、任意の数の第三者フィードから調達される臨床的・社会的記録２１０で更に充実されてもよい。これは、ウェブクローラから取得されるソーシャルメディア情報、医療従事者からのＥＨＲデータベース、公衆衛生データソースなどを含んでもよい。
トレーニングデータフィルタ２００１は、発話及びビデオデータを消費するとともに、それに標識データ２０２１を付加して、トレーニングデータセットを生成してもよい。このトレーニングデータセットは、機械学習モデルのセットの生成のために（１又は複数の）モデルトレーニングサーバ２０３０に与えられる。モデルは、モデルリポジトリ２０５０に記憶され、クライアント２６０ａ～ｎのための他の記述子を生成することに加えて、スクリーニング又はモニタリング結果の決定を行なうために（１又は複数の）ランタイムモデルサーバ２０１０によって利用される。モデルリポジトリ２０５０は、（１又は複数の）モデルトレーニングサーバ２０３０及び（１又は複数の）ランタイムモデルサーバ２０１０とともに、（１又は複数の）モデルサーバ２５０を構成する。（１又は複数の）ランタイムモデルサーバ２０１０及び（１又は複数の）モデルトレーニングサーバ２０３０は、図２０Ｂ及び図２１のそれぞれに関連して以下でより詳細に説明される。
図２０Ｂには、（１又は複数の）ランタイムモデルサーバ２０１０がより詳細に与えられる。サーバは、クライアント２６０ａ－ｎから発信された発話及びビデオ入力を受信した。信号プリプロセッサ・マルチプレクサ２０１１は、モデリングエラーを引き起こす場合がある信号内のノイズ又は他のアーティファクトの除去など、入力されたデータに関して調整を実行する。これらの信号処理タスク及びデータ準備タスクは、発話信号及びビデオ信号の両方に関するダイアリゼーション、セグメント化、及びノイズ低減を含む。更に、メタデータは発話及びビデオデータへと層状にされてもよい。このデータは、モデラ２０２０の消費のために、この前処理された形態でバス２０１４に供給されてもよく、また、任意の数の第三者である既製の自動発話認識（ＡＳＲ）システム２０１２にさらされてもよい。ＡＳＲ２０１２の出力は、音声データの発話部の機械可読転写を含む。このＡＳＲ２０１２の出力は、後の構成要素による消費のためにバス２０１４に同様に供給される。信号プリプロセッサ・マルチプレクサ２０１１には、音質（信号品質、サンプルの長さ）及び転写信頼度（転写がどれほど正確であるか）値２０９０，２０９１などの信頼度値が与えられてもよい。
図２０Ｂはメタデータモデル２０１８も含む。メタデータモデルは、人口統計データ、病歴データ、及び、患者提供データなどの患者データを解析してもよい。
更に、臨床データ、人口統計データ、及び、ソーシャルデータは、モデラ２０２によるその後の使用のためにバス２０１４に提示されてもよい。最後に、モデルリーダー２０１３が、同様にバス２０１４に与えられるモデルリポジトリ２０５０からの保護されたモデルにアクセスできる。モデラ２０２０は、モデル、前処理された音声及び視覚データ、並びに、ＡＳＲ２０１２の出力を消費して、対象の健康状態に関してクライアント２６０ａ～ｎの応答を解析する。健康状態をモニタリングするための以前のシステムとは異なり、現在のシステムは、自然言語処理（ＮＬＰ）モデル２０１５、音響モデル２０１６、及び、ビデオモデル２０１７を含み、これらのモデルは全て、クライアント２６０ａ～ｎの健康状態に関する分類を生成するべく協調して動作する。これらのモデラは、連携して動作するだけでなく、モデル出力を改良するために相互に出力を消費する。各モデラ及びそれらがその分類精度を高めるために調整する態様については、後続の図と併せて更に詳しく説明する。
これらのモデラ２０２０のそれぞれにおける出力は、較正、信頼度、及び、所望の記述子モジュール２０９２に対して個別に与えられる。このモジュールは、スケーリングされたスコアを生成するために出力を較正するとともに、信頼度指標をスコアに与える。所望の記述子モジュールは、人間が読める標識をスコアに割り当ててもよい。所望の記述モジュール２０９２の出力はモデル重み・融合エンジン２０１９に与えられる。このモデル重み・融合エンジン２０１９は、モデル出力を各クライアント２６０ａ～ｎの健康状態に関する単一の統合された分類へと組み合わせる。モデル重み付けは、音響モデル２０１６又はビデオモデル２０１７のいずれかの出力を上回るＮＬＰモデル２０１５の出力の重み付けなど、静的な重みを使用して行なわれてもよい。しかしながら、よりロバスト性が高い動的な重み付け方法が同様に適用されてもよい。例えば、所定のモデル出力における重みは、幾つかの実施形態では、モデルによる分類の信頼レベルに基づいて変更されてもよい。例えば、ＮＬＰモデル２０１５が個人を０．５６（０．００～１．００のうち）の信頼度で鬱状態ではないと分類するが、音響モデル２０１６が０．９７の信頼度で鬱状態に分類する場合、時として、モデルの出力の重みは、音響モデル２０１６により大きな重みが与えられるように重み付けられてもよい。幾つかの実施形態において、所定のモデルの重みは、モデルのためのベース重みが乗じられた信頼レベルによって線形的にスケーリングされてもよい。更なる他の実施形態では、モデル出力重みが時間に基づいている。例えば、一般的にＮＬＰモデル２０１５には他のモデルよりも大きな重みが与えられてもよいが、ユーザが話していない場合、ビデオモデル２０１７にはその時間領域にわたってより大きい重みが与えられてもよい。同様に、人が緊張していて嘘つきである（頻繁な凝視移動、汗の増大、上方へのピッチ変調、発話速度の増大など）ことをビデオモデル２０１７及び音響モデル２０１６が独立して示唆している場合には、個人が質問に正直に答えていない可能性が高いため、ＮＬＰモデル２０１５の重みが最小にされてもよい。
モデル出力の融合及び重み付けの後、結果として生じる分類は、最終結果を生成するために多重出力モジュール２０５１内の特徴及び他のユーザ情報と組み合わされてもよい。前述したように、これらの結果は、記憶のために及び潜在的に将来のトレーニング材料のために元のユーザデータ２２０に与えられるとともに、少なくとも部分的にクライアント２６０ａ～ｎ及び利害関係者２７０ａ～ｎに表示するためにウェブサーバ２４０の結果・提示モジュール２０４５にも与えられる。これらの結果は、同様に、クライアント２６０ａ～ｎとの対話を適応させるために対話エンジン２０４３によって使用される。
ここで図２１を参照すると、（１又は複数の）モデルトレーニングサーバ２０３０がより詳細に与えられる。（１又は複数の）ランタイムモデルサーバ２０１０と同様に、（１又は複数の）モデルトレーニングサーバ２０３０は一群のデータソースを消費する。しかしながら、これらのデータソースは、いずれの標識情報が既知であるか又は帰属可能であるかに関するデータのみを与えるべくトレーニングデータフィルタ２００１によってフィルタリングされてしまっている。モデルトレーニングサーバは、音声品質信頼度値２０９５（ビットレート、ノイズ、及び、音声信号の長さを含んでもよい）及び転写信頼度値２０９６を入力として取得する。これらの信頼度値は、図２０Ｂと同じタイプのデータを含んでもよい。フィルタリングされたソーシャルデータ、人口統計データ、及び、臨床データ、音声及びビデオデータ、並びに、標識データは全て、フィルタリングされたデータソースのクリーニング及び正規化のためにプリプロセッサ２０３１に与えられる。その後、処理されたデータは、様々なトレーナ２０３９による消費のためにバス２０４０に与えられ、また、同様にバス２０４０に供給されるＡＳＲ出力の生成のために１つ以上の第三者ＡＳＲシステム２０３２にも与えられる。信号プリプロセッサ・マルチプレクサ２０１１には、音声品質（信号品質、サンプルの長さ）及び転写信頼度（転写がどれほど正確であるか）値２０９５，２０９６などの信頼度値が与えられてもよい。
モデルトレーナ２０３９は、処理された音声、視覚、メタデータ、及び、ＡＳＲ出力データを、ＮＬＰトレーナ２０３３、音響トレーナ２０３４、ビデオトレーナ２０３５、及び、メタデータトレーナ２０３６において消費する。トレーニング済みモデルは、個別に、較正、信頼度、及び、所望の記述子モジュール２０９７に与えられる。このモジュールは、スケーリングされたスコアを生成するために出力を較正するとともに、信頼度指標をスコアに与える。所望の記述子モジュールは、人間が読める標識をスコアに割り当ててもよい。トレーニングされて較正されたモデルは、トレーニング済みモデルをトレーニングされた組み合わせモデルへと組み合わせるために融合モデルトレーナ２０３７に与えられる。個々のモデル及び組み合わせモデルは、モデルリポジトリ２０５０に記憶されてもよい。更に、トレーニング済みモデルがパーソナライザ２０３８に与えられていてもよく、パーソナライザ２０３８は、メタデータ（人口統計情報及びソーシャルメディアストリームから照合されるデータなど）を活用して所定のクライアント２６０ａ～ｎに合わせてモデルを具体的に調整する。
例えば、特定のモデルｘｏは、鬱状態の誰か又は鬱状態でない誰かのいずれかを表わすものとして音響信号を分類するために生成されてもよい。音声入力のテナール、ピッチ、及び、カデンツは、若い個人と年配の個人との間で大幅に異なる場合がある。そのため、特定のモデルは、スクリーニングされている患者が若いか高齢であるか（それぞれモデルｘｙ及びｘｅ）どうかに基づいて開発される。同様に、女性は一般に男性と比較して音響信号にばらつきがあり、これは、更に別の音響モデルのセットが必要である（それぞれモデルｘｆ及びｘｍ）ことを示唆している。また、若い女性対年配の女性及び若い男性対年配の男性に関しては組み合わせモデル（それぞれモデルｘｙｆ、ｘｅｆ、ｘｙｍ及びｘｅｍ）が望ましいことも明らかである。明らかに、更なる個人化グループ分けが生成されるにつれて、適用可能なモデルの想定し得る数が指数関数的に増大する。
幾つかの実施形態では、個人に関するメタデータがその人の年齢、性別、民族性、学歴、彼らが育ったアクセント／地域などへの洞察を与える場合、この情報を利用して、この所定の患者との将来の対話で使用すべき最も適したモデルを選択してもよく、また、この情報を同様に使用して、同様の属性を共有する個人に適用されるモデルをトレーニングしてもよい。
パーソナライザ２０３８は、人口セグメント及び属性に基づいてモデルを個人化することに加え、特定の個人の過去の履歴及びその個人に関して知られている標識データに基づいて特定の個人に関してモデル又はモデルのセットを個人化してもよい。このアクティビティは、母集団全体又はセグメント全体のモデリングに依存するよりも計算コストが高くなるが、より正確で粒度の細かい結果をもたらす。全ての個人化されるモデルは、患者評価のために必要とされるまで保持するべく、パーソナライザ２０３８からモデルリポジトリ２０５０へ与えられる。
その後、解析中、クライアント２６０ａ～ｎが最初に特定され、また、可能な場合、個人化されたモデルがクライアントのスクリーニング又はモニタリングのために使用されてもよい。利用できないが、メタデータが個人に関して知られていれば、最も具体的なセグメントのための最も具体的なモデルが、スクリーニング又はモニタリングで使用される。利用可能なメタデータがなければ、選択されたモデルが一般的な母集団全体のモデルである。そのような段階的なモデリング構造を利用すると、クライアント２６０ａ～ｎに関して知られているより多くの情報により、より具体的で正確なモデルを採用することができる。したがって、それぞれのクライアント２６０ａ～ｎごとに、クライアントに利用可能なデータが与えられた場合に「最良の」モデルが活用される。
情報の一般的な全体流れが（図２２）に示される。リアルタイムシステム３０２の評価テストアドミニストレータ２２０２は、患者デバイス３１２を介して患者と対話型会話を行なう。患者の応答性視聴覚信号は、患者デバイス３１２からリアルタイムシステム３０２によって受信される。リアルタイムシステム３０２と患者デバイス３１２との間の情報の交換は、患者デバイス１１２で実行する専用アプリを介して、又は、患者デバイス３１２と評価テストアドミニストレータ２２０２のビデオコールロジックとの間の従来のビデオコールを介して行なってもよい。この例示的な実施形態は視聴覚信号を使用して患者の状態を評価するが、別の実施形態では、音声のみの信号を使用して良好な結果を得ることができることが理解されるべきである。そのような別の実施形態において、通常の音声のみの電話会話は、評価テストアドミニストレータ２２０２による評価のための手段として役立つことができる。
以下でより完全に説明される態様で、評価テストアドミニストレータ２２０２は、複合モデル２２０４を使用して、患者の状態をリアルタイムで、すなわち、口頭会話が起こる際に評価する。そのような中間評価は、以下でより完全に説明される態様で、会話を制御することにより患者にとって会話をより応答性が高く、したがってより魅力的にするために使用され、及び、最終的評価の精度を維持しながら会話をできるだけ短くするのに役立つべく使用される。
モデリングシステム３０４は、評価テスト中に患者の視聴覚信号を含む収集された患者データ２２０６を受信する。評価テストが患者デバイス３１２、患者デバイス３１２で実行する専用のアプリを含む実施形態において、モデリングシステム１０４は、患者デバイス３１２から収集された患者データ２２０６を受信してもよい。或いは、評価テストが患者デバイス３１２とのビデオ通話又は音声通話を伴う実施形態において、モデリングシステム３０４は、リアルタイムシステム３０２から収集された患者データ２２０６を受信する。
モデリングシステム３０４は、臨床データサーバ３０６から臨床データ２２２０を取り出す。臨床データ２２２０は、一般に、患者、評価テストアドミニストレータ２２０２によって評価された他の患者、及び、本明細書中に記載される様々なモデルのいずれかをトレーニングするのに役立ち得る一般大衆に関連する任意の利用可能な臨床データを含む。
前処理２２０８は、最適な解析のために任意の視聴覚データを調整する。開始すべき高品質の信号があると、正確な解析を行なうのに非常に役立つ。前処理２２０８はモデリングシステム３０４内に示される。別の実施形態では、複合モデル２０４の適用における精度を向上させるために、前処理がリアルタイムシステム３０２に含まれる。
発話認識２２１０は、自動発話認識（ＡＳＲ）を含めて、前処理２２０８の後に視聴覚データで表わされる発話を処理する。ＡＳＲは従来型であってもよい。言語モデルトレーニング２２１２は、発話認識２２１０の結果を使用して、言語モデル２１４をトレーニングする。
音響モデルトレーニング２２１６は、前処理２２０８後に視聴覚データを使用して音響モデル２２１８をトレーニングする。視覚モデルトレーニング２２２４は、前処理２２０８後に視聴覚データを使用して視覚モデル２２２６をトレーニングする。対象患者のために十分なデータ（収集された患者データ２２０６及び臨床データ２２２２の両方）が利用できる範囲で、言語モデルトレーニング２２１２、音響モデルトレーニング２２１６、及び、視覚モデルトレーニング２２２４は、特に対象患者に関して、言語モデル２２１４、音響モデル２２１８、及び、視覚モデル２２２６をそれぞれトレーニングする。また、トレーニングは、対象患者と１つ以上の表現型を共有する患者に関して臨床データ２２２２を使用してもよい。
以下でより完全に説明される態様で、複合モデルビルダ２２２２は、言語モデル２２１４、音響モデル２２１８、及び、視覚モデル２２２６を臨床データ２２２０と組み合わせて使用して、言語モデル、音響モデル、及び、視覚モデルを複合モデル２２０４へと組み合わせる。次に、評価テストアドミニストレータ２２０２は、複合モデル２２０４をリアルタイムで使用して、対象患者の現在の状態を評価し、それに応じて、以下でより完全に説明されるように、口頭会話を対象患者に応答させる。
前述したように、評価テストアドミニストレータ２２０２は、患者デバイス３１２を介して対象患者と対話型口頭会話を行なうことによって対象患者に対して鬱病評価テストを実施する。
ここで、（１又は複数の）ランタイムモデルサーバ２０１０により使用される特定のモデルに注目する。図２３Ａに移ると、音響モデル２０１６の具体化の１つの例に関する一般的なブロック図が与えられる。発話及びビデオデータは、時間的動態モデラ２３３０と協調して動作する高レベル特徴表示器２３２０に与えられる。これらの構成要素の動作に影響を与えるのは、記述的特徴２０１８からの特徴、発話モデル及びビデオモデル２０１５，２０１７から生成される結果をそれぞれ消費するとともに、臨床データ及びソーシャルデータを消費するモデルコンディショナ２３４０である。
音響モデル２０１６に戻ると、高レベル特徴表示器２３２０及び時間的動態モデラ２３３０は、入ってくる音響信号内の特徴を特定してそれらをモデルに供給する生のより高レベルの特徴抽出器２３１０の出力も受信する。高レベル特徴表示器２３２０及び時間的動態モデラ２３３０は音響モデル結果を生成し、この音響モデル結果は、個人の健康状態を分類する最終結果へと融合されてもよく、また、調整目的で他のモデルによって消費されてもよい。
高レベル特徴表示器２３２０は、周波数、ピッチ、振幅、及び、特徴分類への貴重な洞察を与える他の音響特徴のために活用する既存のモデルを含む。幾つかの既製の「ブラックボックス」アルゴリズムが、音響信号入力を受け入れ、情緒状態の分類に付随する精度を与える。例えば、悲しみ、幸福、怒り、及び、驚きなどの情緒は、既存のソリューションを使用して音響サンプルで既に特定され得る。嫉妬、緊張感、興奮、陽気、恐れ、嫌悪感、信頼、及び、期待などの更なる情緒も、それらが進展されるように活用される。しかしながら、現在のシステム及び方法は、これらの情緒、情緒の強さ、及び、情緒における信頼度を、特定の精神的健康状態を表わす情緒プロファイルのパターンに一致させることによって更に先へと進む。例えば、鬱病に苦しんでいることが知られている患者に基づき、鬱病を示す回答者の情緒状態を特定するために、パターン認識がトレーニングされてもよい。
図２３Ｂは、音響モデリングブロック２３４１を含む図２３Ａの一実施形態を示す。音響モデリングブロック２３４１は幾つかの音響モデルを含む。音響モデルは、機械学習アルゴリズムを使用する別個のモデルであってもよい。図２３Ｂに示されるモデルの例示的なリストは、必ずしも想定し得るモデルの包括的なリストとは限らない。これらのモデルは、既存の第三者モデルと内部で派生したモデルとの組み合わせを含んでもよい。図２３Ｂは、音響埋め込みモデル２３４２、スペクトル時間モデル２３４３、音響効果モデル２３４５、話者人格モデル２３４６、イントネーションモデル２３４７、時間／発話速度モデル２３４８、発音モデル２３４９、及び、流暢性モデル２３６１を含む。これらのモデルにより使用される機械学習アルゴリズムとしては、ニューラルネットワーク、ディープニューラルネットワーク、サポートベクトルマシン、決定木、隠れマルコフモデル、ガウス混合モデルなどが挙げられる。
図２３Ｃはスコア較正・信頼度モジュール２３７０を示す。スコア較正・信頼度モジュール２３７０は、スコア較正モジュール２３７１及び性能推定モジュール２３７４を含む。スコア較正モジュール２３７１は、分類モジュール２３７２及びマッピングモジュール２３７３を含む。
スコア較正・信頼度モジュール２３７０は、視聴覚データを解析していてもよいニューラルネットワーク又は深層学習ネットワークなどの機械学習アルゴリズムによって生成される生のスコアを入力として受け入れてもよい。また、スコア較正・信頼度モジュール２３７０は、データを分類すべき標識のセットを受け入れてもよい。標識は臨床医によって与えられてもよい。分類モジュール２３７１は、スコアの値に基づいて、１つ以上の標識を生のスコアに適用してもよい。例えば、スコアが１に近い確率である場合、分類モジュール２３７１は、スコアに「重症」標識を適用してもよい。分類モジュール２３７１は、臨床医によって設定された基準に基づいて標識を適用してもよく、又は、例えば機械学習アルゴリズムを使用して、スコアのための標識をアルゴリズム的に決定してもよい。マッピングモジュール２３７２は、１２０～１８０又は０～７００などの数値範囲内に収まるように生のスコアをスケーリングしてもよい。分類モジュール２３７１は、マッピングモジュール２３７２の前又は後に動作してもよい。
データを較正した後、スコア較正・信頼度モジュール２３７０は、標識付けされてスケーリングされたスコアに関する性能を推定することによって信頼度指標２３７６を決定してもよい。性能は、持続時間、音質、アクセント、及び、他の特徴など、収集されたデータの特徴を解析することによって推定されてもよい。推定された性能は、スコアに適用される加重パラメータであってもよい。この加重パラメータがスコア信頼度を成してもよい。
音響モデルの２０１６の運用に関するより詳細な文脈及び説明を与えるため、図２４に関連して、高レベル特徴表示器２３２０の１つの想定し得るバージョンの非常に簡略化された単一の具体化が行なわれる。この例が、単なる例示目的のためだけに与えられており、高レベル特徴表示器２３２０の実施形態を決して限定しようとするものでないことに留意すべきである。
この例示的な実施形態において、生の高レベル特徴抽出器２３１０は、音響データ信号を取得して、それをスペクトル写真画像２３２１に変換する。図５５は、話している人間のそのようなスペクトル写真５５００の画像の一例を与える。この種のスペクトル写真は、音声信号周波数、信号の振幅（ここでは、強度／周波数の標識付けの暗さに関して提示される）、及び、時間に関する情報を１つの軸に沿って与える。そのようなスペクトル写真５５００は、ピッチ、カデンツ、エネルギーレベルなどのように、音響信号の生の特徴と見なされる。
その後、スペクトル写真サンプラ２３２３が、一定の時間枠で画像の一部を選択し、例えば、時間０～１０秒が、１つの標準的なサンプルサイズであるが、他のサンプル時間長も想定し得る。図５６は、スペクトル写真５６００のサンプリングされた部分５５０２の一例を与える。この画像データは、その後、この特定の非限定的な例では、ＭｘＮ行列（ｘ）として表わされる。その後、変数としてｘを含むとともに解が分かっている方程式が、該方程式内の未知の変数（行列及びベクトル）の推定値を決定するために処理される。例えば、
Figure 0007608171000001
などの一次方程式が利用されてもよい。前述のように、解ｙが知られている。
これは、未知の変数（この方程式の例ではｗＴ及びｂ）におけるランダム化された推測のセットを決定することを含む。これらの推測された変数を使用して方程式が解かれ、また、この解かれた解の誤差が既知の解の値を使用して計算される。誤差は次のように計算される：
Figure 0007608171000002
 。
このプロセスを反復して数百万回ではないにしても数千回繰り返すことにより、実際の変数値に近似する変数の値が決定されてもよい。これはブルートフォース回帰であり、この場合、誤差値（
Figure 0007608171000003
 ）が最小化される。
この概算値は、入力された方程式に応じて、検査されている精神状態を抽象化したものである。システムは、応答が精神状態を示しているか否かを示す変数に関して、既に決定された閾値又はカットオフ値２３２２を有してもよい。これらのカットオフ値は、精神状態が既に分かっている個人からの応答を解析することによってトレーニングされる。
方程式の決定では、前述のように、深層学習手法を活用してもよい。これは、回帰型ニューラルネットワーク２３２４及び／又は畳み込みニューラルネットワーク２３２５を含んでもよい。場合によっては、例えば、長短期記憶（ＬＳＴＭ）又はゲート付き回帰ユニット（ＧＲＵ）が使用されてもよい。このようにして、鬱病又は代わりの精神状態が応答の音響部分で直接に解析されてもよい。これは、パターン認識を伴う既製の情緒検出「ブラックボックス」システムの使用と組み合わせて、この例では音響解析出力２３２７として与えられる音響信号に基づいて精神状態の分類器２３２６によりロバスト性が高い分類をもたらしてもよい。
前述のように、スペクトル写真を解析の特徴として使用するこの例は、高レベル特徴表示器２３２０のアクティビティの多くの想定し得る具体化のうちの１つにすぎない。これらの特徴を処理するための他の特徴及びメカニズムも同様に解析されてもよい。例えば、ピッチレベル、分離された呼吸パターン、音響信号の総エネルギーなどは全て、健康状態を示すものとして特徴を分類するべく同様の時間ベースの解析にさらされる。
ここで、図２５を参照すると、ＮＬＰモデル２０１５がより詳細に与えられる。このシステムは、ＡＳＲシステム２０１２からの出力を消費し、それに関してＡＳＲ出力ポストプロセッサ２５１０により後処理を行なう。この後処理は、ＡＳＲ出力の調整を含む（複数の出力が存在するとき）。後処理は、同様に、ｎ－ｇｒａｍ生成、構文解析アクティビティなどを含んでもよい。
同様に、ビデオモデル及び音響モデル２０１６，２０１７のそれぞれからの結果、並びに、臨床データ及びソーシャルデータは、言語モデル２５５０の機能を変更するためにモデルコンディショナ２５４０によって消費される。言語モデル２５５０は、時間的動態モデラ２５２０と協調して動作して、ＮＬＰモデル結果を生成する。
言語モデル２５５０は幾つかの別個のモデルを含む。図２５に示されるモデルの例示的なリストは、必ずしも想定し得るモデルの包括的なリストとは限らない。これらのモデルは、既存の第三者モデルと内部で派生したモデルとの組み合わせを含んでもよい。言語モデルは、標準的な機械学習アルゴリズム又は深層学習アルゴリズム、並びに、ｎ－ｇｒａｍなどの言語モデリングアルゴリズムを使用してもよい。例えば、感情モデル２５５１は、人間又は機械発話認識器によって転写されてしまった当初のテキストサンプル又は口頭サンプルのいずれかを使用して、ディスカッションの感情が一般に肯定的又は否定的であるかどうかを決定するように出力する、容易に利用できる第三者モデルである。一般に、肯定的な感情は鬱病と逆相関し、一方、否定的な感情は鬱病分類と相関する。
統計的言語モデル２５５２は、ＡＳＲ出力内のｎ－ｇｒａｍ及びパターン認識を利用して、パターン及びｎ－ｇｒａｍ頻度を鬱病の既知の指標と統計的に一致させる。例えば、特定の一連の単語が鬱病を統計的に示してもよい。同様に、話者により使用される特定の語彙及び単語タイプは、鬱病又は鬱病がないことを示してもよい。
話題モデル２５５３は、ＡＳＲ出力内の話題のタイプを特定する。死、自殺、絶望、及び、価値（又はその欠如）などの特定の話題は全て、鬱病の分類と正の相関関係があってもよい。更に、行動（動詞の使用量によって示される）と鬱病との間には潜在的な負の相関関係がある。したがって、動詞の使用量が高いＡＳＲ出力は、クライアント２６０ａ－ｎが鬱状態にないことを示してもよい。更に、被検者に与えられる既知の質問又はプロンプトに基づく話題モデリングは、精神的健康状態に関する回答を処理するために事前にトレーニングされた話題固有のモデルを使用することにより、より良い性能を生み出すことができる。
構文モデル２５５４は、ＡＳＲ出力の焦点が内部対外部である状況を特定する。「私は」及び「私を」などの用語の使用は内部焦点を示すが、「あなたは」及び「彼らは」などの用語は内部的焦点が少ないことを示す。より多くの内部焦点が、鬱病の機会の増大と一般に相関されると特定されてしまっている。構文モデル２５５４は、発話の複雑さに更に目を向けてもよい。鬱状態の個人は、文の複雑さが減少する傾向がある。更に、強い又は二極化される言語により示されるエネルギーレベルは、鬱病と負の相関関係にある。したがって、非常に単純で、内部に焦点を合わせた文を伴うとともに低エネルギーの記述的言葉を伴う人は、鬱状態の分類を示す。
埋め込み・クラスタリングモデル２５５６は、単語を原型的な単語又は単語カテゴリーにマッピングしてもよい。例えば、「子猫」、「猫」、「キティー」という用語は全て「キャット」という用語にマッピングされてもよい。他のモデルとは異なり、埋め込み・クラスタリングモデル２５５６は、患者が鬱状態にあるか否かの直接的な表示を生成せず、むしろ、このモデルの出力は他の言語モデル２５５０によって消費される。
対話・談話モデル２５５７は、スペーサワード（「ｌｉｋｅ」、「ｕｍｍ」など）の待ち時間及び使用法を特定する。更に、対話・談話モデル２５５７は、質問対発言などの対話行為を特定する。
情緒又は感情モデル２５５８は、スコア、一般に、サンプルがそれぞれの前記情緒ごとに事前にトレーニングされたモデルとどれほど良く一致するかを表わす所定の情緒（例えば、幸せ、悲しい）のセットに関する事後確率を与える。その後、これらの確率は、精神的健康状態モデルへの入力として及び／又は転移学習設定において様々な形で使用され得る。話者人格モデル２５５９が、スコア、一般に、サンプルがそれぞれの前記特質ごとに事前にトレーニング済みモデルとどれだけ良く一致するかを表わす所定の話者人格特質（例えば、快感、開放性）のセットに関する事後確率を与える。その後、これらの確率は、精神的健康状態モデルへの入力として及び／又は転移学習設定において様々な形で使用され得る。
ＡＳＲ事象を使用する非言語モデル２５６１は、とにかく精神状態を示し得る患者の非語彙発話に基づいてスコアを与えてもよい。これらの発話は、ＡＳＲによって拾い上げられて転写されてもよい、笑い、ため息、又は、深呼吸であってもよい。
テキスト品質信頼度モジュール２５６０は、ＡＳＲ出力ポストプロセッサ２５１０の出力に関する信頼度指標を決定する。信頼度指標は、テキストメタデータ（患者に関する人口統計情報、環境状態、記録方法など）並びに文脈（例えば、発話サンプルの長さ、尋ねられる質問）に基づいて決定されてもよい。
これらのモデルのそれぞれが、互いに影響を及ぼすとともに、結果及び／又はこれらの結果が分類される方法に影響を与えてもよいことに留意すべきである。例えば、低エネルギー言語応答は一般に鬱病を示すのに対し、高エネルギーの言葉遣いは鬱病と負の相関関係がある。
ここで、図２６のビデオモデル２０１７に目を向けて、ビデオデータを消費する一群の特徴抽出器２６１０を再び参照する。特徴抽出器２６１０内には、人の顔のエッジを認識して処理のために画像のこの領域を抽出するフェイスバウンダ２６１１がある。明らかに、顔の特徴は、個人がどのように感じているかについての有意な入力を与える。悲しみ、倦怠感、心配などは全て鬱状態と関連付けられるのに対し、歓喜、興奮、及び、陽気は全て鬱病と負の相関関係にある。
更に、より具体的な境界が考えられ、例えば、眼の周りの領域は、口の周りの領域とは別に解析されてもよい。これにより、文脈に基づいて異なる画像領域に更に重点を置くことができる。この一組の例では、口の周りの領域が一般に個人の気分に関する大量の情報を与えるが、人が話しているとき、このデータは、発話形成と関連付けられる動きに起因して不正確になる可能性が高い。音響モデル及び言語モデルは、口領域抽出の解析への依存を減らすためにユーザがいつ話しているかについての洞察を与えてもよい。これに対し、眼の周りの領域は、誰かが話しているときは一般に非常に表情豊かであり、そのため、この特徴への依存は、個人が話している最中により多く依存される。
姿勢追跡器２６１２は、より大きな体の動き又は位置を見ることができる又は見ている。しゃがんだ姿勢は、不安、悲しみ、及び、鬱病を示す他の特徴を示す。過剰なそわそわした挙動の存在又は逆に異常な静けさも同様に鬱病を示す。しかしながら、適度な動き及びそわそわした挙動は、鬱病と関連付けられない。同様に、直立姿勢及びリラックスした動きは逆に鬱病分類に関連付けられる。最後に、個人が座ったり立ったりする方向でさえ、鬱病の指標である。カメラに直接に向き合うユーザは、鬱状態にある可能性が低い。これに対し、自分の体をカメラに対して斜めに位置させる或いはさもなければ自分自身をカバーする（例えば腕を組むことによって）個人は、鬱状態にある可能性が高い。
凝視追跡器２６１３は、ユーザがどこを見ているか及び（何の刺激に応答して）何時人の凝視が移動するかを決定するのに特に有用である。クライアントデバイス２６０ａ－ｎのスクリーン又はカメラを見ることは、関与、信頼度、誠実さ－これらは全て非鬱状態の証を示す。一方、絶えず見下ろしていることは、鬱病を示唆である。絶えず変化する凝視は、緊張感及び不正直を示す。そのようなフィードバックは、個人が自分の回答を回避する及び／又は完全に嘘をついている可能性が高いため、この期間中の意味論に基づいて解析の値を減らすべくＮＬＰモデル２０１５によって使用されてもよい。これは、刺激に反応して凝視パターンが劇的に変化する場合に特に当てはまる。例えば、システムが個人に自傷行為の考えがあるかどうかを尋ね、突然にユーザがカメラから目をそらし、凝視が移動した場合、そのような考えの否定（これは伝統的に、積極的に非鬱状態の表示と見なされる）は無視される。むしろ、他の抽出された特徴の解析からの音響モデル２０１６及びビデオモデル２０１７の出力に重点が置かれる。
画像処理特徴抽出器２６１４は、情緒識別子、（聴覚データとは対照的にビデオからの）発話識別子、及び、先に開示された特定のバウンダ抽出器（例えば眼の周りの領域）などの任意の数の特定の特徴抽出の形態をとってもよい。抽出された特徴の全ては、ビデオモデルの結果を生成するために連携して動作する高レベル特徴表示器２６２０及び分類器及び／又は回帰器２６３０に与えられる。他のモデルと同様に、ビデオモデル２０１７は、ＮＬＰモデル２０１５及び音響モデル２０１６の出力と臨床データ及びソーシャルデータとによって影響される。モデルコンディショナ２６４０は、この情報を利用して、何の解析が実行されるのか又は任意の特定の所見に与えられる重みを変更する。
図２７の記述的特徴モジュール２０１８は、発話及びビデオデータの解析によってもたらされる直接測定値２７１０及びモデル出力２７２０を含む。記述的特徴モジュールは、ランタイムモデルサーバ２０１０又はモデルトレーニングサーバ２０３０のいずれにも含まれなくてもよい。代わりに、記述的特徴が音響モデル及びＮＬＰモデルに組み込まれてもよい。図２７の記載に開示されるのは、記述的特徴の例である。多くの異なる測定値２７１０及びモデル出力２７２０が記述的特徴２０１８のモジュールによって収集される。例えば、測定値は、少なくとも１分間ごとに話者の単語を追跡する発話速度解析器２７１１を含む。より速い発話は、一般に、興奮、エネルギー、及び／又は、緊張感を示す。
一方、遅い発話速度は、躊躇、無気力、又は、難しい話題の存在を示す。単独では、この測定値は殆ど値を有さないが、他のモデルの入力として使用される場合、発話速度は、これらの他のモデルによる更に正確な分類を可能にする文脈を与える。同様に、エネルギー解析器２７１３は、音声成分の全音響エネルギーを測定する。エネルギーの増大は、対話の特定の部分、一般的な興奮、又は、無気力レベルなどに重点を置くことを示し得る。この場合も先と同様に、そのような情報だけでは、人が鬱病であるかどうかを決定するのに殆ど役立たないが、他のモデルと組み合わせると、適切な分類が行なわれるようにするのに役立つ。例えば、人が自分のペットの犬について話しているときにエネルギーレベルが増大する場合、システムは、この話題が個人にとって関心があると決定し、また、解析のために更なるユーザデータを収集するべくより長い対話が必要とされる場合には、対話がこの話題へと誘導されてもよい。時間解析器２７１５が、対話にわたって文脈を与えるべく、日時、週、及び、年を決定する。例えば、人々は、一般に、冬の数か月、特定の休日の前後、並びに、周の特定の曜日及び日時に更に鬱状態になる。この全てのタイミング情報は、（話題性を与えることによって）対話を変えるように又はこれらの傾向を反映するべく分類閾値を僅かに変更できるようにすることにより使用できる。
モデル出力２７２０は、話題解析器２７２１、様々な情緒解析器２７２３（不安、喜び、悲しみなど）、感情解析器２７２５、関与解析器２７２７、及び、覚醒解析器２７２９を含んでもよい。これらの解析器の一部は、他のモデルでも同様に機能する場合があり、例えば、ＮＬＰモデル２０１５は既に感情モデル２５５１を含むが、記述的特徴２０１８のモジュールにおける感情解析器２７２５は、他のモデルから独立して動作するとともに、出力が類似している場合でも異なる入力変数を含む。
関与解析器２７２７は、クライアント２６０ａ～ｎが対話にどの程度関与しているかを決定するように動作する。高レベルの関与は、誠実さ及び熱意を示す傾向がある。覚醒解析器２７２９は、ユーザがどれほど精力的又は無気力であるかについての洞察を与える。記述的特徴２０１８のモジュールの重要な特徴は、測定されたか又はモデル出力の結果であるかにかかわらず、これらの特徴のそれぞれが正規化器２７３０によって個人により正規化されることである。例えば、一部の人は他の人よりも速く話すだけであり、また、この個人の他の人に対する１分間当たりの単語のより高い測定値は、異常な何かを示さない場合がある。これらの特徴のいずれかの程度は、正規化器２７３０によって特定の個人のベースラインレベルに応じて調整される。明らかに、正規化器２７３０は、任意の所定の個人に関して収集されるより多くのデータをより正確に動作させる。クライアント２６０ａ－ｎとの初めての対話は、直ぐに効果的に正規化され得ないが、対話が進むにつれて、この人の発話速度、エネルギーレベル、関与、一般的な感情／態度などに関するベースラインを決定できる能力は、これらの特徴の経時的変化の標準的な統計解析を使用してより容易に確認され得る。これは、任意の所定の個人との複数の対話後に特に当てはまるようになる。
正規化後、システムは、傾向追跡器２７４０による解析によって個人に関するこれらの特徴の傾向を特定してもよい。傾向追跡器は、対話を時間領域によって分割し、様々な期間同士の間の値の変化を探す。統計的に有意な変化、特に複数の期間にわたって継続する変化は、この個人に関する特徴における傾向として特定される。生の形式及び正規化された形式の両方の特徴並びに任意の傾向は全て、記述的結果として出力される。
図のいずれでも扱われないが、代わりのデータソースを使用してクライアント２６０ａ－ｎの健康状態に関する分類を行なうために更なるモデルが使用されることは、完全に本開示の実施形態の範囲内である。例えば、クライアントデバイスが対話中に個人から生体認証データ（温度、皮膚化学データ、脈拍数、運動データなど）を収集できてもよいことが議論されてきた。これらの入力に焦点を合わせたモデルは、このデータに基づく決定に到達するために（１又は複数の）ランタイムモデルサーバ２０１０によって活用されてもよい。開示されたシステムは、診断目的で、皮膚（例えば、コルチゾール）、汗、温度変化（例えば、紅潮）、及び、心拍数の変化などにおける化学的マーカーを特定してもよい。
（１又は複数の）ランタイムモデルサーバ２０１０の詳細がかなり深くに議論されてきたので、図２８に関連してより詳細に見られるように、今度は、対話エンジン２０４３に注意を向ける。対話エンジン２０４３の構成要素を特徴付けるプロセスフロー図が図８に描かれる。対話エンジン２０４３は、（１又は複数の）ウェブサーバ２４０とクライアント２６０ａ－ｎとの間の対話を決定付ける。前述のように、これらの対話は、設定された番号及び順序又は質問を伴って、質疑応答セッションから成ってもよい。そのような実施形態において、このタイプの評価は、スクリーニング又はモニタリング精度の向上のための音声及びビデオの捕捉を除き、鬱病診断のために以前に活用されたもの実質的に自動化されたバージョンである。そのような質問及び回答は、クライアントデバイスに表示されるテキストの質問を用いて又は質問の言語録音によって行なわれてもよい。しかしながら、そのようなシステムは、一般に、クライアント２６０ａ～ｎに特に関与しておらず、対話が誠実に完了されるように或いは対話が早期に終了されるようにしてもよい。したがって、この図に見られるような更に高度な対話エンジン２０４３を必要とする動的対話を有することが望ましい。
この対話エンジン２０４３は、異なるプロンプト、質問、及び、他の対話など、幾つかのアクションをとることができる能力を含む。これらは、質問・アクションバンク２８１０に記憶される。また、対話エンジン２０４３は、対話で既に起こってしまったこと及び対話の現在の状態を追跡する履歴・状態機械２８２０も含む。
状態及び履歴の情報、想定し得る質問及びアクションのデータベース、並びに、更なるデータは、対話における次段階ステップを決定するために対話モデラ２８３０によって消費される。消費される他の情報は、ユーザデータ、クライアントが対話するようになっている臨床データ及びソーシャルデータ、並びに、モデル結果、ＮＬＰ出力、及び、記述的特徴結果から成る。ユーザデータ、臨床データ、及び、ソーシャルメディアデータは全て、ユーザの好みを明らかにするためにユーザ選好解析器２８３２によって消費される。前述したように、ユーザにアピールすることは、スクリーニング又はモニタリングを成功させるための大きなハードルのうちの１つである。ユーザがシステムを使用したくない場合は、ユーザは、そもそもシステムを使用しないか、或いは、対話を時期尚早に終わらせる場合がある。或いは、不快な対話は、ユーザをシステムに関してあまり誠実に且つオープンにさせなくする場合がある。個人の鬱病又は健康状態を適切にスクリーニングできないことは一般に深刻な問題である。これは、これらの個人が支援がなければ自分達の病気に苦しみ続ける可能性が高く或いは更に悪いことに時期尚早に死亡する可能性が高いからである。したがって、ユーザとの関与の度合いが高いと、文字通り命を救うことができる。
選好情報を決定することにより、ユーザの興味や欲求にアピールする態様で対話が調整される。ソーシャルメディアフィード内で特定される話題は、ユーザの興味をそそるために対話に組み込まれる。ユーザから収集される選好データは、対話をよりユーザフレンドリーになるように調整し、また、対話体験をユーザフレンドリーにするべく臨床データで明らかにされたユーザの特定のニーズ又は制限も同様に活用される。例えば、ユーザが難聴を経験するという情報を臨床データが含む場合には、対話を更に容易にするべく対話の量が比例的に増大されてもよい。同様に、自分達の優先言語がスペイン語であることをユーザが示唆する場合、システムはこの言語での対話を自動的に実施してもよい。
これに対し、記述的特徴及びモデル結果は、ユーザが質問に回答したかどうか（対話が質問－回答形式である場合）を決定するために、或いは、適切な分類をもたらすために十分なデータが収集されてしまった場合には対話がより一層「自由形式」の会話であるか又は更には関心のある話題に関するクライアントによる独白であるかどうかを決定するためにユーザ応答解析器２８３１によって使用される。
更に、ナビゲーションモジュール２８３４が、ＮＬＰ出力を受信して、コマンド言語に関するＮＬＰ結果をほぼリアルタイムで意味的に解析する。そのようなコマンドは、「繰り返してもらえますか？」、「声を上げてください」、「それについて話したくない」などの発言を含んでもよい。これらのタイプの「コマンド」フレーズは、即時アクションがユーザによって要求されていることをシステムに示す。
ナビゲーションモジュール２８３４、ユーザ応答解析器２８３１、及び、ユーザ選好解析器２８３２のそれぞれからの出力は、質問・適応アクションバンク２８１０及び履歴・状態機械２８２０へのアクセスに加えて、アクション発生器２８３３に与えられる。アクション発生器２８３３は、ルールベースのモデルを適用して、質問・適応アクションバンク２８１０内のいずれのアクションが適切であるかを決定する。或いは、ルールベースの決定モデルの代わりに機械学習モデルが適用される。これは、クライアント２６０ａ－ｎに対する通信のためにＩＯ ２０４１に供給されるカスタマイズされたアクションの出力をもたらす。カスタマイズされたアクションは、同様に、現在の状態及び過去のアクションが適切に記録されるように履歴・状態機械２８２０に送り戻される。カスタマイズされたアクションとしては、例えば、特定の質問をすること、話題を促すこと、他の声又は言語に切り替えること、対話を終了すること、対話の音量を変更すること、発話速度、フォントサイズ、及び、色を変更することなどを挙げることができる。
健康スクリーニング又はモニタリングシステム２０００の構造及びシステムがかなり詳細に説明してきたので、今度は、クライアントの健康スクリーニング又はモニタリングのプロセス２９００の１つの例に注意を向ける。プロセスのこの例では、クライアントに関する臨床データ及びソーシャルデータが照合されてデータストア内に記憶される（ステップ２９１０において）。この情報は、クローラ又は同様の手段を利用するソーシャルメディアプラットフォームから収集されてもよい。臨床データは、健康ネットワーク、医師、保険会社などから収集されてもよい。幾つかの実施形態において、健康スクリーニング又はモニタリングシステム２０００は、介護提供者の拡張として展開されてもよく、これにより、プライバシー法（ＨＩＰＡＡなど）の違反に関する懸念を減らしてそのような臨床データの共有を行なうことができる。しかしながら、健康スクリーニング又はモニタリングシステム２０００がヘルスケアネットワークの外部で別個のエンティティとして動作される場合、適用される規制を順守したまま臨床データをオープンに共有できるようにするには、更なる同意、暗号化プロトコル、及び、個人的に特定できる情報の削除が必要とされる場合がある。臨床データとしては、電子健康記録、医師のメモ、投薬、診断などを挙げることができる。
次に、プロセスは、クライアントの対話を解析するためにモデルが利用可能であることを必要とする場合がある。標識付きデータ（鬱病の確定診断又は帰属診断）を含む初期データセットは一連のトレーナに供給され、トレーナは、個々のモデルをトレーニングし、その後、それらを組み合わせモデルへと融合する（２９２０において）。このようなトレーニングは、更なるメタデータが利用可能な場合のモデルの個人化を含んでもよい。
図３０は、そのようなモデルトレーニングのためのプロセスの一例のより詳細な例示を与える。前述のように、標識データが受信される（３０１０において）。標識は、鬱病（又はスクリーニングされている他の健康状態）の確定診断を含む。同様に、標識が帰属され得る或いはさもなければ推定され得る状況は、トレーニングデータセットを増強するために使用される。
帰属標識データは、所定のクライアントとの医療記録及び／又は対話記録の手動レビューによって受信される。例えば、予測モードでは、標識が不明な場合、患者記録、システム予測、臨床的に検証された調査やアンケート、及び、他の臨床データなどの他の情報が与えられるデータポイントに関する標識を推定できるかどうかを決定することができる。標識データセットの相対的な希少性、及び、正確なモデルを生成するための多数のトレーニングサンプルの必要性に起因して、標識データが鬱病の確認された症例だけでなくこれらの推定標識も含むことが多くの場合に重要である。
更に、プロセスは、フィルタリングされたデータを受信する（３０２０において）ことを含む。このデータは、標識が分かっている（又は推定される）データのみが使用されるようにフィルタリングされる。次に、各モデルがトレーニングされる。そのようなトレーニングとしては、ＮＬＰモデル（３０３０において）、音響モデル（３０４０において）、ビデオモデル（３０５０において）、及び、記述的特徴（３０６０において）のトレーニングが挙げられる。これらのトレーニングプロセスが任意の順序で行なわれる或いは並行してトレーニングされることに留意すべきである。幾つかの実施形態において、並行トレーニングは、様々なモデル間の相互依存関係を生成することを含む。これらの相互依存性は、ここで開示されるシステム及び方法を、健康状態に関する改善された非常に正確な分類を独自に提供できるようにする重要な特徴のうちの１つである。
結果として生じるトレーニング済みモデルは融合又は集約され、また、最終的な融合トレーニング済みモデルが記憶されてもよい（３０７０において）。モデル（個別モデル及び融合モデルの両方）はモデルリポジトリに記憶される。しかしながら、異なる母集団グループ或いは更には特定の個人に合わせてカスタマイズされるモデル変異体を生成する（３０８０において）ことも望ましい。
モデルのカスタマイズ及び個人化のためのプロセスについては、図３１に関連して更に詳しく説明する。個人化は、フィルタリングされたトレーニングデータとともに記憶されるメタデータに依存する。このメタデータは（３０８１において）受信される。特定の母集団セグメント特徴がメタデータで特定されて抽出される（３０８２において）。これらのセグメント特徴は、そのセグメントに固有のモデルをトレーニングするために使用される。これは、これらのセグメント化特徴によってフィルタリングされたトレーニングデータをクラスタリングすることによって実現される（３０８３において）。それぞれが重なり合わない又は継続的に粒度が増加する幾つかの想定し得るセグメントに所定のトレーニングピースが含まれてもよい。
例えば、標識付けされたトレーニングデータが既知の個人から受信されたと仮定する。この例では、この個人が７０代の黒人女性として特定される。その後、このトレーニングデータを使用して、アフリカ系アメリカ人の個人、アフリカ系アメリカ人の女性、女性、高齢者、高齢女性、アフリカ系アメリカ人の高齢者、及び、アフリカ系アメリカ人の高齢女性に固有のモデルに関してトレーニングする。このように、トレーニングデータのこの単一のピースを使用して、それぞれが僅かに異なる範囲と粒度レベルを持つ７つの異なるモデルを生成する。年齢が更に分割される状況では、このデータからトレーニングされるようになっているモデルのこの数が更に増大される（例えば、成人女性、５０歳を超える女性、７０歳を超える女性、７０歳を超える個人など）。その後、モデルはこのセグメントごとにトレーニングされる（３０８４において）。カスタマイズされたモデルには、それらを適用できる（１又は複数の）セグメントによって注釈が付けられ（３０８５において）、それにより、個人に関する情報が分かっている分類に関して新しい応答が受信され、この応答を利用してこの人にとって最も適切な／この人のために仕立てられたモデルを選択できるときにカスタマイズされたモデルを容易に取り出すことができる。
このことは、多くの場合、ある個人の健康状態を特定するためのモデルが別の個人の分類にとって完全に不適切な場合があるため、重要である。例えば、白人の人は、アフリカ系の人と比べて異なるビデオモデルを必要とする場合がある。同様に、男性と女性は、しばしば、彼らを正確に分類するために異なる音響モデルを活用する必要がある異なる音響特性を有する。２０代前半の女性でさえ、５０代の女性とは音が異なり、８０代の女性とも異なる。ネイティブスピーカ対第二言語スピーカに関するＮＬＰモデルも同様に大幅に異なる場合がある。世代間でさえ、スラングや他の発話ニュアンスの違いに対処するために、ＮＬＰモデルは大幅に異なる。様々なレベルの粒度で個人がモデルを利用できるようにすることにより、最も適切なモデルを適用できるため、これらのモデルによる分類精度が大幅に向上する。
図３０に戻ると、この個人化が完了した後、カスタマイズされたモデルも、当初のモデル及び融合モデルとともに、モデルリポジトリに記憶される（３０９０において）。モデルのカスタマイズは一般に分類精度を向上させるが、モデルのために利用できるトレーニングデータセットの数が少ない場合には任意のそのような精度向上が危険にさらされることに留意すべきである。システムは、任意の所定のカスタマイズされたモデルをトレーニングするために使用されるトレーニングデータセットの数を追跡し、また、十分に大きい十分なトレーニングセットを伴うモデルのみがモデルリポジトリ内で「アクティブ」として標識付けされる。アクティブモデルは、新たに受信される応答データを処理するために（１又は複数の）ランタイムモデルサーバ２０１０によって使用され得る。非アクティブモデルは、これらのモデルを適切にトレーニングするのに十分なデータが収集されるまで記憶されるにすぎず、収集された時点でアクティブとして更新される。
図２９に戻ると、モデルトレーニングの後、プロセスはクライアントとの対話に関与してもよい（２９３０において）。この対話は、質問及び回答のスタイル形式、自由に流れる会話、或いは更には、話題プロンプト及びモノローグスタイルの入力を与えるクライアントから成ってもよい。
図３２は、この対話プロセスの例を示す。最初に、システムは、対話の現在の状態（３２１０において）と、対話でとられた履歴アクションとを認識する必要がある。状態機械と以前のアクションのログがこの文脈を与える。このプロセスは、ユーザ、臨床、及び、ソーシャルデータも受ける（３２２０において）。このデータは、ユーザ選好情報を抽出するために使用される（３２３０において）。例えば、選好は、言語の好み、関心のある話題などのようなユーザデータにおいて明示的に指示されてもよい。或いは、これらの選好は、臨床データ及びソーシャルデータから抽出される。例えば、ソーシャルデータは、ユーザが関心を持っている話題に関する豊富な情報を与え、また、臨床データは、アクセスのしやすさの問題などに関する洞察を与える。
更に、モデル結果が受信され（３２４０において）、該モデル結果はユーザの応答を解析する（３２５０において）とともに既に収集されたデータの妥当性に関する決定を行なうために使用される。例えば、モデル結果により未だ明確な分類がないと決定される場合、対話は、今後更に多くのデータを収集することに焦点が当てられる。或いは、信頼できる分類を行なうのに十分なデータが収集されてしまっている場合には、代わりに対話が解決に集中されてもよい。更に、対話管理は、ユーザから直接的なコマンド発言／ナビゲーションコマンドを受ける（３２６０において）場合がある。これには、最後の対話交換の繰り返し、音量の増減、質問の言い換え、より多くの時間の要求、話題のスキップの要求などのアクションが含まれる。
この全ての情報は、後続のアクションの最良の経過を決定するためにアクション発生器によって消費される（３２７０において）。アクションは、現在の状態（及び対話の以前の履歴）及び既に受信した任意のコマンド、選好、結果に応じて質問・適応アクションバンクから選択される。これは、幾つかの実施形態では、ルールベースのエンジンを使用して完了することができる。例えば、直接的なナビゲーションコマンドが別のアクションよりも優先される場合があるが、ユーザによるコマンド発言がない場合、モデル応答を現在の状態と照合して、状態の目的が達成されているかどうかを決定できる。そうである場合、対話の履歴で発生しなかった別の目的を満たすアクションがリポジトリから選択される。このアクションも、可能な場合には、選好に基づいて変更される。或いは、アクション選択は、（ルールベースのシステムではなく）機械学習モデルに基づく。
カスタマイズされたアクションは、クライアントとの対話を管理するために使用されるとともに、現在の状態及び過去の状態のアクティビティを更新するためにも使用される（３２８０において）。プロセスは、目標が満たされるかどうか及び対話を終了すべきかどうかをチェックする（３２９０において）。そうでない場合、新たな状態及び履歴の情報、並びに、新たに受信した応答データ、ナビゲーションコマンドなどに関して、プロセス全体を繰り返すことができる。
図２９に戻ると、対話中（及び処理要求に基づいて必要な場合は対話の完了後）に、クライアントの応答データが収集される（２９４０において）。このデータには、（１又は複数の）クライアントデバイスのカメラ及び（１又は複数の）マイクロフォンによってそれぞれ捕捉されたビデオ／視覚情報並びに発話／音声情報が含まれる。深く議論されていないが、収集されたデータは、同様に、触覚インタフェースなどを介した生体認証結果を含み得る。次に、この収集された応答データを使用して健康状態が分類される（２９５０において）。
図３３は、分類のためのより詳細なプロセス例を与える。モデルは最初に（３３１０において）モデルリポジトリから取り出される。ユーザデータ、ソーシャルデータ、臨床データ、発話及び視覚データは全て、処理のために（１又は複数の）ランタイムモデルサーバに与えられる（３３３０において）。臨床データ及び／又はソーシャルデータを含めることにより、以前のスクリーニング又はモニタリング方法とは別に、現在のスクリーニング又はモニタリング方法が設定される。
このデータは、アーティファクトやノイズなどを除去するために前処理される。前処理されたデータも多重化される（３３３０において）。前処理され多重化されたデータは、解析用のモデルと、第三者ＡＳＲシステムに与えられる（３３４０において）。ＡＳＲ出力は統合され（複数のＡＳＲシステムが協調して使用される場合）、また、結果として得られる機械可読発話データもモデルに提供される。次に、データはＮＬＰモデル（３３５０ａにおいて）、音響モデル（３３５０ｂにおいて）、ビデオモデル（３３５０ｃにおいて）、及び、記述的特徴（３３５０ｄにおいて）によって処理される。各モデルは並行して動作し、この場合、任意の所定のモデルからの結果が他のモデルに送られてそれらの動作が調整される。モデリングが完了したかどうかが決定される（３３６０において）。モデル結果が別のモデル結果に相互依存しているという事実に起因して、モデリングのプロセスは周期的であり、場合によっては、それにより、モデルが他のモデルの結果で調整され（３３７０において）、最終的な結果が決定されるまでモデリングプロセスが繰り返す。
図３４は、モデル調整のプロセスをより詳細に記載する。モデル調整は、基本的に、並行して動作する或いはさもなければインターリーブされる３つのサブプロセスを含む。これらは、記述的特徴（３３７１において）に加えて、音響モデル及びビデオモデルの結果を使用したＮＬＰモデルの構成、記述的特徴（３３７２において）に加えて、ＮＬＰモデル及びビデオモデルの結果を使用した音響モデルの構成、及び、記述的特徴（３３７３において）に加えて、音響モデル及びＮＬＰモデルの結果を使用したビデオモデルの構成を含む。前述したように、この調整は明確に順序付けられたプロセスではない。これは、例えば、音響モデルからの中間結果を使用してＮＬＰモデルを調整でき、その出力がビデオモデルに影響を与える場合があり、それにより、音響モデルが調整され、更新された音響モデル結果に基づいてＮＬＰモデルを調整する必要があるからである。これにより、計算プロセスがループする場合があり、この場合、各繰り返しでは、結果が前の繰り返しよりも少し正確になるように調整される。そのような計算ループには、リソースの浪費によるシステムの無限の循環及び故障を回避するために、人工的なカットオフが課される。これらのカットオフは、ループサイクルの数、又は、１つのループサイクルと次のループサイクルとの間の値の変化の程度に基づく。時間の経過とともに、あるループサイクルから次のループサイクルへの結果は、互いに益々近くなる。ある時点で、消費された処理リソースにおけるモデル精度への収益逓減に起因して、更なるループサイクルは望ましくない。
この種の調整の一例は、ユーザが話していないとＮＬＰモデルが決定する場合である。この結果は、口の境界と目の境界とに基づいて個々の顔の特徴を処理するためにビデオモデルによって使用される。しかしながら、ユーザが話しているとき、ビデオモデルは、この結果を使用して、情緒認識のためのモデルを変更し、ユーザの口の領域に依存するのではなく、むしろユーザの顔の眼の領域に依存するようにする。これは、限定的ではないため、１つのタイプのモデル調整の１つの単純化された例にすぎない。
図３３に戻ると、モデリングが完了した後、分類結果を時間領域により重み付けすることにより各モデルが組み合わされる（融合される）（３３８０において）。このサブプロセスは、図３５に関連してより詳細に説明される。前述したように、分類信頼度に起因して又は応答における事象に基づいて、あるモデルが別のモデルよりも大きく依存する場合がある。この最も明確な例は、ユーザが話していない期間がある場合に、この期間にわたるＮＬＰモデル分類が最小限に抑えられるべきであるのに対し、ビデオモデリング及び音響モデリングにおける重みにははるかに大きい重みが与えられるべきであることである。同様に、不正又はその他の不協和に起因して第３のモデルが正しくないか間違っていることを２つのモデルが示唆している場合、奇数モデルの分類もそれに応じて他のモデルより低く重み付けされてもよい。
図３５では、この重み付けプロセスが、それぞれのモデルごとにベース重みから開始することを伴う（３３８１において）。次に、応答は離散時間セグメントに分割される（３３８２において）。これらの時間セグメントの長さは構成可能であり、また、一実施形態では、殆どの口頭概念がこの時間の長さで形成されるため、時間セグメントの長さが３秒の値に設定される。次に、各モデルのベース重みは、それぞれの期間ごとに、モデル信頼レベルに基づいて変更される（３３８３において）。例えば、ＮＬＰモデルが、最初の６秒間は９６％の信頼度であると分類され、次の１２秒間は８０％の信頼度しかないと分類された場合、最初の２つの期間には高い重みが適用され、次の４つの期間に関しては低い重みが適用される。
また、システムは、一般にＡＳＲ出力に依存することにより、ユーザが話していない時期も決定する（３３８４において）。これらの期間中、ＮＬＰモデルはユーザの分類を決定するのに役立たず、そのため、ＮＬＰモデルの重みがこれらの期間にわたって減少される（３３８５において）。減少の程度は、構成に基づいて異なる場合があるが、幾つかの実施形態では、ＮＬＰには、ユーザが話していない期間にわたって重みが与えられない。
同様に、ビデオモデル及び音響モデルからの特徴及び結論に基づいて、患者が不正直であることに関連する声ベースのバイオマーカーを示す期間が特定されてもよい（３３８６において）。過度のそわそわした挙動、凝視の移動、より高いピッチ、及び、つぶやきは全て、不正直と相関している場合があり、また、複数の特徴が同時に存在する場合、システムは対話のこれらの期間に疑わしいものとしてフラグを立てる。そのような期間中、ＮＬＰモデルの重みが再び減少される（３３８７において）が、それはごく僅かにすぎない。ユーザが完全に正直でなくても、特に鬱病の診断のために、ユーザが話す言葉には依然として有益な情報が含まれる。例えば、ユーザが自殺念慮（意味解析によって決定される）について不正直である場合でも、構文上の特徴は依然としてユーザの分類を決定する際に有効である場合がある。このように、不正直の期間中、重みが軽減されている間、その減少は、より急激な重みの減少とは対照的に、一般に重みの４分の１の減少である。
全ての重み調整が行なわれた後、システムは、応答期間全体にわたって、モデルの分類結果の加重平均を実行する（３３８８において）。様々な構成要素モデルにわたる経時的な分類のこの凝縮の最終結果は、融合モデル出力をもたらす。
図３３に戻ると、この融合モデル出力は、対話に関する最終分類をもたらす（３３９０において）。この分類、モデル結果、及び、特徴は、集約して又は部分的に出力される（３３９９において）。図２９に戻ると、これらの結果は、その後、クライアント及び他の利害関係者に提示される（２９６０において）。これは、任意の所定のエンティティがいずれの結果を受け取るべきかを選択することを含む。例えば、クライアントには分類結果のみが提供されてもよいのに対し、クライアントのための医師は、気分、関心のある話題、自傷行為又は自殺念慮の兆候などに関連する特徴を受ける。これに対し、保険会社は、分類結果を受けるとともに、個人の危険因子に関連する臨床データのサンプリングを受ける可能性がある。
分類結果を報告した後でも、プロセスは、新しい情報をそれが利用可能になるときに収集し、モデルを再トレーニングして最高レベルの精度を確保することによって、及び、その後の対話及び対話結果の解析によって継続する。
ここで図３６を参照すると、音響モデリングプロセス３３５０ｂの一つの具体化例がより詳細に提示される。プロセスのこの例では詳細が強化されているにもかかわらず、これは、解析方法の１つにすぎない大幅な簡略化であるとともに、明確にするための例示的なプロセスとしてのみ意図されており、応答データに対して実行される解析を制限するものではないことに留意すべきである。
このプロセス例では、可変カットオフ値がトレーニングデータセットから決定される（３６０５において）。この特定の解析では、受信される音響信号がスペクトル写真画像に変換され（３６１０において）、この写真画像は、音声信号の周波数とこれらの各周波数での振幅とに関する情報を与える。また、この画像は、これらを経時的に追跡する。このプロセス例では、設定された時間に対応するスペクトル写真画像のサンプルが取得される（３６１５において）。場合によっては、これはスペクトル写真データの１０秒のサンプルであってもよい。
画像は行列に変換される。この行列は、高次の特徴を表わすべく方程式で使用される。この方程式は、機械学習技術を利用したトレーニングデータから作成される。この方程式には、高次の特徴の入力行列（ここでは、スペクトル写真画像サンプル）に加えて、未知の変数が含まれる。これらの未知の変数は、特徴行列（又はそれらの任意の組み合わせ）から乗算、除算、加算、又は、減算される。方程式の解も既知であるため、方程式を解いて（３６３０において）既知の解と同様の解を得ようと試みて、未知の変数に関する値を無作為に選択する必要がある（３６２０において）。
解かれた方程式の値間の差は、誤差を計算するために既知の解の値と比較される（３６３０において）。このプロセスは、十分に低い誤差計算（３６３５において）によって決定されるように、正しい変数値の近似値が見つかるまで、数千回又は更には数百万回繰り返される。これらの十分に正確な値が見つかった時点で、それらの値は、トレーニングデータから最初に決定されたカットオフ値と比較される（３６４０において）。値がカットオフより上又は下の場合、これは、利用される式に基づいて、分類の有無を示す。このようにして、スペクトル写真解析の分類を決定することができ（３６４５において）、その後、それを他のモデル結果と協働するべく出力することができる（３６５０において）。
モデリングシステムロジック５３２０は、（図３７）に更に詳しく示される発話認識２２１０（図２２）を含む。発話認識は、発話の特定の言語に固有である。したがって、発話認識２２１０は言語固有の音声認識３７０２を含み、この言語固有の音声認識３７０２は幾つかの言語固有の発話認識エンジン３７０６Ａ～Ｚを含む。（図１４）７）に示される言語固有の発話認識エンジン３７０６Ａ～Ｚの特定の言語は、単なる例示的な例である。
発話認識２２１０は翻訳エンジン３７０４も含む。例えば、患者が、言語固有の発話認識エンジン３７０６Ａ－Ｚのいずれかによって認識されるが言語モデル２２１４（図２２）によって処理されない言語を話すと仮定する。言語固有の音声認識３７０２（図３７）は、患者から受信した音声信号から、患者が話す言語、つまり患者の言語でテキストを生成する。この例示的な例では患者の言語でテキストを処理できない言語モデル２２１４の適用を可能にするために、翻訳エンジン３７０４は、テキストを、患者の言語から、言語モデル２２１４によって処理され得る言語、例えば英語に翻訳する。言語モデル２２１４は、翻訳エンジン３７０４による翻訳に依存する場合にそれほど正確ではないかもしれないが、言語モデル２２１４の精度は、現在利用可能な翻訳技術では非常に良好である。更に、言語モデル２２１４の重要性は、複合モデル２２０４の作成における音響モデル２２１８、視覚モデル２２２２、及び、臨床データ２２２０の組み込みによって大幅に薄められる。結果として、複合モデル２２０４は、翻訳エンジン３７０４に依存しているにもかかわらず、非常に正確である。
モデリングシステムロジック５３２０は、図１０及び図１１にそれぞれ詳細に示される言語モデルトレーニング２２１２（図２２）及び言語モデル２２１４を含む。言語モデルトレーニング２２１２（図３８）は、言語モデル２２１４のそれぞれのモデルをトレーニングするためのロジックを含む。例えば、言語モデルトレーニング２２１２（図３８）は、構文言語モデルトレーニング３８０２、意味パターンモデルトレーニング３８０４、発話流暢性モデルトレーニング３８０６、及び、非言語モデルトレーニング３８０８を含み、これらのトレーニングは、言語モデル２２１４の構文言語モデル３９０２、意味パターンモデル３９０４、発話流暢性モデル３９０６、及び、非言語モデル３９０８をそれぞれトレーニングするためのロジックを含む。
各モデル３９０２－３９０８は、発話認識２２１０から受信したテキストから患者の鬱病を評価する深層学習（深層構造化学習又は階層学習としても知られている）ロジックを含む。
構文言語モデル３９０２は、患者の発話の統語的特徴から患者の鬱病を評価する。そのような構文特性の例としては、文の長さ、文の補完、文の複雑さ、及び、否定が挙げられる。患者が短い文で話す、文を完成させない、単純な文で話す、及び／又は、比較的頻繁な否定を使用する場合（例えば、「いいえ」、「ない」、「できなかった」、「しない」など）、構文言語モデル３９０２は、患者が鬱病になる可能性が高いと決定する。
意味パターンモデル３９０４は、患者の発話の肯定的及び／又は否定的な内容から、すなわち、患者によって表現された感情から、患者の鬱病を評価する。幾つかの研究は、否定的な思考の表現が鬱病を示す場合があり、肯定的な思考の表現が鬱病を対抗して示す場合があることを示唆する。例えば、「ここの通勤はひどい」は鬱病の指標として解釈される場合があり、一方、「ここの通勤は素晴らしかった」は鬱病の対抗指標として解釈される場合がある。
発話流暢性モデル３９０６は、患者の発話の流暢さの特徴、すなわち、発話の流れから患者の鬱病を評価する。流暢性特性としては、例えば、単語速度、発話の一時停止の頻度及び持続時間、「ええと」や「うーん」などのフィラー表現の普及、並びに、パケット発話パターンを挙げることができる。幾つかの研究は、単語速度の低下、発話の頻繁な及び／又は長い一時停止、及び、フィラー表現の高い発生率が鬱病を示す場合があることを示唆する。おそらく、他の言語モデル２２１４よりもそうであるように、発話流暢性モデル３９０６は個々の患者に固有となる場合がある。例えば、発話速度（単語速度）は地理的な地域にわたって大きく異なる。ニューヨーク市の患者の通常の発話速度は、ミネソタ州の患者の通常の発話速度よりも大幅に大きい場合がある。
非言語モデル３９０８は、笑い、含み笑い、及び、ため息などの患者の発話の非言語的特性から患者の鬱病を評価する。幾つかの研究は、ため息が鬱病を示す場合があり、一方、笑い及び含み笑い（及びクスクス笑いなどの部分的に抑制された笑いの他の形態）が鬱病を示す場合があることを示唆する。
モデリングシステムロジック５３２０は、図１２及び図１３により詳細に示される音響モデルトレーニング２２１６（図２２）及び音響モデル２２１４を含む。音響モデルトレーニング２２１６（図４０）は、音響モデル２２１８（図４１）のそれぞれのモデルをトレーニングするためのロジックを含む。例えば、音響モデルトレーニング２２１６（図４０）は、ピッチ／エネルギーモデルトレーニング４００２、品質／発声モデルトレーニング４００４、会話流れモデルトレーニング４００６、及び、調音協調モデルトレーニング４００８を含み、これらのトレーニングは、音響モデル２２１８のピッチ／エネルギーモデル４１０２、品質／発声パターンモデル４１０４、会話流れモデル４１０６、及び、調音調整モデル１３０８をそれぞれトレーニングするためのロジックを含む。
モデル４１０２～４１０８のそれぞれは、収集された患者データ２２０６（図２２）及び前処理２２０８から受信された患者の発話を表わす音声信号から患者の鬱病を評価する深層学習（深層構造化学習又は階層学習としても知られる）ロジックを含む。
ピッチ／エネルギーモデル４１０２は、患者の発話のピッチ及びエネルギーから患者の鬱病を評価する。エネルギーの例としては、例えば、音量及び音節速度が挙げられる。患者がより低いピッチで、より柔らかく、及び／又は、よりゆっくりと話すとき、ピッチ／エネルギーモデル４１０２は、患者が鬱状態にある可能性が高いと決定する。
品質／発声モデル４１０４は、患者の発話の音質及び発声の態様から患者の鬱病を評価する。異なる音源の変更が、鬱病で起こる場合があり、一般的及び特定の発話音の両方で発話の声関連態様に影響を及ぼす場合がある。
会話流れモデル４１０６は、患者の発話の流れから患者の鬱病を評価する。会話流れ特性としては、単語速度、発話の一時停止の頻度及び持続時間、「ええと」や「うーん」などのフィラー表現の普及、並びに、パケット発話パターンを挙げることができる。
調音協調モデル４１０８は、患者の発話における調音協調から患者の鬱病を評価する。調音調整とは、調音及び音源特性の間のタイミングの微調整を指す。この調整は、患者が鬱状態にあるときに悪化する。
モデリングシステムロジック５３２０（図５３）は、図１４及び図１５にそれぞれより詳細に示される視覚モデルトレーニング２２２４（図２２）及び視覚モデル２２２６を含む。視覚モデルトレーニング２２２４（図４２）は、視覚モデル２２６（図５３）のそれぞれのモデルをトレーニングするためのロジックを含む。例えば、視覚モデルトレーニング２２２４（図４２）は顔面手がかりモデルトレーニング４２０２及び眼／凝視モデルトレーニング４２０４を含み、これらのトレーニングは、視覚モデル２２２６の顔面手がかりモデル４３０２及び眼／凝視モデル４３０４をそれぞれトレーニングするためのロジックを含む。
モデル４３０２～４３０４のそれぞれは、収集された患者データ２２０６（図２２）及び前処理２２０８から受信された患者の発話を表わすビデオ信号から患者の鬱病を評価する深層学習（深層構造化学習又は階層学習としても知られる）ロジックを含む。
顔面手がかりモデル４３０２は、患者の発話のビデオで認識された顔面の手がかりから患者の鬱病を評価する。眼／凝視モデル４３０４は、患者の発話のビデオにおける観察された及び認識された眼球運動から患者の鬱病を評価する。
前述のように、複合モデルビルダ２２２２（図２２）は、言語モデル２２１４、音響モデル２２１８、及び、視覚モデル２２２６を組み合わせて臨床データ２２２０及び収集された患者データ２２０６の両方を使用して組み合わせモデルをトレーニングすることによって複合モデル２２０４を構築する。結果として、複合モデル２２０４は、患者が言うこと、患者がそれを言う方法、及び、同時期に起こる顔及び眼の表情を組み合わせて使用して、患者の鬱病を評価する。そのようなことは、患者の鬱病を評価するための特に正確で効果的なツールを提供する。
以上の説明は、例示にすぎず、限定するものではない。例えば、本明細書中に記載されるシステム及び方法によって特定の精神的健康状態が扱われるが、本明細書中に記載される技術は、不安神経症、心的外傷後ストレス障害（ＰＴＳＤ）、及び、ストレス、一般的には、とりわけ薬物及びアルコール中毒、双極性障害などの幾つかの他の精神的健康状態を効果的に評価及び／又はスクリーニングできることが理解されるべきである。更に、評価テストアドミニストレータ２２０２は、患者かもしれない人間の被検者の精神的健康状態を評価するものとして説明されるが、「評価」は、専門の臨床医によって行なわれる専門的な評価を指す場合があることが分かる。本明細書で使用されるような、評価テストアドミニストレータ２２０２によって行なわれる評価は、スクリーニング又はモニタリングを含む、一般的な意味での任意のタイプの評価であってもよい。 スコアリング
本明細書中に記載されるモデルは、評価の様々な段階でスコアを生成してもよい。生成されるスコアは、スケーリングされたスコア又はバイナリスコアであってもよい。スケーリングされたスコアは多数の値に及ぶ場合があるが、バイナリスコアは２つの離散値のうちの１つとなる場合がある。開示されたシステムは、評価の様々な段階でバイナリスコアとスケーリングされたスコアとを交換して、異なる精神状態を監視し、又は、評価の過程で特定の精神状態における特定のバイナリスコア及び特定のスケーリングされたスコアを更新してもよい。
システムによって生成されるスコアは、バイナリ又はスケーリングのいずれかであり、評価における各クエリーに対する各応答の後に生成されてもよく、或いは、以前のクエリーに基づいて部分的に形成されてもよい。後者の場合、各限界スコアは、鬱病又は別の精神状態の予測を微調整する、並びに、予測のロバスト性をより高くするように作用する。限界予測は、特定の数のクエリー及び応答（特定の中間精神状態と相関される）の後、このようにして精神状態の予測の信頼度指標を高めることができる。
スケーリングされたスコアの場合、スコアを改良することにより、臨床医は、患者が経験している１つ以上の精神状態の重症度をより正確に決定することができる。例えば、複数の中間の鬱状態を観察する際、スケーリングされたスコアの改良により、臨床医は、患者が軽度、中等度、又は、重度の鬱病であるかどうかを決定できる。複数のスコアリングの繰り返しを実行すると、冗長性を加えるとともにロバスト性を加えることにより、臨床医及びアドミニストレータが偽陰性を除去するのにも役立ち得る。例えば、解析に利用できる発話セグメントが比較的少ないため、初期の精神状態予測はノイズが多い場合があり、また、ＮＬＰアルゴリズムは、患者の記録された発話における意味的文脈を決定するのに十分な情報を有さない場合がある。単一の限界予測自体がノイズの多い推定である場合でも、より多くの測定値を加えることにより予測を改良すると、システムの全体的な分散が減少し、それにより、より正確な予測がもたらされ得る。本明細書中に記載される予測は、人々が自分の状態について嘘をつくインセンティブを持っている場合があるため、単に調査を実施することによって得られ得る予測よりも実用的な場合がある。調査を実施すると、多数の偽陽性及び偽陰性の結果がもたらされる場合があり、それにより、治療が必要な患者が亀裂をすり抜ける可能性がある。更に、トレーニングを受けた臨床医は、声及び顔ベースのバイオマーカーに気付く場合があるが、開示されたシステムが解析できる大量のデータを解析できない場合がある。
スケーリングされたスコアは、精神状態の重症度を表わすために使用されてもよい。スケーリングされたスコアは、例えば、１～５又は０～１００の数値であってもよく、この場合、数値が大きいほど、患者の経験した精神状態がより重症又は急性の形態であることを示す。スケーリングされたスコアは、整数、パーセンテージ、又は、小数を含んでもよい。スケーリングされたスコアが重症度を表わし得る状態としては、鬱病、不安神経症、ストレス、ＰＴＳＤ、恐怖症、及び、パニック障害を挙げることができるが、これらに限定されない。一例では、評価の鬱病関連の態様でのスコア０は鬱病がないことを示し、スコア５０は中程度の鬱病を示し、スコア１００は重度の鬱病を示してもよい。スケーリングされたスコアは、複数のスコアの組み合わせであってもよい。精神状態は、精神的サブ状態の構成として表わされてもよく、また、患者の複合精神状態は、精神的サブ状態からの個々のスコアの加重平均であってもよい。例えば、鬱病の構成スコアは、怒り、悲しみ、自己像、自尊心、ストレス、孤独、孤立、及び、不安に関する個々のスコアの加重平均であってもよい。
スケーリングされたスコアは、多標識分類器を使用するモデルを使用して生成されてもよい。この分類器は、例えば、決定木分類器、最近傍分類器、又は、ニューラルネットワークベースの分類器であってもよい。分類器は、評価の中間段階又は最終段階で特定の患者に関して複数の標識を生成してもよく、この場合、標識は特定の精神状態の重症度又は程度を示す。例えば、多標識分類器は複数の数値を出力してもよく、複数の数値はソフトマックス層を使用して確率へと正規化してもよい。確率が最も高い標識は、患者が経験した精神状態の重症度を示してもよい。
スケーリングされたスコアは、回帰モデルを使用して決定されてもよい。回帰モデルは、重み付けられた変数の合計として表わされるトレーニング例から適合を決定してもよい。適合は、既知の重みを有する患者からのスコアを推定するために使用されてもよい。重みは、一部は視聴覚信号（例えば、声ベースのバイオマーカー）に由来し且つ一部は患者の人口統計などの患者情報に由来してもよい特徴に部分的に基づいてもよい。最終スコア又は中間スコアを予測するために使用される重みは、以前の中間スコアから取得されてもよい。
スケーリングされたスコアは、信頼度に基づいてスケーリングされてもよい。信頼度は、記録品質、記録から患者の発話を解析するために使用されるモデルのタイプ（例えば、音声、視覚、意味）、特定の期間中に最も頻繁に使用されたモデルに関連する時間解析、及び、視聴覚サンプル内の特定の声ベースのバイオマーカーの時点に基づいて決定されてもよい。中間スコアを決定するために、複数の信頼度指標が取得されてもよい。特定のスケーリングされたスコアの重み付けを決定するために、評価中の信頼度指標が平均化されてもよい。
バイナリスコアは、システムからのバイナリ結果を反映してもよい。例えば、システムは、ユーザが鬱状態である又は鬱状態でないのいずれかとして分類してもよい。システムは、ニューラルネットワーク又はアンサンブル法などの分類アルゴリズムを使用してこれを行なってもよい。バイナリ分類器は、０～１の数値を出力してもよい。患者のスコアが閾値（０．５など）を超えている場合、その患者は「鬱状態」と分類されてもよい。患者のスコアが閾値を下回っている場合、その患者は「鬱状態でない」と分類されてもよい。システムは、評価の複数の中間状態に関して複数のバイナリスコアを生成してもよい。システムは、評価に関する全体的なバイナリスコアを生成するために評価の中間状態からのバイナリスコアを重み付けて合計してもよい。
本明細書中に記載されるモデルの出力は、較正されたスコア、例えば、単位範囲を伴うスコアに変換され得る。本明細書中に記載されるモデルの出力は、これに加えて又は代えて、臨床的な値を伴うスコアに変換され得る。臨床的な値を伴うスコアは、定性的な診断となり得る（例えば、重度の鬱病のリスクが高い）。或いは、臨床的な値を伴うスコアは、一般的な母集団又は患者の特定の亜母集団に関して正規化される正規化定性スコアとなり得る。正規化定性スコアは、一般的な母集団又は亜母集団に対するリスク割合を示してもよい。
本明細書中に記載されるシステムは、標準化された精神的健康アンケート又は試験ツールよりも少ないエラー（例えば、１０％少ない）又は高い精度（例えば、１０％多い）で、被検者の精神状態（例えば、精神障害又は行動障害）を特定できてもよい。エラー率又は精度は、前記精神状態を構成する１つ以上の病状を特定又は評価するためにエンティティによって使用可能なベンチマーク基準に対して確立されてもよい。エンティティは、臨床医、医療従事者、保険会社、又は、政府規制機関であってもよい。ベンチマーク基準は、独立して検証された臨床診断であってもよい。 信頼度
本明細書中に記載されるモデルは、信頼度指標を使用してもよい。信頼度指標は、鬱病などの精神状態を正確に予測するために、機械学習アルゴリズムによって生成されたスコアがどれほど効果的であるかの指標であってもよい。信頼度指標は、スコアが取得された条件によって異なる場合がある。信頼度指標は、整数、小数、又は、パーセンテージとして表わされてもよい。条件としては、記録デバイスのタイプ、信号が取得された周囲空間、バックグラウンドノイズ、患者発話の特異性、話者の言語の流暢さ、患者の応答の長さ、患者の応答の評価された真実性、及び、理解できない単語やフレーズの頻度を挙げることができる。信号又は発話の質によって発話の解析がより困難になる状況下では、信頼度指標の値が小さくなる場合がある。幾つかの実施形態において、信頼度指標は、計算されたバイナリスコア又はスケーリングされたスコアを信頼度指標で重み付けすることによって、スコア計算に加えられてもよい。他の実施形態では、信頼度指標が別個に与えられてもよい。例えば、システムは、患者が７５％の信頼度で０．９３の鬱病スコアを持っていることを臨床医に伝えてもよい。
信頼レベルは、患者の発話を解析するモデルのトレーニングするために使用されるトレーニングデータの標識の品質に基づいてもよい。例えば、標識が公式の臨床診断ではなく患者により完了される調査又はアンケートに基づいている場合には、標識の品質が低いと決定される場合があり、したがって、スコアの信頼レベルが低い場合がある。場合によっては、調査又はアンケートにある程度の不正直さがあると決定される場合がある。そのような場合には、標識の品質が低いと決定される場合があり、したがって、スコアの信頼レベルが低い場合がある。
とりわけ評価が行なわれる環境によって信頼度指標が影響を受ける場合、信頼度指標を改善するためにシステムによって様々な対策がとられてもよい。例えば、システムは、１つ以上の信号処理アルゴリズムを使用してバックグラウンドノイズをフィルタ除去してもよく、又は、インパルス応答測定値を使用して発話サンプルが記録された環境の物体及び特徴により引き起こされる残響の影響を除去する方法を決定してもよい。システムは、意味解析を使用して文脈の手がかりを見つけ、欠落している単語又は理解できない単語の識別情報を決定してもよい。
更に、システムは、ユーザプロファイルを使用して、態度、民族的背景、性別、年齢、又は、他のカテゴリーに基づいて人々をグループ化してもよい。同様のグループの人々が同様の声ベースのバイオマーカーを有している場合があることから、同様の声ベースのバイオマーカーを示す人々が同様の態様で鬱病を示し得るため、システムは、より高い信頼度で鬱病を予測できてもよい。
例えば、様々な背景からの鬱状態の人々は、遅い発話、単調なピッチ又は低いピッチの変動、過度の一時停止、声の音色（砂利のような又はしわがれた声）、一貫性のない発話、まとまりのない又は焦点の喪失、簡潔な応答、及び、意識の流れ談話によって様々に分類されてもよい。これらの声ベースのバイオマーカーは、解析された患者の１つ以上のセグメントに属してもよい。
スクリーニングシステムデータストア４１０（図４４に詳細に示される）は、本明細書中に記載される態様で、スクリーニング又はモニタリングのために必要とされてスクリーニング又はモニタリングによって収集される全てのユーザ及び患者のデータを記憶して維持する。スクリーニングシステムデータストア４１０は、データストアロジック４４０２、標識推定ロジック４４０４、及び、ユーザ・患者データベース４４０６を含む。データストアロジック４４０２は、ユーザ・患者データベース４４０６へのアクセスを制御する。例えば、データストアロジック４４０２は、患者の応答の視聴覚信号を記憶し、要求時に患者の病歴データを提供する。要求された患者の病歴データがユーザ・患者データベース４４０６で利用できない場合、データストアロジック４４０２は、臨床データサーバ１０６から患者の病歴データを取り出す。要求された患者のソーシャルデータがユーザ・患者データベース４４０６で利用できない場合、データストアロジック４４０２は、ソーシャルデータサーバ１０８から患者の社会歴データを取り出す。患者ではないユーザは、ヘルスケアサービスプロバイダ及び支払者を含む。
ソーシャルメディアサーバ１０８は、小売購入記録、法的記録（前科を含む）、収入履歴を含むがこれらに限定されない多種多様な患者／被検者データを含んでもよく、これは、これらが人の健康に貴重な洞察を提供できるからである。多くの場合、これらの病気の社会的決定要因は、医療よりも人の罹患率に大きく寄与する。別表Ｂは、「医療政策の概要：健康転帰に対する複数の決定要因の相対的な寄与」を示す。
標識推定ロジック４４０４は、健康スクリーニング又はモニタリングサーバ１０２の様々な学習機械がスクリーニングする標識を指定するロジックを含む。標識推定ロジック４４０４は、健康スクリーニング又はモニタリングサーバ１０２の人間のオペレータがそのような標識を構成して調整できるユーザインタフェースを含む。
また、標識推定ロジック４４０４は、とりわけ、ユーザ・患者データベース４４０６に記憶されたデータがモデルトレーニングに適した品質を有するかどうかを決定することによって、モデルトレーニングの品質も制御する。標識推定ロジック４４０４は、標識を自動的に特定又は変更するためのロジックを含む。特に、モデルトレーニングによって標識として未だ特定されない有意なデータポイントが明らかになる場合、標識推定ロジック４４０４は、データポイントと患者の記録、システム予測、及び、臨床的洞察との相関関係を探して、標識をデータポイントに自動的に割り当てる。
対話型スクリーニング又はモニタリングサーバロジック５０２は、患者の健康状態を評価するために患者と対話型口頭会話を行なうものとして説明されるが、対話型スクリーニング又はモニタリングサーバロジック５０２は、受動聴取モードで作用してもよい。この受動聴取モードにおいて、対話型スクリーニング又はモニタリングサーバロジック５０２は、患者に尋ねられるべき質問を指示することなく患者が話しているのを受動的に聞く。
この例示的な実施形態では、受動聴取モードが二つ（２）の変形を有する。第１の「会話型」変形において、患者は、会話の一部が対話型スクリーニング又はモニタリングサーバロジック５０２によって制御されていない別の人との会話に関与する。会話型受動聴取の例としては、臨床医と話している患者及び電話中に話している患者に臨床医との約束を思い出させること或いはそのような患者が薬剤師と投薬について話していることが挙げられる。第２の「フライ・オン・ザ・ウォール」（ＦＯＴＷ）又は「周囲」変形では、患者が一人で又は公共の場所で又は半公共の場所で話している。周囲受動聴取の例としては、公共の場や病院の緊急治療室で話している人や、例えば音声日記で一人で話している又は電話メッセージを残している人が挙げられる。一人で話している人をスクリーニング又はモニタリングするための１つの潜在的に有用なシナリオは、対話型スクリーニング又はモニタリングサーバロジック５０２が警察の緊急サービスへの呼び出し（つまり、「９－１－１」）をスクリーニング又はモニタリングすることを伴う。緊急サービスの発信者を解析すると、緊急の発信者と緊急性の低い発信者とを正確に区別できる。
この詳細な説明が技術的に想定し得ることを記載しようとしていることに留意すべきである。本明細書中に記載される技術の実践は、連邦法、州法、及び／又は、地方条例を含む、管轄区域ごとに異なる場合がある法的要件及び制限に準拠すべきである。例えば、一部の法域では、発話を捕捉する前に、（１又は複数の）関係者の明示的な通知及び／又は同意が必要になる場合がある。更に、臨床記録の取得、記憶、及び、取り出しは、適用可能な（１又は複数の）管轄要件に準拠した態様で実施されるべきである。
患者スクリーニング又はモニタリングシステム１００Ｂ（図４５）は、患者スクリーニング又はモニタリングシステム１００（図１）の受動聴取のバリエーションを示す。患者スクリーニング又はモニタリングシステム１００Ｂ（図４５）は、健康スクリーニング又はモニタリングサーバ１０２、臨床データサーバ１０６、及び、ソーシャルデータサーバ１０８を含み、これらのサーバは、前述したように、及び、先にも説明したように、ＷＡＮ１１０を介して互いに接続される。
患者及び臨床医は会話型受動聴取において互いに物理的に近接しているため、患者スクリーニング又はモニタリングシステム１１０Ｂの残りの構成要素は、ローカルエリアネットワーク（ＬＡＮ）４５１０を介して互いに及びＷＡＮ１１０に接続される。
患者の声を臨床医の声から区別する方法は幾つかある。
特に便利な方法は、患者及び臨床医のそれぞれのための二つ（２）の別個の聴取デバイス４５１２，４５１４を有することである。この例示的な実施形態において、聴取デバイス４５１２，４５１４は、カリフォルニア州クパチーノのアップルコンピュータから入手可能なホームポッド（商標）スマートスピーカ、カリフォルニア州マウンテンビューのグーグルＬＬＣから入手可能なグーグルホーム（商標）スマートスピーカ、及び、ワシントン州シアトルのアマゾン社から入手可能なアマゾンエコー（商標）などのスマートスピーカである。他の実施形態において、聴取デバイス４５１２，４５１４は、例えば、臨床医デバイス１１４Ｂに結合されるマイクロフォンなどの他のタイプの聴取デバイスであってもよい。
幾つかの実施形態では、単一の聴取デバイス４５１４が使用され、また、スクリーニング又はモニタリングサーバ１０２は、従来の声認識技術を使用して患者と臨床医との間を区別する。そのような声認識の精度は、患者との任意のセッションの前に臨床医の声を認識するようにスクリーニング又はモニタリングサーバ１０２をトレーニングすることによって改善され得る。以下の説明は、臨床医が患者に話しかけているものとして言及するが、臨床医が別の臨床医と交代してもよいことが分かる。例えば、医療機関のアドミニストレータ、例えば臨床医のサポートスタッフが患者にかける電話では、会話型受動聴取との関連で記載されるようにアドミニストレータが臨床医の役割を果たす。同様に、処方箋に関して薬局が患者にかける電話では、薬局に代わって電話をかける人又は自動化された機械の発呼者が本明細書中に記載されるようにこの臨床医の役割を担う。別表Ｃは、本発明に係る幾つかの実施形態における典型的な質問バンクを示す。
会話型受動聴取における対話型健康スクリーニング又はモニタリングロジック４０２、特に汎用対話フローロジック６０２（図７）による処理は、ロジックフロー図４６００（図４６）によって示される。図４６は動的モードのインスタンス化を示し、この場合、クエリー内容がリアルタイムで解析される。ループステップ４６０２及び次段階ステップ４６１６は、汎用対話フローロジック６０２がステップ４６０４～４６１４にしたがって患者と臨床医との間の会話の視聴覚信号を処理するループを規定する。ステップ４６０４～４６１４は別個の連続したステップとして示されるが、これらのステップは、汎用対話フローロジック６０２によって継続的に互いに同時に実行される。ステップ４６０２～４６１６のループは、従来のユーザインタフェース技術を使用して、例えば臨床医デバイス１１４Ｂ（図４５）又は聴取デバイス４５１４を使用して、臨床医によって開始及び終了される。
ステップ４６０４（図４６）において、汎用対話フローロジック６０２は、臨床医によって提示された患者への質問を認識して、処理及び解析のためにその質問をランタイムモデルサーバロジック５０４に送信する。汎用対話フローロジック６０２は、臨床医の発話の視聴覚信号に関する結果１８２０を受信し、また、結果１８２０（図１８）は、記述的モデル・解析１８１２からの更なる情報とともにＡＳＲロジック１８０４からの臨床医の発話のテキスト表示を含む。この更なる情報は、臨床医の発話内の単語の様々な品詞の特定を含む。
ステップ４６０６（図４６）において、汎用対話フローロジック６０２は、質問・対話アクションバンク７１０（図７）内の最も類似した質問を特定する。ステップ４６０４で認識された質問が質問・対話アクションバンク７１０に記憶された任意の質問と同一でない場合、汎用対話フローロジック６０２は、質問等価性ロジック１１０４（図１１）に関して前述した態様で最も近い質問を特定してもよく、或いは、言語的に最も類似している質問・対話アクションバンク７１０（図７）内の質問を特定してもよい。
ステップ４６０８（図４６）において、汎用対話フローロジック６０２は、質問・対話アクションバンク７１０から最も近い質問の質、すなわち、質９０８（図９）を取り出す。
ステップ４６１０（図４６）において、汎用対話フローロジック６０２は、ステップ４６０４で認識された質問に対する患者の応答を表わす視聴覚信号を認識する。
患者の応答は、認識された質問の直後の患者の発話として認識される。発話は、（ｉ）声が聴取デバイス４５１４によるよりも聴取デバイス４５１２によって更に大きく捕捉されると決定することにより、又は、（ｉｉ）声が以前に確立されて臨床医として認識された声とは異なると決定することにより、患者として認識されてもよい。
ステップ４６１２において、汎用対話フローロジック６０２は、解析及び評価のために、臨床医の対応する質問の文脈とともに、患者の応答をランタイムモデルサーバロジック５０４に送信する。臨床医の質問の文脈は、特に患者の反応の意味論が単独で不明確である場合に重要である。例えば、患者の答えが単に「はい」であることを考慮されたい。その応答は、「駐車場を見つけることができましたか？」という質問に対する応答と、「自分を傷つけることを考えたことがありますか？」という質問に対する応答とで非常に異なって解析されて評価される。
ステップ４６１４において、汎用対話フローロジック６０２は、結果１８２０から受けられる中間解析を臨床医に報告する。臨床医が例えば患者の電子健康記録を検討するために会話中に臨床医デバイス１１４Ｂを使用している場合、報告は、幾つかの健康状態に関連する中間スコアを示すアニメーションゲージの形態を成してもよい。アニメーションゲージの例としては、スチームゲージ、つまり、針が動く丸いダイヤルゲージ、サウンドシステムにおけるオーディオイコライザで見られるような動的ヒストグラムが挙げられる。
臨床医による会話型受動聴取が終了すると、ステップ４６０２～４６１６のループにしたがった処理が完了する。ステップ４６１８において、対話型スクリーニング又はモニタリングサーバロジック５０２は、会話の最終解析を臨床医に送信する。一般に、ステップ４６１８との関連で、「臨床医」は、常に医療専門家又は患者の健康記録である。
したがって、健康スクリーニング又はモニタリングサーバ１０２は、患者の別個の明示的なスクリーニング又はモニタリングインタビューを必要としないにもかかわらず、患者が関与し得る会話中に受動的に幾つかの健康状態のいずれかについて患者をスクリーニングしてもよい。
周囲受動聴取において、健康スクリーニング又はモニタリングサーバ１０２は、ロジックフロー図４７００（図４７）にしたがって周囲の発話を聞き取って処理する。周囲受動聴取における対話型健康スクリーニング又はモニタリングロジック４０２、特に汎用対話フローロジック６０２（図７）による処理は、ロジックフロー図４７００（図４７）によって示される。ループステップ４７０２及び次段階ステップ４７１４は、汎用対話フローロジック６０２がステップ４７０４～４７１２にしたがって周囲の発話の視聴覚信号を処理するループを規定する。ステップ４７０４～４７１４は個別の連続したステップとして示されるが、これらのステップは、汎用対話フローロジック６０２によって継続的に互いに同時に実行される。ステップ４７０２～４７１４のループは、関与する（１又は複数の）聴取デバイス、例えば聴取デバイス４５１４の人間のオペレータによって開始及び終了される。
ステップ４７０４（図４７）では、汎用対話フローロジック６０２が周囲の声を捕捉する。テストステップ４７０８において、対話型スクリーニング又はモニタリングサーバロジック５０２は、ステップ４７０４で捕捉された声が解析されるべき声によって話されるかどうかを決定する。少なくとも部分的に制御される領域での周囲受動聴取において、そのような領域で話す可能性が高い多くの人々は、自分達の声を認識できるように、健康スクリーニング又はモニタリングサーバ１０２に登録されてもよい。学校では、学生が入学時に健康スクリーニング又はモニタリングサーバ１０２に自分達の声を登録してしまっていてもよい。
幾つかの実施形態において、声が解析されるべき人々は、汎用対話フローロジック６０２によって認識される許可された学生である。病院において、病院職員は、雇用時に健康スクリーニング又はモニタリングサーバ１０２に自分達の声を登録してしまっていてもよい。更に、病院内の患者は、最初の接触時に、例えば、インフォメーションデスクで又は緊急治療室の病院職員によって、自分達の声を登録してもよい。幾つかの実施形態において、病院職員は、汎用対話フローロジック６０２によって話者として認識されるときに解析から除外される。
汎用対話フローロジック６０２に知られていない声の解析が重要である緊急治療室環境において、汎用対話フローロジック６０２は、依然として未知の話者による会話を追跡してもよい。複数の発話は、汎用対話フローロジック６０２によって、同じ個人から発せられたものとして認識されてもよい。また、健康スクリーニング又はモニタリングサーバ１０２は、例えば、複数の聴取デバイスにおける異なる相対振幅及び／又は捕捉された発話の到達の相対タイミングを使用する三角測量によって、複数の聴取デバイスを伴う環境で未知の話者のおおよその位置を決定してもよい。
一人だけが話す周囲受動聴取の他の実施形態では、話者が自分自身を特定するように求められてもよい。或いは、幾つかの実施形態では、話者の識別情報が推測されてもよく又は特に重要ではない。音声日記において、話者は、デバイスによって認証されてもよく或いはデバイスの所有者によって使用されると想定されてもよい。警察の緊急電話トリアージにおいて、発信者の識別情報は、話者の場所、感情、エネルギーなどの話者の声の質、及び、話者の発話の実質的内容ほど重要ではない。
一人だけが話すこれらの実施形態において、汎用対話フローロジック６０２は、話者が解析されるべきであると常に決定する。
話者が解析されないようになっている場合、汎用対話フローロジック６０２は、捕捉された周囲の発話を、文脈の処理及び解析のためにランタイムモデルサーバロジック５０４に送信する。汎用対話フローロジック６０２は、捕捉された発話の視聴覚信号に関する結果１８２０を受信し、また、結果１８２０（図１８）は、記述的モデル・解析１８１２からの更なる情報とともに、ＡＳＲロジック１８０４から捕捉された発話のテキスト表示を含む。この更なる情報は、臨床医の発話内の単語の様々な品詞の特定を含む。汎用対話フローロジック６０２は、捕捉された発話の結果１８２０を処理して文脈を構築する。
ステップ４７０８（図４７）の後、処理が次段階ステップ４７１４を介してループステップ４７０２に移行し、ステップ４７０２～４７１４のループにしたがった受動聴取が継続する。
テストステップ４７０６において、ステップ４７０４で捕捉された発話が解析されるべき声によって話されていると対話型スクリーニング又はモニタリングサーバロジック５０２が決定する場合には、処理がステップ４７１０に移行する。ステップ４７１０において、汎用対話フローロジック６０２は、捕捉された発話を、ステップ４７０８又はステップ４７１０の前であるがその同時期に起こる実行時に決定される任意の文脈とともに、解析及び評価のためにランタイムモデルサーバロジック５０４に送信する。
ステップ４７１２において、汎用対話フローロジック６０２は、所定の警告ルールにしたがってランタイムモデルサーバロジック５０４から結果として得られる解析によりトリガーされる任意の警告を処理する。これらの所定の警告ルールは、以下に記載されるワークフロー４８１０に類似している。本質的に、これらの所定の警告ルールは、ロジック状態及びそのような状態でとるべき対応する行動を指定するｉｆ－ｔｈｅｎ－ｅｌｓｅロジック要素の形態を成す。
以下は、対話型スクリーニング又はモニタリングサーバロジック５０２によって実装されてもよい警告ルールの例である。発信者が最初に自動トリアージシステムに話しかけ、その発話が非常に情緒的で不安であり、非常に緊急の状況、例えば重傷を負った自動車事故を意味的に表わすと決定される、警察の緊急システムコールでは、非常に高い優先事項が通話に割り当てられて緊急性の低い発信者よりも優先される場合がある。対話型スクリーニング又はモニタリングサーバロジック５０２が必死の発話及び叫び声と武器及び／又は露骨な暴力行為の存在を表わす意味論的内容とを認識する学校の廊下では、対話型スクリーニング又はモニタリングサーバロジック５０２が、法執行機関及び学校人員の即時通知をトリガーしてもよい。患者が少なくとも中程度の鬱状態にあることが検出される音声日記において、対話型スクリーニング又はモニタリングサーバロジック５０２は、患者と次に会うときに患者の行動的医療従事者が日記エントリについて話し合うことができるように、患者の臨床記録に解析を記録してもよい。捕捉された発話のトリガー条件が特に深刻で緊急である状況において、対話型スクリーニング又はモニタリングサーバロジック５０２は、話者の位置をそれが決定され得る場合に報告してもよい。
ステップ４７０２～４７１４（図４７）のループにしたがった処理は、対話型スクリーニング又はモニタリングサーバロジック５０２又は関連する聴取デバイスの人間のオペレータによって停止されるまで続く。
したがって、健康スクリーニング又はモニタリングサーバ１０２は、医療専門家との１対１の会話の範囲外で受動的に幾つかの健康状態のいずれかについて患者をスクリーニングしてもよい。
図４に関して前述したように、ヘルスケア管理ロジック４０８は、対話型健康スクリーニング又はモニタリングロジック４０２の健康状態解析に応じて専門家の推奨を行なう。ヘルスケア管理ロジック４０８は、図６８に更に詳細に示される。
ヘルスケア管理ロジック４０８は、手動ワークフロー管理ロジック４８０２、自動ワークフロー生成ロジック４８０４、ワークフロー実行ロジック４８０６、及び、ワークフロー構成４８０８を含む。手動ワークフロー管理ロジック４８０２は、人間のアドミニストレータが、該アドミニストレータにより使用されるコンピュータシステムの１つ以上のユーザ入力デバイスの物理的操作によってワークフロー構成４８０８のワークフロー４８１０を作成、変更、及び、削除できるようにするユーザインタフェースを実装する。自動ワークフロー生成ロジック４８０４は、スクリーニング又はモニタリングシステムデータストア４１０内に記憶された患者データの統計的解析を実行して、ワークフローを特定し、所定の目標を達成する。そのような目標の例としては、患者の介護の次の２年間の予測コストを最小限に抑え、最初の紹介のコストを最小限に抑えつつ、１年間でヘモグロビンＡ１Ｃの削減を最大にもするようなことが挙げられる。
ワークフロー実行ロジック４８０６は、ワークフロー構成４８０８のワークフロー４８１０を処理し、それにより、条件を評価して、ワークフロー要素４８２０のアクションを実行する。
幾つかの実施形態において、ワークフロー実行ロジック４８０６は、ワークフローの処理条件におけるそれらの結果を使用して、ロジックフロー図８００（図８）にしたがい、任意のスクリーニング又はモニタリングの最終結果の受信に応じてワークフロー４８１０を処理する。
ワークフロー構成４８０８（図４８）は、幾つかのワークフロー４８１０を表わすデータを含む。各ワークフロー４８１０は、ワークフローメタデータ４８１２及び幾つかのワークフロー要素４８２０を表わすデータを含む。
ワークフローメタデータ４８１２は、ワークフロー４８１０のメタデータであり、説明４８１２、作成者４８１６、及び、スケジュール４８１８を表わすデータを含む。説明４８１２は、ワークフロー４８１０の性質を任意の人間のオペレータに知らせるようになっている情報である。作成者４８１６は、人間のアドミニストレータであろうと自動ワークフロー生成ロジック４８０４であろうと、ワークフロー４８１０を作成したエンティティを特定する。スケジュール４８１８は、ワークフロー実行ロジック４８０６がワークフロー４８１０を処理するようになっている日付及び時刻及び／又は条件を指定する。
ワークフロー要素４８２０は、ワークフローを処理する際のワークフロー実行ロジック４８０６の挙動を集合的に規定する。この例示的な実施形態において、ワークフロー要素はそれぞれ、２つのタイプ、すなわち、条件４９００（図４９）などの条件、及び、アクション５０００（図５０）などのアクションのうちの１つである。
この例示的な実施形態において、条件４９００は、オペランド４９０２、演算子４９０４、及び、他のオペランド４９０６を含むブールテストを指定する。この例示的な実施形態において、演算子４９０４は、例えば、＝、≠、＞、≧、＜、及び、≦などの幾つかのブールテスト演算子のいずれかであってもよい。オペランド４９０２，４９０６はそれぞれ、結果１８２０（図１８）又はその任意の部分、定数、又は、ｎｕｌｌであってもよい。結果として、所定のスクリーニング又はモニタリングの任意の結果、例えば、結果１８２０、スクリーニング又はモニタリングシステムデータストア４１０に記憶された所定の患者に関する任意の情報、及び、それらの任意の組み合わせは、オペランド４９０２，４９０６のいずれかであってもよい。
次の（１又は複数の）ワークフロー要素４９０８は、オペランド４９０２，４９０６及び演算子４９０４のテストが真のブール値に評価する場合に処理すべき１つ以上のワークフロー要素を指定し、また、次の（１又は複数の）ワークフロー要素４９１０は、オペランド４９０２，４９０６及び演算子４９０４のテストが偽のブール値に評価する場合に処理すべき１つ以上のワークフロー要素を指定する。
次の（１又は複数の）ワークフロー要素４９０８，４９１０のそれぞれは、条件、アクション、又は、ｎｕｌｌのいずれかであってもよい。次の（１又は複数の）ワークフロー要素１９０８，４９１０で条件４９００などの条件を受け入れることにより、ＡＮＤ及びＯＲ演算を使用した複雑なテストをワークフロー要素４８２０で表わすことができる。別の実施形態において、条件４９００は、ＡＮＤ、ＯＲ、及び、ＮＯＴ演算と組み合わされたより多くのオペランド及び演算子を含んでもよい。
オペランド４９０２，４９０６のそれぞれがｎｕｌｌであり得るため、条件４９００は、患者のデータにおける発生の単なる存在又は不在についてテストしてもよい。例えば、患者がヘモグロビンＡ１Ｃ血液検査を受けたことがあるかどうかを決定するために、条件４９００は、最新のヘモグロビンＡ１Ｃ検査結果がｎｕｌｌになるかどうかを決定してもよい。等しい場合、患者はヘモグロビンＡ１Ｃ血液検査を全く受けていない。
アクション５０００（図５０）は、アクションロジック５００２及び１つ以上の次のワークフロー要素５００４を含む。アクションロジック５００２は、ワークフロー実行ロジック４８０６によってとられるべき実質的なアクションを表わし、一般に、特定の治療プロトコルからより全体的なパラダイムにまで及び得る患者の介護における特定のアクション経過を作成又は推奨する。例としては、患者を医療提供者に紹介すること、特定のケアプログラムに患者を登録すること、患者の臨床医が次回の訪問時に推奨を確認できるように推奨を患者のファイルに記録することが挙げられる。患者を介護提供者に紹介する例としては、患者を精神科医、投薬管理コーチ、理学療法士、栄養士、フィットネスコーチ、栄養士、ソーシャルワーカーなどに紹介することが挙げられる。プログラムへの患者の登録の例として、遠隔精神医学プログラム、集団療法プログラムなどが挙げられる。
患者のファイルに記録された推奨事項の例としては、処方された特定の薬の変更か、単に患者に既に処方された薬の用量の変更か、及び、他の治療かどうかにかかわらず、推奨される薬の変更が挙げられる。更に、紹介及び登録が、紹介及び患者のファイルへの登録に関する推奨事項によって影響され、それにより、臨床医が患者の介護に関する最終決定を下すことができてもよい。
前述したように、自動ワークフロー生成ロジック４８０４（図４８）は、スクリーニング又はモニタリングシステムデータストア４１０内に記憶された患者データの統計的解析を実行して、ワークフローを特定し、所定の目標を達成する。先に与えられたそのような目標の例としては、患者の介護の次の二（２）年間の予測コストを最小限に抑え、最初の紹介のコストを最小限に抑えつつ、１年間でヘモグロビンＡ１Ｃの削減を最大にもするようなことが挙げられる。自動ワークフロー生成ロジック４８０４は、最初の例示的な文脈、すなわち、患者の介護の次の二（２）年間の予測コストを最小限に抑える文脈に記載される。
自動ワークフロー生成ロジック４８０４が所定の目標を達成するためにワークフローを特定する態様は、ロジックフロー図５１００（図５１）によって示される。
自動ワークフロー生成ロジック４８０４は深層学習機械ロジックを含む。ステップ５１０２において、人間のコンピュータエンジニアは、自動ワークフロー生成ロジック４８０４のこの深層学習機械ロジックを構成して、ユーザによって指定された標識、例えば、この例示的な例では２年間にわたる各患者の介護のコストに関連する標識との関連でスクリーニング又はモニタリングシステムデータストア４１０からの患者データを解析する。単なる患者ではない健康スクリーニング又はモニタリングサーバ１０２のユーザは、一般に、医療従事者又は医療支払者のいずれかである。いずれの場合も、所定の患者のヘルスケア履歴における事象に関する情報が、利用可能であるとともに、自動ワークフロー生成ロジック４８０４が患者の医療記録から患者の介護のコストを追跡できるように人間のエンジニアによって自動ワークフロー生成ロジック４８０４に含められる。
更に、ステップ５１０２において、人間のエンジニアは、スクリーニング又はモニタリングシステムデータストア４１０の全ての関連データを使用して、自動ワークフロー生成ロジック４８０４の深層学習機械ロジックをトレーニングする。そのようなトレーニングの後、自動ワークフロー生成ロジック４８０４の深層学習機械ロジックは、２年間にわたる各患者のコストを予測する極めて複雑な決定木を含む。
ステップ５１０４において、自動ワークフロー生成ロジック４８０４は、患者の病歴におけるいずれの事象が患者母集団の統計的に有意な部分に関して２年間の患者の介護のコストに最も影響を与えるかを決定する。特に、自動ワークフロー生成ロジック４８０４は、所定の目標、例えば、２年間にわたる患者の介護のコストに最も影響を与える決定木の深層学習機械（ＤＬＭ）ノードを特定する。そのような決定を自動的に行なうための幾つかの既知の技術があり、また、自動ワークフロー生成ロジック４８０４は、これらの重要なノードを特定するためにそれらのうちの１つ以上を実施する。深層学習機械で非常に影響力のある事象／決定（機械学習用語では「ノード」）を特定する技術の例としては、例えば、ランダム決定フォレスト（教師あり又は教師なし）、多項ロジスティック回帰、単純ベイズ分類器が挙げられる。これらの技術は、既知であり、本明細書中では説明されない。
ループステップ５１０６及び次段階ステップ５１１２は、自動ワークフロー生成ロジック４８０４がステップ５１０４で特定された影響力のあるノードのそれぞれを処理するループを規定する。ステップ５１０６～５１１２のループの所定の繰り返しにおいて、自動ワークフロー生成ロジック４８０４によって処理される特定のノードは、対象ノードと称されることがある。
ステップ５１０８において、自動ワークフロー生成ロジック４８０４は、対象ノードの内部ロジックから、条件、例えば、条件４９００（図４９）を形成する。対象ノードの内部ロジックは、患者の履歴内の１つ以上の事象及び／又は患者の１つ以上の表現型を表わすデータを受信し、他のノードへの１つ以上の分岐を表わす決定を行なう。ステップ５１０８（図５１）において、自動ワークフロー生成ロジック４８０４は、対象ノードによって受信されたデータと、受信されたデータを決定にマッピングする対象ノードの内部ロジックとを一般化する。
ステップ５１１０において、自動ワークフロー生成ロジック４８０４は、最終的に所定の目標に関連する最良の結果、例えば、２年間にわたる最低コストをもたらす対象ノードからの分岐にしたがって、アクション、例えば、アクション５０００（図５０）を形成する。ステップ５１０８（図５１）で形成された条件及びステップ５１１０で形成されたアクションは、自動ワークフロー生成ロジック４８０４によって生成されたワークフローを集合的に形成する。
ステップ５１０６～５１１２のループにしたがって全ての影響力のあるノードが処理された時点で、自動ワークフロー生成ロジック４８０４による処理が完了し、それにより、幾つかのワークフローが形成される。
この例示的な実施形態において、自動的に生成されたワークフローは、ヘルスケア管理ロジック４０８内で実際に展開される前に、人間による承認の対象となる。別の実施形態において、ヘルスケア管理ロジック４０８は、自動ワークフロー生成ロジック４８０４によって自動的に生成されたワークフローを自動的に展開するが、アクションをヘルスケア専門家への推奨のみに制限する。人間の監視を何ら伴うことなくワークフローの生成と患者の介護の変更とを完全に自動化することは技術的に実現可能である。しかしながら、そのようなことは、今日実施されている医療の公共政策に反する場合がある。
臨床シナリオ
また、開示されたシステムは、プライマリーケアの健康の対話から精神的健康状態を評価するために使用されてもよい。例えば、このシステムを使用して、トレーニングを受けた医療提供者の個人により取得された患者の精神的健康に関する推論を強化することができる。このシステムは、予備的なスクリーニング又はモニタリングの呼び出し（例えば、トレーニングを受けた精神的健康専門家との医療予約を設定する目的で見込まれる患者が医療従事者組織に対して行なう呼び出し）から精神的健康状態を評価するために使用されてもよい。一次スクリーニングの場合、医療専門家は、患者の精神的健康治療のニーズを確認するために、特定の順序で患者に特定の質問を尋ねる場合がある。記録デバイスは、これらの質問のうちの１つ以上に対する見込まれる患者の応答を記録してもよい。これが行なわれる前に、見込まれる患者の同意が得られてもよい。
システムは、それが見込まれる患者から収集する音声断片に関して音声解析又は意味解析を実行してもよい。例えば、システムは、鬱病に関連する単語又はフレーズの相対的な頻度を決定してもよい。例えば、システムは、自殺念慮を示すフレーズ、自傷行為の本能、貧弱な身体メージ又は自己イメージを示すフレーズ、及び、不安感、孤立感、又は、孤独感などの否定的な考えに関連する用語でユーザが話す場合に、ユーザが鬱病であると予測してもよい。また、システムは、一時停止、あえぎ、ため息、及び、不明瞭又はつぶやいた発話など、鬱病の非語彙的又は非言語的手がかりを拾い上げてもよい。これらの用語及び非語彙的手がかりは、調査（ＰＨＱ－９など）を実施した患者などのトレーニング例から拾い上げられたものと類似している場合がある。
システムは、ユーザの身体的健康を調査することにより、精神的健康に関する情報を決定してもよい。例えば、ユーザは自分の身体的特徴や体力について不安や悲しみを感じる場合がある。情報を引き出すために使用される質問は、血圧、安静時心拍数、病気の家族歴、血糖、肥満度指数、体脂肪率、怪我、変形、体重、身長、視力、摂食障害、心血管の耐久性、食事、又は、体力などのバイタルに関係していてもよい。患者は、落胆、憤慨、悲しみ、又は、防御を示す発話を提供する場合がある。例えば、患者は、なぜ自分が医療処置を受けていないのか、なぜ自分の食事療法がうまくいかないのか、なぜ自分は運動プログラムを開始しなかったのかについて言い訳をする場合があり、或いは、自分の身長、体重、又は、身体的特徴について否定的に話す場合がある。身体的健康についてのそのような否定的な表現は、不安と相関している場合がある。
モデルは継続して能動的又は受動的であってもよい。受動学習モデルは、それが新しい情報に応じて学習するための方法を変更しない場合がある。例えば、受動学習者は、新しいタイプの特徴情報がシステムに追加される場合でも、特定の条件を継続的に使用して予測に収束する場合がある。しかしながら、そのようなモデルは、大量のトレーニングデータが利用できない場合、有効性が制限される場合がある。これに対し、能動学習モデルは、より迅速に収束するために人間を採用する場合がある。能動学習は、これを行なうために人間に的を絞った質問を尋ねる場合がある。例えば、機械学習アルゴリズムが標識のない大量の音声サンプルで使用されてもよい。アルゴリズムは、鬱病を示すものとして容易に分類できるものもあれば、曖昧なものもある。アルゴリズムは、特定の音声セグメントを発声するときに患者に自分が鬱状態を感じているかどうかを尋ねてもよい。又は、アルゴリズムは臨床医にサンプルの分類を求める場合がある。
システムは、音声バイオマーカーを使用して医療提供者の品質保証を実行できる場合がある。システムからのデータは、医療従事者が患者の鬱病に対応する語彙的及び非語彙的手がかりを検出するのを支援するために、医療従事者に与えられてもよい。医療従事者は、ピッチ、声のリズム、及び、声のチックの変化を使用して、介護の進め方を決定してもよい。このシステムにより、医療従事者は、いずれの質問が鬱病を最も予測する患者からの反応を引き出すのかを評価することもできる。医療従事者は、システムからのデータを使用して相互にトレーニングし、語彙的及び非語彙的手がかりを検索するとともに、介護の提供を監視して、それが患者のスクリーニング又はモニタリングに効果的かどうかを決定してもよい。例えば、医療従事者は、第２の医療従事者が被検者に質問するのを観察して、第２の医療従事者が患者から有用な情報を引き出す質問を尋ねているかどうかを決定できてもよい。医療従事者は、直接に質問する場合もあれば、コールセンターからなど、遠隔的に質問する場合もある。医療従事者は、システムによって生成された意味情報及び音声情報を使用して、患者から情報を引き出す標準化された方法を生み出してもよく、その方法に基づいて患者から最も多くの手がかりをもたらしてもよい。
このシステムは、患者で観察された声ベースのバイオマーカーを表にしたダッシュボードを提供するために使用されてもよい。例えば、医療従事者は、患者の状態を追跡し続けるために特定のバイオマーカーの頻度を追跡できてもよい。医療従事者は、これらの頻度をリアルタイムで追跡して、自分達の治療法の実行方法を評価できてもよい。また、医療従事者は、治療下又は回復の進行中の患者のパフォーマンスを監視するために、これらの頻度を経時的に追跡できてもよい。精神的健康プロバイダは、この収集されたデータを使用して、互いのパフォーマンスを評価できてもよい。
断片が解析されているときにダッシュボードがリアルタイムのバイオマーカーデータを示してもよい。ダッシュボードは、経時的に測定されたバイオマーカーの傾向を示す折れ線グラフを示してもよい。ダッシュボードは、様々な時点で行なわれた予測を示し、それにより、治療に関する患者の進捗状況を図表にしてもよい。ダッシュボードは、様々なプロバイダによる治療に対する患者の応答を示してもよい。
システムは、異なる患者設定にわたってそのモデルのうちの１つ以上を変換できてもよい。これは、様々な設定でバックグラウンド音声情報を考慮するために行なわれてもよい。例えば、システムは、１つ以上の信号処理アルゴリズムを使用して、設定全体にわたって音声入力を正規化してもよい。これは、音声記録を正規化するために複数の場所のインパルス応答測定を行なってそれらの場所で収集された信号の伝達関数を決定することによって行なわれてもよい。システムは、様々な場所でのトレーニングを考慮してもよい。例えば、患者は電話よりも自宅やセラピストのオフィスでデリケートな問題について話し合う方が快適だと感じるかもしれない。したがって、これらの設定で取得される声ベースのバイオマーカーが異なる場合がある。システムは複数の場所でトレーニングされる場合があり、又は、トレーニングデータは、システムの機械学習アルゴリズムによって処理される前に、場所ごとに標識付けされる場合がある。
モデルは、例えば、信号処理アルゴリズムを使用することによって、場所から場所へと転送されてもよい。また、モデルは、患者の場所に基づいて患者に尋ねられる質問を修正することによって転送されてもよい。例えば、どの特定の質問又は一連の質問が特定の場所の文脈内の特定の応答に対応するかが決定されてもよい。その後、質問は、患者から同じ応答を提供するような態様で医療従事者によって管理されてもよい。
システムは、標準的な臨床的遭遇を使用して、音声バイオマーカーモデルをトレーニングできてもよい。システムは、身体的愁訴のための臨床的遭遇の記録を収集してもよい。愁訴は、怪我、病気、又は、慢性疾患に関するものであってもよい。システムは、患者の許可を得て、予約中に患者が医療従事者と行なった会話を記録してもよい。身体的愁訴は、患者の健康状態に関する患者の感情を示してもよい。場合によっては、身体的愁訴は、患者に重大な苦痛を引き起こし、患者の全体的な気質に影響を及ぼし、鬱病を引き起こす場合がある。
データは、それが収集される際又はシステム内の１つ以上のサーバへの転送中に暗号化されてもよい。データは、対称鍵暗号化スキーム、公開鍵暗号化スキーム、又は、ブロックチェーン暗号化方法を使用して暗号化されてもよい。１つ以上の機械学習アルゴリズムによって実行される計算は、部分準同型暗号化スキーム又は完全準同型暗号化スキームなどの準同型暗号化スキームを使用して暗号化されてもよい。
プライバシーを保護するために、データが局所的に解析されてもよい。システムは、トレーニングされた機械学習アルゴリズムを実装して予約が行なわれている場所で記録された発話サンプルデータを操作することによってデータをリアルタイムで解析してもよい。
或いは、データが局所的に記憶されてもよい。プライバシーを保護するべく、後で解析するためにクラウドに記憶される前に特徴が抽出されてもよい。特徴は、プライバシーを保護するために匿名化されてもよい。例えば、患者には、自分達の真の識別情報を隠すために識別子又は偽名が与えられてもよい。患者の識別情報が危険にさらされないようにするために、データが差分プライバシーを受けてもよい。差分プライバシーは、データセットにノイズを付加することによって得られてもよい。例えば、データセットは、１００個のユーザ名及び付加ノイズに対応する１００個の記録を含んでもよい。オブザーバが９９人のユーザに対応する９９個の記録に関する情報を有するとともに残りのユーザ名を知っている場合には、システムにノイズが存在するため、オブザーバは残りの記録を残りのユーザ名と照合できない。
幾つかの実施形態では、ローカルモデルがユーザデバイスに埋め込まれてもよい。ローカルモデルは、デバイスの計算能力及び記憶の制約を受けて、限られた機械学習又は統計解析を実行できてもよい。モデルは、患者からの音声録音に対してデジタル信号処理を実行できてもよい。使用されるモバイルデバイスがスマートフォン又はタブレットコンピュータであってもよい。モバイルデバイスは、ローカルデータの解析のためにネットワークを介してアルゴリズムをダウンロードできてもよい。収集及び解析されたデータがネットワークを介して移動しない場合があるため、ローカルデバイスを使用してプライバシーを確保してもよい。
声ベースのバイオマーカーは、検査値又は生理学的測定値と関連付けられてもよい。声ベースのバイオマーカーは、精神的健康関連の測定値と関連付けられてもよい。例えば、声ベースのバイオマーカーは、精神医学的治療の効果又はセラピストなどの医療専門家により取得されたログと比較されてもよい。声ベースのバイオマーカーは、声ベースの解析が現場で一般的に行なわれる評価と一致するかどうかを確認するために調査の質問への回答と比較されてもよい。
声ベースのバイオマーカーは、身体的健康関連の測定値と関連付けられてもよい。例えば、病気などの声の問題は、実用的な予測をもたらすために考慮される必要がある声の音を生み出す患者に寄与する場合がある。更に、患者が病気や怪我から回復している時間スケールにわたる鬱病の予測を、その時間スケールにわたる患者の健康状態と比較して、治療が患者の鬱病又は鬱病関連の症状を改善しているかどうかを確認してもよい。システムの臨床的有効性を決定するために、声ベースのバイオマーカーが複数の時点にわたって収集された脳活動に関連するデータと比較されてもよい。
モデルのトレーニングは継続的な場合があるため、音声データが収集される間、モデルは継続的に実行されている。声ベースのバイオマーカーは、システムに継続的に付加されて、複数の期間中にトレーニングのために使用されてもよい。モデルは、データが収集される際にデータを使用して更新されてもよい。
システムは強化学習メカニズムを使用してもよく、この場合、信頼度の高い鬱病予測をもたらす声ベースのバイオマーカーを引き出すために調査の質問が動的に変更されてもよい。例えば、強化学習メカニズムは、グループから質問を選択できてもよい。前の質問又は一連の前の質問に基づいて、強化メカニズムは、鬱病の信頼度の高い予測をもたらし得る質問を選択してもよい。
システムは、いずれの質問又は一連の質問が患者から特定の聞き出しをもたらすことができるかを決定できてもよい。システムは、機械学習を使用して、例えば確率を生成することにより、特定の聞き出しを予測してもよい。システムは、ソフトマックス層を使用して、複数の聞き出しに関する確率を生成してもよい。システムは、特定の質問だけでなくこれらの質問が尋ねられる時間、質問が尋ねられる調査の期間、質問が尋ねられる日時、及び、質問が尋ねられる治療過程中の時点を特徴として使用してもよい。
例えば、患者にとって敏感な対象について特定の時間に尋ねられる特定の質問は、患者からの泣き声を引き出す場合がある。この泣き声が鬱病と強く関連付けられてもよい。システムは、特定の時間であるという文脈を受信すると、患者に質問の提示を推奨してもよい。
システムは、声ベースのバイオマーカーを使用して、治療過程に動的に影響を与える方法を含んでもよい。システムは、一定期間にわたるユーザの聞き出しを記録し、記録された聞き出しから、治療が効果的であったか否かを決定してもよい。例えば、声ベースのバイオマーカーが長期間にわたって鬱病の兆候を殆ど示さなくなる場合、これは処方された治療が機能している証拠である場合がある。一方、声ベースのバイオマーカーが長期間にわたって鬱病をより示すようになる場合、システムは、医療従事者に治療の変更を追求する或いは現在の治療方針をより積極的に追求するよう促してもよい。
システムは自発的に治療の変更を推奨してもよい。シテムがデータを継続的に処理及び解析している実施形態において、システムは、鬱病を示す声ベースのバイオマーカーの突然の増加を検出してもよい。これは、治療の過程で比較的短い時間枠で起こり得る。また、システムは、治療の過程が特定の期間（例えば、６ヶ月、１年）にわたって効果的でなかった場合、自発的に変更を推奨できてもよい。
システムは、薬に対する特定の応答の確率を追跡できてもよい。例えば、システムは、治療過程の前、最中、及び、後に取得された声ベースのバイオマーカーを追跡して、鬱病を示すスコアの変化を解析できてもよい。
システムは、同様の患者についてトレーニングを受けたことにより、特定の患者の投薬に対する応答の確率を追跡できてもよい。システムは、このデータを使用して、同様の人口統計からの患者の応答に基づいて患者の応答を予測してもよい。これらの人口統計としては、年齢、性別、体重、身長、病歴、又は、これらの組み合わせを挙げることができる。
システムは、患者が一連の薬や治療を順守している可能性を追跡できてもよい。例えば、システムは、時系列の声ベースのバイオマーカーの解析に基づいて、治療が患者に影響を及ぼしているかどうかを予測できてもよい。このとき、医療従事者は、患者が治療を受けているかどうかを患者に尋ねてもよい。
更に、システムは、質問の調査に基づいて、患者が自分のバイオマーカーを解析することによって治療に従っているかどうかを知ることができるかもしれない。例えば、患者は、防御的になるか、長い一時停止をとるか、吃音を起こすか、又は患者が治療計画を順守したことについて明らかに嘘をついているように行動する可能性がある。また、患者は、治療計画に従わなかったことに関して、悲しみ、恥、又は後悔を表明する場合がある。
システムは、患者が一連の治療又は投薬を順守するかどうかを予測できてもよい。システムは、患者が一連の治療に従うかどうかを予測するために、多くの患者からの声ベースのバイオマーカーからのトレーニングデータを使用できてもよい。システムは、順守を予測するものとして特定の声ベースのバイオマーカーを特定することがでる。例えば、不正直を示す声ベースのバイオマーカーを持つ患者は、治療計画を順守する可能性が低いと指定される場合がある。
システムは、個々の患者ごとにベースラインプロファイルを確立できてもよい。
個々の患者は、幸福、悲しみ、怒り、苦悩などの情緒を示す特定の声ベースのバイオマーカーを使用して、特定の話し方をしている場合がある。例えば、欲求不満のときは笑ったり、幸せのときは泣いたりする人もいる。一部の人々は、大声で又は静かに話し、はっきりと話すか又はつぶやき、大小の語彙を持ち、自由に又はより躊躇して話すことがある。外向的な性格の人もいれば、もっと内向的な人もいる。
一部の人々は他の人々より話すことを躊躇するかもしれない。一部の人々は自分の感情を表現することについてより警戒しているかもしれない。一部の人々はトラウマや虐待を経験したことがあるかもしれない。一部の人々は自分の気持ちを否定しているかもしれない。
人のベースラインの気分や精神状態、したがってその人の声ベースのバイオマーカーは、時間の経過とともに変化する可能性がある。モデルは、これを考慮するように継続的にトレーニングされてもよい。また、モデルは、鬱病をあまり頻繁に予測しなくてもよい。モデルの経時的な予測は、精神的健康の専門家によって記録されてもよい。これらの結果は、鬱状態からの患者の進行を示すために使用されてもよい。
システムは、様々なタイプの個人を考慮するために、特定の数のプロファイルを作成できてもよい。これらのプロファイルは、例えば、個人の性別、年齢、民族、話されている言語、及び職業に関連している場合がある。
特定のプロファイルには、同様の声ベースのバイオマーカーが含まれてもよい。例えば、年配の人は若い人よりも薄くて息をのむような声を出す場合がある。彼らの弱い声は、マイクロフォンが特定のバイオマーカーを拾うのをより困難にするかもしれず、また、彼らは若い人々よりゆっくり話すかもしれない。更に、高齢者は行動療法を非難する可能性があり、したがって、若い人ほど多くの情報を共有しない可能性がある。
男性と女性は自分自身を異なって表現するかもしれず、これが、異なったバイオマーカーにつながるかもしれない。例えば、男性は否定的な情緒をより積極的又は暴力的に表現する場合があるが、女性は情緒をより明確に表現できる場合がある。
更に、異なる文化の人々は、情緒を処理又は表現する方法が異なる場合があり、否定的な情緒を表現するときに罪悪感や恥を感じる場合がある。特異な声ベースのバイオマーカーの取得に関してシステムをより効果的にするために、文化的背景に基づいて人々をセグメント化する必要があるかもしれない。
システムは、性格タイプごとにセグメント化及びクラスタリングすることにより、異なる性格タイプの人々を考慮してもよい。臨床医は性格のタイプと、それらのタイプの人々が鬱病の感情を表現する方法に精通している場合があるため、これは手動で行なうことができる。臨床医は、これらのセグメント化されたグループの人々から特定の声ベースのバイオマーカーを引き出すために、特定の調査質問を作成してもよい。
声ベースのバイオマーカーは、たとえその人が情報を差し控えていたり、テスト方法をうまくやろうとしているとしても、誰かが鬱状態でいるかどうかを決定するために使用できるかもしれない。これは、声ベースのバイオマーカーの多くが非自発的な発話であり得るからである。例えば、患者が口論したり、患者の声が震えたりすることがある。
特定の声ベースのバイオマーカーは、鬱病の特定の原因と相関している場合がある。例えば、鬱病を示す特定の単語、フレーズ、又はそれらのシーケンスを見つけるために、意味解析が多くの患者に対して実行される。また、システムは、ユーザの有効性を判断するために、ユーザに対する治療オプションの影響を追跡してもよい。最後に、システムは強化学習を使用して、利用可能なより良い治療方法を決定することができる。
コンピュータ図
リアルタイムシステム３０２が（図５２）に詳細に示されている。リアルタイムシステム３０２は、メモリ５２０４からデータ及び／又は命令を取り出し、取り出された命令を従来の態様で実行する１つ以上のマイクロプロセッサ５２０２（まとめてＣＰＵ５２０２と呼ばれる）を含む。メモリ５２０４は、一般に、例えば、磁気ディスク及び／又は光ディスク、ＲＯＭ、及びＰＲＯＭなどの永続メモリ、及びＲＡＭなどの揮発性メモリを含めて、任意のコンピュータ可読媒体を含み得る。
ＣＰＵ５２０２及びメモリ５２０４は、この例示的な実施形態ではバスであり、ＣＰＵ５２０２及びメモリ５２０４を１つ以上の入力デバイス５２０８、出力デバイス５２１０、及びネットワークアクセス回路５２１２に接続する、従来の相互接続５２０６を介して互いに接続される。入力デバイス５２０８は、例えば、キーボード、キーパッド、タッチセンシティブスクリーン、マウス、マイクロフォン、及び１つ以上のカメラを含み得る。出力デバイス５２１０は、例えば、液晶ディスプレイ（ＬＣＤ）などのディスプレイ及び１つ以上のスピーカを含み得る。ネットワークアクセス回路５２１２は、ネットワーク３０８などのコンピュータネットワークを介してデータを送受信する（図３）。一般的に言えば、サーバコンピュータシステムは入力デバイスと出力デバイスを除外することが多く、代わりにネットワークアクセス回路を介した人間のユーザ操作に依存している。したがって、幾つかの実施形態では、リアルタイムシステム３０２は、入力デバイス７０８及び出力デバイス５２１０を含まない。
リアルタイムシステム３０２の幾つかの構成要素は、メモリ５２０４に記憶される。特に、評価テストアドミニストレータ２２０２及び複合モデル２２０４はそれぞれ、この例示的な実施形態では、メモリ５３０４からＣＰＵ５３０２内で実行される１つ以上のコンピュータプロセスの全部又は一部であるが、デジタルロジック回路を使用して実装することもできる。評価テストアドミニストレータ２２０２と複合モデル２２０４はどちらもロジックである。本明細書で使用される場合、「ロジック」は、（ｉ）１つ以上のコンピュータプロセス内のコンピュータ命令及び／又はデータとして実装されるロジック、及び／又は（ｉｉ）電子回路に実装されるロジックを指す。
評価テスト構成５２２０は、メモリ５３０４に永続的に記憶されたデータであり、それぞれが１つ以上のデータベースの全部又は一部として実装され得る。
モデリングシステム３０４（図３）は、（図５３）により詳細に示される。モデリングシステム３０４は、ＣＰＵ５２０２（図５２）、メモリ５２０４、相互接続５２０６、入力デバイス５２０８、出力デバイス５２１０、及び、ネットワークアクセス回路５２１２にそれぞれ直接類似する、１つ以上のマイクロプロセッサ５３０２（まとめてＣＰＵ５３０２と呼ばれる）、メモリ５３０４、相互接続５３０６、入力デバイス５３０８、出力デバイス５３１０、及びネットワークアクセス回路５３１２を含む。サーバコンピュータシステムであるため、モデリングシステム３０４は、入力デバイス５３０８及び出力デバイス５３１０を省略してもよい。
モデリングシステム３０４（図５３）の幾つかの構成要素は、メモリ５３０４に記憶される。
特に、モデリングシステムロジック５３２０は、この例示的な実施形態では、メモリ５３０４からＣＰＵ５３０２内で実行される１つ以上のコンピュータプロセスの全部又は一部であるが、デジタルロジック回路を使用して実装することもできる。収集された患者データ２２０６、臨床データ２２２０、及びモデリングシステム構成５３２２は、それぞれ、メモリ５３０４に永続的に記憶されたデータであり、１つ以上のデータベースの全部又は一部として実装され得る。
この例示的な実施形態では、リアルタイムシステム３０２、モデリングシステム３０４、及び臨床データサーバ３０６は、少なくとも図では、別個の単一サーバコンピュータとして示されている。本明細書に記載の別個のサーバコンピュータのロジック及びデータを組み合わせて単一のサーバコンピュータに実装することができ、本明細書に記載の単一のサーバコンピュータのロジック及びデータを複数のサーバコンピュータに分散させることができることを理解されたい。更に、サーバとクライアントの区別は、特定のコンピュータの目的を人間が理解しやすくするために、主に任意のものであることを理解しべきである。本書で使用されている「サーバ」と「クライアント」は、主に人間の分類と理解を支援するための標識である。
健康スクリーニング又はモニタリングサーバ１０２は、図５４により詳細に示される。前述のように、本明細書に記載の健康スクリーニング又はモニタリングサーバ１０２の動作は、従来の分散処理技術を使用して複数のコンピュータシステムに分散され得ることが理解されるべきである。健康スクリーニング又はモニタリングサーバ１０２は、メモリ５４０４からデータ及び／又は命令を取り出し、従来の方法で取り出された命令を実行する１つ以上のマイクロプロセッサ５４０２（まとめてＣＰＵ５４０２と呼ばれる）を含む。メモリ５４０４は、一般に、例えば、磁気、ソリッドステート及び／又は光ディスク、ＲＯＭ、及びＰＲＯＭなどの永続メモリ、及びＲＡＭなどの揮発性メモリを含む、任意のコンピュータ可読媒体を含み得る。
ＣＰＵ５４０２及びメモリ５４０４は、従来の相互接続５４０６を介して互いに接続され、これは、この例示的な実施形態ではバスであり、ＣＰＵ５４０２及びメモリ５４０４を１つ以上の入力デバイス５４０８、出力デバイス５４１０、及びネットワークアクセス回路５４１２に接続する。入力デバイス５４０８は、例えば、キーボード、キーパッド、タッチセンシティブスクリーン、マウス、マイクロフォン、及び１つ以上のカメラを含み得る。出力デバイス５４１０は、例えば、液晶ディスプレイ（ＬＣＤ）などのディスプレイ、及び１つ以上のスピーカを含み得る。ネットワークアクセス回路５４１２は、ＷＡＮ１１０などのコンピュータネットワークを介してデータを送受信する（図１）。サーバコンピュータシステムは、多くの場合、入力デバイスと出力デバイスを除外し、代わりにネットワークアクセス回路のみを介した人間のユーザ操作に依存している。
したがって、幾つかの実施形態では、健康スクリーニング又はモニタリングサーバ１０２は、入力デバイス５４０８及び出力デバイス５４１０を含まない。
健康スクリーニング又はモニタリングサーバ１０２の幾つかの構成要素は、メモリ５４０４に記憶される。特に、対話型健康スクリーニング又はモニタリングロジック４０２及びヘルスケア管理ロジック４０８は、それぞれ、メモリ５４０４からＣＰＵ５４０２内で実行される１つ以上のコンピュータプロセスの全部又は一部である。本明細書で使用される場合、「ロジック」は、（ｉ）１つ以上のコンピュータプロセス内のコンピュータ命令及び／又はデータとして実装されるロジック、及び／又は（ｉｉ）電子回路に実装されるロジックを指す。
スクリーニングシステムデータストア４１０及びモデルリポジトリ４１６は、それぞれ、メモリ５４０４に永続的に記憶されるデータであり、１つ以上のデータベースの全部又は一部として実装することができる。スクリーニングシステムデータストア４１０はまた、上記のようなロジックを含む。
サーバとクライアントの区別は、特定のコンピュータの目的を人間が理解しやすくするために、主に任意のものであることを理解されるべきである。本書で使用されている「サーバ」と「クライアント」は、主に人間の分類と理解を支援するための標識である。
以上の説明は、例示にすぎず、限定するものではない。例えば、上記の説明の多くは鬱病及び不安に関係しているが、本明細書に記載の技術は、心的外傷後ストレス障害（ＰＴＳＤ）及びストレス、一般的に、とりわけ、薬物及びアルコール中毒、及び双極性障害などの幾つかの他の健康状態を効果的に推定及び／又はスクリーニングできることを理解されたい。更に、本明細書に記載の健康スクリーニング又はモニタリングサーバ１０２がスクリーニングする健康状態の大部分が精神的健康状態又は行動的健康障害であるが、健康スクリーニング又はモニタリングサーバ１０２は、精神的又は行動的健康に関係のない健康状態をスクリーニングし得る。例としては、パーキンソン病、アルツハイマー病、慢性閉塞性肺疾患、肝不全、クローン病、重症筋無力症、筋萎縮性側索硬化症（ＡＬＳ）、非代償性心不全が挙げられる。
更に、上記の（１又は複数の）実施形態の多くの修正及び／又は追加が可能である。例えば、患者の同意があれば、心拍数、血圧、呼吸、呼吸、体温など、１つ以上の患者の生体測定から精神疾患診断の裏付けとなる患者データを抽出できる。プライバシーや言語間の解析のために、言葉のない音声を使用することも想定し得る。視覚的な手がかりなしで音響モデリングを使用することも可能である。
本発明は、以下の特許請求の範囲及びそれらの全範囲の同等物によってのみ定義される。以下の添付の特許請求の範囲は、本発明の真の精神及び範囲内にあるような全てのそのような変更、修正、順列、及び代替の同等物を含むと解釈されることが意図されている。
健康状態、すなわち幾つかの実施形態における鬱病をスクリーニング又は監視するためのシステム及び方法が説明されたので、ここで、上記の機能を実行することができるシステムの例に注目する。この議論を容易にするために、図５７及び図５８は、本発明の実施形態を実施するのに適したコンピュータシステム５７００を示している。図５７は、コンピュータシステム５７００の１つの可能な物理的形態を示している。もちろん、コンピュータシステム５７００は、プリント回路基板、集積回路、及び小型のハンドヘルドデバイスから巨大なスーパーコンピュータ、及びネットワーク化されたコンピュータ（又は分散ネットワークで動作するコンピューティングコンポーネント）の集合に至るまで、多くの物理的形態を有し得る。コンピュータシステム５７００は、モニタ５７０２、ディスプレイ５７０４、ハウジング５７０６、ディスクドライブ５７０８、キーボード５７１０、及びマウス５７１２を含み得る。記憶媒体５７１４は、コンピュータシステム５７００との間でデータを転送するために使用されるコンピュータ可読媒体である。
図５８は、コンピュータシステム５７００のブロック図５８００の例である。システムバス５７２０には、様々なサブシステムが接続される。（１又は複数の）プロセッサ５７２２（中央処理装置、又はＣＰＵとも呼ばれる）は、メモリ５７２４を含む記憶装置に結合される。メモリ５７２４には、ランダムアクセスメモリ（ＲＡＭ）と読み取り専用メモリ（ＲＯＭ）が含まれる。当技術分野でよく知られているように、ＲＯＭは、データ及び命令を一方向にＣＰＵに転送するように機能し、ＲＡＭは、通常、データ及び命令を双方向に転送するために使用される。これらのタイプのメモリの両方は、以下に説明されるコンピュータ可読媒体の任意の適切なものを含み得る。また、固定媒体５７２６は、プロセッサ５７２２に双方向に結合されてもよく、追加のデータストレージ容量を提供し、以下で説明するコンピュータ可読媒体のいずれかを含んでもよい。固定媒体５７２６は、プログラム、データなどを記憶するために使用することができ、通常、一次記憶装置よりも遅い二次記憶媒体（ハードディスクなど）である。固定媒体５７２６内に記憶された情報は、適切な場合には、メモリ５７２４内の仮想メモリとして標準的な方法で組み込まれてもよいのが分かる。除去可能媒体５７１４は、以下に説明するコンピュータ可読媒体のいずれかの形態をとることができる。
また、プロセッサ５７２２は、ディスプレイ５７０４、キーボード５７１０、マウス５７１２、及びスピーカ５７３０などの様々な入出力デバイスに結合される。一般に、入力／出力デバイスは、ビデオディスプレイ、トラックボール、マウス、キーボード、マイク、タッチセンサー式ディスプレイ、トランスデューサーカードリーダー、磁気又は紙テープリーダー、タブレット、スタイラス、音声又は手書きの認識機能、バイオメトリクスリーダー、モーションセンサー、モーショントラッカー、脳波リーダー、又はその他のコンピュータのいずれかであってもよい。プロセッサ５７２２は、ネットワークインタフェース５７４０を使用して、別のコンピュータ又は電気通信ネットワークに結合されていてもよい。そのようなネットワークインタフェース５７４０を用いて、プロセッサ５７２２は、上記の健康スクリーニング又はモニタリングを実行する過程で、ネットワークから情報を受信するか、又はネットワークに情報を出力することができると考えられる。更に、本発明の方法の実施形態は、プロセッサ５７２２上でのみ実行することができ、又は処理の一部を共有するリモートＣＰＵと組み合わせてインターネットなどのネットワークを介して実行することができる。
ソフトウェアは通常、不揮発性メモリやドライブユニットに記憶される。実際、大規模なプログラムの場合、プログラム全体をメモリに記憶することさえできない場合がある。それにもかかわらず、ソフトウェアを実行するために、必要に応じて、プログラムは処理に適切なコンピュータ可読位置に移動され、例示の目的で、その位置は本開示ではメモリと呼ばれることが理解されるべきである。ソフトウェアが実行のためにメモリに移動された場合でも、プロセッサは通常、ハードウェアレジスタを使用してソフトウェアに関連付けられた値を記憶し、ローカルキャッシュは理想的には実行を高速化するのに役立つ。本明細書で使用される場合、ソフトウェアプログラムは、ソフトウェアプログラムが「コンピュータ可読媒体に実装されている」と呼ばれる場合、任意の既知の又は便利な場所（不揮発性ストレージからハードウェアレジスタまで）に記憶されると想定される。プログラムに関連付けられた少なくとも１つの値がプロセッサによって読み取り可能なレジスタに記憶されている場合、プロセッサは「プログラムを実行するように構成されている」と見なされる。
動作中、コンピュータシステム５７００は、ディスクオペレーティングシステムなどのファイル管理システムを含むオペレーティングシステムソフトウェアによって制御され得る。関連するファイル管理システムソフトウェアを備えたオペレーティングシステムソフトウェアの一例は、ワシントン州レドモンドのマイクロソフトコーポレーションからのウィンドウズ（登録商標）として知られているオペレーティングシステムのファミリー、及びそれらに関連するファイル管理システムである。関連するファイル管理システムソフトウェアを備えたオペレーティングシステムソフトウェアの別の例は、Ｌｉｎｕｘオペレーティングシステム及びそれに関連するファイル管理システムである。ファイル管理システムは、一般に、不揮発性メモリ及び／又はドライブユニットに記憶されるとともに、不揮発性メモリ及び／又はドライブユニットにファイルを記憶することを含めて、データを入出力し且つメモリにデータを記憶するためにオペレーティングシステムによって必要とされる様々な動作をプロセッサに実行させる。
詳細な説明の一部は、コンピュータメモリ内のデータビットに関する操作のアルゴリズム及び記号表現の観点から提示される場合がある。これらのアルゴリズムの説明及び表現は、データ処理技術の当業者が自分の仕事の内容を当業者に最も効果的に伝えるために使用するアプローチである。アルゴリズムは、ここで、そして一般的に、望ましい結果につながる自己無撞着な一連の操作であると考えられる。操作は、物理量の物理的な操作を必要とする操作である。通常、必ずしもそうとは限らないが、これらの量は、記憶、転送、結合、比較、及び、その他の方法で操作できる電気信号又は磁気信号の形をとる。これらの信号をビット、値、要素、記号、文字、用語、数字などと呼ぶことは、主に一般的な使用法の理由から、時々便利であることが証明される。
本明細書に提示されているアルゴリズム及び表示は、特定のコンピュータ又は他の装置に本質的に関連していない。様々な汎用システムが、本明細書の教示によるプログラムとともに使用され得るか、又は幾つかの実施形態の方法を実行するためのより特殊な装置を構築することが便利であることが証明され得る。更に、技術は、特定のプログラミング言語を参照して説明されておらず、したがって、様々な実施形態は、様々なプログラミング言語を使用して実装され得る。
別の実施形態において、機械は、スタンドアロンデバイスとして動作するか、又は他の機械に接続（例えば、ネットワーク化）され得る。ネットワーク展開では、機械は、クライアントサーバネットワーク環境ではサーバ又はクライアントマシンの容量で動作するか、ピアツーピア（又は分散）ネットワーク環境ではピアマシンとして動作する。
機械は、サーバコンピュータ、クライアントコンピュータ、仮想マシン、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ラップトップコンピュータ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ｉＰｈｏｎｅ、Ｂｌａｃｋｂｅｒｒｙ、プロセッサ、テレホン、ウェブアプライアンス、ネットワークルータ、スイッチ又はブリッジ、或いは、その機械によってとられるべき動作を指定する一連の命令（順次又はその他）を実行できる任意の機械であってもよい。
機械可読媒体又は機械可読記憶媒体は、例示的な実施形態では単一の媒体であることが示されているが、「機械可読媒体」及び「機械可読記憶媒体」という用語は、１つ以上の命令セットを記憶する単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は、関連するキャッシュ及びサーバ）を含むと解釈されるべきである。また、「機械可読媒体」及び「機械可読記憶媒体」という用語は、機械によって実行するための一連の命令を記憶、符号化、又は伝えることができるとともに現在開示され技術及び革新の方法論のうちの１つ以上を機械に実行させる任意の媒体を含むと解釈されるものとする。
一般に、本開示の実施形態を実施するために実行されるルーチンは、オペレーティングシステムの一部として、又は「コンピュータプログラム」と呼ばれる特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュール、又は一連の命令として実施されてもよい。コンピュータプログラムは、一般に、コンピュータ内の様々なメモリ及び記憶装置に様々な時間に設定された１つ以上の命令を含み、また、コンピュータ内の１つ以上の処理ユニット又はプロセッサによって読み取られて実行されると、開示の様々な態様を含む要素を実行するための動作をコンピュータに実行させる。
更に、実施形態は、完全に機能するコンピュータ及びコンピュータシステムとの関連で説明されてきたが、当業者であれば分かるように、様々な実施形態が様々な形態のプログラム製品として配布することができ、また、実際に配布に影響を与えるように使用される特定のタイプの機械又はコンピュータ可読媒体に関係なく本開示が等しく適用される。
更なる使用ケース
本明細書に開示されるシステムは、医療従事者によって提供されるケアを増強するために使用され得る。例えば、開示された１つ以上のシステムを使用して、患者の患者介護提供者への引き渡しを容易にすることができる。システムが、評価に続いて、特定の精神状態の閾値を超えるスコアを生成する場合、システムは、更なる調査及び解析のために患者を専門家に紹介することができる。患者は、例えば、患者が遠隔医療システムで治療を受けている場合又は専門医が患者と同じ場所にいる場合、評価が完了する前に紹介される場合がある。例えば、患者は、１人又は複数の専門家がいる診療所で治療を受けている場合がある。
開示されたシステムは、スコアリングに続いて、患者の臨床プロセスを指示することができてもよい。例えば、患者がクライアントデバイスを使用して評価を受けていた場合、患者は、評価の完了後、認知行動療法（ＣＢＴ）サービスに紹介される場合がある。また、患者は、医療従事者に紹介されたり、システムによって医療従事者との約束があったりする場合もある。開示されたシステムは、１つ以上の薬物療法を示唆し得る。
図５９は、システムの精密ケース管理の使用ケースのインスタンス化を示す。第１のステップでは、患者がケースマネージャと会話する。第２のステップでは、１つ以上のエンティティが、患者の同意を得て、会話を受動的に記録する。会話は対面の会話であってもよい。他の実施形態において、ケースマネージャは、会話をリモートで実行することができる。例えば、会話は遠隔医療プラットフォームを使用した会話であってもよい。第３のステップでは、リアルタイムの結果が支払者に渡される。リアルタイムの結果は、精神状態に対応するスコアを含んでもよい。第４のステップにおいて、ケースマネージャはリアルタイムの結果に基づいてケアプランを更新できる。例えば、特定の閾値を超える特定のスコアは、ケアプロバイダと患者との間の将来の対話に影響を及ぼし、プロバイダが患者に様々な質問をする原因となる場合がある。スコアは、スコアに関連する特定の質問を提案するようにシステムをトリガーすることさえあり得る。会話は、更新されたケアプランで繰り返される場合がある。
図６０は、システムのプライマリーケアスクリーニング又はモニタリングの使用ケースのインスタンス化を示す。第１のステップでは、患者がプライマリーケア提供者を訪問する。第２のステップでは、プライマリーケアプロバイダの組織が電子転写のために発話を捕捉し、システムが解析用のコピーを提供してもよい。第３のステップにおいて、プライマリーケア提供者は、解析から、介護経路を通知するリアルタイムのバイタルサインを受けとってもよい。これは、行動的健康の専門家への温かい引き継ぎを容易にするか、特定の介護経路にプライマリーケアプロバイダを導くために使用されてもよい。
図６１は、高度従業員支援計画（ＥＡＰ）ナビゲーション及びトリアージのためのシステムの一例を示す。第１のステップにおいて、患者はＥＡＰ回線を呼び出すことができる。第２のステップにおいて、システムは視聴覚データを記録し、患者をスクリーニングすることができる。リアルタイムのスクリーニング又はモニタリングの結果は、プロバイダにリアルタイムで配信されてもよい。プロバイダは、収集されたリアルタイムの結果に基づいて、リスクの高い話題について患者を適応的にスクリーニングできてもよい。リアルタイムのスクリーニング又はモニタリングデータは、他のエンティティに提供されてもよい。例えば、リアルタイムのスクリーニング又はモニタリングデータは、オンコールの臨床医に提供され、紹介をスケジュールするために使用され、教育目的又は他の目的のために使用され得る。患者とＥＡＰとの間のやり取りは、対面で行なうことも、遠隔で行なうこともできる。ＥＡＰラインにスタッフを配置している人は、患者がポジティブな画面を持っていることをリアルタイムで警告され、患者を適切なレベルの治療に導くのを助けることができるかもしれない。また、ＥＡＰは、患者に実施された評価の結果、例えば、患者の精神状態に対応するスコアに基づいて質問をするように指示され得る。
本明細書に記載の発話データは、リアルタイムで収集及び解析されてもよく、又は記録されて後で解析されるデータであってもよい。
本明細書に開示されるシステムは、免許のないコーチと患者との間の対話を監視するために使用され得る。システムは、監視する前に患者に同意を要求する場合がある。コーチは質問を管理するために使用される場合がある。評価と連携するコーチは、臨床医や医療のサービスを使用するのと同じくらい費用がかからずに、臨床医や医療専門家に実用的な予測を提供する患者との対話を提供できてもよい。この評価により、免許のないコーチによる判断に厳格さとロバスト性を加えることができてもよい。この評価は、コーチの方法を検証する方法を提供するため、より多くの人々がコーチとして仕事をすることを可能にしてもよい。
本発明を幾つかの実施形態に関して説明してきたが、本発明の範囲内に入る変更、修正、順列、及び代替の同等物が存在する。サブセクションのタイトルは、本発明の説明を支援するために提供されているが、これらのタイトルは、単に例示的なものであり、本発明の範囲を限定することを意図するものではない。本発明の方法及び装置を実施する多くの代替方法があることにも留意されたい。したがって、以下の添付の特許請求の範囲は、本発明の真の精神及び範囲内にあるような全てのそのような変更、修正、順列、及び代替の同等物を含むと解釈されることが意図される。
用語及び定義
別段の定義がない限り、本明細書で使用される全ての専門用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
本明細書で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかに他のことを指示しない限り、複数の言及を含む。本明細書における「又は」への言及は、特に明記しない限り、「及び／又は」を包含することが意図されている。
本明細書で使用される場合、「約」という用語は、記載された量に１０％、５％、又は１％近い量を指し、その中の増分を含む。
本明細書で使用される場合、パーセンテージに関する「約」という用語は、記載されたパーセンテージよりも１０％、５％、又は１％多い又は少ない量を指し、その中の増分を含む。
本明細書で使用される場合、「少なくとも１つ」、「１つ以上」、及び「及び／又は」という句は、動作において接続詞及び離接語の両方である非制約的表現である。例えば、「Ａ、Ｂ、及びＣの少なくとも１つ」、「Ａ、Ｂ、又はＣの少なくとも１つ」、「Ａ、Ｂ、及びＣの１つ以上」、「Ａ、Ｂ、又はＣ」及び「Ａ、Ｂ、及び／又はＣ」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを一緒に、ＡとＣを一緒に、ＢとＣを一緒に、又はＡ、ＢとＣを一緒に意味する。
「少なくとも」、「より大きい」、又は「以上」という用語が一連の２つ以上の数値の最初の数値の前にある場合、「少なくとも」、「より大きい」、又は「以上」という用語は常に一連の数値の各数値に適用される。例えば、１、２、又は３以上は、１以上、２以上、又は３以上と同等である。
「超えない」、「未満」、又は「以下」という用語が一連の２つ以上の数値の最初の数値の前にある場合は常に、「超えない」、「未満」、「以下」は、その一連の数値の各数値に適用される。例えば、３、２、又は１以下は、３以下、２以下、１以下と同等である。
コンピュータシステム
本開示は、本開示の方法を実施するようにプログラムされているコンピュータシステムを提供する。図６２は、単一のセッションで又は複数の異なるセッションにわたって被検者の精神状態を評価するようにプログラムされ或いはさもなければ構成されるコンピュータシステム６２０１を示す。コンピュータシステム６２０１は、例えば、クエリーの提示、データの取り出し、及びデータの処理など、本開示の単一のセッション又は複数の異なるセッションにわたって被検者の精神状態を評価する様々な態様を調整することができる。コンピュータシステム６２０１は、ユーザの電子デバイス、又は電子デバイスに対して遠隔に配置されたコンピュータシステムであり得る。電子デバイスは、モバイル電子デバイスであり得る。
コンピュータシステム６２０１は、中央処理装置（ＣＰＵ、本明細書では「プロセッサ」及び「コンピュータプロセッサ」でもある）６２０５を含み、これは、シングルコア又はマルチコアプロセッサ、或いは並列処理のための複数のプロセッサであり得る。また、コンピュータシステム６２０１は、メモリ又は記憶場所６２１０（例えば、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ）、通信用の電子記憶装置６２１５（例えば、ハードディスク）、１つ以上の他のシステムと通信するための通信インタフェース６２２０（例えば、ネットワークアダプタ）、及び、キャッシュ、他のメモリ、データストレージ、及び／又は電子ディスプレイアダプタなどの周辺機器６２２５も含む。メモリ６２１０、ストレージユニット６２１５、インタフェース６２２０、及び周辺機器６２２５は、マザーボードなどの通信バス（実線）を介してＣＰＵ６２０５と通信している。ストレージユニット６２１５は、データを記憶するためのデータストレージユニット（又はデータリポジトリ）であり得る。コンピュータシステム６２０１は、通信インタフェース６２２０の助けを借りて、コンピュータネットワーク（「ネットワーク」）６２３０に動作可能に結合することができる。ネットワーク６２３０は、インターネット、インターネット及び／又はエクストラネット、或いはインターネットと通信しているイントラネット及び／又はエクストラネットであり得る。ネットワーク６２３０は、場合によっては、電気通信及び／又はデータネットワークである。ネットワーク６２３０は、クラウドコンピューティングなどの分散コンピューティングを可能にすることができる１つ以上のコンピュータサーバを含むことができる。ネットワーク６２３０は、場合によっては、コンピュータシステム６２０１の助けを借りて、ピアツーピアネットワークを実装することができ、これにより、コンピュータシステム６２０１に結合されたデバイスがクライアント又はサーバとして動作することが可能になる。
ＣＰＵ６２０５は、プログラム又はソフトウェアで具体化することができる一連の機械可読命令を実行することができる。命令は、メモリ６２１０などの記憶場所に記憶することができる。命令は、ＣＰＵ６２０５に向けることができ、これは、その後、本開示の方法を実装するようにＣＰＵ６２０５をプログラム又は他の方法で構成することができる。ＣＰＵ６２０５によって実行される操作の例には、フェッチ、デコード、実行、及びライトバックが含まれ得る。
ＣＰＵ６２０５は、集積回路などの回路の一部であり得る。システム６２０１の他の１つ以上の構成要素を回路に含めることができる。場合によっては、回路は特定用途向け集積回路（ＡＳＩＣ）である。
ストレージユニット６２１５は、ドライバ、ライブラリ、及び保存されたプログラムなどのファイルを記憶することができる。ストレージユニット６２１５は、ユーザデータ、例えば、ユーザプリファレンス及びユーザプログラムを記憶することができる。コンピュータシステム６２０１は、場合によっては、イントラネット又はインターネットを介してコンピュータシステム６２０１と通信しているリモートサーバ上に配置されるなど、コンピュータシステム６２０１の外部にある１つ以上の追加のデータストレージユニットを含むことができる。
コンピュータシステム６２０１は、ネットワーク６２３０を介して１つ以上のリモートコンピュータシステムと通信することができる。例えば、コンピュータシステム６２０１は、ユーザ（例えば、臨床医）のリモートコンピュータシステムと通信することができる。リモートコンピュータシステムの例としては、パーソナルコンピュータ（ポータブルＰＣなど）、スレート又はタブレットＰＣ（Ａｐｐｌｅ（登録商標）ｉＰａｄ、Ｓａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂなど）、電話、スマートフォン（Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ、Ａｎｄｒｏｉｄ対応デバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標）など）又は携帯情報端末が挙げられる。ユーザは、ネットワーク６２３０を介してコンピュータシステム６２０１にアクセスすることができる。
本明細書に記載の方法は、例えば、メモリ６２１０又は電子記憶装置６２１５などの、コンピュータシステム６２０１の電子記憶場所に記憶された機械（例えば、コンピュータプロセッサ）実行可能コードによって実施することができる。機械実行可能コード又は機械可読コードは、ソフトウェアの形で提供できる。使用中、コードはプロセッサ６２０５によって実行することができる。場合によっては、コードは、ストレージユニット６２１５から取り出され、プロセッサ６２０５による即時アクセスのためにメモリ６２１０に記憶され得る。状況によっては、電子記憶装置６２１５を排除することができ、機械実行可能命令がメモリ６２１０に記憶される。
コードは、事前にコンパイルして、コードを実行するように構成されたプロセッサを備えたマシンで使用するように構成することも、実行時にコンパイルすることもできる。コードがコンパイル済み又はコンパイル済みの方法で実行できるようにするべくコードを選択したプログラミング言語で提供できる。
コンピュータシステム６２０１など、本明細書で提供されるシステム及び方法の態様は、プログラミングで具体化することができる。技術の様々な態様は、典型的には機械（又はプロセッサ）実行可能コード及び／又はあるタイプの機械可読媒体に保持又は組み込まれる関連データの形の「製品」又は「製造品」と考えることができる。機械実行可能コードは、メモリ（例えば、読み取り専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）又はハードディスクなどの電子記憶ユニットに記憶することができる。「ストレージ」タイプの媒体としては、コンピュータ、プロセッサなどの有形メモリのいずれか又は全て、或いは、ソフトウェアプログラミングのためにいつでも持続性ストレージを提供できる、様々な半導体メモリ、テープドライブ、ディスクドライブなどの関連モジュールを挙げることができる。ソフトウェアの全て又は一部は、インターネット又はその他の様々な通信ネットワークを通じて通信される場合がある。そのような通信は、例えば、あるコンピュータ又はプロセッサから別のコンピュータへの、例えば、管理サーバ又はホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのロードを可能にし得る。したがって、ソフトウェア要素を担うことができる別のタイプの媒体は、有線及び光の地上回線ネットワークを介して、及び様々なエアリンクを介して、ローカルデバイス間の物理インタフェース全体で使用されるような、光、電気及び電磁波を含む。有線又は無線リンク、光リンクなど、そのような波を運ぶ物理的要素も、ソフトウェアを搭載したメディアと見なすことができる。本明細書で使用される場合、非一時的で有形の「記憶」媒体に限定されない限り、コンピュータ又は機械の「読み取り可能媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
したがって、コンピュータ実行可能コードなどの機械可読媒体は、有形の記憶媒体、搬送波媒体、又は物理的伝送媒体を含むがこれらに限定されない多くの形態をとることができる。不揮発性記憶媒体は、例えば、図面に示されるデータベースなどを実装するために使用され得るような、（１又は複数の）任意のコンピュータなどの任意の記憶デバイスなどの、光ディスク又は磁気ディスクを含む。揮発性記憶媒体は、そのようなコンピュータプラットフォームのメインメモリなどの動的メモリを含む。有形の伝送媒体としては、同軸ケーブル、コンピュータシステム内のバスを構成する配線を含めて、銅線及び光ファイバが挙げられる。搬送波伝送媒体は、電気信号又は電磁信号、又は無線周波数（ＲＦ）及び赤外線（ＩＲ）データ通信中に生成されるような音響波又は光波の形をとることがある。したがって、コンピュータ可読媒体の一般的な形式としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ又はＤＶＤ－ＲＯＭ、その他の光学媒体、パンチカード紙テープ、穴のパターンがある任意の他の物理的な記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭ及びＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、データ又は命令を伝送する搬送波、そのような伝送波を伝送するケーブル又はリンク、又は、コンピュータがプログラミングコードやデータを読み取ることができるようにする任意の他の媒体が挙げられる。これらの形態のコンピュータ可読媒体の多くは、実行のためにプロセッサに１つ以上の命令の１つ以上のシーケンスを担持することに関与し得る。
コンピュータシステム６２０１は、例えば、患者に評価を提供するためのユーザインタフェース（ＵＩ）６２４０を含む電子ディスプレイ６２３５を含むか、又はそれと通信することができる。ＵＩの例としては、グラフィカルユーザインタフェース（ＧＵＩ）やウェブベースのユーザインタフェースが挙げられるが、これらに限定されない。
本開示の方法及びシステムは、１つ以上のアルゴリズムによって実装することができる。アルゴリズムは、中央処理装置６２０５による実行時にソフトウェアを介して実装することができる。このアルゴリズムは、例えば、自然言語処理を使用して音声を解析できる。
本発明の好ましい実施形態を本明細書に示し、説明してきたが、そのような実施形態が例としてのみ提供されていることは当業者には明らかである。本発明が、明細書内に提供される特定の例によって限定されることは意図されていない。本発明を前述の明細書を参照して説明してきたが、本明細書の実施形態の説明及び図解は、限定的な意味で解釈されることを意味するものではない。当業者は、本発明から逸脱することなく、数多くの変形、変更、及び置換を思いつくことができる。更に、本発明の全ての態様は、様々な条件及び変数に依存する、本明細書に記載された特定の描写、構成又は相対的比率に限定されないことを理解されたい。本明細書に記載された本発明の実施形態に対する様々な代替案が、本発明を実施する際に使用されてもよいことが理解されるべきである。したがって、本発明は、そのような代替、修正、変形、又は同等物もカバーするものとすることが企図されている。以下の特許請求の範囲が本発明の範囲を定義し、これらの特許請求の範囲内の方法及び構造並びにそれらの均等物がそれによってカバーされることが意図されている。

Claims (17)

  1. 被検者の精神状態を評価するためのコンピュータによって実行される方法において、
    （ａ）前記被検者から音声又はテキストのデータを前記コンピュータによって受信するステップと、
    （ｂ）自然言語処理（ＮＬＰ）モデル、音響モデル、及び／又は、視覚モデルを含む１つ以上の個別モデル、結合モデル、又は、融合モデルを使用して前記データを前記コンピュータによって処理するステップであって、前記１つ以上の個別モデル、結合モデル、又は、融合モデルは、前記データの複数の時間セグメントに対応する複数の出力を出力し、前記複数の出力は時間的に重みづけられる、ステップと、
    （ｃ）前記被検者の前記精神状態の評価及び前記評価の信頼レベルを、少なくとも前記複数の出力に基づいて前記コンピュータによって生成するステップと、
    を含む方法。
  2. （ａ）における前記データは、（ｉ）少なくとも１つのクエリーを音声又はテキストの形式で前記被検者に送信するステップであって、前記少なくとも１つのクエリーは、前記被検者から少なくとも１つの言語の応答を引き出すように構成されるステップ、及び、（ｉｉ）前記少なくとも１つのクエリーを送信することに応じて前記被検者から前記少なくとも１つの言語又はテキストの応答を含むデータを受信するステップ、
    によって取得される、請求項１に記載の方法。
  3. 前記精神状態は、鬱病、不安神経症、ストレス、心的外傷後ストレス障害（ＰＴＳＤ）、統合失調症、自殺傾向、双極性障害、倦怠感、孤独感、及び、意欲の低下から成るグループから選択される、
    請求項１に記載の方法。
  4. 前記評価は、前記精神状態の重症度レベルを示すスコアを含む、
    請求項１に記載の方法。
  5. 前記スコアを臨床的な値を伴う一つ以上のスコアに変換するステップ、
    をさらに含む請求項４に記載の方法。
  6. 前記評価を、前記被検者の前記精神状態を評価する際に使用されるように医療従事者に送信するステップを更に含み、前記送信は、前記評価中に、ジャストインタイムで、又は、前記評価が完了された後にリアルタイムで実行され、前記評価は前記被検者の前記精神状態を示す報告内で送信される、
    請求項１に記載の方法。
  7. 前記１つ以上の個別モデル、結合モデル、又は、融合モデルは、２つ以上の異なるモデルの集合体である複合モデルを含む、
    請求項１に記載の方法。
  8. 前記信頼レベルは、前記データの音声信号の品質に少なくとも部分的に基づく又は前記データの音声信号に関して実行される発話認識プロセスの信頼の指標に少なくとも部分的に基づく、
    請求項１に記載の方法。
  9. 前記信頼レベルは、前記評価に関連付けられた真実性のレベル、前記音声又はテキストの長さ及び／又は持続時間、前記データのメタデータ、前記被検者、若しくは前記データの文脈に関連付けられた前記データの品質指標、又は、音響、ＮＬＰ、若しくは、発話認識モデルからモデル生成された信頼に少なくとも部分的に基づく、
    請求項１に記載の方法。
  10. 前記評価は、先行するクエリーに対する前記被検者の応答のそれぞれから得られた情報で継続的に更新される、
    請求項１に記載の方法。
  11. 前記被検者の精神的健康を評価の際及び／又は精神的健康のための介護を与える際に使用するために、スクリーニング中、モニタリング中、又は、診断中、又は、前記スクリーニング、モニタリング、又は、診断が完了された後に、臨床的な値を伴う前記評価を前記被検者及び／又は前記被検者の連絡先、医療従事者、に送信するステップを更に含む、
    請求項１０に記載の方法。
  12. 前記信頼レベルが所定の基準を満たさないと決定するステップと、
    リアルタイムで、少なくとも１つのクエリーを生成するステップと、
    前記少なくとも１つのクエリーを使用して、前記信頼レベルが前記所定の基準を満たすまで、
    前記少なくとも１つのクエリーを前記被検者に送信するステップと、
    前記被検者から少なくとも１つの応答を含む更なるデータを受信するステップと、
    前記自然言語処理（ＮＬＰ）モデル、前記音響モデル、及び／又は、前記視覚モデルを含む１つ以上の個別モデル、結合モデル、又は、融合モデルを使用して前記データ及び前記更なるデータを前記コンピュータによって処理するステップと、
    少なくとも前記複数の出力に基づいて前記評価の信頼度レベル及び前記被検者の前記精神状態の評価を前記コンピュータによって生成するステップ
    を繰り返すステップと、
    をさらに含む請求項１に記載の方法。
  13. 話題モデルを使用して前記被検者の１つ以上の関心のある話題を前記データから抽出するステップを更に含む、
    請求項１に記載の方法。
  14. 前記１つ以上の関心のある話題を精神的健康状態と関係づけるステップ、
    を更に含む、
    請求項１３に記載の方法。
  15. 利害関係者に報告される分析のための基礎として少なくとも部分的に前記関係づけられた１つ以上の関心のある話題を使用するステップ、
    をさらに含む、
    請求項１４に記載の方法。
  16. （１）前記被検者が前記精神状態を有するかどうかを評価する際の感度に関して最適化される第１のモデル、又は、（２）前記被検者が前記精神状態を有するかどうかを評価する際の特異度に関して最適化される第２のモデルを選択するステップ、及び、
    前記選択された第１のモデル又は前記第２のモデルを使用して前記データを処理し、前記評価を生成するステップ、
    を更に含む請求項１に記載の方法。
  17. 前記被検者と関係付けられる前記精神状態の前記１つ以上の評価を生成するのにメタデータを使用するステップであって、前記メタデータは、人口統計情報及び／又は前記被検者の病歴を含む、ステップをさらに含む、
    請求項１に記載の方法。
JP2020571611A 2018-06-19 2019-06-19 精神的健康評価のためのシステム及び方法 Active JP7608171B2 (ja)

Applications Claiming Priority (27)

Application Number Priority Date Filing Date Title
US201862687176P 2018-06-19 2018-06-19
US62/687,176 2018-06-19
US201862733568P 2018-09-19 2018-09-19
US201862733552P 2018-09-19 2018-09-19
US62/733,552 2018-09-19
US62/733,568 2018-09-19
US201862749113P 2018-10-22 2018-10-22
US62/749,113 2018-10-22
US201862749654P 2018-10-23 2018-10-23
US201862749663P 2018-10-23 2018-10-23
US201862749669P 2018-10-23 2018-10-23
US62/749,669 2018-10-23
US62/749,654 2018-10-23
US62/749,663 2018-10-23
US201862749672P 2018-10-24 2018-10-24
US62/749,672 2018-10-24
US201862754541P 2018-11-01 2018-11-01
US201862754547P 2018-11-01 2018-11-01
US201862754534P 2018-11-01 2018-11-01
US62/754,534 2018-11-01
US62/754,541 2018-11-01
US62/754,547 2018-11-01
US201862755361P 2018-11-02 2018-11-02
US201862755356P 2018-11-02 2018-11-02
US62/755,356 2018-11-02
US62/755,361 2018-11-02
PCT/US2019/037953 WO2019246239A1 (en) 2018-06-19 2019-06-19 Systems and methods for mental health assessment

Publications (3)

Publication Number Publication Date
JP2021529382A JP2021529382A (ja) 2021-10-28
JPWO2019246239A5 JPWO2019246239A5 (ja) 2022-06-27
JP7608171B2 true JP7608171B2 (ja) 2025-01-06

Family

ID=68984344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020571611A Active JP7608171B2 (ja) 2018-06-19 2019-06-19 精神的健康評価のためのシステム及び方法

Country Status (4)

Country Link
US (2) US11120895B2 (ja)
EP (1) EP3811245A4 (ja)
JP (1) JP7608171B2 (ja)
WO (1) WO2019246239A1 (ja)

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220359091A1 (en) * 2021-05-04 2022-11-10 Electronic Caregiver, Inc. Clinical Pathway Integration and Clinical Decision Support
US12315640B2 (en) 2015-12-11 2025-05-27 Electronic Caregiver, Inc. Atmospheric mirroring and dynamically varying three-dimensional assistant addison interface for interior environments
US12265900B2 (en) 2018-01-17 2025-04-01 Electronic Caregiver, Inc. Computing devices with improved interactive animated conversational interface systems
US10813572B2 (en) 2015-12-11 2020-10-27 Electronic Caregiver, Inc. Intelligent system for multi-function electronic caregiving to facilitate advanced health diagnosis, health monitoring, fall and injury prediction, health maintenance and support, and emergency response
US20240062910A1 (en) * 2022-08-18 2024-02-22 Feel Therapeutics Inc. Method for predicting risk of depression relapse or onset
US11298062B2 (en) * 2017-02-01 2022-04-12 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US12020820B1 (en) 2017-03-03 2024-06-25 Cerner Innovation, Inc. Predicting sphingolipidoses (fabry's disease) and decision support
US11335461B1 (en) * 2017-03-06 2022-05-17 Cerner Innovation, Inc. Predicting glycogen storage diseases (Pompe disease) and decision support
US11923048B1 (en) 2017-10-03 2024-03-05 Cerner Innovation, Inc. Determining mucopolysaccharidoses and decision support tool
GB2567826B (en) * 2017-10-24 2023-04-26 Cambridge Cognition Ltd System and method for assessing physiological state
US11513205B2 (en) 2017-10-30 2022-11-29 The Research Foundation For The State University Of New York System and method associated with user authentication based on an acoustic-based echo-signature
US11538583B2 (en) * 2018-01-26 2022-12-27 Hitachi High-Tech Solutions Corporation Controlling devices to achieve medical outcomes
WO2019173283A1 (en) 2018-03-05 2019-09-12 Marquette University Method and apparatus for non-invasive hemoglobin level prediction
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
WO2019246239A1 (en) 2018-06-19 2019-12-26 Ellipsis Health, Inc. Systems and methods for mental health assessment
JP7142315B2 (ja) * 2018-09-27 2022-09-27 パナソニックＩｐマネジメント株式会社 説明支援装置および説明支援方法
GB201816532D0 (en) * 2018-10-10 2018-11-28 Leso Digital Health Ltd Methods, systems and apparatus for improved therapy delivery and monitoring
US10847177B2 (en) 2018-10-11 2020-11-24 Cordio Medical Ltd. Estimating lung volume by speech analysis
US11562135B2 (en) 2018-10-16 2023-01-24 Oracle International Corporation Constructing conclusive answers for autonomous agents
US12161481B2 (en) * 2018-12-18 2024-12-10 Szededi Tudomanyegyetem Automatic detection of neurocognitive impairment based on a speech sample
US11321536B2 (en) 2019-02-13 2022-05-03 Oracle International Corporation Chatbot conducting a virtual social dialogue
US11854538B1 (en) * 2019-02-15 2023-12-26 Amazon Technologies, Inc. Sentiment detection in audio data
US11024327B2 (en) 2019-03-12 2021-06-01 Cordio Medical Ltd. Diagnostic techniques based on speech models
US11011188B2 (en) * 2019-03-12 2021-05-18 Cordio Medical Ltd. Diagnostic techniques based on speech-sample alignment
US12164547B2 (en) * 2019-04-02 2024-12-10 Kpn Innovations, Llc. Artificial intelligence advisory systems and methods for constitutional guidance
US12226221B2 (en) * 2019-05-04 2025-02-18 Intraneuron, Llc Dynamic neuropsychological assessment tool
US11763944B2 (en) * 2019-05-10 2023-09-19 Tencent America LLC System and method for clinical decision support system with inquiry based on reinforcement learning
US12170143B1 (en) 2019-07-03 2024-12-17 State Farm Mutual Automobile Insurance Company Multi-sided match making platforms
US20210045696A1 (en) * 2019-08-14 2021-02-18 Christian D. Poulin Assistance in response to predictions in changes of psychological state
US11367527B1 (en) 2019-08-19 2022-06-21 State Farm Mutual Automobile Insurance Company Senior living engagement and care support platforms
US20220328146A1 (en) * 2019-09-04 2022-10-13 The Research Institute At Nationwide Children's Hospital Computerized screening tool for behavioral health
WO2021067485A1 (en) * 2019-09-30 2021-04-08 Cognoa, Inc. Efficient diagnosis of behavioral disorders, developmental delays, and neurological impairments
US12394408B1 (en) 2019-10-17 2025-08-19 Live Circle, Inc. Voice analyzer for interactive care system
WO2021081418A1 (en) * 2019-10-25 2021-04-29 Ellipsis Health, Inc. Acoustic and natural language processing models for speech-based screening and monitoring of behavioral health conditions
US11417330B2 (en) * 2020-02-21 2022-08-16 BetterUp, Inc. Determining conversation analysis indicators for a multiparty conversation
US11763091B2 (en) * 2020-02-25 2023-09-19 Palo Alto Networks, Inc. Automated content tagging with latent dirichlet allocation of contextual word embeddings
US11484211B2 (en) 2020-03-03 2022-11-01 Cordio Medical Ltd. Diagnosis of medical conditions using voice recordings and auscultation
US11741371B2 (en) * 2020-03-20 2023-08-29 International Business Machines Corporation Automatically generating diverse text
US11395124B2 (en) * 2020-05-06 2022-07-19 Kant AI Solutions LLC Artificial intelligence for emergency assistance
WO2021226372A1 (en) * 2020-05-08 2021-11-11 Yamaha Motor Corporation, Usa Progressive individual assessments using collected inputs
WO2021247792A1 (en) * 2020-06-04 2021-12-09 Healmed Solutions Llc Systems and methods for mental health care delivery via artificial intelligence
US11657058B2 (en) 2020-07-15 2023-05-23 Citrix Systems, Inc. Systems and methods of enhancing mental health and performance
KR102512570B1 (ko) * 2020-07-15 2023-03-22 주식회사 이모코그 대화기반 정신장애선별방법 및 그 장치
US11860944B2 (en) 2020-07-27 2024-01-02 International Business Machines Corporation State-aware interface
JP2023536738A (ja) 2020-08-04 2023-08-29 エスアルファセラピューティクス，インコーポレーテッド 社会的コミュニケーション障害の治療のためのデジタル装置およびアプリケーション
CN111956244B (zh) * 2020-08-26 2024-02-09 北京心灵力量科技有限公司 心理测试方法及装置
US11487891B2 (en) * 2020-10-14 2022-11-01 Philip Chidi Njemanze Method and system for mental performance computing using artificial intelligence and blockchain
US12009083B2 (en) 2020-11-16 2024-06-11 Electronic Caregiver, Inc. Remote physical therapy and assessment of patients
EP4002384A1 (en) 2020-11-16 2022-05-25 Emocog Co., Ltd. Device and method for voice-based trauma screening using deep-learning
US20220165390A1 (en) * 2020-11-20 2022-05-26 Blue Note Therapeutics, Inc. Digital therapeutic for treatment of psychological aspects of an oncological condition
US12334105B2 (en) 2020-11-23 2025-06-17 Cordio Medical Ltd. Detecting impaired physiological function by speech analysis
US11954437B2 (en) 2020-12-03 2024-04-09 Woebot Labs, Inc. Emergency workflow trigger
US20220181004A1 (en) * 2020-12-08 2022-06-09 Happify Inc. Customizable therapy system and process
EP4024395B1 (en) * 2020-12-30 2024-08-07 audEERING GmbH Speech analyser and related method
US12380344B2 (en) * 2020-12-31 2025-08-05 International Business Machines Corporation Generating summary and next actions in real-time for multiple users from interaction records in natural language
KR102513645B1 (ko) * 2021-01-05 2023-03-27 주식회사 제네시스랩 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체
US20220223241A1 (en) * 2021-01-11 2022-07-14 juli, Inc. Methods and systems for generating personalized recommendations and predictions of a level of effectiveness of the personalized recommendations for a user
US11935651B2 (en) 2021-01-19 2024-03-19 State Farm Mutual Automobile Insurance Company Alert systems for senior living engagement and care support platforms
US20220245593A1 (en) 2021-01-29 2022-08-04 State Farm Mutual Automobile Insurance Company Senior living engagement and care support platforms with chatbot and list integration
CA3147520A1 (en) * 2021-02-03 2022-08-03 NC Seven Mountains, LLC Methods, devices, and systems for round-the-clock health and wellbeing monitoring of incarcerated individuals and/or individuals under twenty-four-hour-seven-day-a-week (24/7) supervision
CA3113414A1 (en) * 2021-03-29 2022-09-29 Mind Cure Health Inc. Psychedelics protocol computer systems and methods
GB2637664A (en) * 2021-04-20 2025-08-06 Syndi Ltd Systems and methods for improving wellbeing through the generation of personalised app recommendations
GB2620893A (en) * 2021-05-06 2024-01-24 Optimum Health Ltd Systems and methods for real-time determinations of mental health disorders using multi-tier machine learning models based on user interactions with computer
DE102021205548A1 (de) 2021-05-31 2022-12-01 VitaFluence.ai GmbH Softwarebasiertes, sprachbetriebenes und objektives Diagnosewerkzeug zur Verwendung in der Diagnose einer chronischen neurologischen Störung
EP4109459A1 (en) * 2021-06-22 2022-12-28 Electronic Caregiver, Inc. Atmospheric mirroring and dynamically varying three-dimensional assistant addison interface for behavioral environments
EP4109461A1 (en) * 2021-06-22 2022-12-28 Electronic Caregiver, Inc. Atmospheric mirroring and dynamically varying three-dimensional assistant addison interface for external environments
EP4109460A1 (en) * 2021-06-22 2022-12-28 Electronic Caregiver, Inc. Atmospheric mirroring and dynamically varying three-dimensional assistant addison interface for interior environments
WO2022272147A1 (en) * 2021-06-24 2022-12-29 The Regents Of The University Of California Artificial intelligence modeling for multi-linguistic diagnostic and screening of medical disorders
US12277870B2 (en) * 2021-06-28 2025-04-15 Prometric Llc Interface to natural language generator for generation of knowledge assessment items
JP7706964B2 (ja) * 2021-07-13 2025-07-14 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理方法、及びプログラム
US20230036171A1 (en) * 2021-07-29 2023-02-02 Peer Collective Inc. Systems and methods for rapid vetting of counselors via graded simulated exchanges
WO2023018325A1 (en) * 2021-08-09 2023-02-16 Naluri Hidup Sdn Bhd Systems and methods for conducting and assessing remote psychotherapy sessions
TW202309928A (zh) * 2021-08-18 2023-03-01 美商精神醫學公司 自動分析心理治療、諮詢和其他精神健康管理活動中的文本之系統及方法
US20230070179A1 (en) * 2021-09-09 2023-03-09 GenoEmote LLC Method and system for personality to disease condition mapping
WO2023043828A1 (en) * 2021-09-15 2023-03-23 Optt Health Inc. Systems and methods for automating delivery of mental health therapy
EP4409582A4 (en) * 2021-09-28 2025-08-06 Sandeep Vohra ARTIFICIAL INTELLIGENCE AND MACHINE LEARNING BASED TOOL FOR SCREENING THE MENTAL AND EMOTIONAL HEALTH OF AN INDIVIDUAL OR A GROUP OR CROWDS
AU2022398219A1 (en) * 2021-11-23 2024-06-06 Compass Pathfinder Limited Intelligent transcription and biomarker analysis
US20230162835A1 (en) * 2021-11-24 2023-05-25 Wendy B. Ward System and Method for Collecting and Analyzing Mental Health Data Using Computer Assisted Qualitative Data Analysis Software
KR102848605B1 (ko) * 2021-11-26 2025-08-22 서울대학교병원 기계학습을 기반으로 하는 covid-19 환자의 정신건강 평가 방법
EP4198978A1 (en) * 2021-12-16 2023-06-21 Bull SAS Method, device and computer program for emotion recognition from a real-time audio signal
US12431235B1 (en) * 2021-12-21 2025-09-30 United Services Automobile Association (Usaa) Automatic identification of, and responding to, cognition impairment
US20230197293A1 (en) * 2021-12-22 2023-06-22 Morgan State University System and method for communications between patients and mental health providers
US20230230613A1 (en) * 2022-01-18 2023-07-20 Oracle International Corporation Computerized distress call detection and authentication
US11559232B1 (en) 2022-02-27 2023-01-24 King Abdulaziz University GRU based real-time mental stress assessment
US20230290483A1 (en) * 2022-03-07 2023-09-14 Toivoa Inc. Therapeutics Platform for Mental Health Therapy for People with Disabilities
US11799679B2 (en) * 2022-03-11 2023-10-24 Read AI, Inc. Systems and methods for creation and application of interaction analytics
US12107699B2 (en) 2022-03-11 2024-10-01 Read AI, Inc. Systems and methods for creation and application of interaction analytics
US20230317274A1 (en) * 2022-03-31 2023-10-05 Matrixcare, Inc. Patient monitoring using artificial intelligence assistants
KR102702389B1 (ko) * 2022-04-13 2024-09-04 주식회사 제네시스랩 사용자 인터랙션 기반의 정신질환을 진단하는 방법, 이를 수행하는 서비스서버 및 컴퓨터-판독가능 매체
US20230368872A1 (en) * 2022-05-16 2023-11-16 Spencer Health Solutions, Llc Alert decision support system based on patient quality of life survey information and related methods and computer program products
US20230395204A1 (en) * 2022-06-02 2023-12-07 Evernorth Strategic Development, Inc. Survey and suggestion system
WO2023235564A1 (en) * 2022-06-03 2023-12-07 aiberry, Inc. Multimodal (audio/text/video) screening and monitoring of mental health conditions
WO2023235634A1 (en) * 2022-06-03 2023-12-07 The Covid Detection Foundation D/B/A Virufy Artificial intelligence and machine learning techniques using input from mobile computing devices to diagnose medical issues
WO2023235527A1 (en) * 2022-06-03 2023-12-07 aiberry, Inc. Multimodal (audio/text/video) screening and monitoring of mental health conditions
US20240006034A1 (en) * 2022-06-30 2024-01-04 University Of North Carolina At Wilmington Systems and methods of utilizing emotion dyads to determine an individuals emotion state
US20240095445A1 (en) * 2022-07-14 2024-03-21 Cadence Solutions, Inc. Systems and methods for language modeling with textual clincal data
US12412573B2 (en) * 2022-07-15 2025-09-09 ItsAllAbout, Inc. Machine learning-based interactive conversation system
WO2024026272A1 (en) * 2022-07-26 2024-02-01 Compass Pathfinder Limited Predicting response to psilocybin therapy for treatment resistant depression
WO2024026393A1 (en) * 2022-07-27 2024-02-01 Indr, Inc. Methods and apparatus for ensemble machine learning models and natural language processing for predicting persona based on input patterns
GB202211386D0 (en) * 2022-08-04 2022-09-21 Tutto Ltd Devices, methods and artificial intelligence systems to monitor and improve physical, mental and financial health
US12436735B2 (en) * 2022-08-26 2025-10-07 ItsAllAbout, Inc. Machine learning-based interactive conversation system with topic-specific state machines
WO2024068953A1 (fr) * 2022-09-30 2024-04-04 Presage Système de télésurveillance d'un individu potentiellement âgé dans un environnement quotidien
US20240120098A1 (en) * 2022-10-07 2024-04-11 Insight Direct Usa, Inc. Machine learning method to determine patient behavior using video and audio analytics
JP2024065641A (ja) * 2022-10-31 2024-05-15 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理システム及びプログラム
JP7550901B2 (ja) * 2022-11-09 2024-09-13 キヤノンメディカルシステムズ株式会社 臨床支援システム、及び臨床支援装置
AU2023407203A1 (en) * 2022-12-22 2025-08-07 Redenlab Pty. Ltd. "systems and methods for assessing brain health"
US12166921B2 (en) * 2022-12-28 2024-12-10 Motorola Solutions, Inc. Device, system, and method to initiate electronic actions on calls and manage call-taking resources
US20240237930A1 (en) * 2023-01-18 2024-07-18 Providence St. Joseph Health Subjecting textual messages sent by patients to a machine learning model trained to predict whether they are suffering or will soon suffer from psychosis
WO2024178229A1 (en) * 2023-02-24 2024-08-29 Worcester Polytechnic Institute System for detecting health experience from eye movement
WO2024189917A1 (ja) * 2023-03-16 2024-09-19 富士通株式会社 ワークフロー生成方法、情報処理装置及びワークフロー生成プログラム
WO2024205061A1 (ko) * 2023-03-29 2024-10-03 의료법인 성광의료재단 마음챙김 기반 개인 맞춤형 인지치료 장치 및 그의 제어 방법
CN117409964A (zh) * 2023-04-21 2024-01-16 云启智慧科技有限公司 一种基于学生在校行为分析的综合心理评测方法
US11874843B1 (en) 2023-05-01 2024-01-16 Strategic Coach Apparatus and methods for tracking progression of measured phenomena
WO2024243376A1 (en) * 2023-05-23 2024-11-28 Chau Toby Systems and methods for domain-specific artificial intelligence-based assistance
KR102778489B1 (ko) * 2023-05-30 2025-03-10 주식회사 인에이트 설문 평가 및 행동 평가를 이용한 통합 검사에 기반한 다면 심리 분석을 위한 전자 장치, 및 그 동작 방법
GB202308287D0 (en) * 2023-06-02 2023-07-19 Limbic Ltd A dialogue system and a dialogue method
CN117122321A (zh) * 2023-06-30 2023-11-28 深圳市优必选科技股份有限公司 一种心理状态检测方法、装置、可读存储介质及终端设备
US20250054626A1 (en) * 2023-08-07 2025-02-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Automated identification of the diagnostic criteria in natural language descriptions of patient behavior for combining into a transparent diagnostic decision
FI131057B1 (fi) * 2023-08-09 2024-08-22 Kinreach Oy Menetelmä ja järjestely yhteydenoton aktivointiin
CN116807476B (zh) * 2023-08-25 2023-12-26 北京智精灵科技有限公司 基于界面式情感交互的多模态心理健康评估系统及方法
WO2025063695A1 (ko) * 2023-09-19 2025-03-27 주식회사 안드레이아 발화 텍스트를 이용하여 정신 질환 별 위험도 등급을 예측하는 전자 장치 및 그 방법
JP2025048814A (ja) * 2023-09-20 2025-04-03 ソフトバンクグループ株式会社 システム
US20250131351A1 (en) * 2023-10-23 2025-04-24 International Business Machines Corporation Personalized artificial intelligence break scheduler
TWI857873B (zh) * 2023-11-28 2024-10-01 夢神科技股份有限公司 利用大型語言模型產生特定對象的虛擬人格之對話裝置
WO2025120557A1 (en) * 2023-12-05 2025-06-12 Neoptio Health Incorporated Methods and systems of facilitating a health assessment
CN117373658B (zh) * 2023-12-08 2024-03-08 北京回龙观医院(北京心理危机研究与干预中心) 一种基于数据处理的抑郁症辅助诊疗系统及方法
WO2025128765A1 (en) * 2023-12-11 2025-06-19 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Systems and methods for clinical artificial intelligence with patient-reported multi-modal audio data
KR102738489B1 (ko) * 2024-02-21 2024-12-05 주식회사 글로랑 인터렉티브 심리 검사 방법 및 시스템
WO2025181424A1 (en) * 2024-02-27 2025-09-04 Nayadaya Analytics Oy Method for collecting and processing emotion data related to emotions caused by object, computer program, and computer system
US20250285720A1 (en) * 2024-03-11 2025-09-11 Gaia Ag Filtering System for Managing the Treatment of a Patient
US20250308704A1 (en) * 2024-04-02 2025-10-02 PsychNow Systems and methods for psychiatric screening and assessment
CN118506987B (zh) * 2024-07-17 2024-09-20 四川大学华西医院 基于机器学习的心理测评方法、系统、设备及介质
JP7687762B1 (ja) * 2024-12-12 2025-06-03 株式会社サウスウッド 超音波診断システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052774A (ja) 1995-07-25 2007-03-01 Ortho-Clinical Diagnostics Inc コンピュータ援用疾病診断方法
US20160179786A1 (en) 2014-12-19 2016-06-23 International Business Machines Corporation Diagnosing autism spectrum disorder using natural language processing
US20160188822A1 (en) 2014-12-30 2016-06-30 Cerner Innovation, Inc. Clinical decision support rule generation and modification system and methods
JP2017532082A (ja) 2014-08-22 2017-11-02 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 患者の精神状態のスピーチベース評価のためのシステム

Family Cites Families (532)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1015298A (en) 1905-05-23 1912-01-23 Brewer Griffin G Spring-motor.
US1015267A (en) 1906-06-27 1912-01-16 Packard Motor Car Co Universal joint.
US1024497A (en) 1907-12-27 1912-04-30 Charles G Buchanan Crushing-machine.
US1003776A (en) 1908-11-23 1911-09-19 Robb Engineering Company Ltd Steam-boiler.
US1002577A (en) 1909-01-14 1911-09-05 James Gayley Method of drying air.
US1019263A (en) 1909-10-21 1912-03-05 Pressed Steel Car Co Dump-car.
US1032507A (en) 1909-11-30 1912-07-16 Levi L Rowe Chocolate-urn.
US1026944A (en) 1909-12-01 1912-05-21 United Shoe Machinery Ab Tacking mechanism.
US1014979A (en) 1910-01-22 1912-01-16 Alfred Sykes Percussive drill, hammer, or like percussive tool or machine.
US1005205A (en) 1910-01-29 1911-10-10 Carl Hartmann Aeroplane.
US1011659A (en) 1910-02-26 1911-12-12 Edmund Risoliere Burrell Manufacture of varnishes.
US1012792A (en) 1910-04-28 1911-12-26 Louis Camille Arnaud Frame for frictional change-of-speed gearing.
US1026501A (en) 1910-05-09 1912-05-14 William H Etter Window-screen.
US1007438A (en) 1910-07-02 1911-10-31 Andrew Feja Trolley-pole support.
US1006806A (en) 1910-07-18 1911-10-24 Company Anker Werke A G Vormals Hengstenberg & Co Automatic intermittent coupling.
US1004966A (en) 1910-08-19 1911-10-03 Frederic R Barker Demountable rim.
US1020464A (en) 1910-09-28 1912-03-19 Winfield Scott Temple Automobile-tire.
US1006867A (en) 1910-10-04 1911-10-24 Arthur E Merkel Transmission mechanism.
US1025074A (en) 1910-10-14 1912-04-30 Giles E Ripley Projecting apparatus for moving-picture machines.
US1026502A (en) 1910-10-28 1912-05-14 Joseph P Hodgson Ore-loader.
US1031198A (en) 1910-11-19 1912-07-02 A E Cromwell Trammel.
US1022686A (en) 1910-12-17 1912-04-09 John Loftus Gas-engine.
US1035405A (en) 1910-12-20 1912-08-13 Telepost Company Telegraphic-tape perforator.
US1021086A (en) 1910-12-20 1912-03-26 United Shoe Machinery Ab Lasting-machine.
US1005609A (en) 1911-01-03 1911-10-10 William A Crawford-Frost Combined aeroplane and parachute.
US1006805A (en) 1911-01-21 1911-10-24 Gen Electric Mercury-vapor device.
US1017629A (en) 1911-01-28 1912-02-13 Metallurg Res Company Manufacturing and refining copper alloys.
US1010234A (en) 1911-02-07 1911-11-28 Thomas Christopherson Automobile-tire.
US1021672A (en) 1911-03-24 1912-03-26 Thomas Henry Hart Permutation-lock.
US1022345A (en) 1911-04-17 1912-04-02 Gustav H Hanna Sidewalk-flusher.
US1016982A (en) 1911-04-19 1912-02-13 Edward F Carpenter Wall-supported incubator.
US1001407A (en) 1911-05-05 1911-08-22 George E Humphrey Railroad-tie.
US1017689A (en) 1911-05-06 1912-02-20 Charles H Rettmann Electrowhistle-alarm.
US1009631A (en) 1911-05-23 1911-11-21 Jefferson Barry Snap-hook.
US1014248A (en) 1911-05-31 1912-01-09 Jeffrey Mfg Co Lubricating device for conveyer-chains.
US1026868A (en) 1911-06-24 1912-05-21 Daniel Kaber Sign character.
US1031186A (en) 1911-06-28 1912-07-02 Jean Baptiste Laplace Dish-washing machine.
US1027618A (en) 1911-08-11 1912-05-28 Celluloid Co Solvent for nitrocellulose.
US1027619A (en) 1911-08-25 1912-05-28 Celluloid Co Solvent for acetyl cellulose.
US1024275A (en) 1911-09-13 1912-04-23 Frances Morton Spectacles.
US1027626A (en) 1911-10-21 1912-05-28 Myron S Pelton Photographic-process basket.
US1026937A (en) 1912-02-29 1912-05-21 William J Taylor Wheelbarrow.
US1047811A (en) 1912-03-30 1912-12-17 Tuble J Hudson Shaft-coupling.
US1074864A (en) 1912-09-06 1913-10-07 Thomas H Howell Twine-cutter.
US1083995A (en) 1913-02-03 1914-01-13 William Russell Davis Siphon-spillway.
US5961332A (en) * 1992-09-08 1999-10-05 Joao; Raymond Anthony Apparatus for processing psychological data and method of use thereof
US6334778B1 (en) 1994-04-26 2002-01-01 Health Hero Network, Inc. Remote psychological diagnosis and monitoring system
US6725209B1 (en) 1993-12-29 2004-04-20 First Opinion Corporation Computerized medical diagnostic and treatment advice system and method including mental status examination
US6206829B1 (en) 1996-07-12 2001-03-27 First Opinion Corporation Computerized medical diagnostic and treatment advice system including network access
US5660176A (en) 1993-12-29 1997-08-26 First Opinion Corporation Computerized medical diagnostic and treatment advice system
EP0712075A3 (en) 1994-11-08 1997-10-22 Canon Kk Information processing method and system which understands the information and acts accordingly
US6030226A (en) 1996-03-27 2000-02-29 Hersh; Michael Application of multi-media technology to psychological and educational assessment tools
GB9620082D0 (en) 1996-09-26 1996-11-13 Eyretel Ltd Signal monitoring apparatus
US6256613B1 (en) 1997-03-14 2001-07-03 Health Resources And Technology Inc. Medical consultation management system
US20150199488A1 (en) 1997-03-14 2015-07-16 Best Doctors, Inc. Systems and Methods for Interpreting Medical Information
US7756721B1 (en) 1997-03-14 2010-07-13 Best Doctors, Inc. Health care management system
JPH10289006A (ja) 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US20050005266A1 (en) 1997-05-01 2005-01-06 Datig William E. Method of and apparatus for realizing synthetic knowledge processes in devices for useful applications
FI981508L (fi) 1998-06-30 1999-12-31 Nokia Mobile Phones Ltd Menetelmä, laite ja järjestelmä käyttäjän tilan arvioimiseksi
US20100299154A1 (en) 1998-11-13 2010-11-25 Anuthep Benja-Athon Intelligent computer-biological electronic-neural health-care system
US6842877B2 (en) 1998-12-18 2005-01-11 Tangis Corporation Contextual responses based on automated learning techniques
US6801223B1 (en) 1998-12-18 2004-10-05 Tangis Corporation Managing interactions between computer users' context models
US7231439B1 (en) 2000-04-02 2007-06-12 Tangis Corporation Dynamically swapping modules for determining a computer user's context
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US7225229B1 (en) 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
US6466232B1 (en) 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
IL128000A0 (en) 1999-01-11 1999-11-30 Univ Ben Gurion A method for the diagnosis of thought states by analysis of interword silences
IL129399A (en) 1999-04-12 2005-03-20 Liberman Amir Apparatus and methods for detecting emotions in the human voice
US7429243B2 (en) 1999-06-03 2008-09-30 Cardiac Intelligence Corporation System and method for transacting an automated patient communications session
US6347261B1 (en) 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US6665644B1 (en) 1999-08-10 2003-12-16 International Business Machines Corporation Conversational data mining
US7222075B2 (en) 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
US6658388B1 (en) 1999-09-10 2003-12-02 International Business Machines Corporation Personality generator for conversational systems
US6523008B1 (en) 2000-02-18 2003-02-18 Adam Avrunin Method and system for truth-enabling internet communications via computer voice stress analysis
US20010034615A1 (en) 2000-03-15 2001-10-25 Gregg Wilkinson Apparatus for and method of assessing, monitoring, and reporting on behavioral health disorders
US20010049597A1 (en) 2000-03-16 2001-12-06 Matthew Klipstein Method and system for responding to a user based on a textual input
US7917366B1 (en) 2000-03-24 2011-03-29 Exaudios Technologies System and method for determining a personal SHG profile by voice analysis
AU2001249768A1 (en) 2000-04-02 2001-10-15 Tangis Corporation Soliciting information based on a computer user's context
AU2001293343A1 (en) 2000-04-06 2001-10-23 Paul R. Bindler Automated and intelligent networked-based psychological services
CA2415597A1 (en) 2000-06-02 2001-12-13 John E. Ware, Jr. Method and system for health assessment and monitoring
AU2001275604B2 (en) 2000-07-27 2004-11-25 Cogstate, Ltd Psychological testing method and apparatus
TWI221574B (en) 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
US6731307B1 (en) 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
US7713705B2 (en) * 2002-12-24 2010-05-11 Biosite, Inc. Markers for differential diagnosis and methods of use thereof
US7953219B2 (en) 2001-07-19 2011-05-31 Nice Systems, Ltd. Method apparatus and system for capturing and analyzing interaction based content
IL144818A (en) 2001-08-09 2006-08-20 Voicesense Ltd Method and apparatus for speech analysis
EP1298645A1 (en) 2001-09-26 2003-04-02 Sony International (Europe) GmbH Method for detecting emotions in speech, involving linguistic correlation information
DE60115653T2 (de) 2001-10-05 2006-08-10 Sony Deutschland Gmbh Verfahren zur Detektion von Emotionen, unter Verwendung von Untergruppenspezialisten
AU2002343194A1 (en) 2001-11-20 2003-06-10 Avi Peled System and method for diagnosis of mental disorders
US7314444B2 (en) 2002-01-25 2008-01-01 Albert Einstein College Of Medicine Of Yeshiva University Memory assessment by retrieval speed and uses thereof
US7315821B2 (en) * 2002-01-31 2008-01-01 Sanyo Electric Co., Ltd. System and method for health care information processing based on acoustic features
EP1336956B1 (en) 2002-02-13 2006-07-19 Sony Deutschland GmbH Method, system and computer program for recognizing speech/speaker using emotional state change to govern unsupervised adaptation of the recognition process
US20030163311A1 (en) 2002-02-26 2003-08-28 Li Gong Intelligent social agents
DE10210799B4 (de) 2002-03-12 2006-04-27 Siemens Ag Anpassung einer Mensch-Maschine-Schnittstelle in Abhängigkeit eines Psychoprofils und einer momentanen Befindlichkeit eines Anwenders
US20030180698A1 (en) 2002-03-22 2003-09-25 Alen Salerian Mental disorder screening tool and method of screening subjects for mental disorders
US9049571B2 (en) 2002-04-24 2015-06-02 Ipventure, Inc. Method and system for enhanced messaging
JP2003330490A (ja) 2002-05-15 2003-11-19 Fujitsu Ltd 音声対話装置
US7665024B1 (en) 2002-07-22 2010-02-16 Verizon Services Corp. Methods and apparatus for controlling a user interface based on the emotional state of a user
US20040092809A1 (en) 2002-07-26 2004-05-13 Neurion Inc. Methods for measurement and analysis of brain activity
EP1545302A4 (en) 2002-10-03 2008-12-17 Joachim Diederich METHOD AND DEVICE FOR THE INVESTIGATION OF PSYCHIATRICAL OR PHYSICAL DISEASES
US6993381B2 (en) 2002-10-25 2006-01-31 Connolly John F Linking neurophysiological and neuropsychological measures for cognitive function assessment in a patient
US8959019B2 (en) 2002-10-31 2015-02-17 Promptu Systems Corporation Efficient empirical determination, computation, and use of acoustic confusability measures
US7822611B2 (en) 2002-11-12 2010-10-26 Bezar David B Speaker intent analysis system
US7874983B2 (en) 2003-01-27 2011-01-25 Motorola Mobility, Inc. Determination of emotional and physiological states of a recipient of a communication
US7347818B2 (en) 2003-02-24 2008-03-25 Neurotrax Corporation Standardized medical cognitive assessment tool
US7280968B2 (en) 2003-03-25 2007-10-09 International Business Machines Corporation Synthetically generated speech responses including prosodic characteristics of speech inputs
US20040210159A1 (en) 2003-04-15 2004-10-21 Osman Kibar Determining a psychological state of a subject
US20040243443A1 (en) 2003-05-29 2004-12-02 Sanyo Electric Co., Ltd. Healthcare support apparatus, health care support system, health care support method and health care support program
EP1669172B1 (en) 2003-08-12 2013-10-02 Advanced Telecommunications Research Institute International Communication robot control system
KR20050027361A (ko) 2003-09-15 2005-03-21 주식회사 팬택앤큐리텔 통화자 심리 상태 모니터링 기능을 가지는 통신 단말기 및 그 운용 방법
US7272559B1 (en) 2003-10-02 2007-09-18 Ceie Specs, Inc. Noninvasive detection of neuro diseases
US7933226B2 (en) 2003-10-22 2011-04-26 Palo Alto Research Center Incorporated System and method for providing communication channels that each comprise at least one property dynamically changeable during social interactions
US20050209181A1 (en) 2003-11-05 2005-09-22 Huda Akil Compositions and methods for diagnosing and treating mental disorders
US7983920B2 (en) 2003-11-18 2011-07-19 Microsoft Corporation Adaptive computing environment
JP2005157494A (ja) 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US7356168B2 (en) * 2004-04-23 2008-04-08 Hitachi, Ltd. Biometric verification system and method utilizing a data classifier and fusion model
US20050246165A1 (en) 2004-04-29 2005-11-03 Pettinelli Eugene E System and method for analyzing and improving a discourse engaged in by a number of interacting agents
US20060052674A1 (en) 2004-09-04 2006-03-09 Steven Eisenstein Software method of determining and treating psychiatric disorders
US7392187B2 (en) 2004-09-20 2008-06-24 Educational Testing Service Method and system for the automatic generation of speech features for scoring high entropy speech
DE102004050785A1 (de) 2004-10-14 2006-05-04 Deutsche Telekom Ag Verfahren und Anordnung zur Bearbeitung von Nachrichten im Rahmen eines Integrated Messaging Systems
WO2006059325A1 (en) 2004-11-30 2006-06-08 Oded Sarel Method and system of indicating a condition of an individual
US8214214B2 (en) 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
US20060122834A1 (en) 2004-12-03 2006-06-08 Bennett Ian M Emotion detection device & method for use in distributed systems
WO2006066105A2 (en) 2004-12-17 2006-06-22 United States Government, As Represented By The Secretary Of The Army System, method, and computer program product for an automated neuropsychological test
US8126712B2 (en) 2005-02-08 2012-02-28 Nippon Telegraph And Telephone Corporation Information communication terminal, information communication system, information communication method, and storage medium for storing an information communication program thereof for recognizing speech information
US7398213B1 (en) 2005-05-17 2008-07-08 Exaudios Technologies Method and system for diagnosing pathological phenomenon using a voice signal
US7995717B2 (en) 2005-05-18 2011-08-09 Mattersight Corporation Method and system for analyzing separated voice data of a telephonic communication between a customer and a contact center by applying a psychological behavioral model thereto
JP4851447B2 (ja) 2005-06-09 2012-01-11 株式会社エイ・ジー・アイ ピッチ周波数を検出する音声解析装置、音声解析方法、および音声解析プログラム
US7940897B2 (en) 2005-06-24 2011-05-10 American Express Travel Related Services Company, Inc. Word recognition system and method for customer and employee assessment
US20080040110A1 (en) 2005-08-08 2008-02-14 Nice Systems Ltd. Apparatus and Methods for the Detection of Emotions in Audio Interactions
EP1758398A1 (en) 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
US20070055524A1 (en) 2005-09-08 2007-03-08 Zhen-Hai Cao Speech dialog method and device
US8209182B2 (en) 2005-11-30 2012-06-26 University Of Southern California Emotion recognition system
WO2007072485A1 (en) 2005-12-22 2007-06-28 Exaudios Technologies Ltd. System for indicating emotional attitudes through intonation analysis and methods thereof
US20070192108A1 (en) 2006-02-15 2007-08-16 Alon Konchitsky System and method for detection of emotion in telecommunications
US8304246B2 (en) 2006-02-28 2012-11-06 Phenomenome Discoveries, Inc. Methods for the diagnosis of dementia and other neurological disorders
WO2007138944A1 (ja) 2006-05-26 2007-12-06 Nec Corporation 情報付与システム、情報付与方法、情報付与プログラム及び情報付与プログラム記録媒体
US20070288266A1 (en) 2006-06-02 2007-12-13 Suzanne Sysko System and methods for chronic disease management and health assessment
US7849115B2 (en) 2006-06-05 2010-12-07 Bruce Reiner Method and apparatus for adapting computer-based systems to end-user profiles
US7962342B1 (en) 2006-08-22 2011-06-14 Avaya Inc. Dynamic user interface for the temporarily impaired based on automatic analysis for speech patterns
AU2012216577B2 (en) 2006-09-08 2013-10-24 American Well Corporation Connecting consumers with service providers
US20170213003A9 (en) 2006-09-08 2017-07-27 American Well Corporation Next Consumer Processing for Brokered Engagements
US20160210636A9 (en) 2006-09-08 2016-07-21 American Well Corporation Verification processing for brokered engagements
WO2008030855A1 (en) 2006-09-08 2008-03-13 American Well Inc. Connecting consumers with service providers
US7590550B2 (en) 2006-09-08 2009-09-15 American Well Inc. Connecting consumers with service providers
US20090138317A1 (en) 2006-09-08 2009-05-28 Roy Schoenberg Connecting Providers of Financial Services
US20090113312A1 (en) 2006-09-08 2009-04-30 American Well Systems Connecting Providers of Legal Services
US7848937B2 (en) 2006-09-08 2010-12-07 American Well Corporation Connecting consumers with service providers
US8386257B2 (en) 2006-09-13 2013-02-26 Nippon Telegraph And Telephone Corporation Emotion detecting method, emotion detecting apparatus, emotion detecting program that implements the same method, and storage medium that stores the same program
WO2008055078A2 (en) 2006-10-27 2008-05-08 Vivometrics, Inc. Identification of emotional states using physiological responses
JP4778402B2 (ja) * 2006-11-07 2011-09-21 日本放送協会 休止時間長算出装置及びそのプログラム、並びに音声合成装置
DE102006055864A1 (de) 2006-11-22 2008-05-29 Deutsche Telekom Ag Verfahren zur Dialoganpassung und Dialogsystem zur Durchführung
US8160210B2 (en) 2007-01-08 2012-04-17 Motorola Solutions, Inc. Conversation outcome enhancement method and apparatus
EP2122610B1 (en) 2007-01-31 2018-12-26 Telecom Italia S.p.A. Customizable method and system for emotional recognition
US20080214944A1 (en) 2007-02-09 2008-09-04 Morris Margaret E System, apparatus and method for mobile real-time feedback based on changes in the heart to enhance cognitive behavioral therapy for anger or stress reduction
WO2008103827A1 (en) 2007-02-22 2008-08-28 Welldoc Communications, Inc. System and method for providing treatment recommendations based on models
US8838513B2 (en) 2011-03-24 2014-09-16 WellDoc, Inc. Adaptive analytical behavioral and health assistant system and related method of use
US8219406B2 (en) 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
US7844609B2 (en) * 2007-03-16 2010-11-30 Expanse Networks, Inc. Attribute combination discovery
US20080234558A1 (en) 2007-03-20 2008-09-25 Cogito Health Inc. Methods and systems for performing a clinical assessment
US20080242950A1 (en) 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20080243005A1 (en) 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20090024050A1 (en) 2007-03-30 2009-01-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20080319276A1 (en) 2007-03-30 2008-12-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20090018407A1 (en) 2007-03-30 2009-01-15 Searete Llc, A Limited Corporation Of The State Of Delaware Computational user-health testing
US20090005654A1 (en) 2007-03-30 2009-01-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20080294014A1 (en) 2007-05-21 2008-11-27 Barry Goodfield Process for diagnosing and treating a psychological condition or assigning a personality classification to an individual
US7935307B2 (en) 2007-05-31 2011-05-03 EOS Health, DVC. Disposable, refillable glucometer with cell phone interface for transmission of results
US9578152B2 (en) 2007-06-15 2017-02-21 American Well Corporation Telephonic-based engagements
US8166109B2 (en) 2007-06-21 2012-04-24 Cisco Technology, Inc. Linking recognized emotions to non-visual representations
CN101802812B (zh) 2007-08-01 2015-07-01 金格软件有限公司 使用互联网语料库的自动的上下文相关的语言校正和增强
US7945456B2 (en) 2007-10-01 2011-05-17 American Well Corporation Documenting remote engagements
US7933783B2 (en) 2007-10-01 2011-04-26 American Well Corporation Medical listener
US20090089147A1 (en) 2007-10-02 2009-04-02 American Well Inc. Provider supply & consumer demand management
US7895061B2 (en) 2007-10-02 2011-02-22 American Well Corporation Auctioning provider prices
US8504382B2 (en) 2007-10-02 2013-08-06 American Well Corporation Identifying trusted providers
US7937275B2 (en) 2007-10-02 2011-05-03 American Well Corporation Identifying clinical trial candidates
US7840418B2 (en) 2007-10-02 2010-11-23 American Well Corporation Tracking the availability of service providers across multiple platforms
US8521553B2 (en) 2007-10-02 2013-08-27 American Well Corporation Identification of health risks and suggested treatment actions
US20090099848A1 (en) 2007-10-16 2009-04-16 Moshe Lerner Early diagnosis of dementia
US7818183B2 (en) 2007-10-22 2010-10-19 American Well Corporation Connecting consumers with service providers
US9513699B2 (en) 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US20100298649A1 (en) * 2007-11-02 2010-11-25 Siegbert Warkentin System and methods for assessment of the aging brain and its brain disease induced brain dysfunctions by speech analysis
US20090150252A1 (en) 2007-12-10 2009-06-11 American Well Inc. Connecting Service Providers And Consumers Of Services Independent Of Geographical Location
CA2715825C (en) * 2008-02-20 2017-10-03 Mcmaster University Expert system for determining patient treatment response
US8346680B2 (en) 2008-03-31 2013-01-01 Intuit Inc. Method and system for dynamic adaptation of user experience in an application
US7912737B2 (en) 2008-04-07 2011-03-22 American Well Corporation Continuity of medical care
CA2721157A1 (en) 2008-04-16 2009-12-03 Ginger Software, Inc. A system for teaching writing based on a user's past writing
US7890345B2 (en) 2008-04-18 2011-02-15 American Well Corporation Establishment of a telephone based engagement
US8066640B2 (en) 2008-04-22 2011-11-29 EOS Health, Inc. Cellular GPRS-communication linked glucometer—pedometer
US7801686B2 (en) 2008-04-24 2010-09-21 The Invention Science Fund I, Llc Combination treatment alteration methods and systems
US8949233B2 (en) 2008-04-28 2015-02-03 Alexandria Investment Research and Technology, Inc. Adaptive knowledge platform
EP2124223B1 (en) 2008-05-16 2018-03-28 Beyond Verbal Communication Ltd. Methods and systems for diagnosing a pathological phenomenon using a voice signal
US8615664B2 (en) 2008-05-23 2013-12-24 The Invention Science Fund I, Llc Acquisition and particular association of inference data indicative of an inferred mental state of an authoring user and source identity data
US9192300B2 (en) 2008-05-23 2015-11-24 Invention Science Fund I, Llc Acquisition and particular association of data indicative of an inferred mental state of an authoring user
US7904507B2 (en) 2008-05-23 2011-03-08 The Invention Science Fund I, Llc Determination of extent of congruity between observation of authoring user and observation of receiving user
US8055591B2 (en) 2008-05-23 2011-11-08 The Invention Science Fund I, Llc Acquisition and association of data indicative of an inferred mental state of an authoring user
US9101263B2 (en) 2008-05-23 2015-08-11 The Invention Science Fund I, Llc Acquisition and association of data indicative of an inferred mental state of an authoring user
US8086563B2 (en) 2008-05-23 2011-12-27 The Invention Science Fund I, Llc Acquisition and particular association of data indicative of an inferred mental state of an authoring user
IL192013A (en) 2008-06-05 2015-10-29 Yoram Levanon Patient diagnosis system and method by voice-based information analysis
WO2009155336A1 (en) 2008-06-17 2009-12-23 American Well Systems Patient directed integration of remotely stored medical information with a brokerage system
US8195460B2 (en) 2008-06-17 2012-06-05 Voicesense Ltd. Speaker characterization through speech analysis
US20090313076A1 (en) 2008-06-17 2009-12-17 Roy Schoenberg Arranging remote engagements
EP2313835A4 (en) 2008-07-31 2012-08-01 Ginger Software Inc GENERATION, CORRECTION AND LANGUAGE ENHANCEMENT SENSITIVE TO THE AUTOMATIC CONTEXT USING AN INTERNET CORPUS
US8260729B2 (en) 2008-11-21 2012-09-04 The Invention Science Fund I, Llc Soliciting data indicating at least one subjective user state in response to acquisition of data indicating at least one objective occurrence
WO2010068882A2 (en) 2008-12-11 2010-06-17 Nortel Networks Limited Automated text-based messaging interaction using natural language understanding technologies
US20130035563A1 (en) 2010-01-26 2013-02-07 Angelides Kimon J Progressively Personalized Wireless-Based Interactive Diabetes Treatment
US8812244B2 (en) 2009-01-26 2014-08-19 EOS Health, Inc. Personalized wireless-based interactive diabetes treatment
US20100191075A1 (en) 2009-01-26 2010-07-29 Kimon Angelides Progressively Personalized Decision-Support Menu for Controlling Diabetes
US10332054B2 (en) 2009-02-09 2019-06-25 Mandometer Ab Method, generator device, computer program product and system for generating medical advice
US20100223341A1 (en) 2009-02-27 2010-09-02 Microsoft Corporation Electronic messaging tailored to user interest
CA2753872C (en) 2009-02-27 2017-09-26 David L. Forbes Methods and systems for assessing psychological characteristics
US20110118555A1 (en) 2009-04-29 2011-05-19 Abhijit Dhumne System and methods for screening, treating, and monitoring psychological conditions
US20100292545A1 (en) 2009-05-14 2010-11-18 Advanced Brain Monitoring, Inc. Interactive psychophysiological profiler method and system
US9015609B2 (en) 2009-05-18 2015-04-21 American Well Corporation Provider to-provider consultations
WO2010148141A2 (en) 2009-06-16 2010-12-23 University Of Florida Research Foundation, Inc. Apparatus and method for speech analysis
US8463620B2 (en) 2009-07-08 2013-06-11 American Well Corporation Connecting consumers with service providers
US20120116186A1 (en) 2009-07-20 2012-05-10 University Of Florida Research Foundation, Inc. Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
US20110054985A1 (en) 2009-08-25 2011-03-03 Cisco Technology, Inc. Assessing a communication style of a person to generate a recommendation concerning communication by the person in a particular communication environment
US8777630B2 (en) 2009-09-16 2014-07-15 Cerebral Assessment Systems, Inc. Method and system for quantitative assessment of facial emotion sensitivity
US8500635B2 (en) 2009-09-17 2013-08-06 Blife Inc. Mobile system and method for addressing symptoms related to mental health conditions
US20140247989A1 (en) 2009-09-30 2014-09-04 F. Scott Deaver Monitoring the emotional state of a computer user by analyzing screen capture images
US20110119079A1 (en) 2009-11-19 2011-05-19 American Well Corporation Connecting Consumers with Service Providers
KR20120125310A (ko) 2010-02-01 2012-11-14 진저 소프트웨어 인코퍼레이티드 특히 소형 키보드 디바이스를 위한 인터넷 코퍼스를 사용하는 자동 문맥 감응식 언어 교정
US9767470B2 (en) 2010-02-26 2017-09-19 Forbes Consulting Group, Llc Emotional survey
US11344199B2 (en) 2010-03-15 2022-05-31 The Medical College Of Wisconsin, Inc. Systems and methods for detection and prediction of brain disorders based on neural network interaction
JP2011209787A (ja) 2010-03-29 2011-10-20 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US20110263946A1 (en) * 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
JP5834449B2 (ja) 2010-04-22 2015-12-24 富士通株式会社 発話状態検出装置、発話状態検出プログラムおよび発話状態検出方法
US20110267196A1 (en) 2010-05-03 2011-11-03 Julia Hu System and method for providing sleep quality feedback
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US8595005B2 (en) 2010-05-31 2013-11-26 Simple Emotion, Inc. System and method for recognizing emotional state from a speech signal
US20130115582A1 (en) * 2010-06-07 2013-05-09 Affectiva, Inc. Affect based concept testing
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US20140200463A1 (en) 2010-06-07 2014-07-17 Affectiva, Inc. Mental state well being monitoring
US20170095192A1 (en) 2010-06-07 2017-04-06 Affectiva, Inc. Mental state analysis using web servers
JP4876207B2 (ja) * 2010-06-11 2012-02-15 国立大学法人 名古屋工業大学 認知機能障害危険度算出装置、認知機能障害危険度算出システム、及びプログラム
WO2012003523A1 (en) 2010-07-06 2012-01-12 Rmit University Emotional and/or psychiatric state detection
US20120078062A1 (en) * 2010-09-24 2012-03-29 International Business Machines Corporation Decision-support application and system for medical differential-diagnosis and treatment using a question-answering system
JP5271330B2 (ja) 2010-09-29 2013-08-21 株式会社東芝 音声対話システム、方法、及びプログラム
US8784311B2 (en) 2010-10-05 2014-07-22 University Of Florida Research Foundation, Incorporated Systems and methods of screening for medical states using speech and other vocal behaviors
JP5494468B2 (ja) 2010-12-27 2014-05-14 富士通株式会社 状態検出装置、状態検出方法および状態検出のためのプログラム
WO2012151570A2 (en) 2011-05-05 2012-11-08 American Well Corporation Reverse provider practice
US20130018663A1 (en) 2011-07-12 2013-01-17 American Well Corporation Connecting Consumers with Providers
US20130036153A1 (en) 2011-08-05 2013-02-07 Roy Schoenberg Mobile Applications to Interface to a Brokerage System
US20130046550A1 (en) 2011-08-17 2013-02-21 American Well Corporation Tracking Status of Service Providers Across Plural Provider Practices
US9762719B2 (en) 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
US8311973B1 (en) 2011-09-24 2012-11-13 Zadeh Lotfi A Methods and systems for applications for Z-numbers
US8392585B1 (en) 2011-09-26 2013-03-05 Theranos, Inc. Methods and systems for facilitating network connectivity
JP5772448B2 (ja) 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
EP2575064A1 (en) 2011-09-30 2013-04-03 General Electric Company Telecare and/or telehealth communication method and system
US20150282752A1 (en) 2011-10-20 2015-10-08 Cogcubed Corporation Spatial positioning surface for neurological assessment and treatment
US9014614B2 (en) 2011-10-20 2015-04-21 Cogcubed Corporation Cognitive assessment and treatment platform utilizing a distributed tangible-graphical user interface device
US9220453B2 (en) 2011-10-20 2015-12-29 Cogcubed Corporation Apparatus for mounting a wireless sensor on a human for diagnosing and treating cognitive disorders
US9867562B2 (en) 2011-10-20 2018-01-16 Teladoc, Inc. Vector space methods towards the assessment and improvement of neurological conditions
US9324241B2 (en) 2011-10-20 2016-04-26 Cogcubed Corporation Predictive executive functioning models using interactive tangible-graphical interface devices
CA3141754A1 (en) 2011-10-24 2013-05-02 President And Fellows Of Harvard College Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy
US20130110551A1 (en) 2011-10-28 2013-05-02 WellDoc, Inc. Systems and methods for managing chronic conditions
US20140222454A1 (en) 2011-11-03 2014-08-07 Sean Patrick Duffy Systems and Methods That Administer a Health Improvement Program and an Adjunct Medical Treatment
US20130117040A1 (en) 2011-11-03 2013-05-09 Omada Health, Inc. Method and System for Supporting a Health Regimen
US20170344726A1 (en) 2011-11-03 2017-11-30 Omada Health, Inc. Method and system for supporting a health regimen
US20140214443A1 (en) 2011-11-03 2014-07-31 Sean Patrick Duffy Systems and Methods for Displaying Metrics Associated With a Health Improvement Program
US20140214442A1 (en) 2011-11-03 2014-07-31 Sean Patrick Duffy Systems and Methods for Tracking Participants in a Health Improvement Program
US20130124631A1 (en) 2011-11-04 2013-05-16 Fidelus Technologies, Llc. Apparatus, system, and method for digital communications driven by behavior profiles of participants
US9819711B2 (en) 2011-11-05 2017-11-14 Neil S. Davey Online social interaction, education, and health care by analysing affect and cognitive features
US20130123583A1 (en) * 2011-11-10 2013-05-16 Erica L. Hill System and method for analyzing digital media preferences to generate a personality profile
WO2013071285A1 (en) 2011-11-11 2013-05-16 Rutgers, The State University Of New Jersey Methods for the diagnosis and treatment of neurological disorders
US20130130789A1 (en) 2011-11-18 2013-05-23 Sri International User-interactive application framework for electronic devices
USD676555S1 (en) 2011-12-02 2013-02-19 EosHealth, Inc. Glucometer
US20130159228A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Dynamic user experience adaptation and services provisioning
US9208661B2 (en) 2012-01-06 2015-12-08 Panasonic Corporation Of North America Context dependent application/event activation for people with various cognitive ability levels
US8803690B2 (en) 2012-01-06 2014-08-12 Panasonic Corporation Of North America Context dependent application/event activation for people with various cognitive ability levels
US9239989B2 (en) 2012-03-28 2016-01-19 General Electric Company Computer-implemented system with adaptive cognitive features and method of using the same
US20130297536A1 (en) 2012-05-01 2013-11-07 Bernie Almosni Mental health digital behavior monitoring support system and method
US20140121540A1 (en) 2012-05-09 2014-05-01 Aliphcom System and method for monitoring the health of a user
US9425974B2 (en) 2012-08-15 2016-08-23 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US10116598B2 (en) 2012-08-15 2018-10-30 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US10068670B2 (en) 2012-08-16 2018-09-04 Ginger.io, Inc. Method for modeling behavior and depression state
US10276260B2 (en) 2012-08-16 2019-04-30 Ginger.io, Inc. Method for providing therapy to an individual
US10741285B2 (en) 2012-08-16 2020-08-11 Ginger.io, Inc. Method and system for providing automated conversations
WO2014028888A2 (en) 2012-08-16 2014-02-20 Ginger.io, Inc. Method for modeling behavior and health changes
US10650920B2 (en) * 2012-08-16 2020-05-12 Ginger.io, Inc. Method and system for improving care determination
US10748645B2 (en) 2012-08-16 2020-08-18 Ginger.io, Inc. Method for providing patient indications to an entity
US10740438B2 (en) 2012-08-16 2020-08-11 Ginger.io, Inc. Method and system for characterizing and/or treating poor sleep behavior
US10068060B2 (en) 2012-08-16 2018-09-04 Ginger.io, Inc. Method for modeling behavior and psychotic disorders
US10265028B2 (en) 2012-08-16 2019-04-23 Ginger.io, Inc. Method and system for modeling behavior and heart disease state
US10102341B2 (en) 2012-08-16 2018-10-16 Ginger.io, Inc. Method for managing patient quality of life
US20170004260A1 (en) 2012-08-16 2017-01-05 Ginger.io, Inc. Method for providing health therapeutic interventions to a user
US9892155B2 (en) 2012-09-06 2018-02-13 Beyond Verbal Communication Ltd System and method for selection of data according to measurement of physiological parameters
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
US20140099614A1 (en) 2012-10-08 2014-04-10 Lark Technologies, Inc. Method for delivering behavior change directives to a user
US20150294595A1 (en) 2012-10-08 2015-10-15 Lark Technologies, Inc. Method for providing wellness-related communications to a user
US20150170531A1 (en) 2012-10-08 2015-06-18 Lark Technologies, Inc. Method for communicating wellness-related communications to a user
US9579056B2 (en) * 2012-10-16 2017-02-28 University Of Florida Research Foundation, Incorporated Screening for neurological disease using speech articulation characteristics
US9202520B1 (en) 2012-10-17 2015-12-01 Amazon Technologies, Inc. Systems and methods for determining content preferences based on vocal utterances and/or movement by a user
US9031293B2 (en) 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
JP2016502422A (ja) 2012-10-22 2016-01-28 コグキューブド コーポレーション 分散型タンジブルグラフィカルユーザーインターフェースデバイスを利用する認知評価治療プラットフォーム
US20140122109A1 (en) 2012-10-29 2014-05-01 Consuli, Inc. Clinical diagnosis objects interaction
US9830423B2 (en) 2013-03-13 2017-11-28 Abhishek Biswas Virtual communication platform for healthcare
WO2014069076A1 (ja) 2012-10-31 2014-05-08 日本電気株式会社 会話分析装置及び会話分析方法
US20150304381A1 (en) 2012-11-02 2015-10-22 Fidelus Technologies, Llc Apparatus, system, and method for digital communications driven by behavior profiles of participants
JPWO2014073612A1 (ja) 2012-11-08 2016-09-08 日本電気株式会社 会話文生成装置、会話文生成方法及び会話文生成プログラム
WO2014073613A1 (ja) 2012-11-08 2014-05-15 日本電気株式会社 会話文生成装置、会話文生成方法及び会話文生成プログラム
KR102011495B1 (ko) 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
KR20150097632A (ko) 2012-12-15 2015-08-26 고쿠리츠다이가쿠호진 토쿄고교 다이가꾸 인간의 심적 상태의 평가 장치
US20140195255A1 (en) 2013-01-08 2014-07-10 Robert Bosch Gmbh System And Method For Assessment Of Patient Health Using Patient Generated Data
KR20140094336A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 사용자 감정 추출이 가능한 전자기기 및 전자기기의 사용자 감정 추출방법
US9817949B2 (en) 2013-02-07 2017-11-14 Christian Poulin Text based prediction of psychological cohorts
USD727941S1 (en) 2013-02-19 2015-04-28 Livongo Health, Inc. Glucometer with an accelerometer screen graphical user interface
USD726757S1 (en) 2013-02-22 2015-04-14 Lwongo Health, Inc. Glucometer with a pattern tracking screen graphical user interface
USD726205S1 (en) 2013-02-22 2015-04-07 Livongo Health, Inc. Glucometer with a sound and alarm screen graphical user interface
USD726755S1 (en) 2013-02-22 2015-04-14 Livongo Health, Inc. Glucometer with a trends screen graphical user interface
USD726756S1 (en) 2013-02-22 2015-04-14 Livongo Health, Inc. Glucometer with a logbook screen graphical user interface
USD726753S1 (en) 2013-02-22 2015-04-14 Livongo Health, Inc. Glucometer with a pedometer check screen graphical user interface
USD726754S1 (en) 2013-02-22 2015-04-14 Livongo Health, Inc. Glucometer uploading screen with a graphical user interface
USD726206S1 (en) 2013-02-22 2015-04-07 Livongohealh, Inc Glucometer with a high blood glucose level screen graphical user interface
USD726751S1 (en) 2013-02-22 2015-04-14 Livongo Health, Inc. Glucometer with a blood glucose check screen graphical user interface
USD726752S1 (en) 2013-02-22 2015-04-14 Livongo Health, Inc. Glucometer with an upload screen graphical user interface
USD733172S1 (en) 2013-02-22 2015-06-30 Livongo Health Glucometer screen for checking ketone levels with graphical user interface
DE102013101871A1 (de) 2013-02-26 2014-08-28 PSYWARE GmbH Wortwahlbasierte Sprachanalyse und Sprachanalyseeinrichtung
USD726207S1 (en) 2013-02-26 2015-04-07 Livongo Health, Inc. Glucometer with a data tracking screen graphical user interface
USD727942S1 (en) 2013-02-26 2015-04-28 Livongo Health, Inc. Glucometer with an activity tracking screen graphical user interface
JP6268717B2 (ja) 2013-03-04 2018-01-31 富士通株式会社 状態推定装置、状態推定方法及び状態推定用コンピュータプログラム
US20140257850A1 (en) 2013-03-05 2014-09-11 Clinton Colin Graham Walker Automated interactive health care application for patient care
USD728601S1 (en) 2013-03-06 2015-05-05 Livongo Health, Inc. Glucometer with a data sharing screen graphical user interface
USD726209S1 (en) 2013-03-06 2015-04-07 Kimon Angelides Glucometer with an error screen graphical user interface
USD726210S1 (en) 2013-03-06 2015-04-07 Livongo Health, Inc. Glucometer with a battery charge screen graphical user interface
US20140258037A1 (en) 2013-03-11 2014-09-11 American Well Corporation Transparency in Processing of Wait Times for Brokered Engagements
US9191510B2 (en) 2013-03-14 2015-11-17 Mattersight Corporation Methods and system for analyzing multichannel electronic communication data
US20140272897A1 (en) 2013-03-14 2014-09-18 Oliver W. Cummings Method and system for blending assessment scores
US20140378810A1 (en) 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
CN103226606B (zh) 2013-04-28 2016-08-10 浙江核新同花顺网络信息股份有限公司 查询选取方法及系统
JP2014219594A (ja) 2013-05-09 2014-11-20 ソフトバンクモバイル株式会社 会話処理システム及びプログラム
WO2014188408A1 (en) 2013-05-20 2014-11-27 Beyond Verbal Communication Ltd Method and system for determining a pre-multisystem failure condition using time integrated voice analysis
US20160203729A1 (en) 2015-01-08 2016-07-14 Happify, Inc. Dynamic interaction system and method
US20140363797A1 (en) 2013-05-28 2014-12-11 Lark Technologies, Inc. Method for providing wellness-related directives to a user
US9750433B2 (en) 2013-05-28 2017-09-05 Lark Technologies, Inc. Using health monitor data to detect macro and micro habits with a behavioral model
US9427185B2 (en) * 2013-06-20 2016-08-30 Microsoft Technology Licensing, Llc User behavior monitoring on a computerized device
WO2014210210A1 (en) 2013-06-25 2014-12-31 Lark Technologies, Inc. Method for classifying user motion
US9536053B2 (en) 2013-06-26 2017-01-03 WellDoc, Inc. Systems and methods for managing medication adherence
WO2015020638A1 (en) 2013-08-06 2015-02-12 Intel Corporation Emotion-related query processing
US10204642B2 (en) 2013-08-06 2019-02-12 Beyond Verbal Communication Ltd Emotional survey according to voice categorization
WO2015023952A1 (en) 2013-08-16 2015-02-19 Affectiva, Inc. Mental state analysis using an application programming interface
US20150056595A1 (en) 2013-08-23 2015-02-26 The Curators Of The University Of Missouri Systems and methods for diagnosis and treatment of psychiatric disorders
WO2015047248A1 (en) 2013-09-25 2015-04-02 Intel Corporation Improving natural language interactions using emotional modulation
US9298766B2 (en) 2013-10-09 2016-03-29 International Business Machines Corporation Empathy injection for question-answering systems
US10405786B2 (en) 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US9881136B2 (en) 2013-10-17 2018-01-30 WellDoc, Inc. Methods and systems for managing patient treatment compliance
CA2928005C (en) 2013-10-20 2023-09-12 Massachusetts Institute Of Technology Using correlation structure of speech dynamics to detect neurological changes
US9474481B2 (en) 2013-10-22 2016-10-25 Mindstrong, LLC Method and system for assessment of cognitive function based on electronic device usage
US9420970B2 (en) 2013-10-22 2016-08-23 Mindstrong, LLC Method and system for assessment of cognitive function based on mobile device usage
US9396437B2 (en) 2013-11-11 2016-07-19 Mera Software Services, Inc. Interface apparatus and method for providing interaction of a user with network entities
US9361589B2 (en) 2013-11-28 2016-06-07 Akademia Gorniczo-Hutnicza Im. Stanislawa Staszira W. Krakowie System and a method for providing a dialog with a user
US20150154721A1 (en) * 2013-12-02 2015-06-04 Talksession, Inc. System, apparatus and method for user to obtain service from professional
WO2015105994A1 (en) 2014-01-08 2015-07-16 Callminer, Inc. Real-time conversational analytics facility
WO2015116678A1 (en) 2014-01-28 2015-08-06 Simple Emotion, Inc. Methods for adaptive voice interaction
US10567444B2 (en) 2014-02-03 2020-02-18 Cogito Corporation Tele-communication system and methods
WO2015123058A1 (en) 2014-02-13 2015-08-20 Omada Health, Inc. Systems and methods for tracking participants in a health improvement program
US11043287B2 (en) 2014-02-19 2021-06-22 Teijin Limited Information processing apparatus and information processing method
US20150242593A1 (en) 2014-02-21 2015-08-27 MAP Health Management, LLC System and method for generating survey questions
WO2015130457A1 (en) 2014-02-25 2015-09-03 Omada Health, Inc. Systems and methods for displaying metrics associated with a health improvement program
US9947342B2 (en) 2014-03-12 2018-04-17 Cogito Corporation Method and apparatus for speech behavior visualization and gamification
US9348812B2 (en) 2014-03-14 2016-05-24 Splice Software Inc. Method, system and apparatus for assembling a recording plan and data driven dialogs for automated communications
CN103905296A (zh) 2014-03-27 2014-07-02 华为技术有限公司 情绪信息的处理方法及装置
GB2524583B (en) 2014-03-28 2017-08-09 Kaizen Reaux-Savonte Corey System, architecture and methods for an intelligent, self-aware and context-aware digital organism-based telecommunication system
US9230542B2 (en) 2014-04-01 2016-01-05 Zoom International S.R.O. Language-independent, non-semantic speech analytics
WO2015153127A1 (en) 2014-04-04 2015-10-08 Omada Health, Inc. Systems and methods that administer a health improvement program and an adjunct medical treatment
WO2015167652A1 (en) 2014-04-29 2015-11-05 Future Life, LLC Remote assessment of emotional status of a person
US9685174B2 (en) 2014-05-02 2017-06-20 The Regents Of The University Of Michigan Mood monitoring of bipolar disorder using speech analysis
US20150332021A1 (en) 2014-05-15 2015-11-19 ThoroughCare, Inc. Guided Patient Interview and Health Management Systems
US9508360B2 (en) 2014-05-28 2016-11-29 International Business Machines Corporation Semantic-free text analysis for identifying traits
WO2015191562A1 (en) 2014-06-09 2015-12-17 Revon Systems, Llc Systems and methods for health tracking and management
US9390706B2 (en) 2014-06-19 2016-07-12 Mattersight Corporation Personality-based intelligent personal assistant system and methods
WO2015198317A1 (en) * 2014-06-23 2015-12-30 Intervyo R&D Ltd. Method and system for analysing subjects
US9807559B2 (en) 2014-06-25 2017-10-31 Microsoft Technology Licensing, Llc Leveraging user signals for improved interactions with digital personal assistant
GB201411912D0 (en) 2014-07-03 2014-08-20 Realeyes O Method of collecting computer user data
WO2016004425A1 (en) 2014-07-04 2016-01-07 Intelligent Digital Avatars, Inc. Systems and methods for assessing, verifying and adjusting the affective state of a user
CN105266775A (zh) 2014-07-11 2016-01-27 中兴通讯股份有限公司 获取用户身心状态的方法、系统及终端
US10874340B2 (en) 2014-07-24 2020-12-29 Sackett Solutions & Innovations, LLC Real time biometric recording, information analytics and monitoring systems for behavioral health management
WO2016031650A1 (ja) 2014-08-26 2016-03-03 東洋紡株式会社 うつ状態判定方法、及びうつ状態判定装置
US20160063874A1 (en) 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
US20160188792A1 (en) 2014-08-29 2016-06-30 Washington University In St. Louis Methods and Compositions for the Detection, Classification, and Diagnosis of Schizophrenia
USD754705S1 (en) 2014-08-31 2016-04-26 Livongo Health, Inc. Glucometer display screen with a reminder screen graphical user interface
USD754179S1 (en) 2014-08-31 2016-04-19 Livongo Health, Inc. Glucometer display screen with a sound control graphical user interface
WO2016035069A1 (en) 2014-09-01 2016-03-10 Beyond Verbal Communication Ltd System for configuring collective emotional architecture of individual and methods thereof
WO2016035070A2 (en) 2014-09-01 2016-03-10 Beyond Verbal Communication Ltd Social networking and matching communication platform and methods thereof
KR101641424B1 (ko) 2014-09-11 2016-07-20 엘지전자 주식회사 단말기 및 그 동작 방법
US20160086088A1 (en) 2014-09-24 2016-03-24 Raanan Yonatan Yehezkel Facilitating dynamic affect-based adaptive representation and reasoning of user behavior on computing devices
EP3210096B1 (en) 2014-10-21 2019-05-15 Robert Bosch GmbH Method and system for automation of response selection and composition in dialog systems
US9721004B2 (en) 2014-11-12 2017-08-01 International Business Machines Corporation Answering questions via a persona-based natural language processing (NLP) system
US20160164813A1 (en) 2014-12-04 2016-06-09 Intel Corporation Conversation agent
US9786299B2 (en) 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
US20160166191A1 (en) 2014-12-12 2016-06-16 King Fahd University Of Petroleum And Minerals Process, system and computer program product for evaluating psychological status
US20160174889A1 (en) 2014-12-20 2016-06-23 Ziv Yekutieli Smartphone text analyses
US10223459B2 (en) 2015-02-11 2019-03-05 Google Llc Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources
US9930102B1 (en) 2015-03-27 2018-03-27 Intuit Inc. Method and system for using emotional state data to tailor the user experience of an interactive software system
GB2538698B (en) 2015-04-02 2019-05-15 Cambridge Cognition Ltd Systems and methods for assessing cognitive function
US20160322065A1 (en) 2015-05-01 2016-11-03 Smartmedical Corp. Personalized instant mood identification method and system
WO2016179428A2 (en) 2015-05-05 2016-11-10 Dart Neuroscience, Llc Cognitive test execution and control
WO2016185460A1 (en) 2015-05-19 2016-11-24 Beyond Verbal Communication Ltd System and method for improving emotional well-being by vagal nerve stimulation
WO2016195474A1 (en) 2015-05-29 2016-12-08 Charles Vincent Albert Method for analysing comprehensive state of a subject
WO2016193839A1 (en) 2015-06-03 2016-12-08 Koninklijke Philips N.V. System and method for generating an adaptive embodied conversational agent configured to provide interactive virtual coaching to a subject
US10529328B2 (en) 2015-06-22 2020-01-07 Carnegie Mellon University Processing speech signals in voice-based profiling
US20170004269A1 (en) 2015-06-30 2017-01-05 BWW Holdings, Ltd. Systems and methods for estimating mental health assessment results
US9959328B2 (en) 2015-06-30 2018-05-01 Microsoft Technology Licensing, Llc Analysis of user text
US10438593B2 (en) 2015-07-22 2019-10-08 Google Llc Individualized hotword detection models
JP7001593B2 (ja) 2015-08-11 2022-01-19 コグノア， インコーポレイテッド 人工知能およびユーザ入力を用いて発達進度を判定するための方法および装置
WO2017024553A1 (zh) 2015-08-12 2017-02-16 浙江核新同花顺网络信息股份有限公司 一种信息情感分析方法和系统
WO2017031350A1 (en) 2015-08-19 2017-02-23 Massachusetts Instutute Of Technology Assessing disorders through speech and a computational model
US10127929B2 (en) 2015-08-19 2018-11-13 Massachusetts Institute Of Technology Assessing disorders through speech and a computational model
US10709371B2 (en) * 2015-09-09 2020-07-14 WellBrain, Inc. System and methods for serving a custom meditation program to a patient
US20170076630A1 (en) 2015-09-11 2017-03-16 LIvongo Heatlh, Inc. Optimizing Messages Sent to Diabetic Patients in an Interactive System Based on Estimated HbA1c Levels
US20180077095A1 (en) 2015-09-14 2018-03-15 X Development Llc Augmentation of Communications with Emotional Data
WO2017048729A1 (en) 2015-09-14 2017-03-23 Cogito Corporation Systems and methods for managing, analyzing, and providing visualizations of multi-party dialogs
US10276188B2 (en) 2015-09-14 2019-04-30 Cogito Corporation Systems and methods for identifying human emotions and/or mental health states based on analyses of audio inputs and/or behavioral data collected from computing devices
WO2017057022A1 (ja) 2015-09-28 2017-04-06 デルタ工業株式会社 生体状態推定装置、生体状態推定方法及びコンピュータプログラム
US10572626B2 (en) * 2015-10-05 2020-02-25 Ricoh Co., Ltd. Advanced telemedicine system with virtual doctor
CN108135491B (zh) 2015-10-15 2022-01-28 大金工业株式会社 生理状态判定装置及生理状态判定方法
CN113612677A (zh) 2015-10-20 2021-11-05 索尼公司 信息处理系统和信息处理方法
PL414836A1 (pl) 2015-11-18 2017-05-22 Assistech Spółka Z Ograniczona Odpowiedzialnością Układ i sposób wspomagania oceny stanu neurologicznego i wspomagania prowadzenia rehabilitacji neurologicznej, zwłaszcza funkcji poznawczych i/lub językowych
WO2017085714A2 (en) 2015-11-19 2017-05-26 Beyond Verbal Communication Ltd Virtual assistant for generating personal suggestions to a user based on intonation analysis of the user
US10835168B2 (en) 2016-11-15 2020-11-17 Gregory Charles Flickinger Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US20170143246A1 (en) 2015-11-20 2017-05-25 Gregory C Flickinger Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US20170154637A1 (en) 2015-11-29 2017-06-01 International Business Machines Corporation Communication pattern monitoring and behavioral cues
US10325070B2 (en) 2015-12-14 2019-06-18 The Live Network Inc Treatment intelligence and interactive presence portal for telehealth
EP4437962A3 (en) 2015-12-18 2025-01-01 Cognoa, Inc. Platform and system for digital personalized medicine
US10142483B2 (en) 2015-12-22 2018-11-27 Intel Corporation Technologies for dynamic audio communication adjustment
CN106910513A (zh) 2015-12-22 2017-06-30 微软技术许可有限责任公司 情绪智能聊天引擎
CN105681546A (zh) 2015-12-30 2016-06-15 宇龙计算机通信科技(深圳)有限公司 一种语音处理的方法、装置以及终端
US20170193171A1 (en) 2016-01-05 2017-07-06 Lyra Health, Inc. Personalized multi-dimensional health care provider-patient matching
US10268689B2 (en) 2016-01-28 2019-04-23 DISH Technologies L.L.C. Providing media content based on user state detection
US20170221336A1 (en) 2016-01-28 2017-08-03 Flex Ltd. Human voice feedback system
US10452816B2 (en) 2016-02-08 2019-10-22 Catalia Health Inc. Method and system for patient engagement
US10799186B2 (en) * 2016-02-12 2020-10-13 Newton Howard Detection of disease conditions and comorbidities
US20190172363A1 (en) 2016-02-16 2019-06-06 Nfactorial Analytical Sciences Pvt. Ltd Real-time assessment of an emotional state
WO2017147552A1 (en) 2016-02-26 2017-08-31 Daniela Brunner Multi-format, multi-domain and multi-algorithm metalearner system and method for monitoring human health, and deriving health status and trajectory
US20170262609A1 (en) 2016-03-08 2017-09-14 Lyra Health, Inc. Personalized adaptive risk assessment service
US9711056B1 (en) 2016-03-14 2017-07-18 Fuvi Cognitive Network Corp. Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
US10548534B2 (en) 2016-03-21 2020-02-04 Sonde Health Inc. System and method for anhedonia measurement using acoustic and contextual cues
US10515629B2 (en) 2016-04-11 2019-12-24 Sonde Health, Inc. System and method for activation of voice interactive services based on user state
US11455985B2 (en) 2016-04-26 2022-09-27 Sony Interactive Entertainment Inc. Information processing apparatus
US11016534B2 (en) 2016-04-28 2021-05-25 International Business Machines Corporation System, method, and recording medium for predicting cognitive states of a sender of an electronic message
WO2017197333A1 (en) 2016-05-13 2017-11-16 WellDoc, Inc. Database management and graphical user interfaces for measurements collected by analyzing blood
JP6388746B2 (ja) 2016-05-20 2018-09-12 三菱電機株式会社 情報提供制御装置および情報提供制御方法
CN106055537B (zh) 2016-05-23 2019-03-12 王立山 一种自然语言机器识别方法及系统
US9792825B1 (en) 2016-05-27 2017-10-17 The Affinity Project, Inc. Triggering a session with a virtual companion
CN106649421A (zh) 2016-05-29 2017-05-10 陈勇 一种人机对话平台
US11011266B2 (en) 2016-06-03 2021-05-18 Lyra Health, Inc. Health provider matching service
JP6132378B1 (ja) 2016-06-09 2017-05-24 真由美 稲場 相手方の性格・趣向を理解してコミュニケーションをとることを支援する機能を実現させるためのプログラム
US10593349B2 (en) 2016-06-16 2020-03-17 The George Washington University Emotional interaction apparatus
US9818406B1 (en) 2016-06-23 2017-11-14 Intuit Inc. Adjusting user experience based on paralinguistic information
WO2018016459A1 (ja) 2016-07-22 2018-01-25 日本電気株式会社 心身状態測定装置、心身状態測定方法、心身状態測定プログラムおよび記憶媒体
US20190151603A1 (en) 2016-07-25 2019-05-23 Pavel Pavlovich Horoshutin Method of providing remote psychological aid
WO2018025267A1 (en) 2016-08-02 2018-02-08 Beyond Verbal Communication Ltd. System and method for creating an electronic database using voice intonation analysis score correlating to human affective states
WO2018033498A1 (en) 2016-08-16 2018-02-22 Koninklijke Philips N.V. A method, apparatus and system for tailoring at least one subsequent communication to a user
US10354009B2 (en) 2016-08-24 2019-07-16 Microsoft Technology Licensing, Llc Characteristic-pattern analysis of text
US10832684B2 (en) 2016-08-31 2020-11-10 Microsoft Technology Licensing, Llc Personalization of experiences with digital assistants in communal settings through voice and query processing
WO2018074996A1 (en) 2016-10-17 2018-04-26 Morehouse School Of Medicine Mental health assessment method and kiosk-based system for implementation
US10244975B2 (en) 2016-10-17 2019-04-02 Morehouse School Of Medicine Mental health assessment method and kiosk-based system for implementation
JP6761598B2 (ja) 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム
US10706964B2 (en) 2016-10-31 2020-07-07 Lyra Health, Inc. Constrained optimization for provider groups
US10475530B2 (en) 2016-11-10 2019-11-12 Sonde Health, Inc. System and method for activation and deactivation of cued health assessment
US20210383926A1 (en) 2016-12-05 2021-12-09 Cogniant Pty Ltd Mental health assessment system and method
US20190392952A1 (en) 2016-12-09 2019-12-26 Basil Leaf Technologies, Llc Computer-implemented methods, systems, and computer-readable media for diagnosing a condition
JP6371366B2 (ja) 2016-12-12 2018-08-08 ダイキン工業株式会社 精神疾患判定装置
US20180174055A1 (en) 2016-12-19 2018-06-21 Giridhar S. Tirumale Intelligent conversation system
CN107053191B (zh) 2016-12-31 2020-05-08 华为技术有限公司 一种机器人，服务器及人机互动方法
WO2018132483A1 (en) 2017-01-10 2018-07-19 Akili Interactive Labs, Inc. Cognitive platform configured for determining the presence or likelihood of onset of a neuropsychological deficit or disorder
US10037767B1 (en) 2017-02-01 2018-07-31 Wipro Limited Integrated system and a method of identifying and learning emotions in conversation utterances
US10497360B2 (en) 2017-02-21 2019-12-03 Sony Corporation Personalized assistance system based on emotion
CN106956271B (zh) 2017-02-27 2019-11-05 华为技术有限公司 预测情感状态的方法和机器人
EP3379472A1 (en) 2017-03-21 2018-09-26 Koninklijke Philips N.V. Method and apparatus for sending a message to a subject
JP2018161703A (ja) 2017-03-24 2018-10-18 株式会社 ゼンショーホールディングス 対話制御装置およびロボット制御システム
JP2020099367A (ja) 2017-03-28 2020-07-02 株式会社Ｓｅｌｔｅｃｈ 感情認識装置および感情認識プログラム
US10424288B2 (en) 2017-03-31 2019-09-24 Wipro Limited System and method for rendering textual messages using customized natural voice
CN107194151B (zh) 2017-04-20 2020-04-03 华为技术有限公司 确定情感阈值的方法和人工智能设备
US10250532B2 (en) 2017-04-28 2019-04-02 Microsoft Technology Licensing, Llc Systems and methods for a personality consistent chat bot
ES2988668T3 (es) 2017-05-05 2024-11-21 Canary Speech Llc Evaluación médica basada en la voz
US20180329984A1 (en) 2017-05-11 2018-11-15 Gary S. Aviles Methods and systems for determining an emotional condition of a user
WO2018205224A1 (en) 2017-05-11 2018-11-15 Microsoft Technology Licensing, Llc Assisting psychological cure in automated chatting
US10623431B2 (en) 2017-05-15 2020-04-14 Forcepoint Llc Discerning psychological state from correlated user behavior and contextual information
WO2018212134A1 (ja) 2017-05-15 2018-11-22 株式会社Ａｉｋｏｍｉ 認知症ケアシステム
WO2018220499A1 (en) 2017-05-27 2018-12-06 Mohan Dewan A computer implemented system and method for automatically generating messages
WO2018223172A1 (en) 2017-06-06 2018-12-13 Howarth Gail A system and a method for determining psychological state of a person
US10838967B2 (en) 2017-06-08 2020-11-17 Microsoft Technology Licensing, Llc Emotional intelligence for a conversational chatbot
US10665123B2 (en) 2017-06-09 2020-05-26 International Business Machines Corporation Smart examination evaluation based on run time challenge response backed by guess detection
US10276190B2 (en) 2017-06-19 2019-04-30 International Business Machines Corporation Sentiment analysis of mental health disorder symptoms
US11429833B2 (en) 2017-06-19 2022-08-30 Kyndryl, Inc. Cognitive communication assistant services
US20190013092A1 (en) 2017-07-05 2019-01-10 Koninklijke Philips N.V. System and method for facilitating determination of a course of action for an individual
EP3652664A1 (de) 2017-07-14 2020-05-20 Cognigy GmbH Verfahren zur dialogführung zwischen mensch und computer
TWI684160B (zh) 2017-07-31 2020-02-01 陳兆煒 分析提示系統及方法
US20190043606A1 (en) 2017-08-04 2019-02-07 Teladoc, Inc. Patient-provider healthcare recommender system
US20190050774A1 (en) 2017-08-08 2019-02-14 General Electric Company Methods and apparatus to enhance emotional intelligence using digital technology
US20190052724A1 (en) 2017-08-14 2019-02-14 Ivan Tumbocon Dancel Systems and methods for establishing a safe online communication network and for alerting users of the status of their mental health
WO2019035007A1 (en) 2017-08-15 2019-02-21 American Well Corporation APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT
US11082456B2 (en) 2017-08-17 2021-08-03 Avctechnologies Usa Inc. Automated agent for a web communication feature
CN108346436B (zh) 2017-08-22 2020-06-23 腾讯科技（深圳）有限公司 语音情感检测方法、装置、计算机设备及存储介质
US20200293563A1 (en) 2017-08-28 2020-09-17 Sony Corporation Information processor and information processing method
US11004461B2 (en) 2017-09-01 2021-05-11 Newton Howard Real-time vocal features extraction for automated emotional or mental state assessment
US20190079916A1 (en) 2017-09-11 2019-03-14 International Business Machines Corporation Using syntactic analysis for inferring mental health and mental states
RU2673010C1 (ru) 2017-09-13 2018-11-21 Дмитрий Владимирович Истомин Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления
US20180018634A1 (en) 2017-09-14 2018-01-18 Altimetrik Corp. Systems and methods for assessing an individual in a computing environment
US10410655B2 (en) 2017-09-18 2019-09-10 Fujitsu Limited Estimating experienced emotions
EP3681678A4 (en) 2017-09-18 2020-11-18 Samsung Electronics Co., Ltd. DYNAMIC INTERACTION PROCESS AND ASSOCIATED ELECTRONIC DEVICE
WO2019064299A1 (en) 2017-09-27 2019-04-04 Ben Oren Ilan COGNITIVE AND PHYSIOLOGICAL MONITORING AND CORRELATION ANALYSIS OF MANAGEMENT OF PATHOLOGICAL CONDITIONS RELATED TO COGNITIVE IMPAIRMENT
WO2019070745A1 (en) 2017-10-02 2019-04-11 Blackthorn Therapeutics, Inc. METHODS AND SYSTEMS FOR COMPUTER-GENERATED PREDICTIVE APPLICATION OF NEURO-IMAGING MAPPING DATA AND GENE EXPRESSION
WO2019069955A1 (ja) 2017-10-03 2019-04-11 株式会社国際電気通信基礎技術研究所 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
US10516701B2 (en) 2017-10-05 2019-12-24 Accenture Global Solutions Limited Natural language processing artificial intelligence network and data security system
CA3077564A1 (en) 2017-10-06 2019-04-11 Dynamicly Inc. System and method for a hybrid conversational and graphical user interface
CN111601541A (zh) 2017-10-12 2020-08-28 若兰·穆恩 经自引导式健康检查、信息来测量、量化、显示和/或以其他方式处理/报告健康状况数据和/或风险及处理关于相关专业建议的信息的系统和方法
AU2018350984A1 (en) 2017-10-17 2020-05-07 Satish Rao Machine learning based system for identifying and monitoring neurological disorders
US10885278B2 (en) 2017-10-17 2021-01-05 Royal Bank Of Canada Auto tele-interview solution
US20190122661A1 (en) 2017-10-23 2019-04-25 GM Global Technology Operations LLC System and method to detect cues in conversational speech
GB2567826B (en) 2017-10-24 2023-04-26 Cambridge Cognition Ltd System and method for assessing physiological state
US20190130077A1 (en) 2017-11-01 2019-05-02 The Curators Of The University Of Missouri Sensor system and method for cognitive health assessment
JP7053824B2 (ja) 2017-11-17 2022-04-12 Ｌｉｎｅ株式会社 会話の流れ情報を提供するためのコンピュータプログラム及びシステム
US11663182B2 (en) 2017-11-21 2023-05-30 Maria Emma Artificial intelligence platform with improved conversational ability and personality development
WO2019103484A1 (ko) 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
US20190172458A1 (en) 2017-12-01 2019-06-06 Affectiva, Inc. Speech analysis for cross-language mental state identification
US10818396B2 (en) 2017-12-09 2020-10-27 Jane Doerflinger Method and system for natural language processing for the evaluation of pathological neurological states
US10424186B2 (en) 2017-12-28 2019-09-24 Sony Corporation System and method for customized message playback
WO2019133710A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
WO2019133698A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for personalizing dialogue based on user's appearances
CN111801730B (zh) 2017-12-29 2024-08-23 暗物智能科技(广州)有限公司 用于人工智能驱动的自动伴侣的系统和方法
EP3732676A4 (en) 2017-12-29 2021-09-22 DMAI, Inc. SYSTEM AND METHOD FOR INTELLIGENT INITIATION OF A HUMAN-MACHINE DIALOGUE BASED ON MULTIMODAL SENSORY INPUTS
SG11202004014QA (en) 2017-12-30 2020-05-28 Kaha Pte Ltd Method and system for monitoring emotions
US20180204107A1 (en) 2018-03-14 2018-07-19 Christopher Allen Tucker Cognitive-emotional conversational interaction system
US11715564B2 (en) 2018-05-01 2023-08-01 Neumora Therapeutics, Inc. Machine learning-based diagnostic classifier
WO2019246239A1 (en) 2018-06-19 2019-12-26 Ellipsis Health, Inc. Systems and methods for mental health assessment
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
US20200321082A1 (en) 2019-04-05 2020-10-08 Ellipsis Health, Inc. Confidence evaluation to measure trust in behavioral health survey results
US10902351B1 (en) * 2019-08-05 2021-01-26 Kpn Innovations, Llc Methods and systems for using artificial intelligence to analyze user activity data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052774A (ja) 1995-07-25 2007-03-01 Ortho-Clinical Diagnostics Inc コンピュータ援用疾病診断方法
JP2017532082A (ja) 2014-08-22 2017-11-02 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 患者の精神状態のスピーチベース評価のためのシステム
US20160179786A1 (en) 2014-12-19 2016-06-23 International Business Machines Corporation Diagnosing autism spectrum disorder using natural language processing
US20160188822A1 (en) 2014-12-30 2016-06-30 Cerner Innovation, Inc. Clinical decision support rule generation and modification system and methods

Also Published As

Publication number Publication date
JP2021529382A (ja) 2021-10-28
US20210110894A1 (en) 2021-04-15
US20210110895A1 (en) 2021-04-15
EP3811245A1 (en) 2021-04-28
US11120895B2 (en) 2021-09-14
EP3811245A4 (en) 2022-03-09
WO2019246239A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
JP7608171B2 (ja) 精神的健康評価のためのシステム及び方法
US12230369B2 (en) Systems and methods for mental health assessment
US20220328064A1 (en) Acoustic and natural language processing models for speech-based screening and monitoring of behavioral health conditions
US11545173B2 (en) Automatic speech-based longitudinal emotion and mood recognition for mental health treatment
US11881221B2 (en) Health monitoring system and appliance
US12383179B2 (en) Data processing system for detecting health risks and causing treatment responsive to the detection
US10515631B2 (en) System and method for assessing the cognitive style of a person
US20240404514A1 (en) Dialogue system and a dialogue method
US20240087752A1 (en) Systems and methods for multi-language adaptive mental health risk assessment from spoken and written language
US20210110924A1 (en) System and method for monitoring system compliance with measures to improve system health
Rai et al. Multimodal mental state analysis
CN117412702A (zh) 利用人工智能进行心理治疗的系统和方法
WO2024246535A1 (en) A dialogue system and a dialogue method
WO2020206178A1 (en) Dialogue timing control in health screening dialogues for improved modeling of responsive speech
US20250226066A1 (en) Systems and methods for mental health assessment
KR20230047104A (ko) 사회적 의사 소통 장애 치료를 위한 디지털 장치 및 애플리케이션
US20240355470A1 (en) System for condition tracking and management and a method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240704

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241218

R150 Certificate of patent or registration of utility model

Ref document number: 7608171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150