[go: up one dir, main page]

RU2018142364A - SYSTEM FOR COMMUNICATION OF USERS WITHOUT USING MUSCULAR MOVEMENTS AND SPEECH - Google Patents

SYSTEM FOR COMMUNICATION OF USERS WITHOUT USING MUSCULAR MOVEMENTS AND SPEECH Download PDF

Info

Publication number
RU2018142364A
RU2018142364A RU2018142364A RU2018142364A RU2018142364A RU 2018142364 A RU2018142364 A RU 2018142364A RU 2018142364 A RU2018142364 A RU 2018142364A RU 2018142364 A RU2018142364 A RU 2018142364A RU 2018142364 A RU2018142364 A RU 2018142364A
Authority
RU
Russia
Prior art keywords
stimuli
stimulus
parameters
user
display
Prior art date
Application number
RU2018142364A
Other languages
Russian (ru)
Other versions
RU2018142364A3 (en
RU2725782C2 (en
Inventor
Наталия Валентиновна Галкина
Александр Ольгердович Лужин
Илья Петрович Ганин
Александр Яковлевич Каплан
Original Assignee
Общество С Ограниченной Ответственностью "Нейрочат"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Нейрочат" filed Critical Общество С Ограниченной Ответственностью "Нейрочат"
Priority to PCT/RU2018/000774 priority Critical patent/WO2020111962A1/en
Priority to RU2018142364A priority patent/RU2725782C2/en
Publication of RU2018142364A3 publication Critical patent/RU2018142364A3/ru
Publication of RU2018142364A publication Critical patent/RU2018142364A/en
Application granted granted Critical
Publication of RU2725782C2 publication Critical patent/RU2725782C2/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Claims (17)

1. Система для коммуникации пользователей без использования речи и движения, содержащая средство регистрации электроэнцефалограммы пользователя, информационные выходы которой соединены с блоком обработки данных, видеовыход которого соединен с дисплеем, а сетевой интерфейс предназначен для соединения с удаленным сервером, предназначенным для формирования социальной сети, выполненной с возможностью общения нескольких пользователей в режиме реального времени, при этом средство регистрации электроэнцефалограммы выполнено с возможностью регистрации электроэнцефалограммы путем определения активности головного мозга по результатам измерения электрических потенциалов на поверхности кожи головы пользователя в режиме реального времени, выделения из электроэнцефалограммы параметров по крайней мере одной компоненты вызванных потенциалов (ВП) с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров по крайней мере одной компоненты вызванных потенциалов в цифровом виде, блок обработки данных выполнен формирующим на экране дисплея изменяющиеся световые стимулы, имеющие различные параметры изменения во времени такие, что при удержании внимания пользователя на различных стимулах по крайней мере одна компонента вызванных потенциалов имеет различные параметры, при этом каждому из стимулов приведено в соответствие заранее заданное действие, блок обработки данных выполнен определяющим, в режиме реального времени, стимулы, непосредственно выбранные пользователем, и выполняющим действия, соответствующие выбранным пользователем стимулам посредством отслеживания выбора объектов из множества объектов, при этом выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам по крайней мере одной компоненты вызванных потенциалов, возникающих в процессе формирования стимулов на экране устройства, при этом экран устройства выполнен с возможностью отображения результатов выполнения действий, по результатам предъявления стимулов нескольким пользователям на нескольких экранах, выделение параметров по крайней мере одной компоненты вызванных потенциалов из электроэнцефалограммы производится блоком обработки данных, а передача сведений о действиях по результатам предъявления стимулов между блоками обработки данных различных пользователей осуществляется посредством удаленного сервера.1. A system for communication of users without the use of speech and movement, comprising means for recording an electroencephalogram of a user, the information outputs of which are connected to a data processing unit, the video output of which is connected to the display, and the network interface is designed to connect to a remote server designed to form a social network made with the ability to communicate with multiple users in real time, while the EEG recording tool is configured to record the EEG by determining the activity of the brain by measuring the electrical potentials on the surface of the user's scalp in real time, extracting from the EEG parameters of at least one component caused by potentials (VP) with predetermined basic characteristics and the formation of the output signal in the form of a description of the parameters of at least one component caused by the potential In digital form, the data processing unit is configured to produce varying light stimuli on the display screen having different parameters of change over time such that, while maintaining user attention on different stimuli, at least one component of the evoked potentials has different parameters, with each of the stimuli given In accordance with a predetermined action, the data processing unit is responsible for determining, in real time, the stimuli directly selected by the user and performing actions corresponding to the selected stimuli by the user by tracking the selection of objects from many objects, while the selected stimuli are the stimuli and reaction parameters in the answer to which maximally matches the parameters of at least one component of the evoked potentials that arise during the formation of stimuli on the device screen, while the device screen is configured to display the results of actions According to the results of presenting incentives to several users on several screens, the parameters of at least one component of the evoked potentials are extracted from the electroencephalogram by the data processing unit, and information about actions based on the results of presenting incentives between the data processing units of different users is transmitted via a remote server. 2. Система по п. 1, отличающаяся тем, что выделение параметров по крайней мере одной компоненты вызванных потенциалов из электроэнцефалограммы производится блоком обработки данных с использованием машинного обучения, учитывающего характер ограниченных двигательных и речевых функций пользователя.2. The system according to claim 1, characterized in that the separation of the parameters of at least one component of the evoked potentials from the electroencephalogram is performed by a data processing unit using machine learning that takes into account the nature of the user's limited motor and speech functions. 3. Система по п. 1, отличающаяся тем, что машинное обучение производится для каждого пользователя отдельно.3. The system according to p. 1, characterized in that machine learning is performed for each user separately. 4. Система по п. 1, отличающаяся тем, что средство регистрации электроэнцефалограммы выполнено содержащим электроды, предназначенные для соединения с кожей головы пользователя, установленные в средстве крепления с возможностью перемещения.4. The system according to p. 1, characterized in that the means of recording the electroencephalogram is made containing electrodes designed to connect with the skin of the user's head, installed in the mount with the ability to move. 5. Система по п. 4, отличающаяся тем, что средство крепления выполнено с возможностью установки и снятия электродов.5. The system according to p. 4, characterized in that the fastening means is configured to install and remove electrodes. 6. Система по п. 1, отличающаяся тем, что компонентом вызванного потенциала с заранее заданными характеристиками является волна Р300.6. The system according to claim 1, characterized in that the P300 wave is a component of the evoked potential with predetermined characteristics. 7. Система по п. 1, отличающаяся тем, что она содержит блок задания параметров стимулов.7. The system according to claim 1, characterized in that it contains a block for setting stimulus parameters. 8. Система по п. 7, отличающаяся тем, что одним из параметров стимула является момент времени начала отображения стимула.8. The system according to p. 7, characterized in that one of the parameters of the stimulus is the point in time the stimulus is displayed. 9. Система по п. 8, отличающаяся тем, что по крайней мере одним из других параметров стимула является момент гашения стимула, скорость перемещения стимула по дисплею, яркость свечения стимула, частота мерцания стимула, геометрические размеры стимула, очертания стимула, информация, изображенная на стимуле.9. The system according to p. 8, characterized in that at least one of the other parameters of the stimulus is the moment of quenching of the stimulus, the speed of movement of the stimulus on the display, the brightness of the stimulus, the frequency of the flicker of the stimulus, the geometric dimensions of the stimulus, the outline of the stimulus, the information shown in stimulus. 10. Система по п. 9, отличающаяся тем, что геометрические размеры стимула задаются в соответствии с угловыми размерами расположенного на дисплее стимула, определенными относительно положения пациента, и эти размеры подстраиваются индивидуально для каждого пользователя, чтобы обеспечить наилучшее визуальное различение им стимула для наиболее эффективного детектирования вызываемой стимулом реакции ВП.10. The system according to p. 9, characterized in that the geometric dimensions of the stimulus are set in accordance with the angular dimensions of the displayed stimulus, determined relative to the position of the patient, and these sizes are adjusted individually for each user to provide the best visual distinction between them for the most effective detection of stimulus-induced VP reactions. 11. Система по п. 8, отличающаяся тем, что моменты времени начала отображения стимулов задаются различными настройками с обеспечением цикличного отображения стимулов на экране.11. The system according to p. 8, characterized in that the time moments of the beginning of the display of stimuli are set by various settings, providing a cyclic display of stimuli on the screen. 12. Система по п. 11, отличающаяся тем, что частота циклов отображения стимулов выбирается такой, что минимизируются потенциальные негативные последствия для пользователя от наблюдения за стимулами на экране дисплея посредством исключения частот, вызывающих предэпилептическое состояние, при выборе частоты циклов.12. The system according to p. 11, characterized in that the frequency of the stimulus display cycles is selected so that potential negative consequences for the user from observing the stimuli on the display screen are minimized by excluding frequencies that cause the pre-epileptic state when choosing the cycle frequency. 13. Система по п. 10, отличающаяся тем, что размеры стимулов обеспечивают различимость стимулов на экране и информации, относящейся к стимулам.13. The system according to p. 10, characterized in that the sizes of the stimuli provide a distinguishability of the stimuli on the screen and the information related to the stimuli. 14. Система по п. 1, отличающаяся тем, что она выполнена с отображением на одном дисплее модуля набора сообщений с виртуальной клавиатурой, модуля отображения набираемых сообщений и модуля отображения переписки.14. The system according to claim 1, characterized in that it is configured to display a message set module with a virtual keyboard, a typed message display module, and a correspondence display module on one display. 15. Система по п. 14, отличающаяся тем, что модуль отображения переписки выполнен отображающим историю переписки по крайней мере с одним другим пользователем.15. The system of claim 14, wherein the correspondence display module is configured to display the history of correspondence with at least one other user. 16. Система по п. 15, отличающаяся тем, что модуль отображения переписки отображает сообщения, сформированные другим пользователем в реальном времени.16. The system of claim 15, wherein the correspondence display module displays messages generated by another user in real time. 17. Система по любому из предыдущих пунктов, отличающаяся тем, что средство регистрации электроэнцефалограммы выполнено с возможностью выделения блоком обработки данных из электроэнцефалограммы параметров более одной компоненты вызванных потенциалов с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров компонент вызванных потенциалов в цифровом виде, а выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам компонентов ВП, возникающих в процессе формирования стимулов на экране устройства.17. The system according to any one of the preceding paragraphs, characterized in that the electroencephalogram recording means is configured to extract from the electroencephalogram parameters of more than one component of the evoked potentials with predetermined basic characteristics and generate an output signal in the form of a description of the parameters of the components of the evoked potentials in digital form , and the stimuli selected by the user are considered to be stimuli, the response parameters to which correspond to the parameters of the EP components that arise during the formation of stimuli on the device’s screen.
RU2018142364A 2018-11-30 2018-11-30 System for communication of users without using muscular movements and speech RU2725782C2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/RU2018/000774 WO2020111962A1 (en) 2018-11-30 2018-11-30 System for communication between users without the use of muscular movements and speech
RU2018142364A RU2725782C2 (en) 2018-11-30 2018-11-30 System for communication of users without using muscular movements and speech

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018142364A RU2725782C2 (en) 2018-11-30 2018-11-30 System for communication of users without using muscular movements and speech

Publications (3)

Publication Number Publication Date
RU2018142364A3 RU2018142364A3 (en) 2020-06-01
RU2018142364A true RU2018142364A (en) 2020-06-01
RU2725782C2 RU2725782C2 (en) 2020-07-06

Family

ID=70853068

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018142364A RU2725782C2 (en) 2018-11-30 2018-11-30 System for communication of users without using muscular movements and speech

Country Status (2)

Country Link
RU (1) RU2725782C2 (en)
WO (1) WO2020111962A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2742071C1 (en) * 2020-09-08 2021-02-02 Государственное бюджетное учреждение здравоохранения Московской области "Московский областной научно-исследовательский клинический институт им. М.Ф. Владимирского" (ГБУЗ МО МОНИКИ им. М.Ф. Владимирского) Method of rehabilitation of the patients suffering a stroke
RU2749408C1 (en) * 2020-10-23 2021-06-09 Федеральное Государственное Бюджетное Научное Учреждение "Федеральный Научно-Клинический Центр Реаниматологи и Реабилитологии" (ФНКЦ РР) Method for rehabilitation of cognitive functions in patients with focal brain lesions

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463328B1 (en) * 1996-02-02 2002-10-08 Michael Sasha John Adaptive brain stimulation method and system
RU2201130C2 (en) * 2001-03-22 2003-03-27 Нкб "Миус" Трту Human operator monitoring system
US7269456B2 (en) * 2002-05-30 2007-09-11 Collura Thomas F Repetitive visual stimulation to EEG neurofeedback protocols
US7610345B2 (en) * 2005-07-28 2009-10-27 Vaporstream Incorporated Reduced traceability electronic message system and method
GB0709405D0 (en) * 2007-05-16 2007-06-27 Univ Edinburgh Testing vision
TWI561216B (en) * 2012-08-25 2016-12-11 Univ Nat Chiao Tung Stimuli generating methods, devices and control systemsto induce visual evoked potentials using imperceptible flickering multi-color lights
US10009644B2 (en) * 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
US20180224936A1 (en) * 2017-02-08 2018-08-09 David M. Tumey Brain to brain communication system for social media

Also Published As

Publication number Publication date
RU2018142364A3 (en) 2020-06-01
RU2725782C2 (en) 2020-07-06
WO2020111962A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
Gradl et al. Visualization of heart activity in virtual reality: A biofeedback application using wearable sensors
Pasqualotto et al. Toward functioning and usable brain–computer interfaces (BCIs): A literature review
Pfurtscheller et al. 15 years of BCI research at Graz University of Technology: current projects
Bin et al. VEP-based brain-computer interfaces: time, frequency, and code modulations [Research Frontier]
Donner et al. Population activity in the human dorsal pathway predicts the accuracy of visual motion detection
US10342472B2 (en) Systems and methods for assessing and improving sustained attention
EP3268883B1 (en) Method of and system for processing signals sensed from a user
JP2019513516A (en) Methods and systems for acquiring, aggregating and analyzing visual data to assess human visual performance
Wei et al. A novel c-VEP BCI paradigm for increasing the number of stimulus targets based on grouping modulation with different codes
CN100427031C (en) System and method for vision examination
CN101515199A (en) Character input device based on eye tracking and P300 electrical potential of the brain electricity
US20150164363A1 (en) Knowledge discovery based on brainwave response to external stimulation
CN103019382B (en) A kind of brain-machine interface method utilizing Evoked ptential to reflect brain subjective motivation signal
Caggiano et al. Encoding of point of view during action observation in the local field potentials of macaque area F5
Soylu et al. ERP differences in processing canonical and noncanonical finger-numeral configurations
Gembler et al. Exploring the possibilities and limitations of multitarget SSVEP-based BCI applications
Chen et al. A spatially-coded visual brain-computer interface for flexible visual spatial information decoding
CN114983442A (en) EEG signal induction method, analysis method, medium and equipment based on optical illusion
RU2018142364A (en) SYSTEM FOR COMMUNICATION OF USERS WITHOUT USING MUSCULAR MOVEMENTS AND SPEECH
CN117742495A (en) Mixed-paradigm brain-computer interface method and system based on SSVEP and IVEP, medium and terminal
Yudhana et al. Recognizing human emotion patterns by applying Fast Fourier Transform based on brainwave features
Grichnik et al. A VR-based hybrid BCI using SSVEP and gesture input
CN118356580B (en) Unilateral spatial neglect rehabilitation training method, device, equipment, and storage medium
TW591481B (en) Vision-driving control system and control method thereof
CN114138108A (en) Brain-computer interaction device, system and method