KR102584431B1 - 감각 대체 조정 장치 - Google Patents
감각 대체 조정 장치 Download PDFInfo
- Publication number
- KR102584431B1 KR102584431B1 KR1020200128249A KR20200128249A KR102584431B1 KR 102584431 B1 KR102584431 B1 KR 102584431B1 KR 1020200128249 A KR1020200128249 A KR 1020200128249A KR 20200128249 A KR20200128249 A KR 20200128249A KR 102584431 B1 KR102584431 B1 KR 102584431B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensory
- signal
- information
- sense
- alternative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001953 sensory effect Effects 0.000 title claims abstract description 258
- 238000006467 substitution reaction Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title description 27
- 230000004044 response Effects 0.000 claims abstract description 97
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 230000007613 environmental effect Effects 0.000 claims abstract description 30
- 230000008054 signal transmission Effects 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims description 37
- 210000004556 brain Anatomy 0.000 claims description 35
- 230000009257 reactivity Effects 0.000 claims description 34
- 230000007177 brain activity Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 23
- 230000004043 responsiveness Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 12
- 210000003926 auditory cortex Anatomy 0.000 claims description 11
- 210000000857 visual cortex Anatomy 0.000 claims description 11
- 210000000697 sensory organ Anatomy 0.000 claims description 9
- 230000035807 sensation Effects 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000002490 cerebral effect Effects 0.000 claims description 3
- 230000001936 parietal effect Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 230000002360 prefrontal effect Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000000537 electroencephalography Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000003925 brain function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002610 neuroimaging Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000002265 sensory receptor cell Anatomy 0.000 description 2
- 102000027509 sensory receptors Human genes 0.000 description 2
- 108091008691 sensory receptors Proteins 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 210000004092 somatosensory cortex Anatomy 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
- A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Vascular Medicine (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Artificial Intelligence (AREA)
- Otolaryngology (AREA)
- Acoustics & Sound (AREA)
- Ophthalmology & Optometry (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명은 감각 대체 조정 장치에 관한 것이다.
본 발명은 감각 대체 장치에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집하는 반응신호 수집부; 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집하는 환경정보 수집부, 수집된 상기 환경 정보를 기반으로 상기 감각 대체 장치에 의한 사용자의 감각 대체 효율을 분석하고, 상기 감각 대체 효율에 따라 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 감각대체효율 분석부; 및 및 분석된 감각 신호의 환경 정보별 감각 대체 효율에 따른 보정 신호를 상기 감각 대체 장치로 제공하는 조정신호 전달부를 포함한다.
본 발명은 감각 대체 장치에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집하는 반응신호 수집부; 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집하는 환경정보 수집부, 수집된 상기 환경 정보를 기반으로 상기 감각 대체 장치에 의한 사용자의 감각 대체 효율을 분석하고, 상기 감각 대체 효율에 따라 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 감각대체효율 분석부; 및 및 분석된 감각 신호의 환경 정보별 감각 대체 효율에 따른 보정 신호를 상기 감각 대체 장치로 제공하는 조정신호 전달부를 포함한다.
Description
본 발명은 둘 이상의 다중 감각 정보를 조합하여 또 다른 다중 감각 정보로 변환하는 감각 대체 장치에 관한 것으로, 더욱 상세하게는 사용자의 신체 감각 특성에 적합하도록 입력 받은 다중 감각 정보를 다수의 목표 감각 정보로 재조합 함으로써 다중 감각 정보를 효율적으로 전달하기 위한 감각 대체 조정 장치에 관한 것이다.
의학 기술의 발달에 기인하여 평균 수명이 증가하면서, 고령화에 따른 시각, 청각 등의 기능이 저하되거나 사고나 병인에 의하여 감각이 손상되어 장애를 겪는 인구가 증가하면서 이들의 손상된 감각 및 지각 능력을 향상시켜 지속적인 경제 활동과 삶의 질을 향상시킬 수 있는 기술적 대안으로 감각 대체 기술에 대한 관심이 증가하고 있다.
일반적으로 감각 대체는 기능이 손상되거나 저하된 감각의 정보를 다른 형태의 감각 신호로 전환하여 전달 또는 사용하는 것을 의미한다. 이러한 감각 대체 기술은 사람의 뇌가 새로운 환경에 적응하기 위하여 구조적, 기능적으로 변화하고 재조직되는 뇌 가소성(brain plasticity)에 기반하는 것으로 알려져 있다. 사람의 감각 능력이 저하되거나 상실하였을 때 두뇌 피질의 감각 정보들을 담당하는 영역들의 재배치가 일어난다. 이러한 발달 현상은 인체의 특정 감각이 기능을 상실하였을 때 다른 감각을 사용하여 기능을 대체하고 적응하는 것을 가능하게 해준다.
기존에 공표된 감각대체 장치 또는 방법은 사람의 감각 중 특정한 단일 감각 신호를 다른 감각 신호로 변환하여 전달하거나 일부 기술의 경우 단일 감각 신호를 전달하는 목적으로 복수의 감각기관들을 전달 경로로 사용하기도 한다.
그러나 대부분의 감각 대체 장치의 경우 신호를 변환하는 방법 또는 장치에 국한되어 있다. 일반적으로 감각 대체 신호를 제공받는 사용자의 경우, 감각 수용체인 감각기관에 따라 선호하는 감각이 다를 수 있으며, 제공되는 감각 대체 신호에 반응하는 정도가 다를 수 있다. 따라서 감각 대체 신호를 제공받는 사용자의 특성을 반영하지 않고 감각 대체 신호를 변환하는 경우 효율적인 정보의 전달이 어려운 문제점이 있다.
(특허문헌 1) US 8797386 B
(특허문헌 1) US 8797386 B
본 발명은 종래 문제점을 해결하기 위한 것으로, 감각 대체 장치로부터 감각을 대체하기 위한 대체 신호를 제공받는 사용자의 응답이나 반응을 기반으로 감각 대체 장치가 제공하는 대체 신호를 조정할 수 있는 감각 대체 조정 장치를 제공하고자 한다.
또한 본 발명은 감각 대체 장치를 활용한 감각 대체 과정에 있어서 사용자의 특성에 맞게 대체 신호를 조정하여 보다 효율적으로 사용자의 감각을 대체할 수 있도록 하는 감각 대체 조정 장치를 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 감각 대체 조정 장치는 감각 대체 장치에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집하는 반응신호 수집부; 상기 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집하는 환경정보 수집부; 수집된 상기 환경 정보를 기반으로 상기 감각 대체 장치에 의한 사용자의 감각 대체 효율을 분석하고, 상기 감각 대체 효율에 따라 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 감각대체효율 분석부; 및 및 분석된 상기 감각 신호의 환경 정보별 감각 대체 효율에 따른 보정 신호를 상기 감각 대체 장치로 제공하는 조정신호 전달부를 포함한다.
여기서, 상기 대체 신호는, 영상 신호, 음성 신호를 하나 이상 포함하는 것이고, 상기 환경 정보는 밝기 정보, 실내/외 위치 정보 및 밀폐 정보 중 하나이다.
상기 반응신호 수집부는, 뇌파 또는 뇌전도(EEG) 신호를 측정하는 뇌파 측정기, 지속된 감각 대체 신호의 학습으로 상기 대체 신호를 제공받았던 사용자의 뇌를 측정하여 변화된 뇌기능 및 뇌구조의 반응이나 활동을 뇌영상 정보로 수집하는 자기공명영상(MRI) 중 하나가 이용되는 것이 바람직하다.
그리고, 상기 반응신호 수집부는, 학습과 인지하는 정도에 따라 반응하는 반응 신호를 수집하는 것이 바람직하다.
상기 반응신호 수집부는 뇌에서 직접적인 데이터를 수집하는 침습적 방법을 이용할 수 있다.
상기 반응신호 수집부는 뇌 표면 또는 장비를 활용하는 비침습적 방법을 이용할 수 있다.
그리고 상기 감각대체 효율 분석부는, 상기 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치가 대체하는 대체 감각을 관할하는 뇌 영역의 반응 정도를 분석하여 반응도가 높을수록 감각 대체 효율은 높고, 반대로 반응도가 낮을수록 감각 대체 효율은 낮다고 판단하는 것이 바람직하다.
본 발명의 일 실시예에 따르면, 감각 대체 장치를 활용하여 적어도 하나의 감각을 하나 이상의 다른 감각으로 대체하는 사용자의 응답을 기반으로 사용자 특성에 맞게 감각 대체 장치가 제공하는 대체 신호를 조정함으로써 사용자의 감각을 보다 효율적으로 대체할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 감각 대체 조정 장치의 구성을 설명하기 위한 구성블록도.
도 2는 도 1의 감각 대체 조정 장치가 적용된 감각 대체 시스템의 전체 구성도.
도 3은 도 1의 감각 대체 조정 과정의 예시적인 개념도.
도 4은 도 1의 감각대체효율 분석부의 세부 구성을 설명하기 위한 구성블록도.
도 5는 본 발명의 일 실시예에 따른 감각 대체 조정에서 감각대체 효율을 분석하는 방법을 보여주기 위한 순서도.
도 6은 도 5에서 감각대체 장치로 조정신호를 전달하는 방법을 보여주기 위한 순서도이다.
도 2는 도 1의 감각 대체 조정 장치가 적용된 감각 대체 시스템의 전체 구성도.
도 3은 도 1의 감각 대체 조정 과정의 예시적인 개념도.
도 4은 도 1의 감각대체효율 분석부의 세부 구성을 설명하기 위한 구성블록도.
도 5는 본 발명의 일 실시예에 따른 감각 대체 조정에서 감각대체 효율을 분석하는 방법을 보여주기 위한 순서도.
도 6은 도 5에서 감각대체 장치로 조정신호를 전달하는 방법을 보여주기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명에 따른 감각 대체 조정 장치를 설명하기 위한 구성블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 감각 대체 조정 장치는 반응신호 수집부(110), 환경정보 수집부(120), 감각대체효율 분석부(130) 및 조정신호 전달부(140)를 포함한다.
반응신호 수집부(110)는 감각 대체 장치(200)에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집한다. 여기서, 대체 신호는 영상 신호, 음성 신호를 하나 이상 포함한다.
이러한 본 발명의 일 실시예에서의 반응신호 수집부(110)는 뇌파 또는 뇌전도(EEG) 신호를 측정하는 뇌파 측정기, 지속된 감각 대체 신호의 학습으로 상기 대체 신호를 제공받았던 사용자의 뇌를 측정하여 변화된 뇌기능 및 뇌구조의 반응이나 활동을 뇌영상 정보로 수집하는 자기공명영상(MRI)를 포함하는 감각 대체 장치(200)로부터 반응 신호를 수집한다.
예를 들어, 감각 대체 신호에 의한 사용자의 응답이나 반응을 수집하기 위하여 뇌파나 뇌전도 신호를 측정하는 뇌파 측정기가 이용될 수 있는데, 시각 정보의 반응을 측정하는 경우에는 후두 중심 채널(Oz)과 우측 가측 두정-후두엽(PO8)의 신호 변화를 활용하고, 청각 정보의 경우에는 우측 가측 두정-측두엽(TP8)과 우측 가측 전두엽(F8) 신호를 활용한다.
그리고, 뇌기능 및 뇌구조의 변화를 측정하기 위해서는 자기공명영상기가 이용될 수 있는데 측정된 대뇌 시각 피질(VC), 청각피질(AC) 및 시각과 촉각 정보를 위해서는 측면 후두 촉각-시각 영역(LOtv) 영역이 이용되고, 촉각과 온도를 위해서는 이차 체성감각(S1, S2) 영역의 반응 정도 등이 활용될 수 있다.
이때, 반응신호 수집부(110)는 학습과 인지하는 정도에 따라 반응하는 반응 신호를 수집하는 방법, 뇌에서 직접적인 데이터를 수집하는 침습적 방법 및 뇌 표면 또는 장비를 활용하는 비침습적 방법 모두를 포괄적으로 활용할 수 있다.
환경정보 수집부(120)는 상기 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집한다. 상기 환경 정보는 밝기 정보, 실내/외 위치 정보 및 밀폐 정보 중 하나를 포함한다. 즉, 환경정보 수집부(120)는 다중 감각의 정보가 사용자에게 전달될 때 감각 억제(sensory suppression) 현상이 발생할 수 있으며, 사용자의 행동(이동/정지 등)에 따라서 억제되는 감각이 달라질 수 있기 때문에 상기 감각 대체 신호를 전달받는 사용자의 주위 환경으로 밝기 정보(Eb)나 위치 정보(Ep) 또는 사용자의 행동 정보(Ea)에 대한 정보를 수집하여 활용할 수 있다.
감각대체효율 분석부(130)는 상기 대체 신호에 대한 사용자 반영 신호를 기반으로, 상기 수집된 환경 정보별 감각 대체 효율을 분석한다.
도 4는 본 발명의 일 실시예에 따른 감각대체효율 분석부(130)의 세부 구성을 설명하기 위한 구성블록도이다.
도 4에 도시된 바와 같이, 감각대체효율 분석부(130)는 반응신호 추출부(131), 반응도 산출부(132), 뇌 활동 데이터 추출부(133), 뇌 활성도 산출부(134), 학습부(135) 및 대체 감각 결정부(136)을 포함한다.
반응 신호 추출부(131)는 후두 중심 신호 추출부와 우측 가측 두정-후두엽 추출부로 이루어진 시각 정보 반응 신호 추출부를 통해 반응신호 수집부(110)의 뇌파 신호 수집부를 통해 제공되는 뇌파 신호(시각 정보 반응 신호)에 대한 반응 신호를 추출한다.
그리고, 반응 신호 추출부(131)는 우측 가측 두정-측두엽 신호 추출부와 우측 가측 두정-전두엽 추출부로 이루어진 청각 정보 반응 신호 추출부를 통해
청각 정보 반응 신호의 경우,
반응 신호를 추출하고, 촉각 정보 반응 신호의 경우, 대되 정수리 영역 신호 추출부를 포함하는 촉각 정보 반응 신호 추출부를 통해 반응 신호를 추출한다.
반응도 산출부(132)는 반응 신호 추출부(131)가 추출한 신호의 종류에 따라 각각의 시각 정보 반응 변화율 산출부, 청각 정보 반응 변화율 산출부 및 촉각 정보 반응 변화율 산출부를 기저 정보 저장부에 저장된 기저 정보를 기반으로 변화율을 산출한다. 즉, 반응도 산출부(132)는 개별 감각 신호에 따라 구분하여 반응 변화율을 산출하되, 각 감각 정보의 반응 변화율 산출에는 분석을 위한 주파수 변환부, 델타(delta)파와 쎄타(theta)파 추출부 및 개별 신호의 반응 변화율 산출부를 포함할 수 있다.
일 예로, 시각 정보에 대한 시각, 청각 및 촉각에 대한 반응도를 산출할 수 있도록, 감각 대체 장치(200)에 시각에 대한 자극이 이루어지더라도 반응 신호 추출부(131)를 통해 시각 정보 반응 신호, 청각 정보 반응 신호 및 촉각 정보 반응 신호를 각각 입력받고, 각각의 시각 정보 반응 변화율 산출부, 청각 정보 반응 변화율 산출부 및 촉각 정보 반응 변화율 산출부를 통해 각 신호의 주파수 변환을 수행한 후 델타파 및 ?矢맥? 추출하고, 이를 기저 정보와 비교를 통해 반응 변화율을 산출할 수 있다. 여기서 주파수 변환 방법은 푸리에 변환이나 고속 푸리에 변환을 이용할 수 있다.
여기서, 반응도의 높고 낮음의 기준으로는 기저 정보를 기준으로 반응 정도의 고저점(예, 2배 이상)과 임계점(예, 40%)을 설정하고, 고저점보다 높게 나타나면 반응도가 높음으로, 기저정보 보다 임계치 이상인 경우에는 반응의 연관성이 있음으로, 임계치 이하이면 반응도가 낮음으로 설정할 수 있다.
반응도 분석에는 뇌파 신호의 주파수분석, 사건유발전위(ERP: Event-related Potential) 또는 사건유발진동반응(ERSP: Event-related Spectral Perturbation) 등의 방법을 활용할 수 있다.
뇌 활동 데이터 추출부(133)는 응답 신호 수집부(110)의 뇌 활동 데이터 수집부를 통해 수집된 데이터로부터 시각 피질 영역 뇌 활동 데이터, 청각 피질 영역 뇌 활동 데이터 및 촉각 피질 영역 뇌 활동 데이터를 각각 추출한다.
뇌 활성도 산출부(134)는 상기 뇌 활동 데이터 추출부(133)에 의해 각각 추출된 시각 피질 영역 뇌 활동 데이터를 이용하여 시각 피질 활성도를 산출하는 시각 피질 활성도 산출부, 청각 피질 영역 뇌 활동 데이터를 이용하여 청각 피질 활성도를 산출하는 청각 피질 활성도 산출부 및 촉각 피질 영역 뇌 활동 데이터를 이용하여 촉각 피질 활성도를 산출하는 촉각 피질 활성도 산출부를 포함한다. 이러한 구성을 통해 뇌 활성도 산출부(134)는 각각의 시각 피질 활성도, 청각 피질 활성도 및 촉각 피질 활성도를 산출한다.
학습부(135)는 개별 감각에 대하여 학습을 진행함에 따라 사용자가 선호하는 감각 정보의 우선 순위와 반응도의 높고 낮음을 명시적으로 표현한다.
대체 감각 결정부(136)는 각각의 개별 대체 감각에 대해 상기 반응도(R)와 상기 활성도(A) 및 상기 환경 정보(E)를 이용하여 상기 감각 대체 효율(S=R+A+E)을 산출하고, 상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정한다.
여기서, 활성도는 반응도 산출부(132)를 통해 산출되고, 반응도는 뇌 활성도 산출부(135)를 통해 산출한다.
한편, 감각 대체 장치(200)에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고, 상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정할 수 있다.
이러한 기능을 제공하기 위하여 대체 감각 결정부(136)는 도 4의 구성 예시와 같이, 보강 피대체 감각 결정부, 우선 선호감각 결정부를 활용할 수 있으며, 이를 위하여 추가로 피대체 감각 정보량 분석부, 선호 감각 정보량 분석부 및 정보량 비교부를 활용한다.
먼저, 조정신호 전달부는 감각 별로 전달할 수 있는 정보량을 분석한다.
이어서, 피대체 감각 정보량 분석부는 감각 대체 효율 분석부의 결과 중 피대체 감각의 정보량을 분석하고, 선호 감각 정보량 분석부는 감각 대체 효율 분석부의 결과 중 우선 감각의 정보량을 분석한다.
이후, 정보량 비교부는 우선 선호 감각의 정보량이 피대체 감각의 정보량보다 큰지의 여부를 판단한다.
상기 판단 결과 우선 선호 감각의 정보량이 피대체 감각의 정보량보다 크면, 우선 선호감각 결정부는 감각 대체 장치(200)에 우선 선호 감각정보가 전달되도록 결정한다.
이에 반해, 상기 판단 결과 우선 선호 감각의 정보량이 피대체 감각의 정보량보다 작으면, 보강 피대체 감각 결정부는 차순위의 감각을 추가한다.
이어서, 정보량 비교부는 우선순위와 차순위 감각의 정보량의 합을 피대체 감각의 정보량과 비교한다.
상기 정보량과 비교 결과, 우선순위와 차순위 감각의 정보량의 합이 피대체 감각의 정보량보다 크면, 조정신호 전달부(140)는 감각 정보의 순서와 신호의 조합을 위한 구성 비율을 전달한다.
그에 반해 상기 정보량을 비교 결과 선호 감각들의 정보량을 모두 합한 경우에도 피대체 감각의 정보량보다 작으면, 조정신호 전달부(140)는 감각 대체 장치(200)에 생성하는 정보의 해상도나 전달 대상 정보의 수정 또는 재조정을 요청한다.
한편, 대체감각 비율 결정부는 상기 환경 정보 수집부에서 수집한 환경 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와 사용자 환경에 적합한 대체 감각 신호의 크기 및 대체 감각 신호들의 구성 비율을 결정하고 조정신호를 조정 신호 전달부로 전달한다.
그리고 조정신호 전달부(140)는 분석된 상기 감각 신호의 환경 정보별 감각 대체 효율에 따른 보정 신호를 상기 감각 대체 장치(200)로 제공한다. 즉, 조정신호 전달부(140)는 상기 분석된 사용자의 감각 대체 효율에 따라 상기 감각 대체 장치(200)로 상기 대체 신호를 조정하기 위한 조정 신호를 전달한다.
여기서, 조정 신호 전달부(140)를 통해 전달되는 조정 신호는 상기 감각 대체 효율부에서 분석한 선호 대체 감각에 관한 정보와 보강 피대체 감각에 관한 정보 및 상기 수집된 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계나 대체 신호들의 구성 비율을 조정하기 위한 신호를 포함할 수 있다.
이러한 본 발명의 일 실시예에 따르면, 감각 대체 장치를 활용하여 적어도 하나의 감각을 하나 이상의 다른 감각으로 대체하는 사용자의 응답을 기반으로 사용자 특성에 맞게 감각 대체 장치가 제공하는 대체 신호를 조정함으로써 사용자의 감각을 보다 효율적으로 대체할 수 있는 효과가 있다.
한편, 감각 대체 장치(200)는 시각, 청각, 촉각, 미각, 후각 정보를 포함하는 단일 또는 상기 감각 정보에서 적어도 둘 이상의 서로 다른 감각정보를 포함하는 다중 감각 정보를 적어도 하나의 다른 감각 정보로 대체하여 사용자에게 전달한다.
본 발명의 일 실시예에 따른 감각 대체 조정 장치는 감각 대체 장치(200)로부터 대체 신호를 제공받는 사용자의 응답이나 반응을 기반으로 개별 사용자에게 적합하고 학습 효율을 최적화할 수 있도록 상기 감각 대체 장치(200)가 제공하는 감각 대체 신호를 조정한다.
일반적으로 감각 대체 신호를 제공받는 사용자의 경우, 감각 수용체인 감각기관에 따라 개인별로 선호하는 감각이 다를 수 있으며, 제공되는 감각 대체 신호에 반응하는 정도가 다를 수 있다.
따라서 동일한 감각 대체 신호라도 전달받는 사용자에 따라 신호를 조정하여 전달하여야 한다.
한편, 동일한 감각 대체 신호라도 환경에 따라 사용자가 반응하는 정도는 현저하게 달라질 수 있다.
예를 들어, 영상 신호로 대체된 음성 정보의 경우 낮이나 밝은 실내에서 전달되는 경우와 밤 또는 어두운 실내에서 전달받는 경우, 사용자가 느끼는 반응이나 응답은 달라질 수 있다.
촉각으로 변화된 영상이나 음성 신호의 경우에도 사용자가 실내에서 있는 경우와 실외에 있는 경우에 따라 반응은 달라질 수 있다. 따라서 환경정보 수집부(120)는 상기 감각 대체 신호를 전달받는 사용자의 주위 환경에 대한 정보를 수집한다.
이후, 감각대체 조정 장치(100)의 감각 대체 효율 분석부(130)는 응답 신호 수집부(110)에서 수집된 응답 신호를 기반으로 상기 감각 대체 장치(200)에 의한 사용자의 감각 대체 효율을 분석한다.
여기서, 전달되는 대체 신호에 의하여 감각 정보가 효율적으로 대체되었는지 분석은 상기 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치(200)가 대체하는 대체 감각을 관할하는 뇌 영역의 반응 정도를 분석하여 반응도가 높을수록 감각 대체 효율은 높고, 반대로 반응도가 낮을수록 감각 대체 효율은 낮다고 판단할 수 있다.
예를 들어, 청각 정보로 변환된 시각 정보의 경우 대체 신호를 제공받는 사용자의 뇌 영역에서 전달되는 청각 정보에 대한 1차 반응으로 청각 피질(auditory cortex)의 반응과 함께 시각 정보에 대하여 지각하는 시각 피질(visual cortex)의 반응도를 분석함으로 청각 정보로 전달된 시각 정보의 전달을 확인할 수 있다.
또한 감각 대체 효율은 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치(200)에 의해 대체되는 피대체 감각을 관할하는 뇌 영역의 활성도를 확인하여 활성도가 높을수록 감각 대체 효율은 높다고 판단하고, 활성도가 낮을수록 감각 대체 효율이 낮다고 분석할 수 있다.
상기 반응도에서와 동일한 예를 들어 설명하면 청각 정보로 변환된 시각 정보의 경우 대체 신호를 제공받는 사용자의 시각 피질의 활성화 정도 및 위치에 따라 시각 정보가 대체되어 전달되는지 확인할 수 있다.
따라서 본 발명의 감각대체 조정 장치는 감각 대체 효율 분석부를 통해 대체 신호를 제공받는 사용자에 대하여 상기 반응도 및 상기 활성도 중 적어도 하나를 기반으로 사용자의 상기 감각 대체 효율을 산출하고, 현재 제공되는 대체 신호가 사용자에게 효율적인지 여부를 판별할 수 있다.
도 2는 본 발명의 일 실시예에 따른 감각 대체 조정 장치가 적용된 대체 조정 시스템을 설명하기 위한 개략도이고, 도 3은 도 1의 감각 대체 조정 과정의 예시적인 개념도이다.
도 2 및 도 3에 도시된 바와 같이, 활성도와 반응도를 활용하여 감각 대체 장치(200)가 다수의 서로 다른 대체 감각으로 사용자에게 상기 대체 신호를 제공하는 경우, 감각대체 조정 장치(100)가 각각의 개별 대체 감각에 대해 상기 반응도를 획득하여 상기 감각 대체 효율을 산출하고, 상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정할 수 있다.
또한 감각 대체 장치(200)에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고, 상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정할 수 있다.
아울러 감각대체 조정 장치(100)는 환경 정보 수집부(120)를 통해 수집한 환경 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와 신호의 크기 관계를 결정한다.
그리고 감각대체 조정 장치(100)의 조정 신호 전달부(140)를 통해 상기 분석된 사용자의 감각 대체 효율에 따라 상기 감각 대체 장치(200)로 상기 대체 신호를 조정하기 위한 조정 신호를 전달한다.
조정 신호 전달부(140)를 통해 전달되는 조정 신호는 상기 감각 대체 효율 분석부(130)에서 분석한 선호 대체 감각에 관한 정보와 보강 피대체 감각에 관한 정보 및 상기 수집된 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계를 조정하기 위한 조정 신호를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 감각 대체 조정에서 감각대체 효율을 분석하는 방법을 보여주기 위한 순서도이다.
이하, 하기에서는 본 발명의 일 실시예에 따른 감각 대체 조정 방법에 대하여 도 5를 참조하여 설명하기로 한다.
먼저, 감각 대체 효율 분석부는 대체 감각 신호가 시작되는 동기시점을 감지한다(S510). 상기 동기시점을 감지하는 단계(S510)는 시각 대체 신호가 전송될 때, 신호동기부가 전송 시점을 파악하여 뇌 영역의 신호 분석의 시작점으로 동기화 할 수 있도록 해줄 수 잇다.
이어서, 동기 시점에서 시작하여 대뇌 감각 신호의 변화를 측정한다(S520).
이후, 전달되는 신호가 기저신호인지 여부를 판단한다(S530).
상기 기저신호인지를 판단하는 단계(S530)에서 전달되는 신호가 기저신호이면(YES), 감각 정보를 기저 감각정보로 저장한다(S540). 여기서, 한편, 대체 신호의 전송과 함께 수집되는 뇌파 신호는 필요한 전처리 및 샘플링 과정을 거치면서 분석에 필요한 신호의 형태로 변환된다.
그에 반해 상기 기저신호인지를 판단하는 단계(S530)에서 전달되는 신호가 기저신호가 나이면(NO), 신호에 대하여 감각 기관들의 반응도를 분석하고, 기저 감각정보가 저장된 감각 정보에 대한 감각 반응도를 분석한다(S550). 여기서, 상기 신호에 대하여 감각 기관들의 반응도를 분석하는 단계(S550)는 전달되는 감각 대체 신호에 대한 효율은 개별 감각의 변화를 측정한 결과로 나타나는 반응 정도로 기록된다.
이를 위하여 반응신호 추출부는 개별 감각 정보에 대한 반응신호를 추출한다. 시각 정보의 반응도(Rv)는 수집되는 뇌파의 후두 중심 채널(Oz)과 우측 가측 두정-후두엽(PO8)의 신호들의 변화율을 사용하고, 청각 정보의 반응도(Ra)는 우측 가측 두정-측두엽(TP8)과 우측 가측 전두엽(F8) 신호의 변화를 활용할 수 있다.
동일하게 시각 대체 정보의 촉각 변환은 상기한 시각 정보의 반응도(Rv)와 함께 촉각 정보의 반응도(Rt)를 대뇌 정수리 영역의 신호의 변화를 이용하여 반응 정보를 수집할 수 있다.
그리고, 반응도 산출부(132)는 개별 감각에 대한 대체 신호들의 변화율의 측정을 위하여 먼저 대체하려는 신호에 의미가 없는 일반 정보를 전송하고 해당하는 뇌파 신호들의 측정값(Rv, Ra, Rt)들을 기저정보로 활용하기 위하여 기저정보저장부에 저장한다.
다음 단계로, 목표로 하는 대체 신호를 전송하면서 개별 시각, 청각, 촉각 정보의 반응도(Rv, Ra, Rt)를 분석하여 기저정보부에 저장된 개별 감각의 반응도와 비교하여 차이가 클수록 반응도가 크다고 판단한다.
감각 신호의 반응도 분석은 뇌파 신호 중 진폭의 변화가 상대적으로 쉬운 델타(delta)파와 쎄타(theta)파를 이용하여 동기화 신호에서 일정시간 지난 시점에서 동기화되어 반응하는 정도를 분석하고, 반응 정도는 기저 정보를 기준으로 동기시점을 기준으로 동기화되어 반응하는 강도(변화율)를 사용한다.
따라서 반응도 산출부(132)는 개별 감각 신호에 따라 구분하여 반응 변화율을 산출하며, 각 감각 정보의 반응 변화율 산출에는 분석을 위한 주파수 변환부, 델타(delta)파와 쎄타(theta)파 추출부 및 개별 신호의 반응 변화율 산출부를 포함할 수 있다. 여기서, 반응도의 높고 낮음의 기준으로는 기저 정보를 기준으로 반응 정도의 고저점(예, 2배 이상)과 임계점(예, 40%)을 설정하고 고저점보다 높게 나타나면 반응도가 높음으로, 기저정보 보다 임계치 이상인 경우에는 반응의 연관성이 있음으로, 임계치 이하이면 반응도가 낮음으로 설정할 수 있다.
반응도 분석에는 뇌파 신호의 주파수분석, 사건유발전위(ERP: Event-related Potential) 또는 사건유발진동반응(ERSP: Event-related Spectral Perturbation) 등의 방법을 활용할 수 있다
이후, 사용자의 반응도와 뇌 활성도 및 환경 정보를 이용하여 감각 대체 효율을 산출한다(S560). 여기서, 감각 대체 효율은 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치(200)에 의해 대체되는 피대체 감각을 관할하는 뇌 영역의 활성도를 확인하여 활성도가 높을수록 감각 대체 효율은 높다고 판단하고, 활성도가 낮을수록 감각 대체 효율이 낮다고 분석할 수 있다.
이를 위하여 뇌활동 데이터 추출부와 뇌 활성도 산출부를 활용한다. 상기 반응도 에서와 동일한 예를 들어 설명하면 청각 정보로 변환된 시각 정보의 경우 대체 신호를 제공받는 사용자의 시각 피질의 활성화 정도(Av) 및 위치에 따라 시각 정보가 대체되어 전달되는지 확인할 수 있다. 마찬가지로 청각피질의 활성화 정도(Aa), 촉각에 관련하는 체성 감각 피질의 활성화 정도(At)를 확인함으로써 대체 정보가 개별 피대체 정보로 변환되어 활성화되는 효율을 파악할 수 있다. 뇌 영역의 기능 변화에 따른 활성도 정보는 자기공명영상(MRI) 등의 뇌영상 정보를 활용할 수 있다.
따라서 감각 대체 효율부는 대체 신호를 제공받는 사용자에 대하여 개별 감각 기관에 대한 상기 반응도(R)와 상기 활성도(A) 및 상기 환경 정보(E)들을 기반으로 사용자의 상기 감각 대체 효율을 산출하여 현재 제공되는 대체 신호가 사용자에게 효율적인지 여부를 판별할 수 있다.
이후, 사용자의 반응도와 뇌 활성도 및 환경 정보를 이용하여 감각 대체 효율을 산출한다(S560). 즉, 마지막으로 분석된 감각 반응도를 기준으로 현재 전송되는 대체 감각 신호에 대하여 사용자가 선호하는 감각의 순서를 선정한다. 상기 예시한 방법으로 감각 대체 효율 분석부는 개별 감각에 대하여 학습이 진행함에 따라 사용자가 선호하는 감각 정보의 우선 순위와 반응도의 높고 낮음을 명시적으로 표현할 수 있다.
이어서, 선호 감각의 우선 순위를 결정한다(S570).
따라서, 본 발명의 일 실시예에 따르면, 도 4과 도 5에서와 같이 이러한 활성도와 반응도를 활용하여 감각 대체 장치(200)가 다수의 서로 다른 대체 감각으로 사용자에게 상기 대체 신호를 제공하는 경우, 대체 감각 결정부는 각각의 개별 대체 감각에 대해 상기 반응도(R)와 상기 활성도(A) 및 상기 환경 정보(E)를 이용하여 상기 감각 대체 효율(S=R+A+E)을 산출하고, 상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정할 수 있다.
또한 감각 대체 장치(200)에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고, 상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정할 수 있다.
이러한 기능을 제공하기 위하여 대체 감각 결정부는 도 4의 구성 예시와 같이 보강 피대체 감각 결정부, 우선 선호감각 결정부를 활용할 수 있으며, 이를 위하여 추가로 피대체 감각 정보량 분석부, 선호 감각 정보량 분석부 및 정보량 비교부를 활용한다.
대체감각 비율 결정부는 상기 환경 정보 수집부에서 수집한 환경 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와 사용자 환경에 적합한 대체 감각 신호의 크기 및 대체 감각 신호들의 구성 비율을 결정하고 조정신호를 조정 신호 전달부로 전달한다.
조정 신호 전달부는 상기 분석된 사용자의 감각 대체 효율에 따라 상기 감각 대체 장치(200)로 상기 대체 신호를 조정하기 위한 조정 신호를 전달한다. 조정 신호 전달부를 통해 전달되는 조정 신호는 상기 감각 대체 효율부에서 분석한 선호 대체 감각에 관한 정보와 보강 피대체 감각에 관한 정보 및 상기 수집된 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계나 대체 신호들의 구성 비율을 조정하기 위한 신호를 포함할 수 있다.
도 6은 도 5에서 감각대체 장치로 조정신호를 전달하는 방법을 보여주기 위한 순서도이다.
이하, 하기에서는 감각대체 장치로 조정신호를 전달하는 방법에 대하여 도 6를 참조하여 설명하기로 한다.
먼저, 조정신호 전달부는 감각 별로 전달할 수 있는 정보량 즉, 감각 대체 효율 분석부의 결과 중 제1대체 감각인 우선 감각의 정보량과 피대체 감각의 제2 정보량을 분석한다(S610).
이어서, 우선 선호 감각의 제1정보량이 피대체 감각의 제2 정보량보다 큰지의 여부를 판단한다(S620).
상기 판단 단계(S620)에서 우선 선호 감각의 제1정보량이 피대체 감각의 제2정보량 보다 크면(YES), 우선 선호 감각정보를 전달한다(S630).
상기 판단 단계(S630)에서 우선 선호 감각의 제1 정보량이 피대체 감각의 제2 정보량보다 작으면(NO), 차순위의 감각을 추가한다(S640).
이어서, 우선 선호 감각의 제1 정보량과 차순위 감각의 제3 정보량의 합을 피대체 감각의 제2 정보량과 비교한다(S650).
상기 정보량과 비교하는 단계(S650)에서 우선 선호 감각의 제1 정보량과 차순위 감각의 제3 정보량의 합이 피대체 감각의 제2 정보량보다 크면(YES), 감각 정보의 순서와 신호의 조합을 위한 구성 비율을 전달한다(S660).
그에 반해 상기 정보량을 비교하는 단계(S650)에서 선호 감각들의 정보량을 모두 합한 경우에도 피대체 감각의 제2 정보량보다 작으면(NO), 모든 선호 감각들의 정보량들을 합하여 피대체 감각의 제2 정보량과 비교하였는지를 판단한다(S670).
상기 정보량을 비교하는 단계(S670)에서 모든 선호 감각들의 정보량들의 합을 피대체 감각의 제2 정보량과 비교하면(YES), 감각 대체 장치(200)에 생성하는 정보의 해상도나 전달 대상 정보의 수정 또는 재조정을 요청한다(S680).
상기 정보량을 비교하는 단계(S670)에서 모든 선호 감각들의 정보량들의 합을 피대체 감각의 제2 정보량과 비교하지 않으면(NO, 차순위 대체 감각을 추가한다(S640).
도 6의 실시 예에 따르는 조정 신호를 전달하는 방법을 보다 구체적으로 설명하면 다음과 같다.
감각 대체 효율 분석부를 통해 선호 감각의 순서가 결정되면, 먼저 각 감각을 통해서 전달할 수 있는 정보량(대역폭)을 분석이 필요하다.
일반적으로 각 감각 기관을 통해 전달할 수 있는 정보량의 한계는 사전에 파악할 수 있으며, 개별 감각에 대한 최대 정보량은 사전에 저장해서 활용할 수 있다.
상기 정보량과 비교하는 단계(S660)에서 1순위 선호 감각의 정보량이 피대체 감각의 정보량보다 크다면 조정 신호는 1순위 감각 정보만 전달한다.
만일, 1순위 선호 감각의 정보량이 피대체 감각의 정보량보다 작은 경우에는 현재 전달되는 피대체 감각 정보가 사용자에게 효율적으로 전달되지 않으므로 정보의 전달을 위한 대역폭 확보를 위하여 2순위 선호 감각 정보를 추가하여 정보를 전달하여야 한다.
만약, 1, 2순위 선호 감각 정보량의 합이 피대체 감각 정보량보다 크다면, 복수의 감각 정보 순서와 감각별 정보량을 활용하여 이들 감각 정보로 전달할 신호의 구성 비율을 계산하고, 그 신호의 구성 비율을 포함하는 조정 신호로 출력한다.
한편, 1, 2순위 감각 정보를 활용하여도 피대체 감각의 정보량보다 작은 경우에는 전체 n개의 선호 감각 정보들까지 추가하는 과정을 진행하면서, 피대체 감각의 정보량보다 많은 감각의 조합을 검색한다.
이러한 과정을 거쳐도 전체 선호 감각들의 정보량이 피대체 감각의 정보량보다 작은 경우 조정 신호 전달부는 감각 대체 장치(200)로 전달 정보의 변경을 요청하여 생성하는 정보의 해상도나 대상 정보를 변경하거나 조정하도록 전달 정보에 대한 변경 요청을 감각 대체 장치(200)로 전송한다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
Claims (20)
- 감각 대체 장치에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집하는 반응신호 수집부;
상기 감각 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집하는 환경정보 수집부,
수집된 상기 사용자의 주위 환경 정보를 기반으로 상기 감각 대체 장치에 의한 사용자의 감각 대체 효율을 분석하고, 상기 감각 대체 효율에 따라 상기 사용자에게 제공되는 상기 감각 대체 신호의 상대적인 크기 관계 및 구성 비율 중 적어도 어느 하나를 조정하기 위해, 상기 감각 대체 신호를 조정하기 위한 조정 신호를 생성하는 감각대체효율 분석부; 및
상기 조정 신호를 상기 감각 대체 장치로 제공하는 조정신호 전달부를 포함하는 감각 대체 조정 장치.
- 제 1항에 있어서,
상기 반응신호 수집부는,
상기 감각 대체 신호를 제공받은 사용자의 뇌로부터 얻은 신호를 상기 반응 신호로 수집하는 감각 대체 조정 장치.
- 제 1항에 있어서,
상기 반응신호 수집부는,
상기 감각 대체 신호를 제공받고 있는 사용자의 뇌로부터 뇌파 신호를 수집하는 뇌파 신호 수집부를 포함하는 감각 대체 조정 장치.
- 제 1항에 있어서,
상기 반응신호 수집부는,
상기 감각 대체 신호를 제공받았던 사용자의 뇌를 측정하여 얻은 뇌 활동 데이터를 수집하는 뇌 활동 데이터 수집부를 포함하는 감각 대체 조정 장치.
- 제 1항에 있어서,
상기 감각 대체 효율 분석부는:
상기 감각 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치가 대체하는 대체 감각을 관할하는 뇌 영역의 반응도; 및
상기 감각 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치에 의해 대체되는 피대체 감각을 관할하는 뇌 영역의 활성도;
중 적어도 하나를 상기 반응 신호로 획득하고,
상기 반응도 및 상기 활성도 중 적어도 하나를 기반으로 상기 감각 대체 효율을 산출하는 감각 대체 조정 장치.
- 제 5항에 있어서,
상기 반응도가 높을수록 상기 감각 대체 효율은 높고, 상기 반응도가 낮을수록 상기 감각 대체 효율은 낮고,
상기 활성도가 높을수록 상기 감각 대체 효율은 높고, 상기 활성도가 낮을수록 상기 감각 대체 효율은 낮은 감각 대체 조정 장치.
- 제 6항에 있어서,
상기 감각 대체 효율 분석부는,
상기 감각 대체 장치가 다수의 서로 다른 대체 감각으로 사용자에게 상기 감각 대체 신호를 제공하는 경우, 각각의 개별 대체 감각에 대해 상기 반응도를 획득하여 상기 감각 대체 효율을 산출하고,
상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 상대적으로 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정하고,
상기 조정 신호 전달부는:
상기 선호 대체 감각에 관한 정보를 상기 감각 대체 장치로 전달하는 감각 대체 조정 장치.
- 제 7항에 있어서,
상기 감각 대체 효율 분석부는,
상기 감각 대체 장치에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고,
상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 상대적으로 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정하고,
상기 조정신호 전달부는:
상기 보강 피대체 감각에 관한 정보를 상기 감각 대체 장치로 전달하는 감각 대체 조정 장치.
- 제 8항에 있어서,
상기 감각 대체 효율 분석부는,
상기 감각 대체 장치가 다수의 서로 다른 대체 감각으로 사용자에게 상기 감각 대체 신호를 제공하는 경우, 상기 환경 정보 수집부에서 수집한 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와, 상기 다수의 대체 신호의 크기 및 상기 다수의 대체 신호의 구성 비율을 결정하고,
상기 다수의 대체 신호 간의 상대적인 우선 순위, 상기 다수의 대체 신호의 크기 관계 및 구성 비율에 따라 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계 및 구성 비율을 조정하기 위한 상기 조정 신호를 생성하여 상기 조정신호 전달부를 통해 상기 감각 대체 장치로 해당 조정 신호를 전달하는 감각 대체 조정 장치.
- 제 9항에 있어서,
상기 감각 대체 효율 분석부는
상기 반응 신호 및 상기 환경 정보를 기반으로 다수의 대체 감각 및 피대체 감각 별로 사용자에 전달되는 정보량을 분석하는 정보량 분석부;
상기 우선 순위에 따라 상기 다수의 대체 감각 중 우선 선호 감각을 결정하는 우선 선호 감각 결정부;
상기 우선 선호 감각에 대해 분석된 정보량과 상기 피대체 감각에 대해 분석된 정보량을 비교하고, 상기 우선 선호 감각에 대한 정보량이 상기 피대체 감각에 대한 정보량 보다 작은 경우 상기 우선 선호 감각 보다 우선 순위가 낮은 차순위의 대체 감각에 대해 분석된 정보량을 상기 우선 선호 감각에 대한 정보량에 합한 값을 상기 피대체 감각에 대한 정보량과 비교하는 정보량 비교부; 및
상기 정보량 비교부의 비교 결과에 따라 상기 우선 선호 감각에 관한 대체 신호와 상기 차순위의 대체 감각에 관한 대체 신호의 크기 및 비율을 결정하는 대체 감각 비율 결정부를 포함하는 감각 대체 조정 장치.
- 제 10항에 있어서,
상기 대체 감각 비율 결정부는:
상기 우선 선호 감각에 관한 정보량이 상기 피대체 감각에 대한 정보량보다 큰 경우 사용자에게 상기 우선 선호 감각에 관한 대체 신호가 전달되도록 상기 조정 신호 전달부를 통해 상기 감각 대체 장치로 제1 조정 신호를 전달하고;
상기 우선 선호 감각에 관한 정보량이 상기 피대체 감각에 대한 정보량 이하인 경우 상기 사용자에게 제1 감각 대체 신호와 함께 상기 차순위의 대체 감각에 관한 제2 감각 대체 신호가 전달되도록 상기 조정신호 전달부를 통해 상기 감각 대체 장치로 제2 조정 신호를 전달하고; 및
상기 다수의 대체 감각들에 대해 분석된 모든 정보량을 합한 값이 상기 피대체 감각에 대한 정보량보다 작은 경우 상기 감각 대체 장치에 생성하는 정보의 해상도 또는 전달 대상 정보의 수정 또는 재조정을 요청하는 감각 대체 조정 장치.
- 제 9항에 있어서,
상기 감각 대체 효율 분석부는:
대체 감각 신호가 시작되는 동기 시점을 감지하고, 상기 동기 시점에서 시작하여 대뇌 감각 신호의 변화를 측정하고;
전달되는 신호가 기저신호인지 여부를 판단하고, 전달되는 신호가 기저신호인 경우 감각 정보를 기저 감각정보로 저장하고, 전달되는 신호가 기저신호가 아닌 경우 신호에 대하여 감각 기관들의 반응도를 분석하고; 및
개별 감각 기관들의 반응도와 기저정보부에 저장된 개별 감각의 반응도 간의 차이에 따라 대체 감각에 대한 반응도를 판단하여 선호 감각의 우선 순위를 결정하는 감각 대체 조정 장치.
- 제 1항에 있어서,
상기 감각 대체 효율 분석부는:
상기 반응신호 수집부에 의해 수집된 뇌파 신호 중 시각 정보 반응과 관련된 후두 중심 신호와 우측 가측 두정-후두엽 신호, 청각 정보 반응과 관련된 우측 가측 두정-측두엽 신호와 우측 가측 전두엽 신호, 및 촉각 정보 반응과 관련된 대뇌 정수리 영역 신호를 포함하는 뇌 반응 신호들을 추출하는 반응 신호 추출부;
상기 반응 신호 추출부에 의해 추출된 뇌 반응 신호들을 각각 주파수 변환하여 주파수 영역 뇌파 데이터를 생성하고, 상기 주파수 영역 뇌파 데이터 중 델타파 및 쎄타파 데이터를 추출하고, 상기 델타파 및 쎄타파 데이터를 기저 상태의 데이터와 비교하여 대체 감각별 반응 변화율을 산출하는 반응도 산출부;
상기 반응신호 수집부에 의해 수집된 뇌 활동 데이터 중 시각 피질 영역, 청각 피질 영역 및 촉각 피질 영역의 대체 감각 관련 뇌 활동 데이터를 추출하는 뇌 활동 데이터 추출부;
상기 대체 감각 관련 뇌 활동 데이터를 기반으로 시각 피질 활성도, 청각 피질 활성도 및 촉각 피질 활성도를 포함하는 대체 감각 관련 뇌 활성도를 산출하는 뇌 활성도 산출부;
상기 환경 정보, 상기 대체 감각별 반응 변화율 및 상기 대체 감각 관련 뇌 활성도를 이용하여 학습에 의해 상기 대체 신호를 조정하기 위한 대체 감각 조정 모델을 생성하는 학습부; 및
상기 대체 감각 조정 모델을 기반으로, 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 대체 감각 결정부를 포함하는 감각 대체 조정 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/091,575 US20210137403A1 (en) | 2019-11-08 | 2020-11-06 | Sensory substitution control device and method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190142452 | 2019-11-08 | ||
| KR1020190142452 | 2019-11-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210056223A KR20210056223A (ko) | 2021-05-18 |
| KR102584431B1 true KR102584431B1 (ko) | 2023-10-05 |
Family
ID=76158789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200128249A Active KR102584431B1 (ko) | 2019-11-08 | 2020-10-05 | 감각 대체 조정 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102584431B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102798289B1 (ko) * | 2021-10-01 | 2025-04-23 | 한국전자통신연구원 | 시각정보의 감각 치환 및 다중경로 전달 장치 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101841625B1 (ko) | 2016-05-23 | 2018-05-14 | 서울대학교산학협력단 | 뇌자극 기반의 감각 대체 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| US20180250494A1 (en) | 2017-03-02 | 2018-09-06 | Sana Health, Inc. | Methods and systems for modulating stimuli to the brain with biosensors |
| JP2018202054A (ja) | 2017-06-09 | 2018-12-27 | キヤノン株式会社 | 人工視覚装置 |
-
2020
- 2020-10-05 KR KR1020200128249A patent/KR102584431B1/ko active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101841625B1 (ko) | 2016-05-23 | 2018-05-14 | 서울대학교산학협력단 | 뇌자극 기반의 감각 대체 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| US20180250494A1 (en) | 2017-03-02 | 2018-09-06 | Sana Health, Inc. | Methods and systems for modulating stimuli to the brain with biosensors |
| JP2018202054A (ja) | 2017-06-09 | 2018-12-27 | キヤノン株式会社 | 人工視覚装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210056223A (ko) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5729658A (en) | Evaluating intelligibility of speech reproduction and transmission across multiple listening conditions | |
| US7123955B1 (en) | Control method and system and the sense organs test method and system based on electrical steady state induced response | |
| Spitzer et al. | Transformation of binaural response properties in the ascending auditory pathway: influence of time-varying interaural phase disparity | |
| Milojcic et al. | Vestibular evoked myogenic potentials in patients with superior semicircular canal dehiscence | |
| CN101932988A (zh) | 调整脑波信号识别方法的装置、方法以及程序 | |
| Boubenec et al. | Detecting changes in dynamic and complex acoustic environments | |
| Noel et al. | Sensitivity of bilateral cochlear implant users to fine-structure and envelope interaural time differences | |
| Sengelmann et al. | Maximizing information transfer in SSVEP-based brain–computer interfaces | |
| de Cheveigné et al. | The case of the missing delay lines: Synthetic delays obtained by cross-channel phase interaction | |
| KR102584431B1 (ko) | 감각 대체 조정 장치 | |
| Stecker et al. | Temporal weighting functions for interaural time and level differences. III. Temporal weighting for lateral position judgments | |
| CN103081516A (zh) | 不舒适声压决定系统、方法及其程序、助听器调整系统及不舒适声压决定装置 | |
| Whitmer et al. | The perception of apparent auditory source width in hearing-impaired adults | |
| Wilson et al. | Power functions of loudness magnitude estimations and auditory brainstem evoked responses | |
| Dietz et al. | Lateralization of stimuli with independent fine-structure and envelope-based temporal disparities | |
| Palmer et al. | Neural responses in the inferior colliculus to binaural masking level differences created by inverting the noise in one ear | |
| Shackleton et al. | Sensitivity to interaural correlation of single neurons in the inferior colliculusof guinea pigs | |
| Yeung et al. | Prediction of hearing thresholds: Comparison of cortical evoked response audiometry and auditory steady state response audiometry techniques: Predicción de umbrales auditivos. Comparación entre las técnicas de Audiometría por Respuestas Evocadas Corticales y Audiometría por Respuestas Auditivas de Estado Estable | |
| Jesteadt et al. | Temporal acuity in listeners with sensorineural hearing loss | |
| Cope et al. | Temporal predictions based on a gradual change in tempo | |
| Palandrani et al. | Temporal integration of monaural and dichotic frequency modulation | |
| Kaczmarek | Auditory perception of sound source velocity | |
| Jurado et al. | On the loudness of low-frequency sounds with fluctuating amplitudes | |
| Spitzer et al. | A neuronal correlate of the precedence effect is associated with spatial selectivity in the barn owl's auditory midbrain | |
| Getzmann | Spatial discrimination of sound sources in the horizontal plane following an adapter sound |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20201005 |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20210312 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20201005 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20221227 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230718 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230925 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230926 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |