KR101585561B1

KR101585561B1 - 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템

Info

Publication number: KR101585561B1
Application number: KR1020140109111A
Authority: KR
Inventors: 김덕환; 류재환
Original assignee: 인하대학교산학협력단
Priority date: 2014-08-21
Filing date: 2014-08-21
Publication date: 2016-01-15
Anticipated expiration: 2034-08-21

Abstract

본 발명은 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 관한 것으로서, 보행 동작에 의한 EMG 신호로부터 다수의 제1 특징추출 알고리즘에 의해 추출된 다수의 제1 특징값을 입력받아, 상기 제1 특징값에 따라 1 또는 0을 출력하는 제1 분류기; 및, 상기 EMG 신호로부터 다수의 제2 특징추출 알고리즘에 의해 추출된 다수의 제2 특징값을 입력받아, 상기 제2 특징값에 따라 1 또는 0을 출력하는 제2 분류기를 포함하고, 상기 시스템은 상기 제1 및 제2 분류기의 출력값의 조합에 따라 4개의 보행동작 중 하나를 나타내고, 상기 제1 및 제2 분류기는 LDA(linear discriminant analysis)를 이용하여 구성된 분류기로서, 보행 동작의 EMG 샘플 신호와, 상기 EMG 샘플 신호에 해당되는 보행동작 데이터로 구성되는 트레이닝 데이터에 의해 트레이닝된 분류기인 구성을 마련한다.
상기와 같은 방법에 의하여, 물리적인센서를 사용하지 않고 표면근전도(sEMG) 신호만을 이용하여 보행단계를 분류할 수 있다.

Description

다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템 { A System of Boosted Classifiers and Classification Matrix based on Surface EMG Signals for Multiple Gait phase Recognition }

본 발명은 입각기 3단계(Heel strike, Mid stance, Toe off)와 유각기 1단계(swing)를 분류하기 위하여, 물리적인센서를 사용하지 않고 표면근전도(sEMG, surface electromyography) 신호만을 이용하는 2개의 분류기(Heel LDA, Toe LDA) 및, 분류기 결과에 따라 보행동작을 판단하는 분류 매트릭스(Classification Matrix)를 생성하는, 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 관한 것이다.

최근 융합기술의 중요성이 확대되어 IT와 BT가 결합된 연구가 활발히 진행되고 있다. 대표적으로 생체신호인 EMG(electromyography)를 이용하여 하지 절단환자들이 사용하는 동력 의족을 제어하는 연구가 있다.

이러한 연구는 장애인들의 삶 영위에 많은 도움을 주고 있다. 일반적인 대퇴 동력의족은 각도 및 압력 등의 물리적인 센서를 이용하여 제어 한다[비특허문헌 1]. 하지만 물리적인 센서를 이용한 방법은 사전에 훈련한 보행동작만을 재현하기 때문에 항상 동일한 속도로 보행해야한다는 단점이 있다.

이러한 문제를 해결하기 위하여 생체신호인 EMG를 적용하여 보행단계 분석을 하는 연구들이 진행 중이다. EMG는 근육이 수축할 때 발생하는 전기적인 활성도를 측정하는 방법이다. 따라서 피험자의 동작 의도, 보행 속도 및 보행 보폭 등과 같은 세부적인 움직임도 측정이 가능하다[비특허문헌 2].

동력 의족 제어를 위해 수행하는 보행 단계 분류는 크게 입각기(stance), 유각기(swing)로 나뉜다. 입각기의 기준으로 정한 다리의 발이 지면에 닿은 상태를 말하며, 세부적으로 5단계(Heel strike, Foot flat, Mid stance, Heel off, Toe off)로 구분된다. 유각기는 지면에 닿았던 발이 떨어져 공중에 있는 상태를 말하며 세부적으로 3단계(Acceleration, Mid swing, Deceleration)로 분류된다.

[비특허문헌 1] E.C. Martinez-Villalpando and H. Herr, "Agonist-antaagonist active knee prosthesis: A preliminary study in level-ground walking," Journal of Rehabilitation Research & Development, vol.46, pp.361-373, 2009. [비특허문헌 2] C. Jensen, O. Vasseljen, R. H. Westgaard, "The influence of Electrode Position on Bipolar Surface Electromyogram Recordings of the Upper Trapezius Muscle," Eur. J. Appl Physiol., vol. 67, pp. 266-273, 1993. [비특허문헌 3] Zygote media Groups, Inc., Zygote Body 3D data, 2012. [비특허문헌 4] A.N. Donald, N. David, "Kinesiology of the Musculoskeletal System,"Mosby, 2009. [비특허문헌 5] J.H Yu, D.H Lee, D. H Kim, "Surface EMG Signal based Hand Motion Recognition Method using Multi-class SVM with Electromyogram Signals", Proceding of JCCIS 2012, The Third conference on Computer and Information Science, Vol. 06, No. 2, pp.51-53, 2012. [비특허문헌 6] H .Huang, T. A. Kuiken and R. D. Lipschutz, "A Strategy for Identifying Locomotion Modes Using Surface Electromyography,", Biomedical Engineering, IEEE Transactions on, vol.56, no.1, pp.65-73, 2009. [비특허문헌 7] D. H. Lee, S. L. Lee and D. H. Kim, "Implementation of a Prototype System for surface EMG Analysis based on Gait Phases," submitted to Yanbian University of Science & Technology 2012 International Symposium, June, 2012.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 입각기 3단계(Heel strike, Mid stance, Toe off)와 유각기 1단계(swing)를 분류하기 위하여, 물리적인센서를 사용하지 않고 표면근전도(sEMG, surface electromyography) 신호만을 이용하는 2개의 분류기(Heel LDA, Toe LDA) 및, 분류기 결과에 따라 보행동작을 판단하는 분류 매트릭스(Classification Matrix)를 생성하는, 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 관한 것으로서, 보행 동작에 의한 EMG 신호로부터 다수의 제1 특징추출 알고리즘에 의해 추출된 다수의 제1 특징값을 입력받아, 상기 제1 특징값에 따라 1 또는 0을 출력하는 제1 분류기; 및, 상기 EMG 신호로부터 다수의 제2 특징추출 알고리즘에 의해 추출된 다수의 제2 특징값을 입력받아, 상기 제2 특징값에 따라 1 또는 0을 출력하는 제2 분류기를 포함하고, 상기 시스템은 상기 제1 및 제2 분류기의 출력값의 조합에 따라 4개의 보행동작 중 하나를 나타내고, 상기 제1 및 제2 분류기는 LDA(linear discriminant analysis)를 이용하여 구성된 분류기로서, 보행 동작의 EMG 샘플 신호와, 상기 EMG 샘플 신호에 해당되는 보행동작 데이터로 구성되는 트레이닝 데이터에 의해 트레이닝된 분류기인 것을 특징으로 한다.

또한, 본 발명은 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 있어서, 상기 제1 분류기에 트레이닝되는 보행동작 데이터는 앞꿈치가 지면에 닿는지 여부를 나타내는 데이터이고, 상기 제2 분류기에 트레이닝되는 보행동작 데이터는 뒷꿈치가 지면에 닿는지 여부를 나타내는 데이터인 것을 특징으로 한다.

또한, 본 발명은 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 있어서, 상기 제1 특징추출 알고리즘과 상기 제2 특징추출 알고리즘은 모두 동일하여, 상기 제1 특징값과 상기 제2 특징값은 동일한 것을 특징으로 한다.

또한, 본 발명은 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 있어서, 상기 제1 특징값 또는 상기 제2 특징값은 사전에 정해진 윈도우 사이즈의 크기에 해당하는 시간 동안의 EMG 신호로부터 추출되고, 상기 윈도우 사이즈는 보행동작에 따라 서로 다르게 정해지는 것을 특징으로 한다.

또한, 본 발명은 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 있어서,순차적으로 진행하는 보행단계에 따라 해당 보행동작이 결정되면, 해당 보행동작의 윈도우 사이즈가 사용되는 것을 특징으로 한다.

또한, 본 발명은 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 있어서, 상기 특징추출 알고리즘은 VAR(variance of EMG), wAMP(Willision amplitude), RMS(root mean square), MAV(mean absolutue), ZC(zero crossing), SSC(sign slope change) 중 어느 하나 이상인 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 의하면, 물리적인센서를 사용하지 않고 표면근전도(sEMG) 신호만을 이용하여 보행단계를 분류할 수 있는 효과가 얻어진다.

도 1은 본 발명의 일실시예에 따른 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템을 실시하기 위한 전체 시스템의 구성에 대한 블록도.
도 2는 본 발명에 사용되는 인간의 보행 단계를 나타낸 그림.
도 3은 본 발명의 일실시예에 따른 표면근전도 신호기반 부스트 분류 시스템을 설명하는 흐름도.
도 4는 본 발명의 표면근전도 신호기반 부스트 분류 시스템의 전체적인 과정을 설명하는 흐름 블록도.
도 5는 본 발명의 일실시예에 따른 분류 매트릭스를 나타낸 표.
도 6은 본 발명의 일실시예에 따른 보행 단계 인식 방법을 설명하는 흐름도.
도 7은 본 발명의 일실시예에 따른 보행동작과 취득된 데이터를 표시한 그래프.
도 8은 본 발명의 일실시예에 따른 EMG 신호 센싱 전극의 부착 위치를 도시한 도면.
도 9는 본 발명의 실험에 따라 뒷꿈치(Heel)의 윈도우 크기에 따른 정확도를 나타낸 표.
도 10은 본 발명의 실험에 따라 앞꿈치(Toe)의 윈도우 크기에 따른 정확도를 나타낸 그래프.
도 11은 본 발명의 실험에 따라 뒷꿈치(Heel)와 앞꿈치(Toe)에 대하여 감독(Supervisor) 방식과 실시간(Realtime) 방식의 분류기별 정확도를 비교한 그래프.
도 12는 본 발명의 실험에 따라, 실시간(Real Time) 방식으로 보행단계를 분류하는 정확도에 대한 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실시예에 따른 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템을 실시하기 위한 전체 시스템의 구성에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템은 EMG 신호(11) 또는 보행 압력 신호(12)를 입력받아, 보행동작(또는 보행단계)을 인식하는 컴퓨터 단말(20) 상의 프로그램 시스템(30)으로 실시될 수 있다. 즉, 상기 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다. 여기서 컴퓨터 단말(20)은 프로그램을 처리하는 컴퓨팅 기능을 가진 장치를 말한다.

한편, 다른 실시예로서, 상기 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 보행단계 인식만을 전용으로 처리하는 전용 단말(30)로 개발될 수도 있다. 이를 표면근전도 신호기반 보행단계 인식 장치(30)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

다음으로, 본 발명에서 인식하고자 하는 보행단계(또는 보행동작)를 도 2를 참조하여 설명한다.

도 2에서 보는 바와 같이, 인간의 보행 단계는 입각기(Stance) 4단계와 유각기(Swing) 4단계로 구분된다. 입각기는 기준이 되는 다리의 발바닥이 지면에 닿은 상태를 의미하여 유각기는 발바닥이 지면에서 떨어져 있는 상태다.

입각기 단계는 도 2에서 볼 수 있듯이 관절각과 지면에 닿은 발바닥의 위치에 따라 초기 접촉기(Initial Contact), 부하 반응기(Loading Response), 중간 입각기(Mid stance) 및 마지막 입각기(Terminal stance)로 구분된다. 유각기는 관절각과 이 순간 속력에 따라 전 유각기(Pre Swing), 초기 유각기(Initial Swing), 중간 유각기(Mid Swing), 및, 마지막 유각기(Terminal Swing)로 구분된다. 본 발명에서는 보행 단계의 핵심이 되는 입각기(Stance) 3단계인 초기 접촉기(Initial Contact), 중간 입각기(Mid stance) 및 마지막 입각기(Terminal stance)로 유각기(Swing)는 1단계로 총 4단계를 구분한다.

다음으로, 본 발명의 실시를 위한 근전도(EMG) 신호의 분석 방법에 대하여 설명한다.

EMG 신호를 이용한 근활동 분석 방법에는 적분 근전도(IEMG, Integrated EMG), 평균값(Average Value), 피크(Peak), 중간값(Mean Value), 문턱값(Threshold) 등이 있다. IEMG는 특정 동작이 시작되고 끝날 때까지 측정된 신호를 적분을 하여 1개의 특징 값으로 변환하는 것이다. 평균값(Average Value) 및, 피크(Peak)는 특정 동작이 시작되고 끝날 때까지 측정된 신호의 평균과 최대 값을 특징 값으로 추출한 것이다. 중간값(Mean)은 특정 동작이 시작되고 끝날 때까지 측정된 신호의 최대 값과 최소 값의 중앙에 위치한 값을 특징 값으로 추출한다. 마지막으로 문턱값(Threshold)은 근활성도에 따라 명령어를 정의해둔 뒤 기준이 넘을 때마다 명령어를 수행 또는 전송하는 방법이다.

즉 상방향 1.3mv, 좌 방향 2.6mv로 설정했다면 주먹을 주었을 때 그 최대 값이 1.5mv가 나왔다면 상방향 명령어를 전송하고, 2.8mv가 나왔다면 좌방향 명령어를 전송하는 방법이다. 기존의 EMG 신호 분석 방법은 근활성도 측정을 위해 개발된 방법이다. 따라서 식이 간단하고 활성도에 초점이 맞추어져 있다. 따라서 보행 분석과 같이 복잡한 조합을 통해 패턴을 인식하는 방법에는 정확도가 낮은 단점이 있다.

최근에는, 팔, 보행, 허리 등의 동작 인식을 위하여 신호처리 알고리즘을 이용한 EMG 신호 분석 방법들이 제안되었다. 대표적으로 VAR(variance of EMG), wAMP(Willision amplitude), RMS(root mean square), MAV(mean absolutue), ZC(zero crossing), SSC(sign slope change) 등을 이용한 특징 추출 알고리즘이 있다. 각각 분산, 진폭의 평균, 실효치, 절대값의 평균, 반복횟수, 진폭의 기울기를 이용하여 특징 값으로 변환한다. 본 발명에서는 VAR, MAV, VAR, WAMP, ZC, SSC 총 6개의 특징 추출 알고리즘을 사용하여 특징 값으로 변환한다.

본 발명의 일실시예에 따른 표면근전도(sEMG) 신호기반 부스트 분류기와 분류 매트릭스를 사용한 표면근전도 신호기반 부스트 분류 시스템을 도 3을 참조하여 구체적으로 설명한다.

도 3에서 보는 바와 같이, 본 발명의 일실시예에 따른 근전도 신호를 기반으로 보행단계 분류 방법은 (a) 훈련 데이터를 입력받는 단계(S10), (b) EMG신호를 특징값으로 변환하는 단계(S20), (c) 분류기를 생성하는 단계(S30), 및, (d) 분류매트릭스를 생성하는 단계(S40)로 구성된다. 추가적으로, (e) 분류기의 윈도우 사이즈를 구하는 단계(S50)를 더 포함하여 구성될 수 있다. 도 4는 본 발명에 따른 보행단계 인식 방법을 도식화한 블록도이다.

먼저, 첫 번째 단계(S10)는 측정하고자 하는 근육의 근전도 신호를 채널 별로 취득한다.

이때 보행동작에 따른 분류기 생성을 위하여 2개의 압력센서(Pressure sensor)를 추가로 측정하여 뒷꿈치(Heel)와 앞꿈치(Toe)가 지면과 닿는 것을 확인한다. 도 7는 보행동작과 취득된 데이터를 표시한 그래프이다.

이렇게 취득한 데이터는 감독분류 방식으로 뒷꿈치(Heel)가 지면과 닿을 때와 닿지 않을 때, 앞꿈치(Toe)가 지면과 닿을 때와 닿지 않을 때의 근전도 신호를 추출하여 훈련데이터로 사용한다.

감독분류(Supervised) 방식은 훈련 또는 실험과정에서 정확한 결과를 얻기 위하여 실험자 또는 트레이너가 해당하는 보행동작을 직접 추출하여 훈련 또는 분류기에 입력시키는 방식이다. 즉, 취득한 초기 입각기(Initial stance)에 대하여 트레이닝을 수행한다고 하면 압력센서를 이용하여 초기 입각기(Initial stance)에 해당하는 EMG신호를 직접 추출한 후 이를 훈련시킨다. 분류도 동일한 방법으로 추출한뒤 분류기에 입력한 후 결과가 초기 입각기(Initial stance)로 나오는지 확인하는 것이다.

두 번째 단계(S20)는 특징 값 추출 단계로 입력 데이터에 대하여 채널별로 특징 값을 추출한다. 본 발명에서는 특징 추출 알고리즘으로 VAR(variance of EMG), wAMP(Willision amplitude), RMS(root mean square), MAV(mean absolutue), ZC(zero crossing), SSC(sign slope change) 등 총 6개가 사용됐다.

특징 추출 알고리즘을 사용하여 EMG 신호에서 특징 값으로 바뀐 데이터는 재조합을 통해 1차원 데이터로 변환하게 된다[비특허문헌 5]. 즉, N개의 채널로 측정된 N차원의 데이터는 N×6 개의 특징 값으로 구성된 데이터로 변환되게 된다.

세 번째 단계(S30)는 뒷꿈치(Heel) 분류기와 앞꿈치(Toe) 분류기를 생성하는 단계이다. 각각의 분류기는 각 부위가 지면에서 닿을 때와 떨어질 때를 분류하게 된다.

분류기는 각 근육에서 발생한 EMG 신호를 특징추출을 이용하여 산출된 값을 입력받는다. 분류기는 LDA(linear discriminant analysis)를 이용하여 분류한다. 이것은 선형 판별 분석으로 트레이닝 데이터와 입력받은 특징 값들을 비교하여 분류한다. 즉 분류기는 입력된 EMG신호를 이용하여 보행단계를 판단한다. EMG신호 입력받고, 특징을 추출하여, 이를 분류기에 입력하면, 보행단계 결과를 획득할 수 있다.

뒷꿈치(Heal) 분류기는 뒷꿈치가 지면에 닿았을 때를 1, 떨어졌을 때는 0으로 분류한다. 앞꿈치(toe) 분류기는 앞꿈치가 지면에 닿는지 여부를 분류하는 것으로서, 뒷꿈치(Heal) 분류기와 내용은 동일하다. 분류기 그룹은 뒷꿈치(Heal) 분류기와 앞꿈치(toe) 분류기를 묶은 것을 말한다. 즉, 특징 값을 입력하면 뒷꿈치(Heal) 분류기에서 결과를 얻고, 앞꿈치(toe) 분류기에서 결과를 얻는다. 따라서 2개의 분류기를 이용하기 때문에 분류기 그룹이라 부르기로 한다.

네번째 단계(S40)는 앞꿈치 동작의 온/오프와, 뒷꿈치 동작의 온/오프에 의하여 4개의 보행동작을 나타내는 분류 매트릭스를 생성한다. 분류 매트릭스(Classification Matrix)는 도 5에 도시되고 있다. 도 5에서 보는 바와 같이, 앞꿈치(toe)의 온(1)/오프(0)의 두가지 경우와, 뒷꿈치(Heal)의 온(1)/오프(0)의 두가지 경우에 의해, 4가지의 보행동작으로 식별된다.

다섯번째 단계(S50)는 앞꿈치 동작 및 뒷꿈치 동작 각각에 대하여 동작 간의 시간을 평균하여 윈도우 사이즈를 추출한다. 상기 앞꿈치 분류기와 상기 뒷꿈치 분류기의 윈도우 사이즈를 서로 독립하여 구한다. 특히, 상기 4개의 보행동작 별로 윈도우 사이즈를 독립적으로 구한다.

다음으로, 본 발명의 일실시예에 따른 생성된 분류기 및 분류 매트릭스를 이용하여 다중 보행 단계 인식 방법을 도 6을 참조하여 설명한다.

동작 식별 단계의 첫 번째 단계(S61)는 EMG 신호를 추출하는 단계로 실시간으로 입력되는 EMG 신호를 사전에 정의한 윈도우 사이즈만큼 추출하게 된다.

윈도우 사이즈 만큼 추출한다는 것은 실시간으로 입력되고 있는 EMG신호를 윈도우 사이즈 만큼 추출하여 특징 데이터를 만들고 이를 이용하여 분류를 수행하는 것이다. 예를들어, 윈도우 사이즈가 500ms이고 1초에 1000개(1Khz)의 데이터가 입력된다고 하면, 1 스텝에서 윈도우 사이즈인 500개 1~500까지 추출한 후 특징추출 및 분류를 수행한다. 그 후 2 스텝(Step)에서는 1ms를 이동하여 2~501까지 EMG신호를 추출하고 특징 추출 및 분류를 수행한다. 이렇게 지속적으로 반복한다.

두 번째 단계(S62)는 특징 값 추출로 훈련데이터 생성단계와 동일하게 진행된다.

세 번째 단계(S63)는 보행 식별 단계로 앞서의 단계(S62)를 통해 얻은 특징 값을 2개의 분류기에 입력하여 결과를 출력한다.

마지막 단계(S64)로서, 두 개의 분류기로부터 얻은 데이터는 마지막으로 도 5의 분류 매트릭스(Classification Matrix)를 통해 최종적으로 보행동작을 식별되게 된다.

도 4는 추출된 분류기 값을 이용하여 보행 식별을 하는 방법이며, 도 4의 최상단 박스는 보행동작에 대한 EMG 신호이다.

다음으로, 실험을 통한 본 발명의 효과를 구체적으로 설명한다.

먼저, 본 발명의 효과를 위한 실험환경 및 방법을 설명한다.

실험에는 BioPAC사의 MP150과 BM-EMG2 모델이 사용되었다. 분석 프로그램은 Matlab 2013을 이용하여 개발되었다. 데이터는 4채널(Rectus femoris, Vastus lateralis, Vastus medialis, Semitendinosus)의 EMG 신호와 압력센서(Pressure sensor) 2개(Heel, Toe)가 취득되었고 부착위치는 도 8과 같다. 도 8은 본 발명의 일실시예에 따른 EMG 신호 센싱 전극의 부착 위치를 도시한 도면이다.

실험에는 총 3명의 피험자가 참여했고, 훈련데이터와 입력데이터를 취득하기 위해 피험자 당 각각 50걸음의 평지 보행 동작을 반복하였다. 보행단계 인식기의 정확도는 식 1을 이용하여 계산되었다.

[수학식 1]

실험에는 두 가지 다른 방식인 감독 분류 방식과 실시간 분류 방식으로 입력데이터를 추출하였다. 감독분류 방식은 압력센서(Pressure sensor)를 이용해 보행 단계별 해당하는 신호를 추출하는 것이고, 실시간 분류 방식은 계속 신호를 입력받으면서 사전에 정의한 윈도우 사이즈에 따라 이동하며 연속적으로 입력데이터를 추출하는 방식이다.

보다 구체적으로, 감독분류 방식은 측정된 데이터를 이용한 방법(오프라인)으로 정확한 데이터를 추출한 후 그에 맞는 결과가 나오는 것을 확인한다. 이 때 윈도우 사이즈는 의미가 없고, 그에 해당하는 EMG신호를 추출한 뒤 특징값을 만들고, 이를 분류기에 넣어 결과를 보는 것이다. 즉 측정한 EMG신호 중 초기 입각기(Initial stance)에 해당하는 부분을 추출하고, 이를 분류기에 넣어 초기 입각기(Initial stance)라는 결과가 나오는 것을 확인한다.

실시간 분류 방식은 감독분류 방식인 오프라인이 아닌 실시간으로 EMG신호를 입력(온라인 방식) 받을 때 보행단계가 제대로 분류되는지 확인하는 방식이다. 즉 1Khz로 EMG신호를 입력받는다고 한다면, 초당 EMG신호를 1000개씩 입력되게 됩니다. 이때 1000개의 데이터에는 1~4단계 이상의 보행단계가 포함되어 있기 때문에 윈도우 사이즈를 이용하여 잘라서 입력받아야 한다. 따라서 사정에 설정해둔 윈도우 사이즈만큼 입력된 윈도우 사이즈를 추출하여 특징값을 구하고 분류를 수행한다. 이때 분류는 앞에서 설명한것과 같이 500ms라면 1 스텝(step)은 1~500에 해당하는 결과를, 2 스텝(step)은 2~501, 3 스텝(step)은 3~502에 해당하는 결과를 구하게 된다.

상기와 같은 실험환경 및 방법에 의한 실험 결과를 설명한다.

실시간 분류 시 뒷꿈치(Heel) 분류기와 앞꿈치(Toe) 분류기의 최적화된 윈도우크기를 결정하는 실험을 진행했다. 인식기 학습에는 150개의 훈련데이터가 사용되었고, 도 9은 뒷꿈치(Heel)의 윈도우 크기에 따른 정확도이며, 도 10는 앞꿈치(Toe)의 윈도우 크기에 따른 정확도이다.

뒷꿈치(Heel)과 앞꿈치(Toe) 모두 분류기에 상관없이 압력센서(Pressure sensor)를 통해 얻은 보행 단계의 평균값이 최적의 윈도우 사이즈로 추출되었다. 따라서 윈도우 사이즈는 뒷꿈치(Heel)는 502ms 이며, 앞꿈치(Toe)는 927ms로 결정하였다. 다음은 뒷꿈치(Heel)와 앞꿈치(Toe)에 대하여 감독(Supervisor) 방식과 실시간(Realtime) 방식의 분류기별 정확도를 비교하였다. 도 11은 그에 대한 실험 결과이다.

윈도우 사이즈는 앞에서 설명한 바와 같이, 실시간 분류 방식에서, 실시간으로 입력되는 EMG신호에 대하여 보행단계를 구분하기 위한 것이다. 즉, 윈도우 사이즈는 특정 구간만큼 추출하여 보행단계를 분류하기 위하여 결정하는 추출 영역을 말한다.

한편, 트레이닝 데이터를 생성할 때, 해당하는 영역만큼 추출하여 특징값을 만드는 것을 알 수 있다. 다시 말하면, 트레이닝 과정 중에 1번째 걸음 입각기(stance)는 250ms, 2번째 걸음 입각기(stance)는 300ms, 3번째 걸음 입각기(stance)는 350ms만큼 추출하여 데이터를 만든다. 이렇게 윈도우의 사이즈가 다르게 추출되는 이유는 보행단계 별로 사람별로 보행의 크기가 다르기 때문이다.

각 보행동작은 보행단계에 따라 순차적으로 진행한다. 예를 들어, 보행은 1->2->3->4->1->2->3->4와 같이 순차적으로 진행된다. 즉, 1번 동작이 3번으로 갑자기 뛰는 경우가 없다. 따라서 이전 보행에서 초기 접촉기(Initial Contact)라는 것이 결정되면 다음은 중간 입각기(Mid stance)가 된다. 도 2에 있는 내용은 이전에 초기 접촉기(Initial Contact)라면, 현재는 중간 입각기(Mid stance)라는 것을 의미한다. 따라서 보행단계에 따라 해당되는 보행동작의 윈도우 사이즈를 선택하여 사용한다.

한편, 사람이 고정적으로 보행을 수행한다면 윈도우 사이즈는 무의미하다. 하지만 사람은 일반 보행시 1.1~1.4s 내의 영역으로 보행을 한다. 따라서 트레이닝을 20번 수행했다면 입각기(stance)에 해당하는 평균과 유각기(swing)에 해당하는 평균을 윈도우 사이즈로 결정할 시 보행 영역이 균등하게 손실되거나 더 들어가기 때문에 전체적으로 균등한 정확도를 보일 수 있다. 즉 사람이 로봇처럼 고정적으로 이동하는 것이 아니다. 따라서 실시간으로 EMG신호를 입력받을 때 현재의 보행단계를 알 수 없다. 따라서 평균을 내어 윈도우 사이즈를 결정한다. 현재 보행단계는 분류기에 넣은 결과로 알 수 있다. 즉, 마지막에 알 수 있다.

감독(Supervisor) 방식은 전체적으로 실시간(Real Time) 방식보다 정확도가 약 13% 높게 나왔다. 뒷꿈치(Heel)와 앞꿈치(Toe)의 정확도는 분류기와 상관없이 뒷꿈치(Heel)가 약 6% 높은 정확도를 보였다. 전체적으로 SVM이 LDA보다 높은 정확도를 보였다. SVM_Toe가 감독(Supervisor) 방식일 때 94%, 실시간(Real Time) 일 때 79%를 보이면서 가장 높은 정확도를 보였다.

다음은 실시간(Real Time) 방식으로 보행단계를 분류하는 실험을 진행했다. 도 12은 그에 대한 결과이다.

본 발명에서는 신체의 EMG 신호 기반으로 2단계의 분류기와 분류 매트릭스(Classification Matrix)를 이용하여 보행단계를 4단계로 분류하는 방법을 설명하였다. 실험결과 실시간 분류시 보행단계의 평균 시간을 윈도우 사이즈로 하는 것이 가장 높은 정확도를 보였다. 따라서 본 발명에 의하면, EMG 신호만으로 보행단계를 분류할 수 있다.

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : EMG 신호 12 : 보행 압력 신호
20 : 컴퓨터 단말 30 : 보행단계 인식 장치

Claims

다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템에 있어서,
보행 동작에 의한 EMG 신호로부터 다수의 제1 특징추출 알고리즘에 의해 추출된 다수의 제1 특징값을 입력받아, 상기 제1 특징값에 따라 1 또는 0을 출력하는 제1 분류기; 및,
상기 EMG 신호로부터 다수의 제2 특징추출 알고리즘에 의해 추출된 다수의 제2 특징값을 입력받아, 상기 제2 특징값에 따라 1 또는 0을 출력하는 제2 분류기를 포함하고,
상기 시스템은 상기 제1 및 제2 분류기의 출력값의 조합에 따라 4개의 보행동작 중 하나를 나타내고,
상기 제1 및 제2 분류기는 LDA(linear discriminant analysis)를 이용하여 구성된 분류기로서, 보행 동작의 EMG 샘플 신호와, 상기 EMG 샘플 신호에 해당되는 보행동작 데이터로 구성되는 트레이닝 데이터에 의해 트레이닝된 분류기인 것을 특징으로 하는 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템.
제1항에 있어서,
상기 제1 분류기에 트레이닝되는 보행동작 데이터는 앞꿈치가 지면에 닿는지 여부를 나타내는 데이터이고, 상기 제2 분류기에 트레이닝되는 보행동작 데이터는 뒷꿈치가 지면에 닿는지 여부를 나타내는 데이터인 것을 특징으로 하는 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템.
제1항에 있어서,
상기 제1 특징추출 알고리즘과 상기 제2 특징추출 알고리즘은 모두 동일하여, 상기 제1 특징값과 상기 제2 특징값은 동일한 것을 특징으로 하는 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템.
제1항에 있어서,
상기 제1 특징값 또는 상기 제2 특징값은 사전에 정해진 윈도우 사이즈의 크기에 해당하는 시간 동안의 EMG 신호로부터 추출되고, 상기 윈도우 사이즈는 보행동작에 따라 서로 다르게 정해지는 것을 특징으로 하는 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템.
제4항에 있어서,
순차적으로 진행하는 보행단계에 따라 해당 보행동작이 결정되면, 해당 보행동작의 윈도우 사이즈가 사용되는 것을 특징으로 하는 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 특징추출 알고리즘은 VAR(variance of EMG), wAMP(Willision amplitude), RMS(root mean square), MAV(mean absolutue), ZC(zero crossing), SSC(sign slope change) 중 어느 하나 이상인 것을 특징으로 하는 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템.