KR102771408B1 - 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 - Google Patents
딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 Download PDFInfo
- Publication number
- KR102771408B1 KR102771408B1 KR1020220119788A KR20220119788A KR102771408B1 KR 102771408 B1 KR102771408 B1 KR 102771408B1 KR 1020220119788 A KR1020220119788 A KR 1020220119788A KR 20220119788 A KR20220119788 A KR 20220119788A KR 102771408 B1 KR102771408 B1 KR 102771408B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- deep learning
- learning model
- patient
- knee joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 111
- 210000000629 knee joint Anatomy 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000007781 pre-processing Methods 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 17
- 238000001356 surgical procedure Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 210000003127 knee Anatomy 0.000 description 27
- 210000002303 tibia Anatomy 0.000 description 11
- 210000004417 patella Anatomy 0.000 description 10
- 210000000689 upper leg Anatomy 0.000 description 10
- 210000002414 leg Anatomy 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 201000008482 osteoarthritis Diseases 0.000 description 7
- 208000003947 Knee Osteoarthritis Diseases 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000013150 knee replacement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 210000002082 fibula Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004049 embossing Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 208000004550 Postoperative Pain Diseases 0.000 description 1
- 210000001188 articular cartilage Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001258 synovial membrane Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/02—Prostheses implantable into the body
- A61F2/30—Joints
- A61F2/38—Joints for elbows or knees
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physical Education & Sports Medicine (AREA)
- Cardiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Transplantation (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Robotics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체에 관한 것으로, 보다 구체적으로 적어도 하나의 프로세서에 의하여, 다수를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 다수 개의 X-ray 이미지가 획득되는 X-ray 이미지 획득단계, 상기 적어도 하나의 프로세서에 의하여, 데이터 프레임에 따라 상기 다수 개의 X-ray 이미지가 분류되는 X-ray 이미지 분류단계, 상기 적어도 하나의 프로세서에 의하여, 상기 데이터 프레임에 따라 분류된 X-ray 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 되는 전처리 단계, 상기 적어도 하나의 프로세서에 의하여, 전처리된 X-ray 이미지가 학습 데이터셋이 되어 상기 딥러닝 모델이 학습되는 모델 학습단계, 상기 적어도 하나의 프로세서에 의하여, 슬관절 치환술이 예정된 환자를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 환자 이미지가 획득되는 환자 이미지 획득단계, 상기 적어도 하나의 프로세서에 의하여, 상기 환자 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 되는 환자 이미지 전처리 단계 및 상기 적어도 하나의 프로세서에 의하여, 전처리된 상기 환자 이미지가 상기 모델 학습단계로부터 학습된 상기 딥러닝 모델에 입력됨으로써, 환자의 슬관절에 적합한 치환물의 크기가 출력되는 크기 출력단계를 포함하는 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체에 관한 것이다.
Description
본 발명은 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체에 관한 것이다.
슬관절은 무릎 관절을 의미한다. 이는 인체에서 가장 크고 복잡한 모양의 관절로, 대퇴골, 경골, 슬개골로 이루어져 있다. 슬관절은 하지의 중간에 위치하는 경첩 관절의 일종으로 단순한 굴곡-신전 운동은 물론, 대퇴골에 대한 경골의 회전 운동이 동반되는 연합 운동을 담당하는 관절이다.
슬관절 골관절염은 슬관절을 감싸고 있는 관절연골이 마모되어 연골 밑의 뼈가 노출되고, 관절 주변의 활약막에 염증이 생겨서 통증과 변형이 발생하는 질환이다. 흔히 퇴행성 관절염이라고도 불리우며 관절 질환 중에서 가장 많이 발생하는 질환이다.
슬관절 골관절염의 대표적인 치료법은 슬관절 전치환술이 있다. 슬관절 전치환술은 수술 후 통증, 기능장애, 강직 등을 포함한 후유증이 발생하곤 한다. 이와 관련하여, 관련문헌 1은 슬관절 전치환술 보조를 위한 수술장치에 관한 것으로, 병렬기구를 기반으로 지그 유닛의 위치와 자세를 결정하여 수술의 정확성을 증가시킬 수 있도록 하나 환자에게 삽입되는 인공관절의 크기를 적합하게 구성할 수 없어 후유증을 경감시키는데 기술적 한계가 있다. 관련문헌 2는 대퇴골 결합부재에 복수의 곡률부가 형성된 인공 슬관절에 관한 것으로, 대퇴골 결합부재와 경골 결합부재의 접촉면을 넓혀 어떠한 무릎의 운동에 있을지라도 응력분포를 균일하고 일정하게 분산시킬 수 있는 인공 슬관절을 제공할 수 있다.
다만, 수술 전 환자 개인의 대퇴골 모양에 맞는 정확한 인공관절을 선택하는 것이 가장 수술 후유증을 발생시키지 않는데, 이러한 환자의 대퇴골의 크기를 미리 파악하고 인공관절을 제작할 수 있는 기술이 본 기술 분야에서 절실히 필요한 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로 한 쌍의 정면 이미지와 측면 이미지를 포함하는 X-ray 이미지를 전처리한 후 딥러닝 모델을 학습함으로써, 치환물의 크기에 대한 분류 정확도가 향상된 딥러닝 모델을 생성하는 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체를 얻고자 하는 것을 목적으로 한다.
본 발명의 목적은 의료진이 환자별 맞춤 무릎 인공관절 크기를 선택하는데 도움을 주고, 수술 후 치환물의 안정성을 확보하여 더 나은 임상 예후를 기대할 수 있도록 정면 이미지와 측면 이미지를 포함하는 환자 이미지를 전처리한 후 딥러닝 모델에 입력함으로써 환자의 슬관절에 적합한 치환물의 크기를 출력하는 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체를 얻고자 하는 것을 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
상기 목적을 달성하기 위하여, 본 발명의 딥러닝 모델 학습 방법은 적어도 하나의 프로세서에 의하여, 다수를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 다수 개의 X-ray 이미지가 획득되는 X-ray 이미지 획득단계; 상기 적어도 하나의 프로세서에 의하여, 데이터 프레임에 따라 상기 다수 개의 X-ray 이미지가 분류되는 X-ray 이미지 분류단계; 상기 적어도 하나의 프로세서에 의하여, 상기 데이터 프레임에 따라 분류된 X-ray 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 되는 전처리 단계; 및 상기 적어도 하나의 프로세서에 의하여, 전처리된 X-ray 이미지가 학습 데이터셋이 되어 상기 딥러닝 모델이 학습되는 모델 학습단계;를 제공한다.
상기 목적을 달성하기 위하여, 본 발명의 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법은 적어도 하나의 프로세서에 의하여, 다수를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 다수 개의 X-ray 이미지가 획득되는 X-ray 이미지 획득단계; 상기 적어도 하나의 프로세서에 의하여, 데이터 프레임에 따라 상기 다수 개의 X-ray 이미지가 분류되는 X-ray 이미지 분류단계; 상기 적어도 하나의 프로세서에 의하여, 상기 데이터 프레임에 따라 분류된 X-ray 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 되는 전처리 단계; 상기 적어도 하나의 프로세서에 의하여, 전처리된 X-ray 이미지가 학습 데이터셋이 되어 상기 딥러닝 모델이 학습되는 모델 학습단계; 상기 적어도 하나의 프로세서에 의하여, 슬관절 치환술이 예정된 환자를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 환자 이미지가 획득되는 환자 이미지 획득단계; 상기 적어도 하나의 프로세서에 의하여, 상기 환자 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 되는 환자 이미지 전처리 단계; 및 상기 적어도 하나의 프로세서에 의하여, 전처리된 상기 환자 이미지가 상기 모델 학습단계로부터 학습된 상기 딥러닝 모델에 입력됨으로써, 환자의 슬관절에 적합한 치환물의 크기가 출력되는 크기 출력단계;를 제공한다.
상기 목적을 달성하기 위하여, 본 발명은 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체를 제공한다.
이상과 같이 본 발명에 의하면 한 쌍의 정면 이미지와 측면 이미지를 포함하는 X-ray 이미지를 전처리한 후 딥러닝 모델을 학습함으로써, 환자에게 적합한 치환물의 크기를 출력하는 딥러닝 모델을 생성할 수 있다.
본 발명은 정면 이미지와 측면 이미지를 포함하는 환자 이미지를 전처리한 후 딥러닝 모델에 입력하면 환자에게 적합한 치환물의 크기를 출력하도록 구성함으로써, 의료진은 환자의 X-ray 촬영만으로 환자별 맞춤 무릎 인공관절을 선택하는데 도움을 받을 수 있고, 슬관절 치환술 후 환자 신체 내부에서 치환물의 안정성을 확보하여 환자의 더 나은 임상 예후를 기대할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 상세한 설명 및 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 딥러닝 모델 학습 방법 흐름도이다.
도 2는 본 발명의 일실시예에 따른 결합 이미지를 생성하는 것을 표시한 도면이다.
도 3은 본 발명의 일실시예에 따른 딥러닝 모델 구조를 표시한 도면이다.
도 4의 (a)는 결합 이미지를 생성하지 않고 딥러닝 모델을 학습하는 과정이고, 도 4의 (b)는 결합 이미지를 생성하고 딥러닝 모델을 학습하는 과정을 표시한 도면이다.
도 5는 본 발명의 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 흐름도이다.
도 2는 본 발명의 일실시예에 따른 결합 이미지를 생성하는 것을 표시한 도면이다.
도 3은 본 발명의 일실시예에 따른 딥러닝 모델 구조를 표시한 도면이다.
도 4의 (a)는 결합 이미지를 생성하지 않고 딥러닝 모델을 학습하는 과정이고, 도 4의 (b)는 결합 이미지를 생성하고 딥러닝 모델을 학습하는 과정을 표시한 도면이다.
도 5는 본 발명의 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 흐름도이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 딥러닝 모델 학습 방법 흐름도이다. 도 2는 본 발명의 일실시예에 따른 결합 이미지를 생성하는 것을 표시한 도면이다. 도 3은 본 발명의 일실시예에 따른 딥러닝 모델 구조를 표시한 도면이다. 도 4의 (a)는 결합 이미지를 생성하지 않고 딥러닝 모델을 학습하는 과정이고, 도 4의 (b)는 결합 이미지를 생성하고 딥러닝 모델을 학습하는 과정을 표시한 도면이다. 도 5는 본 발명의 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 흐름도이다.
우선, 본 발명은 딥러닝 모델 학습 방법 또는 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법을 수행하는 프로그램을 기록한 컴퓨터 장치(100)로 읽을 수 있는 기록매체(120)를 포함한다. 상기 기록매체(120)는 예컨대, CD, DVD, 하드디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등일 수 있다. 그리고 본 발명의 딥러닝 모델 학습 방법 또는 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법은 컴퓨터 장치(100) 내 적어도 하나의 프로세서(110)가 상기 기록매체(120)를 읽음으로써 구현될 수 있다.
딥러닝 모델 학습 방법
우선 도 1을 보면, 본 발명의 딥러닝 모델 학습 방법은 X-ray 이미지 획득단계(S100), X-ray 이미지 분류단계(S200), 전처리 단계(S300) 및 모델 학습단계(S400)를 포함한다.
상기 X-ray 이미지 획득단계(S100)는 적어도 하나의 프로세서(110)에 의하여, 다수를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 다수 개의 X-ray 이미지가 획득된다.
상기 적어도 하나의 프로세서(110)는 데이터 신뢰성을 확보할 수 있도록 하나 이상의 외부의료기관의 서버에 저장된 다수 개의 X-ray 이미지를 획득할 수 있다. 구체적으로, 상기 컴퓨터 장치(100)는 상기 외부의료기관의 서버와 인터넷 네트워크를 통해서 양방향 통신이 가능하도록 연결됨으로써, 상기 적어도 하나의 프로세서(110)는 상기 다수 개의 X-ray 이미지를 획득할 수 있다. 또는, 상기 컴퓨터 장치(100)는 상기 외부의료기관의 서버로부터 추출되어 저장된 USB와 같은 외부저장장치가 연결됨으로써, 상기 적어도 하나의 프로세서(110)는 상기 다수 개의 X-ray 이미지를 획득할 수 있다. 또는, 상기 기록매체(120)는 상기 외부의료기관의 서버로부터 추출되어 내장함으로써, 상기 적어도 하나의 프로세서(110)는 상기 다수 개의 X-ray 이미지를 획득할 수 있다. 다만, 상기 X-ray 이미지 획득단계(S100)는 상술한 방법에 한정되지 않고 다양한 방법으로 상기 다수 개의 X-ray 이미지가 획득될 수 있다.
한편, 상기 X-ray 이미지 획득단계(S100)는 각 X-ray 이미지가 획득된 위치인 이미지 경로와 해당 X-ray 이미지 상에서 슬관절의 위치 및 크기, 해당 슬관절에 대해 임상적으로 결정된 치환물의 크기를 포함하는 라벨 정보가 함께 획득될 수 있다. 이는, 본 발명은 상기 다수 개의 X-ray 이미지를 획득하여 딥러닝 모델을 학습하는 것을 목적으로 함으로, 각 X-ray 이미지에 촬영된 슬관절에 대해 임상적으로 결정된 치환물의 크기가 파악된 상태여야만 하기 때문이다.
또한, 본 발명에서 언급하는 다수는 외부의료기관 내 의료진으로부터 슬관절 골관절염을 진단받은 사람, 슬관절 골관절염이 의심되는 사람, 정상인 사람을 가리지 않고 선택된 불특정 다수를 일컫는다.
또한, 본 발명에서 언급하는 X-ray 촬영장치는 X선을 인체에 투과하여 촬영함으로써, 인체의 내부 구조물을 확인할 수 있는 이미지를 출력하는 장치이다. 본 발명의 X-ray 촬영장치의 촬영대상은 다수 각각의 슬관절 부위이다. 여기서, 슬관절은 무릎관절이고, 무릅을 둘러싼 3개의 뼈인 넙다리뼈, 정강뼈, 무릎뼈 등이 인접해서 이루는 관절이다. 따라서 상기 다수 개의 X-ray 이미지는 X-ray 촬영장치에 의하여 상기 넙다리뼈, 정강뼈, 무릎뼈의 일부 또는 전체가 촬영된 것이다.
다음으로, 상기 X-ray 이미지 분류단계(S200)는 상기 적어도 하나의 프로세서(110)에 의하여, 데이터 프레임에 따라 상기 다수 개의 X-ray 이미지가 분류된다.
예컨대, 상기 적어도 하나의 프로세서(110)가 파이썬(Python) 코드로 본 발명의 딥러닝 모델 학습 방법을 구현한다면, 파이썬(Python) 중의 특정 기능을 지원하는 코드 패키지를 이용할 수 있다. 일반적으로 코드 패키지를 이용하는 것은 전처리 명령을 도입하는 코드를 개발자가 직접 작성할 필요가 없으므로 용이하게 데이터 전처리를 가능하게 할 수 있다.
즉, 상기 X-ray 이미지 분류단계(S200)는 Pandas 패키지가 이용되어 상기 이미지 경로, 및 라벨 정보를 포함하는 상기 데이터 프레임이 생성될 수 있다. 상기 라벨 정보는 상술한 바와 같이 각 X-ray 이미지에 촬영된 슬관절에 대해 임상적으로 결정된 치환물의 크기를 포함한다.
무릎 인공관절은 일반적으로 대퇴골 구성요소(Femoral component), 경골 구성요소(Tibial component) 및 대퇴골 구성요소와 경골 구성요소 사이의 공간(Spacer)으로 구성된다. 즉, 본 발명에서 언급하는 치환물의 크기는 기 제작된 무릎 인공관절의 대퇴골 구성요소의 크기, 경골 구성요소의 크기 중 적어도 하나에 따라 분류된 크기값일 수 있다.
예컨대, 무릎 인공관절을 제작하는 임의의 회사가 대퇴골 구성요소를 D, E, C, F 크기로 분류하여 제작한다면, 상기 라벨 정보 내 상기 치환물의 크기는 D, E, C, F 중 하나의 값일 수 있다. 그리고, X-ray 이미지 획득단계(S100)로부터 획득된 각 X-ray 이미지 1, 2, 3의 치환물의 크기가 D, E, D라면, 상기 X-ray 이미지 분류단계(S200)는 X-ray 이미지 1과 3은 동일한 그룹에 분류될 수 있고, X-ray 이미지 2는 또 다른 그룹에 분류될 수 있다.
다음으로, 상기 전처리 단계(S300)는 상기 적어도 하나의 프로세서(110)에 의하여, 상기 데이터 프레임에 따라 분류된 X-ray 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 된다,
전처리 방법에 있어서, 상기 X-ray 이미지 획득단계(S100)는, 슬관절의 정면이 촬영된 정면 이미지와 슬관절의 측면이 촬영된 측면 이미지가 한 쌍으로 획득되고, 상기 전처리 단계(S300)는, 한 쌍의 정면 이미지와 측면 이미지가 Numpy array 매트릭스로 각각 변환된 후 결합되는 것을 특징으로 한다.
이때, 상기 X-ray 이미지 획득단계(S100)는, 임의의 대상자의 오른다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득되거나, 임의의 대상자의 왼다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득될 수 있다. 즉, 동일한 다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득되는 것을 특징으로 한다. 예컨대, 상기 X-ray 이미지 획득단계(S100)로부터 1,420개의 X-ray 이미지가 획득된다면, 한 쌍의 정면 이미지와 측면 이미지 710개가 획득되는 것이다.
그리고 슬관절을 보면, 슬개골, 종아리뼈 및 경골이 맞물려 있는 부분에서 무릎면이 보이면 전면이고, 안쪽관절융기 및 가쪽관절융기가 보이면 후면이다. 즉, 본 발명에서 언급하는 정면 이미지는 무릎면이 보이도록 촬영된 이미지이다. 그리고 측면 이미지는 무릎면의 일부와 안쪽관절융기가 보이도록 촬영된 이미지이거나, 무릎면의 일부와 가쪽관절융기가 보이도록 촬영된 이미지일 수 있다.
또한, 상기 전처리 단계(S300)는 한 쌍의 정면 이미지와 측면 이미지가 동일한 사이즈로 변경된 후 하기 [수학식 1]이 이용되어 결합됨으로써, 결합 이미지가 생성되는 것을 특징으로 한다.
여기서, H(X)는 결합 이미지에 대한 매트릭스이고, A는 정면 이미지에 대한 매트릭스이고, B는 측면 이미지에 대한 매트릭스이다.
도 2의 본 발명의 일실시예를 보면, 상기 전처리 단계(S300)는 가장 우선적으로 정면 이미지와 측면 이미지는 224*224 크기의 동일한 사이즈를 갖도록 할 수 있다. 모든 이미지는 다수 개의 픽셀로 이루어져 있고, 가로*세로의 픽셀의 크기를 동일하게 한다면 동일한 사이즈를 갖는 이미지로 변경될 수 있다. 상기 전처리 단계(S300)는 상기 전면 이미지와 측면 이미지가 동일한 사이즈로 변경되도록 하는 것은 상기 결합 이미지를 생성하기 위함이다.
그리고 상기 전처리 단계(S300)는 상술한 바와 같이 상기 정면 이미지가 Numpy array 매트릭스로 변환될 수 있다. 이때, Numpy array 매트릭스의 행렬의 크기는 정면 이미지의 크기일 수 있다. 그리고 각 픽셀이 매트릭스의 성분이 될 수 있다. 역시나, 상기 전처리 단계(S300)는 상술한 바와 같이 상기 측면 이미지가 Numpy array 매트릭스로 변환될 수 있다. 이때, Numpy array 매트릭스의 행렬의 크기는 측면 이미지의 크기일 수 있다. 그리고 각 픽셀이 매트릭스의 성분이 될 수 있다.
그리고 상기 전처리 단계(S300)는 상기 정면 이미지의 매트릭스와 상기 측면 이미지의 매트릭스에서 대응되는 위치에 있는 성분이 상기 [수학식 1]과 같이 연산될 수 있다. 따라서 상기 한 쌍의 정면 이미지와 측면 이미지에 대한 결합 이미지 역시 224*224 크기를 갖는 이미지일 수 있다. 예컨대, 정면 이미지의 매트릭스 ‘A’의 성분 a11과 이와 한 쌍인 측면 이미지의 매트릭스 ‘B’의 성분 b11은 대응된다 할 수 있다. 그리고 대응되는 위치의 성분인 a11 및 b11은 상기 [수학식 1]에 따라 (a11+b11)/2로 연산될 수 있고, 연산된 값이 상기 결합 이미지 내 해당 위치의 성분일 수 있다. 따라서 상기 X-ray 이미지 획득단계(S100)로부터 한 쌍의 정면 이미지와 측면 이미지 710개가 획득된다면, 상기 전처리 단계(S300)로부터 상기 결합 이미지 역시 710개가 획득될 수 있다.
또한, 상기 전처리 단계(S300)는 상기 결합 이미지에 대한 데이터 불균형을 해소할 수 있도록 이미지 필터 함수가 이용되어 상기 결합 이미지가 증대(Augmentation)되는 것을 특징으로 한다.
이때, 상기 전처리 단계(S300)는 Pillow 패키지의 이미지 필터 함수가 이용될 수 있는데, 상기 결합 이미지를 임의의 방향으로 뒤집거나, 임의의 방향으로 회전시키거나, 흐림, 윤곽, 디테일, 가장자리 강화, 가장자리 심화강화, 엠보싱, 가장자리 찾기, 선명하게, 매끄럽게, 더 매끄럽게 효과를 포함하는 필터를 적용시킬 수 있다.
만약, 상기 X-ray 이미지 분류단계(S200)로부터 4가지의 치환물의 크기인 D, E, C, F로 분류된 결합 이미지에서 그룹에 따라 상기 결합 이미지의 수가 상대적으로 적거나 상대적으로 많을 수 있다. 따라서 상대적으로 이미지의 수가 많은 그룹은 상기 딥러닝 모델이 학습되었을 때 분류 정확도가 높지만, 상대적으로 이미지의 수가 적은 그룹은 상기 딥러닝 모델이 학습되었을 때 분류 정확도가 낮을 수 있다. 따라서 이러한 데이터 불균형을 해소하고 딥러닝 모델의 분류 정확도를 높이기 위해서 상기 전처리 단계(S300)로부터 상기 결합 이미지가 증대(Augmentation)될 수 있다. 예컨대, 상기 전처리 단계(S300)로부터 상기 결합 이미지가 710개가 획득된다면, 상기 결합 이미지가 뒤집기, 회전하기 및 필터 적용하기 중 적어도 하나를 통해서 증대(Augmentation)됨으로써, 1,910개의 결합 이미지가 획득될 수 있다.
다음으로, 상기 모델 학습단계(S400)는 상기 적어도 하나의 프로세서(110)에 의하여, 전처리된 X-ray 이미지가 학습 데이터셋이 되어 상기 딥러닝 모델이 학습된다.
본 발명에서 언급하는 전처리된 X-ray 이미지는 가장 바람직하게 상기 전처리 단계(S300)로부터 증대(Augmentation)된 결합 이미지이다.
상기 딥러닝 모델은 ResNet101 모델인 것을 특징으로 한다. 이론적으로, 딥러닝 모델은 신경망의 깊이가 깊어짐에 따라, 즉 층(Layer)이 많아짐에 따라 모델의 성능도 증가한다. 실제로는, 딥러닝 모델 내 신경망을 깊게 쌓으면 기울기 소실(Gradient vanishing) 또는 폭주(Gradient exploding)가 발생되어 모델의 성능이 떨어진다. 이는, 역전파로 얻어지는 기울기가 너무 작아지거나 커지면서 발생되는 현상이다. 또한, 딥러닝 모델 내 신경망을 깊게 쌓으면 파라미터 수가 많아져 학습 에러율이 증가한다. 본 발명은 상술한 문제점이상기 딥러닝 모델에 발생되지 않도록 ResNet101 모델이 사용된다. ResNet101 모델은 입력값을 출력값에 더해줄 수 있는 지름길 역할을 하는 잔차 블록(Residual block)을 구비함으로써, 신경망의 깊이가 깊어지더라도 기울기 소실 또는 폭주 문제가 해결될 수 있는 현저한 효과가 있다.
도 3을 보면, ResNet101 모델은 합성곱 레이어와 풀링 레이어가 반복되는 CNN 모델이다. 입력 이미지에 대한 최초 레이어는 7*7 사이즈의 커널(Kernel)이 합성곱 연산을 거쳐 특징맵을 추출할 수 있다. 커널(Kernel)을 거친 이미지는 풀링 레이어(Pooling layer)로 전달되고, 해당 레이어에서 맥스 풀링(Max Pooling)될 수 있다. 그리고 맥스 풀링(Max Pooling)된 이미지는 다수 개의 합성곱 레이어(Convolutional layer)로 전달되고, 1*1, 3*3, 1*1의 사이즈의 커널(Kernel)이 64, 128, 256, 512, 1024, 2048개 중 하나의 합성곱 연산이 수행될 수 있다. 마지막으로, 합성곱 연산된 이미지는 풀링 레이어(Pooling layer)로 전달되고, 해당 레이어에서 평균 풀링(Average Pooling)될 수 있다.
도 4를 보면, 결합 이미지를 생성하지 않고 이를 이용하여 학습된 딥러닝 모델과 본 발명의 일실시예에 따라 결합 이미지를 생성하고 이를 이용하여 학습된 딥러닝 모델의 정확도를 비교해보았다. 이때, 두 경우 모두 각각의 학습 데이터셋을 훈련 데이터셋 80%, 검증 데이터셋 20%로 나누고, 훈련 데이터셋을 다시 훈련 데이터셋 80%, 검증 데이터셋 20%로 나누어 학습하였다.
두 경우를 비교해본 결과, 결합 이미지를 생성하지 않고 정면 이미지와 측면 이미지 각각으로 훈련했을 때 딥러닝 모델의 분류 정확도가 76.53%로 도출되었다. 반면에, 본 발명의 일실시예와 같이 한 쌍의 정면 이미지와 측면 이미지를 전처리 단계(S300)를 통해서 결합하여 생성된 결합 이미지로 훈련했을 때 딥러닝 모델의 분류 정확도가 90% 이상의 분류 정확도를 보이는 것을 확인하였다.
본 발명에 의하면, 한 쌍의 정면 이미지와 측면 이미지를 포함하는 X-ray 이미지를 전처리한 후 딥러닝 모델을 학습함으로써, 치환물의 크기에 대한 분류 정확도가 향상된 딥러닝 모델을 생성할 수 있다.
딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법
도 5를 보면, 본 발명의 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법은 X-ray 이미지 획득단계(S100), X-ray 이미지 분류단계(S200), 전처리 단계(S300), 모델 학습단계(S400), 환자 이미지 획득단계(S500), 환자 이미지 전처리 단계(S600) 및 크기 출력단계(S700)를 포함한다.
본 발명의 상기 X-ray 이미지 획득단계(S100), X-ray 이미지 분류단계(S200), 전처리 단계(S300), 모델 학습단계(S400)는 상술한 딥러닝 모델 학습 방법과 동일하다.
상기 X-ray 이미지 획득단계(S100)는 적어도 하나의 프로세서(110)에 의하여, 다수를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 다수 개의 X-ray 이미지가 획득된다.
상기 적어도 하나의 프로세서(110)는 데이터 신뢰성을 확보할 수 있도록 하나 이상의 외부의료기관의 서버에 저장된 다수 개의 X-ray 이미지를 획득할 수 있다. 구체적으로, 상기 컴퓨터 장치(100)는 상기 외부의료기관의 서버와 인터넷 네트워크를 통해서 양방향 통신이 가능하도록 연결됨으로써, 상기 적어도 하나의 프로세서(110)는 상기 다수 개의 X-ray 이미지를 획득할 수 있다. 또는, 상기 컴퓨터 장치(100)는 상기 외부의료기관의 서버로부터 추출되어 저장된 USB와 같은 외부저장장치가 연결됨으로써, 상기 적어도 하나의 프로세서(110)는 상기 다수 개의 X-ray 이미지를 획득할 수 있다. 또는, 상기 기록매체(120)는 상기 외부의료기관의 서버로부터 추출되어 내장함으로써, 상기 적어도 하나의 프로세서(110)는 상기 다수 개의 X-ray 이미지를 획득할 수 있다. 다만, 상기 X-ray 이미지 획득단계(S100)는 상술한 방법에 한정되지 않고 다양한 방법으로 상기 다수 개의 X-ray 이미지가 획득될 수 있다.
한편, 상기 X-ray 이미지 획득단계(S100)는 각 X-ray 이미지가 획득된 위치인 이미지 경로와 해당 X-ray 이미지 상에서 슬관절의 위치 및 크기를 포함하는 라벨 정보가 함께 획득될 수 있다. 이는, 본 발명은 상기 다수 개의 X-ray 이미지를 획득하여 딥러닝 모델을 학습하는 것을 목적으로 함으로, 각 X-ray 이미지에 촬영된 슬관절의 정보를 파악된 상태여야만 하기 때문이다.
또한, 본 발명에서 언급하는 다수는 외부의료기관 내 의료진으로부터 슬관절 골관절염을 진단받은 사람, 슬관절 골관절염이 의심되는 사람, 정상인 사람을 가리지 않고 선택된 불특정 다수를 일컫는다.
또한, 본 발명에서 언급하는 X-ray 촬영장치는 X선을 인체에 투과하여 촬영함으로써, 인체의 내부 구조물을 확인할 수 있는 이미지를 출력하는 장치이다. 본 발명의 X-ray 촬영장치의 촬영대상은 다수 각각의 슬관절 부위이다. 여기서, 슬관절은 무릎관절이고, 무릅을 둘러싼 3개의 뼈인 넙다리뼈, 정강뼈, 무릎뼈 등이 인접해서 이루는 관절이다. 따라서 상기 다수 개의 X-ray 이미지는 X-ray 촬영장치에 의하여 상기 넙다리뼈, 정강뼈, 무릎뼈의 일부 또는 전체가 촬영된 것이다.
다음으로, 상기 X-ray 이미지 분류단계(S200)는 상기 적어도 하나의 프로세서(110)에 의하여, 데이터 프레임에 따라 상기 다수 개의 X-ray 이미지가 분류된다.
예컨대, 상기 적어도 하나의 프로세서(110)가 파이썬(Python) 코드로 본 발명의 딥러닝 모델 학습 방법을 구현한다면, 파이썬(Python) 중의 특정 기능을 지원하는 코드 패키지를 이용할 수 있다. 일반적으로 코드 패키지를 이용하는 것은 전처리 명령을 도입하는 코드를 개발자가 직접 작성할 필요가 없으므로 용이하게 데이터 전처리를 가능하게 할 수 있다.
즉, 상기 X-ray 이미지 분류단계(S200)는 Pandas 패키지가 이용되어 상기 이미지 경로, 및 라벨 정보를 포함하는 상기 데이터 프레임이 생성될 수 있다. 상기 라벨 정보는 상술한 바와 같이 각 X-ray 이미지에 촬영된 슬관절에 대해 임상적으로 결정된 치환물의 크기를 포함한다.
무릎 인공관절은 일반적으로 대퇴골 구성요소(Femoral component), 경골 구성요소(Tibial component) 및 대퇴골 구성요소와 경골 구성요소 사이의 공간(Spacer)으로 구성된다. 즉, 본 발명에서 언급하는 치환물의 크기는 기 제작된 무릎 인공관절의 대퇴골 구성요소의 크기, 경골 구성요소의 크기 중 적어도 하나에 따라 분류된 크기값일 수 있다.
예컨대, 무릎 인공관절을 제작하는 임의의 회사가 대퇴골 구성요소를 D, E, C, F 크기로 분류하여 제작한다면, 상기 라벨 정보 내 상기 슬관절의 크기는 D, E, C, F 중 하나의 값일 수 있다. 그리고, X-ray 이미지 획득단계(S100)로부터 획득된 각 X-ray 이미지 1, 2, 3의 슬관절의 크기가 D, E, D라면, 상기 X-ray 이미지 분류단계(S200)는 X-ray 이미지 1과 3은 동일한 그룹에 분류될 수 있고, X-ray 이미지 2는 또 다른 그룹에 분류될 수 있다.
다음으로, 상기 전처리 단계(S300)는 상기 적어도 하나의 프로세서(110)에 의하여, 상기 데이터 프레임에 따라 분류된 X-ray 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 된다,
전처리 방법에 있어서, 상기 X-ray 이미지 획득단계(S100)는, 슬관절의 정면이 촬영된 정면 이미지와 슬관절의 측면이 촬영된 측면 이미지가 한 쌍으로 획득되고, 상기 전처리 단계(S300)는, 한 쌍의 정면 이미지와 측면 이미지가 Numpy array 매트릭스로 각각 변환된 후 결합되는 것을 특징으로 한다.
이때, 상기 X-ray 이미지 획득단계(S100)는, 임의의 대상자의 오른다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득되거나, 임의의 대상자의 왼다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득될 수 있다. 즉, 동일한 다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득되는 것을 특징으로 한다. 예컨대, 상기 X-ray 이미지 획득단계(S100)로부터 1,420개의 X-ray 이미지가 획득된다면, 한 쌍의 정면 이미지와 측면 이미지 710개가 획득되는 것이다.
그리고 슬관절을 보면, 슬개골, 종아리뼈 및 경골이 맞물려 있는 부분에서 무릎면이 보이면 전면이고, 안쪽관절융기 및 가쪽관절융기가 보이면 후면이다. 즉, 본 발명에서 언급하는 정면 이미지는 무릎면이 보이도록 촬영된 이미지이다. 그리고 측면 이미지는 무릎면의 일부와 안쪽관절융기가 보이도록 촬영된 이미지이거나, 무릎면의 일부와 가쪽관절융기가 보이도록 촬영된 이미지일 수 있다.
또한, 상기 전처리 단계(S300)는 한 쌍의 정면 이미지와 측면 이미지가 동일한 사이즈로 변경된 후 상기 [수학식 1]이 이용되어 결합됨으로써, 결합 이미지가 생성되는 것을 특징으로 한다. 여기서, H(X)는 결합 이미지에 대한 매트릭스이고, A는 정면 이미지에 대한 매트릭스이고, B는 측면 이미지에 대한 매트릭스이다.
도 2의 본 발명의 일실시예를 보면, 상기 전처리 단계(S300)는 가장 우선적으로 정면 이미지와 측면 이미지는 224*224 크기의 동일한 사이즈를 갖도록 할 수 있다. 모든 이미지는 다수 개의 픽셀로 이루어져 있고, 가로*세로의 픽셀의 크기를 동일하게 한다면 동일한 사이즈를 갖는 이미지로 변경될 수 있다. 상기 전처리 단계(S300)는 상기 전면 이미지와 측면 이미지가 동일한 사이즈로 변경되도록 하는 것은 상기 결합 이미지를 생성하기 위함이다.
그리고 상기 전처리 단계(S300)는 상술한 바와 같이 상기 정면 이미지가 Numpy array 매트릭스로 변환될 수 있다. 이때, Numpy array 매트릭스의 행렬의 크기는 정면 이미지의 크기일 수 있다. 그리고 각 픽셀이 매트릭스의 성분이 될 수 있다. 역시나, 상기 전처리 단계(S300)는 상술한 바와 같이 상기 측면 이미지가 Numpy array 매트릭스로 변환될 수 있다. 이때, Numpy array 매트릭스의 행렬의 크기는 측면 이미지의 크기일 수 있다. 그리고 각 픽셀이 매트릭스의 성분이 될 수 있다.
그리고 상기 전처리 단계(S300)는 상기 정면 이미지의 매트릭스와 상기 측면 이미지의 매트릭스에서 대응되는 위치에 있는 성분이 상기 [수학식 1]과 같이 연산될 수 있다. 따라서 상기 한 쌍의 정면 이미지와 측면 이미지에 대한 결합 이미지 역시 224*224 크기를 갖는 이미지일 수 있다. 예컨대, 정면 이미지의 매트릭스 ‘A’의 성분 a11과 이와 한 쌍인 측면 이미지의 매트릭스 ‘B’의 성분 b11은 대응된다 할 수 있다. 그리고 대응되는 위치의 성분인 a11 및 b11은 상기 [수학식 1]에 따라 (a11+b11)/2로 연산될 수 있고, 연산된 값이 상기 결합 이미지 내 해당 위치의 성분일 수 있다. 따라서 상기 X-ray 이미지 획득단계(S100)로부터 한 쌍의 정면 이미지와 측면 이미지 710개가 획득된다면, 상기 전처리 단계(S300)로부터 상기 결합 이미지 역시 710개가 획득될 수 있다.
또한, 상기 전처리 단계(S300)는 상기 결합 이미지에 대한 데이터 불균형을 해소할 수 있도록 이미지 필터 함수가 이용되어 상기 결합 이미지가 증대(Augmentation)되는 것을 특징으로 한다.
이때, 상기 전처리 단계(S300)는 Pillow 패키지의 이미지 필터 함수가 이용될 수 있는데, 상기 결합 이미지를 임의의 방향으로 뒤집거나, 임의의 방향으로 회전시키거나, 흐림, 윤곽, 디테일, 가장자리 강화, 가장자리 심화강화, 엠보싱, 가장자리 찾기, 선명하게, 매끄럽게, 더 매끄럽게 효과를 포함하는 필터를 적용시킬 수 있다.
예컨대, 상기 X-ray 이미지 분류단계(S200)로부터 치환물의 크기에 따라 분류된 결합 이미지에서 그룹별로 상기 결합 이미지의 수가 상대적으로 적거나 상대적으로 많은 그룹이 발생하게 된다. 상대적으로 많은 이미지를 갖는 그룹은 상기 딥러닝 모델이 학습되었을 때 분류 정확도가 높지만, 상대적으로 적은 이미지를 갖는 그룹은 상기 딥러닝 모델이 학습되었을 때 분류 정확도가 낮을 수 있다. 따라서 이러한 데이터 불균형을 해소하고 딥러닝 모델의 분류 정확도를 높이기 위해서 상기 전처리 단계(S300)로부터 상기 결합 이미지가 증대(Augmentation)될 수 있다. 예컨대, 상기 전처리 단계(S300)로부터 상기 결합 이미지가 710개가 획득된다면, 상기 결합 이미지가 뒤집기, 회전하기 및 필터 적용하기 중 적어도 하나를 통해서 증대(Augmentation)됨으로써, 1,910개의 결합 이미지가 획득될 수 있다.
다음으로, 상기 모델 학습단계(S400)는 상기 적어도 하나의 프로세서(110)에 의하여, 전처리된 X-ray 이미지가 학습 데이터셋이 되어 상기 딥러닝 모델이 학습된다.
본 발명에서 언급하는 전처리된 X-ray 이미지는 가장 바람직하게 상기 전처리 단계(S300)로부터 증대(Augmentation)된 결합 이미지이다.
상기 딥러닝 모델은 ResNet101 모델인 것을 특징으로 한다. 이론적으로, 딥러닝 모델은 신경망의 깊이가 깊어짐에 따라, 즉 층(Layer)이 많아짐에 따라 모델의 성능도 증가한다. 실제로는, 딥러닝 모델 내 신경망을 깊게 쌓으면 기울기 소실(Gradient vanishing) 또는 폭주(Gradient exploding)가 발생되어 모델의 성능이 떨어진다. 이는, 역전파로 얻어지는 기울기가 너무 작아지거나 커지면서 발생되는 현상이다. 또한, 딥러닝 모델 내 신경망을 깊게 쌓으면 파라미터 수가 많아져 학습 에러율이 증가한다. 본 발명은 상술한 문제점이상기 딥러닝 모델에 발생되지 않도록 ResNet101 모델이 사용된다. ResNet101 모델은 입력값을 출력값에 더해줄 수 있는 지름길 역할을 하는 잔차 블록(Residual block)을 구비함으로써, 신경망의 깊이가 깊어지더라도 기울기 소실 또는 폭주 문제가 해결될 수 있는 현저한 효과가 있다.
도 3을 보면, ResNet101 모델은 합성곱 레이어와 풀링 레이어가 반복되는 CNN 모델이다. 입력 이미지에 대한 최초 레이어는 7*7 사이즈의 커널(Kernel)이 합성곱 연산을 거쳐 특징맵을 추출할 수 있다. 커널(Kernel)을 거친 이미지는 풀링 레이어(Pooling layer)로 전달되고, 해당 레이어에서 맥스 풀링(Max Pooling)될 수 있다. 그리고 맥스 풀링(Max Pooling)된 이미지는 다수 개의 합성곱 레이어(Convolutional layer)로 전달되고, 1*1, 3*3, 1*1의 사이즈의 커널(Kernel)이 64, 128, 256, 512, 1024, 2048개 중 하나의 합성곱 연산이 수행될 수 있다. 마지막으로, 합성곱 연산된 이미지는 풀링 레이어(Pooling layer)로 전달되고, 해당 레이어에서 평균 풀링(Average Pooling)될 수 있다.
다음으로, 상기 환자 이미지 획득단계(S500)는 상기 적어도 하나의 프로세서(110)에 의하여, 슬관절 치환술이 예정된 환자를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 환자 이미지가 획득된다.
상기 환자 이미지는 상기 X-ray 이미지 획득단계(S100)로부터 획득된 다수 개의 X-ray 이미지와 달리 환자 이미지가 획득된 위치인 이미지 경로와 상기 환자 이미지 상에서 슬관절의 위치 및 크기를 포함하는 라벨 정보가 포함되지 않는다. 이는, 기 학습된 딥러닝 모델을 통해서 상기 환자 이미지 내 슬관절에 적합한 치환물의 크기를 확인하기 위함이기 때문이다.
상기 X-ray 촬영장치는 X선을 인체에 투과하여 촬영함으로써, 인체의 내부 구조물을 확인할 수 있는 이미지를 출력하는 장치이다. 본 발명의 상기 환자 이미지 획득단계(S500)에서 상기 X-ray 촬영장치의 촬영대상은 슬관절 치환술이 예정된 환자의 슬관절 부위이다. 여기서, 슬관절은 무릎관절이고, 무릅을 둘러싼 3개의 뼈인 넙다리뼈, 정강뼈, 무릎뼈 등이 인접해서 이루는 관절이다. 따라서 상기 환자 이미지는 상기 X-ray 촬영장치에 의하여 환자의 넙다리뼈, 정강뼈, 무릎뼈의 일부 또는 전체가 촬영된 것이다.
다음으로, 상기 환자 이미지 전처리 단계(S600)는 상기 적어도 하나의 프로세서(110)에 의하여, 상기 환자 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 된다.
보다 구체적으로, 상기 환자 이미지 획득단계(S500)는, 환자의 슬관절의 정면이 촬영된 정면 이미지와 환자의 슬관절의 측면이 촬영된 측면 이미지가 획득되고, 상기 환자 이미지 전처리 단계(S600)는, 환자의 정면 이미지와 측면 이미지가 Numpy array 매트릭스로 각각 변환된 후 결합되는 것을 특징으로 한다.
이때, 상기 환자 이미지 획득단계(S500)는, 환자의 오른다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득되거나, 환자의 왼다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득될 수 있다. 즉, 동일한 다리에서 한 쌍의 정면 이미지와 측면 이미지가 획득되는 것을 특징으로 한다.
그리고 슬관절을 보면, 슬개골, 종아리뼈 및 경골이 맞물려 있는 부분에서 무릎면이 보이면 전면이고, 안쪽관절융기 및 가쪽관절융기가 보이면 후면이다. 즉, 본 발명에서 언급하는 정면 이미지는 환자의 무릎면이 보이도록 촬영된 이미지이다. 그리고 측면 이미지는 환자의 무릎면의 일부와 안쪽관절융기가 보이도록 촬영된 이미지이거나, 환자의 무릎면의 일부와 가쪽관절융기가 보이도록 촬영된 이미지일 수 있다.
또한, 상기 환자 이미지 전처리 단계(S600)는, 환자의 정면 이미지와 측면 이미지가 동일한 사이즈로 변경된 후 상기 [수학식 1]이 이용되어 결합됨으로써, 환자의 결합 이미지가 생성되는 것을 특징으로 한다. 여기서, H(X)는 환자의 결합 이미지에 대한 매트릭스이고, A는 환자의 정면 이미지에 대한 매트릭스이고, B는 환자의 측면 이미지에 대한 매트릭스이다.
상기 환자 이미지 전처리 단계(S600)는 상기 모델 학습단계(S400)로부터 학습된 딥러닝 모델의 입력 이미지의 크기와 동일하게 상기 환자 이미지의 크기가 변경될 수 있다. 이는, 학습된 딥러닝 모델에 상기 환자 이미지가 입력되기 위함이다. 예컨대, 딥러닝 모델의 입력 이미지의 크기가 224*224 라면, 상기 환자 이미지 전처리 단계(S600)는 상기 환자의 전면 이미지가 224*224 크기로, 측면 이미지가 224*224 크기로 변경될 수 있다.
그리고 상기 환자 이미지 전처리 단계(S600)는 상술한 바와 같이 환자의 정면 이미지가 Numpy array 매트릭스로 변환될 수 있다. 이때, Numpy array 매트릭스의 행렬의 크기는 정면 이미지의 크기일 수 있다. 그리고 각 픽셀이 매트릭스의 성분이 될 수 있다. 역시나, 상기 환자 이미지 전처리 단계(S600)는 상술한 바와 같이 환자의 측면 이미지가 Numpy array 매트릭스로 변환될 수 있다. 이때, Numpy array 매트릭스의 행렬의 크기는 측면 이미지의 크기일 수 있다. 그리고 각 픽셀이 매트릭스의 성분이 될 수 있다.
그리고 상기 환자 이미지 전처리 단계(S600)는 환자의 정면 이미지의 매트릭스와 환자의 측면 이미지의 매트릭스에서 대응되는 위치에 있는 성분이 상기 [수학식 1]과 같이 연산될 수 있다. 따라서 환자의 정면 이미지와 측면 이미지에 대한 결합 이미지 역시 224*224 크기를 갖는 이미지일 수 있다. 예컨대, 환자의 정면 이미지의 매트릭스 ‘A’의 성분 a11과 환자의 측면 이미지의 매트릭스 ‘B’의 성분 b11은 대응된다 할 수 있다. 그리고 대응되는 위치의 성분인 a11 및 b11은 상기 [수학식 1]에 따라 (a11+b11)/2로 연산될 수 있고, 연산된 값이 환자의 결합 이미지 내 해당 위치의 성분일 수 있다.
다음으로, 상기 크기 출력단계(S700)는 상기 적어도 하나의 프로세서(110)에 의하여, 전처리된 상기 환자 이미지가 상기 모델 학습단계(S400)로부터 학습된 상기 딥러닝 모델에 입력됨으로써, 환자의 슬관절에 적합한 치환물의 크기가 출력된다.
여기서, 상기 전처리된 상기 환자 이미지는 상기 환자 이미지 전처리 단계(S600)로부터 생성된 환자의 결합 이미지이다. 즉, 환자의 결합 이미지가 학습된 상기 딥러닝 모델에 입력됨으로써, 환자의 슬관절에 적합한 치환물의 크기가 출력될 수 있는 것이다.
예컨대, 무릎 인공관절이 대퇴골 구성요소(Femoral component), 경골 구성요소(Tibial component) 및 대퇴골 구성요소와 경골 구성요소 사이의 공간(Spacer)으로 구성되고, 무릎 인공관절을 제작하는 임의의 회사가 대퇴골 구성요소를 D, E, C, F 크기로 분류하여 제작하고, X-ray 이미지 분류단계(S200)로부터 상기 딥러닝 모델 학습을 위해 획득된 X-ray 이미지가 대퇴골 구성요소 크기인 D, E, C, F 중 하나로 분류되었다면, 상기 크기 출력단계(S700)는 환자의 결합 이미지에 대하여 상기 대퇴골 구성요소 크기인 D, E, C, F 중 하나를 환자의 슬관절에 적합한 치환물의 크기로 출력될 수 있다.
따라서 본 발명에 의하면, 한 쌍의 정면 이미지와 측면 이미지를 포함하는 X-ray 이미지를 전처리한 후 딥러닝 모델을 학습함으로써, 치환물의 크기에 대한 분류 정확도가 향상된 딥러닝 모델을 생성할 수 있다. 또한, 딥러닝 기반의 치환물의 크기 예측 모델을 생성함으로써, 슬개골 치환술 전 환자의 슬관절에 적합한 치환물의 크기를 미리 파악할 수 있으므로 의료진이 환자에 맞는 무릎 인공관절을 선택하는데 도움을 줄 수 있고, 수술 후 환자의 신체 내부에서 치환물의 안정성을 확보하여 더 나은 임상 예후를 기대할 수 있는 현저한 효과가 있다.
실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현되는 경우, 필요한 작업을 수행하는 프로그램 코드 또는 코드 세그먼트들은 컴퓨터 판독 가능 저장 매체에 저장되고 하나 이상의 프로세서에 의해 실행될 수 있다.
그리고 본 명세서에 설명된 주제의 양태들은 컴퓨터에 의해 실행되는 프로그램 모듈 또는 컴포넌트와 같은 컴퓨터 실행 가능 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈 또는 컴포넌트들은 특정 작업을 수행하거나 특정 데이터 형식을 구현하는 루틴, 프로그램, 객체, 데이터 구조를 포함한다. 본 명세서에 설명된 주제의 양태들은 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산 컴퓨팅 환경들에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함하는 로컬 및 원격 컴퓨터 저장 매체에 둘 다에 위치할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 으로 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100.. 컴퓨터 장치
110.. 적어도 하나의 프로세서
120.. 기록매체
110.. 적어도 하나의 프로세서
120.. 기록매체
Claims (14)
- 적어도 하나의 프로세서에 의하여, 다수를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 다수 개의 X-ray 이미지가 획득되는 X-ray 이미지 획득단계;
상기 적어도 하나의 프로세서에 의하여, 데이터 프레임에 따라 상기 다수 개의 X-ray 이미지가 분류되는 X-ray 이미지 분류단계;
상기 적어도 하나의 프로세서에 의하여, 상기 데이터 프레임에 따라 분류된 X-ray 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 되는 전처리 단계; 및
상기 적어도 하나의 프로세서에 의하여, 전처리된 X-ray 이미지가 학습 데이터셋이 되어 상기 딥러닝 모델이 학습되는 모델 학습단계;를 포함하고,
상기 X-ray 이미지 획득단계는,
슬관절의 정면이 촬영된 정면 이미지와 슬관절의 측면이 촬영된 측면 이미지가 한 쌍으로 획득되고,
상기 전처리 단계는,
한 쌍의 정면 이미지와 측면 이미지가 Numpy array 매트릭스로 각각 변환되고,
상기 정면 이미지의 매트릭스와 상기 측면 이미지의 매트릭스에서 대응되는 위치에 있는 성분이 하기 [수학식 1]이 이용되어 연산됨으로써, 결합 이미지가 생성되는 것을 특징으로 하는 딥러닝 모델 학습 방법.
[수학식 1]
여기서, H(X)는 결합 이미지에 대한 매트릭이고, A는 정면 이미지에 대한 매트릭스이고, B는 측면 이미지에 대한 매트릭스이다. - 삭제
- 삭제
- 제 1항에 있어서,
상기 전처리 단계는,
상기 결합 이미지에 대한 데이터 불균형을 해소할 수 있도록 이미지 필터 함수가 이용되어 상기 결합 이미지가 증대(Augmentation)되는 것을 특징으로 하는 딥러닝 모델 학습 방법. - 제 1항에 있어서,
상기 딥러닝 모델은,
ResNet101 모델인 것을 특징으로 하는 딥러닝 모델 학습 방법. - 적어도 하나의 프로세서에 의하여, 다수를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 다수 개의 X-ray 이미지가 획득되는 X-ray 이미지 획득단계;
상기 적어도 하나의 프로세서에 의하여, 데이터 프레임에 따라 상기 다수 개의 X-ray 이미지가 분류되는 X-ray 이미지 분류단계;
상기 적어도 하나의 프로세서에 의하여, 상기 데이터 프레임에 따라 분류된 X-ray 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 되는 전처리 단계;
상기 적어도 하나의 프로세서에 의하여, 전처리된 X-ray 이미지가 학습 데이터셋이 되어 상기 딥러닝 모델이 학습되는 모델 학습단계;
상기 적어도 하나의 프로세서에 의하여, 슬관절 치환술이 예정된 환자를 대상으로 X-ray 촬영장치로부터 슬관절을 포함하여 촬영된 환자 이미지가 획득되는 환자 이미지 획득단계;
상기 적어도 하나의 프로세서에 의하여, 상기 환자 이미지가 딥러닝 모델에 입력될 수 있도록 전처리 되는 환자 이미지 전처리 단계; 및
상기 적어도 하나의 프로세서에 의하여, 전처리된 상기 환자 이미지가 상기 모델 학습단계로부터 학습된 상기 딥러닝 모델에 입력됨으로써, 환자의 슬관절에 적합한 치환물의 크기가 출력되는 크기 출력단계;를 포함하고,
상기 X-ray 이미지 획득단계는,
슬관절의 정면이 촬영된 정면 이미지와 슬관절의 측면이 촬영된 측면 이미지가 한 쌍으로 획득되고,
상기 전처리 단계는,
한 쌍의 정면 이미지와 측면 이미지가 Numpy array 매트릭스로 각각 변환되고,
상기 정면 이미지의 매트릭스와 상기 측면 이미지의 매트릭스에서 대응되는 위치에 있는 성분이 하기 [수학식 1]이 이용되어 연산됨으로써, 결합 이미지가 생성되는 것을 특징으로 하는 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법.
[수학식 1]
여기서, H(X)는 결합 이미지에 대한 매트릭스이고, A는 정면 이미지에 대한 매트릭스이고, B는 측면 이미지에 대한 매트릭스이다. - 삭제
- 삭제
- 제 6항에 있어서,
상기 전처리 단계는,
상기 결합 이미지에 대한 데이터 불균형을 해소할 수 있도록 이미지 필터 함수가 이용되어 상기 결합 이미지가 증대(Augmentation)되는 것을 특징으로 하는 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법. - 제 6항에 있어서,
상기 딥러닝 모델은,
ResNet101 모델인 것을 특징으로 하는 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법. - 제 6항에 있어서,
상기 환자 이미지 획득단계는, 환자의 슬관절의 정면이 촬영된 정면 이미지와 환자의 슬관절의 측면이 촬영된 측면 이미지가 획득되고,
상기 환자 이미지 전처리 단계는, 환자의 정면 이미지와 측면 이미지가 Numpy array 매트릭스로 각각 변환된 후 결합되는 것을 특징으로 하는 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법. - 제 11항에 있어서,
상기 환자 이미지 전처리 단계는,
환자의 정면 이미지와 측면 이미지가 동일한 사이즈로 변경된 후 하기 [수학식 1]이 이용되어 결합됨으로써, 환자의 결합 이미지가 생성되는 것을 특징으로 하는 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법.
[수학식 1]
여기서, H(X)는 환자의 결합 이미지에 대한 매트릭스이고, A는 환자의 정면 이미지에 대한 매트릭스이고, B는 환자의 측면 이미지에 대한 매트릭스이다. - 제1항, 제4항 및 제5항 중 어느 한 항의 딥러닝 모델 학습 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 제6항, 제9항, 제10항, 제11항 및 제12항 중 어느 한 항의 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220119788A KR102771408B1 (ko) | 2022-09-22 | 2022-09-22 | 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220119788A KR102771408B1 (ko) | 2022-09-22 | 2022-09-22 | 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20240040900A KR20240040900A (ko) | 2024-03-29 |
| KR102771408B1 true KR102771408B1 (ko) | 2025-02-24 |
Family
ID=90483762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220119788A Active KR102771408B1 (ko) | 2022-09-22 | 2022-09-22 | 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102771408B1 (ko) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100901524B1 (ko) | 2008-01-08 | 2009-06-08 | 주식회사 코렌텍 | 대퇴골 결합부재에 복수의 곡률부가 형성된 인공 슬관절 |
| KR101782446B1 (ko) | 2016-02-25 | 2017-09-28 | 서울대학교산학협력단 | 슬관절 전치환술 보조를 위한 수술장치 |
| KR102254844B1 (ko) * | 2019-05-29 | 2021-05-21 | 전북대학교산학협력단 | 기계학습을 이용한 의료 영상 처리 방법 및 장치 |
-
2022
- 2022-09-22 KR KR1020220119788A patent/KR102771408B1/ko active Active
Non-Patent Citations (2)
| Title |
|---|
| Yu Yue 외 4인, Prediction of Knee Prosthesis Using Patient Gender and BMI With Non-marked X-Ray by Deep Learning(2022.03.) 1부. |
| Yu Yue 외 6인, Preoperative Prediction of Prosthetic Size in Total Knee Arthroplasty Based on Multimodal Data and Deep Learning(2019) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240040900A (ko) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Smoger et al. | Statistical modeling to characterize relationships between knee anatomy and kinematics | |
| Tiulpin et al. | A novel method for automatic localization of joint area on knee plain radiographs | |
| Caprara et al. | Automated pipeline to generate anatomically accurate patient-specific biomechanical models of healthy and pathological FSUs | |
| Bayramoglu et al. | A lightweight cnn and joint shape-joint space () descriptor for radiological osteoarthritis detection | |
| Scarvell et al. | New registration algorithm for determining 3D knee kinematics using CT and single‐plane fluoroscopy with improved out‐of‐plane translation accuracy | |
| Jahangir et al. | Rapid X-ray-based 3-D finite element modeling of medial knee joint cartilage biomechanics during walking | |
| Yamazaki et al. | 3D kinematics of mobile-bearing total knee arthroplasty using X-ray fluoroscopy | |
| Burge et al. | Applying machine learning methods to enable automatic customisation of knee replacement implants from CT data | |
| Oeding et al. | A practical guide to the development and deployment of deep learning models for the orthopaedic surgeon: Part III, focus on registry creation, diagnosis, and data privacy | |
| Roth et al. | An automated optimization pipeline for clinical-grade computer-assisted planning of high tibial osteotomies under consideration of weight-bearing | |
| Przystalski et al. | Automated correction angle calculation in high tibial osteotomy planning | |
| Kakavand et al. | Integration of Swin UNETR and statistical shape modeling for a semi-automated segmentation of the knee and biomechanical modeling of articular cartilage | |
| Liang et al. | Development and validation of a human lumbar spine finite element model based on an automated process: Application to disc degeneration | |
| Hu et al. | Automatic bone surface restoration for markerless computer-assisted orthopaedic surgery | |
| KR102771408B1 (ko) | 딥러닝 모델 학습 방법, 딥러닝 모델을 이용한 슬관절 치환물의 크기 예측 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 | |
| Sanchis-Alfonso et al. | Parametric finite element model of medial patellofemoral ligament reconstruction model development and clinical validation | |
| Zhang et al. | A novel tool to provide predictable alignment data irrespective of source and image quality acquired on mobile phones: what engineers can offer clinicians | |
| Mandel et al. | Prediction outcomes for anterior vertebral body growth modulation surgery from discriminant spatiotemporal manifolds | |
| Chen et al. | Multimodality‐based knee joint modelling method with bone and cartilage structures for total knee arthroplasty | |
| Kakavand et al. | Swin UNETR segmentation with automated geometry filtering for biomechanical modeling of knee joint cartilage | |
| Akter et al. | Robust initialisation for single-plane 3D CT to 2D fluoroscopy image registration | |
| Rasouligandomani et al. | Dataset of finite element models of normal and deformed thoracolumbar spine | |
| Nguyen | An automated, deep learning approach to systematically & sequentially derive three-dimensional knee kinematics directly from two-dimensional fluoroscopic video | |
| Deng et al. | Generic modeling of contact and fluid pressures in human knee Joint for a subpopulation | |
| Sun et al. | Evaluation of the consistency of the MRI-based AI segmentation cartilage model using the natural tibial plateau cartilage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20220922 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20241030 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20241211 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20250218 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20250218 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |