KR101589673B1 - infectious disease diagnosis method and apparatus by image of reagent kit - Google Patents
infectious disease diagnosis method and apparatus by image of reagent kit Download PDFInfo
- Publication number
- KR101589673B1 KR101589673B1 KR1020150142123A KR20150142123A KR101589673B1 KR 101589673 B1 KR101589673 B1 KR 101589673B1 KR 1020150142123 A KR1020150142123 A KR 1020150142123A KR 20150142123 A KR20150142123 A KR 20150142123A KR 101589673 B1 KR101589673 B1 KR 101589673B1
- Authority
- KR
- South Korea
- Prior art keywords
- reagent
- positive
- negative
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
- G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
- G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/52—Use of compounds or compositions for colorimetric, spectrophotometric or fluorometric investigation, e.g. use of reagent paper and including single- and multilayer analytical elements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2800/00—Detection or diagnosis of diseases
- G01N2800/26—Infectious diseases, e.g. generalised sepsis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- Hematology (AREA)
- General Health & Medical Sciences (AREA)
- Urology & Nephrology (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Cell Biology (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Medicinal Chemistry (AREA)
- Biotechnology (AREA)
- Microbiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Plasma & Fusion (AREA)
- Theoretical Computer Science (AREA)
- Food Science & Technology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
Abstract
본 발명에 따른, 시약 키트의 이미지를 통한 감염병 진단 방법에서, 상기 시약 키트는 음성 판정을 위한 기준 색상을 제공하는 음성 시약, 양성 판정을 위한 기준 색상을 제공하는 양성 시약 및 검체가 투입될 적어도 하나의 반응 시약을 포함하고, 상기 감염병 진단 방법은, 상기 음성 시약, 상기 양성 시약 및 검체가 투입된 상기 반응 시약을 함께 촬영하여 시약 키트 이미지를 얻는 단계; 상기 시약 키트 이미지에서 상기 음성 시약에 해당하는 음성 시약 영역, 상기 양성 시약에 해당하는 양성 시약 영역 및 상기 반응 시약에 해당하는 반응 시약 영역을 검출하는 단계; 상기 반응 시약 영역의 색상을 상기 음성 시약 영역 및 상기 양성 시약 영역의 색상과 비교하여 해당 반응 시약에 대한 음성/양성을 판정하는 단계; 및 상기 음성/양성 판정 결과에 따라 감염병에 대한 음성/양성을 판정하는 단계를 포함하는 것을 특징으로 한다.In a method for diagnosing an infectious disease through an image of a reagent kit according to the present invention, the reagent kit comprises a negative reagent that provides a reference color for negative determination, a positive reagent that provides a reference color for positive determination, The method comprising: obtaining a reagent kit image by photographing the negative reagent, the positive reagent, and the reagent into which the specimen is injected, together with the reaction reagent; Detecting a negative reagent region corresponding to the negative reagent, a positive reagent region corresponding to the positive reagent, and a reaction reagent region corresponding to the reaction reagent in the image of the reagent kit; Comparing the hue of the reaction reagent region with the hue of the negative reagent region and the positive reagent region to determine negative / positive for the reaction reagent; And determining the voice / affinity for the infectious disease according to the result of the voice / affirmative determination.
Description
본 발명은 감염병 진단 방법 및 장치에 관한 것으로, 보다 상세하게는 진단 시약 키트를 촬영한 이미지를 분석하여 감염병을 진단하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for diagnosing an infectious disease, and more particularly, to a method and an apparatus for diagnosing an infectious disease by analyzing an image of a diagnostic reagent kit.
감염병의 경우 최초 발병 이후에 감염이 확산됨에 따라 의학적, 사회적, 그리고 경제적인 피해가 크게 증가하기 때문에, 정확하고 빠르게 진단하여 감염 경로를 조기에 파악하고 확산을 막는 것이 매우 중요하다.It is very important to accurately and quickly diagnose the infectious disease and identify the infectious pathway early and to prevent the spread of the infectious disease since the medical, social, and economic damage increases greatly as the infection spreads after the first onset.
예를 들어 대표적인 감염병에 해당하는 인플루엔자는 인플루엔자 바이러스가 유발하는 감염성 질환으로서, 사람에게 감염되는 경우 일반적인 증상으로 오한, 발열, 인후염, 근육통, 두통, 기침, 무력감과 같은 불쾌감을 야기하며, 심한 경우 폐렴이나 라이증후군과 같은 합병증을 유발하여 노약자에 있어서는 사망하는 경우가 발생하기도 한다. 또한 감염자의 기침이나 재채기를 통해 공기 중으로 나오는 물질로 인해 감염이 전파되며, 조류의 배설물, 침, 콧물, 대변 및 혈액 등으로도 전염될 수 있어 감염이 확산되기 매우 쉽다. 인플루엔자뿐만 아니라, SARS, MERS, 콜레라 등의 여러 감염병이 있으며 각 감염병에 따른 세균이나 바이러스가 존재한다. 그러나 바이러스의 경우 크기가 20-400nm에 불과해, 육안으로 구별할 수 없으며 전자 현미경 등을 사용해야 관찰이 가능하다.For example, influenza, which is a typical infectious disease, is an infectious disease caused by influenza virus. In general, when infected with a human, it causes general discomfort such as chills, fever, sore throat, muscular pain, headache, cough and helplessness. It may lead to complications such as Inlay syndrome and death in elderly people. Infections are spread by the substances that come into the air through coughing or sneezing of the infected person, and it can be spread by the excretion of birds, saliva, runny nose, feces and blood. There are various infectious diseases such as SARS, MERS, and cholera as well as influenza, and there are bacteria or viruses due to each infectious disease. However, viruses are only 20-400 nm in size and can not be distinguished from the naked eye. They can be observed by using an electron microscope or the like.
이러한 감염병을 신속하고 정확하게 진단하기 위해 진단 시약 키트가 사용되고 있는데, 통상적으로 의사 또는 진단자가 육안으로 진단 시약의 색 변화를 관찰함으로써 감염병에 대한 양성/음성을 판정한다. 그러나 이러한 방법은 오로지 진단자의 능력이나 숙련도에 전적으로 의존하는 것이어서 정확도에 있어 한계가 존재하고, 주변의 조명 등과 같은 진단 환경에 따라서 오류가 발생할 수 있다. 게다가 많은 양의 진단 시약 키트를 판독하기 위해서는 다수의 진단자가 필요하거나 많은 시간이 요구된다.Diagnostic reagent kits are being used to quickly and accurately diagnose these infectious diseases. Normally, a physician or a diagnostician judges the positive / negative for the infectious disease by observing the color change of the diagnostic reagent with the naked eye. However, such a method depends entirely on the ability or skill of a diagnostician, so there is a limit to accuracy and an error may occur depending on the diagnostic environment such as surrounding illumination. In addition, a large number of diagnostic reagents are required or a large amount of time is required to read a large quantity of diagnostic reagent kits.
본 발명이 이루고자 하는 기술적 과제는, 진단 시약 키트를 촬영한 이미지를 분석하여 감염병을 진단함으로써, 보다 정확하고 신속하게 감염병을 효과적으로 진단할 수 있는 감염병 진단 방법 및 장치를 제공하는 데 있다.Disclosure of Invention Technical Problem [8] Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to provide an infection diagnosis method and apparatus capable of diagnosing an infectious disease by analyzing images taken by a diagnostic reagent kit.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems that are not mentioned can be clearly understood by those skilled in the art from the following description.
상기 기술적 과제를 해결하기 위한 본 발명에 따른, 시약 키트의 이미지를 통한 감염병 진단 방법에서, 상기 시약 키트는 음성 판정을 위한 기준 색상을 제공하는 음성 시약, 양성 판정을 위한 기준 색상을 제공하는 양성 시약 및 검체가 투입될 적어도 하나의 반응 시약을 포함하고, 상기 감염병 진단 방법은, (a) 상기 음성 시약, 상기 양성 시약 및 검체가 투입된 상기 반응 시약을 함께 촬영하여 시약 키트 이미지를 얻는 단계; (b) 상기 시약 키트 이미지에서 상기 음성 시약에 해당하는 음성 시약 영역, 상기 양성 시약에 해당하는 양성 시약 영역 및 상기 반응 시약에 해당하는 반응 시약 영역을 검출하는 단계; (c) 상기 반응 시약 영역의 색상을 상기 음성 시약 영역 및 상기 양성 시약 영역의 색상과 비교하여 해당 반응 시약에 대한 음성/양성을 판정하는 단계; 및 (d) 상기 음성/양성 판정 결과에 따라 감염병에 대한 음성/양성을 판정하는 단계를 포함하는 것을 특징으로 한다.In accordance with the present invention, there is provided a method for diagnosing an infectious disease through an image of a reagent kit, comprising the steps of: preparing a negative reagent for providing a reference color for negative determination, And at least one reaction reagent into which the sample is to be introduced, wherein the infection diagnosis method comprises the steps of: (a) photographing the reaction reagent into which the negative reagent, the positive reagent and the specimen are injected together to obtain a reagent kit image; (b) detecting a negative reagent region corresponding to the negative reagent, a positive reagent region corresponding to the positive reagent, and a reaction reagent region corresponding to the reagent in the image of the reagent kit; (c) comparing the hue of the reaction reagent region with the hue of the negative reagent region and the positive reagent region to determine negative / positive for the reaction reagent; And (d) determining the voice / affinity for the infectious disease according to the result of the voice / affirmative determination.
상기 감염병 진단 방법은, 상기 시약 키트 이미지의 각 픽셀의 RGB 값을 HSV 값으로 변환하는 단계를 더 포함할 수 있다.The method for diagnosing an infectious disease may further include converting an RGB value of each pixel of the reagent kit image into an HSV value.
상기 (b) 단계는, 상기 시약 키트 이미지에서 픽셀의 HSV 값이 소정 범위에 속하는 픽셀들을 식별하는 단계; 및 상기 식별된 픽셀들을 포함하는 영역의 크기가 소정 크기 이상인 영역들을 상기 음성 시약 영역, 상기 양성 시약 영역 및 상기 반응 시약 영역으로서 검출하는 단계를 포함할 수 있다.The step (b) comprises: identifying pixels in the reagent kit image in which the HSV value of the pixel belongs to a predetermined range; And detecting, as the negative reagent region, the positive reagent region, and the reaction reagent region, regions having the size of the region including the identified pixels not smaller than a predetermined size.
상기 (c) 단계는, 상기 반응 시약 영역의 HSV 값을 상기 음성 시약 영역 및 상기 양성 시약 영역의 HSV 값과 비교하여 해당 반응 시약에 대한 음성/양성을 판정할 수 있다.In the step (c), the HSV value of the reaction reagent region may be compared with the HSV values of the negative reagent region and the positive reagent region to determine the negative / positive of the reaction reagent.
상기 (c) 단계는, 상기 반응 시약 영역의 HSV 값의 평균을 상기 음성 시약 영역 및 상기 양성 시약 영역의 HSV 값의 평균과 비교하여 해당 반응 시약에 대한 음성/양성을 판정할 수 있다.In the step (c), an average of the HSV values of the reaction reagent region may be compared with an average of the HSV values of the negative reagent region and the positive reagent region to determine the negative / positive of the reaction reagent.
상기 (c) 단계는, 상기 음성 시약 영역의 HSV 값의 평균을 포함하는 음성 기준 색상 범위를 결정하는 단계; 상기 양성 시약 영역의 HSV 값의 평균을 포함하는 양성 기준 색상 범위를 결정하는 단계; 및 상기 반응 시약 영역의 HSV 값의 평균이 상기 음성 기준 색상 범위에 속하는 경우 음성으로 판정하고, 상기 반응 시약 영역의 HSV 값의 평균이 상기 양성 기준 색상 범위에 속하는 경우 양성으로 판정하는 단계를 포함할 수 있다.Wherein the step (c) comprises: determining an audio reference color range including an average of the HSV values of the audio reagent area; Determining a positive reference color range comprising an average of the HSV values of the positive reagent region; And determining that the average of the HSV values in the reaction reagent region belongs to the negative reference color range and the negative determination if the average of the HSV values in the reaction reagent region belongs to the positive reference color range .
상기 (c) 단계는, 상기 반응 시약 영역의 HSV 값의 평균이 상기 음성 기준 색상 범위 및 상기 양성 기준 색상 범위에 모두 속하지 않는 경우 음성/양성 판정 불가로 판정하는 단계를 더 포함할 수 있다.The step (c) may further include determining that the negative / positive determination is not possible if the average of the HSV values in the reaction reagent region does not fall within both of the negative reference hue range and the positive reference hue range.
상기 기술적 과제를 해결하기 위한 본 발명에 따른, 시약 키트의 이미지를 통한 감염병 진단 장치에서, 상기 시약 키트는 음성 판정을 위한 기준 색상을 제공하는 음성 시약, 양성 판정을 위한 기준 색상을 제공하는 양성 시약 및 검체가 투입될 적어도 하나의 반응 시약을 포함하고, 상기 감염병 진단 장치는, 상기 음성 시약, 상기 양성 시약 및 검체가 투입된 상기 반응 시약을 함께 촬영하여 시약 키트 이미지를 얻는 이미지 획득부; 상기 시약 키트 이미지에서 상기 음성 시약에 해당하는 음성 시약 영역, 상기 양성 시약에 해당하는 양성 시약 영역 및 상기 반응 시약에 해당하는 반응 시약 영역을 검출하는 시약 영역 검출부; 및 상기 반응 시약 영역의 색상을 상기 음성 시약 영역 및 상기 양성 시약 영역의 색상과 비교하여 해당 반응 시약에 대한 음성/양성을 판정하고, 상기 음성/양성 판정 결과에 따라 감염병에 대한 음성/양성을 판정하는 감염병 판정부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for diagnosing an infectious disease through an image of a reagent kit, the reagent kit comprising: a negative reagent for providing a reference color for negative determination; And at least one reaction reagent to which a specimen is to be injected, wherein the infection diagnosis apparatus comprises: an image acquiring unit for acquiring an image of a reagent kit by taking the negative reagent, the positive reagent, and the reagent into which the specimen is injected together; A reagent region detector for detecting a negative reagent region corresponding to the negative reagent, a positive reagent region corresponding to the positive reagent, and a reaction reagent region corresponding to the reagent in the image of the reagent kit; And comparing the hue of the reaction reagent region with the hue of the negative reagent region and the positive reagent region to determine the negative / positive of the reaction reagent, and determining the negative / positive of the infectious disease according to the negative / positive determination result And an infectious disease judging unit for judging the infectious disease.
상기 이미지 획득부는, 상기 시약 키트 이미지의 각 픽셀의 RGB 값을 HSV 값으로 변환할 수 있다. The image obtaining unit may convert an RGB value of each pixel of the reagent kit image into an HSV value.
상기 시약 영역 검출부는, 상기 시약 키트 이미지에서 픽셀의 HSV 값이 소정 범위에 속하는 픽셀들을 식별하고, 상기 식별된 픽셀들을 포함하는 영역의 크기가 소정 크기 이상인 영역들을 상기 음성 시약 영역, 상기 양성 시약 영역 및 상기 반응 시약 영역으로서 검출할 수 있다.Wherein the reagent area detecting unit identifies pixels in which the HSV value of the pixel belongs to a predetermined range in the reagent kit image and sets the areas having the size of the area including the identified pixels not smaller than a predetermined size to the negative reagent area, And as the reaction reagent region.
상기 감염병 판정부는, 상기 반응 시약 영역의 HSV 값을 상기 음성 시약 영역 및 상기 양성 시약 영역의 HSV 값과 비교하여 해당 반응 시약에 대한 음성/양성을 판정할 수 있다.The infection disease judgment unit may compare the HSV value of the reaction reagent region with the HSV value of the negative reagent region and the positive reagent region to determine the negative / positive of the reaction reagent.
상기 감염병 판정부는, 상기 반응 시약 영역의 HSV 값의 평균을 상기 음성 시약 영역 및 상기 양성 시약 영역의 HSV 값의 평균과 비교하여 해당 반응 시약에 대한 음성/양성을 판정할 수 있다.The infection disease judgment unit may compare the average of the HSV values of the reaction reagent region with the average of the HSV values of the negative reagent region and the positive reagent region to determine the negative / positive of the reaction reagent.
상기 감염병 판정부는, 상기 음성 시약 영역의 HSV 값의 평균을 포함하는 음성 기준 색상 범위를 결정하고, 상기 양성 시약 영역의 HSV 값의 평균을 포함하는 양성 기준 색상 범위를 결정하고, 상기 반응 시약 영역의 HSV 값의 평균이 상기 음성 기준 색상 범위에 속하는 경우 음성으로 판정하고, 상기 반응 시약 영역의 HSV 값의 평균이 상기 양성 기준 색상 범위에 속하는 경우 양성으로 판정할 수 있다.Wherein the infection disease judgment section determines a negative reference color range including an average of the HSV values of the negative reagent region and a positive reference color range including an average of HSV values of the positive reagent region, A negative judgment is made when the average of the HSV values belongs to the negative reference color range and a positive judgment is made when the average of the HSV values of the reaction reagent zone belongs to the positive reference color range.
상기 감염병 판정부는, 상기 반응 시약 영역의 HSV 값의 평균이 상기 음성 기준 색상 범위 및 상기 양성 기준 색상 범위에 모두 속하지 않는 경우 음성/양성 판정 불가로 판정할 수 있다.The infectious disease judging section can judge that the negative / positive judgment can not be made when the average of the HSV values in the reaction reagent region does not fall within both of the negative reference hue range and the positive reference hue range.
상기된 본 발명에 의하면, 진단 시약 키트를 촬영한 이미지를 분석하여 감염병을 진단함으로써, 보다 정확하고 신속하게 감염병을 효과적으로 진단할 수 있으며, 많은 양의 진단 시약 키트에 대해 감염병 여부를 판정하는 것이 가능하다.According to the present invention described above, the infectious disease can be diagnosed more accurately and quickly by effectively analyzing images taken by the diagnostic reagent kit, and it is possible to judge whether or not the infecting disease is infectious to a large quantity of diagnostic reagent kits Do.
본 발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시예에서 사용되는 시약 키트의 예를 보여준다.
도 2는 본 발명의 일 실시예에 따른 감염병 진단 장치의 구성을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 감염병 진단 방법의 흐름도를 나타낸다.
도 4는 촬영된 시약 키트 이미지의 예를 보여준다.
도 5는 도 4의 시약 키트 이미지로부터 크롭된 시약 키트 이미지의 예를 보여준다.
도 6은 시약 키트 이미지에서 HSV 값이 소정 색상 범위에 속하는 픽셀들을 식별하는 과정의 예를 보여준다.
도 7은 시약 키트 이미지에서 시약 영역을 검출하는 알고리즘의 예를 보여준다.
도 8은 본 발명의 일 실시예에 따라 반응 시약에 대한 음성/양성을 판정하는 과정을 보다 구체적으로 나타낸 흐름도이다.
도 9는 각 반응 시약에 대한 음성/양성 판정 결과를 출력하는 화면의 예를 보여준다. Figure 1 shows an example of a reagent kit used in an embodiment of the present invention.
2 shows a configuration of an apparatus for diagnosing an infectious disease according to an embodiment of the present invention.
3 shows a flowchart of a method for diagnosing an infectious disease according to an embodiment of the present invention.
Figure 4 shows an example of a photographed reagent kit image.
Figure 5 shows an example of a reagent kit image cropped from the reagent kit image of Figure 4;
6 shows an example of a process of identifying pixels whose HSV values belong to a predetermined color range in a reagent kit image.
Figure 7 shows an example of an algorithm for detecting reagent regions in a reagent kit image.
FIG. 8 is a flowchart illustrating a process of determining the voice / affinity of a reaction reagent according to an embodiment of the present invention.
FIG. 9 shows an example of a screen for outputting negative / positive determination results for each reaction reagent.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In the following examples, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. In the following embodiments, terms such as inclusive or possessive are intended to mean that a feature, or element, described in the specification is present, and does not preclude the possibility that one or more other features or elements may be added.
어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다. If certain embodiments are otherwise feasible, the particular process sequence may be performed differently from the sequence described. For example, two processes that are described in succession may be performed substantially concurrently, and may be performed in the reverse order of the order described.
본 발명의 실시예에 따른 감염병 진단 방법 및 장치는, 카메라로 시약 키트를 촬영하여 이미지를 획득하고 이 이미지를 분석하여 감염병을 진단하거나, 기 촬영된 시약 키트 이미지를 분석하여 감염병을 진단한다. 감염병 진단 장치는, 카메라가 구비된 스마트폰이나 태블릿PC와 같은 휴대 단말을 통해 구현되거나, 카메라가 구비되지 않은(혹은 구비된) PC 또는 노트북 등을 통해 구현될 수 있다. 또한 감염병 진단 방법은, 스마트폰이나 태블릿PC와 같은 휴대 단말에 설치되는 모바일 애플리케이션을 통해 구현되거나, PC 또는 노트북 등에 설치되는 프로그램을 통해 구현될 수 있다. A method and apparatus for diagnosing an infectious disease according to an embodiment of the present invention diagnose an infectious disease by analyzing the obtained image of a reagent kit by photographing a reagent kit with a camera to obtain an image. The infectious disease diagnosis apparatus may be implemented through a portable terminal such as a smart phone or a tablet PC equipped with a camera, or a PC or a notebook without (or equipped with) a camera. The infection diagnosis method may be implemented through a mobile application installed in a portable terminal such as a smart phone or a tablet PC, or through a program installed in a PC or a notebook computer.
도 1은 본 발명의 실시예에서 사용되는 시약 키트의 예를 보여준다. Figure 1 shows an example of a reagent kit used in an embodiment of the present invention.
도 1을 참조하면, 시약 키트(10)는 특정 감염병을 진단하기 위한 것으로, 투명한 복수 개의 튜브와 각 튜브에 담겨진 시약들로 이루어진다. 시약들은, 음성 판정을 위한 기준 색상을 제공하는 음성 시약(11), 양성 판정을 위한 기준 색상을 제공하는 양성 시약(12), 그리고 검체(예컨대 침, 혈액 등)가 투입될 하나 이상의 반응 시약들(13)을 포함한다. 반응 시약들(13) 각각은, 특정 병원균이 들어있는 검체가 투입되면 그에 반응하여 색상이 변하도록 조성된 것이다. 예컨대 6번째 튜브에는 인플루엔자 바이러스의 서브타입에 해당하는 H3N2에 반응하는 시약이 담기고, 8번째 튜브에는 H1N1에 반응하는 시약이 담긴다. 음성 시약(11)과 양성 시약(12)은 각각 반응 시약(13)의 반응이 음성인지 양성인지 구별하는 기준이 되는 색상을 띠도록 조성된 것이다. 시약 키트(10)에는 반응 시약들(13)의 음성/양성 판정 결과에 따라 감염병의 음성/양성 여부를 판정하는 기준이 주어진다. 예컨대 그 기준은, 3~8번째 시약이 모두 양성이면 감염병이 양성인 것으로, 3~8번째 시약 중 어느 하나라도 음성이면 감염병이 음성인 것으로 판정하는 것이다.Referring to FIG. 1, the
이하에서는 도 1의 시약 키트(10)를 촬영하는 것을 예로 들어 본 발명의 실시예들을 설명하나, 시약 키트(10)의 구성은 실시예에 따라 변경될 수 있음은 물론이다. 예컨대, 음성 시약(11)과 양성 시약(12)의 위치, 반응 시약들(13)의 개수 등은 변경될 수 있다. Hereinafter, embodiments of the present invention will be described by taking an image of the
도 2는 본 발명의 일 실시예에 따른 감염병 진단 장치의 구성을 나타낸다. 2 shows a configuration of an apparatus for diagnosing an infectious disease according to an embodiment of the present invention.
도 2를 참조하면, 본 실시예에 따른 감염병 진단 장치는, 음성 시약(11), 양성 시약(12) 및 검체가 투입된 반응 시약(13)을 함께 촬영하여 시약 키트 이미지를 얻는 이미지 획득부(100), 시약 키트 이미지에서 음성 시약(11)에 해당하는 음성 시약 영역과 양성 시약(12)에 해당하는 양성 시약 영역 및 반응 시약(13)에 해당하는 반응 시약 영역을 검출하는 시약 영역 검출부(200), 그리고 반응 시약 영역의 색상을 음성 시약 영역 및 양성 시약 영역과 비교하여 해당 반응 시약(13)에 대한 음성/양성을 판정하고, 판정 결과에 따라 감염병에 대한 음성/양성을 판정하는 감염병 판정부(300)를 포함한다.2, the apparatus for diagnosing an infectious disease according to the present embodiment includes an
도 3은 본 발명의 일 실시예에 따른 감염병 진단 방법의 흐름도로서, 도 3과 결부시켜 도 1의 감염병 진단 장치의 구체적인 동작을 설명하기로 한다.FIG. 3 is a flowchart of a method for diagnosing an infectious disease according to an embodiment of the present invention. Referring to FIG. 3, the operation of the infectious disease diagnostic apparatus of FIG. 1 will be described.
S310단계에서, 이미지 획득부(100)는 음성 시약(11), 양성 시약(12) 및 검체가 투입된 반응 시약(13)을 함께 촬영하여 시약 키트 이미지를 획득한다. 다만 실시예에 따라서, 이미지 획득부(100)는 기 촬영된 시약 키트 이미지를 네트워크를 통하여 또는 메모리로부터 획득할 수도 있다. 전형적으로, S310단계에서 획득되는 시약 키트 이미지는 RGB 이미지이다. In step S310, the
도 4는 촬영된 시약 키트 이미지의 예를 보여준다. 도시된 바와 같이 시약 키트를 촬영할 때에 시약 키트의 주변에 마커(500)를 배치하고 촬영함으로써, 튜브와 시약 부분을 인식하는 것을 용이하도록 할 수 있다. 즉, 촬영 위치와 거리에 따라 이미지 내에서 튜브와 시약의 위치가 달라지므로, 마커(500) 안쪽에 튜브와 시약이 배치되도록 함으로써 촬영된 이미지로부터 시약 부분을 쉽게 인식할 수 있다. Figure 4 shows an example of a photographed reagent kit image. As shown, when the reagent kit is photographed, the
S320단계에서, 이미지 획득부(100)는 촬영된 이미지에서 마커(500)를 인식하여 마커(500) 안쪽의 시약에 해당하는 부분을 크롭(crop)하고, 크롭된 이미지의 해상도 및 크기를 조절한다. 이 과정은 동일한 조건 하에서 이미지를 분석하는 것을 가능하게 한다. 도 5는 도 4의 시약 키트 이미지로부터 마커(500)를 이용하여 크롭된 시약 키트 이미지의 예를 보여준다. In step S320, the
S330단계에서, 이미지 획득부(100)는 S320단계를 통하여 얻어진 시약 키트 이미지의 각 픽셀의 RGB 값을 HSV 값으로 변환한다. 각 픽셀의 HSV 값은 RGB 이미지와 별도로 각 픽셀에 대한 인덱스로 저장된다. In step S330, the
색상을 표현하는 방식인 색 모델에는 CIE 모델, RGB 모델, HSV 모델, YCrCb 모델, CMY 모델 등이 있다. There are CIE model, RGB model, HSV model, YCrCb model, CMY model, and the like as a color model which expresses a color.
RGB 모델은 모든 색을 빛의 삼원색인 적색, 녹색, 청색의 3가지 색을 조합하여 표현하는 방식으로, 색상을 위 3가지 색에 대한 밝기 값으로 표현한다. 이미지 처리에서 통상적으로 RGB 모델은 하나의 픽셀을 적색, 녹색, 청색에 대해 각각 0~255의 값을 사용하여 표현한다. 예를 들어 순수 빨강은 (255, 0, 0)으로 표현된다. The RGB model expresses all colors by combining the three colors of red, green, and blue, which are the three primary colors of light, and expresses the colors as brightness values for the above three colors. In image processing, an RGB model typically represents a pixel using values of 0 to 255 for red, green, and blue, respectively. For example, pure red is represented by (255, 0, 0).
HSV 모델은 인간의 시각이 색을 느끼는 것과 가장 흡사한 색 모델로서, 색조(Hue), 채도(Saturation), 명도(Value)의 3가지 성분으로 색을 표현하는 방식이다. 색조는 색상의 계열을, 채도는 색상의 선명한 정도를, 명도는 밝기(intensity)를 나타낸다. HSV 모델은 정보를 표현하는 체계에 따라 범위 값이 다른데, 일반적으로 이미지 처리에서 H, S, V 값은 각각 0~255 사이의 값으로 표현된다. H 값은 색상의 계열 및 종류를 나타내므로 그 수치는 크기가 아닌 인덱스를 나타낸다. S 값은 0일 때 무채색을, 255일 때 가장 선명한 색임을 나타낸다. V 값은 작을수록 어둡고 클수록 밝은 색임을 나타낸다. The HSV model is a color model most similar to human vision, and is a method of expressing color with three components: hue, saturation, and brightness. The hue represents a series of colors, the saturation represents the sharpness of the color, and the lightness represents the intensity. The HSV model has different range values according to the system of expressing information. In general, H, S, and V values are represented by values between 0 and 255 in the image processing. The H value represents the sequence and type of color, so the value represents the index, not the size. The S value indicates achromatic color at 0, and the sharpest color at 255. The smaller the V value, the darker the color, the brighter the larger the color.
HSV 모델은 색상 표현이 직관적이며, 색상의 유사성을 정확하게 비교할 수 있고 색상 비교를 위한 경계 값을 설정하기에 적합한 장점이 있다. 따라서 본 발명의 실시예에서는 시약 키트 이미지의 각 픽셀의 RGB 값을 HSV 값으로 변환하여, HSV 값을 가지고 분석을 수행한다.The HSV model is intuitive in color representation, has the advantage of being able to accurately compare color similarities and to set boundary values for color comparisons. Therefore, in the embodiment of the present invention, the RGB values of each pixel of the reagent kit image are converted into the HSV values, and analysis is performed with the HSV values.
한편, 시약 키트를 촬영할 때에 주어진 조명이 지나치게 밝거나 어두운 경우에는 정확한 진단이 이루어지지 않을 수 있다. 따라서 시약 영역 검출부(200)는 S340단계에서 시약 키트 이미지로부터 조명을 분석하고, S345단계에서, 사전에 주어진 조명 조건을 만족하는지 판단한다. 예컨대 시약 영역 검출부(200)는 시약 키트 이미지에서 조명 수치를 산출하고 조명 수치가 소정 범위 내에 들어오는지를 판단한다. 조명 조건을 만족하지 않는다면, S347단계에서 감염병 진단 장치는 감염병 판정이 불가함을 출력한다.On the other hand, if the given illumination is too bright or dark when shooting the reagent kit, accurate diagnosis may not be made. Therefore, the
S345단계에서 조명 조건을 만족하는 경우, 시약 영역 검출부(200)는 시약 키트 이미지에서 음성 시약(11)에 해당하는 음성 시약 영역, 양성 시약(12)에 해당하는 양성 시약 영역, 반응 시약(13)에 해당하는 반응 시약 영역을 검출한다. When the illumination condition is satisfied in step S345, the reagent
이러한 시약 영역들을 검출하기 위해, S350단계에서 시약 키트 이미지에서 픽셀의 HSV 값이 소정 색상 범위에 속하는 픽셀들을 식별하고, 다음으로 S360단계에서는 식별된 픽셀을 포함하는 영역의 크기가 소정 크기 이상인 영역들을 음성 시약 영역, 양성 시약 영역, 반응 시약 영역으로서 검출할 수 있다. In order to detect such reagent areas, pixels having HSV values of pixels in a reagent kit image are identified in a predetermined color range at step S350. Next, at step S360, The negative reagent region, the positive reagent region, and the reaction reagent region.
여기서 사용되는 HSV 값은, H 값이거나, H 값 및 S 값이거나, 또는 H 값, S 값 및 V 값이 될 수 있다. 소정 색상 범위는, 주변의 색상과 구별되도록 음성 시약(11), 양성 시약(12), 반응 시약(13)이 가질 수 있는 색상의 범위로서, 미리 설정된다. 색상 범위에 속하는 픽셀들이 일정 크기 이상으로 모여 있는 영역을 시약 영역으로 볼 수 있으므로, 식별된 픽셀을 포함하는 영역의 크기가 미리 설정된 크기 이상인 영역들을 시약 영역으로 검출할 수 있다.The HSV value used herein may be H value, H value and S value, or H value, S value and V value. The predetermined color range is preset as a range of colors that the
도 6은 시약 키트 이미지에서 HSV 값이 소정 색상 범위에 속하는 픽셀들을 식별하는 과정의 예를 보여준다. 예컨대 시약 키트 이미지에서 모든 픽셀들에 초기값 '-1'을 부여하고, 픽셀마다 HSV 값이 소정 색상 범위에 속하는지 확인하여, 색상 범위 내의 픽셀에 '1' 값을 부여하고, 색상 범위 밖의 픽셀에 '0' 값을 부여할 수 있다. 6 shows an example of a process of identifying pixels whose HSV values belong to a predetermined color range in a reagent kit image. For example, an initial value of '-1' is given to all pixels in the reagent kit image, and a '1' value is given to a pixel within the color range by checking whether the HSV value belongs to a predetermined color range per pixel, Quot; 0 "
도 7은 시약 키트 이미지에서 시약 영역을 검출하는 알고리즘의 예를 보여준다. 도 7을 참조하면, 색상 범위(BoundLow~BoundUpper)에 속하는 픽셀이 식별된 이미지 정보(ImageMasked)로부터, 식별된 픽셀('1' 값이 부여된 픽셀)을 포함하는 영역들(ContoursMasked)을 추출하고, 추출된 영역들 중 소정 크기(ThresholdAreaContour)를 초과하는 영역들을 찾아 시약 영역을 검출한다. 주어진 시약 키트(10)에서 음성 시약(11), 양성 시약(12), 반응 시약(13)의 순서는 정해져 있으므로, 검출된 각 시약 영역에 음성 시약 영역, 양성 시약 영역, 반응 시약 영역이 지정될 수 있다.Figure 7 shows an example of an algorithm for detecting reagent regions in a reagent kit image. 7, a pixel belonging to a color range (Bound Low to Bound Upper ) is divided into regions (Contours Masked ) including identified pixels (pixels assigned a value of '1') from the identified image information ), And detects a reagent region by searching for regions exceeding a predetermined size (Threshold Area Contour ) among the extracted regions. Since the order of the
예컨대 도 5의 시약 키트 이미지의 경우, 8개의 시약 영역이 찾아지면 왼쪽부터 차례로 음성 시약 영역, 양성 시약 영역, 그리고 반응 시약 영역이 검출될 것이다.For example, in the case of the reagent kit image of FIG. 5, when eight reagent regions are found, a negative reagent region, a positive reagent region, and a reaction reagent region will be sequentially detected from the left.
다시 도 3을 참조하면, S370단계에서 감염병 판정부(300)는 각 반응 시약 영역의 색상을 음성 시약 영역 및 양성 시약 영역의 색상과 비교하여 해당 반응 시약에 대한 음성/양성을 판정한다. 시약 키트 이미지는 음성 시약(11), 양성 시약(12), 반응 시약(13)을 함께 촬영한 이미지이므로, 이들 시약의 촬영 환경은 동일하다. 본 발명의 실시예에서는 이처럼 동일한 환경에서 촬영된 시약 키트의 색상을 비교하므로 촬영 환경에 영향을 받지 않고 정확한 판정 결과를 얻을 수 있다. Referring again to FIG. 3, in step S370, the infectious
S370단계에서 감염병 판정부(300)는 반응 시약 영역의 HSV 값을 음성 시약 영역 및 양성 시약 영역의 HSV 값과 비교하여 해당 반응 시약에 대한 음성/양성을 판정한다. 이때 감염병 판정부(300)는 반응 시약 영역의 HSV 값의 평균을 음성 시약 영역 및 양성 시약 영역의 HSV 값의 평균과 비교하여 해당 반응 시약에 대한 음성/양성을 판정할 수 있다. 여기서 사용되는 HSV 값은, H 값이거나, H 값 및 S 값이거나, 또는 H 값, S 값 및 V 값이 될 수 있다.In step S370, the infection
도 8은 본 발명의 일 실시예에 따라 반응 시약에 대한 음성/양성을 판정하는 과정을 보다 구체적으로 나타낸 흐름도이다. FIG. 8 is a flowchart illustrating a process of determining the voice / affinity of a reaction reagent according to an embodiment of the present invention.
S810단계에서, 감염병 판정부(300)는 음성 시약 영역의 평균 HSV 값(CutoffColor_nc_avg)을 산출한다.In step S810, the infection
그리고 S820단계에서, CutoffColor_nc_avg을 포함하는 음성 기준 색상 범위를 결정한다. 예컨대 CutoffColor_nc_avg보다 일정 값만큼 작은 값을 CutoffColor_nc_min으로 정하고, CutoffColor_nc_avg보다 일정 값만큼 큰 값을 CutoffColor_nc_max로 정하여, 음성 기준 색상 범위를 CutoffColor_nc_min~CutoffColor_nc_max로 결정할 수 있다.In step S820, an audio reference color range including CutoffColor_nc_avg is determined. For example, a value smaller than CutoffColor_nc_avg may be determined as CutoffColor_nc_min, a value larger than CutoffColor_nc_avg by a predetermined value may be determined as CutoffColor_nc_max, and the audio reference color range may be determined as CutoffColor_nc_min to CutoffColor_nc_max.
S830단계에서, 감염병 판정부(300)는 양성 시약 영역의 평균 HSV 값(CutoffColor_pc_avg)을 산출한다.In step S830, the infection
그리고 S840단계에서, CutoffColor_pc_avg을 포함하는 양성 기준 색상 범위를 결정한다. 예컨대 CutoffColor_pc_avg보다 일정 값만큼 작은 값을 CutoffColor_pc_min으로 정하고, CutoffColor_pc_avg보다 일정 값만큼 큰 값을 CutoffColor_pc_max로 정하여, 양성 기준 색상 범위를 CutoffColor_pc_min~CutoffColor_pc_max로 결정할 수 있다.In step S840, a positive reference color range including CutoffColor_pc_avg is determined. For example, a value smaller than CutoffColor_pc_avg may be determined as CutoffColor_pc_min, a value larger than CutoffColor_pc_avg by a predetermined value may be determined as CutoffColor_pc_max, and a positive reference color range may be determined as CutoffColor_pc_min to CutoffColor_pc_max.
S850단계에서, 감염병 판정부(300)는 i 번째 반응 시약 영역의 평균 HSV 값(Color_i_avg)을 산출한다. 주어진 시약 키트(10)의 경우, i=3~8이 된다. In step S850, the infection
S860단계에서 Color_i_avg가 음성 기준 색상 범위(CutoffColor_nc_min~CutoffColor_nc_max)에 속하면, S865단계에서 i 번째 반응 시약을 음성으로 판정한다. If Color_i_avg belongs to the voice reference color range (CutoffColor_nc_min to CutoffColor_nc_max) in step S860, the i th reaction reagent is judged as negative in step S865.
S860단계에서 Color_i_avg가 음성 기준 색상 범위(CutoffColor_nc_min~CutoffColor_nc_max)에 속하지 않고, S870단계에서 Color_i_avg가 양성 기준 색상 범위(CutoffColor_pc_min~CutoffColor_pc_max)에 속하면, S875단계에서 i 번째 반응 시약을 양성으로 판정한다.If Color_i_avg does not belong to the voice reference color range (CutoffColor_nc_min to CutoffColor_nc_max) in step S860 and Color_i_avg belongs to the positive reference color range (CutoffColor_pc_min to CutoffColor_pc_max) in step S870, the i th reaction reagent is determined to be positive in step S875.
S870단계에서 Color_i_avg가 양성 기준 색상 범위(CutoffColor_pc_min~CutoffColor_pc_max)에도 속하지 않으면, S880단계에서 i 번째 반응 시약을 음성/양성 판정이 불가능한 것으로 판정한다. If the Color_i_avg does not belong to the positive reference color range (CutoffColor_pc_min to CutoffColor_pc_max) in step S870, it is determined in step S880 that the i th reaction reagent is negative / positive determination.
다시 도 3을 참조하면, S380단계에서, 감염병 판정부(300)는 각 반응 시약(13)에 대한 S370단계의 음성/양성 판정 결과 및 시약 키트에 주어진 판정 기준에 따라 감염병에 대한 음성/양성을 판정한다. Referring again to FIG. 3, in step S380, the infection
그리고 S390단계에서, 감염병 판정부(300)는 S370단계와 S380단계의 판정 결과를 출력한다. 만일 S370단계에서 일부 또는 전부의 반응 시약에 대한 음성/양성 판정이 불가능하여 S380단계에서 감염병 음성/양성 판정이 불가능하다면, 감염병 판정이 불가함을 출력한다.In step S390, the
도 9는 각 반응 시약에 대한 음성/양성 판정 결과를 출력하는 화면의 예를 보여준다. 도 9를 참조하면, 각 반응 시약에 대한 색상을 보여주고, 음성/양성 판정 결과를 보여준다. 도시된 예에서, 3~8번째 반응 시약에 대하여 각각 음성, 양성, 양성, 음성, 양성, 음성으로 판정 결과가 나왔음을 확인할 수 있다. 감염병 판정 기준이 시약이 모두 양성이면 감염병 양성으로, 시약 중 어느 하나라도 음성이면 감염병 음성으로 판정하는 것인 경우, 도 9의 예에서 감염병 판정 결과는 음성으로 출력된다. FIG. 9 shows an example of a screen for outputting negative / positive determination results for each reaction reagent. Referring to FIG. 9, the color of each reaction reagent is shown and a negative / positive determination result is shown. In the illustrated example, it can be confirmed that the determination results are negative, positive, positive, negative, positive, and negative for the third to eighth reaction reagents, respectively. In the case where all of the reagents are positive, the infectious disease determination result is negative. In the example of FIG. 9, if the infection is positive, if any of the reagents is negative, the infection is determined as negative.
본 발명에 의하면 진단 시약 키트를 촬영한 이미지의 색상을 이용하여 감염병을 진단함으로써, 보다 정확하고 신속하게 감염병을 효과적으로 진단할 수 있으며, 많은 양의 진단 시약 키트에 대해 감염병 여부를 판정하는 것이 가능한 장점이 있다. According to the present invention, it is possible to diagnose the infectious disease more accurately and promptly by efficiently diagnosing the infectious disease by using the color of the image taken by the diagnostic reagent kit, .
또한 음성 시약, 양성 시약, 반응 시약을 함께 촬영한 이미지로부터 각 시약 영역의 색상을 비교하여 음성/양성을 판정하므로, 촬영 환경에 영향을 받지 않고 정확한 판정 결과를 얻을 수 있다.In addition, the color of each reagent region is compared with the image obtained by photographing the negative reagent, the positive reagent, and the reaction reagent together to determine the voice / positiveness, so that accurate judgment results can be obtained without being affected by the photographing environment.
또한 시약 키트 영역의 HSV 값을 이용하여 색상을 비교함으로써, 색상 비교를 위한 경계값을 효과적으로 설정할 수 있으며 시약 색상의 유사성을 보다 정확하게 판단할 수 있다. Also, by comparing colors using the HSV values in the reagent kit area, it is possible to effectively set the boundary value for color comparison and to more accurately determine the similarity of reagent colors.
또한 진단 시약 키트가 달라지더라도 진단 시약 키트에 주어지는 몇가지 설정(시약의 개수, 순서 판정 기준 등)만을 변경하면 되므로, 다양한 종류의 진단 시약 키트를 지원할 수 있는 장점이 있다. In addition, even if the diagnostic reagent kit is changed, there is an advantage that it is possible to support various kinds of diagnostic reagent kits because only a few settings (the number of reagents, order determination criteria, etc.) given to the diagnostic reagent kit can be changed.
이와 같이 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art . Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.Embodiments may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in a wide variety of hardware and / or software configurations that perform particular functions. For example, embodiments may include integrated circuit components such as memory, processing, logic, look-up tables, etc., that may perform various functions by control of one or more microprocessors or other control devices Can be employed.
본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다. Similar to the components of the present invention may be implemented with software programming or software components, embodiments may include various algorithms implemented in a combination of data structures, processes, routines, or other programming constructs, such as C, C ++ , Java (Java), assembler, and the like. Functional aspects may be implemented with algorithms running on one or more processors. The embodiments may also employ conventional techniques for electronic configuration, signal processing, and / or data processing. Terms such as "mechanism", "element", "means", "configuration" may be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
실시예에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 실시예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the embodiments are, by way of example, not intended to limit the scope of the embodiments in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as "essential "," importantly ", etc., it may not be a necessary component for application of the present invention.
실시예의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시예들이 한정되는 것은 아니다. 실시예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The use of the terms "above" and similar indication words in the description of the embodiments (in particular in the claims) may refer to both singular and plural. In addition, in the embodiment, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (if there is no description to the contrary), the individual values constituting the above range are described in the detailed description . Finally, the steps may be performed in an appropriate order, unless explicitly stated or contrary to the description of the steps constituting the method according to the embodiment. The embodiments are not necessarily limited to the description order of the steps. The use of all examples or exemplary terms (e.g., etc.) in the examples is for the purpose of describing the embodiments in detail and is not intended to be limited by the scope of the claims, It is not. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.
Claims (14)
상기 시약 키트는, 음성 판정을 위한 기준 색상을 제공하는 음성 시약, 양성 판정을 위한 기준 색상을 제공하는 양성 시약 및 검체가 투입될 적어도 하나의 반응 시약을 포함하고,
(a) 상기 음성 시약, 상기 양성 시약 및 검체가 투입된 상기 반응 시약을 함께 촬영하여 시약 키트 이미지를 얻고, 상기 시약 키트 이미지의 각 픽셀의 RGB 값을 HSV 값으로 변환하는 단계;
(b) 상기 시약 키트 이미지에서 상기 음성 시약에 해당하는 음성 시약 영역, 상기 양성 시약에 해당하는 양성 시약 영역 및 상기 반응 시약에 해당하는 반응 시약 영역을 검출하는 단계;
(c) 상기 반응 시약 영역의 HSV 값의 평균을 상기 음성 시약 영역 및 상기 양성 시약 영역의 HSV 값의 평균과 비교하여 해당 반응 시약에 대한 음성/양성을 판정하는 단계; 및
(d) 상기 음성/양성 판정 결과에 따라 감염병에 대한 음성/양성을 판정하는 단계를 포함하는 것을 특징으로 하는 방법.A method for diagnosing an infectious disease through an image of a reagent kit,
The reagent kit comprising a negative reagent providing a reference color for negative determination, a positive reagent providing a reference color for positive determination, and at least one reagent to which the sample is to be introduced,
(a) photographing the reaction reagent into which the negative reagent, the positive reagent, and the sample are injected together to obtain a reagent kit image, and converting an RGB value of each pixel of the reagent kit image into an HSV value;
(b) detecting a negative reagent region corresponding to the negative reagent, a positive reagent region corresponding to the positive reagent, and a reaction reagent region corresponding to the reagent in the image of the reagent kit;
(c) comparing the average of the HSV values of the reaction reagent region with the average of the HSV values of the negative reagent region and the positive reagent region to determine the negative / positive for the corresponding reagent; And
(d) judging whether or not the infection / disease is positive / negative based on the result of the negative / positive judgment.
상기 (b) 단계는,
상기 시약 키트 이미지에서 픽셀의 HSV 값이 소정 범위에 속하는 픽셀들을 식별하는 단계; 및
상기 식별된 픽셀들을 포함하는 영역의 크기가 소정 크기 이상인 영역들을 상기 음성 시약 영역, 상기 양성 시약 영역 및 상기 반응 시약 영역으로서 검출하는 단계를 포함하는 것을 특징으로 하는 방법.The method according to claim 1,
The step (b)
Identifying pixels in the reagent kit image in which the HSV value of the pixel falls within a predetermined range; And
And detecting regions having a size of the region including the identified pixels equal to or larger than a predetermined size as the negative reagent region, the positive reagent region, and the reaction reagent region.
상기 (c) 단계는,
상기 음성 시약 영역의 HSV 값의 평균을 포함하는 음성 기준 색상 범위를 결정하는 단계;
상기 양성 시약 영역의 HSV 값의 평균을 포함하는 양성 기준 색상 범위를 결정하는 단계; 및
상기 반응 시약 영역의 HSV 값의 평균이 상기 음성 기준 색상 범위에 속하는 경우 음성으로 판정하고, 상기 반응 시약 영역의 HSV 값의 평균이 상기 양성 기준 색상 범위에 속하는 경우 양성으로 판정하는 단계를 포함하는 것을 특징으로 하는 방법.The method according to claim 1,
The step (c)
Determining an audio reference color range comprising an average of HSV values of the audio reagent region;
Determining a positive reference color range comprising an average of the HSV values of the positive reagent region; And
Determining that the average of the HSV values in the reaction reagent region belongs to the negative reference color range, and determining that the average value of the HSV values in the reaction reagent region is positive if the average of the HSV values in the reaction reagent region belongs to the positive reference color range Lt; / RTI >
상기 (c) 단계는, 상기 반응 시약 영역의 HSV 값의 평균이 상기 음성 기준 색상 범위 및 상기 양성 기준 색상 범위에 모두 속하지 않는 경우 음성/양성 판정 불가로 판정하는 단계를 더 포함하는 것을 특징으로 하는 방법.The method according to claim 6,
Wherein the step (c) further comprises determining that the negative / positive determination is not possible if the average of the HSV values in the reaction reagent region does not fall within both the negative reference hue range and the positive reference hue range Way.
상기 시약 키트는, 음성 판정을 위한 기준 색상을 제공하는 음성 시약, 양성 판정을 위한 기준 색상을 제공하는 양성 시약 및 검체가 투입될 적어도 하나의 반응 시약을 포함하고,
상기 음성 시약, 상기 양성 시약 및 검체가 투입된 상기 반응 시약을 함께 촬영하여 시약 키트 이미지를 얻고, 상기 시약 키트 이미지의 각 픽셀의 RGB 값을 HSV 값으로 변환하는 이미지 획득부;
상기 시약 키트 이미지에서 상기 음성 시약에 해당하는 음성 시약 영역, 상기 양성 시약에 해당하는 양성 시약 영역 및 상기 반응 시약에 해당하는 반응 시약 영역을 검출하는 시약 영역 검출부; 및
상기 반응 시약 영역의 HSV 값의 평균을 상기 음성 시약 영역 및 상기 양성 시약 영역의 HSV 값의 평균과 비교하여 해당 반응 시약에 대한 음성/양성을 판정하고, 상기 음성/양성 판정 결과에 따라 감염병에 대한 음성/양성을 판정하는 감염병 판정부를 포함하는 것을 특징으로 하는 장치.As an apparatus for diagnosing an infectious disease through an image of a reagent kit,
The reagent kit comprising a negative reagent providing a reference color for negative determination, a positive reagent providing a reference color for positive determination, and at least one reagent to which the sample is to be introduced,
An image acquiring unit for acquiring an image of a reagent kit by photographing the reaction reagent into which the negative reagent, the positive reagent and the sample are injected together, and converting an RGB value of each pixel of the reagent kit image into an HSV value;
A reagent region detector for detecting a negative reagent region corresponding to the negative reagent, a positive reagent region corresponding to the positive reagent, and a reaction reagent region corresponding to the reagent in the image of the reagent kit; And
Comparing the average of the HSV values of the reaction reagent region with the average of HSV values of the negative reagent region and the positive reagent region to determine the negative / positive for the corresponding reagent, and determining the negative / And an infectious disease judging section for judging the voice / positive.
상기 시약 영역 검출부는, 상기 시약 키트 이미지에서 픽셀의 HSV 값이 소정 범위에 속하는 픽셀들을 식별하고, 상기 식별된 픽셀들을 포함하는 영역의 크기가 소정 크기 이상인 영역들을 상기 음성 시약 영역, 상기 양성 시약 영역 및 상기 반응 시약 영역으로서 검출하는 것을 특징으로 하는 장치.9. The method of claim 8,
Wherein the reagent area detecting unit identifies pixels in which the HSV value of the pixel belongs to a predetermined range in the reagent kit image and sets the areas having the size of the area including the identified pixels not smaller than a predetermined size to the negative reagent area, And as the reaction reagent region.
상기 감염병 판정부는, 상기 음성 시약 영역의 HSV 값의 평균을 포함하는 음성 기준 색상 범위를 결정하고, 상기 양성 시약 영역의 HSV 값의 평균을 포함하는 양성 기준 색상 범위를 결정하고, 상기 반응 시약 영역의 HSV 값의 평균이 상기 음성 기준 색상 범위에 속하는 경우 음성으로 판정하고, 상기 반응 시약 영역의 HSV 값의 평균이 상기 양성 기준 색상 범위에 속하는 경우 양성으로 판정하는 것을 특징으로 하는 장치.9. The method of claim 8,
Wherein the infection disease judgment section determines a negative reference color range including an average of the HSV values of the negative reagent region and a positive reference color range including an average of HSV values of the positive reagent region, Judges negative when the average of the HSV values belongs to the voice reference hue range and judges it positive if the average of the HSV values of the reaction reagent region belongs to the positive reference hue range.
상기 감염병 판정부는, 상기 반응 시약 영역의 HSV 값의 평균이 상기 음성 기준 색상 범위 및 상기 양성 기준 색상 범위에 모두 속하지 않는 경우 음성/양성 판정 불가로 판정하는 것을 특징으로 하는 장치.14. The method of claim 13,
Wherein the infectious disease judging unit judges that the negative / positive judgment is not possible if the average of the HSV values in the reaction reagent region does not fall within both of the negative reference hue range and the positive reference hue range.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150142123A KR101589673B1 (en) | 2015-10-12 | 2015-10-12 | infectious disease diagnosis method and apparatus by image of reagent kit |
| PCT/KR2016/001112 WO2017065358A1 (en) | 2015-10-12 | 2016-02-02 | Method and device for diagnosing infectious disease through image of reagent kit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150142123A KR101589673B1 (en) | 2015-10-12 | 2015-10-12 | infectious disease diagnosis method and apparatus by image of reagent kit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101589673B1 true KR101589673B1 (en) | 2016-01-28 |
Family
ID=55309985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150142123A Active KR101589673B1 (en) | 2015-10-12 | 2015-10-12 | infectious disease diagnosis method and apparatus by image of reagent kit |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101589673B1 (en) |
| WO (1) | WO2017065358A1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018008881A1 (en) * | 2016-07-06 | 2018-01-11 | 에스케이텔레콤 주식회사 | Terminal device and service server, method and program for providing diagnostic analysis service performed by same device, and computer-readable recording medium having same program recorded therein |
| KR102486540B1 (en) * | 2022-02-25 | 2023-01-09 | 고성은 | Reagent analysis device and method of controlling the same |
| WO2023282611A1 (en) * | 2021-07-09 | 2023-01-12 | 블록체인랩스 주식회사 | Ai model learning device for reading diagnostic kit test result and method for operating same |
| WO2024058319A1 (en) | 2022-09-16 | 2024-03-21 | 주식회사 켈스 | Device and method for generating infection state information on basis of image information |
| KR20240038534A (en) | 2022-09-16 | 2024-03-25 | 주식회사 켈스 | Apparatus and method for generating infection status information based on image information |
| KR20240083553A (en) | 2022-12-05 | 2024-06-12 | 주식회사 제이스텍 | A sealing film fusion method for ampoules filled with diagnostic solutions for diagnostic kits |
| KR20250131429A (en) | 2024-02-27 | 2025-09-03 | 주식회사 디에스랩 | Disease diagnosis system using QD-OLED and quantum CMOS |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114441512B (en) * | 2020-10-30 | 2024-02-23 | 深圳市瑞图生物技术有限公司 | Vaginal secretion detector, dry chemical detection device and dry chemical detection method |
| CN115165867B (en) * | 2022-07-26 | 2025-07-29 | 安图实验仪器(郑州)有限公司 | Method for judging gynecological dry chemical examination result |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004522942A (en) * | 2000-11-21 | 2004-07-29 | ソウル ナショナル ユニヴァーシティー インダストリー ファンデーション | Prenatal diagnostic reagents for preterm birth, fetal infection and fetal damage, and diagnostic kits containing the same |
| JP2009152868A (en) * | 2007-12-20 | 2009-07-09 | Sapporo Medical Univ | Image processing apparatus and image processing program |
| KR20150078076A (en) * | 2013-12-30 | 2015-07-08 | 부경대학교 산학협력단 | smart device-based simple point-of-care colorimetric diagnosis without reference and method. |
| JP2015132548A (en) * | 2014-01-14 | 2015-07-23 | 田中貴金属工業株式会社 | Immunochromatographic analysis method, immunochromatographic analysis device and immunochromatographic analysis kit |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101388841B1 (en) * | 2012-08-31 | 2014-04-24 | 주식회사 인포피아 | Specimen analysis apparatus |
-
2015
- 2015-10-12 KR KR1020150142123A patent/KR101589673B1/en active Active
-
2016
- 2016-02-02 WO PCT/KR2016/001112 patent/WO2017065358A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004522942A (en) * | 2000-11-21 | 2004-07-29 | ソウル ナショナル ユニヴァーシティー インダストリー ファンデーション | Prenatal diagnostic reagents for preterm birth, fetal infection and fetal damage, and diagnostic kits containing the same |
| JP2009152868A (en) * | 2007-12-20 | 2009-07-09 | Sapporo Medical Univ | Image processing apparatus and image processing program |
| KR20150078076A (en) * | 2013-12-30 | 2015-07-08 | 부경대학교 산학협력단 | smart device-based simple point-of-care colorimetric diagnosis without reference and method. |
| JP2015132548A (en) * | 2014-01-14 | 2015-07-23 | 田中貴金属工業株式会社 | Immunochromatographic analysis method, immunochromatographic analysis device and immunochromatographic analysis kit |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018008881A1 (en) * | 2016-07-06 | 2018-01-11 | 에스케이텔레콤 주식회사 | Terminal device and service server, method and program for providing diagnostic analysis service performed by same device, and computer-readable recording medium having same program recorded therein |
| KR101851265B1 (en) * | 2016-07-06 | 2018-04-24 | 에스케이텔레콤 주식회사 | Terminal apparatus for providing diagnosis and analysis service, program for providing diagnosis and analysis service and recording media for the program |
| WO2023282611A1 (en) * | 2021-07-09 | 2023-01-12 | 블록체인랩스 주식회사 | Ai model learning device for reading diagnostic kit test result and method for operating same |
| KR102486540B1 (en) * | 2022-02-25 | 2023-01-09 | 고성은 | Reagent analysis device and method of controlling the same |
| WO2024058319A1 (en) | 2022-09-16 | 2024-03-21 | 주식회사 켈스 | Device and method for generating infection state information on basis of image information |
| KR20240038534A (en) | 2022-09-16 | 2024-03-25 | 주식회사 켈스 | Apparatus and method for generating infection status information based on image information |
| KR20240083553A (en) | 2022-12-05 | 2024-06-12 | 주식회사 제이스텍 | A sealing film fusion method for ampoules filled with diagnostic solutions for diagnostic kits |
| KR20250131429A (en) | 2024-02-27 | 2025-09-03 | 주식회사 디에스랩 | Disease diagnosis system using QD-OLED and quantum CMOS |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017065358A1 (en) | 2017-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101589673B1 (en) | infectious disease diagnosis method and apparatus by image of reagent kit | |
| CN108615051B (en) | Diabetic retinal image classification method and system based on deep learning | |
| US7865036B2 (en) | Method and apparatus of correcting hybrid flash artifacts in digital images | |
| WO2016188021A1 (en) | Color identification system, color identification method, and display device | |
| CN101599175B (en) | Detection method and image processing device for determining the change of shooting background | |
| JP2020062198A (en) | State determination system | |
| KR101631012B1 (en) | Image processing apparatus and image processing method | |
| US20070014460A1 (en) | Method and apparatus for detecting various cell types of cells in a biological sample | |
| US9968282B2 (en) | Medical device or system for measuring hemoglobin levels during accidents using a camera-projector system | |
| CN111444555B (en) | Temperature measurement information display method and device and terminal equipment | |
| CN107292894B (en) | Method and system for processing pot spot image characteristics | |
| CN104700424A (en) | Medical colorful electronic endoscopy image bad point detection device | |
| CN103218802B (en) | Image processing apparatus and image processing method | |
| WO2024103892A1 (en) | Color recognition method and apparatus for cupping mark image | |
| TW201839654A (en) | Fingerprint identification method and fingerprint identification device | |
| CN115760858A (en) | Kidney pathological section cell identification method and system based on deep learning | |
| KR101063343B1 (en) | Color Information Segmentation Method Using Tongue Image | |
| JP6266948B2 (en) | Jaundice measurement system | |
| Li et al. | Pixel-level diabetic retinopathy lesion detection using multi-scale convolutional neural network | |
| CN107411713A (en) | Method based on neck Skin graft color quantizing under RGB patterns | |
| TWI586954B (en) | An apparatus for detecting cells being infected by human papillomavirus (hpv) and an detection method therefor | |
| WO2023034441A1 (en) | Imaging test strips | |
| US20170316257A1 (en) | Device and method for monitoring people, method for counting people at a location | |
| CN115082995A (en) | Face living body detection method and device and electronic equipment | |
| CN107092854B (en) | Device and method for detecting Human Papilloma Virus (HPV) infection of cells |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20151012 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20151013 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20151012 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20151023 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20160111 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20160122 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20160125 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20181220 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20181220 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200218 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200218 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20201214 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20211115 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230117 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240118 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250106 Start annual number: 10 End annual number: 10 |