KR102707267B1

KR102707267B1 - Image enhancement system, image enhancement method and underwater cutting method

Info

Publication number: KR102707267B1
Application number: KR1020230050627A
Authority: KR
Inventors: 주성문; 현동준; 김익준; 이종환; 하재현
Original assignee: 한국원자력연구원
Priority date: 2023-04-18
Filing date: 2023-04-18
Publication date: 2024-09-19
Anticipated expiration: 2043-04-18

Abstract

영상 개선 시스템, 영상 개선 방법 및 수중 절단 방법이 제공된다. 본 발명의 일 측면에 따른 영상 개선 시스템은, 소정의 시간마다 촬영한 복수의 프레임을 포함하는 영상 정보를 생성하는 카메라; 상기 카메라로부터 상기 영상 정보를 수신하는 통신 인터페이스; 복수의 명령어 모듈을 저장하는 메모리; 및 상기 메모리에 저장된 하나 이상의 상기 명령어 모듈을 실행하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 카메라로부터 상기 통신 인터페이스를 통해 상기 영상 정보를 입력 받고, 상기 영상 정보에 포함된 복수의 프레임 중 어느 하나인 제1 프레임 및 상기 제1 프레임보다 상기 소정의 시간 이후 촬영된 제2 프레임을 추출하고, 상기 메모리에 저장된 강도 마스킹 모듈을 실행함으로써, 상기 제2 프레임의 픽셀별 이미지 강도를 기준으로 제1 마스크를 생성하고, 상기 제1 마스크를 적용한 상기 제2 프레임과 상기 제1 마스크를 반전한 제1 반전 마스크를 적용한 상기 제1 프레임을 합성하여 상기 제2 프레임을 수정할 수 있다. An image enhancement system, an image enhancement method, and an underwater cutting method are provided. An image enhancement system according to one aspect of the present invention comprises: a camera which generates image information including a plurality of frames captured at predetermined intervals; a communication interface which receives the image information from the camera; a memory which stores a plurality of command modules; and a processor which executes one or more of the command modules stored in the memory; wherein the processor receives the image information from the camera through the communication interface, extracts a first frame, which is one of a plurality of frames included in the image information, and a second frame captured after the predetermined interval of time from the first frame, and executes an intensity masking module stored in the memory, thereby generating a first mask based on pixel-by-pixel image intensity of the second frame, and modifies the second frame by synthesizing the second frame to which the first mask is applied and the first frame to which the first inversion mask is applied, which inverts the first mask.

Description

{Image enhancement system, image enhancement method and underwater cutting method}

본 발명은 영상 개선 시스템, 영상 개선 방법 및 수중 절단 방법에 관한 것으로서, 수중에서 촬영되는 영상에서 카메라가 촬영하는 대상에 대한 화질을 높이는 영상 개선 시스템, 영상 개선 방법 및 수중 절단 방법에 관한 것이다. The present invention relates to an image enhancement system, an image enhancement method and an underwater cutting method, and more particularly, to an image enhancement system, an image enhancement method and an underwater cutting method for improving the image quality of an object captured by a camera in an image captured underwater.

방사능이 높은 원전내 주요구조물의 철거를 위한 절단 작업을 할 때 물에 의한 방사선 차폐 효과를 이용하기 위해 수중에서 작업하는 경우가 있다. 또한, 원전 해체 분야가 아니더라도 수조, 강 및 바다 속에 잠겨 있는 시설의 수리나 유지보수를 위한 절단 작업도 수중에서 이루어지고 있다. When cutting to dismantle key structures in nuclear power plants with high levels of radiation, there are cases where work is done underwater to take advantage of the radiation shielding effect of water. In addition, even outside the nuclear power plant decommissioning field, cutting is also done underwater for repairs or maintenance of facilities submerged in water tanks, rivers, and the sea.

수중에서 절단 작업 시 기계적 또는 열적 절단 방법을 이용하는데, 이 경우 작업 중 금속 톱밥, 미세한 크기로 응고된 용융물 등에 의한 혼탁, 기포, 화염, 빛의 산란, 카메라나 절단 대상체의 진동 등이 발생될 수 있다. When cutting underwater, mechanical or thermal cutting methods are used. In this case, turbidity, bubbles, flames, light scattering, vibration of the camera or cutting target, etc. may occur during the operation due to metal sawdust, finely coagulated molten material, etc.

이에 따라, 절단 과정이나 절단 장치 및 절단 대상체의 상태를 영상을 통해 시각적으로 모니터링하거나 기록으로 남기는 것이 어렵다는 문제가 있다. 특히, 수중 작업의 경우 카메라를 통해 수집한 영상 정보를 활용하여 절단 작업을 진행하는데 이 경우 전술한 문제 때문에 수중 작업 자체가 어려워지는 문제가 있다. Accordingly, there is a problem that it is difficult to visually monitor or record the cutting process or the state of the cutting device and the cutting target through video. In particular, in the case of underwater work, the cutting work is performed using the video information collected through the camera, but in this case, there is a problem that the underwater work itself becomes difficult due to the aforementioned problem.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 혼탁, 기포, 화염, 빛의 산란, 카메라나 절단 대상체의 진동 등으로 인하여 영상 정보의 질 저하를 개선할 수 있는 영상 개선 시스템, 영상 개선 방법 및 수중 절단 방법을 제공하는데 목적이 있다. The present invention is intended to solve the above problems, and an object of the present invention is to provide an image enhancement system, an image enhancement method, and an underwater cutting method capable of improving the deterioration of image information quality due to turbidity, bubbles, flames, light scattering, vibration of a camera or a cutting target, etc.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The tasks of the present invention are not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art to which the present invention belongs from the description below.

상기 과제를 해결하기 위하여, 본 발명의 일 측면에 따른 영상 개선 시스템은, 소정의 시간마다 촬영한 복수의 프레임을 포함하는 영상 정보를 생성하는 카메라; 상기 카메라로부터 상기 영상 정보를 수신하는 통신 인터페이스; 복수의 명령어 모듈을 저장하는 메모리; 및 상기 메모리에 저장된 하나 이상의 상기 명령어 모듈을 실행하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 카메라로부터 상기 통신 인터페이스를 통해 상기 영상 정보를 입력 받고, 상기 영상 정보에 포함된 복수의 프레임 중 어느 하나인 제1 프레임 및 상기 제1 프레임보다 상기 소정의 시간 이후 촬영된 제2 프레임을 추출하고, 상기 메모리에 저장된 강도 마스킹 모듈을 실행함으로써, 상기 제2 프레임의 픽셀별 이미지 강도를 기준으로 제1 마스크를 생성하고, 상기 제1 마스크를 적용한 상기 제2 프레임과 상기 제1 마스크를 반전한 제1 반전 마스크를 적용한 상기 제1 프레임을 합성하여 상기 제2 프레임을 수정할 수 있다. In order to solve the above problem, an image enhancement system according to one aspect of the present invention comprises: a camera which generates image information including a plurality of frames captured at predetermined intervals; a communication interface which receives the image information from the camera; a memory which stores a plurality of command modules; and a processor which executes one or more of the command modules stored in the memory; wherein the processor receives the image information from the camera through the communication interface, extracts a first frame which is one of the plurality of frames included in the image information, and a second frame captured after the predetermined interval of time than the first frame, and executes an intensity masking module stored in the memory, thereby generating a first mask based on pixel-by-pixel image intensity of the second frame, and modifying the second frame by synthesizing the second frame to which the first mask is applied and the first frame to which the first inversion mask is applied, which inverts the first mask.

이때, 상기 프로세서는, 상기 메모리에 저장된 강도 매칭 모듈을 실행함으로써, 상기 제1 마스크를 적용한 상기 제2 프레임의 평균 이미지 강도와 상기 제1 반전 마스크를 적용한 상기 제1 프레임의 평균 이미지 강도 차이가 소정의 값 이하가 되도록 상기 제2 프레임을 수정할 수 있다. At this time, the processor can modify the second frame so that a difference between the average image intensity of the second frame to which the first mask is applied and the average image intensity of the first frame to which the first inversion mask is applied becomes less than or equal to a predetermined value by executing an intensity matching module stored in the memory.

이때, 상기 프로세서는, 상기 영상 정보에 포함된 복수의 프레임 중 최초 프레임을 추출하고, 상기 메모리에 저장된 색상 보정 모듈을 실행함으로써, 상기 최초 프레임의 색상을 보정할 수 있다. At this time, the processor can extract the first frame from among the multiple frames included in the image information and correct the color of the first frame by executing a color correction module stored in the memory.

이때, 상기 색상 보정 모듈은 수중에서 촬영된 상기 영상 정보에서 물에 흡수되어 왜곡되는 적색 파장을 보정할 수 있다. At this time, the color correction module can correct the red wavelength that is absorbed by water and distorted in the image information captured underwater.

이때, 상기 색상 보정 모듈은 수중 절단 작업을 촬영한 상기 영상 정보에서 절단 작업에서 발생하는 불꽃에 의한 색상 왜곡을 보정할 수 있다. At this time, the color correction module can correct color distortion caused by flames generated during the cutting operation in the image information captured during the underwater cutting operation.

이때, 상기 카메라가 촬영하는 대상에 대한 빛을 조사하는 조명기; 를 더 포함하고, 상기 색상 보정 모듈은 상기 조명기에서 조사되는 상기 빛의 색에 따른 왜곡을 보정할 수 있다. At this time, the camera further includes an illuminator that irradiates light to an object being photographed; and the color correction module can correct distortion according to the color of the light irradiated from the illuminator.

이때, 상기 프로세서는, 상기 메모리에 저장된 디헤이징 모듈을 실행함으로써, 상기 최초 프레임의 상기 카메라와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정할 수 있다. At this time, the processor can correct turbidity caused by fluid located between the camera and the subject being photographed in the first frame by executing a dehazing module stored in the memory.

이때, 상기 프로세서는, 상기 메모리에 저장된 디블러링 모듈을 실행함으로써, 상기 최초 프레임의 상기 카메라와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 상기 카메라의 흔들림에 의한 흐림을 보정할 수 있다. At this time, the processor can correct blurring caused by movement of a fluid located between the camera and the subject being photographed in the first frame or by shaking of the camera by executing a deblurring module stored in the memory.

이때, 상기 프로세서는, 상기 메모리에 저장된 강도 마스킹 모듈을 실행 전 상기 메모리에 저장된 색상 보정 모듈을 실행함으로써, 상기 제2 프레임의 색상을 보정할 수 있다. At this time, the processor can correct the color of the second frame by executing the color correction module stored in the memory before executing the intensity masking module stored in the memory.

이때, 상기 강도 마스킹 모듈은 상기 제2 프레임의 픽셀 중 이미지 강도가 소정의 기준 강도를 초과한 픽셀을 상기 제1 프레임의 픽셀로 대체하도록 상기 제1 마스크를 생성할 수 있다. At this time, the intensity masking module can generate the first mask to replace pixels of the second frame whose image intensity exceeds a predetermined reference intensity with pixels of the first frame.

이때, 상기 강도 마스킹 모듈은 상기 제2 프레임의 픽셀 중 상기 제2 프레임의 픽셀의 이미지 강도와 상기 제1 프레임의 픽셀의 이미지 강도의 차이가 소정의 값을 초과한 픽셀을 상기 제1 프레임의 픽셀로 대체하도록 상기 제1 마스크를 생성할 수 있다. At this time, the intensity masking module can generate the first mask to replace pixels of the second frame, in which a difference between the image intensity of the pixels of the second frame and the image intensity of the pixels of the first frame exceeds a predetermined value, with pixels of the first frame.

이때, 상기 프로세서는, 상기 제1 마스크를 적용한 상기 제2 프레임과 상기 제1 반전 마스크를 적용한 상기 제1 프레임을 합성한 후, 상기 메모리에 저장된 디헤이징 모듈을 실행함으로써, 상기 제2 프레임의 상기 카메라와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정할 수 있다. At this time, the processor can correct turbidity caused by a fluid located between the camera and the subject being photographed in the second frame by synthesizing the second frame to which the first mask has been applied and the first frame to which the first inversion mask has been applied, and then executing a dehazing module stored in the memory.

이때, 상기 프로세서는, 상기 제1 마스크를 적용한 상기 제2 프레임과 상기 제1 반전 마스크를 적용한 상기 제1 프레임을 합성한 후, 상기 메모리에 저장된 디블러링 모듈을 실행함으로써, 상기 제2 프레임의 상기 카메라와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 상기 카메라의 흔들림에 의한 흐림을 보정할 수 있다. At this time, the processor may execute a deblurring module stored in the memory after synthesizing the second frame to which the first mask has been applied and the first frame to which the first inversion mask has been applied, thereby correcting blurring caused by movement of a fluid located between the camera and the subject being photographed in the second frame or shaking of the camera.

이때, 상기 프로세서는, 상기 메모리에 저장된 광학 흐름 마스킹 모듈을 실행함으로써, 상기 제1 프레임과 상기 제2 프레임을 비교하여 상기 카메라와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 추출하고 상기 이동 정도가 소정의 값을 초과한 상기 제2 프레임의 픽셀을 상기 제1 프레임의 픽셀로 대체하도록 제2 마스크를 생성하고, 상기 제2 마스크를 적용한 상기 제2 프레임과 상기 제2 마스크를 반전한 제2 반전 마스크를 적용한 상기 제1 프레임을 합성하여 상기 제2 프레임을 수정할 수 있다. At this time, the processor may execute an optical flow masking module stored in the memory to compare the first frame and the second frame to extract the degree of movement of a foreign substance located between the camera and the subject to be photographed, generate a second mask to replace pixels of the second frame in which the degree of movement exceeds a predetermined value with pixels of the first frame, and modify the second frame by synthesizing the second frame to which the second mask is applied and the first frame to which a second inversion mask that inverts the second mask is applied.

이때, 상기 프로세서는 상기 제2 마스크를 적용한 상기 제2 프레임과 상기 제2 반전 마스크를 적용한 상기 제1 프레임을 합성하기 전 상기 메모리에 저장된 버블 마스킹 모듈을 실행함으로써, 상기 제2 마스크를 적용한 상기 제2 프레임에서 공기 방울을 인식하여 상기 공기 방울로 인식된 제2 프레임의 픽셀을 상기 제1 프레임의 픽셀로 대체하도록 상기 제2 마스크를 수정할 수 있다. At this time, the processor may modify the second mask by executing a bubble masking module stored in the memory before synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied, thereby recognizing an air bubble in the second frame to which the second mask is applied and replacing pixels of the second frame recognized as air bubbles with pixels of the first frame.

이때, 상기 제2 마스크는 상기 제2 프레임의 픽셀을 유지하는 위치에 1값이 할당되고 상기 제1 프레임의 픽셀을 합성하는 위치에 0값이 할당되고, 상기 프로세서는, 상기 제2 마스크를 적용한 상기 제2 프레임과 상기 제2 반전 마스크를 적용한 상기 제1 프레임을 합성하기 전 상기 메모리에 저장된 스무딩 모듈을 실행함으로써, 상기 제2 마스크의 상기 1값을 가지는 영역과 상기 0값을 가지는 영역의 경계 위치에 0 초과 1미만인 값을 할당할 수 있다. At this time, the second mask is assigned a value of 1 at a position that maintains a pixel of the second frame and a value of 0 at a position that synthesizes a pixel of the first frame, and the processor can assign a value greater than 0 and less than 1 to a boundary position between an area having the value of 1 and an area having the value of 0 of the second mask by executing a smoothing module stored in the memory before synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied.

이때, 상기 프로세서는, 상기 제2 마스크를 적용한 상기 제2 프레임과 상기 제2 반전 마스크를 적용한 상기 제1 프레임을 합성하기 전, 상기 메모리에 저장된 디헤이징 모듈을 실행함으로써, 상기 제2 마스크를 적용한 상기 제2 프레임의 상기 카메라와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정할 수 있다. At this time, the processor can correct turbidity caused by fluid located between the camera and the subject of the photograph of the second frame to which the second mask is applied by executing a dehazing module stored in the memory before synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied.

이때, 상기 프로세서는, 상기 제2 마스크를 적용한 상기 제2 프레임과 상기 제2 반전 마스크를 적용한 상기 제1 프레임을 합성하기 전, 상기 메모리에 저장된 디블러링 모듈을 실행함으로써, 상기 제2 마스크를 적용한 상기 제2 프레임의 상기 카메라와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 상기 카메라의 흔들림에 의한 흐림을 보정할 수 있다. At this time, the processor can correct blurring caused by movement of a fluid located between the camera and the subject being photographed or shaking of the camera in the second frame to which the second mask is applied, by executing a deblurring module stored in the memory before synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied.

본 발명의 다른 측면에 따른 영상 개선 방법은, 소정의 시간마다 촬영한 복수의 프레임을 포함하는 영상 정보를 생성하는 영상 촬영 단계; 상기 영상 정보에 포함된 복수의 프레임 중 어느 하나인 제1 프레임 및 상기 제1 프레임보다 상기 소정의 시간 이후 촬영된 제2 프레임을 추출하는 프레임 추출 단계; 상기 제2 프레임의 픽셀별 이미지 강도를 기준으로 제1 마스크를 생성하는 제1 마스크 생성 단계; 상기 제1 마스크를 적용한 상기 제2 프레임의 평균 이미지 강도와 상기 제1 마스크를 반전한 제1 반전 마스크를 적용한 상기 제1 프레임의 평균 이미지 강도 차이가 소정의 값 이하가 되도록 상기 제2 프레임을 수정하는 강도 매칭 단계; 및 상기 제1 마스크를 적용한 상기 제2 프레임과 상기 제1 반전 마스크를 적용한 상기 제1 프레임을 합성하여 상기 제2 프레임을 수정하는 제1 프레임 합성 단계; 를 포함할 수 있다. According to another aspect of the present invention, an image enhancement method may include: an image capturing step of generating image information including a plurality of frames captured at predetermined intervals; a frame extraction step of extracting a first frame, which is one of the plurality of frames included in the image information, and a second frame captured after the predetermined interval of time than the first frame; a first mask generation step of generating a first mask based on pixel-by-pixel image intensity of the second frame; an intensity matching step of modifying the second frame so that a difference between an average image intensity of the second frame to which the first mask is applied and an average image intensity of the first frame to which a first inversion mask is applied, which inverts the first mask, becomes less than a predetermined value; and a first frame synthesis step of modifying the second frame by synthesizing the second frame to which the first mask is applied and the first frame to which the first inversion mask is applied.

이때, 상기 영상 촬영 단계 후 상기 프레임 추출 단계 전, 상기 영상 정보에 포함된 복수의 프레임 중 최초 프레임을 추출하고 상기 최초 프레임의 색상을 보정하는 최초 프레임 색상 보정 단계; 상기 최초 프레임에 포함된 카메라와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정하는 최초 프레임 탁도 보정 단계; 및 상기 최초 프레임에 포함된 상기 카메라와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 상기 카메라의 흔들림에 의한 흐림을 보정하는 최초 프레임 흐림 보정 단계; 를 더 포함할 수 있다. At this time, after the image capturing step and before the frame extraction step, the method may further include: an initial frame color correction step of extracting a first frame from among the multiple frames included in the image information and correcting the color of the first frame; an initial frame turbidity correction step of correcting turbidity caused by a fluid located between the camera and the subject being photographed included in the initial frame; and an initial frame blur correction step of correcting blur caused by movement of a fluid located between the camera and the subject being photographed included in the initial frame or shaking of the camera.

이때, 상기 제1 프레임과 제2 프레임을 비교하여 카메라와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 추출하고 상기 이동 정도가 소정의 값을 초과한 상기 제2 프레임의 픽셀을 상기 제1 프레임의 픽셀로 대체하도록 제2 마스크를 생성하는 제2 마스크 생성 단계; 상기 제2 마스크를 적용한 상기 제2 프레임과 상기 제2 마스크를 반전한 제2 반전 마스크를 적용한 상기 제1 프레임을 합성하여 상기 제2 프레임을 수정하는 제2 프레임 합성 단계; 를 더 포함할 수 있다. At this time, the method may further include a second mask generation step of comparing the first frame and the second frame to extract the degree of movement of a foreign substance located between the camera and the subject to be photographed and generating a second mask to replace pixels of the second frame in which the degree of movement exceeds a predetermined value with pixels of the first frame; a second frame synthesis step of modifying the second frame by synthesizing the second frame to which the second mask is applied and the first frame to which a second inversion mask that inverts the second mask is applied;

이때, 상기 제2 마스크 생성 단계 후 상기 제2 프레임 합성 단계 전, 상기 제2 마스크를 적용한 상기 제2 프레임에 포함된 카메라와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정하는 제1 프레임 탁도 보정 단계; 및 상기 제2 마스크를 적용한 상기 제2 프레임에 포함된 상기 카메라와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 상기 카메라의 흔들림에 의한 흐림을 보정하는 제1 프레임 흐림 보정 단계; 를 더 포함할 수 있다. At this time, after the second mask generation step and before the second frame synthesis step, the method may further include a first frame turbidity correction step for correcting turbidity caused by a fluid located between the camera and the subject to be photographed included in the second frame to which the second mask is applied; and a first frame blur correction step for correcting blur caused by movement of a fluid located between the camera and the subject to be photographed included in the second frame to which the second mask is applied or shaking of the camera.

이때, 상기 제2 마스크 생성 단계 후 상기 제2 프레임 합성 단계 전, 상기 제2 마스크를 적용한 상기 제2 프레임에서 공기 방울을 인식하여 상기 공기 방울로 인식된 제2 프레임의 픽셀을 상기 제1 프레임의 픽셀로 대체하도록 상기 제2 마스크를 수정하는 제1 마스크 수정 단계; 를 더 포함할 수 있다. At this time, after the second mask generation step and before the second frame synthesis step, a first mask modification step may be further included for modifying the second mask to recognize air bubbles in the second frame to which the second mask has been applied and replace pixels of the second frame recognized as air bubbles with pixels of the first frame.

이때, 상기 제1 마스크 수정 단계 후 상기 제2 프레임 합성 단계 전, 상기 제2 프레임에 상기 제2 마스크를 적용한 영역과 상기 제1 프레임에 상기 제2 반전 마스크를 적용한 영역의 경계를 보정하는 제2 마스크 수정 단계; 를 더 포함할 수 있다. At this time, the method may further include a second mask modification step for correcting a boundary between an area where the second mask is applied to the second frame and an area where the second inversion mask is applied to the first frame, after the first mask modification step and before the second frame synthesis step.

이때, 수정된 상기 제2 프레임에 포함된 카메라와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정하는 제2 프레임 탁도 보정 단계; 및 수정된 상기 제2 프레임에 포함된 상기 카메라와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 상기 카메라의 흔들림에 의한 흐림을 보정하는 제2 프레임 흐림 보정 단계; 를 더 포함할 수 있다. At this time, the second frame turbidity correction step for correcting turbidity caused by a fluid located between the camera and the subject to be photographed included in the modified second frame; and the second frame blur correction step for correcting blur caused by movement of a fluid located between the camera and the subject to be photographed included in the modified second frame or shaking of the camera may be further included.

본 발명의 또 다른 측면에 따른 수중 절단 방법은, 소정의 시간마다 수중 절단 작업을 촬영한 복수의 프레임을 포함하는 영상 정보를 생성하는 영상 촬영 단계; 상기 영상 정보에 포함된 복수의 프레임 중 어느 하나인 제1 프레임 및 상기 제1 프레임보다 상기 소정의 시간 이후 촬영된 제2 프레임을 추출하는 프레임 추출 단계; 상기 제2 프레임의 픽셀별 이미지 강도를 기준으로 제1 마스크를 생성하는 제1 마스크 생성 단계; 상기 제1 마스크의 픽셀별 강도의 제1 평균값이 소정의 제1 기준값 이하이면 상기 수중 절단 작업을 중단하는 제1 절단 작업 중단 단계; 상기 제1 마스크를 적용한 상기 제2 프레임과 상기 제1 마스크를 반전한 제1 반전 마스크를 적용한 상기 제1 프레임을 합성하여 상기 제2 프레임을 수정하는 제1 프레임 합성 단계; 상기 제1 마스크의 픽셀별 강도의 상기 제1 평균값이 상기 제1 기준값 초과이면 상기 수중 절단 작업을 재개하는 절단 작업 재개 단계; 상기 수중 절단 작업이 진행 중이면, 상기 제1 프레임을 상기 제2 프레임으로 대체하되 상기 제1 프레임보다 상기 소정의 시간 이후 촬영된 프레임을 상기 제2 프레임으로 대체하고, 상기 제1 마스크 생성 단계, 상기 제1 작업 중단 단계 및 상기 제1 프레임 합성 단계를 순차적으로 수행하는 작업 종료 확인 단계; 를 포함할 수 있다. According to another aspect of the present invention, an underwater cutting method comprises: an image capturing step of generating image information including a plurality of frames captured during an underwater cutting operation at predetermined intervals; a frame extraction step of extracting a first frame, which is one of a plurality of frames included in the image information, and a second frame captured after the predetermined interval of time from the first frame; a first mask generating step of generating a first mask based on pixel-by-pixel image intensities of the second frame; a first cutting operation stopping step of stopping the underwater cutting operation if a first average value of pixel-by-pixel intensities of the first mask is lower than or equal to a first reference value; a first frame synthesizing step of modifying the second frame by synthesizing the second frame to which the first mask is applied and the first frame to which a first inversion mask is applied, which is an inversion of the first mask; a cutting operation resuming step of resuming the underwater cutting operation if the first average value of pixel-by-pixel intensities of the first mask exceeds the first reference value; If the above underwater cutting operation is in progress, the first frame is replaced with the second frame, but a frame captured after the predetermined time from the first frame is replaced with the second frame, and a work completion confirmation step of sequentially performing the first mask generation step, the first work stop step, and the first frame synthesis step may be included.

이때, 상기 제1 절단 작업 중단 단계 후 상기 제1 프레임 합성 단계 전, 상기 제1 마스크를 적용한 상기 제2 프레임의 평균 이미지 강도와 상기 제1 마스크를 반전한 제1 반전 마스크를 적용한 상기 제1 프레임의 평균 이미지 강도 차이가 소정의 값 이하가 되도록 상기 제2 프레임을 수정하는 강도 매칭 단계; 를 더 포함할 수 있다. At this time, after the first cutting operation stop step and before the first frame synthesis step, the second frame may further be modified such that the difference between the average image intensity of the second frame to which the first mask is applied and the average image intensity of the first frame to which the first inversion mask is applied, which inverts the first mask, becomes less than or equal to a predetermined value.

이때, 상기 제1 프레임 합성 단계 후 상기 절단 작업 재개 단계 전, 상기 제1 프레임과 제2 프레임을 비교하여 카메라와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 추출하고 상기 이동 정도가 소정의 값을 초과한 상기 제2 프레임의 픽셀을 상기 제1 프레임의 픽셀로 대체하도록 제2 마스크를 생성하는 제2 마스크 생성 단계; 및 상기 제2 마스크의 픽셀별 강도의 제2 평균값이 소정의 제2 기준값 이하이면 상기 수중 절단 작업을 중단하는 제2 절단 작업 중단 단계; 상기 제2 마스크를 적용한 상기 제2 프레임과 상기 제2 마스크를 반전한 제2 반전 마스크를 적용한 상기 제1 프레임을 합성하여 상기 제2 프레임을 수정하는 제2 프레임 합성 단계; 를 더 포함하고, 상기 절단 작업 재개 단계에서는, 상기 제2 평균값과 상기 제2 기준값을 더 비교하여 상기 제2 평균값이 상기 제2 기준값 초과이면 상기 수중 절단 작업을 재개하고, 상기 작업 종료 확인 단계에서는, 상기 제1 프레임 합성 단계 후 상기 제2 마스크 생성 단계, 상기 제2 절단 작업 중단 단계 및 상기 제2 프레임 합성 단계를 순차적으로 더 수행할 수 있다. At this time, a second mask generation step for extracting the degree of movement of a foreign substance located between the camera and the subject to be photographed by comparing the first frame and the second frame and before the cutting operation resumption step after the first frame synthesis step, and generating a second mask to replace pixels of the second frame in which the degree of movement exceeds a predetermined value with pixels of the first frame; and a second cutting operation stop step for stopping the underwater cutting operation if the second average value of the pixel intensities of the second mask is lower than or equal to a second predetermined reference value; a second frame synthesis step for modifying the second frame by synthesizing the second frame to which the second mask is applied and the first frame to which a second inversion mask is applied that inverts the second mask; In addition, in the step of resuming the cutting operation, the second average value and the second reference value are further compared, and if the second average value exceeds the second reference value, the underwater cutting operation is resumed, and in the step of confirming the completion of the operation, the second mask generation step, the second cutting operation stop step, and the second frame synthesis step can be further sequentially performed after the first frame synthesis step.

이때, 상기 제2 절단 작업 중단 단계 후 상기 제2 프레임 합성 단계 전, 상기 제2 마스크를 적용한 상기 제2 프레임에서 공기 방울을 인식하여 상기 공기 방울로 인식된 제2 프레임의 픽셀을 상기 제1 프레임의 픽셀로 대체하도록 상기 제2 마스크를 수정하는 제1 마스크 수정 단계; 및 수정된 상기 제2 마스크의 픽셀별 강도의 제3 평균값이 소정의 제3 기준값 이하이면 상기 수중 절단 작업을 중단하는 제3 절단 작업 중단 단계; 를 더 포함하고, 상기 절단 작업 재개 단계에서는, 상기 제3 평균값과 상기 제3 기준값을 더 비교하여 상기 제3 평균값이 상기 제3 기준값 초과이면 상기 수중 절단 작업을 재개하고, 상기 작업 종료 확인 단계에서는, 상기 제2 절단 작업 중단 단계 후 상기 제2 프레임 합성 단계 전, 상기 제1 마스크 수정 단계 및 상기 제3 절단 작업 중단 단계를 순차적으로 더 수행할 수 있다. At this time, after the second cutting operation stop step and before the second frame synthesis step, a first mask modification step for recognizing air bubbles in the second frame to which the second mask has been applied and modifying the second mask to replace pixels of the second frame recognized as air bubbles with pixels of the first frame; and a third cutting operation stop step for stopping the underwater cutting operation if a third average value of the pixel intensities of the modified second mask is lower than or equal to a third reference value; the method further includes, and in the cutting operation resumption step, the third average value and the third reference value are further compared, and if the third average value exceeds the third reference value, the underwater cutting operation is resumed, and in the operation completion confirmation step, after the second cutting operation stop step and before the second frame synthesis step, the first mask modification step and the third cutting operation stop step can be further sequentially performed.

이때, 상기 제3 절단 작업 중단 단계 후 상기 제2 프레임 합성 단계 전, 상기 제2 프레임에 상기 제2 마스크를 적용한 영역과 상기 제1 프레임에 상기 제2 반전 마스크를 적용한 영역의 경계를 보정하는 제2 마스크 수정 단계; 를 더 포함하고, 상기 작업 종료 확인 단계에서는, 상기 제3 절단 작업 중단 단계 후 상기 제2 프레임 합성 단계 전, 상기 제2 마스크 수정 단계를 더 수행할 수 있다. At this time, a second mask modification step is further included for correcting the boundary between the area where the second mask is applied to the second frame and the area where the second inversion mask is applied to the first frame after the third cutting operation stop step and before the second frame synthesis step; and in the operation completion confirmation step, the second mask modification step can be further performed after the third cutting operation stop step and before the second frame synthesis step.

본 발명의 일 실시예에 영상 개선 시스템, 영상 개선 방법 및 수중 절단 방법은 연속된 제1 프레임 및 제2 프레임을 비교하여 제2 프레임을 일부 정보를 제1 프레임으로 대체함으로써, 혼탁, 기포, 화염, 빛의 산란, 카메라나 절단 대상체의 진동 등으로 인하여 영상 정보의 질 저하를 개선할 수 있다. In one embodiment of the present invention, an image enhancement system, an image enhancement method, and an underwater cutting method can improve the quality of image information deterioration caused by turbidity, bubbles, flames, light scattering, vibration of a camera or a cutting target, etc., by comparing consecutive first and second frames and replacing some information of the second frame with the first frame.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다. It should be understood that the effects of the present invention are not limited to the effects described above, and include all effects that can be inferred from the composition of the invention described in the description or claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 영상 개선 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 개선 시스템의 카메라가 촬영한 영상 정보에 포함된 복수의 프레임을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 개선 시스템에 의하여 영상 정보가 개선되는 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 개선 시스템에 의하여 생성되는 마스크와 마스크를 이용한 프레임의 합성과정을 간략하게 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 개선 시스템의 메모리에 저장된 광학 흐름 마스킹 모듈을 실행 시 카메라와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 프레임에 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 개선 시스템의 메모리에 저장된 스무딩 모듈을 실행하여 수정되는 제2 마스크를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 개선 시스템의 제1 프레임과 제2 프레임을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 개선 방법을 도시한 순서도이다.
도 9는 본 발명의 일 실시예의 변형예에 따른 영상 개선 방법을 도시한 순서도이다.
도 10은 본 발명의 다른 실시예에 따른 수중 절단 방법을 도시한 순서도이다. FIG. 1 is a diagram illustrating an image enhancement system according to one embodiment of the present invention.
FIG. 2 is a drawing illustrating a plurality of frames included in image information captured by a camera of an image enhancement system according to one embodiment of the present invention.
FIG. 3 is a diagram illustrating a process in which image information is improved by an image improvement system according to one embodiment of the present invention.
FIG. 4 is a diagram briefly illustrating a process of synthesizing a mask and a frame using the mask generated by an image enhancement system according to one embodiment of the present invention.
FIG. 5 is a drawing showing the degree of movement of a foreign substance located between a camera and an object to be photographed in a frame when an optical flow masking module stored in a memory of an image enhancement system according to one embodiment of the present invention is executed.
FIG. 6 is a diagram illustrating a second mask that is modified by executing a smoothing module stored in the memory of an image enhancement system according to one embodiment of the present invention.
FIG. 7 is a diagram illustrating a first frame and a second frame of an image enhancement system according to one embodiment of the present invention.
FIG. 8 is a flowchart illustrating an image enhancement method according to one embodiment of the present invention.
FIG. 9 is a flowchart illustrating an image improvement method according to a modified example of one embodiment of the present invention.
FIG. 10 is a flowchart illustrating an underwater cutting method according to another embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention. The present invention may be implemented in various different forms and is not limited to the embodiments described herein. In order to clearly describe the present invention, parts that are not related to the description are omitted in the drawings, and the same reference numerals are assigned to the same or similar components throughout the specification.

본 명세서 및 청구범위에 사용된 단어와 용어는 통상적이거나 사전적인 의미로 한정 해석되지 않고, 자신의 발명을 최선의 방법으로 설명하기 위해 발명자가 용어와 개념을 정의할 수 있는 원칙에 따라 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.The words and terms used in this specification and claims should not be construed as limited to their usual or dictionary meanings, but should be interpreted as having meanings and concepts consistent with the technical idea of the present invention, in accordance with the principles by which the inventor can define terms and concepts in order to best describe his or her invention.

그러므로 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하고, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형예가 있을 수 있다.Therefore, the embodiments described in this specification and the configurations illustrated in the drawings correspond to a preferred embodiment of the present invention and do not represent all of the technical ideas of the present invention, so the corresponding configuration may have various equivalents and modified examples that can replace it at the time of filing of the present invention.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 설명하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, the terms “include” or “have” are intended to describe the presence of a feature, number, step, operation, component, part or combination thereof described in the specification, but should be understood to not exclude in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts or combinations thereof.

어떤 구성 요소가 다른 구성 요소의 "전방", "후방", "상부" 또는 "하부"에 있다는 것은 특별한 사정이 없는 한 다른 구성 요소와 바로 접하여 "전방", "후방", "상부" 또는 "하부"에 배치되는 것뿐만 아니라 그 중간에 또 다른 구성 요소가 배치되는 경우도 포함한다. 또한, 어떤 구성 요소가 다른 구성 요소와 "연결"되어 있다는 것은 특별한 사정이 없는 한 서로 직접 연결되는 것뿐만 아니라 간접적으로 서로 연결되는 경우도 포함한다. When a component is said to be "in front of," "behind," "above," or "below" another component, unless there are special circumstances, it includes not only being positioned "in front of," "behind," "above," or "below" the other component in direct contact with it, but also cases where there are other components intervening therebetween. Furthermore, when a component is said to be "connected" to another component, unless there are special circumstances, it includes not only being directly connected to one another, but also indirectly connected to one another.

이하에서는 도면을 참조하여 본 발명의 일 실시예에 따른 영상 개선 시스템, 영상 개선 방법 및 수중 절단 방법을 설명한다. Hereinafter, an image enhancement system, an image enhancement method, and an underwater cutting method according to one embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 영상 개선 시스템을 도시한 도면이다. 도 2는 본 발명의 일 실시예에 따른 영상 개선 시스템의 카메라가 촬영한 영상 정보에 포함된 복수의 프레임을 도시한 도면이다. 도 3은 본 발명의 일 실시예에 따른 영상 개선 시스템에 의하여 영상 정보가 개선되는 과정을 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 영상 개선 시스템에 의하여 생성되는 마스크와 마스크를 이용한 프레임의 합성과정을 간략하게 도시한 도면이다. 도 5는 본 발명의 일 실시예에 따른 영상 개선 시스템의 메모리에 저장된 광학 흐름 마스킹 모듈을 실행 시 카메라와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 프레임에 도시한 도면이다. 도 6은 본 발명의 일 실시예에 따른 영상 개선 시스템의 메모리에 저장된 스무딩 모듈을 실행하여 수정되는 제2 마스크를 도시한 도면이다. 도 7은 본 발명의 일 실시예에 따른 영상 개선 시스템의 제1 프레임과 제2 프레임을 도시한 도면이다. FIG. 1 is a diagram illustrating an image enhancement system according to an embodiment of the present invention. FIG. 2 is a diagram illustrating a plurality of frames included in image information captured by a camera of an image enhancement system according to an embodiment of the present invention. FIG. 3 is a diagram illustrating a process in which image information is enhanced by an image enhancement system according to an embodiment of the present invention. FIG. 4 is a diagram briefly illustrating a process in which a mask generated by an image enhancement system according to an embodiment of the present invention and a frame synthesis process using the mask are performed. FIG. 5 is a diagram illustrating the degree of movement of a foreign substance located between a camera and a subject to be photographed in a frame when an optical flow masking module stored in a memory of an image enhancement system according to an embodiment of the present invention is executed. FIG. 6 is a diagram illustrating a second mask modified by executing a smoothing module stored in a memory of an image enhancement system according to an embodiment of the present invention. FIG. 7 is a diagram illustrating a first frame and a second frame of an image enhancement system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 개선 시스템(1)은 카메라(10), 통신 인터페이스(20), 메모리(30) 및 프로세서(40)를 포함한다. Referring to FIG. 1, an image enhancement system (1) according to one embodiment of the present invention includes a camera (10), a communication interface (20), a memory (30), and a processor (40).

카메라(10)는 소정의 시간(??)마다 촬영한 복수의 프레임(12)을 포함하는 영상 정보(11)를 생성한다. 이를 상세히 설명하면, 카메라(10)는 빛을 받아 이미지를 기록하는 장치로서, 영상을 촬영하여 영상 정보(11)를 촬영한다. 카메라(10)는 대상을 촬영하여 영상 정보(11)를 생성할 수 있으면 공지된 카메라 장치를 사용할 수 있다. The camera (10) generates image information (11) including a plurality of frames (12) captured at predetermined intervals (??). To explain in detail, the camera (10) is a device that receives light and records an image, and captures an image to capture image information (11). The camera (10) can use any known camera device as long as it can capture an object and generate image information (11).

도 2에 도시된 바와 같이, 촬영된 영상 정보(11)는 복수의 프레임(12)이 연속적으로 연결된 것으로서, 복수의 프레임(12)은 소정의 시간(??) 간격을 가지고 촬영된 정보이다. 소정의 시간(??) 간격은 카메라(10)의 성능에 따라 달라질 수 있다. As shown in Fig. 2, the captured image information (11) is information in which a plurality of frames (12) are sequentially connected, and the plurality of frames (12) are captured at a predetermined time (??) interval. The predetermined time (??) interval may vary depending on the performance of the camera (10).

통신 인터페이스(20)는 카메라(10)로부터 영상 정보(11)를 수신한다. 통신 인터페이스(20)는 프로세서(40)의 제어에 의하여 카메라(10)와 데이터 통신을 수행할 수 있다. 통신 인터페이스(20)는 프로세서(40)뿐만 아니라, 다른 주변 전자 기기와도 데이터를 송수신할 수 있다. The communication interface (20) receives image information (11) from the camera (10). The communication interface (20) can perform data communication with the camera (10) under the control of the processor (40). The communication interface (20) can transmit and receive data not only with the processor (40) but also with other peripheral electronic devices.

통신 인터페이스(20)는 카메라(10)로부터 영상 정보(11)를 수신하여 프로세서(40)에 전달할 수 있으면 공지된 통신 방식을 이용할 수 있다. 통신 인터페이스(20)는 유선 케이블을 이용한 통신 방식을 이용할 수도 있고, 무선 통신 방식을 이용할 수도 있다. 무선 통신 방식은 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나가 선택될 수 있다. The communication interface (20) can use a known communication method if it can receive image information (11) from the camera (10) and transmit it to the processor (40). The communication interface (20) can use a communication method using a wired cable or a wireless communication method. As the wireless communication method, at least one of data communication methods including Wireless LAN, Wi-Fi, Bluetooth, Zigbee, WFD (Wi-Fi Direct), Infrared Data Association (IrDA), Bluetooth Low Energy (BLE), Near Field Communication (NFC), Wireless Broadband Internet (Wibro), World Interoperability for Microwave Access (WiMAX), Shared Wireless Access Protocol (SWAP), Wireless Gigabit Alliance (WiGig), and RF communication can be selected.

메모리(30)는 복수의 명령어 모듈을 저장한다. 이때, 메모리(30)는 데이터를 저장할 수 있으면 공지된 저장 장치가 사용될 수 있다. 예를 들면, 메모리(30)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함하는 비휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.The memory (30) stores a plurality of command modules. At this time, the memory (30) may use a known storage device that can store data. For example, the memory (30) may include a nonvolatile memory including at least one of a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, an SD or XD memory, etc.), a ROM (Read-Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), a PROM (Programmable Read-Only Memory), a magnetic memory, a magnetic disk, and an optical disk, and a volatile memory such as a RAM (Random Access Memory) or a SRAM (Static Random Access Memory).

도 1에 도시된 바와 같이, 메모리(30)에는 강도 마스킹 모듈(34), 강도 매칭 모듈(38), 색상 보정 모듈(31), 디헤이징 모듈(32), 디블러링 모듈(33), 광학 흐름 마스킹 모듈(35), 버블 마스킹 모듈(36) 및 스무딩 모듈(37)이 저장될 수 있다. 이때, 프로세서(40)는 메모리(30)에 저장된 하나 이상의 명령어 모듈을 실행한다. As illustrated in FIG. 1, an intensity masking module (34), an intensity matching module (38), a color correction module (31), a dehazing module (32), a deblurring module (33), an optical flow masking module (35), a bubble masking module (36), and a smoothing module (37) may be stored in the memory (30). At this time, the processor (40) executes one or more command modules stored in the memory (30).

이하에서는 프로세서(40)가 메모리(30)에 저장된 복수의 명령어 모듈을 실행함으로써 영상 정보(11)를 개선하는 과정을 설명한다. Below, a process for improving image information (11) by having a processor (40) execute multiple command modules stored in memory (30) is described.

도 2에 도시된 바와 같이, 프로세서(40)는 영상 정보(11)에 포함된 복수의 프레임 중 어느 하나인 제1 프레임(12a) 및 제1 프레임(12a)보다 소정의 시간(??) 이후 촬영된 제2 프레임(12b)을 추출한다. As shown in Fig. 2, the processor (40) extracts a first frame (12a) among a plurality of frames included in the image information (11) and a second frame (12b) captured a predetermined time (??) later than the first frame (12a).

이때, 제1 프레임(12a)은 영상 정보(11) 중 임의의 시간에 촬영된 프레임을 의미하고, 제2 프레임(12b)은 제1 프레임(12a) 촬영 후 바로 다음에 촬영된 프레임을 의미한다. 즉, 제1 프레임(12a)과 제2 프레임(12b)은 영상 정보(11)에 포함된 복수의 프레임 중 시간순으로 연속된 두 개의 프레임을 의미한다. At this time, the first frame (12a) means a frame captured at any time among the image information (11), and the second frame (12b) means a frame captured immediately after the first frame (12a) was captured. In other words, the first frame (12a) and the second frame (12b) mean two consecutive frames in chronological order among the multiple frames included in the image information (11).

이때, 영상 정보(11)의 최초에 촬영된 프레임을 최초 프레임(12i)으로 규정한다. 제1 프레임(12a)으로 최초 프레임(12i)이 선택되는 경우, 제2 프레임(12b)은 두 번째로 촬영된 프레임이 된다. 즉, 제1 프레임(12a)은 특정 시각의 프레임을 의미하는 것이 아니며 임의의 시각의 프레임으로서, 복수의 프레임 중 어느 한 프레임이 된다. At this time, the first frame captured in the image information (11) is defined as the first frame (12i). If the first frame (12i) is selected as the first frame (12a), the second frame (12b) becomes the second frame captured. That is, the first frame (12a) does not mean a frame at a specific time, but rather a frame at an arbitrary time, and becomes one of a plurality of frames.

프로세서(40)는 영상 정보(11)에 포함된 복수의 프레임 중 최초 프레임(12i)을 추출하고, 메모리(30)에 저장된 색상 보정 모듈(31)을 실행함으로써, 최초 프레임(12i)의 색상을 보정한다. 이때, 색상 보정 모듈(31)을 통하여 최초 프레임(12i)의 색상을 보정하는 방식에는 제한이 없다. The processor (40) extracts the first frame (12i) from among the multiple frames included in the image information (11) and corrects the color of the first frame (12i) by executing the color correction module (31) stored in the memory (30). At this time, there is no limitation on the method of correcting the color of the first frame (12i) through the color correction module (31).

예를 들면, 색상 보정 모듈(31)은 수중에서 촬영된 영상 정보(11)에서 물에 흡수되어 왜곡되는 적색 파장을 보정할 수 있다. 이를 보다 상세하게 설명하면, 카메라(10)가 촬영하는 대상이 물 속에 배치되어 있어서 카메라(10)를 이용하여 수중에서 촬영하는 대상을 촬영하는 경우, 카메라(10)와 촬영 대상 사이에는 물이 존재하게 된다. For example, the color correction module (31) can correct the red wavelength that is absorbed by water and distorted in image information (11) captured underwater. To explain this in more detail, when the subject captured by the camera (10) is placed in water and the subject is captured underwater using the camera (10), water exists between the camera (10) and the subject.

물은 카메라(10)와 촬영 대상 사이에서 빛의 일부를 흡수하게 된다. 이때, 대략 5m 이상으로 수심이 깊어지면 파장이 상대적으로 긴 적색이 파란색과 초록색 대비 많이 물에 흡수된다. 이에 따라, 영상 정보(11)는 실제 색과 다르게 파란색과 초록색 빛이 많이 남게 본래의 모습과 달리 왜곡된다. Water absorbs some of the light between the camera (10) and the subject of the photograph. At this time, when the water depth becomes deeper than about 5m, red, which has a relatively long wavelength, is absorbed more by the water than blue and green. Accordingly, the image information (11) is distorted from its original appearance, with more blue and green light remaining, unlike the actual color.

따라서, 촬영 대상을 명확하게 확인할 수 있도록 수중에서 촬영된 영상 정보(11)의 적색 왜곡을 보정하기 위하여 프로세서(40)는 색상 보정 모듈(31)을 실행하여 각 프레임을 수정하게 된다. Therefore, in order to correct the red distortion of the image information (11) captured underwater so that the subject of the shooting can be clearly identified, the processor (40) executes the color correction module (31) to correct each frame.

한편, 색상 보정 모듈(31)은 촬영 대상을 절단하는 모습이 촬영된 영상 정보(11)에서 절단 작업에서 발생하는 불꽃에 의한 색상 왜곡을 보정할 수 있다. 이를 보다 상세하게 설명하면, 수중에 배치된 물체를 절단하는 과정에서는 레이져 등 열적 절단 방법이 사용된다. Meanwhile, the color correction module (31) can correct color distortion caused by flames generated during the cutting process in the image information (11) in which the image of cutting the subject is captured. To explain this in more detail, a thermal cutting method such as a laser is used in the process of cutting an object placed underwater.

이때, 수중에 배치된 물체를 열적 절단 방법을 통해 절단하는 과정에서 강한 불꽃(flame)이 발생하게 된다. 이에 의하여 카메라(10)로 절단 과정을 촬영하게 되면 영상 정보(11)는 불꽃에 의해 영상 정보(11)의 색상이 왜곡될 수 있다. At this time, a strong flame is generated in the process of cutting an object placed in water using a thermal cutting method. Accordingly, when the cutting process is filmed with a camera (10), the color of the image information (11) may be distorted by the flame.

따라서, 촬영 대상을 명확하게 확인할 수 있도록 수중에서 촬영된 영상 정보(11)의 불꽃으로 인한 왜곡을 보정하기 위하여 프로세서(40)는 색상 보정 모듈(31)을 실행하여 각 프레임을 수정하게 된다. Therefore, in order to correct the distortion caused by flames in the image information (11) captured underwater so that the subject of the shooting can be clearly identified, the processor (40) executes the color correction module (31) to correct each frame.

한편, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 개선 시스템(1)은 카메라(10)가 촬영하는 대상에 대한 빛을 조사하는 조명기(50)를 더 포함할 수 있다. Meanwhile, as illustrated in FIG. 1, the image enhancement system (1) according to one embodiment of the present invention may further include an illuminator (50) that irradiates light on an object photographed by the camera (10).

상대적으로 어두운 수중에서 물체를 촬영하게 되면, 촬영 대상인 물체를 명확하게 촬영할 수 없는 문제가 있다. 이에 따라, 조명기(50)는 촬영 대상 측으로 빛을 조사하여 카메라(10)가 물체를 명확하게 촬영할 수 있게 한다. When photographing an object in relatively dark water, there is a problem in that the object being photographed cannot be photographed clearly. Accordingly, the illuminator (50) irradiates light toward the subject of the photograph so that the camera (10) can photograph the object clearly.

다만, 조명기(50)에서 조사하는 빛의 색에 따라 영상 정보(11)의 색이 왜곡될 수 있다. 예를 들면, 조명기(50)가 백열등인 경우 노란색으로 왜곡된다. 사람의 육안은 흰색을 자동으로 보정하게 되나, 카메라(10)는 촬영 대상을 포착한 색상을 그대로 재현하기 때문에 육안으로 보는 실제 이미지와는 달리 영상 정보(11)에서는 흰색이 주변 조명에 따라 노란빛 또는 푸른빛으로 왜곡될 수 있다. However, the color of the image information (11) may be distorted depending on the color of the light irradiated by the lighting device (50). For example, if the lighting device (50) is an incandescent lamp, it is distorted to yellow. The human eye automatically corrects white, but since the camera (10) reproduces the color of the captured subject as it is, white in the image information (11) may be distorted to yellow or blue depending on the surrounding lighting, unlike the actual image seen with the naked eye.

프로세서(40)는 색상 보정 모듈(31)을 실행함으로써, 촬영 환경의 조명기(50)가 조사한 빛이 미치는 영향을 보정하여 흰색 물체를 하얗게 보이도록 한다. The processor (40) executes the color correction module (31) to compensate for the influence of light irradiated by the lighting device (50) of the shooting environment, thereby making a white object appear white.

전술한 색상 보정 모듈(31)은 하나의 명령어 모듈로 구성될 수도 각각의 상황에 따라 선택적으로 구성된 모듈일 수도 있다. 색상 보정 모듈(31)로 사용되는 알고리즘은 공지된 다양한 알고리즘이 사용될 수 있다. 예를 들면, 화이트 밸런스(White Balance), 히스토그램 균일화(Histogram Equalization), 컬러 채널 보정(Color Channel Adjustment) 등이 사용될 수 있다. The color correction module (31) described above may be composed of a single command module or may be a module selectively configured according to each situation. Various known algorithms may be used as the algorithm used for the color correction module (31). For example, white balance, histogram equalization, color channel adjustment, etc. may be used.

한편, 프로세서(40)는 수중에서 촬영 대상을 촬영하는 경우, 카메라(10)와 촬영 대상 사이에 위치한 물에 의하여 영상 정보(11)에 안개나 연무가 낀 것처럼 희뿌옇게 보일 수 있다. Meanwhile, when the processor (40) photographs an object underwater, the image information (11) may appear hazy as if covered in fog or mist due to water located between the camera (10) and the object.

이를 개선하기 위하여, 프로세서(40)는 메모리(30)에 저장된 디헤이징(Dehazing) 모듈(32)을 실행함으로써, 최초 프레임(12i)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정한다. 이하에서 이를 상세히 설명한다. To improve this, the processor (40) corrects turbidity caused by fluid located between the camera (10) of the first frame (12i) and the subject being photographed by executing a dehazing module (32) stored in the memory (30). This will be described in detail below.

도 3에 도시된 바와 같이, 디헤이징 모듈(32)은 희뿌옇게 촬영된 영상을 선명하게 한다. 디헤이징 모듈(32)은 영상 정보(11)의 특성을 분석하여 영상 정보(11) 내 안개와 같은 부분을 제거한다. As shown in Fig. 3, the dehazing module (32) makes a hazy image clear. The dehazing module (32) analyzes the characteristics of the image information (11) and removes parts such as fog in the image information (11).

특히, 수중에서 촬영 대상을 촬영하는 경우, 카메라(10)와 촬영 대상 사이에 위치한 물에 의하여 영상 정보(11)에 안개나 연무가 낀 것처럼 희뿌옇게 보일 수 있다. In particular, when shooting an object underwater, the image information (11) may appear hazy as if covered in fog or mist due to water located between the camera (10) and the object.

이를 개선하기 위하여, 프로세서(40)는 메모리(30)에 저장된 디헤이징 모듈(32)을 실행함으로써, 최초 프레임(12i)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정할 수 있다. 즉, 디헤이징 모듈(32)은 희뿌옇게 촬영된 영상을 선명하게 한다. 디헤이징 모듈(32)은 영상 정보(11)의 특성을 분석하여 영상 정보(11) 내 안개와 같은 부분을 제거한다. To improve this, the processor (40) can correct the turbidity caused by the fluid located between the camera (10) of the first frame (12i) and the subject being photographed by executing the dehazing module (32) stored in the memory (30). That is, the dehazing module (32) makes the image captured in a hazy manner clear. The dehazing module (32) analyzes the characteristics of the image information (11) and removes parts such as fog in the image information (11).

이때, 디헤이징 모듈(32)에 사용되는 알고리즘 모델에는 제한이 있는 것은 아니며 공지된 다양한 모델이 사용될 수 있다. 예를 들면, SLR(Simple Linear Regression), DCP(Dark Channel Prior), CNN(Convolutional Neural Network), CycleGAN, DCPDN, DehazeNet 등이 사용될 수 있다. At this time, there is no limitation on the algorithm model used in the dehazing module (32), and various known models can be used. For example, SLR (Simple Linear Regression), DCP (Dark Channel Prior), CNN (Convolutional Neural Network), CycleGAN, DCPDN, DehazeNet, etc. can be used.

프로세서(40)는 메모리(30)에 저장된 디블러링(Debluring) 모듈(33)을 실행함으로써, 최초 프레임(12i)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 카메라의 흔들림에 의한 흐림을 보정한다. 이하에서 이를 상세히 설명한다. The processor (40) corrects blurring caused by movement of a fluid or shaking of the camera located between the camera (10) and the subject being photographed in the first frame (12i) by executing a deblurring module (33) stored in the memory (30). This will be described in detail below.

도 3에 도시된 바와 같이, 카메라(10)를 통하여 촬영 대상을 촬영 시, 카메라(10) 자체의 움직임, 카메라(10)의 초점 조절, 카메라(10)에 설치된 센서의 노이즈, 낮은 조명 등으로 영상 정보(11)에 포함된 이미지가 흐려지는 경우가 있다. As shown in Fig. 3, when capturing a subject through a camera (10), there are cases where the image included in the image information (11) becomes blurred due to movement of the camera (10) itself, focus adjustment of the camera (10), noise of a sensor installed in the camera (10), low lighting, etc.

특히, 수중에서 촬영 대상을 촬영하는 경우, 카메라(10)와 촬영 대상 사이에 위치한 물이 유동함에 따라, 촬영 대상이 흐리게 보이거나 초점이 맞지 않게 보일 수 있다. In particular, when shooting an object underwater, the object may appear blurry or out of focus as the water flowing between the camera (10) and the object flows.

이를 개선하기 위하여, 프로세서(40)는 메모리(30)에 저장된 디블러링 모듈(33)을 실행함으로써, 카메라(10)와 촬영하는 대상 사이에 위치하는 유체에 의한 흐림을 보정할 수 있다. 즉, 디블러링 모듈(33)은 흐릿하게 촬영된 영상을 선명하게 한다. To improve this, the processor (40) can correct blurring caused by a fluid located between the camera (10) and the subject being photographed by executing a deblurring module (33) stored in the memory (30). That is, the deblurring module (33) makes a blurred image clear.

이때, 디블러링 모듈(33)에 사용되는 알고리즘 모델에는 제한이 있는 것은 아니며 공지된 다양한 알고리즘이 사용될 수 있다. 예를 들면, Non-Blind Deconvolution, Fourier Transform 기반 Deblurring, Boundary Restoration 기반 Deblurring 등이 사용될 수 있다. At this time, there is no limitation on the algorithm model used in the deblurring module (33), and various known algorithms can be used. For example, Non-Blind Deconvolution, Fourier Transform-based Deblurring, Boundary Restoration-based Deblurring, etc. can be used.

전술한 바와 같이, 최초 프레임(12i)을 개선한 뒤, 프로세서(40)는 메모리(30)에 저장된 강도 마스킹 모듈(34)을 실행함으로써, 제2 프레임(12b)의 픽셀별 이미지 강도를 기준으로 제1 마스크(34a)를 생성한다. As described above, after improving the first frame (12i), the processor (40) executes the intensity masking module (34) stored in the memory (30) to generate a first mask (34a) based on the pixel-by-pixel image intensity of the second frame (12b).

이때, 프로세서(40)는 제2 프레임(12b)을 추출하고, 메모리(30)에 저장된 색상 보정 모듈(31)을 실행하여, 제2 프레임(12b)의 색상을 보정한 후 강도 마스킹 모듈(34)을 실행하여 제1 마스크(34a)를 생성할 수 있다. At this time, the processor (40) can extract the second frame (12b), execute the color correction module (31) stored in the memory (30), correct the color of the second frame (12b), and then execute the intensity masking module (34) to generate the first mask (34a).

프로세서(40)는 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 마스크(34a)를 반전한 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성하여 제2 프레임(12b)을 수정한다. 이하에서는 제1 마스크(34a)와 제1 반전 마스크(34b)를 설명한다. The processor (40) modifies the second frame (12b) by synthesizing the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied, which is an inversion of the first mask (34a). The first mask (34a) and the first inversion mask (34b) are described below.

제1 마스크(34a)는 프레임(12)에 적용되어 프레임(12)의 픽셀에 포함된 강도 값을 선별하는 역할을 한다. 이를 보다 상세하게 설명하면, 도 4에 도시된 바와 같이, 제1 마스크(34a)는 프레임(12)에 포함된 복수의 픽셀에 대응되는 위치에 0이상 1이하의 값을 가지는 일종의 필터이다.The first mask (34a) is applied to the frame (12) and serves to select intensity values included in pixels of the frame (12). To explain this in more detail, as shown in Fig. 4, the first mask (34a) is a type of filter that has values greater than or equal to 0 and less than or equal to 1 at positions corresponding to a plurality of pixels included in the frame (12).

이때, 제1 마스크(34a)의 픽셀에 0이 위치하면 제1 마스크(34a)가 적용된 제1 프레임(12a)의 픽셀에 포함된 강도 값이 제2 프레임(12b)에 적용될 수 없게 된다. 반면, 제1 마스크(34a)의 픽셀에 1이 위치하면 제1 마스크(34a)가 적용된 제1 프레임(12a)의 픽셀에 포함된 강도 값이 제2 프레임(12b)에 완전히 적용될 수 있게 된다. At this time, if 0 is located in the pixel of the first mask (34a), the intensity value included in the pixel of the first frame (12a) to which the first mask (34a) is applied cannot be applied to the second frame (12b). On the other hand, if 1 is located in the pixel of the first mask (34a), the intensity value included in the pixel of the first frame (12a) to which the first mask (34a) is applied can be completely applied to the second frame (12b).

이때, 제1 마스크(34a)의 픽셀에 0 초과 1 미만의 값, 예를 들면 0.3이 위치하면 제1 마스크(34a)가 적용된 제1 프레임(12a)의 픽셀에 포함된 강도 값에 0.3배의 강도 값이 제2 프레임(12b)에 적용된다. At this time, if a value greater than 0 and less than 1, for example, 0.3, is located in the pixel of the first mask (34a), an intensity value 0.3 times greater than the intensity value included in the pixel of the first frame (12a) to which the first mask (34a) is applied is applied to the second frame (12b).

다만, 본 실시예에서 강도 마스킹 모듈(34)에 의하여 생성되는 제1 마스크(34a)는 제2 프레임(12b)에서 사용될 픽셀에 대한 값을 1로 설정하고 제1 프레임(12a)에서 사용될 픽셀에 대한 값을 0으로 설정하는 것으로 한다. However, in this embodiment, the first mask (34a) generated by the intensity masking module (34) sets the value for the pixel to be used in the second frame (12b) to 1 and sets the value for the pixel to be used in the first frame (12a) to 0.

도 4에 도시된 바와 같이, 제1 반전 마스크(34b)는 제1 마스크(34a)를 반전한 마스크로서, 제1 마스크(34a)의 각 픽셀에 위치한 값을 1에서 뺀 값으로 대체한 마스크를 의미한다. 즉, 제1 반전 마스크(34b)의 각 픽셀에 적용된 값도 0이상 1이하의 값을 가지게 된다. As illustrated in Fig. 4, the first inversion mask (34b) is a mask that inverts the first mask (34a), and means a mask that replaces the value located at each pixel of the first mask (34a) with a value subtracted from 1. In other words, the value applied to each pixel of the first inversion mask (34b) also has a value greater than or equal to 0 and less than or equal to 1.

한편, 강도 마스킹 모듈(34)에 이용될 수 있는 알고리즘은 공지된 다양한 알고리즘이 이용될 수 있으며 제한이 있는 것은 아니다. Meanwhile, various known algorithms can be used for the intensity masking module (34) and there are no limitations.

예를 들면, 강도 마스킹 모듈(34)은 제2 프레임(12b)의 픽셀 중 이미지 강도가 소정의 기준 강도를 초과한 픽셀을 제1 프레임(12a)의 픽셀로 대체하도록 제1 마스크(34a)를 생성할 수 있다. For example, the intensity masking module (34) can generate a first mask (34a) to replace pixels of the second frame (12b) whose image intensity exceeds a predetermined reference intensity with pixels of the first frame (12a).

이때, 이미지 강도(intensity 또는 gray scale)는 프레임(12)을 도 2에 도시된 바와 같이, 2차원 함수 f(x,y)로 정의할 때, 함수 f의 크기를 좌표 2차원 좌표(x,y)에서의 이미지 강도로 정의된다. At this time, the image intensity (or gray scale) is defined as the image intensity at the two-dimensional coordinate (x, y) when the frame (12) is defined as a two-dimensional function f(x, y) as shown in Fig. 2.

이때, 이미지 강도의 값은 0이상 255이하의 값을 가질 수 있다. 다만, 프레임(12)의 이미지가 흑백이 아닌 색상이 있는 경우, RGB채널에 각 값의 합으로 표현될 수 있다. At this time, the value of the image intensity can have a value greater than 0 and less than 255. However, if the image of the frame (12) has color rather than black and white, it can be expressed as the sum of each value in the RGB channel.

이를 보다 상세히 설명하면, 이미지 강도의 값은 RGB이미지를 강도 값으로 변환한 값을 사용할 수 있다. 이때, RGB(Red, Green, Blue) 각 채널은 0이상 255이하의 값을 갖는 2차원 함수로서 R, G, B에 대하여 각각 f_R(x,y), f_G(x,y), f_B(x,y)로 표현할 수 있다. 이때, 이미지 강도는 채널함수들의 가중합 f(x,y) = a * f_R(x,y) + b * f_G(x,y) + c * f_B(x,y), {a+b+c = 1}으로 표현될 수 있다. To explain this in more detail, the value of the image intensity can use the value converted from the RGB image to the intensity value. At this time, each RGB (Red, Green, Blue) channel is a two-dimensional function with a value greater than 0 and less than 255, and can be expressed as f _R (x,y), f _G (x,y), f _B (x,y) for R, G, and B, respectively. At this time, the image intensity can be expressed as the weighted sum of the channel functions f (x,y) = a * f _R (x,y) + b * f _G (x,y) + c * f _B (x,y), {a+b+c = 1}.

다만, 상술한 이미지 강도에 대한 정의는 제한이 있는 것은 아니며, 프레임(12)의 각 픽셀 별로 색상 또는 밝기 별 고유의 값을 가질 수 있으면 다양한 기준과 수치로 결정될 수 있다. However, the definition of image intensity described above is not limited, and can be determined by various criteria and values as long as each pixel of the frame (12) can have a unique value for color or brightness.

강도 마스킹 모듈(34)은 제2 프레임(12b)의 픽셀 중 제1 프레임(12a)의 픽셀의 이미지 강도와 차이가 소정의 값을 초과하는 값을 선택하여, 선택된 픽셀의 이미지 강도 값을 제1 프레임(12a)의 픽셀의 이미지 강도 값으로 대체할 수 있도록 제1 마스크(34a)를 생성한다. The intensity masking module (34) selects a value among the pixels of the second frame (12b) whose difference from the image intensity of the pixels of the first frame (12a) exceeds a predetermined value, and generates a first mask (34a) so that the image intensity value of the selected pixel can be replaced with the image intensity value of the pixels of the first frame (12a).

이를 도 4을 통해 설명하면, 제2 프레임의 제1 픽셀(P31)의 이미지 강도 값이 233일 때, 소정의 기준 강도 값을 200으로 설정하면, 제2 프레임의 제1 픽셀(P31)의 이미지 강도 값이 기준 강도 값 이상이므로, 제1 마스크의 제1 픽셀(P21)의 값을 0으로 결정한다. If this is explained through Fig. 4, when the image intensity value of the first pixel (P31) of the second frame is 233, if a predetermined reference intensity value is set to 200, the image intensity value of the first pixel (P31) of the second frame is greater than or equal to the reference intensity value, and therefore the value of the first pixel (P21) of the first mask is determined to be 0.

반면, 제2 프레임의 제2 픽셀(P32)의 이미지 강도 값이 110일 때, 제2 프레임의 제2 픽셀(P32)의 이미지 강도 값이 기준 강도 값 미만이므로, 제1 마스크의 제1 픽셀(P21)의 값을 1로 결정한다. On the other hand, when the image intensity value of the second pixel (P32) of the second frame is 110, the image intensity value of the second pixel (P32) of the second frame is less than the reference intensity value, so the value of the first pixel (P21) of the first mask is determined as 1.

이때, 도 4에 도시된 바와 같이, 프로세서(40)가 강도 마스킹 모듈(34)을 실행하여 제1 마스크(34a)를 생성하고 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 마스크(34a)를 반전한 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성하여 제2 프레임(12b)을 수정한다. 이에 따라 수정된 제2 프레임의 제1 픽셀(P51) 값은 제1 프레임의 제1 픽셀(P11) 값인 143으로 수정되고, 수정된 제2 프레임의 제2 픽셀(P52) 값은 기존의 제2 프레임의 제2 픽셀(P32) 값인 110으로 유지된다. At this time, as illustrated in FIG. 4, the processor (40) executes the intensity masking module (34) to generate a first mask (34a), and modifies the second frame (12b) by synthesizing the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied, which is an inversion of the first mask (34a). Accordingly, the first pixel (P51) value of the modified second frame is modified to 143, which is the first pixel (P11) value of the first frame, and the second pixel (P52) value of the modified second frame is maintained to 110, which is the second pixel (P32) value of the existing second frame.

강도 마스킹 모듈(34)에 대한 다른 예를 들면, 강도 마스킹 모듈(34)은 제2 프레임(12b)의 픽셀 중 제2 프레임(12b)의 픽셀의 이미지 강도와 제1 프레임(12a)의 픽셀의 이미지 강도의 차이가 소정의 값을 초과한 픽셀을 제1 프레임(12a)의 픽셀로 대체하도록 제1 마스크(34a)를 생성할 수 있다.As another example for the intensity masking module (34), the intensity masking module (34) can generate a first mask (34a) to replace pixels of the second frame (12b) in which the difference between the image intensity of the pixels of the second frame (12b) and the image intensity of the pixels of the first frame (12a) exceeds a predetermined value with pixels of the first frame (12a).

이를 도 4을 통해 설명하면, 제2 프레임의 제1 픽셀(P31)의 이미지 강도 값이 233일 때, 소정의 기준 값을 80으로 설정하면, 제2 프레임의 제1 픽셀(P31) 값과 제1 프레임의 제1 픽셀(P11) 값의 차이가 90으로서 기준 값 이상이므로, 제1 마스크의 제1 픽셀(P21)의 값을 0으로 결정한다. If this is explained through Fig. 4, when the image intensity value of the first pixel (P31) of the second frame is 233, and a predetermined reference value is set to 80, the difference between the value of the first pixel (P31) of the second frame and the value of the first pixel (P11) of the first frame is 90, which is greater than the reference value, and therefore the value of the first pixel (P21) of the first mask is determined as 0.

반면, 제2 프레임의 제2 픽셀(P32)의 이미지 강도 값이 110일 때, 제2 프레임의 제2 픽셀(P32) 값과 제1 프레임의 제2 픽셀(P12) 값의 차이가 50으로서 기준 값 미만이므로, 제1 마스크의 제1 픽셀(P21)의 값을 1로 결정한다. On the other hand, when the image intensity value of the second pixel (P32) of the second frame is 110, the difference between the value of the second pixel (P32) of the second frame and the value of the second pixel (P12) of the first frame is 50, which is less than the reference value, so the value of the first pixel (P21) of the first mask is determined as 1.

이때, 도 4에 도시된 바와 같이, 프로세서(40)가 강도 마스킹 모듈(34)을 실행하여 제1 마스크(34a)를 생성하고 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 마스크(34a)를 반전한 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성하여 제2 프레임(12b)을 수정한다. 이에 따라 수정된 제2 프레임의 제1 픽셀(P51) 값은 제1 프레임의 제1 픽셀(P11) 값인 143으로 수정되고, 제2 프레임의 제2 픽셀(P32) 값은 기존의 제2 프레임의 제2 픽셀(P32) 값인 110으로 유지된다. At this time, as illustrated in FIG. 4, the processor (40) executes the intensity masking module (34) to generate a first mask (34a), and modifies the second frame (12b) by synthesizing the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied, which is an inversion of the first mask (34a). Accordingly, the first pixel (P51) value of the modified second frame is modified to 143, which is the first pixel (P11) value of the first frame, and the second pixel (P32) value of the second frame is maintained to 110, which is the second pixel (P32) value of the existing second frame.

앞서 설명한 두 가지는 예는 예시에 불과하며, 기준 값 크기를 필요에 따라 다르게 설정할 수 있고, 차이를 구분하는 기준 값의 크기도 필요에 따라 다르게 설정할 수 있다. 또한 두 개의 기준을 함께 사용할 수도 있으며, 차이를 구분 시 양음을 구분하여 제1 마스크(34a)를 생성할 수도 있다. The two examples described above are only examples, and the size of the reference value can be set differently as needed, and the size of the reference value for distinguishing the difference can also be set differently as needed. In addition, the two criteria can be used together, and the first mask (34a) can be generated by distinguishing the positive and negative when distinguishing the difference.

이를 통해, 특별한 사정, 예를 들면 수중 절단 시 불꽃이 형성되어 빛이 강렬히 작용함으로써 제2 프레임(12b) 내 특정 부위가 하얗게 보이는 경우, 제2 프레임(12b)의 특정 부위는 절단 대상 물체를 파악하는데 불필요하므로, 제1 프레임(12a)의 특정 부위로 대체함으로써 절단 작업을 원활하게 수행할 수 있게 된다.Through this, in special circumstances, for example, when a flame is formed during underwater cutting and a strong light is applied, causing a specific part of the second frame (12b) to appear white, the specific part of the second frame (12b) is unnecessary for identifying the object to be cut, so the cutting operation can be performed smoothly by replacing it with a specific part of the first frame (12a).

한편, 프로세서(40)는 메모리(30)에 저장된 강도 매칭 모듈(38)을 실행함으로써, 제1 마스크(34a)를 적용한 제2 프레임(12b)의 평균 이미지 강도와 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)의 평균 이미지 강도 차이가 소정의 값 이하가 되도록 제2 프레임(12b)을 수정한다. Meanwhile, the processor (40) executes the intensity matching module (38) stored in the memory (30), thereby modifying the second frame (12b) so that the difference between the average image intensity of the second frame (12b) to which the first mask (34a) is applied and the average image intensity of the first frame (12a) to which the first inversion mask (34b) is applied becomes less than or equal to a predetermined value.

이를 상세히 설명하면, 프로세서(40)는 강도 매칭 모듈(38)을 실행하여 도 4에 도시된 제2 프레임(12b)의 픽셀 값의 총 평균 값을 구하고, 제1 프레임(12a)의 픽셀 값의 총 평균 값을 구하여 그 차이를 보정하기 위해, 제2 프레임(12b)의 각 픽셀의 값을 줄일 수 있다. To explain this in detail, the processor (40) executes the intensity matching module (38) to obtain the total average value of the pixel values of the second frame (12b) as shown in FIG. 4, and to obtain the total average value of the pixel values of the first frame (12a), and to reduce the value of each pixel of the second frame (12b) to compensate for the difference.

이에 따라, 각 프레임 마다 색상의 차이나 밝기의 차이가 과도하게 달라져 복수의 프레임을 연속적으로 재생하는 영상 정보(11)가 어색하게 변하는 것을 방지할 수 있다. Accordingly, it is possible to prevent the image information (11) that is played back continuously from changing awkwardly due to excessive differences in color or brightness for each frame.

프로세서(40)는 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성한 후, 메모리(30)에 저장된 디헤이징 모듈(32)을 실행함으로써, 제2 프레임(12b)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정할 수 있다. The processor (40) synthesizes the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied, and then executes the dehazing module (32) stored in the memory (30), thereby correcting turbidity caused by a fluid located between the camera (10) of the second frame (12b) and the subject being photographed.

또한, 프로세서(40)는 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성한 후, 메모리(30)에 저장된 디블러링 모듈(33)을 실행함으로써, 제2 프레임(12b)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 카메라의 흔들림에 의한 흐림을 보정할 수 있다. In addition, the processor (40) synthesizes the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied, and then executes the deblurring module (33) stored in the memory (30), thereby correcting blurring caused by movement of a fluid located between the camera (10) and the subject being photographed in the second frame (12b) or shaking of the camera.

이때, 디헤이징 모듈(32)와 디블러링 모듈(33)에 대한 설명은 전술한 설명으로 대체한다. 프로세서(40)가 디헤이징 모듈(32)을 먼저 실행하고 디블러링 모듈(33)을 실행하는 것이 바람직하나, 이에 제한이 있는 것은 아니다. At this time, the description of the dehazing module (32) and the deblurring module (33) are replaced with the description described above. It is preferable that the processor (40) first execute the dehazing module (32) and then execute the deblurring module (33), but there is no limitation thereto.

프로세서(40)는 메모리(30)에 저장된 광학 흐름 마스킹 모듈(35)을 실행함으로써, 제1 프레임(12a)과 제2 프레임(12b)을 비교하여 카메라(10)와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 추출하고 이동 정도가 소정의 값을 초과한 제2 프레임(12b)의 픽셀을 제1 프레임(12a)의 픽셀로 대체하도록 제2 마스크(35a)를 생성한다. 이때, 카메라(10)와 촬영하는 대상 사이에 위치하는 이물질은 영상 정보를 통한 모니터링을 방해하는 공기방울이나 유체 내가 부유하는 이물질일 수 있다. The processor (40) executes the optical flow masking module (35) stored in the memory (30), thereby comparing the first frame (12a) and the second frame (12b) to extract the degree of movement of a foreign substance located between the camera (10) and the subject being photographed, and generates a second mask (35a) to replace pixels of the second frame (12b) whose degree of movement exceeds a predetermined value with pixels of the first frame (12a). At this time, the foreign substance located between the camera (10) and the subject being photographed may be air bubbles or foreign substances floating in a fluid that interfere with monitoring through image information.

이를 도 5를 통해 설명하면, 도 5에는 차량의 움직임이 표시되어 있다. 이때, 도 5에 표시된 차량이 차지하는 픽셀의 값이 연속한 두 개의 프레임에서 이동하는 것을 확인할 수 있다. 이에 따라, 광학 흐름 마스킹 모듈(35)을 실행하면, 차량이 이동하기 전의 위치에서 차량이 차지하는 픽셀과 차량이 이동한 후 위치에서 차량이 차이지하는 픽셀과 그 사이의 픽셀을 선별하여 소정의 영역(A1)을 구분한다. If this is explained through Fig. 5, the movement of the vehicle is shown in Fig. 5. At this time, it can be confirmed that the value of the pixel occupied by the vehicle shown in Fig. 5 moves in two consecutive frames. Accordingly, when the optical flow masking module (35) is executed, the pixels occupied by the vehicle at the position before the vehicle moves and the pixels occupied by the vehicle at the position after the vehicle moves and the pixels in between are selected to divide a predetermined area (A1).

즉, 광학 흐름 마스킹 모듈(35)은 픽셀 값의 이동을 파악하여 해당 픽셀의 값을 누락시키고 이전 프레임의 픽셀 값을 선택하도록 한다. 이를 제1 프레임(12a)과 제2 프레임(12b)에 적용하면, 제1 프레임(12a)에 제2 프레임(12b) 전환 시 프레임 상에 이동한 픽셀 값이 있는 경우, 이를 제2 프레임(12b)에서 제외하고 제1 프레임(12a)의 픽셀 값을 선택하게 된다. That is, the optical flow masking module (35) detects the movement of pixel values, omits the value of the corresponding pixel, and selects the pixel value of the previous frame. When this is applied to the first frame (12a) and the second frame (12b), if there is a pixel value that has moved on the frame when the first frame (12a) is switched to the second frame (12b), this is excluded from the second frame (12b) and the pixel value of the first frame (12a) is selected.

이에 따라, 본 실시예가 적용되는 수중 절단 작업의 예에서는 수중에 유체의 흐름에 의하여 제1 프레임(12a)과 제2 프레임(12b) 사이 유체의 이동이 있는 경우 또는 유체의 의하여 빛의 이동이 발생하는 경우 등의 상황에서 이동이 발생한 영역(A1)에 해당하는 픽셀을 누락시키기 위하여 이 부분에 대한 제2 마스크(35a) 픽셀 값을 0으로 생성하고, 나머지 부분에 대한 픽셀 값을 1로 생성한다. Accordingly, in an example of an underwater cutting operation to which the present embodiment is applied, in a situation where there is movement of fluid between the first frame (12a) and the second frame (12b) due to the flow of fluid underwater, or movement of light occurs due to the fluid, etc., in order to omit pixels corresponding to the area (A1) where movement has occurred, the pixel value of the second mask (35a) for this portion is created as 0, and the pixel value for the remaining portion is created as 1.

프로세서(40)는 생성된 제2 마스크(35a)를 통해 제2 프레임(12b)을 수정한다. 즉, 프로세서(40)는 제2 마스크(35a)를 적용한 제2 프레임(12b)과 제2 마스크(35a)를 반전한 제2 반전 마스크(35b)를 적용한 제1 프레임(12a)을 합성하여 제2 프레임(12b)을 수정한다. The processor (40) modifies the second frame (12b) through the generated second mask (35a). That is, the processor (40) modifies the second frame (12b) by synthesizing the second frame (12b) to which the second mask (35a) has been applied and the first frame (12a) to which the second inversion mask (35b) has been applied, which is the inversion of the second mask (35a).

이를 위하여 사용되는 광학 흐름 마스킹 모듈(35)에는 공지된 다양한 마스킹 모듈이 사용될 수 있다. 예를 들면, Spatial masking, Temporal masking, Frequency-based masking, Texture-based masking, Hybrid masking 등이 사용될 수 있다. For this purpose, various known masking modules can be used as the optical flow masking module (35). For example, spatial masking, temporal masking, frequency-based masking, texture-based masking, hybrid masking, etc. can be used.

한편, 프로세서(40)는 제2 마스크(35a)를 적용한 제2 프레임(12b)과 제2 반전 마스크(35b)를 적용한 제1 프레임(12a)을 합성하기 전 메모리(30)에 저장된 버블 마스킹 모듈(36)을 실행함으로써, 제2 마스크(35a)를 적용한 제2 프레임(12b)에서 공기 방울을 인식하여 공기 방울로 인식된 제2 프레임(12b)의 픽셀을 제1 프레임(12a)의 픽셀로 대체하도록 제2 마스크(35a)를 수정한다. Meanwhile, the processor (40) executes the bubble masking module (36) stored in the memory (30) before synthesizing the second frame (12b) to which the second mask (35a) is applied and the first frame (12a) to which the second inversion mask (35b) is applied, thereby recognizing an air bubble in the second frame (12b) to which the second mask (35a) is applied and modifying the second mask (35a) to replace pixels of the second frame (12b) recognized as air bubbles with pixels of the first frame (12a).

버블 마스킹 모듈(36)을 실시하면, 제2 프레임(12b)에서 공기 방울로 인식되는 픽셀 영역을 구분하고, 구분된 영역의 제2 마스크(35a) 픽셀 값을 0으로 조절하여, 공기 방울이 촬영된 영역을 제1 프레임(12a)의 픽셀로 대체할 수 있게 된다. When the bubble masking module (36) is implemented, the pixel area recognized as an air bubble in the second frame (12b) is distinguished, and the pixel value of the second mask (35a) of the distinguished area is adjusted to 0, so that the area where the air bubble was photographed can be replaced with the pixels of the first frame (12a).

버블 마스킹 모듈(36)에는 공지된 다양한 마스킹 모듈이 사용될 수 있다. 예를 들면, Gaussian bubbles, Gaussian, Rectangular bubbles, Dynamic bubbles, Feature-based bubbles, Hybrid bubbles 등이 사용될 수 있다. Various known masking modules can be used in the bubble masking module (36). For example, Gaussian bubbles, Gaussian, Rectangular bubbles, Dynamic bubbles, Feature-based bubbles, Hybrid bubbles, etc. can be used.

한편, 프로세서(40)는 제2 마스크(35a)를 적용한 제2 프레임(12b)과 제2 반전 마스크(35b)를 적용한 제1 프레임(12a)을 합성하기 전 메모리(30)에 저장된 스무딩(smoothing) 모듈(37)을 실행함으로써, 제2 마스크(35a)의 1값을 가지는 영역과 0값을 가지는 영역의 경계 위치에 0 초과 1미만인 값을 할당한다. Meanwhile, the processor (40) executes a smoothing module (37) stored in the memory (30) before synthesizing the second frame (12b) to which the second mask (35a) has been applied and the first frame (12a) to which the second inversion mask (35b) has been applied, thereby assigning a value greater than 0 and less than 1 to the boundary position between the area having the value 1 of the second mask (35a) and the area having the value 0.

이를 도 6를 통하여 설명하면, 스무딩 모듈(37)은 제1 마스크(34a) 또는 제2 마스크(35a)를 이용하여 제2 프레임(12b)의 일부를 제1 프레임(12a)으로 대체하는 경우, 경계 영역(A2)의 어색함을 제거할 수 있다. As explained through Fig. 6, the smoothing module (37) can remove the awkwardness of the boundary area (A2) when replacing a part of the second frame (12b) with the first frame (12a) using the first mask (34a) or the second mask (35a).

도 6에 도시된 바와 같이, 전술한, 강도 마스킹 모듈(34), 광학 흐름 마스킹 모듈(35), 버블 마스킹 모듈(36)을 이용하여 제2 마스크(35a)를 생성하면, 제2 마스크(35a)에는 1 또는 0의 값이 각 픽셀에 할당된다. As illustrated in FIG. 6, when a second mask (35a) is generated using the aforementioned intensity masking module (34), optical flow masking module (35), and bubble masking module (36), a value of 1 or 0 is assigned to each pixel in the second mask (35a).

이때, 0과 1로 이루어진 영역의 경계 부분(A2)에서 제2 프레임(12b)의 픽셀 값과 제1 프레임(12a)의 픽셀 값의 차이가 커지는 문제가 발생할 수 있다. 이는 제1 프레임(12a)과 제2 프레임(12b)이 짧지만 시간 간격을 두고 촬영된 이미지이기 때문이다. At this time, a problem may occur in which the difference between the pixel values of the second frame (12b) and the pixel values of the first frame (12a) increases at the boundary portion (A2) of the area consisting of 0 and 1. This is because the first frame (12a) and the second frame (12b) are images captured with a short time interval.

따라서, 스무딩 모듈(37)은 도 6에 도시된 바와 같이, 수정 전 제2 마스크(35a)의 경계 영역(A2)의 값을 적절히 0초과 1미만의 값으로 수정함으로써 제1 프레임(12a)의 픽셀 값으로 대체된 영역과 제2 프레임(12b)의 원래 영역 사이 값 차이를 줄여 영상 정보(11)를 개선할 수 있게 된다. Accordingly, the smoothing module (37) can improve image information (11) by reducing the difference in values between the area replaced with the pixel values of the first frame (12a) and the original area of the second frame (12b) by appropriately modifying the value of the boundary area (A2) of the second mask (35a) before modification to a value greater than 0 and less than 1, as illustrated in FIG. 6.

프로세서(40)는 제2 마스크(35a)를 적용한 제2 프레임(12b)과 제2 반전 마스크(35b)를 적용한 제1 프레임(12a)을 합성하기 전, 메모리(30)에 저장된 디헤이징 모듈(32)을 실행함으로써, 제2 마스크(35a)를 적용한 제2 프레임(12b)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정할 수 있다. The processor (40) executes the dehazing module (32) stored in the memory (30) before synthesizing the second frame (12b) to which the second mask (35a) is applied and the first frame (12a) to which the second inversion mask (35b) is applied, thereby correcting turbidity caused by a fluid located between the camera (10) of the second frame (12b) to which the second mask (35a) is applied and the subject being photographed.

또한, 프로세서(40)는 제2 마스크(35a)를 적용한 제2 프레임(12b)과 제2 반전 마스크(35b)를 적용한 제1 프레임(12a)을 합성하기 전, 메모리(30)에 저장된 디블러링 모듈(33)을 실행함으로써, 제2 마스크(35a)를 적용한 제2 프레임(12b)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 카메라의 흔들림에 의한 흐림을 보정할 수 있다. In addition, the processor (40) executes the deblurring module (33) stored in the memory (30) before synthesizing the second frame (12b) to which the second mask (35a) is applied and the first frame (12a) to which the second inversion mask (35b) is applied, thereby correcting blurring caused by movement of a fluid or shaking of the camera located between the camera (10) and the subject being photographed in the second frame (12b) to which the second mask (35a) is applied.

앞서 살펴본 바와 같이, 도 7을 참조하면, 본 발명의 일 실시예에 따른 영상 개선 시스템(1)을 이용하여, 메모리(30)에 저장된 복수의 모듈을 실행함으로써 제2 프레임(12b)을 수정된 제2 프레임(12b')으로 개선하여 작업자가 개선된 영상을 보면서 작업할 수 있게 된다. As previously discussed, referring to FIG. 7, by using an image enhancement system (1) according to one embodiment of the present invention, a plurality of modules stored in a memory (30) are executed to improve a second frame (12b) into a modified second frame (12b'), so that a worker can work while viewing an improved image.

이하에서는 도 8 및 도 9을 참조하여, 본 발명의 일 실시예에 따른 영상 개선 시스템을 이용한 영상 개선 방법을 설명한다. 이때, 전술한 설명과 중복되는 부분은 생략한다. Hereinafter, an image enhancement method using an image enhancement system according to one embodiment of the present invention will be described with reference to FIGS. 8 and 9. At this time, any part that overlaps with the above description will be omitted.

도 8은 본 발명의 일 실시예에 따른 영상 개선 방법을 도시한 순서도이다. 도 9는 본 발명의 일 실시예의 변형예에 따른 영상 개선 방법을 도시한 순서도이다.Fig. 8 is a flowchart illustrating an image enhancement method according to one embodiment of the present invention. Fig. 9 is a flowchart illustrating an image enhancement method according to a modified example of one embodiment of the present invention.

도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 개선 방법(S100)은 영상 촬영 단계(S101), 최초 프레임 색상 보정 단계(S102), 최초 프레임 탁도 보정 단계(S103), 최초 프레임 흐림 보정 단계(S104), 프레임 추출 단계(S105), 색상 보정 단계(S106), 제1 마스크 생성 단계(S107), 강도 매칭 단계(S108), 제1 프레임 합성 단계(S109), 제2 마스크 생성 단계(S110), 제1 마스크 수정 단계(S111), 제2 마스크 수정 단계(S112), 제1 프레임 탁도 보정 단계(S113), 제1 프레임 흐림 보정 단계(S114) 및 제2 프레임 합성 단계(S115)를 포함한다. As illustrated in FIG. 8, an image enhancement method (S100) according to an embodiment of the present invention includes an image capturing step (S101), an initial frame color correction step (S102), an initial frame turbidity correction step (S103), an initial frame blur correction step (S104), a frame extraction step (S105), a color correction step (S106), a first mask generation step (S107), an intensity matching step (S108), a first frame synthesis step (S109), a second mask generation step (S110), a first mask modification step (S111), a second mask modification step (S112), a first frame turbidity correction step (S113), a first frame blur correction step (S114), and a second frame synthesis step (S115).

도 8에 도시된 바와 같이, 영상 촬영 단계(S101)에서는 소정의 시간(??)마다 촬영한 복수의 프레임(12)을 포함하는 영상 정보(11)를 생성한다. As illustrated in Fig. 8, in the image capturing step (S101), image information (11) including a plurality of frames (12) captured at predetermined intervals (??) is generated.

최초 프레임 색상 보정 단계(S102)에서는 영상 정보(11)에 포함된 복수의 프레임 중 최초 프레임(12i)을 추출하고 최초 프레임(12i)의 색상을 보정한다. 이때, 색상을 보정하는 방법에 대한 설명은 전술한 색상 보정 모듈(31)에 대한 설명으로 대체한다.In the first frame color correction step (S102), the first frame (12i) is extracted from among the multiple frames included in the image information (11) and the color of the first frame (12i) is corrected. At this time, the description of the method for correcting the color is replaced with the description of the color correction module (31) described above.

최초 프레임 탁도 보정 단계(S103)에서는 최초 프레임(12i)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정한다. In the first frame turbidity correction step (S103), turbidity caused by fluid located between the camera (10) of the first frame (12i) and the subject being photographed is corrected.

최초 프레임 흐림 보정 단계(S104)에서는 최초 프레임(12i)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 카메라의 흔들림에 의한 흐림을 보정한다. In the first frame blur correction step (S104), blur caused by movement of a fluid or camera shake located between the camera (10) and the subject being photographed in the first frame (12i) is corrected.

즉, 최초 프레임(12i)은 최초 프레임(12i) 이전의 프레임이 없으므로, 최초 프레임(12i) 자체를 개선한 후 최초 프레임(12i) 이후 프레임과 최초 프레임(12i)을 비교하여 영상을 개선하게 된다. That is, since the first frame (12i) does not have a frame before the first frame (12i), the image is improved by improving the first frame (12i) itself and then comparing the first frame (12i) with the frames after the first frame (12i).

이때, 탁도와 흐림을 보정하는 방법에 대한 설명은 디헤이징 모듈(32) 및 디블러링 모듈(33)에 대한 설명으로 대체한다. At this time, the description of the method for correcting turbidity and cloudiness is replaced with the description of the dehazing module (32) and the deblurring module (33).

프레임 추출 단계(S105)에서는 영상 정보(11)에 포함된 복수의 프레임 중 어느 하나인 제1 프레임(12a) 및 제1 프레임(12a)보다 소정의 시간(??) 이후 촬영된 제2 프레임(12b)을 추출한다. In the frame extraction step (S105), the first frame (12a), which is one of the multiple frames included in the image information (11), and the second frame (12b) captured a predetermined time (??) later than the first frame (12a) are extracted.

색상 보정 단계(S106)에서는, 메모리(30)에 저장된 색상 보정 모듈(31)을 실행함으로써, 제2 프레임(12b)의 색상을 보정한다. 다만, 색상 보정은 반드시 필요한 것을 아니며, 필요에 따라 생략할 수 있다. 이때, 색상을 보정하는 방법에 대한 설명은 전술한 색상 보정 모듈(31)에 대한 설명으로 대체한다. In the color correction step (S106), the color of the second frame (12b) is corrected by executing the color correction module (31) stored in the memory (30). However, color correction is not necessarily required and may be omitted as needed. At this time, the description of the method for correcting the color is replaced with the description of the color correction module (31) described above.

제1 마스크 생성 단계(S107)에서는 제2 프레임(12b)의 픽셀별 이미지 강도를 기준으로 제1 마스크(34a)를 생성한다. 이때, 이미지 강도를 기준으로 제1 마스크(34a)를 생성하는 방법에 대하여는 전술한 강도 마스킹 모듈(34)에 대한 설명으로 대체한다. In the first mask generation step (S107), the first mask (34a) is generated based on the pixel-by-pixel image intensity of the second frame (12b). At this time, the method for generating the first mask (34a) based on the image intensity is replaced with the description of the intensity masking module (34) described above.

강도 매칭 단계(S108)에서는 제1 마스크(34a)를 적용한 제2 프레임(12b)의 평균 이미지 강도와 제1 마스크(34a)를 반전한 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)의 평균 이미지 강도 차이가 소정의 값 이하가 되도록 제2 프레임(12b)을 수정한다. 이때, 제1 마스크(34a)를 적용한 제2 프레임(12b)의 평균 이미지 강도와 제1 마스크(34a)를 반전한 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)의 평균 이미지 강도 차이가 소정의 값 이하가 되도록 하는 방법에 대하여는 전술한 강도 매칭 모듈(38)에 대한 설명으로 대체한다. In the intensity matching step (S108), the second frame (12b) is modified so that the difference between the average image intensity of the second frame (12b) to which the first mask (34a) is applied and the average image intensity of the first frame (12a) to which the first inversion mask (34b) is applied, which is the inversion of the first mask (34a), becomes less than or equal to a predetermined value. At this time, the method for making the difference between the average image intensity of the second frame (12b) to which the first mask (34a) is applied and the average image intensity of the first frame (12a) to which the first inversion mask (34b) is applied, which is the inversion of the first mask (34a), less than or equal to the predetermined value is replaced with the description of the intensity matching module (38) described above.

제1 프레임 합성 단계(S109)에서는 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성하여 제2 프레임(12b)을 수정한다. In the first frame synthesis step (S109), the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied are synthesized to modify the second frame (12b).

제2 마스크 생성 단계(S110)에서는 제1 프레임(12a)과 제2 프레임(12b)을 비교하여 카메라(10)와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 추출하고 이동 정도가 소정의 값을 초과한 제2 프레임(12b)의 픽셀을 제1 프레임(12a)의 픽셀로 대체하도록 제2 마스크(35a)를 생성한다. 이때, 카메라(10)와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 추출하고 이동 정도가 소정의 값을 초과한 제2 프레임(12b)의 픽셀을 추출하는 방법은 전술한 광학 흐름 마스킹 모듈(35)에 대한 설명으로 대체한다. In the second mask generation step (S110), the first frame (12a) and the second frame (12b) are compared to extract the degree of movement of a foreign substance located between the camera (10) and the subject being photographed, and the second mask (35a) is generated to replace pixels of the second frame (12b) whose degree of movement exceeds a predetermined value with pixels of the first frame (12a). At this time, the method of extracting the degree of movement of a foreign substance located between the camera (10) and the subject being photographed and extracting pixels of the second frame (12b) whose degree of movement exceeds a predetermined value is replaced with the description of the optical flow masking module (35) described above.

제1 마스크 수정 단계(S111)에서는 제2 마스크(35a)를 적용한 제2 프레임(12b)에서 공기 방울을 인식하여 공기 방울로 인식된 제2 프레임(12b)의 픽셀을 제1 프레임(12a)의 픽셀로 대체하도록 제2 마스크(35a)를 수정한다. 이때, 공기 방울을 인식하는 방법에 대하여는 전술하는 버블 마스킹 모듈(36)에 대한 설명으로 대체한다. In the first mask modification step (S111), the second mask (35a) is modified to recognize air bubbles in the second frame (12b) to which the second mask (35a) is applied, and replace pixels of the second frame (12b) recognized as air bubbles with pixels of the first frame (12a). At this time, the method of recognizing air bubbles is replaced with the description of the bubble masking module (36) described above.

제2 마스크 수정 단계(S112)에서는 제2 프레임(12b)에 제2 마스크(35a)를 적용한 영역과 제1 프레임(12a)에 제2 반전 마스크(35b)를 적용한 영역의 경계를 보정한다. 이때, 경계를 보정하는 방법은 전술한 스무딩 모듈(37)에 대한 설명으로 대체한다. In the second mask correction step (S112), the boundary between the area where the second mask (35a) is applied to the second frame (12b) and the area where the second inversion mask (35b) is applied to the first frame (12a) is corrected. At this time, the method of correcting the boundary is replaced with the description of the smoothing module (37) described above.

제1 프레임 탁도 보정 단계(S113)에서는 제2 마스크(35a)를 적용한 제2 프레임(12b)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정한다. In the first frame turbidity correction step (S113), turbidity caused by a fluid located between the camera (10) of the second frame (12b) to which the second mask (35a) is applied and the subject to be photographed is corrected.

제1 프레임 흐림 보정 단계(S114)에서는 제2 마스크(35a)를 적용한 제2 프레임(12b)의 카메라(10)와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 카메라의 흔들림에 의한 흐림을 보정한다. In the first frame blur correction step (S114), blur caused by movement of a fluid or shaking of the camera located between the camera (10) of the second frame (12b) to which the second mask (35a) is applied and the subject being photographed is corrected.

이때, 탁도와 흐림을 보정하는 방법에 대한 설명은 디헤이징 모듈(32) 및 디블러링 모듈(33)에 대한 설명으로 대체한다. 탁도와 흐림을 보정하는 순서에는 제한이 없으며, 본 실시예에서는 탁도를 먼저 보정하고 흐림을 보정하는 것으로 설명한다. At this time, the description of the method for correcting turbidity and blurriness is replaced with the description of the dehazing module (32) and the deblurring module (33). There is no limitation on the order of correcting turbidity and blurriness, and in this embodiment, it is explained that turbidity is corrected first and then blurriness is corrected.

본 실시예에서는 제2 마스크(35a)를 적용한 제2 프레임(12b)과 제2 반전 마스크(35b)를 적용한 제1 마스크(34a)를 합성하기 전에 제2 마스크(35a)를 적용한 제2 프레임(12b)에 탁도 및 흐림을 보정함으로써 영상 개선 효과를 높일 수 있다. In this embodiment, the image improvement effect can be enhanced by correcting turbidity and blurriness in the second frame (12b) to which the second mask (35a) is applied before synthesizing the second frame (12b) to which the second mask (35a) is applied and the first mask (34a) to which the second inversion mask (35b) is applied.

제2 프레임 합성 단계(S115)에서는 제2 마스크(35a)를 적용한 제2 프레임(12b)과 제2 마스크(35a)를 반전한 제2 반전 마스크(35b)를 적용한 제1 프레임(12a)을 합성하여 제2 프레임(12b)을 수정한다. In the second frame synthesis step (S115), the second frame (12b) to which the second mask (35a) is applied and the first frame (12a) to which the second inversion mask (35b) is applied, which is an inversion of the second mask (35a), are synthesized to modify the second frame (12b).

도 9에 도시된 바와 같이, 본 발명의 일 실시예의 변형예에 따른 영상 개선 방법(S200)은 영상 촬영 단계(S201), 프레임 추출 단계(S202), 색상 보정 단계(S203), 제1 마스크 생성 단계(S204), 강도 매칭 단계(S205), 제1 프레임 합성 단계(S206), 제2 프레임 탁도 보정 단계(S207), 제2 프레임 흐림 보정 단계(S208), 제2 마스크 생성 단계(S209), 제1 마스크 수정 단계(S210), 제2 마스크 수정 단계(S211), 제2 프레임 합성 단계(S212)를 포함한다. 이때, 전술한 일 실시예에 따른 영상 개선 방법(S200)과 동일한 내용은 전술한 설명으로 대체하고, 이하에서는 차이점을 중심으로 설명한다. As illustrated in FIG. 9, an image enhancement method (S200) according to a modified example of an embodiment of the present invention includes an image capturing step (S201), a frame extraction step (S202), a color correction step (S203), a first mask generation step (S204), an intensity matching step (S205), a first frame synthesis step (S206), a second frame turbidity correction step (S207), a second frame blur correction step (S208), a second mask generation step (S209), a first mask modification step (S210), a second mask modification step (S211), and a second frame synthesis step (S212). At this time, the same content as the image enhancement method (S200) according to the above-described embodiment is replaced with the above-described description, and the following description focuses on differences.

도 9에 도시된 바와 같이, 본 발명의 일 실시예의 변형예에 따른 영상 개선 방법(S200)에서는 최초 프레임 색상 보정 단계, 최초 프레임 탁도 보정 단계 및 최초 프레임 흐림 보정 단계가 생략되고, 제1 프레임 탁도 보정 단계 및 제2 프레임 탁도 보정 단계 대신, 제1 프레임 탁도 보정 단계 및 제2 프레임 탁도 보정 단계가 제1 프레임 합성 단계(S206) 후 제2 마스크 생성 단계(S209) 전에 수행된다. As illustrated in FIG. 9, in an image enhancement method (S200) according to a modified example of one embodiment of the present invention, the first frame color correction step, the first frame turbidity correction step, and the first frame blur correction step are omitted, and instead of the first frame turbidity correction step and the second frame turbidity correction step, the first frame turbidity correction step and the second frame turbidity correction step are performed after the first frame synthesis step (S206) and before the second mask generation step (S209).

제2 프레임 탁도 보정 단계(S207)에서는, 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성하여 수정된 제2 프레임(12b')에 대한 카메라(10)와 촬영하는 대상 사이에 위치하는 유체에 의한 탁도를 보정한다. In the second frame turbidity correction step (S207), the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied are synthesized to correct the turbidity caused by the fluid located between the camera (10) and the subject being photographed for the modified second frame (12b').

제2 프레임 흐림 보정 단계(S208)에서는 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성하여 수정된 제2 프레임(12b')에 대한 카메라(10)와 촬영하는 대상 사이에 위치하는 유체의 이동 또는 카메라의 흔들림에 의한 흐림을 보정하게 된다. In the second frame blur correction step (S208), the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied are synthesized to correct blur caused by movement of a fluid located between the camera (10) and the subject being photographed or camera shake for the modified second frame (12b').

이하에서는 도 10을 참조하여, 본 발명의 일 실시예에 따른 영상 개선 시스템을 이용한 수중 절단 방법을 설명한다. 이때, 전술한 설명과 중복되는 부분은 생략한다. 도 10은 본 발명의 다른 실시예에 따른 수중 절단 방법을 도시한 순서도이다. Hereinafter, with reference to FIG. 10, an underwater cutting method using an image enhancement system according to one embodiment of the present invention will be described. At this time, parts that overlap with the above description will be omitted. FIG. 10 is a flowchart illustrating an underwater cutting method according to another embodiment of the present invention.

도 10에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 수중 절단 방법(S300)은 영상 촬영 단계(S301), 프레임 추출 단계(S302), 제1 마스크 생성 단계(S303), 제1 절단 작업 중단 단계(S304), 강도 매칭 단계(S305), 제1 프레임 합성 단계(S306), 제2 마스크 생성 단계(S307), 제2 절단 작업 중단 단계(S308), 제1 마스크 수정 단계(S309), 제3 절단 작업 중단 단계(S310), 제2 마스크 수정 단계(S311), 제2 프레임 합성 단계(S312), 절단 작업 재개 단계(S313) 및 작업 종료 확인 단계(S314)를 포함한다. As illustrated in FIG. 10, an underwater cutting method (S300) according to another embodiment of the present invention includes an image capturing step (S301), a frame extraction step (S302), a first mask generation step (S303), a first cutting operation stop step (S304), an intensity matching step (S305), a first frame synthesis step (S306), a second mask generation step (S307), a second cutting operation stop step (S308), a first mask modification step (S309), a third cutting operation stop step (S310), a second mask modification step (S311), a second frame synthesis step (S312), a cutting operation resumption step (S313), and a work completion confirmation step (S314).

영상 촬영 단계(S301)에서는 소정의 시간(??)마다 수중 절단 작업을 촬영한 복수의 프레임(12)을 포함하는 영상 정보(11)를 생성한다. In the video shooting step (S301), video information (11) including multiple frames (12) of underwater cutting work captured at predetermined intervals (??) is generated.

프레임 추출 단계(S302)에서는 영상 정보(11)에 포함된 복수의 프레임 중 어느 하나인 제1 프레임(12a) 및 제1 프레임(12a)보다 소정의 시간(??) 이후 촬영된 제2 프레임(12b)을 추출한다. In the frame extraction step (S302), the first frame (12a), which is one of the multiple frames included in the image information (11), and the second frame (12b) that was captured a predetermined time (??) later than the first frame (12a) are extracted.

제1 마스크 생성 단계(S303)에서는 제2 프레임(12b)의 픽셀별 이미지 강도를 기준으로 제1 마스크(34a)를 생성한다. In the first mask generation step (S303), a first mask (34a) is generated based on the pixel-by-pixel image intensity of the second frame (12b).

제1 절단 작업 중단 단계(S304)에서는 제1 마스크(34a)의 픽셀별 강도의 제1 평균값이 소정의 제1 기준값 이하이면 수중 절단 작업을 중단한다. 이때, 제1 기준값은 필요에 따라 다르게 설정될 수 있다. In the first cutting operation stop step (S304), if the first average value of the pixel intensity of the first mask (34a) is lower than or equal to a predetermined first reference value, the underwater cutting operation is stopped. At this time, the first reference value may be set differently as needed.

제1 마스크(34a)에서 제2 프레임(12b)으로부터 유지되는 픽셀과 제1 프레임(12a)으로 대체되는 픽셀의 비율이 일정 수준 이하이면 제2 프레임(12b)의 정보로부터 수중 절단 작업에 필요한 정보를 충분히 확인할 수 없는 상황인 것으로 판단될 수 있다. If the ratio of pixels maintained from the second frame (12b) in the first mask (34a) and pixels replaced by the first frame (12a) is below a certain level, it can be determined that it is a situation in which information required for underwater cutting work cannot be sufficiently confirmed from information of the second frame (12b).

따라서, 이 경우, 제2 프레임(12b)의 대부분을 제1 프레임(12a)으로 대체하게 되면 현재 상황을 작업자가 정확하게 알 수 없는 상황이 되므로, 수중 절단 작업을 중단하여 새롭게 추출된 제1 프레임(12a) 및 제2 프레임(12b)으로부터 제1 마스크(34a)를 다시 생성하게 된다. 이 경우, 후술하는 단계들을 건너뛰고 절단 작업 재개 단계(S313)를 수행하게 된다. Accordingly, in this case, if most of the second frame (12b) is replaced with the first frame (12a), the worker cannot accurately determine the current situation, so the underwater cutting operation is stopped and the first mask (34a) is regenerated from the newly extracted first frame (12a) and second frame (12b). In this case, the steps described below are skipped and the cutting operation resumption step (S313) is performed.

강도 매칭 단계(S305)에서는 제1 마스크(34a)를 적용한 제2 프레임(12b)의 평균 이미지 강도와 제1 마스크(34a)를 반전한 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)의 평균 이미지 강도 차이가 소정의 값 이하가 되도록 제2 프레임(12b)을 수정한다. In the intensity matching step (S305), the second frame (12b) is modified so that the difference between the average image intensity of the second frame (12b) to which the first mask (34a) is applied and the average image intensity of the first frame (12a) to which the first inversion mask (34b) that inverts the first mask (34a) is less than or equal to a predetermined value.

제1 프레임 합성 단계(S306)에서는 제1 마스크(34a)를 적용한 제2 프레임(12b)과 제1 반전 마스크(34b)를 적용한 제1 프레임(12a)을 합성하여 제2 프레임(12b)을 수정한다. In the first frame synthesis step (S306), the second frame (12b) to which the first mask (34a) is applied and the first frame (12a) to which the first inversion mask (34b) is applied are synthesized to modify the second frame (12b).

제2 마스크 생성 단계(S307)에서는 제1 프레임(12a)과 제2 프레임(12b)을 비교하여 카메라(10)와 촬영하는 대상 사이에 위치하는 이물질의 이동 정도를 추출하고 이동 정도가 소정의 값을 초과한 제2 프레임(12b)의 픽셀을 제1 프레임(12a)의 픽셀로 대체하도록 제2 마스크(35a)를 생성한다. 이때, 카메라(10)와 촬영하는 대상 사이에 위치하는 이물질은 영상 정보를 통한 모니터링을 방해하는 공기방울이나 유체 내가 부유하는 이물질일 수 있다. In the second mask generation step (S307), the first frame (12a) and the second frame (12b) are compared to extract the degree of movement of a foreign substance located between the camera (10) and the subject being photographed, and the second mask (35a) is generated by replacing pixels of the second frame (12b) whose degree of movement exceeds a predetermined value with pixels of the first frame (12a). At this time, the foreign substance located between the camera (10) and the subject being photographed may be air bubbles or foreign substances floating in a fluid that interfere with monitoring through image information.

제2 절단 작업 중단 단계(S308)에서는 제2 마스크(35a)의 픽셀별 강도의 제2 평균값이 소정의 제2 기준값 이하이면 수중 절단 작업을 중단한다. 이때, 제2 기준값은 필요에 따라 다르게 설정될 수 있다.In the second cutting operation stop step (S308), if the second average value of the pixel intensity of the second mask (35a) is lower than or equal to a second reference value, the underwater cutting operation is stopped. At this time, the second reference value may be set differently as needed.

제2 마스크(35a)에서도 제2 프레임(12b)으로부터 유지되는 픽셀과 제1 프레임(12a)으로 대체되는 픽셀의 비율이 일정 수준 이하이면 제2 프레임(12b)의 정보로부터 수중 절단 작업에 필요한 정보를 충분히 확인할 수 없는 상황인 것으로 판단될 수 있다. If the ratio of pixels maintained from the second frame (12b) and pixels replaced by the first frame (12a) in the second mask (35a) is below a certain level, it can be determined that the information required for underwater cutting work cannot be sufficiently confirmed from the information of the second frame (12b).

따라서, 이 경우에도, 제2 프레임(12b)의 대부분을 제1 프레임(12a)으로 대체하게 되면 현재 상황을 작업자가 정확하게 알 수 없는 상황이 되므로, 수중 절단 작업을 중단하여 새롭게 추출된 제1 프레임(12a) 및 제2 프레임(12b)으로부터 제2 마스크(35a)를 다시 생성하게 된다. 이 경우, 후술하는 단계들을 건너뛰고 절단 작업 재개 단계(S313)를 수행하게 된다. Accordingly, even in this case, if most of the second frame (12b) is replaced with the first frame (12a), the worker cannot accurately determine the current situation, so the underwater cutting operation is stopped and the second mask (35a) is regenerated from the newly extracted first frame (12a) and second frame (12b). In this case, the steps described below are skipped and the cutting operation resumption step (S313) is performed.

제1 마스크 수정 단계(S309)에서는 제2 마스크(35a)를 적용한 제2 프레임(12b)에서 공기 방울을 인식하여 공기 방울로 인식된 제2 프레임(12b)의 픽셀을 제1 프레임(12a)의 픽셀로 대체하도록 제2 마스크(35a)를 수정한다. In the first mask modification step (S309), air bubbles are recognized in the second frame (12b) to which the second mask (35a) is applied, and the second mask (35a) is modified to replace pixels of the second frame (12b) recognized as air bubbles with pixels of the first frame (12a).

제3 절단 작업 중단 단계(S310)에서는 수정된 제2 마스크(35a')의 픽셀별 강도의 제3 평균값이 소정의 제3 기준값 이하이면 수중 절단 작업을 중단한다. 이때, 제3 기준값은 필요에 따라 다르게 설정될 수 있다.In the third cutting operation stop step (S310), if the third average value of the pixel intensity of the modified second mask (35a') is lower than or equal to a predetermined third reference value, the underwater cutting operation is stopped. At this time, the third reference value may be set differently as needed.

수정된 제2 마스크(35a')에서도 제2 프레임(12b)으로부터 유지되는 픽셀과 제1 프레임(12a)으로 대체되는 픽셀의 비율이 일정 수준 이하이면 수정된 제2 프레임(12b')의 정보로부터 수중 절단 작업에 필요한 정보를 충분히 확인할 수 없는 상황인 것으로 판단될 수 있다. If the ratio of pixels maintained from the second frame (12b) and pixels replaced by the first frame (12a) in the modified second mask (35a') is below a certain level, it can be determined that the information required for underwater cutting work cannot be sufficiently confirmed from the information of the modified second frame (12b').

따라서, 이 경우에도, 제2 프레임(12b)의 대부분을 제1 프레임(12a)으로 대체하게 되면 현재 상황을 작업자가 정확하게 알 수 없는 상황이 되므로, 수중 절단 작업을 중단하여 새롭게 추출된 제1 프레임(12a) 및 제2 프레임(12b)으로부터 수정된 제2 마스크(35a')를 다시 생성하게 된다. 이 경우, 후술하는 단계들을 건너뛰고 절단 작업 재개 단계(S313)를 수행하게 된다. Accordingly, even in this case, if most of the second frame (12b) is replaced with the first frame (12a), the worker cannot accurately determine the current situation, so the underwater cutting operation is stopped and the modified second mask (35a') is re-generated from the newly extracted first frame (12a) and second frame (12b). In this case, the steps described below are skipped and the cutting operation resumption step (S313) is performed.

제2 마스크 수정 단계(S311)에서는 제2 프레임(12b)에 제2 마스크(35a)를 적용한 영역과 제1 프레임(12a)에 제2 반전 마스크(35b)를 적용한 영역의 경계를 보정한다. In the second mask correction step (S311), the boundary between the area where the second mask (35a) is applied to the second frame (12b) and the area where the second inversion mask (35b) is applied to the first frame (12a) is corrected.

제2 프레임 합성 단계(S312)에서는, 제2 마스크(35a)를 적용한 제2 프레임(12b)과 제2 마스크(35a)를 반전한 제2 반전 마스크(35b)를 적용한 제1 프레임(12a)을 합성하여 제2 프레임(12b)을 수정한다. In the second frame synthesis step (S312), the second frame (12b) to which the second mask (35a) is applied and the first frame (12a) to which the second inversion mask (35b) that inverts the second mask (35a) are applied are synthesized to modify the second frame (12b).

절단 작업 재개 단계(S313)에서는 제1 마스크(34a)의 픽셀별 강도의 제1 평균값이 제1 기준값 초과이면 수중 절단 작업을 재개한다. In the cutting operation resumption step (S313), if the first average value of the pixel intensity of the first mask (34a) exceeds the first reference value, the underwater cutting operation is resumed.

이는, 새롭게 추출된 제1 프레임(12a)과 제2 프레임(12b)을 통해 제1 마스크(34a)를 생성하고 생성된 제1 마스크(34a)를 통해 제2 프레임(12b)을 개선하더라도 제2 프레임(12b)으로부터 유지되는 정보가 일정 수준 이상인 경우 작업자가 현재 상황을 충분히 확인할 수 있는 상황인 것으로 판단 받을 수 있기 때문이다. This is because, even if the first mask (34a) is generated through the newly extracted first frame (12a) and second frame (12b) and the second frame (12b) is improved through the generated first mask (34a), it can be judged that the worker can sufficiently confirm the current situation if the information maintained from the second frame (12b) is above a certain level.

이때, 절단 작업 재개 단계(S313)에서는, 제2 절단 작업 중단 단계(S308)에서부터 작업이 중단된 경우, 제2 평균값과 제2 기준값을 더 비교하여 제2 평균값이 제2 기준값 초과이면 수중 절단 작업을 재개할 수 있다. At this time, in the cutting operation resumption step (S313), if the operation was stopped from the second cutting operation stop step (S308), the second average value and the second reference value are further compared, and if the second average value exceeds the second reference value, the underwater cutting operation can be resumed.

또한, 절단 작업 재개 단계(S313)에서는, 제3 절단 작업 중단 단계(S310)에서부터 작업이 중단된 경우, 제3 평균값과 제3 기준값을 더 비교하여 제3 평균값이 제3 기준값 초과이면 수중 절단 작업을 재개할 수 있다. In addition, in the cutting operation resumption step (S313), if the operation was stopped from the third cutting operation stop step (S310), the third average value and the third reference value are further compared, and if the third average value exceeds the third reference value, the underwater cutting operation can be resumed.

작업 종료 확인 단계(S314)에서는, 수중 절단 작업이 진행 중이면, 제1 프레임(12a)을 제2 프레임(12b)으로 대체하되 제1 프레임(12a)보다 소정의 시간(??) 이후 촬영된 프레임을 제2 프레임(12b)으로 대체하고, 제1 마스크 생성 단계(S303), 제1 절단 작업 중단 단계(S304) 및 제1 프레임 합성 단계(S306)를 순차적으로 수행한다. In the work completion confirmation step (S314), if the underwater cutting work is in progress, the first frame (12a) is replaced with the second frame (12b), but a frame captured a predetermined time (??) later than the first frame (12a) is replaced with the second frame (12b), and the first mask creation step (S303), the first cutting work stop step (S304), and the first frame synthesis step (S306) are sequentially performed.

이때, 작업 종료 확인 단계(S314)에서는, 제1 프레임 합성 단계(S306) 후 제2 마스크 생성 단계(S307), 제2 절단 작업 중단 단계(S308) 및 제2 프레임 합성 단계(S312)를 순차적으로 더 수행할 수 있다. 또한, 작업 종료 확인 단계(S314)에서는, 제2 절단 작업 중단 단계(S308) 후 제2 프레임 합성 단계(S312) 전, 제1 마스크 수정 단계(S309) 및 제3 절단 작업 중단 단계(S310)를 순차적으로 더 수행할 수 있다. 나아가, 작업 종료 확인 단계(S314)에서는, 제3 절단 작업 중단 단계(S310) 후 제2 프레임 합성 단계(S312) 전, 제2 마스크 수정 단계(S311)를 더 수행할 수 있다. At this time, in the work completion confirmation step (S314), the second mask generation step (S307), the second cutting operation stop step (S308), and the second frame synthesis step (S312) can be further sequentially performed after the first frame synthesis step (S306). In addition, in the work completion confirmation step (S314), the first mask modification step (S309) and the third cutting operation stop step (S310) can be further sequentially performed after the second cutting operation stop step (S308) and before the second frame synthesis step (S312). Furthermore, in the work completion confirmation step (S314), the second mask modification step (S311) can be further performed after the third cutting operation stop step (S310) and before the second frame synthesis step (S312).

즉, 작업 종료 확인 단계(S314)에서는 앞선 단계들을 반복적으로 수행함으로써 영상 정보(11)에 포함된 복수의 프레임들을 순차적으로 개선해 나갈 수 있도록 한다. That is, in the work completion confirmation step (S314), the preceding steps are repeatedly performed so that multiple frames included in the image information (11) can be sequentially improved.

이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술한 실시예는 제한적인 것이 아니라 예시인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.As described above, preferred embodiments according to the present invention have been examined, and it is obvious to those skilled in the art that the present invention can be embodied in other specific forms in addition to the embodiments described above without departing from the spirit or scope thereof. Therefore, the above-described embodiments should be considered as illustrative rather than restrictive, and accordingly, the present invention is not limited to the above description, but may be modified within the scope of the appended claims and their equivalents.

1 영상 개선 시스템 35a' 수정된 제2 마스크
10 카메라 35b 제2 반전 마스크
11 영상 정보 36 버블 마스킹 모듈
12 프레임 37 스무딩 모듈
12a 제1 프레임 38 강도 매칭 모듈
12b 제2 프레임 40 프로세서
12b' 수정된 제2 프레임 50 조명기
12i 최초 프레임 A2 경계 영역
20 통신 인터페이스 P11 제1 프레임의 제1 픽셀
30 메모리 P12 제1 프레임의 제2 픽셀
31 색상 보정 모듈 P21 제1 마스크의 제1 픽셀
32 디헤이징 모듈 P22 제1 마스크의 제2 픽셀
33 디블러링 모듈 P31 제2 프레임의 제1 픽셀
34 강도 마스킹 모듈 P32 제2 프레임의 제2 픽셀
34a 제1 마스크 P41 제1 반전 마스크의 제1 픽셀
34b 제1 반전 마스크 P42 제1 반전 마스크의 제2 픽셀
35 광학 흐름 마스킹 모듈 P51 수정된 제2 프레임의 제1 픽셀
35a 제2 마스크 P52 수정된 제2 프레임의 제2 픽셀1 Image Enhancement System 35a' Modified Second Mask
10 camera 35b 2nd inversion mask
11 Video Information 36 Bubble Masking Module
12 Frame 37 Smoothing Module
12a 1st frame 38 strength matching module
12b 2nd frame 40 processor
12b' Modified 2nd Frame 50 Lighter
12i First Frame A2 Border Area
20 Communication Interface P11 First pixel of first frame
30 Memory P12 2nd pixel of 1st frame
31 Color Correction Module P21 First pixel of the first mask
32 Dehazing module P22 2nd pixel of 1st mask
33 Deblurring module P31 1st pixel of 2nd frame
34 Intensity Masking Module P32 2nd pixel of 2nd frame
34a 1st mask P41 1st pixel of 1st inversion mask
34b 1st inversion mask P42 2nd pixel of 1st inversion mask
35 Optical Flow Masking Module P51 Modified 2nd Frame's 1st Pixel
35a 2nd mask P52 2nd pixel of modified 2nd frame

Claims

A camera that generates image information including multiple frames captured at regular intervals;
A communication interface for receiving the image information from the camera;
A memory storing multiple command modules; and
a processor for executing one or more of the instruction modules stored in the memory;
The above processor,
The image information is received from the above camera through the above communication interface,
Extracting a first frame, which is one of a plurality of frames included in the above image information, and a second frame captured after a predetermined time from the first frame,
By executing the intensity masking module stored in the above memory, a first mask is generated based on the pixel-by-pixel image intensity of the second frame,
The second frame is modified by synthesizing the second frame to which the first mask is applied and the first frame to which the first inversion mask is applied, which is an inversion of the first mask.
The above processor,
An image enhancement system that modifies the second frame by executing an intensity matching module stored in the memory so that the difference between the average image intensity of the second frame to which the first mask is applied and the average image intensity of the first frame to which the first inversion mask is applied becomes less than or equal to a predetermined value.

delete

In the first paragraph,
The above processor,
Extract the first frame from among the multiple frames included in the above video information,
An image enhancement system for correcting the color of the first frame by executing a color correction module stored in the above memory.

In the third paragraph,
The above color correction module is an image improvement system that corrects the red wavelength that is absorbed by water and distorted in the image information captured underwater.

In the third paragraph,
The above color correction module is an image improvement system that corrects color distortion caused by sparks generated during a cutting operation in the image information captured during an underwater cutting operation.

In the third paragraph,
Further comprising an illuminator for irradiating light on an object photographed by the above camera;
The above color correction module is an image improvement system that corrects distortion according to the color of the light irradiated from the above illuminator.

In the third paragraph,
The above processor,
An image enhancement system that corrects turbidity caused by a fluid located between the camera and the subject being photographed in the first frame by executing a dehazing module stored in the memory.

In Article 7,
The above processor,
An image enhancement system that corrects blurring caused by movement of a fluid located between the camera and the subject being photographed in the first frame or by shaking of the camera by executing a deblurring module stored in the memory.

In the first paragraph,
The above processor,
An image enhancement system for correcting the color of the second frame by executing a color correction module stored in the memory before executing an intensity masking module stored in the memory.

In the first paragraph,
An image enhancement system, wherein the intensity masking module generates the first mask to replace pixels of the second frame whose image intensity exceeds a predetermined reference intensity with pixels of the first frame.

In the first paragraph,
An image enhancement system, wherein the intensity masking module generates the first mask to replace pixels of the second frame, in which a difference between the image intensity of pixels of the second frame and the image intensity of pixels of the first frame exceeds a predetermined value, with pixels of the first frame.

In the first paragraph,
The above processor,
An image enhancement system that corrects turbidity caused by a fluid located between the camera and the subject being photographed in the second frame by synthesizing the second frame to which the first mask has been applied and the first frame to which the first inversion mask has been applied, and then executing a dehazing module stored in the memory.

In the first paragraph,
The above processor,
An image enhancement system that corrects blurring caused by movement of a fluid located between the camera and the subject being photographed in the second frame or shaking of the camera by synthesizing the second frame to which the first mask has been applied and the first frame to which the first inversion mask has been applied, and then executing a deblurring module stored in the memory.

In the first paragraph,
The above processor,
By executing the optical flow masking module stored in the above memory, the first frame and the second frame are compared to extract the degree of movement of a foreign substance located between the camera and the subject to be photographed, and a second mask is generated to replace pixels of the second frame in which the degree of movement exceeds a predetermined value with pixels of the first frame.
An image enhancement system that modifies the second frame by synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied, which is an inversion of the second mask.

In Article 14,
The above processor
An image enhancement system, wherein the second mask is modified to recognize air bubbles in the second frame to which the second mask is applied and replace pixels of the second frame recognized as air bubbles with pixels of the first frame by executing a bubble masking module stored in the memory before synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied.

In Article 14,
The second mask is assigned a value of 1 to a position that maintains a pixel of the second frame and a value of 0 to a position that synthesizes a pixel of the first frame.
The above processor,
An image enhancement system, wherein a value greater than 0 and less than 1 is assigned to a boundary position between an area having a value of 1 of the second mask and an area having a value of 0 by executing a smoothing module stored in the memory before synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied.

In Article 14,
The above processor,
An image enhancement system that corrects turbidity caused by a fluid located between the camera and the subject of the image of the second frame to which the second mask is applied by executing a dehazing module stored in the memory before synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied.

In Article 14,
The above processor,
An image enhancement system that corrects blurring caused by movement of a fluid located between the camera and the subject being photographed or shaking of the camera in the second frame to which the second mask is applied, by executing a deblurring module stored in the memory before synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied.

A video capturing step for generating video information including a plurality of frames captured at predetermined intervals;
A frame extraction step of extracting a first frame, which is one of a plurality of frames included in the above image information, and a second frame captured after a predetermined time from the first frame;
A first mask generation step for generating a first mask based on the pixel-by-pixel image intensity of the second frame;
An intensity matching step for modifying the second frame so that the difference between the average image intensity of the second frame to which the first mask is applied and the average image intensity of the first frame to which the first inversion mask is applied is less than a predetermined value; and
An image enhancement method, comprising: a first frame synthesis step of modifying the second frame by synthesizing the second frame to which the first mask is applied and the first frame to which the first inversion mask is applied;

In Article 19,
After the above video shooting step and before the above frame extraction step,
A first frame color correction step of extracting a first frame from among a plurality of frames included in the above image information and correcting the color of the first frame;
A first frame turbidity correction step for correcting turbidity caused by a fluid located between the camera and the subject being photographed included in the first frame; and
An image enhancement method further comprising a first frame blur correction step for correcting blur caused by movement of a fluid located between the camera and the subject to be photographed in the first frame or by shaking of the camera.

In Article 19,
A second mask generation step for comparing the first frame and the second frame to extract the degree of movement of a foreign substance located between the camera and the subject to be photographed, and generating a second mask to replace pixels of the second frame in which the degree of movement exceeds a predetermined value with pixels of the first frame;
An image enhancement method, further comprising a second frame synthesis step of modifying the second frame by synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied, which is an inversion of the second mask.

In Article 21,
After the second mask generation step and before the second frame synthesis step,
A first frame turbidity correction step for correcting turbidity caused by a fluid located between the camera and the subject to be photographed included in the second frame to which the second mask is applied; and
An image enhancement method further comprising: a first frame blur correction step for correcting blur caused by movement of a fluid located between the camera and the subject being photographed in the second frame to which the second mask is applied or by shaking of the camera;

In Article 21,
After the second mask generation step and before the second frame synthesis step,
An image enhancement method, further comprising: a first mask modification step for modifying the second mask to recognize an air bubble in the second frame to which the second mask has been applied and replace pixels of the second frame recognized as air bubbles with pixels of the first frame;

In Article 23,
After the first mask modification step and before the second frame synthesis step,
An image enhancement method, further comprising: a second mask modification step for correcting a boundary between an area to which the second mask is applied in the second frame and an area to which the second inversion mask is applied in the first frame.

In Article 19,
A second frame turbidity correction step for correcting turbidity caused by a fluid located between the camera and the subject to be photographed included in the modified second frame; and
An image enhancement method further comprising a second frame blur correction step for correcting blur caused by movement of a fluid located between the camera and the subject to be photographed or shaking of the camera included in the modified second frame.

An image capturing step for generating image information including a plurality of frames capturing an underwater cutting operation at predetermined intervals;
A frame extraction step of extracting a first frame, which is one of a plurality of frames included in the above image information, and a second frame captured after a predetermined time from the first frame;
A first mask generation step for generating a first mask based on the pixel-by-pixel image intensity of the second frame;
A first cutting operation stop step for stopping the underwater cutting operation if the first average value of the pixel intensity of the first mask is lower than or equal to a first reference value;
A first frame synthesis step of modifying the second frame by synthesizing the second frame to which the first mask is applied and the first frame to which the first inversion mask is applied, which is an inversion of the first mask;
A cutting operation resumption step for resuming the underwater cutting operation if the first average value of the pixel-by-pixel intensity of the first mask exceeds the first reference value;
An underwater cutting method comprising: a step of confirming completion of a task of replacing the first frame with the second frame while the underwater cutting task is in progress, and replacing a frame captured after the predetermined time from the first frame with the second frame; and sequentially performing the first mask generation step, the first task stop step, and the first frame synthesis step.

In Article 26,
After the above first cutting operation stop step and before the above first frame synthesis step,
An underwater cutting method, further comprising: an intensity matching step of modifying the second frame so that a difference between the average image intensity of the second frame to which the first mask is applied and the average image intensity of the first frame to which the first inversion mask is applied, which inverts the first mask, becomes less than or equal to a predetermined value.

In Article 26,
After the first frame synthesis step and before the cutting operation resumption step,
A second mask generation step for comparing the first frame and the second frame to extract the degree of movement of a foreign substance located between the camera and the subject to be photographed and generating a second mask to replace pixels of the second frame where the degree of movement exceeds a predetermined value with pixels of the first frame; and
A second cutting operation stop step for stopping the underwater cutting operation if the second average value of the pixel intensity of the second mask is lower than or equal to a second reference value;
A second frame synthesis step for modifying the second frame by synthesizing the second frame to which the second mask is applied and the first frame to which the second inversion mask is applied, which is an inversion of the second mask; further comprising;
In the above-mentioned cutting operation resumption step, the second average value and the second reference value are further compared, and if the second average value exceeds the second reference value, the underwater cutting operation is resumed.
An underwater cutting method, wherein in the above work completion confirmation step, the second mask generation step, the second cutting work stop step, and the second frame synthesis step are further sequentially performed after the first frame synthesis step.

In Article 28,
After the above second cutting operation stop step and before the above second frame synthesis step,
A first mask modification step for recognizing an air bubble in the second frame to which the second mask has been applied and modifying the second mask to replace pixels of the second frame recognized as air bubbles with pixels of the first frame; and
Further comprising a third cutting operation stopping step for stopping the underwater cutting operation if the third average value of the pixel intensity of the modified second mask is lower than or equal to a predetermined third reference value;
In the above cutting operation resumption step, the third average value and the third reference value are further compared, and if the third average value exceeds the third reference value, the underwater cutting operation is resumed.
An underwater cutting method, wherein in the above work completion confirmation step, the first mask modification step and the third cutting work stop step are further sequentially performed after the second cutting work stop step and before the second frame synthesis step.

In Article 29,
After the above third cutting operation stop step and before the above second frame synthesis step,
A second mask modification step for correcting the boundary between the area to which the second mask is applied in the second frame and the area to which the second inversion mask is applied in the first frame; further comprising;
An underwater cutting method, wherein in the above work completion confirmation step, the second mask modification step is further performed after the third cutting work stop step and before the second frame synthesis step.