KR20200058295A

KR20200058295A - Method and Device of High Magnetic Field Magnetic Resonance Image Synthesis

Info

Publication number: KR20200058295A
Application number: KR1020190143573A
Authority: KR
Inventors: 석흥일; 최준식
Original assignee: 고려대학교 산학협력단
Priority date: 2018-11-19
Filing date: 2019-11-11
Publication date: 2020-05-27
Anticipated expiration: 2039-11-11
Also published as: KR102222366B1; KR102222366B9

Abstract

본 발명은 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치를 개시한다. 본 발명에 따르면, 딥러닝 기반 고자기장 자기공명영상 합성 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 생성기 및 구별기를 포함하는 적대적 생성 신경망 모델 기반으로 상기 생성기가 저자기장 자기공명영상 패치를 입력으로 하여 가상의 합성 고자기장 자기공명영상 패치를 생성하고, 상기 구별기가 상기 가상의 합성 고자기장 자기공명영상 및 실제 고자기장 자기공명영상을 입력으로 하여 상기 합성 고자기장 자기공명영상이 실제 고자기장 자기공명영상에 속할 확률을 계산하고, 특징 추출기가 상기 가상의 합성 고자기장 자기공명영상 및 상기 실제 고자기장 자기공명영상을 입력으로 하여 고차원 특징 차이를 계산하고, 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이, 상기 계산된 확률 및 상기 고차원 특징 차이에 따른 인지 로스(Perceptual loss)를 반영된 전체 로스(total loss)를 이용하여 상기 생성기 및 구별기의 파라미터를 업데이트하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 딥러닝 기반 고자기장 자기공명영상 합성 장치가 제공된다. The present invention discloses a method and apparatus for synthesizing deep learning based high magnetic field magnetic resonance images. According to the present invention, a deep learning-based high magnetic field magnetic resonance image synthesis apparatus comprising a processor and a memory connected to the processor, wherein the memory is based on a hostile generating neural network model including a generator and a discriminator, the generator is the author's magnetic field A virtual synthetic high magnetic field magnetic resonance image patch is generated by using a magnetic resonance image patch as an input, and the synthesizer uses the virtual synthetic magnetic field magnetic field image and an actual high magnetic field magnetic resonance image as input to the synthetic high magnetic field magnetic resonance field. Calculate the probability that the image belongs to an actual high magnetic field magnetic resonance image, and a feature extractor calculates a high-dimensional characteristic difference by inputting the virtual synthetic high magnetic field magnetic field image and the actual high magnetic field magnetic resonance image, and the synthetic high magnetic field Parameters of the generator and the discriminator using the total loss reflecting the difference between the magnetic resonance image and the actual high magnetic field magnetic resonance image, the calculated probability, and the perceptual loss according to the high-dimensional characteristic difference. A deep learning based high magnetic field magnetic resonance image synthesis apparatus is provided that stores program instructions executed by the processor to update.

Description

Method and device for deep learning-based high magnetic field magnetic resonance image synthesis

본 발명은 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for synthesizing deep magnetic field based high magnetic field magnetic resonance images.

딥러닝 기반 이미지 합성 모델은 기존의 기계학습 기반 모델들이 가진 성능적 한계를 뛰어넘어 컴퓨터 비전 분야에서 큰 성공을 거두고 있다. The deep learning-based image synthesis model has succeeded in the computer vision field by surpassing the performance limitations of the existing machine learning-based models.

기본적으로 컨볼루션 신경망(CNN) 기반의 모델들이 주를 이루고 있으며, 이미지 합성의 주된 과제는 입력 이미지의 분포를 타겟 이미지 분포로 변환 및 사상하는 것이다.Basically, convolutional neural network (CNN) -based models mainly dominate, and the main task of image synthesis is to transform and map the distribution of the input image to the target image distribution.

적대적 생성 신경망은 생성자와 판별자 사이의 내쉬 균형을 찾는 것을 목표로 하여, 데이터의 분포 추정에 있어 기존 모델들의 성능을 크게 향상시켰다. The hostile generation neural network aims to find the Nash balance between the generator and the discriminator, greatly improving the performance of existing models in estimating the distribution of data.

적대적 생성 신경망의 본질적인 과제가 데이터의 분포 추정이기 때문에, 기존 컨볼루션 신경망 기반의 이미지 합성 모델에 적대적 생성 학습 프레임워크를 도입하여 그 합성 결과의 질적 성능을 향상시키는 연구들이 보고되어있다. Since the essential task of hostile generating neural networks is estimation of distribution of data, studies have been reported to improve the qualitative performance of the synthetic results by introducing a hostile generating learning framework into an existing convolutional neural network based image synthesis model.

이미지 합성 모델의 목표 함수에 있어서 픽셀 차원의 저수준 에러를 고려하는 것보다 이미지에서 추출되는 학습된 고차원 특징 벡터 간의 차이를 최소화하는 것을 목표 함수로 삼을 수 있다. 보통 기 학습된 이미지 분류 모델을 특징 벡터 추출기로 삼는데, 이를 통해 얻어지는 에러를 인지 로스(Perceptual Loss)라고 한다.In the target function of the image synthesis model, the target function may be to minimize the difference between the learned high-dimensional feature vectors extracted from the image rather than to consider the pixel-level low-level error. Usually, the pre-trained image classification model is used as a feature vector extractor, and the error obtained through this is called perceptual loss.

이미지 합성 기술은 기존 컴퓨터 비전 분야 뿐 아니라 의료영상 분야에도 매우 중요한 의미를 갖는다. 자기공명영상의 경우에 촬영 매개변수에 따라 여러 가지 모달리티의 이미지가 생성될 수 있으며, 촬영 스캐너의 종류에 따라서도 변이성이 존재한다. Image synthesis technology has a very important meaning not only in the field of computer vision but also in medical imaging. In the case of a magnetic resonance image, various modality images may be generated according to photographing parameters, and variability may exist depending on the type of the imaging scanner.

모든 필요한 종류의 영상을 촬영하는 것은 시간적, 경제적 비용이 많이 들기 때문에 이미지 합성 기술을 통해 필요한 모달리티의 영상을 합성하거나 저해상도 영상으로부터 고해상도 영상을 합성하는 것은 의료영상 분석 분야에 있어 매우 중요하다. It is very important in the field of medical image analysis to synthesize the necessary modality image through the image synthesis technology or to synthesize the high resolution image from the low resolution image because it is expensive and time-consuming to shoot all necessary types of images.

미국등록특허 US 9,892,361US registered patent US 9,892,361

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 저자기장 자기공명영상으로부터 이에 대응되는 고자기장 자기공명영상을 생성할 수 있는 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치를 제안하고자 한다. In order to solve the above-mentioned problems of the prior art, the present invention is to propose a method and apparatus for synthesizing deep magnetic field based magnetic resonance images based on deep learning that can generate corresponding high magnetic field magnetic resonance images from low magnetic field magnetic resonance images.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 딥러닝 기반 고자기장 자기공명영상 합성 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 생성기 및 구별기를 포함하는 적대적 생성 신경망 모델 기반으로 상기 생성기가 저자기장 자기공명영상 패치를 입력으로 하여 가상의 합성 고자기장 자기공명영상 패치를 생성하고, 상기 구별기가 상기 가상의 합성 고자기장 자기공명영상 및 실제 고자기장 자기공명영상을 입력으로 하여 상기 합성 고자기장 자기공명영상이 실제 고자기장 자기공명영상에 속할 확률을 계산하고, 특징 추출기가 상기 가상의 합성 고자기장 자기공명영상 및 상기 실제 고자기장 자기공명영상을 입력으로 하여 고차원 특징 차이를 계산하고, 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이, 상기 계산된 확률 및 상기 고차원 특징 차이에 따른 인지 로스(Perceptual loss)를 반영된 전체 로스(total loss)를 이용하여 상기 생성기 및 구별기의 파라미터를 업데이트하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 딥러닝 기반 고자기장 자기공명영상 합성 장치가 제공된다. In order to achieve the above object, according to an embodiment of the present invention, a deep learning-based high magnetic field magnetic resonance image synthesis apparatus, including a processor and a memory connected to the processor, wherein the memory, generator and distinction Based on a hostile generation neural network model including a group, the generator generates a hypothetical synthetic high magnetic field magnetic resonance image patch by inputting a low magnetic field magnetic resonance image patch, and the discriminator is the virtual synthetic high magnetic field magnetic resonance image and a real high resolution. Using the magnetic field magnetic resonance image as an input, a probability that the synthesized high magnetic field magnetic resonance image belongs to an actual high magnetic field magnetic resonance image is calculated, and a feature extractor extracts the virtual synthetic magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image. A high-dimensional characteristic difference is calculated as an input, and the total loss reflecting the difference between the synthesized high magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image, the calculated probability, and perceptual loss according to the high-dimensional characteristic difference. A deep learning based high magnetic field magnetic resonance image synthesis apparatus is provided that stores program instructions executed by the processor to update parameters of the generator and the discriminator using (total loss).

상기 특징 추출기는 복수의 합성곱 신경망층을 포함하며, 상기 복수의 합성곱 신경망층 각각이 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상의 상기 고차원 특징 차이를 계산할 수 있다. The feature extractor includes a plurality of convolutional neural network layers, and each of the plurality of convolutional neural network layers can calculate differences in the high-dimensional characteristics of the synthesized high magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image.

상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이는 MSE(Mean Square Error) 로스로 계산되며, 상기 확률을 통해 Adverarial 로스를 계산할 수 있다. The difference between the synthesized high magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image is calculated as MSE (Mean Square Error) loss, and Adverarial loss can be calculated through the probability.

상기 MSE(Mean Square Error) 로스는 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상 각각의 N개의 복셀 사이의 차이의 제곱의 평균이다. The mean square error (MSE) loss is an average of the square of the difference between the N voxels of each of the synthesized high magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image.

본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 딥러닝 기반 고자기장 자기공명영상을 합성하는 방법으로서, 생성기 및 구별기를 포함하는 적대적 생성 신경망 모델 기반으로 상기 생성기가 저자기장 자기공명영상 패치를 입력으로 하여 가상의 합성 고자기장 자기공명영상 패치를 생성하는 단계, 상기 구별기가 상기 가상의 합성 고자기장 자기공명영상 및 실제 고자기장 자기공명영상을 입력으로 하여 상기 합성 고자기장 자기공명영상이 실제 고자기장 자기공명영상에 속할 확률을 계산하는 단계, 특징 추출기가 상기 가상의 합성 고자기장 자기공명영상 및 상기 실제 고자기장 자기공명영상을 입력으로 하여 고차원 특징 차이를 계산하는 단계 및 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이, 상기 계산된 확률 및 상기 고차원 특징 차이에 따른 인지 로스(Perceptual loss)를 반영된 전체 로스(total loss)를 이용하여 상기 생성기 및 구별기의 파라미터를 업데이트하는 단계를 포함하는 딥러닝 기반 고자기장 자기공명영상 합성 방법이 제공된다. According to another aspect of the present invention, a method for synthesizing deep learning based high magnetic field magnetic resonance images in a device including a processor and a memory, wherein the generator is a low magnetic field magnetic resonance image based on a hostile generation neural network model including a generator and a discriminator. Generating a virtual synthetic high magnetic field magnetic field image patch by inputting a patch, and the synthesizer uses the virtual synthetic high magnetic field magnetic field image and a real high magnetic field magnetic resonance image as inputs to generate the synthetic high magnetic field magnetic field image patch. Calculating a probability of belonging to a real high magnetic field magnetic resonance image, a feature extractor calculating a high dimensional feature difference by inputting the virtual synthetic high magnetic field magnetic resonance image and the real high magnetic field magnetic resonance image and the synthesized high magnetic field Parameters of the generator and the discriminator using the total loss reflecting the difference between the magnetic resonance image and the actual high magnetic field magnetic resonance image, the calculated probability, and the perceptual loss according to the high-dimensional characteristic difference. A method for synthesizing a deep magnetic field magnetic resonance image based on deep learning is provided.

본 발명에 따르면, 미리 촬영된 저자기장 자기공명영상과 고자기장 자기공명영상 쌍 간의 관계를 학습한 적대적 생성 신경망을 통해 임상에 사용되는 자기공명영상의 질을 향상시킬 수 있고, 합성된 고자기장 자기공명영상을 기존의 뇌 질환 진단 등에 사용되는 딥러닝 기반 모델들의 보조 데이터로 활용함으로써 성능을 추가 향상시킬 수 있다. According to the present invention, it is possible to improve the quality of magnetic resonance images used in clinical practice through a hostile generating neural network that has learned the relationship between a pair of pre-recorded magnetic field magnetic resonance images and a pair of high magnetic field magnetic resonance images, and synthesized high magnetic field magnetic fields The performance can be further improved by using the resonance image as auxiliary data of deep learning-based models used for diagnosis of brain diseases.

또한 인지 로스를 기 학습된 특징 추출 모델을 통해 사용하여 합성 이미지의 질적 성능을 향상시킬 수 있다.In addition, cognitive loss can be used through a pre-trained feature extraction model to improve the qualitative performance of the composite image.

도 1은 본 발명의 일 실시예에 따른 적대적 생성 신경망 모델의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 생성기의 상세 구성을 도시한 도면이다.
도 3은 본 실시예에 따른 잔차 신경망 블록의 상세 구성을 도시한 도면이다.
도 4는 본 실시예에 따른 구별기의 상세 구성을 도시한 도면이다.
도 5는 본 실시예에 따른 특징 추출기의 상세 구성을 도시한 도면이다.
도 6 내지 도 8은 본 발명의 일 실시에에 따른 고자기장 자기공명영상 합성을 위한 모델의 학습 과정을 예시적으로 도시한 도면이다. 1 is a diagram showing the configuration of a hostile generation neural network model according to an embodiment of the present invention.
2 is a diagram showing a detailed configuration of a generator according to an embodiment of the present invention.
3 is a diagram showing a detailed configuration of a residual neural network block according to the present embodiment.
4 is a diagram showing a detailed configuration of the discriminator according to the present embodiment.
5 is a diagram showing a detailed configuration of the feature extractor according to the present embodiment.
6 to 8 are views exemplarily showing a learning process of a model for synthesizing a high magnetic field magnetic resonance image according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

자기공명영상은 질환 진단 또는 병리 검출에 있어 널리 활용되고 있다. 현재 보편적으로 사용되는 저자기장 자기공명영상 촬영 장비는 소뇌의 피질과 같은 매우 복잡하고 세부적인 구조적 특성을 표현하는데 있어서는 한계가 있다.Magnetic resonance imaging is widely used for disease diagnosis or pathology detection. Currently, universally used magnetic field magnetic resonance imaging equipment has limitations in expressing very complex and detailed structural characteristics such as the cortex of the cerebellum.

고자기장 자기공명영상은 자기장의 강도, 즉 테슬라의 크기가 소정 수치 이상인 장비를 통해 촬영하여 고해상도 이미지를 얻을 수 있으며 영상 감별이 용이하고 조영제 없이 영상화가 가능한 장점이 있다. The high magnetic field magnetic resonance image has the advantage of being able to obtain a high resolution image by photographing through a device having a strength of a magnetic field, that is, a size of Tesla greater than or equal to a predetermined value.

이에 고자기장 자기공명영상 촬영 장비에 대한 개발이 가속화 되고 있지만, 기술적 이유와 고가의 장비 비용 등의 문제로 임상에 적용되지 못하는 문제가 있다.Accordingly, although the development of high magnetic field magnetic resonance imaging equipment is accelerating, there are problems that cannot be applied to the clinic due to technical reasons and expensive equipment costs.

본 발명은 적대적 생성망 신경망 기반의 이미지 합성 모델을 이용하여 저자기장 자기공명영상을 통해 고자기장 자기공명영상을 효과적으로 합성하고자 한다.The present invention is to effectively synthesize a high magnetic field magnetic resonance image through a low magnetic field magnetic resonance image using an image synthesis model based on a hostile neural network.

딥러닝 기반 이미지 합성 모델의 질적 성능은 모델의 목표 함수에 따라 달라진다. 많은 경우 입력 이미지와 출력 이미지의 차이를 에러로 계산하여 에러의 제곱 평균 또는 평균을 목표 함수로 택한다. The quality performance of deep learning-based image compositing models depends on the model's target function. In many cases, the difference between the input image and the output image is calculated as an error, and the squared average or average of the errors is selected as the target function.

이미지 합성 모델은 목표 함수의 에러 값이 작아지는 방향으로 학습되기 때문에, 이 경우 모델은 선명한 합성 결과를 내놓기 보다는 여러 가능한 결과의 평균적인 결과를 합성하여 에러를 최소화시키려 하기 때문에 합성 이미지의 선명도가 감소한다. Since the image synthesis model is trained in the direction that the error value of the target function becomes smaller, in this case, the sharpness of the synthesized image is reduced because the model tries to minimize the error by synthesizing the average result of several possible results rather than providing a vivid synthesis result. do.

합성 이미지의 선명도는 특히 의료영상 합성 과제에 있어서 중요한데, 뇌 자기공명영상의 경우 세부적인 뇌의 구조를 표현하는 것이 매우 중요하기 때문이다.The clarity of the composite image is particularly important for medical image synthesis tasks, because in the case of brain magnetic resonance imaging, it is very important to express the detailed brain structure.

본 발명에서는 인지 목표 함수를 사용한 합성 자기공명영상의 질적 성능을 향상시키고자 한다. In the present invention, to improve the qualitative performance of a synthetic magnetic resonance image using a cognitive target function.

본 발명은 효율적인 저자기장 자기공명영상으로부터 고자기장 자기공명영상 합성을 위해 적대적 생성 신경망과 인지 기반 목표 함수를 사용한다. The present invention uses a hostile generating neural network and a cognitive based target function for the synthesis of a high magnetic field magnetic resonance image from an efficient low magnetic field magnetic field image.

도 1은 본 발명의 일 실시예에 따른 적대적 생성 신경망 모델의 구성을 도시한 도면이다. 1 is a diagram showing the configuration of a hostile generation neural network model according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 실시예에 따른 적대적 생성 신경망 모델은 생성기(100), 구별기(102) 및 특징 추출기(104)를 포함할 수 있다. As shown in FIG. 1, the hostile generation neural network model according to the present embodiment may include a generator 100, a discriminator 102, and a feature extractor 104.

생성기(100)는 저자기장 자기공명영상의 패치를 입력으로 받아 고자기장 자기공명영상 패치를 합성한다. The generator 100 receives a patch of an author magnetic field magnetic resonance image as an input and synthesizes a patch of a high magnetic field magnetic resonance image.

구별기(102)는 실제 고자기장 자기공명영상과 생성기(100)에서 생성한 합성 고자기장 자기공명영상을 입력으로 받아 해당 영상이 실제 고자기장 자기공명영상에 속할 확률을 계산한다. The discriminator 102 receives the real high magnetic field magnetic resonance image and the synthesized high magnetic field magnetic resonance image generated by the generator 100 as inputs and calculates a probability that the corresponding image belongs to the real high magnetic field magnetic resonance image.

특징 추출기(104)는 기 학습된 저자기장/고자기장 자기공명영상 분류기이다. The feature extractor 104 is a previously learned author / high magnetic field magnetic resonance image classifier.

본 실시예에 따른 특징 추출기(104)에는 실제 고자기장 자기공명영상 패치와 합성 고자기장 자기공명영상 패치가 입력되고 특징 추출기(104)의 각 신경망 층에서 발생하는 활성화 값을 특징으로 하여 둘 사이의 특징 차이를 출력한다. In the feature extractor 104 according to the present embodiment, an actual high magnetic field magnetic resonance image patch and a synthetic high magnetic field magnetic resonance image patch are input and characterized by an activation value generated in each neural network layer of the feature extractor 104 between the two. Print out feature differences.

특징 추출기(104)에 출력된 특징 차이는 인지 기반 목표 함수의 출력 값으로 사용된다. The feature difference output to the feature extractor 104 is used as an output value of the cognitive-based target function.

도 2는 본 발명의 일 실시예에 따른 생성기의 상세 구성을 도시한 도면이다. 2 is a diagram showing a detailed configuration of a generator according to an embodiment of the present invention.

도 2를 참조하면, 생성기는 정규화층, 패치 추출기, 입력 합성곱 신경망층, N개의 잔차 신경망 블록, 출력 합성곱 신경망층 및 패치 결합기를 포함하며, 저자기장 자기공명영상(예를 들어, 3T MRI)를 입력으로 하여 가상의 합성 고자기장 자기공명영상(예를 들어, 7T MRI)을 생성한다. Referring to FIG. 2, the generator includes a normalization layer, a patch extractor, an input convolutional neural network layer, N residual neural network blocks, an output convolutional neural network layer, and a patch combiner, and an author magnetic field magnetic resonance image (eg, 3T MRI) ) As input to generate a virtual synthetic high magnetic field magnetic resonance image (eg, 7T MRI).

정규화층은 입력된 저자기장 자기공명영상의 복셀값을 0에서 1 사이의 값으로 변환하며, 패치 추출기는 변환된 저자기장 자기공명영상을 일정 크기의 3차원 패치로 나누어 입력 합성곱 신경망층으로 입력한다. The normalized layer converts the voxel value of the input magnetic field magnetic resonance image to a value between 0 and 1, and the patch extractor divides the converted low magnetic field magnetic resonance image into a 3D patch of a certain size and inputs it as an input convolutional neural network layer. do.

본 실시예에 따른 생성기(100)의 신경망층은 모두 합성곱 신경망층으로 구성되며, 입력 합성곱 신경망층, N개의 잔차 신경망 블록, 출력 합성곱 신경망층을 거쳐 고자기장 자기공명영상으로 변환된 패치는 패치 결합기를 통해 결합되어 합성 고자기장 자기공명영상을 생성한다. The neural network layer of the generator 100 according to the present embodiment is composed of a convolutional neural network layer, an input convolutional neural network layer, N residual neural network blocks, an output convolutional neural network layer, and a patch converted to a high magnetic field magnetic resonance image. Are combined through a patch combiner to generate a synthetic high magnetic field magnetic resonance image.

도 3은 본 실시예에 따른 잔차 신경망 블록의 상세 구성을 도시한 도면이다. 3 is a diagram showing a detailed configuration of a residual neural network block according to the present embodiment.

도 3을 참조하면, 생성기(100)의 각 잔차 신경망 블록은 하나의 합성곱 신경망층과 정규화층 및 비선형 활성 함수로 이루어지며, 이전 단계의 출력 특징은 합성곱 신경망층을 통한 결과에 합산되어 해당 블록은 입력에 대한 잔차 학습을 진행한다. Referring to FIG. 3, each residual neural network block of the generator 100 is composed of one convolutional neural network layer, a normalization layer, and a nonlinear active function, and the output characteristics of the previous step are summed into the result through the convolutional neural network layer. The block proceeds with the residual learning of the input.

도 4는 본 실시예에 따른 구별기의 상세 구성을 도시한 도면이다. 4 is a diagram showing a detailed configuration of the discriminator according to the present embodiment.

도 4를 참조하면, 구별기(102)는 정규화층, 패치 추출기, 복수의 합성곱 신경망층 및 복수의 선형 신경망층을 포함하며, 합성된 고자기장 자기공명영상이 실제 고자기장 자기공명영상 분포에 속할 확률을 계산한다. 즉, 구별기는 합성 고자기장 자기공명상과 실제 고자기장 자기공명영상의 유사도를 계산한다. Referring to FIG. 4, the discriminator 102 includes a normalized layer, a patch extractor, a plurality of convolutional neural network layers, and a plurality of linear neural network layers, and the synthesized high magnetic field magnetic resonance image is distributed to an actual high magnetic field magnetic resonance image distribution. Calculate the probability of belonging. In other words, the discriminator calculates the similarity between the synthetic high magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image.

보다 상세하게, 구별기의 입력으로 고자기장 자기공명영상 패치와 생성기에서 출력된 합성 고자기장 자기공명영상 패치가 입력된다. More specifically, a high magnetic field magnetic resonance image patch and a synthetic high magnetic field magnetic resonance image patch output from the generator are input as inputs to the discriminator.

본 실시예에 따른 구별기(102)는 3개의 합성곱 신경망층과 2개의 선형 신경망층으로 구성된다. The discriminator 102 according to the present embodiment is composed of three convolutional neural network layers and two linear neural network layers.

생성기(100)의 학습에 따라 합성 패치와 실제 패치 간의 차이가 줄어들며, 미리 설정된 오차 범위를 가질 때까지 합성 고자기장 자기공명영상의 생성 과정과 판별 과정이 반복 수행된다. As the generator 100 learns, the difference between the synthetic patch and the actual patch decreases, and the process of generating and discriminating the synthetic high magnetic field magnetic resonance image is repeatedly performed until it has a preset error range.

도 5는 본 실시예에 따른 특징 추출기의 상세 구성을 도시한 도면이다. 5 is a diagram showing a detailed configuration of the feature extractor according to the present embodiment.

도 5를 참조하면, 본 실시예에 따른 특징 추출기(104)는 정규화층, 패치 추출기, 복수의 합성곱 신경망층 및 복수의 선형 신경망층을 포함한다. Referring to FIG. 5, the feature extractor 104 according to the present embodiment includes a normalization layer, a patch extractor, a plurality of convolutional neural network layers, and a plurality of linear neural network layers.

본 실시예에 따른 특징 추출기(104)는 구별기(102)에 대응되는 복수의 합성곱 신경망층을 포함하며, 개별 합성곱 신경망층 및 선형 신경망층 각각은 입력 패치에 대한 고차원 특징을 추출한다. The feature extractor 104 according to the present embodiment includes a plurality of convolutional neural network layers corresponding to the discriminator 102, and each of the individual convolutional neural network layers and the linear neural network layers extracts high-dimensional features for the input patch.

본 실시예에 따른 특징 추출기(104)는 기 학습된 저자기장/고자기장 자기공명영상 분류기로 실제 고자기장 자기공명영상 패치와 생성기를 통과한 합성 고자기장 자기공명영상 패치를 입력으로 받는다. 특징 추출기(104)의 각 합성곱 신경망층의 비선형 활성 함수를 통과한 활성화 값은 입력 패치에 대한 고차원 특징 또는 표상을 의미한다. The feature extractor 104 according to the present embodiment is a pre-trained author magnetic field / high magnetic field magnetic resonance image classifier and receives an actual high magnetic field magnetic resonance image patch and a synthetic high magnetic field magnetic resonance image patch that has passed through a generator. The activation value passing through the nonlinear activation function of each convolutional neural network layer of the feature extractor 104 refers to a high-dimensional characteristic or representation for the input patch.

특징 추출기(104)는 실제 고자기장 자기공명영상 패치의 특징값과 합성 고자기장 자기공명영상 패치의 특징값 간의 거리를 계산하여 이를 두 패치 사이의 고차원 특징 차이로 사용한다. 고차원 특징 차이는 인지 기반 목표 함수의 출력값으로 간주되어 생성기가 고차원 공간에서 고자기장 자기공명영상의 특징을 잘 표현하며 학습되도록 생성기의 학습 과정에 제공된다.The feature extractor 104 calculates a distance between a feature value of an actual high magnetic field magnetic resonance image patch and a feature value of a composite high magnetic field magnetic resonance image patch and uses it as a high-dimensional feature difference between two patches. The high-dimensional feature difference is considered as the output value of the cognitive-based target function and is provided to the generator's learning process so that the generator expresses and learns the characteristics of the high magnetic field magnetic resonance image in the high-dimensional space.

도 6 내지 도 8은 본 발명의 일 실시에에 따른 고자기장 자기공명영상 합성을 위한 모델의 학습 과정을 예시적으로 도시한 도면이다. 6 to 8 are views exemplarily showing a learning process of a model for synthesizing a high magnetic field magnetic resonance image according to an embodiment of the present invention.

도 6을 참조하면, 본 실시예에 따른 생성기(100)에 3T MRI 패치를 생성기에 입력하여 7T-like MRI 패치를 생성한다. Referring to FIG. 6, a 3T MRI patch is input to a generator 100 in the generator 100 according to the present embodiment to generate a 7T-like MRI patch.

생성기(100)에서 생성한 7T-like MRI 패치와 실제 7T MRI 패치 차이는 MSE Loss로 계산된다. The difference between the 7T-like MRI patch and the actual 7T MRI patch generated by the generator 100 is calculated as MSE Loss.

여기서, MSE Loss는 다음과 같이 표현되며, 두 패치에 속한 N개의 복셀 차이의 제곱의 평균이다. Here, MSE Loss is expressed as follows, and is an average of the square of the difference of N voxels belonging to two patches.

다음으로 7T-like MRI 패치와 해당 패치의 위치에 해당하는 실제 7T MRI를 구별기(102)에 입력하여 각각이 7T MRI 패치일 확률값을 계산한다. Next, the 7T-like MRI patch and the actual 7T MRI corresponding to the location of the patch are input to the discriminator 102 to calculate a probability value of each 7T MRI patch.

상기한 확률을 통해 Adversarial Loss를 계산할 수 있으며, 이는 아래와 같이 표현된다. Adversarial Loss can be calculated through the above probability, which is expressed as follows.

는 입력 영상(패치) A가 실제 7T MRI일 확률이다.

Is the probability that the input image (patch) A is actually a 7T MRI.

다음으로 7T-like MRI 패치와 해당 패치의 위치에 해당하는 실제 7T MRI를 각각 특징 추출기(104)에 입력하여 특징 추출기(104)의 합성곱 신경망층 각각의 고차원 특징 차이를 계산하고, 이를 통해 다음과 같은 인지 로스(Perceptual Loss)를 계산한다. Next, by inputting the 7T-like MRI patch and the actual 7T MRI corresponding to the location of the patch into the feature extractor 104, the difference in high-dimensional features of each of the convolutional neural network layers of the feature extractor 104 is calculated. Calculate Perceptual Loss.

본 실시예에 따르면, MSE Loss, Adversarial Loss, Perceptual Loss를 합한 전체 Loss로 생성기 및 구별기 파라미터를 업데이트 하면서 학습을 수행한다. According to this embodiment, learning is performed while updating the generator and discriminator parameters with the total loss combined with MSE Loss, Adversarial Loss, and Perceptual Loss.

본 실시예에 따른 딥러닝 기반 고자기장 자기공명영상 합성 장치는 프로세서 및 메모리를 포함할 수 있다. 프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다. The deep learning-based high magnetic field magnetic resonance image synthesis apparatus according to the present embodiment may include a processor and a memory. The processor may include a central processing unit (CPU) capable of executing computer programs or other virtual machines.

메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.The memory may include non-volatile storage devices such as fixed hard drives or removable storage devices. The removable storage device may include a compact flash unit, a USB memory stick, and the like. The memory may also include volatile memory such as various random access memories.

본 발명의 일 실시예에 따르면, 메모리에는 저자기장 자기공명영상으로부터 고자기장 자기공명영상을 생성하기 위한 프로그램 명령어들이 저장되며, 프로그램 명령어들에 의해 구현되는 구성을 기능적으로 구분하는 소프트웨어 모듈일 수 있다. According to an embodiment of the present invention, the memory stores program instructions for generating a high magnetic field magnetic resonance image from a low magnetic field magnetic resonance image, and may be a software module functionally classifying the configuration implemented by the program instructions. .

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described embodiments of the present invention have been disclosed for purposes of illustration, and those skilled in the art having various knowledge of the present invention will be able to make various modifications, changes, and additions within the spirit and scope of the present invention. It should be regarded as belonging to the following claims.

Claims

Deep learning-based high magnetic field magnetic resonance image synthesis device,
Processor; And
It includes a memory connected to the processor,
The memory,
Based on a hostile generating neural network model including a generator and a discriminator, the generator generates a hypothetical synthetic high magnetic field magnetic resonance image patch by inputting a low magnetic field magnetic resonance image patch,
The discriminator calculates the probability that the synthetic high magnetic field magnetic resonance image belongs to the real high magnetic field magnetic resonance image by inputting the virtual synthetic high magnetic field magnetic field image and the actual high magnetic field magnetic resonance image as inputs,
A feature extractor calculates a high-dimensional feature difference by inputting the virtual synthetic magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image as inputs,
The generator using the total loss reflecting the perceptual loss according to the difference between the synthesized high magnetic field magnetic field image and the actual high magnetic field magnetic resonance image, the calculated probability, and the high dimensional feature difference, and To update the discriminator's parameters,
Deep learning-based high magnetic field magnetic resonance image synthesis apparatus for storing program instructions executed by the processor.

According to claim 1,
The feature extractor includes a plurality of convolutional neural network layers, and each of the plurality of convolutional neural network layers is deep-learning based high for calculating the difference in the high-dimensional characteristics of the composite high magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image. Magnetic field magnetic resonance image synthesis device.

According to claim 1,
A deep learning based high magnetic field magnetic resonance image synthesis apparatus in which the difference between the synthesized high magnetic field magnetic field image and the actual high magnetic field magnetic resonance image is calculated as a Mean Square Error (MSE) loss, and Adverarial loss is calculated through the probability.

According to claim 1,
The MSE (Mean Square Error) Loss is a deep learning-based high magnetic field magnetic resonance image synthesis apparatus which is an average of a square of a difference between the N voxels of each of the synthesized high magnetic field magnetic field image and the actual high magnetic field magnetic resonance image.

A method for synthesizing deep learning based high magnetic field magnetic resonance images in a device including a processor and a memory,
Generating a virtual synthetic high magnetic field magnetic resonance image patch based on a hostile generating neural network model including a generator and a discriminator by inputting a low magnetic field magnetic resonance image patch;
Calculating a probability that the synthesized high magnetic field magnetic resonance image belongs to an actual high magnetic field magnetic resonance image by inputting the virtual synthesized magnetic field magnetic field image and a real high magnetic field magnetic resonance image as inputs;
A feature extractor calculating a high-dimensional feature difference by inputting the virtual composite magnetic field magnetic resonance image and the actual high magnetic field magnetic resonance image as inputs; And
The generator using the total loss reflecting the perceptual loss according to the difference between the synthesized high magnetic field magnetic field image and the actual high magnetic field magnetic resonance image, the calculated probability, and the high dimensional feature difference, and A method of synthesizing a high-magnetic field magnetic resonance image based on deep learning, comprising updating a parameter of a discriminator.