JP5177606B1 - Three-dimensional ultrasonic image creation method and program - Google Patents
Three-dimensional ultrasonic image creation method and program Download PDFInfo
- Publication number
- JP5177606B1 JP5177606B1 JP2012235250A JP2012235250A JP5177606B1 JP 5177606 B1 JP5177606 B1 JP 5177606B1 JP 2012235250 A JP2012235250 A JP 2012235250A JP 2012235250 A JP2012235250 A JP 2012235250A JP 5177606 B1 JP5177606 B1 JP 5177606B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- dimensional
- image
- subject
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000000523 sample Substances 0.000 claims abstract description 91
- 238000012937 correction Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000017531 blood circulation Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 13
- 238000002091 elastography Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 230000010349 pulsation Effects 0.000 description 30
- 238000004458 analytical method Methods 0.000 description 26
- 210000001519 tissue Anatomy 0.000 description 26
- 210000002435 tendon Anatomy 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 210000003041 ligament Anatomy 0.000 description 5
- 230000006793 arrhythmia Effects 0.000 description 4
- 206010003119 arrhythmia Diseases 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 235000015110 jellies Nutrition 0.000 description 3
- 239000008274 jelly Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000499 gel Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 230000004578 fetal growth Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 201000004595 synovitis Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
- A61B8/145—Echo-tomography characterised by scanning multiple planes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/58—Testing, adjusting or calibrating the diagnostic device
- A61B8/587—Calibration phantoms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 超音波装置により取得された被検体の画像データから、位置ずれの補正や組織の不均一性による虚像の補正を行いつつ3次元画像を構築し得る3次元超音波画像作成方法およびプログラムを提供する。
【解決手段】 被検体130に対してプローブ101を走査して、被検体の断面画像111を複数個撮像し、これら複数個の断面画像111により構成される暫定3次元空間を構築し、暫定3次元画像に含まれる各単位画素について、該空間中の位置座標(X,Y,Z)および該空間中の所定の軸周りにおける1つ以上の角度(α)からなる4つ以上の情報を対応付け、該空間112に含まれる各単位画素を、4つ以上の情報(X,Y,Z、α……)に係る4以上の多次元空間に写像し、写像された多次元空間上の各単位画素について、所定の相関情報に基づき補正し、この後、補正された各単位画素を、位置座標(X,Y,Z)に係る3次元空間に写像する。
【選択図】図1
PROBLEM TO BE SOLVED: To provide a three-dimensional ultrasonic image creation method and program capable of constructing a three-dimensional image from a subject image data acquired by an ultrasonic device while correcting a displacement and a virtual image due to tissue nonuniformity. I will provide a.
A probe is scanned over a subject to capture a plurality of cross-sectional images of the subject, a provisional three-dimensional space constituted by the plurality of cross-sectional images is constructed, and provisional 3 For each unit pixel included in the three-dimensional image, four or more pieces of information consisting of position coordinates (X, Y, Z) in the space and one or more angles (α) around a predetermined axis in the space are supported. In addition, each unit pixel included in the space 112 is mapped to four or more multidimensional spaces related to four or more pieces of information (X, Y, Z, α...), And each unit pixel on the mapped multidimensional space is mapped. The unit pixel is corrected based on predetermined correlation information, and thereafter, each corrected unit pixel is mapped to the three-dimensional space related to the position coordinates (X, Y, Z).
[Selection] Figure 1
Description
本発明は、2次元および3次元等の超音波プローブにより取得された被検体画像情報に基づき3次元超音波画像を作成する方法およびプログラムに関し、特に、2次元プローブを用いて得られた超音波画像を時系列的に配列し、これらの配列画像に画像処理を施して3次元画像を作成する3次元超音波画像作成方法およびプログラムに関するものである。 The present invention relates to a method and a program for creating a three-dimensional ultrasonic image based on object image information acquired by a two-dimensional or three-dimensional ultrasonic probe, and more particularly, an ultrasonic wave obtained using a two-dimensional probe. The present invention relates to a three-dimensional ultrasonic image creation method and program for arranging images in time series and performing image processing on the array images to create a three-dimensional image.
従来より、内臓各部位の状態や胎児の発育度を検査するための超音波装置が知られている。さらに、近年においては、膝関節や腕の腱等の被検体においても、超音波装置が利用されるようになってきており、この分野の医療技術は急速に進歩しつつある。 2. Description of the Related Art Conventionally, an ultrasonic apparatus for inspecting the state of each part of the internal organs and the degree of fetal growth is known. Furthermore, in recent years, ultrasonic devices have come to be used for subjects such as knee joints and arm tendons, and medical technology in this field is rapidly progressing.
一方、医療に用いられる超音波装置の撮像手段としては、2次元画像を取得する2次元プローブが主流であり、プローブにより取得された各断面画像を見ただけでは、被検体組織のどの部位を撮像したのかを認識することが困難であったため、近年、この2次元プローブの走査に応じて撮像された複数の断面画像をプローブ走査方向に配列して3次元画像を構築する技術が知られている(下記特許文献1、2参照)。 On the other hand, two-dimensional probes that acquire two-dimensional images are the mainstream as imaging means for ultrasonic devices used in medical treatment. By simply looking at each cross-sectional image acquired by the probe, which part of the subject tissue is selected. In recent years, it has been difficult to recognize whether an image has been picked up, and in recent years, a technique for constructing a three-dimensional image by arranging a plurality of cross-sectional images picked up in accordance with the scanning of the two-dimensional probe in the probe scanning direction is known. (See Patent Documents 1 and 2 below).
ところで、上述した2次元プローブにより得られた2次元画像に基づいて3次元画像を構築する従来技術においては、プローブの撮像角度によって信号値が変化するため、正確な3次元画像を構築することが難しい。 By the way, in the conventional technique for constructing a three-dimensional image based on the two-dimensional image obtained by the above-described two-dimensional probe, the signal value changes depending on the imaging angle of the probe, so that an accurate three-dimensional image can be constructed. difficult.
特に、腱や靭帯等の組織は撮像した方向によって出力信号が大きく変化する、異方向性という特性を有している。異方向性を解析するには、画像データが展開される空間の各画素点毎に、互いに異なる複数の角度から撮像された際の情報(以下、異なる角度の情報と称する)を有していることが肝要である。 In particular, tissues such as tendons and ligaments have a characteristic of different directionality in which an output signal varies greatly depending on the direction of imaging. In order to analyze the different directionality, for each pixel point in the space where the image data is developed, there is information (hereinafter referred to as information on different angles) taken from a plurality of different angles. It is important.
なお、近年、超音波を用いて、胎児の顔等を3次元表示するために3次元プローブが用いられている。この3次元プローブには、プローブの角度を変えながら首を振るような形で空間を操作する機械式3次元プローブと、電子的な走査を行うリニア型の3次元プローブとがあるが、機械式、リニア型のいずれであっても、画像データが展開される空間の各点毎に、異なる角度の情報を有する構成とはなっておらず、上記2次元プローブにより得られた画像データと同様の問題を抱えている。 In recent years, a three-dimensional probe has been used to three-dimensionally display a fetal face or the like using ultrasonic waves. The three-dimensional probe includes a mechanical three-dimensional probe that manipulates the space in such a manner that the head is swung while changing the angle of the probe, and a linear three-dimensional probe that performs electronic scanning. In any of the linear types, each point in the space where the image data is developed is not configured to have different angle information, and is similar to the image data obtained by the two-dimensional probe. I have a problem.
本発明は上記事情に鑑みなされたものであり、超音波装置により取得された被検体画像データから、位置ずれの補正や組織の不均一性等により発生した虚像の補正を行いつつ3次元画像を構築し得る3次元超音波画像作成方法およびプログラムを提供することを目的とするものである。 The present invention has been made in view of the above circumstances, and a three-dimensional image is obtained from subject image data acquired by an ultrasonic device while correcting a virtual image generated due to positional deviation correction, tissue non-uniformity, or the like. An object of the present invention is to provide a three-dimensional ultrasonic image creation method and program that can be constructed.
本発明の3次元超音波画像作成方法は、
被検体に対してプローブを走査して、該被検体の画像を撮像し、
撮像された被検体画像により構成される3次元空間を構築し、
該3次元空間に含まれる各単位画素について、当該単位画素の該3次元空間中の位置座標(X,Y,Z)および該3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)、からなる少なくとも4つの情報を対応付け、
少なくとも4つの情報を対応付けられた、前記3次元空間に含まれる各単位画素を、前記少なくとも4つの情報(X,Y,Z、α……)に係る少なくとも4次元以上の多次元空間に写像し、
前記写像された多次元空間上の前記各単位画素についての情報を、所定の相関情報に基づき補正し、
この後、該補正された前記各単位画素を、前記位置座標(X,Y,Z)に係る3次元空間に写像することを特徴とするものである。
The three-dimensional ultrasonic image creation method of the present invention includes:
Scanning the probe with respect to the subject, capturing an image of the subject,
Build a three-dimensional space composed of captured subject images,
For each unit pixel included in the three-dimensional space, the position coordinates (X, Y, Z) of the unit pixel in the three-dimensional space and at least one angle (α) around a predetermined axis in the three-dimensional space Are associated with at least four pieces of information,
Each unit pixel included in the three-dimensional space associated with at least four pieces of information is mapped to a multidimensional space of at least four dimensions or more related to the at least four pieces of information (X, Y, Z, α,...). And
Correcting the information about each unit pixel on the mapped multidimensional space based on predetermined correlation information;
Thereafter, the corrected unit pixels are mapped to a three-dimensional space related to the position coordinates (X, Y, Z).
また、本発明の他の3次元超音波画像作成方法は、
被検体に対して2次元プローブを走査して、該被検体の断面画像を複数個撮像し、
撮像された複数個の断面画像により構成される暫定3次元空間を構築し、
該暫定3次元空間に含まれる各単位画素について、当該単位画素の該暫定3次元空間中の位置座標(X,Y,Z)および該暫定3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)、からなる少なくとも4つの情報を対応付け、
少なくとも4つの情報を対応付けられた、前記暫定3次元空間に含まれる各単位画素を、前記少なくとも4つの情報(X,Y,Z、α……)に係る少なくとも4次元以上の多次元空間に写像し、
前記写像された多次元空間上の前記各単位画素についての情報を、所定の相関情報に基づき補正し、
この後、該補正された前記各単位画素を、前記位置座標(X,Y,Z)に係る3次元空間に写像することを特徴とするものである。
In addition, another three-dimensional ultrasonic image creation method of the present invention includes:
Scanning a subject with a two-dimensional probe to capture a plurality of cross-sectional images of the subject,
Construct a provisional three-dimensional space composed of a plurality of captured cross-sectional images,
For each unit pixel included in the provisional three-dimensional space, position coordinates (X, Y, Z) of the unit pixel in the provisional three-dimensional space and at least one angle around a predetermined axis in the provisional three-dimensional space (Α) is associated with at least four pieces of information,
Each unit pixel included in the provisional three-dimensional space, which is associated with at least four pieces of information, is transferred to a multidimensional space of at least four dimensions or more related to the at least four pieces of information (X, Y, Z, α,...). Map,
Correcting the information about each unit pixel on the mapped multidimensional space based on predetermined correlation information;
Thereafter, the corrected unit pixels are mapped to a three-dimensional space related to the position coordinates (X, Y, Z).
なお、本願明細書中において「プローブの走査」というときは、プローブを被検体と平行に移動させて、撮像することを意味するものとする。 In the present specification, “probe scanning” means imaging by moving the probe parallel to the subject.
なお、上記「単位画素」とは、暫定3次元空間に含まれるすべての画素毎に、という意味に限られるものではなく、規則的に区画された画素群毎に、あるいは所定の間隔を空けた画素毎に、という意味をも含めるものとする。 The above “unit pixel” is not limited to the meaning of every pixel included in the provisional three-dimensional space, but every group of regularly partitioned pixels or at a predetermined interval. The meaning of “for each pixel” is also included.
また、該被検体の撮像と同時に撮像される、形状、大きさおよび配設位置が既知とされた補正用構造物を、前記プローブと前記被検体の間に配設することが好ましい。 Further, it is preferable that a correction structure that is imaged simultaneously with the imaging of the subject and whose shape, size, and arrangement position are known is arranged between the probe and the subject.
また、前記補正用構造物は、平面または直線を組み合わせた形状からなることが好ましい。 Moreover, it is preferable that the said correction | amendment structure consists of a shape which combined the plane or the straight line.
また、前記少なくとも1つの角度(α)に係る情報は、前記被検体表面に対する前記2次元プローブの当接角度を変更する度に、撮像して得ることが好ましい。 Further, it is preferable that the information related to the at least one angle (α) is obtained by imaging every time the contact angle of the two-dimensional probe with respect to the subject surface is changed.
また、2次元プローブと被検体の間に、ゼリーや水で満たされた袋を介装することが望ましい。これは、2次元プローブと被検体との間で信号が減衰・変化しないように、かつ被検体に圧迫を加えないようにするためである。 It is desirable to interpose a bag filled with jelly or water between the two-dimensional probe and the subject. This is to prevent the signal from being attenuated / changed between the two-dimensional probe and the subject and not to apply pressure to the subject.
また、前記暫定3次元空間には、Bモード画像情報に、パワードップラーモード情報、カラードップラーモード情報およびエラストグラフィー情報(以下、これらを総称してPDモード情報と称することがある)のうち少なくとも1つの追加画像情報を加えた画像情報が含まれることが好ましい。すなわち、Bモード画像情報を地図情報として、その上にPDモード情報を重ねることで、それらの情報の局在を知るようにすることが肝要である。 The provisional three-dimensional space includes at least one of B-mode image information, power Doppler mode information, color Doppler mode information, and elastography information (hereinafter, these may be collectively referred to as PD mode information). It is preferable that image information including one additional image information is included. That is, it is important to know the localization of the information by superimposing PD mode information on the B mode image information as map information.
さらに、本発明の3次元超音波画像作成プログラムは、
被検体に対してプローブを走査して、該被検体の画像を撮像するステップと、
撮像された画像により構成される3次元空間を構築するステップと、
該3次元空間に含まれる各単位画素について、当該単位画素の該3次元空間中の位置座標(X,Y,Z)および該3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)、からなる少なくとも4つの情報を対応付けるステップと、
少なくとも4つの情報を対応付けられた、前記3次元空間に含まれる各単位画素を、前記少なくとも4つの情報(X,Y,Z、α)に係る少なくとも4以上の多次元空間に写像するステップと、
前記写像された多次元空間上の前記各単位画素について、所定の相関情報に基づき補正するステップと、
この後、該補正された前記各単位画素を、多次元空間上で解析し、異方向性および血流分布を含む付属情報のうち少なくとも1つを、スカラー、ベクトルおよびテンソルのうちのいずれかに変換し、3次元空間における情報として、前記位置座標(X,Y,Z)に係る3次元空間に写像するステップとを、コンピュータにおいて実行せしめることを特徴とするものである。
Furthermore, the three-dimensional ultrasonic image creation program of the present invention includes:
Scanning the probe with respect to the subject and capturing an image of the subject;
Constructing a three-dimensional space composed of captured images;
For each unit pixel included in the three-dimensional space, the position coordinates (X, Y, Z) of the unit pixel in the three-dimensional space and at least one angle (α) around a predetermined axis in the three-dimensional space Associating at least four pieces of information comprising:
Mapping each unit pixel included in the three-dimensional space, which is associated with at least four pieces of information, to at least four or more multidimensional spaces related to the at least four pieces of information (X, Y, Z, α); ,
Correcting each unit pixel on the mapped multidimensional space based on predetermined correlation information;
Thereafter, each of the corrected unit pixels is analyzed in a multidimensional space, and at least one of the additional information including the anisotropy and the blood flow distribution is converted into any one of a scalar, a vector, and a tensor. The step of converting and mapping to the three-dimensional space according to the position coordinates (X, Y, Z) as information in the three-dimensional space is executed in a computer.
本発明の3次元超音波画像作成方法およびプログラムによれば、プローブにより取得された3次元空間に含まれる各単位画素について、3次元位置座標(X,Y,Z)のほか、3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)の情報を持たせ(ラベリングし)、このラベリングされた各単位画素について、これら少なくとも4つの情報(X,Y,Z,α)に係る少なくとも4次元以上の多次元空間に写像しているので、この多次元空間上に白黒画像であるBモード画像情報や血流情報であるPDシグナル情報等を格納し、この多次元空間上で、位置情報および角度情報に基づき、位置ずれの補正やアーチファクトの補正を行うことができる。この後、補正された各単位画素について最終的な3次元空間に写像することで、位置ずれやアーチファクトが補正された3次元画像を得ることができる。 According to the three-dimensional ultrasonic image creation method and program of the present invention, in addition to the three-dimensional position coordinates (X, Y, Z), the unit pixels included in the three-dimensional space acquired by the probe Information (labeling) of at least one angle (α) around a predetermined axis of at least four, and for each of the labeled unit pixels, at least four of these at least four pieces of information (X, Y, Z, α) Since it is mapped to a multi-dimensional space of dimension or more, B-mode image information that is a black and white image, PD signal information that is blood flow information, etc. are stored in this multi-dimensional space, and position information is stored in this multi-dimensional space. Further, based on the angle information, it is possible to correct misalignment and correct artifacts. Thereafter, each corrected unit pixel is mapped to a final three-dimensional space, whereby a three-dimensional image with corrected positional deviation and artifacts can be obtained.
特に、腱や靭帯等の組織は撮像した方向によって出力信号が変化する、異方向性という特性を有しているが、本発明方法によれば、各単位画素について、3次元位置座標(X,Y,Z)のほか、少なくとも1つの角度(α)の情報を持たせているので、異方向性を解析することで、その異方向性を有する腱や靭帯等の組織分類や方向解析を行うことが可能となる。これにより、超音波装置による3次元画像の被検体診断を、正確かつ容易なものとすることができる。 In particular, tissues such as tendons and ligaments have a characteristic called an omnidirectionality in which an output signal changes depending on the imaged direction. According to the method of the present invention, three-dimensional position coordinates (X, In addition to Y, Z), information on at least one angle (α) is provided, and by analyzing the unidirectionality, tissue classification and directional analysis of tendons and ligaments having the unidirectionality are performed. It becomes possible. As a result, it is possible to accurately and easily perform a subject diagnosis of a three-dimensional image by the ultrasonic apparatus.
以下、本発明の実施形態に係る3次元超音波画像作成方法およびプログラムを図面を用いて説明する。 Hereinafter, a three-dimensional ultrasonic image creation method and program according to an embodiment of the present invention will be described with reference to the drawings.
この3次元超音波画像作成方法は、2次元プローブを有する超音波装置により取得された複数の2次元被検体画像データから3次元化した画像情報とそのときのプローブ角度情報を取得し、多次元情報を解析して、位置ずれの補正を行った後、組織の不均一性(異方向性等)の解析を行い、最終的な3次元画像を構築するものである。なお、被検体対象としては、特に四肢の関節や腱等の組織が好適である。 This three-dimensional ultrasonic image creation method acquires three-dimensional image information and probe angle information at that time from a plurality of two-dimensional object image data acquired by an ultrasonic apparatus having a two-dimensional probe, and multidimensional After analyzing the information and correcting the misalignment, the analysis of the non-uniformity (such as different direction) of the tissue is performed to construct a final three-dimensional image. Note that tissues such as joints of limbs and tendons are particularly suitable as the subject.
ここで、図1は本実施形態の3次元超音波画像作成方法の概略を示すフローチャートである。 Here, FIG. 1 is a flowchart showing an outline of the three-dimensional ultrasonic image creation method of the present embodiment.
まず、2次元プローブを走査(被検体表面に対して平行移動)して、被検体の断面画像を複数個撮像する(S1)。 First, the two-dimensional probe is scanned (translated with respect to the subject surface) to capture a plurality of cross-sectional images of the subject (S1).
次に、撮像された複数個の断面画像により構成される暫定3次元空間を構築する(S2)。 Next, a provisional three-dimensional space composed of a plurality of captured cross-sectional images is constructed (S2).
次に、暫定3次元空間に含まれる各単位画素について、その単位画素の暫定3次元空間中の位置座標(X,Y,Z)および暫定3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)からなる少なくとも4つの情報を対応付ける(S3)。 Next, for each unit pixel included in the provisional three-dimensional space, the position coordinates (X, Y, Z) of the unit pixel in the provisional three-dimensional space and at least one angle around a predetermined axis in the provisional three-dimensional space At least four pieces of information (α) are associated (S3).
次に、少なくとも4つの情報(X,Y,Z,α)を対応付けられた、暫定3次元空間に含まれる各単位画素を、少なくとも4つの情報(X,Y,Z,α)に係る多次元空間に写像する(S4)。 Next, each unit pixel included in the provisional three-dimensional space, which is associated with at least four pieces of information (X, Y, Z, α), is associated with at least four pieces of information (X, Y, Z, α). Map to the dimensional space (S4).
次に、写像された多次元空間上の各単位画素の情報(X,Y,Z,α)を、所定の相関情報に基づき補正する(S5)。 Next, the information (X, Y, Z, α) of each unit pixel on the mapped multidimensional space is corrected based on predetermined correlation information (S5).
次に、補正された、少なくとも4つの情報(X,Y,Z,α)に係る多次元空間において、異方向解析や、PDモード情報等の付加情報の解析を行う(S6)。 Next, in a corrected multidimensional space related to at least four pieces of information (X, Y, Z, α), a different direction analysis and an additional information such as PD mode information are analyzed (S6).
この後、補正された各単位画素を、位置座標(X,Y,Z)に係る3次元空間に写像する(S7)。 Thereafter, each corrected unit pixel is mapped to a three-dimensional space related to the position coordinates (X, Y, Z) (S7).
以下、上記各ステップS1〜S6について説明する。 Hereafter, each said step S1-S6 is demonstrated.
上記ステップ1(S1)においては、図2(A)〜(C)に示すように、2次元画像を取得するプローブ101を被検体上で走査して、逐次断面画像111を取得する。すなわち、まず、プローブ101により1枚目の断面画像111を取得し(図2(A)参照)、その後プローブ101を被検体に沿って走査して、2枚目の断面画像111(図2(B)参照)、3枚目の断面画像111(図示を省略)、4枚目の断面画像111(図2(C)参照)というようにして順次、各断面画像111を取得する。 In step 1 (S1), as shown in FIGS. 2A to 2C, the probe 101 that acquires a two-dimensional image is scanned on the subject to sequentially acquire cross-sectional images 111. That is, first, the first cross-sectional image 111 is acquired by the probe 101 (see FIG. 2A), and then the probe 101 is scanned along the subject to scan the second cross-sectional image 111 (FIG. 2 ( B)) The third cross-sectional image 111 (not shown), the fourth cross-sectional image 111 (see FIG. 2C), and the respective cross-sectional images 111 are sequentially acquired.
次に上記ステップ2(S2)においては、図2(A)〜(C)に示すように、逐次得られた断面画像111を暫定3次元空間(Xa,Ya,Zaの3軸からなる3次元直交座標系:グローバル位置角度空間)内に、断面画像111A〜Dとして順次配列し、全体として暫定3次元画像112を構築する(図2(D))。 Next, in step 2 (S2), as shown in FIGS. 2A to 2C, the cross-sectional images 111 obtained sequentially are converted into a three-dimensional provisional three-dimensional space (three axes of Xa, Ya, and Za). In the orthogonal coordinate system (global position angle space), the three-dimensional images 112A to D are sequentially arranged to construct the provisional three-dimensional image 112 as a whole (FIG. 2D).
なお、上記ステップ1(S1)とステップ2(S2)の処理順序は、ステップ1(S1)によって全ての断面画像111を取得してから、ステップ2(S2)によって全ての断面画像111A〜Dの配列を行ってもよいし、ステップ1(S1)によって各断面画像111を取得する毎に、ステップ2(S2)によって、対応する各断面画像111A〜Dの配列を行うようにしてもよい。 Note that the processing order of the above step 1 (S1) and step 2 (S2) is that all cross-sectional images 111A to D are acquired in step 2 (S2) after all cross-sectional images 111 are acquired in step 1 (S1). Arrangement may be performed, or each time the cross-sectional images 111 are acquired in step 1 (S1), the corresponding cross-sectional images 111A to 111D may be arranged in step 2 (S2).
次に、上記ステップ3(S3)においては、図3に示すように、断面画像111内での位置座標img(t)=(x,y)とプローブ101の3次元位置座標(プローブ位置情報:Probe(t)=(X,Y,Z):グローバル位置角度空間G(X,Y,Z,α……)における、各時間での位置として得られる。)とを加算して、暫定3次元空間に含まれる各単位画素に対して、その単位画素の暫定3次元空間中の位置座標(X,Y,Z)および暫定3次元空間中の所定の軸周り(例えば、Xa,Ya,Zaの3軸周り)における少なくとも1つの角度(α)からなる少なくとも4つの情報を対応付ける(S3)。ここで、少なくとも1つの角度(α)とは、1つの角度(α)とする以外にも、適宜2つの角度(α、β)としたり、3つの角度(α、β、γ)としたりすることが可能であることを意味する。また、この暫定3次元画像空間には、2次元画像を配列して構成された3次元画像を、さらに複数個重ね合せることも可能である。 Next, in step 3 (S3), as shown in FIG. 3, the position coordinates img (t) = (x, y) in the cross-sectional image 111 and the three-dimensional position coordinates of the probe 101 (probe position information: Probe (t) = (X, Y, Z): Temporary three-dimensional by adding to global position angle space G (obtained as position at each time in X, Y, Z, α...)) For each unit pixel included in the space, the position coordinates (X, Y, Z) of the unit pixel in the provisional three-dimensional space and a predetermined axis in the provisional three-dimensional space (for example, Xa, Ya, Za At least four pieces of information consisting of at least one angle (α) around three axes) are associated (S3). Here, the at least one angle (α) is appropriately set to two angles (α, β) or three angles (α, β, γ) in addition to the one angle (α). Means that it is possible. In addition, a plurality of three-dimensional images formed by arranging two-dimensional images can be superimposed on the provisional three-dimensional image space.
次に、上記ステップ4(S4)においては、少なくとも4つの情報(X,Y,Z,α……)を対応付けられた、暫定3次元空間に含まれる各単位画素を、少なくとも4つの情報(X,Y,Z,α……)に係る多次元空間に写像する(S4)。 Next, in step 4 (S4), at least four pieces of information (X, Y, Z, α,...) Associated with at least four pieces of information (X, Y, Z, α,...) Mapping to the multidimensional space related to X, Y, Z, α (...) (S4).
なお、この多次元空間としては、例えば、全体の位置座標(X,Y,Z)の次元と少なくとも1つの角度(α……)の次元、さらには時間(t)の次元で構成される多次元空間とされる。図4に多次元空間の概念図を示す。ただし、この多次元空間を構成する要素は(X,Y,Z,α、β、γ)であり、6次元空間である。 As this multidimensional space, for example, there are many dimensions composed of the dimension of the entire position coordinate (X, Y, Z), the dimension of at least one angle (α...), And the dimension of time (t). Dimensional space. FIG. 4 shows a conceptual diagram of a multidimensional space. However, the elements constituting this multidimensional space are (X, Y, Z, α, β, γ), which is a six-dimensional space.
さらに、多次元空間の次元に、心臓の収縮によって形成される拍動情報(心拍周期:図5を参照)を含めることも可能である。また、上述したPDモード情報(特にPD情報やCD情報等の追加情報)は、被検体の同一部位でも拍動の周期によって信号値が変化するため、通常は、基準としての拍動のピーク情報を考慮して解析を行っている。拍動のピーク情報を得るためには、時間毎のPDモード情報のヒストグラム画像を作成して拍動に対する周期を検出することが一般的である。 Furthermore, it is also possible to include pulsation information (heart rate: see FIG. 5) formed by the contraction of the heart in the dimensions of the multidimensional space. In addition, since the PD mode information (especially additional information such as PD information and CD information) changes in signal value depending on the period of pulsation even in the same part of the subject, pulsation peak information as a reference is usually used. Analysis is performed in consideration of In order to obtain pulsation peak information, it is common to create a histogram image of PD mode information for each hour and detect the period for the pulsation.
なお、PDシグナルの拍動解析には同一部位で拍動解析しなくても、不整脈がない限り拍動の周期は大きく変化しない、とされている。 It should be noted that in the pulsation analysis of the PD signal, even if pulsation analysis is not performed at the same site, the pulsation period does not change significantly as long as there is no arrhythmia.
次に、上記ステップ5(S5)においては、写像された多次元空間上の各単位画素の情報(X,Y,Z,α……)を、所定の相関情報に基づき補正する。 Next, in step 5 (S5), the information (X, Y, Z, α,...) Of each unit pixel on the mapped multidimensional space is corrected based on predetermined correlation information.
すなわち、例えば、プローブ101を被検体表面に沿って走査させて、一つの角度方向から被検体を撮像し、次に異なる他の角度方向から同一被検体を撮像し、2つの異なる3次元画像情報を得た場合を想定する。 That is, for example, the probe 101 is scanned along the surface of the subject, the subject is imaged from one angular direction, and then the same subject is imaged from another different angular direction, and two different three-dimensional image information Assuming that
超音波装置では、プローブ101の走査時における、プローブ情報の誤差や、モーターの性能誤差によって走査量が一定ではない場合(等速ではない場合)が多い。したがって、プローブ101の位置情報が分かっていても複数の2次元断面画像について重ね合わせることが困難となる場合が多い。 In an ultrasonic apparatus, there are many cases where the scanning amount is not constant (the speed is not constant) due to an error in probe information or a performance error in the motor when the probe 101 is scanned. Therefore, it is often difficult to superimpose a plurality of two-dimensional cross-sectional images even if the position information of the probe 101 is known.
このような誤差は、3次元画像のシリーズ内の誤差と、シリーズ間の誤差とからなっているので、これら各誤差毎に補正する必要がある。 Such an error consists of an error in a series of three-dimensional images and an error between series, and it is necessary to correct each of these errors.
本実施形態においては、シリーズ内誤差は補正用パターンを用いて修正し、シリーズ間誤差はシリーズ間の相互情報量や補正パターンを用いて修正する。なお、これら誤差の修正についての詳細は、後述する。 In the present embodiment, the in-series error is corrected using a correction pattern, and the inter-series error is corrected using a mutual information amount or a correction pattern between series. Details of the correction of these errors will be described later.
次に上記ステップ6(S6)において、各画素点における異方向解析を行うには、3次元情報+角度情報を扱う必要がある。線維性の組織は線維方向に信号特性があるが、骨などの硬い組織は角度によって大きく信号が変化する。脂肪のような方向性のない組織は異方向性が少ない。このように局所的な信号特性によってその部位にある組織の種類を分類することが可能であるが、その前提条件として、超音波の問題点であるさまざまなアーティファクト(虚像)を修正した後に解析を行う必要がある。このように、各画素点において超音波特有の、異方向解析処理を施しているので、異方向性を有する腱や靭帯等の組織分類や方向解析を行うことが可能となる。これにより、超音波装置による3次元画像の被検体診断を、正確かつ容易なものとすることができる。 Next, in step 6 (S6), in order to perform a different direction analysis at each pixel point, it is necessary to handle three-dimensional information + angle information. Fibrous tissue has signal characteristics in the fiber direction, but a hard tissue such as a bone has a signal that varies greatly depending on the angle. Non-directional tissues such as fat are less unidirectional. In this way, it is possible to classify the type of tissue at the site by local signal characteristics, but as a precondition, analysis is performed after correcting various artifacts (virtual images) that are problems of ultrasound. There is a need to do. As described above, since the different direction analysis processing peculiar to the ultrasound is performed at each pixel point, tissue classification and direction analysis of tendons and ligaments having different directions can be performed. As a result, it is possible to accurately and easily perform a subject diagnosis of a three-dimensional image by the ultrasonic apparatus.
なお、異方向性については、異方向性の程度だけならある点におけるスカラーとして表現され、また、異方向性の向きはベクトルとして表現され、さらに、異方向性の向きとその程度はテンソルとして表現される。また血流情報は、血流の量であれば、任意の点におけるスカラーとして表現され、血流の方向はベクトルとして表現され、さらに、より詳細な情報はテンソルとして表現される。このように解析された異方向性や血流の情報は、3次元空間の任意の一点におけるスカラーもしくは行列情報として表現されるが、要素数は解析方法毎に規定されている。このように異方向解析や血流解析は、(無限に要素が存在し得る)次元情報を、規定された要素数に変換する過程としてとらえることができる。そこで、この過程を、多次元空間情報→解析→3次元空間への写像、というモジュール構造でとらえる。どのように解析を行うかは目的ごとに異なるが、この構造は目的に拘わらずすべて同じである。 In addition, with regard to the different directionality, if only the degree of the different directionality is expressed as a scalar at a certain point, the direction of the different directionality is expressed as a vector, and the direction of the different directionality and the degree thereof are expressed as a tensor. Is done. The blood flow information is expressed as a scalar at an arbitrary point as long as it is the amount of blood flow, the direction of blood flow is expressed as a vector, and more detailed information is expressed as a tensor. The information on the anisotropy and blood flow analyzed in this way is expressed as scalar or matrix information at an arbitrary point in the three-dimensional space, but the number of elements is defined for each analysis method. As described above, the different direction analysis and the blood flow analysis can be regarded as a process of converting dimensional information (which may have an infinite number of elements) into a prescribed number of elements. Therefore, this process is captured by a module structure of multidimensional spatial information → analysis → mapping to a three-dimensional space. The analysis method varies depending on the purpose, but this structure is the same regardless of the purpose.
なお、図6は、実際にプローブ101を用いて人間の線維構造部分(腱の部分)を撮像したもの(画像の中央左右方向に暗部として表れている)であって、角度αを、0度とした場合と30度とした場合では、明らかに点Pと点P´の位置(同一位置)において、画像の明るさレベルが相違している。すなわち、角度αを0度とした場合には、線維構造部分(腱の部分)を他の組織から区別することができないが、角度αを30度とした場合には、線維構造部分(腱の部分:2つの矢印に挟まれた部分)が暗部として表わされており、明暗によって他の組織から区別することが容易である。 FIG. 6 shows an image of a human fiber structure part (tendon part) actually using the probe 101 (appears as a dark part in the center left and right direction of the image), and the angle α is set to 0 degree. When the angle is set to 30 degrees, the brightness level of the image is clearly different at the positions of the point P and the point P ′ (same position). That is, when the angle α is 0 degree, the fiber structure part (tendon part) cannot be distinguished from other tissues, but when the angle α is 30 degrees, the fiber structure part (tendon part) A portion: a portion sandwiched between two arrows) is represented as a dark portion, and can be easily distinguished from other tissues by light and dark.
次に、上記ステップ7(S7)においては、多次元空間において補正された各単位画素を、位置座標(X,Y,Z)に係る3次元空間に写像する。 Next, in step 7 (S7), each unit pixel corrected in the multidimensional space is mapped to the three-dimensional space related to the position coordinates (X, Y, Z).
上記多次元空間(位置角度空間G)内の情報では臨床上、取扱い難いので、医療用ワークステーションで解析することが可能な3次元情報に変換することが必要である。その中でも、最も単純なものは、Bモード画像を位置角度空間Gから3次元空間に写像する態様のものである。さらに、Bモード画像とPDモード画像(パワードップラー情報およびカラードップラー情報)を、位置角度空間Gから3次元空間に写像する態様とすることが実用的である。 Since the information in the multidimensional space (position angle space G) is difficult to handle clinically, it is necessary to convert the information into three-dimensional information that can be analyzed by a medical workstation. Among them, the simplest one is a mode in which a B-mode image is mapped from the position angle space G to a three-dimensional space. Further, it is practical to map the B mode image and the PD mode image (power Doppler information and color Doppler information) from the position angle space G to the three-dimensional space.
なお、このような3次元空間中の同一位置について、異なる2つの信号値が対応づけられている場合があるが、それら異なる信号値について、目的に応じて、適宜MIP(Maximum intensity Projection)のように最強信号を用いる手法を採用したり、平均値を用いる手法を採用することが可能である。また、情報の質を向上させるために、遮蔽情報をマスク値とするマスキング手法を採用することが好ましい。また、PDモード画像を位相毎に3次元的に出力する場合には、目的空間での解像度に整合するように補間を行うことが肝要である。 Note that there are cases where two different signal values are associated with the same position in such a three-dimensional space, but these different signal values are appropriately set as MIP (Maximum Projection) depending on the purpose. It is possible to adopt a method using the strongest signal or a method using an average value. In order to improve the quality of information, it is preferable to adopt a masking method using the shielding information as a mask value. In addition, when a PD mode image is output three-dimensionally for each phase, it is important to perform interpolation so as to match the resolution in the target space.
従来、臨床目的毎に情報処理体系を構築していたが、本実施形態においては、2次元超音波撮像(診断)装置を多次元空間(位相角度空間G)における特徴ベクトル情報を取得するシステムとみなし、3次元画像の構築は多次元空間(位相角度空間G)から3次元空間への解析目的毎の写像とみなして、情報処理体系を構築している。このように、多次元空間(位相角度空間G)への埋め込みと、3次元空間への写像処理を分けることで、画像全体を体系的にとらえることが可能になり、システムをモジュール構成することで各部位での進化を全体的な性能向上につなげることができる。 Conventionally, an information processing system has been constructed for each clinical purpose. In the present embodiment, a two-dimensional ultrasonic imaging (diagnosis) apparatus acquires feature vector information in a multidimensional space (phase angle space G), and The construction of the three-dimensional image is regarded as a mapping for each analysis purpose from the multidimensional space (phase angle space G) to the three-dimensional space, and the information processing system is constructed. In this way, by separating the embedding into the multidimensional space (phase angle space G) and the mapping process into the three-dimensional space, it becomes possible to systematically capture the entire image, and the system can be configured as a module. The evolution at each part can be linked to the overall performance improvement.
このように、本実施形態の3次元超音波画像作成方法によれば、3次元位置座標(X,Y,Z)のほかに、2次元プローブの暫定3次元空間中における少なくとも1つの角度(α)の情報を持たせ(ラベリングし)、このラベリングされた各単位画素について、これら少なくとも4つの要素(X,Y,Z,α)以上により構成される多次元空間に写像し、所定の補正処理を経た後、これら各単位画素を3次元空間中に写像する。したがって、特に、異方向性を有する腱や靭帯等の被検体組織の撮像においても、異方向性の影響のない画像情報を得ることができる。これにより、超音波装置による3次元画像の被検体診断を、正確かつ容易なものとすることができる。 As described above, according to the three-dimensional ultrasonic image creating method of the present embodiment, in addition to the three-dimensional position coordinates (X, Y, Z), at least one angle (α in the provisional three-dimensional space of the two-dimensional probe is used. ) (Labeled), and each labeled unit pixel is mapped to a multidimensional space composed of at least four elements (X, Y, Z, α) or more, and predetermined correction processing is performed. Then, these unit pixels are mapped in a three-dimensional space. Therefore, in particular, even when imaging a subject tissue such as a tendon or a ligament having an omnidirectionality, it is possible to obtain image information that is not affected by the unidirectionality. As a result, it is possible to accurately and easily perform a subject diagnosis of a three-dimensional image by the ultrasonic apparatus.
図7は、上記3次元超音波画像作成方法を実施するための3次元超音波画像作成装置を概念的に示す概略図である。 FIG. 7 is a schematic diagram conceptually showing a three-dimensional ultrasonic image creating apparatus for carrying out the above three-dimensional ultrasonic image creating method.
図7に示す3次元超音波画像作成装置は、プローブ101と、このプローブ101による被検体130の2次元超音波画像に基づき画像処理および信号処理を行う制御部121と、この制御部121からの画像信号を被検体画像として表示する表示部122と、この制御部121に対して種々の処理に関する指示を行うキーボード等からなる入力部123とを備えている。この制御部121は、CPUやROM、RAM等のメモリからなるハード、およびこれらメモリに格納され、CPUを動作させるプログラムソフトからなり、上述した3次元超音波画像作成方法の説明における各種の画像処理及び信号処理はこの制御部121において行われる。 The three-dimensional ultrasonic image creating apparatus shown in FIG. 7 includes a probe 101, a control unit 121 that performs image processing and signal processing based on a two-dimensional ultrasonic image of the subject 130 using the probe 101, and a control unit 121 A display unit 122 that displays an image signal as a subject image, and an input unit 123 that includes a keyboard or the like that gives instructions regarding various processes to the control unit 121 are provided. The control unit 121 includes hardware including memories such as a CPU, a ROM, and a RAM, and program software stored in these memories and operating the CPU, and performs various image processing in the above description of the three-dimensional ultrasonic image creation method. The signal processing is performed in the control unit 121.
以下、本実施形態における構成であって、上述した形態以外の主要部分について、さらに詳しく説明する。 Hereinafter, the configuration of the present embodiment and the main parts other than the above-described embodiments will be described in more detail.
<パワードップラー画像解析>
PD(パワードップラー)モードやCD(カラードップラー)モードは血流信号の絶対量や向きを含めた量をカラー画像で表示するモードである。通常わかりやすいように白黒のBモード画像に、カラー情報として重ね合わせることで表示している。臨床現場ではBモード画像で認識される特定の領域内におけるPDシグナルの解析が必要な場合がある。これまでは2次元画像において肉眼的に判断するか、領域を指定して解析を行っていた。
<Power Doppler image analysis>
The PD (Power Doppler) mode and the CD (Color Doppler) mode are modes for displaying a color image including the absolute amount and direction of the blood flow signal. For easy understanding, it is usually displayed by superimposing it as color information on a black and white B-mode image. In clinical settings, it may be necessary to analyze a PD signal in a specific region recognized by a B-mode image. In the past, analysis was performed by making a visual decision on a two-dimensional image or designating a region.
しかしこれらの方法では、時間をおいて撮像した同一被検者のデータを互いに比較したり、異なる被検者のデータを互いに比較したりするには、Bモード画像を用いて同じ部位を特定してから解析を行う必要があった。またPDシグナルは同一部位でも拍動によって信号値が変化することから、前述したように、通常は拍動のピーク画像を用い、そのピークとなるタイミングで上記解析を行っている。これら一連の作業は検査施行者の判断力等によって進められていくところが大きく、その検査精度が検査施行者の技量に大きく依存する。 However, in these methods, in order to compare the data of the same subject imaged with time, or to compare the data of different subjects with each other, the same part is specified using a B-mode image. It was necessary to conduct analysis afterwards. Further, since the signal value of the PD signal changes due to pulsation even in the same part, as described above, the pulsation peak image is usually used and the above analysis is performed at the timing of the peak. A series of these operations is largely carried out by the judgment power of the tester, and the accuracy of the test greatly depends on the skill of the tester.
上記被検体の部位の比較処理においては、被検体位置が大きく変動しなければ、3次元画像を取得することにより、全体の3次元形状から同一の被検体部位を容易に検出することが可能である。つまり、本実施形態によれば、3次元画像データを取得して必要な被検体部位の3次元画像を再構築することで検査施行者の労力を軽減しつつ検査精度の向上に資することができる。また、仮に、被検体部位の3次元画像を再構築することが困難な場合であっても、3次元画像を示すことで同一部位であることを保証することが可能である。 In the comparison process of the subject part, if the subject position does not fluctuate greatly, it is possible to easily detect the same subject part from the entire three-dimensional shape by acquiring a three-dimensional image. is there. That is, according to the present embodiment, it is possible to contribute to improvement of examination accuracy while reducing labor of the examination operator by acquiring three-dimensional image data and reconstructing a necessary three-dimensional image of the subject part. . Further, even if it is difficult to reconstruct a three-dimensional image of a subject part, it is possible to guarantee that the part is the same by showing the three-dimensional image.
また、PDシグナルの拍動解析においては、同一被検体部位で拍動解析をしなくても、不整脈がない限り拍動の周期は大きく変化しない。したがって、本実施形態では、超音波スコープの走査を行いながら取得したデータから構築した3次元画像に基づき、単位時間毎のPDシグナル値からヒストグラム画像を作成(図8を参照)することで拍動に対する周期を容易に検出することが可能である。すなわち、PDシグナルを時間方向に解析し、3次元画像を取得し、その各単位画素について、拍動周期をスライス毎にラベリングすることによって、PDシグナルの比較解析を可能とする。これにより、検査施行者の労力を軽減しつつ検査精度の向上に資することができる。 In addition, in the pulsation analysis of the PD signal, the pulsation period does not change greatly as long as there is no arrhythmia even if pulsation analysis is not performed on the same subject site. Therefore, in the present embodiment, a pulsation is created by creating a histogram image (see FIG. 8) from a PD signal value per unit time based on a three-dimensional image constructed from data acquired while scanning an ultrasonic scope. Can be easily detected. That is, by analyzing the PD signal in the time direction, acquiring a three-dimensional image, and labeling the pulsation period for each unit pixel for each slice, the PD signal can be comparatively analyzed. Thereby, it can contribute to the improvement of inspection accuracy, reducing the labor of an inspection enforcer.
なお、一般的なモデルとしては、3次元位置座標(X,Y,Z)と角度(α,β,γ)と時間(t)で構成される多次元空間に、Bモード情報と、PDモード情報またはCDモード情報とが配された状態が考えられる。 As a general model, B mode information and PD mode are provided in a multidimensional space composed of three-dimensional position coordinates (X, Y, Z), angles (α, β, γ), and time (t). A state where information or CD mode information is arranged can be considered.
<位置合わせ>
超音波検査システムにおいては、超音波画像取得時に特有の歪みが生じており、またプローブ情報の誤差や、平行移動時のモーター性能誤差によってプローブの走査速度が等しくない場合が生じ、これにより検査誤差が生じる場合がある。このような誤差は、前述したように、3次元画像のシリーズ内誤差と、シリーズ間誤差に分類でき、分類された両誤差の修正手法も異なるので、以下それぞれに分けて説明する。
<Alignment>
In an ultrasonic inspection system, there is a specific distortion when acquiring an ultrasonic image, and there are cases where the scanning speed of the probe is not equal due to an error in probe information or a motor performance error during translation. May occur. As described above, such errors can be classified into in-series errors of 3D images and between-series errors, and the correction methods for both classified errors are different.
なお、本願明細書において使用する「シリーズ」という用語は、図9に示すように、被検体130に対してプローブ101を同一角度方向からあてて走査しながら撮像した一連の画像を意味する。したがって、被検体130に対して、プローブ101を上方から当て、この当接角度状態で取得した一連の断面画像を、例えばシリーズ1の断面画像情報と称し、それを暫定3次元空間上に展開した3次元画像111Aを、例えばシリーズ1の3次元画像と称する。同様に、被検体130に対して、
プローブ101を斜め上方から当て、この当接角度状態で取得した一連の断面画像を、例えばシリーズ2の断面画像情報と称し、それを暫定3次元空間上に展開した3次元画像111A´を、例えばシリーズ2の3次元画像と称する。したがって、「シリーズ内誤差」とは、シリーズ1の一連の断面画像同士の間に生じる誤差である。また、「シリーズ間誤差」とは、角度情報を各々同一にしたシリーズ断面画像情報間に生じる誤差であり、例えば、シリーズ1とシリーズ2の間に生じる誤差のことである。
Note that the term “series” used in the present specification means a series of images captured while scanning the subject 130 with the probe 101 from the same angular direction as shown in FIG. Therefore, a series of cross-sectional images acquired in this contact angle state with the probe 101 applied to the subject 130 from above is referred to as, for example, series 1 cross-sectional image information, which is developed in the provisional three-dimensional space. The three-dimensional image 111A is referred to as, for example, a series 1 three-dimensional image. Similarly, for the subject 130,
A series of cross-sectional images obtained by applying the probe 101 obliquely from above and in this contact angle state is referred to as, for example, series 2 cross-sectional image information, and a three-dimensional image 111A ′ developed on a provisional three-dimensional space is, for example, This is called a series 2 three-dimensional image. Therefore, the “in-series error” is an error generated between a series of cross-sectional images of the series 1. The “inter-series error” is an error that occurs between series cross-sectional image information in which the angle information is the same, for example, an error that occurs between series 1 and series 2.
(1)シリーズ内誤差
シリーズ内誤差は撮像時にパターンが既知のものを同時に撮像することで補正可能である。すなわち、複数の直線を組み合わせて作ったパターンを被検体と同時に撮像しておき、3次元画像内で対象パターンが直線となるように、フレーム毎(各サンプリング時間)の補正値を計算することで誤差を修正することが可能である。プローブの走査が被検体に平行となる場合は、誤差が生じるのは一つの方向であるため補正は容易である。
(1) In-series error In-series error can be corrected by simultaneously capturing images with known patterns at the time of imaging. That is, a pattern created by combining a plurality of straight lines is imaged simultaneously with the subject, and a correction value for each frame (each sampling time) is calculated so that the target pattern is a straight line in the three-dimensional image. It is possible to correct the error. When the scanning of the probe is parallel to the subject, the correction is easy because the error occurs in one direction.
このことをより詳細に説明すると、図10(A)に示すように、被検体130の近傍に形状と配設位置が既知の3次元の補正用構造物140を設置しておいて、両者を一緒に撮像する。このようにすると、シリーズ内誤差が生じていても、形状および配設位置が既知の補正用構造物140と、その補正用構造物画像140Aとの間の変化量φ−1(x)を求めることができ(図10(B)を参照)、この求められた変化量φ−1(x)は被検体130と、その被検体画像130Aとの間の変化量においても適用できるので、誤差が生じていても、変形した被検体画像130Aの形状と変化量φ−1(x)の逆数φ(x)から、誤差のない真の被検体130の形状に補正することが可能である。 This will be described in more detail. As shown in FIG. 10A, a three-dimensional correction structure 140 having a known shape and arrangement position is installed in the vicinity of the subject 130, and the two are fixed. Take a picture together. In this way, even if an in-series error occurs, the amount of change φ −1 (x) between the correction structure 140 whose shape and arrangement position are known and the correction structure image 140A is obtained. (See FIG. 10B), and the obtained change amount φ −1 (x) can be applied to the change amount between the subject 130 and the subject image 130A. Even if it occurs, the shape of the deformed subject image 130A and the reciprocal φ (x) of the change amount φ −1 (x) can be corrected to the true shape of the subject 130 without error.
また、上記補正用構造物140は、基本的に、シリーズ内・シリーズ間の補正を容易とすべく用いられる、形状および配設位置が既知の物体、というように定義できる。 The correction structure 140 can be basically defined as an object having a known shape and arrangement position that is used to facilitate correction within and between series.
また、この補正用構造物が、図11に示すように、糸やワイヤーを張り巡らせるような形状であれば、補正用構造物を配備しやすい(図11の実施形態においては、水槽150内に被検体(手)130と補正用構造物140を配置している)。特に、通常の形状では配置が難しい場所や、事前に被検体の大きさが読めない場合でも、糸等(および必要であれば糸等を架ける部材)を用意しておけば、始点と終点の座標を知ることで、その形状を容易に測定しておくことができる。 In addition, if the correction structure has a shape in which a thread or a wire is stretched as shown in FIG. 11, the correction structure can be easily provided (in the embodiment of FIG. (Subject (hand) 130 and correction structure 140 are arranged). In particular, even if it is difficult to place in a normal shape or the size of the subject cannot be read in advance, if you prepare a thread, etc. Knowing the coordinates, the shape can be easily measured.
また、一般に、上記補正用構造物140が直線で構成されている場合は、始点・終点の座標を知ることで、また、板等の平面で構成されている場合は各平面について任意の3点の座標情報を知ることで、その形状を容易に測定することができる。 In general, when the correction structure 140 is constituted by a straight line, it is possible to know the coordinates of the start point and the end point, and when it is constituted by a plane such as a plate, any three points for each plane. By knowing the coordinate information, the shape can be easily measured.
なお、上記補正用構造物140は、プローブ101と被検体(手)130との間に配置する必要がある。 The correction structure 140 needs to be disposed between the probe 101 and the subject (hand) 130.
なお、上記誤差には、線形の場合と非線形の場合がある。 The error may be linear or non-linear.
(2)シリーズ間誤差
シリーズ間の誤差は補正用構造物140B、Cを各々被検体130B、Cと同時に撮像している場合はこれら補正用構造物140B、Cが一致するようなアフィン変換値を計算すればよい。補正用構造物140B、Cを挿入していない場合でも、相互情報量等の補正評価関数を計算することで補正可能となる。
(2) Inter-series error When the correction structures 140B and C are imaged simultaneously with the subjects 130B and C, the error between the series is an affine transformation value such that these correction structures 140B and C coincide with each other. Calculate it. Even when the correction structures 140B and C are not inserted, correction can be made by calculating a correction evaluation function such as a mutual information amount.
具体的には、図13に示すように、角度情報が、例えば0度とされた第1のシリーズにおける被検体130Bに、角度情報が、例えば30度とされた第2のシリーズにおける被検体130Cが丁度重なるように、被検体130Cを回転させる。仮にこのときの回転量が32度であれば、誤差は2度となり、被検体130Cを2度分だけ回転させて、この被検体130Cの角度情報が30度となるように補正する。 Specifically, as shown in FIG. 13, the subject 130B in the first series in which the angle information is set to 0 degrees, for example, and the subject 130C in the second series in which the angle information is set to 30 degrees, for example. The subject 130C is rotated so that the two just overlap. If the rotation amount at this time is 32 degrees, the error is 2 degrees, and the subject 130C is rotated by 2 degrees, and the angle information of the subject 130C is corrected to be 30 degrees.
<水槽問題>
超音波プローブは機械的性能と設定により、最も精度よく画像を収集できる距離が決まっている。関節用の高周波プローブは、プローブに近いほど解像度が高い。しかし3次元解析のためには、対象に圧迫が加わっていないという条件を満たす必要がある。なぜなら圧迫で変形が生じると、3次元構成したときに誤差が発生してしまうからである。そこでなるべく近い距離で圧迫を加えないで計測する必要がある。そのため、移動するプローブの音響特性を保証しつつ、対象物に力が加わることにより変形が生じることを防止するシステムが必要である。プローブ101と被検体130は、基本的には当接していることが画質向上やゼリーの節約等という観点から望ましいが、プローブ101を被検体130に沿って走査するとき、特に被検体表面に凸凹が存在している場合もあるので、水を満たした水槽内に手や足などを入れて撮像したり、ゲルパッドを用いたりして、プローブ101を被検体130から浮かすことにより、スムーズな走査が行われるようにするのが現実的である。
<Water tank problem>
The distance at which the ultrasonic probe can collect images with the highest accuracy is determined by the mechanical performance and settings. The resolution of the joint high-frequency probe is higher as it is closer to the probe. However, for the three-dimensional analysis, it is necessary to satisfy the condition that no pressure is applied to the object. This is because if a deformation occurs due to compression, an error occurs when a three-dimensional structure is formed. Therefore, it is necessary to measure without applying pressure as close as possible. Therefore, there is a need for a system that guarantees the acoustic characteristics of the moving probe and prevents deformation due to force applied to the object. It is desirable that the probe 101 and the subject 130 are basically in contact with each other from the viewpoint of improving image quality, saving jelly, and the like. However, when the probe 101 is scanned along the subject 130, the surface of the subject is particularly uneven. Therefore, smooth scanning can be achieved by placing the hand or foot in a water tank filled with water and taking an image, or by using a gel pad to float the probe 101 from the subject 130. It is realistic to make it happen.
しかしながら、水槽内に手を入れて、プローブを浮かした状態で撮像することは、被験者の体勢としてつらい場合がある。また、上記ゲルパッド等はかなり高価である。 However, taking a picture in a state where the hand is put in the water tank and the probe is floated may be difficult as the posture of the subject. The gel pad etc. are quite expensive.
そこで、本実施形態においては、ビニール袋に水を入れ、空気を全部逃した状態で袋の口を縛り、音響インピーダンスをほぼ等しくするために、このビニール袋の周りにゼリーをまんべんなく塗るようにすることにより、アーチファクト(虚像)の少ない水袋160(図12参照)を作製することができる。 Therefore, in this embodiment, water is put into the plastic bag, the mouth of the bag is tied up in a state where all the air is escaped, and the jelly is applied evenly around the plastic bag in order to make the acoustic impedance substantially equal. Thereby, the water bag 160 (refer FIG. 12) with few artifacts (virtual image) can be produced.
このようにして作製された水袋160は、簡易かつ安価なツールを追求した発明者の創意により生みだされたものであり、図2に示すように、この水袋160をプローブ101と被検体(手)130の間に挟むことにより、スムーズかつ簡易にプローブ101を走査することができるとともに、超音波検査に要するコストを低減することができる。 The water bag 160 produced in this way was created by the inventor's ingenuity in pursuit of a simple and inexpensive tool, and as shown in FIG. By sandwiching between the (hands) 130, the probe 101 can be scanned smoothly and easily, and the cost required for ultrasonic inspection can be reduced.
<その他の特徴的事項>
本実施形態方法を実施する装置としては、3次元画像情報を取得し得るプローブを有している超音波診断装置であれば、どのようなタイプのものであってもよく、また、結果的に3次元画像を構築できればよい。重要なことは角度情報が同時に取得できていることである。通常のプローブを使用する場合は平行移動もしくは移動しながら角度情報の変量が取得可能な駆動装置にプローブを装着して情報を取得する。プローブが3次元情報を取得できるタイプの場合(リニア式・機械式など)も同様に角度情報を取得しながら駆動させて3次元情報を取得する。
<Other characteristic items>
The apparatus for carrying out the method of the present embodiment may be of any type as long as it is an ultrasonic diagnostic apparatus having a probe capable of acquiring three-dimensional image information. What is necessary is just to be able to construct a three-dimensional image. What is important is that the angle information can be acquired simultaneously. When a normal probe is used, information is acquired by attaching the probe to a driving device that can acquire a variable amount of angle information while moving in parallel or moving. Similarly, when the probe is of a type that can acquire three-dimensional information (such as a linear type or a mechanical type), the probe is driven while acquiring angle information to acquire three-dimensional information.
本実施形態では、このように角度情報を取得するために、被検体を、互いに異なる複数の角度から各々撮像する。そのため、プローブの角度を変えては、シリーズ撮像を行うという処理が繰り返しなされる。次に、上記の如くして取得された複数のシリーズ情報をプローブの角度情報に基づき合成する。 In this embodiment, in order to acquire angle information in this way, the subject is imaged from a plurality of different angles. Therefore, the process of performing series imaging is repeated by changing the angle of the probe. Next, a plurality of series information acquired as described above is synthesized based on the angle information of the probe.
一度のシリーズ撮像処理で、超音波プローブからの画像情報(情報1)とともに、この画像情報を取得したときのプローブの角度情報(情報2)が得られる。上記画像情報(情報1)には白黒画像であるBモード画像情報の他に、血流シグナル情報であるPDモード情報や、CDモード情報がある。上記角度情報(情報2)は全体の座標に対するプローブ位置と角度である。その情報2に基づき上記情報1で得られた画像が全体の座標に対してどの位置にあるかが計算される。 The angle information (information 2) of the probe when the image information is acquired is obtained together with the image information (information 1) from the ultrasonic probe in one series imaging process. The image information (information 1) includes PD mode information that is blood flow signal information and CD mode information in addition to B mode image information that is a black and white image. The angle information (information 2) is the probe position and angle with respect to the entire coordinates. Based on the information 2, it is calculated where the image obtained by the information 1 is located with respect to the entire coordinates.
以下、本実施形態における、情報変換過程を画像信号の面から説明する。まず最初に各シリーズ用のID(Sid)が形成される。シリーズ内では実時間毎に画像が取得される。装置の構成に応じて取得できる方式には差異があるが、所定のシリーズにおいて3次元情報(x1,y1,z1)の各情報とともに、プローブの位置情報(x2,y2,z2,α,β,γ)が得られる。ここで、3次元情報はBモード、PDモード、CDモード等のように複数の情報を含む。そのため3次元情報の内容は(s1,s2,…)というように、ベクトルデータとなる。また取得情報毎に取得時間(t)が得られる。最終的にはあるシリーズSidに所属するデータは、(x1,y1,z1,t)=(s1,s2,…)という局所的な座標軸における画像データとプローブの位置情報(x2,y2,z2)となる。 Hereinafter, the information conversion process in the present embodiment will be described from the aspect of the image signal. First, an ID (Sid) for each series is formed. Within the series, images are acquired every real time. Although there are differences in the methods that can be acquired according to the configuration of the apparatus, the position information (x2, y2, z2, α, β, and probe position information) of each of the three-dimensional information (x1, y1, z1) in a given series is different. γ) is obtained. Here, the three-dimensional information includes a plurality of information such as a B mode, a PD mode, and a CD mode. Therefore, the content of the three-dimensional information is vector data such as (s1, s2,...). An acquisition time (t) is obtained for each acquisition information. Eventually, the data belonging to a certain series Sid is the image data on the local coordinate axis (x1, y1, z1, t) = (s1, s2,...) And the probe position information (x2, y2, z2). It becomes.
次にシリーズ情報を全体のグローバル座標に写像する。この写像にはプローブの位置情報が用いられる。その後、補正構造物情報を用い、上述したようにしてシリーズ内補正を行い、その後、上述したようにしてシリーズ間の補正を行う。このような作業の結果グローバル座標+角度座標+時間座標により定義される空間(X,Y,Z,α,β,γ,t)における信号情報(s1,s2,…)が得られる。 Next, the series information is mapped to the global coordinates. For this mapping, position information of the probe is used. Thereafter, the correction structure information is used to perform intra-series correction as described above, and thereafter, correction between series is performed as described above. As a result of such work, signal information (s1, s2,...) In a space (X, Y, Z, α, β, γ, t) defined by global coordinates + angle coordinates + time coordinates is obtained.
次に拍動情報の解析について補足的な説明を行う。PDモード情報やCDモード情報は心臓の収縮によって形成される拍動によって、同一位置においても信号値が時間によって変化する。そのため拍動による変化を解析するために、0から1の間を周期的に変化する正規化された実数値を各フレームに割り当て、正規化された拍動信号と空間を軸とする拍動空間に信号情報を配置する必要がある。PDモード情報やCDモード情報を時間軸方向にヒストグラム解析することで、大きな不整脈がない場合は拍動情報の正規化を行うことができる。 Next, a supplementary explanation will be given for the analysis of pulsation information. In the PD mode information and the CD mode information, the signal value varies with time even at the same position due to the pulsation formed by the contraction of the heart. Therefore, in order to analyze changes due to pulsation, a normalized real value that periodically changes between 0 and 1 is assigned to each frame, and a pulsation space with the normalized pulsation signal and space as an axis. It is necessary to arrange signal information in By analyzing the PD mode information and CD mode information in the time axis direction, the pulsation information can be normalized when there is no large arrhythmia.
すなわち、超音波情報は、[1]計測値と[2]計測値の付属情報の2つに分類することができる。例えば、(x=3,y=2)=(1)というデータの場合は、2次元データでx=3,y=2の座標に1という数値データがあるということを表わす。この場合、1が計測値であり、x=3,y=2は計測値の付属情報ということになる。 That is, ultrasonic information can be classified into two types: [1] measurement value and [2] measurement value attached information. For example, the data (x = 3, y = 2) = (1) indicates that there is numerical data 1 at the coordinates of x = 3, y = 2 in the two-dimensional data. In this case, 1 is a measured value, and x = 3 and y = 2 are attached information of the measured value.
パワードップラー情報の欠点は、付属情報である、拍動情報を有していないということであり、そのため、計測値から拍動情報を類推し付属情報に新しく埋め込むというステップが必要である。結果的には時間ラベルと拍動情報を対応付ける変換情報となる。ただし、時間が無限の拡がりを有するのに対し、拍動はサイクル情報なので、拡がりに限界がある。 The drawback of the power Doppler information is that it does not have pulsation information, which is attached information, and therefore, a step of estimating the pulsation information from the measurement value and newly embedding it in the attached information is necessary. As a result, the conversion information associates the time label with the pulsation information. However, while time has an infinite spread, pulsation is cycle information, so there is a limit to the spread.
また、前述したように、拍動による変化を解析するために、0−1の整数で正規化した拍動空間に信号情報を配置する必要がある。PDモード情報やCDモード情報を時間軸方向にヒストグラム解析することで、大きな不整脈がない場合は拍動情報の正規化を行うことができる。結果的にPDモード情報やCDモード情報に0−1の拍動情報を値とする新たな次元が追加される。 Further, as described above, in order to analyze changes due to pulsation, it is necessary to arrange signal information in a pulsation space normalized by an integer of 0-1. By analyzing the PD mode information and CD mode information in the time axis direction, the pulsation information can be normalized when there is no large arrhythmia. As a result, a new dimension whose value is 0-1 beat information is added to the PD mode information and CD mode information.
このように多次元空間(グローバル座標、角度、時間、拍動)にシグナル情報(Bモード情報、PDモード情報、CDモード情報)が配置された情報が得られる。これらの情報を元に組織の各画素についてのラベリングを行う。 Thus, information in which signal information (B mode information, PD mode information, CD mode information) is arranged in a multidimensional space (global coordinates, angle, time, pulsation) is obtained. Based on these pieces of information, labeling is performed for each pixel of the tissue.
筋肉や腱など(線維パターン)は同じ位置でも撮像方向によって信号値が変化する異方向性という特性を有していることは既に上記で説明している。一方、骨などの超音波を透過しない組織は角度によって信号値が大きく変化する。また、プローブ情報から見て遠位方向には情報が存在しない。これに対し、脂肪や水などの方向性がない組織は角度によって信号値は変化しない。 It has already been described above that muscles, tendons, etc. (fiber patterns) have the characteristic of different directionality in which the signal value changes depending on the imaging direction even at the same position. On the other hand, the signal value of a tissue that does not transmit ultrasonic waves, such as bone, varies greatly depending on the angle. Further, there is no information in the distal direction when viewed from the probe information. On the other hand, the signal value does not change depending on the angle of tissue having no directionality such as fat and water.
このことは、異方向解析の様子を表わした図14の記載から明らかである。方向空間での解析パターンから、組織の種類、線維や骨が延びる方向および方向の程度を測定することができる。 This is apparent from the description of FIG. 14 showing the state of the different direction analysis. From the analysis pattern in the direction space, the type of tissue, the direction in which fibers and bones extend, and the degree of direction can be measured.
すなわち、このような異方向性や周囲の空間情報を解析することで、所定の位置にどのような組織があるかを確率的に解析することが可能である。そして組織によってその分布形態は異なっており、撮像部位が肘、手関節および足関節等のいずれであるかが分かっている場合は、空間配備特性も把握することができるため、このような確率的な解析結果から、より効率のよいラベリングを行うことができる。 That is, by analyzing such different directions and surrounding spatial information, it is possible to probabilistically analyze what kind of tissue exists at a predetermined position. And the distribution form varies depending on the tissue, and if it is known whether the imaging site is an elbow, a wrist joint, an ankle joint, etc., the spatial deployment characteristics can also be grasped, so such a probabilistic From the analysis results, more efficient labeling can be performed.
PDモード情報やCDモード情報が存在する場合は、その部位に血流があることを認識することができる。血管は線状に連続し、方向性が定まっている組織であるが、滑膜炎等の炎症組織においては低速で渦巻くような信号分布となっている。そのため血流情報の空間的特性の解析を行うことで組織のパターン分類を行うことができる。図15は、Bモード画像(A)と、PDモード画像(B)を分離して抽出した例を示すものである。白黒図面では認識し難いが、このPDモード画像(B)中には、上記炎症等の症状であると判断し得る複数個の赤色の渦巻き(各々白丸で囲まれている部分)が見受けられる。 When PD mode information or CD mode information is present, it can be recognized that there is blood flow at that site. A blood vessel is a tissue that is linearly continuous and has a fixed direction, but an inflammatory tissue such as synovitis has a signal distribution that swirls at a low speed. Therefore, tissue pattern classification can be performed by analyzing spatial characteristics of blood flow information. FIG. 15 shows an example in which the B mode image (A) and the PD mode image (B) are separated and extracted. Although it is difficult to recognize in a black and white drawing, a plurality of red spirals (parts surrounded by white circles) that can be determined to be symptoms such as inflammation are found in the PD mode image (B).
このような解析の種類は臨床目的(例えば、骨と腱を見分けたい、腱の方向性を解析したい、血流のパターン分類を行いたい等の目的)毎に数多く存在する。そこでこのような変換を臨床目的毎にテンプレートを作成して適応する、という手法をとることが好ましい。 There are many types of analysis for each clinical purpose (for example, to distinguish between bones and tendons, to analyze the direction of tendons, to classify blood flow patterns, etc.). Therefore, it is preferable to adopt a method of adapting such conversion by creating a template for each clinical purpose.
この場合の実際の処理は多次元情報に基づき、適切なテンプレートを選択して、グローバル座標における組織ラベリング情報を得るという写像となる。 The actual processing in this case is a mapping in which an appropriate template is selected based on the multidimensional information to obtain tissue labeling information in global coordinates.
最終的にはグローバル座標において、Bモード情報や、PDモード情報またはCDモード情報とともに組織ラベリング情報をセットで入手することができる。この情報セットに基づき3次元画像やスライス画像を作成することができる。 Finally, in global coordinates, tissue labeling information can be obtained as a set together with B mode information, PD mode information or CD mode information. Based on this information set, a three-dimensional image and a slice image can be created.
なお、この処理工程は通常の医療用ワークステーションにより代用可能である。 This processing step can be replaced by a normal medical workstation.
また、本実施形態に係る3次元超音波画像作成プログラムは、3次元超音波画像作成装置におけるCPUを機能させて上述した3次元超音波画像作成方法を実施するためのものであり、通常は、図7に示す制御部121のメモリ内に格納されてなる。 The 3D ultrasound image creation program according to the present embodiment is for implementing the above-described 3D ultrasound image creation method by causing the CPU in the 3D ultrasound image creation device to function. It is stored in the memory of the control unit 121 shown in FIG.
すなわち、この3次元超音波画像作成プログラムは、被検体に対して2次元プローブを走査して、該被検体の断面画像を複数個撮像するステップと、撮像された複数個の断面画像により構成される暫定3次元空間を構築するステップと、該暫定3次元空間に含まれる各単位画素について、当該単位画素の該暫定3次元空間中の位置座標(X,Y,Z)および該暫定3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)、からなる少なくとも4つの情報を対応付けるステップと、少なくとも4つの情報を対応付けられた、前記暫定3次元空間に含まれる各単位画素を、前記少なくとも4つの情報(X,Y,Z,α……)に係る少なくとも4以上の多次元空間に写像するステップと、前記写像された多次元空間上の前記各単位画素について、所定の相関情報に基づき補正するステップと、この後、該補正された前記各単位画素を、前記位置座標(X、Y、Z)に係る3次元空間に写像するステップとを、コンピュータにおいて実行せしめることを特徴とする。 In other words, this three-dimensional ultrasound image creation program includes a step of scanning a subject with a two-dimensional probe to capture a plurality of cross-sectional images of the subject, and a plurality of captured cross-sectional images. A provisional three-dimensional space, and for each unit pixel included in the provisional three-dimensional space, the position coordinates (X, Y, Z) of the unit pixel in the provisional three-dimensional space and the provisional three-dimensional space A step of associating at least four pieces of information consisting of at least one angle (α) around a predetermined axis therein, and each unit pixel included in the provisional three-dimensional space, associated with at least four pieces of information, Mapping to at least four or more multidimensional spaces according to at least four pieces of information (X, Y, Z, α...), And each unit pixel on the mapped multidimensional space. A step of correcting based on predetermined correlation information, and a step of mapping each of the corrected unit pixels to a three-dimensional space related to the position coordinates (X, Y, Z). It is characterized by being executed.
なお、本発明の3次元超音波画像作成方法およびプログラムとしては、上記実施形態のものに限られるものではなく、その他の種々の態様の変更が可能である。例えば、上記実施形態においては、多次元空間を構成する要素として、グローバル座標、角度座標、時間座標および拍動情報が挙げられているが、これらの次元の一部に替えてまたはこれらの次元の一部に加えて、適宜必要な要素による次元を導入するようにしてもよい。 Note that the three-dimensional ultrasonic image creation method and program of the present invention are not limited to those of the above-described embodiment, and other various modifications can be made. For example, in the above embodiment, global coordinates, angle coordinates, time coordinates, and pulsation information are listed as elements constituting the multidimensional space, but instead of a part of these dimensions or in these dimensions. In addition to a part, dimensions based on necessary elements may be introduced as appropriate.
また、上記実施形態においては、2次元プローブにより取得する断面画像の数は4枚とされているが、勿論これに限られるものではなく、3次元画像を構成することができる複数枚の枚数であれば、特に限定されるものではない。 In the above embodiment, the number of cross-sectional images acquired by the two-dimensional probe is four, but of course, the number of cross-sectional images is not limited to this, and a plurality of sheets that can form a three-dimensional image are used. If there is, it will not be specifically limited.
また、上記3次元空間中に展開される画像情報として、Bモード画像情報、PDモード情報およびCDモード情報が挙げられているが、これらに限られるものではなく、その他、Mモード画像情報やその他のドップラーの手法等を用いることができる。 In addition, B-mode image information, PD mode information, and CD mode information are listed as image information developed in the three-dimensional space. However, the present invention is not limited to these, and M-mode image information and others The Doppler method or the like can be used.
また、前述したように、2次元プローブを用い並行走査を行いながら撮像した場合、および3次元プローブを用いて撮像した場合、そのデータはすべて同じ角度情報を持った3次元画像として扱うことができ、このデータをシリーズとすると、シリーズ内補完とシリーズ間補完が容易となるという利点がある。 Further, as described above, when imaging is performed while performing parallel scanning using a two-dimensional probe, and when imaging is performed using a three-dimensional probe, all of the data can be handled as a three-dimensional image having the same angle information. If this data is a series, there is an advantage that complementing within a series and complementing between series becomes easy.
しかしながら、実際の臨床現場では、細かく角度を変えないと描出できない病変を撮影する必要も生じる。その場合には、角度情報を連続的に収集しながら細かい角度間隔毎に撮影した画像を3次元化することが要求される。通常、細かく角度を変えないと描出できない病変等の画像を3次元化することは難しいが、本発明の他の実施形態方法を用いれば、プローブ画像に対応する角度情報を取得することで空間座標+角度情報の多次元空間にデータを写像し、それを3次元化することで、上述した実施形態装置と同じような、3D+角度⇒多次元⇒3次元、という変換を行うことができる。ところで、このような手法の改善すべき点は、補間を容易に行うようにすることにある。 However, in an actual clinical site, it is necessary to photograph a lesion that cannot be depicted unless the angle is finely changed. In that case, it is required to three-dimensionalize the images taken at fine angle intervals while continuously collecting angle information. Usually, it is difficult to three-dimensionalize an image of a lesion or the like that cannot be drawn unless the angle is finely changed. However, by using the method of another embodiment of the present invention, spatial coordinates can be obtained by acquiring angle information corresponding to a probe image. By mapping data to a multi-dimensional space of + angle information and making it three-dimensional, it is possible to perform the conversion of 3D + angle → multi-dimensional → three-dimensional, similar to the above-described embodiment apparatus. By the way, the point that should be improved in such a method is to perform interpolation easily.
そこで、まず最初に、2次元プローブを用い並行走査を行いながら撮像する、あるいは3次元プローブを用いて撮影する、等して基本的な画像情報Aを収集し、その後、正確に見たい場所について、細かい角度間隔毎に撮影することで高精度の画像情報Bを得て基本的な画像情報Aに重ね合せるという手法が有用と考えられる。このように、上記画像情報Bのデータを上記画像情報Aのデータと重ね合わせることで、上記画像情報Bのデータを補完することができる。 Therefore, first, the basic image information A is collected by taking an image while performing parallel scanning using a two-dimensional probe, or taking an image using a three-dimensional probe. It is considered useful to obtain a highly accurate image information B by superimposing it on the basic image information A by photographing at fine angular intervals. Thus, the data of the image information B can be complemented by superimposing the data of the image information B with the data of the image information A.
なお、このような手法では、画像情報Aのデータと画像情報Bのデータを区別するための、操作方法に関する新しい次元が必要となる。ただし、上記画像情報Bのデータにおいて、機械性能が向上し補間を行わなくても3D+角度がずれないのなら操作方法の次元を追加する必要はない。 Note that this method requires a new dimension related to the operation method for distinguishing the data of the image information A from the data of the image information B. However, in the data of the image information B, if the machine performance is improved and the 3D + angle does not deviate without performing interpolation, it is not necessary to add the dimension of the operation method.
上述したことを、より具体的に説明する。
例えば、手全体をスキャンするような場合には上記画像情報Aによるデータが有用である。しかし、上記画像情報Aでは、特定の部位、例えば小指の特定の関節を詳しくみたい、そしてその特定の部位の、種々の角度からの3次元画像を得たいという要求に対応することが困難である。
The above will be described more specifically.
For example, when scanning the entire hand, the data based on the image information A is useful. However, in the image information A, it is difficult to respond to the request to learn a specific part, for example, a specific joint of a little finger, and to obtain a three-dimensional image of the specific part from various angles. .
ここでの問題は、そのような詳細な画像データを3次元表示する手法がないことである。また3次元化するときには、いろいろな補正の問題が発生する。そこで画像情報Aのデータを、いわゆる白地図として扱い、詳しく取得した画像情報Bのデータをそのうえに重ねる手法により解決する。そうすれば、対象とする部位とは直接関係しない部位は大まかなデータにより表わされ、特に詳しく見たい部位は詳細なデータにより表わされる。 The problem here is that there is no method for three-dimensionally displaying such detailed image data. In addition, various correction problems occur when three-dimensionalization is performed. Therefore, the image information A data is treated as a so-called white map, and the image information B data acquired in detail is solved by a method of superimposing the data. In this case, a portion that is not directly related to the target portion is represented by rough data, and a portion that is particularly desired to be viewed in detail is represented by detailed data.
すなわち、上述した3次元情報の本質は、複数の2次元画像データの相互関係を理解できる、ということになる。このようなことは、2次元画像データの相互関係が失われている超音波に特有の問題であり、複数の2次元画像データの相互関係を理解できるCTやMRIでは問題とならない。
そこで、超音波画像取得時に絶対座標に対する位置情報を記録することで、2次元画像データの相互関係に対応するようにしている。
That is, the essence of the above-described three-dimensional information means that the mutual relationship between a plurality of two-dimensional image data can be understood. This is a problem peculiar to ultrasonic waves in which the correlation between the two-dimensional image data is lost, and does not become a problem in CT or MRI that can understand the correlation between a plurality of two-dimensional image data.
Therefore, the positional information with respect to the absolute coordinates is recorded at the time of acquiring the ultrasonic image so as to correspond to the mutual relationship of the two-dimensional image data.
101 プローブ
111、111A〜D 断面画像
112 暫定3次元画像
121 制御部
122 表示部
123 入力部
130 被検体
130A 被検体の撮像画像
140 補正用構造物
140A 補正用構造物の撮像画像
150 水槽
160 水袋
DESCRIPTION OF SYMBOLS 101 Probe 111, 111A-D Cross-sectional image 112 Provisional three-dimensional image 121 Control part 122 Display part 123 Input part 130 Subject 130A Subject's captured image 140 Correction structure 140A Correction structure's image 150 Water tank 160 Water bag
Claims (8)
撮像された被検体画像により構成される3次元空間を構築し、
該3次元空間に含まれる各単位画素について、当該単位画素の該3次元空間中の位置座標(X,Y,Z)および該3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)、からなる少なくとも4つの情報を対応付け、
少なくとも4つの情報を対応付けられた、前記3次元空間に含まれる各単位画素を、前記少なくとも4つの情報(X,Y,Z、α……)に係る少なくとも4次元以上の多次元空間に写像し、
前記写像された多次元空間上の前記各単位画素についての情報を、所定の相関情報に基づき補正し、
この後、該補正された前記各単位画素を、前記位置座標(X,Y,Z)に係る3次元空間に写像することを特徴とする3次元超音波画像作成方法。 Scanning the probe with respect to the subject, capturing an image of the subject,
Build a three-dimensional space composed of captured subject images,
For each unit pixel included in the three-dimensional space, the position coordinates (X, Y, Z) of the unit pixel in the three-dimensional space and at least one angle (α) around a predetermined axis in the three-dimensional space Are associated with at least four pieces of information,
Each unit pixel included in the three-dimensional space associated with at least four pieces of information is mapped to a multidimensional space of at least four dimensions or more related to the at least four pieces of information (X, Y, Z, α,...). And
Correcting the information about each unit pixel on the mapped multidimensional space based on predetermined correlation information;
Thereafter, the corrected unit pixel is mapped onto a three-dimensional space related to the position coordinates (X, Y, Z).
撮像された複数個の断面画像により構成される暫定3次元空間を構築し、
該暫定3次元空間に含まれる各単位画素について、当該単位画素の該暫定3次元空間中の位置座標(X,Y,Z)および該暫定3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)、からなる少なくとも4つの情報を対応付け、
少なくとも4つの情報を対応付けられた、前記暫定3次元空間に含まれる各単位画素を、前記少なくとも4つの情報(X,Y,Z、α……)に係る少なくとも4次元以上の多次元空間に写像し、
前記写像された多次元空間上の前記各単位画素についての情報を、所定の相関情報に基づき補正し、
この後、該補正された前記各単位画素を、前記位置座標(X,Y,Z)に係る3次元空間に写像することを特徴とする3次元超音波画像作成方法。 Scanning a subject with a two-dimensional probe to capture a plurality of cross-sectional images of the subject,
Construct a provisional three-dimensional space composed of a plurality of captured cross-sectional images,
For each unit pixel included in the provisional three-dimensional space, position coordinates (X, Y, Z) of the unit pixel in the provisional three-dimensional space and at least one angle around a predetermined axis in the provisional three-dimensional space (Α) is associated with at least four pieces of information,
Each unit pixel included in the provisional three-dimensional space, which is associated with at least four pieces of information, is transferred to a multidimensional space of at least four dimensions or more related to the at least four pieces of information (X, Y, Z, α,...). Map,
Correcting the information about each unit pixel on the mapped multidimensional space based on predetermined correlation information;
Thereafter, the corrected unit pixel is mapped onto a three-dimensional space related to the position coordinates (X, Y, Z).
撮像された画像により構成される3次元空間を構築するステップと、
該3次元空間に含まれる各単位画素について、当該単位画素の該3次元空間中の位置座標(X,Y,Z)および該3次元空間中の所定の軸周りにおける少なくとも1つの角度(α)、からなる少なくとも4つの情報を対応付けるステップと、
少なくとも4つの情報を対応付けられた、前記3次元空間に含まれる各単位画素を、前記少なくとも4つの情報(X,Y,Z、α)に係る少なくとも4以上の多次元空間に写像するステップと、
前記写像された多次元空間上の前記各単位画素について、所定の相関情報に基づき補正するステップと、
この後、該補正された前記各単位画素を、多次元空間上で解析し、異方向性および血流分布を含む付属情報のうち少なくとも1つを、スカラー、ベクトルおよびテンソルのうちのいずれかに変換し、3次元空間における情報として、前記位置座標(X,Y,Z)に係る3次元空間に写像するステップとを、コンピュータにおいて実行せしめることを特徴とする3次元超音波画像作成プログラム。
Scanning the probe with respect to the subject and capturing an image of the subject;
Constructing a three-dimensional space composed of captured images;
For each unit pixel included in the three-dimensional space, the position coordinates (X, Y, Z) of the unit pixel in the three-dimensional space and at least one angle (α) around a predetermined axis in the three-dimensional space Associating at least four pieces of information comprising:
Mapping each unit pixel included in the three-dimensional space, which is associated with at least four pieces of information, to at least four or more multidimensional spaces related to the at least four pieces of information (X, Y, Z, α); ,
Correcting each unit pixel on the mapped multidimensional space based on predetermined correlation information;
Thereafter, each of the corrected unit pixels is analyzed in a multidimensional space, and at least one of the additional information including the anisotropy and the blood flow distribution is converted into any one of a scalar, a vector, and a tensor. A computer program for causing a computer to execute a step of converting and mapping to a three-dimensional space related to the position coordinates (X, Y, Z) as information in the three-dimensional space.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012235250A JP5177606B1 (en) | 2012-10-25 | 2012-10-25 | Three-dimensional ultrasonic image creation method and program |
| PCT/JP2013/006142 WO2014064905A1 (en) | 2012-10-25 | 2013-10-16 | Method for creating three-dimensional ultrasonic image, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012235250A JP5177606B1 (en) | 2012-10-25 | 2012-10-25 | Three-dimensional ultrasonic image creation method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5177606B1 true JP5177606B1 (en) | 2013-04-03 |
| JP2014083270A JP2014083270A (en) | 2014-05-12 |
Family
ID=48189411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012235250A Expired - Fee Related JP5177606B1 (en) | 2012-10-25 | 2012-10-25 | Three-dimensional ultrasonic image creation method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5177606B1 (en) |
| WO (1) | WO2014064905A1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105476660B (en) * | 2014-09-30 | 2019-08-16 | 通用电气公司 | Ultrasonic system |
| US20160135782A1 (en) * | 2014-11-14 | 2016-05-19 | General Electric Company | Finger joint ultrasound imaging |
| CN106913357A (en) * | 2015-12-25 | 2017-07-04 | 通用电气公司 | Joint ultrasonic image-forming system and its method |
| CN109770948B (en) * | 2019-01-28 | 2021-03-16 | 电子科技大学 | Vertical three-dimensional ultrasonic scanning imaging system |
| TW202110404A (en) * | 2019-09-10 | 2021-03-16 | 長庚大學 | Ultrasonic image system enables the processing unit to obtain correspondingly two-dimensional ultrasonic image when the ultrasonic probe is at different inclination angles |
| CN115166772A (en) * | 2022-08-09 | 2022-10-11 | 汪洪杰 | Imaging method based on phased array lidar system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008279272A (en) * | 2003-05-08 | 2008-11-20 | Hitachi Medical Corp | Ultrasonic diagnostic equipment |
| JP2010000142A (en) * | 2008-06-18 | 2010-01-07 | National Center For Child Health & Development | Ultrasonic volume data processor |
| JP2010240067A (en) * | 2009-04-02 | 2010-10-28 | Aloka Co Ltd | Medical navigation system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003180697A (en) * | 2001-12-18 | 2003-07-02 | Olympus Optical Co Ltd | Ultrasonic diagnostic equipment |
-
2012
- 2012-10-25 JP JP2012235250A patent/JP5177606B1/en not_active Expired - Fee Related
-
2013
- 2013-10-16 WO PCT/JP2013/006142 patent/WO2014064905A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008279272A (en) * | 2003-05-08 | 2008-11-20 | Hitachi Medical Corp | Ultrasonic diagnostic equipment |
| JP2010000142A (en) * | 2008-06-18 | 2010-01-07 | National Center For Child Health & Development | Ultrasonic volume data processor |
| JP2010240067A (en) * | 2009-04-02 | 2010-10-28 | Aloka Co Ltd | Medical navigation system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014064905A1 (en) | 2014-05-01 |
| JP2014083270A (en) | 2014-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5177606B1 (en) | Three-dimensional ultrasonic image creation method and program | |
| US6500123B1 (en) | Methods and systems for aligning views of image data | |
| US10828010B2 (en) | Image diagnosis apparatus and method for dynamically focusing tracked ultrasound probe with multimodal imaging system | |
| CN102202580B (en) | Ultrasonic image processing method and device, and ultrasonic image processing program | |
| JP5737858B2 (en) | Image processing apparatus, image processing method, and program | |
| CN105813567B (en) | Volumetric image data processing based on three-dimensional (3D) prescan | |
| JP5027922B2 (en) | Ultrasonic diagnostic equipment | |
| US20120007863A1 (en) | Image processing apparatus and image processing method | |
| EP2506221A2 (en) | Image processing apparatus, ultrasonic photographing system, image processing method, program, and storage medium | |
| WO2017141958A1 (en) | Spinal column alignment assessment apparatus, spinal column alignment assessment method, and spinal column alignment assessment program | |
| Zhang et al. | 3-D reconstruction of the spine from biplanar radiographs based on contour matching using the Hough transform | |
| WO2010055816A1 (en) | Ultrasonographic device and method for generating standard image data for the ultrasonographic device | |
| US20120287131A1 (en) | Image processing apparatus and image registration method | |
| Chen et al. | Improvement of 3-D ultrasound spine imaging technique using fast reconstruction algorithm | |
| US12053326B2 (en) | Apparatus and method for automatic ultrasound segmentation for visualization and measurement | |
| CN109152566A (en) | Correct deformation caused by the probe in ultrasonic fusion of imaging system | |
| JP2025090818A (en) | Apparatus and method for automated ultrasound segmentation for visualization and measurement - Patents.com | |
| JP5128140B2 (en) | Medical diagnostic imaging equipment | |
| CN100469321C (en) | Three-dimensional ultrasonic detection method | |
| US20130223703A1 (en) | Medical image processing apparatus | |
| KR101562569B1 (en) | Medical device and its method for merging volume images in 3D ultrasound scanning | |
| Alam et al. | Evaluation of medical image registration techniques based on nature and domain of the transformation | |
| CN107928708A (en) | Freely three-dimensional backbone ultrasonic image-forming system and control method | |
| CN118985004A (en) | Automatic rib fracture detection from unfolded scan images | |
| CN117095137B (en) | Three-dimensional imaging method and system of medical image based on two-way image acquisition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5177606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |