[go: up one dir, main page]

WO2018135188A1 - 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム - Google Patents

超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム Download PDF

Info

Publication number
WO2018135188A1
WO2018135188A1 PCT/JP2017/044544 JP2017044544W WO2018135188A1 WO 2018135188 A1 WO2018135188 A1 WO 2018135188A1 JP 2017044544 W JP2017044544 W JP 2017044544W WO 2018135188 A1 WO2018135188 A1 WO 2018135188A1
Authority
WO
WIPO (PCT)
Prior art keywords
ultrasonic
image
probe
positions
relationship
Prior art date
Application number
PCT/JP2017/044544
Other languages
English (en)
French (fr)
Inventor
悟史 中村
Original Assignee
古野電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古野電気株式会社 filed Critical 古野電気株式会社
Priority to EP17892266.2A priority Critical patent/EP3572000B1/en
Priority to JP2018563216A priority patent/JP6667676B2/ja
Priority to CN201780081389.9A priority patent/CN110114001B/zh
Priority to US16/478,442 priority patent/US11382604B2/en
Publication of WO2018135188A1 publication Critical patent/WO2018135188A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G01S15/8918—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array the array being linear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/895—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum
    • G01S15/8952—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum using discrete, multiple frequencies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/5206—Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065—Compound scan display, e.g. panoramic imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079—Constructional features

Definitions

  • the present invention relates to an ultrasonic imaging system, an ultrasonic imaging apparatus, an ultrasonic imaging method, and an ultrasonic imaging system that transmits ultrasonic waves inside a subject such as a human body and receives reflected ultrasonic waves.
  • the present invention relates to an image synthesis program for causing a computer to synthesize an ultrasonic image.
  • Ultrasound that generates a panoramic image by synthesizing a plurality of obtained images by moving the probe that transmits and receives ultrasound while touching the surface of the subject and performing ultrasonic imaging at a plurality of locations on the subject There is an imaging device.
  • an imaging device In order to accurately perform such image composition, it is necessary to accurately obtain the positional relationship (parallel movement amount and rotation angle) between the images.
  • Patent Document 1 two reference points are selected from the first image out of the first image and the second image to be combined, and the image pattern that best matches the image pattern of the peripheral region of the reference point Is searched from a second image by pattern matching, and a positional relationship (parallel movement amount and rotation angle) is calculated from the movement vectors of two reference points.
  • Patent Document 2 discloses an apparatus for calculating a positional relationship by calculating a horizontal and vertical projection distribution for each of two ultrasonic images to be synthesized and obtaining a correlation between the projection distributions. Yes.
  • the probe width is large, a large imaging range corresponding to the probe width can be secured.
  • a part with a relatively large curvature such as the lower limb or upper limb of the human body
  • the probe width is too large, There is a problem that it does not follow the surface of the specimen. In this case, if the probe is pressed against the surface of the subject or the standoff is used, the subject is deformed, and the composite image is adversely affected.
  • the width of the probe is reduced, the above-described problem of deformation of the subject is solved.
  • the width of an ultrasonic image obtained by a scanning method having a small imaging range such as a linear scan is small.
  • the present invention has been made in view of such circumstances, and a main object thereof is an ultrasonic imaging system and an ultrasonic imaging apparatus capable of obtaining an accurate composite image even for a subject having a large surface curvature.
  • An ultrasonic imaging method and an image composition program are provided.
  • an ultrasonic imaging system transmits different first and second ultrasonic waves from the surface of a subject to the inside of the subject.
  • a probe that receives each of the reflected first and second ultrasonic waves, a first ultrasonic image based on the first ultrasonic wave received by the probe, and the second ultrasonic wave received by the probe
  • An image generation unit that generates a second ultrasonic image based on the ultrasonic wave, and the image generation unit based on the first ultrasonic wave received by the probe at each of two different positions on the surface of the subject
  • the image generation based on two first ultrasound images generated by and the second ultrasound received by the probe at each of the two positions
  • Based on the two second ultrasonic images generated by the positional relationship calculation unit that calculates the relationship between the two positions, and based on the relationship between the two positions calculated by the positional relationship calculation unit,
  • An image combining unit configured to combine the first or second ultrasonic image at one of the two positions and the first or second ultrasonic image
  • the probe may transmit the first and second ultrasonic waves by different scanning methods.
  • the probe may transmit the first and second ultrasonic waves at different frequencies.
  • the ultrasonic imaging apparatus transmits the first and second ultrasonic waves, which are different from each other, from the surface of the subject to the inside, and reflects the first and second reflected inside the subject.
  • An image combining unit that combines the first or second ultrasonic image and the first or second ultrasonic image at the other position
  • the image generation unit may generate the first ultrasonic image and the second ultrasonic image having a narrower imaging range and higher resolution than the first ultrasonic image.
  • the image generation unit repeatedly transmits the first and second ultrasonic waves to the inside of the subject while moving along the surface of the subject, and is reflected inside the subject. Generating the first and second ultrasonic images of one frame based on each of the first and second ultrasonic waves successively received by the probe that repeatedly receives the first and second ultrasonic waves;
  • the positional relationship calculation unit may calculate the relationship between the two positions based on the two first ultrasonic images and the two second ultrasonic images in each of the continuous first and second frames. .
  • the positional relationship calculation unit may calculate a relationship between the two positions including a distance between the two positions in two directions intersecting each other.
  • the positional relationship calculation unit may calculate a relationship between the two positions further including a rotation angle in a plane including the two directions.
  • the ultrasonic imaging apparatus may determine the two directions of the probe at the two positions based on angles detected at the two positions by a sensor that detects a direction in which the probe faces.
  • a rotation angle calculation unit that calculates a rotation angle within a plane including the image synthesis unit, the distance calculated by the positional relationship calculation unit, and the rotation angle calculated by the rotation angle calculation unit
  • the first or second ultrasonic image at one of the two positions may be combined with the first or second ultrasonic image at the other position.
  • the positional relationship calculation unit calculates a first relationship amount that is an estimated value of the relationship between the two positions based on the two first ultrasonic images;
  • a positional relation correction unit that calculates a second relational quantity obtained by correcting the first relational quantity calculated by the positional relation estimation unit based on two second ultrasonic images, and the image synthesis unit Based on the second relation amount calculated by the positional relationship correction unit, the first or second ultrasonic image at one of the two positions and the first or second superposition at the other position.
  • a sound image may be synthesized.
  • the positional relationship estimation unit calculates the first relationship amount including a distance between the two positions in two directions intersecting each other, and the positional relationship correction unit is operated by the positional relationship estimation unit.
  • the second relation amount obtained by correcting the calculated distance may be calculated.
  • the positional relationship estimation unit extracts each feature point of the two first ultrasound images and determines a correspondence relationship of the feature points between the two first ultrasound images.
  • the first relation amount may be calculated by
  • the positional relationship correction unit may calculate the second relationship amount based on a correlation between luminance distributions of the two second ultrasonic images.
  • the image generation unit is a sector scan image based on the first ultrasonic wave received when the probe transmits the first ultrasonic wave in a fan shape toward the inside of the subject.
  • a linear scan image is generated based on the second ultrasonic wave generated when the first ultrasonic image is generated and the second ultrasonic wave is transmitted in a range where the probe extends in a band shape toward the inside of the subject.
  • the second ultrasonic image may be generated.
  • the ultrasonic imaging method allows each of the first and second ultrasonic waves different from each other from two different positions on the surface of the subject to be detected by a probe that transmits and receives ultrasonic waves.
  • the relationship between the two positions is calculated.
  • the first or second ultrasonic image at one of the two positions and the first or second superposition at the other position based on the calculated relationship between the two positions. Synthesizing the sound image.
  • An image synthesis program is an image synthesis program that causes a computer to execute a process of synthesizing a plurality of ultrasonic images obtained by imaging the inside of a subject.
  • the first and second ultrasonic waves different from each other are transmitted from the surface of the subject to the inside, and the first and second ultrasonic waves reflected from the inside of the subject are received by the probe.
  • an accurate composite image can be obtained even for a subject having a large surface curvature.
  • FIG. 1 is a schematic diagram illustrating a configuration of an ultrasound imaging system according to Embodiment 1.
  • FIG. FIG. 2 is a schematic diagram illustrating a configuration of a probe and a control device of the ultrasonic imaging system according to the first embodiment.
  • the block diagram which shows the structure of an image composition apparatus. 3 is a flowchart showing an operation procedure of the ultrasonic imaging system according to the first embodiment.
  • FIG. 3 is a schematic diagram for explaining a frame in the ultrasonic imaging system according to the first embodiment.
  • FIG. 4 is a schematic diagram illustrating a configuration of a probe and a control device of an ultrasonic imaging system according to a second embodiment.
  • 9 is a flowchart showing an operation procedure of the ultrasonic imaging system according to the second embodiment.
  • the sector scan and the linear scan are alternately repeated by the probe, and the first estimated value of the relationship between the two positions from the two sector scan images obtained by the two sector scans at the two positions.
  • the relationship amount parallel movement amount and rotation angle
  • the second relation amount is calculated, and the sector scan image and the linear scan image are synthesized based on the second relation amount.
  • FIG. 1 is a schematic diagram showing a configuration of an ultrasonic imaging system according to the present embodiment.
  • the ultrasound imaging system 100 includes a probe 200 and an ultrasound imaging apparatus 300.
  • the ultrasonic imaging apparatus 300 includes a control device 400 and an image composition device 500.
  • the probe 200 is connected to the image composition device 500 via the control device 400.
  • FIG. 2 is a schematic diagram showing the configuration of the probe 200 and the control device 400.
  • the probe 200 has a shape that can be gripped by an operator.
  • An ultrasonic transmission / reception surface 201 is provided on the tip surface of the probe 200.
  • a cable extends from the proximal end of the probe 200, and the cable is connected to the control device 400.
  • An ultrasonic array sensor 203 configured by arranging a plurality of ultrasonic transducers 202 in a line is disposed on the ultrasonic transmission / reception surface 201.
  • the ultrasonic array sensor 203 is connected to the control device 400, transmits ultrasonic waves according to a control signal given from the control device 400, and receives reflected ultrasonic waves. From the ultrasonic array sensor 203, an electrical signal indicating the received ultrasonic wave is output to the control device 400.
  • the control device 400 includes a control unit 401 including a CPU and a memory, communication units 402 and 403, and an image generation unit 404.
  • the communication unit 402 is connected to the probe 200 and communicates with the probe 200.
  • the communication unit 403 is connected to the image composition device 500 and performs communication with the image composition device 500.
  • the image generation unit 404 generates an image from the electrical signal output from the ultrasonic array sensor 203.
  • the control unit 401 controls the communication units 402 and 403 and the image generation unit 404 in accordance with an instruction given from the image composition device 500.
  • the control unit 401 transmits a control signal to the probe 200 through the communication unit 402 in response to an instruction given from the image synthesis apparatus 500.
  • the probe 200 operates while alternately switching between the sector scan mode and the linear scan mode.
  • the control device 400 is controlled by the image composition device 500.
  • FIG. 3A is a conceptual diagram for explaining the operation of the probe 200 when the cross section of the thigh 600 is imaged in the sector scan mode.
  • the control device 400 vibrates each ultrasonic transducer 202 with a predetermined phase difference, thereby forming an ultrasonic beam transmitted from the probe 200 in a fan shape.
  • the drive frequency of the ultrasonic array sensor 203 in the sector scan mode is about 3 MHz, for example.
  • the ultrasonic wave transmitted from the probe 200 in the sector scan mode is referred to as “first ultrasonic wave”.
  • the first ultrasonic wave is reflected inside the thigh 600 as the subject, and the reflected wave is received by the ultrasonic array sensor 203.
  • the electrical signal output from the ultrasonic array sensor 203 at this time is given to the image generation unit 404, and the image generation unit 404 converts the electrical signal into an ultrasonic image in the sector scan mode (hereinafter referred to as “first ultrasonic image”).
  • Convert to FIG. 4A is a diagram illustrating an example of the first ultrasonic image.
  • the first ultrasonic image 701 is a cross-sectional image in which a fan-shaped imaging range 601 (see FIG. 3A) is copied.
  • FIG. 3B is a conceptual diagram for explaining the operation of the probe 200 when the cross section of the thigh 600 is imaged in the linear scan mode.
  • the control device 400 vibrates each ultrasonic transducer 202 with the same phase, thereby extending the ultrasonic beam transmitted from the probe 200 in a direction orthogonal to the ultrasonic transmission / reception surface 201.
  • the drive frequency of the ultrasonic array sensor 203 in the linear scan mode is about 6 MHz, for example.
  • the ultrasonic wave transmitted from the probe 200 in the linear scan mode is referred to as “second ultrasonic wave”.
  • the second ultrasonic wave is reflected inside the thigh 600 as a subject, and the reflected wave is received by the ultrasonic array sensor 203.
  • the electrical signal output from the ultrasound array sensor 203 at this time is given to the image generation unit 404, and the image generation unit 404 converts the electrical signal into an ultrasound image in the linear scan mode (hereinafter referred to as “second ultrasound image”).
  • FIG. 4B is a diagram illustrating an example of the second ultrasonic image.
  • the second ultrasonic image 702 is a cross-sectional image in which a band-shaped imaging range 602 (see FIG. 3B) is copied.
  • the band-shaped imaging range 602 in the linear scan mode has only a probe width, that is, a width comparable to the length of the ultrasonic array sensor 203.
  • the imaging range 601 in the sector scan mode extends in a fan shape from the ultrasonic array sensor 203 (see FIGS. 3A and 3B).
  • the imaging range 602 of the second ultrasound image 702 is smaller than the imaging range 601 of the first ultrasound image 701.
  • the ultrasonic beam is scanned at a relatively low driving frequency (center frequency is 2 to 7 MHz), the ultrasonic wave has a longer reach than the linear scan, and the ultrasonic wave reaches a deep part.
  • the ultrasonic beam is scanned at a relatively high driving frequency (center frequency is 2.5 to 12 MHz), and the ultrasonic reach is shorter than the sector scan. That is, also in the depth direction, the sector scan imaging range 601 is larger than the linear scan imaging range 602.
  • the resolution of the image since the drive frequency of the ultrasonic array sensor 203 in the linear scan mode is higher than the drive frequency in the sector scan mode, the resolution of the second ultrasonic image 702 is the first ultrasonic image. It is higher than the resolution of 701.
  • FIG. 5 is a block diagram illustrating a configuration of the image composition device 500.
  • the image composition device 500 is realized by a computer 510.
  • the computer 510 includes a main body 520, an input unit 530, and a display unit 540.
  • the main body 520 includes a CPU 521, ROM 522, RAM 523, reading device 524, hard disk 525, input / output interface 526, communication interface 527, and image output interface 528.
  • the output interface 526, the communication interface 527, and the image output interface 528 are connected by a bus.
  • the CPU 521 executes the computer program loaded in the RAM 523.
  • the CPU 521 executes an image synthesis program 550 that is a computer program for ultrasonic imaging
  • the computer 510 functions as the image synthesis device 500 and functions as the ultrasonic imaging device 300 when combined with the control device 400. To do.
  • the ROM 522 stores computer programs to be executed by the CPU 521 and data used therefor.
  • the RAM 523 is used for reading the image composition program 550 recorded on the hard disk 525.
  • the RAM 523 is used as a work area for the CPU 521 when the CPU 521 executes a computer program.
  • the hard disk 525 is installed with various computer programs to be executed by the CPU 521, such as an operating system and application programs, and data used for executing the computer programs.
  • An image composition program 550 is also installed in the hard disk 525.
  • the input / output interface 526 is connected to an input unit 530 including, for example, a keyboard and a mouse.
  • the communication interface 527 is connected to the control device 400, and the communication interface 527 transmits a control signal from the CPU 521 to the control device 400 and receives the first and second ultrasonic images 701 and 702 from the control device 400. It is like that.
  • the RAM 523 includes a sector image frame memory 531 and a linear image frame memory 532. The received first ultrasonic image 701 is stored in the sector image frame memory 531, and the second ultrasonic image 702 is stored in the linear image frame memory 532.
  • the image output interface 528 is connected to a display unit 540 configured by, for example, an LCD or a CRT, and outputs a video signal corresponding to the image data given from the CPU 521 to the display unit 540.
  • the display unit 540 displays an image (screen) according to the input video signal.
  • FIG. 6 is a flowchart showing an operation procedure of the ultrasonic imaging system according to the present embodiment.
  • the CPU 521 of the image composition device 500 instructs the control device 400 to start scanning, and in response to this, the control unit 401 of the control device 400 causes the probe 200 to perform a scanning operation (step S101). During this scanning operation, the operator moves the probe 200 along the surface of the subject while the ultrasonic transmission / reception surface 201 is in contact with the surface of the subject.
  • FIG. 7 is a flowchart showing the procedure of the scanning operation.
  • the control unit 401 assigns an initial value (0) to the frame number n (step S151).
  • the control unit 401 drives the probe 200 in the sector scan mode to execute sector scan (step S152).
  • the probe 200 transmits the first ultrasonic wave in a fan-shaped beam shape from the surface of the subject in the vertical direction (the depth direction of the subject), and the first ultrasonic wave reflected inside the subject. Receive.
  • the probe 200 transmits an electric signal indicating the received first ultrasonic wave to the control device 400, and the communication unit 402 of the control device 400 receives the signal.
  • the image generation unit 404 generates a first ultrasonic image 701 from the electrical signal (step S153).
  • the control unit 401 causes the probe 200 to perform sector scan, and then drives the probe 200 in the linear scan mode to execute linear scan (step S154).
  • the probe 200 transmits the second ultrasonic wave in a belt-like (rectangular) beam shape from the surface of the subject in the vertical direction, and receives the second ultrasonic wave reflected inside the subject.
  • the probe 200 transmits an electric signal indicating the received second ultrasonic wave to the control device 400, and the communication unit 402 of the control device 400 receives the signal.
  • the image generation unit 404 generates the second ultrasonic image 702 from the electrical signal (step S155).
  • the control unit 401 transmits the generated first and second ultrasonic images 701 and 702 together with the frame number n from the communication unit 403 to the image composition device 500.
  • the first and second ultrasonic images 701 and 702 for one frame are stored in the sector image frame memory 531 and the linear image frame memory 532 together with the frame number.
  • the CPU 521 instructs the control device 400 to end the scan.
  • the control unit 401 determines whether or not a scan end instruction has been received (step S156). If a scan end instruction has been received (YES in step S156), the scan operation ends. On the other hand, if the scan end instruction has not been received (NO in step S156), the control unit 401 increments the frame number n (step S157), returns the process to step S152, and again returns the sector scan and linearity to the probe 200. Run a scan.
  • one cycle in the scan operation includes one sector scan and one linear scan, and the probe 200 executes the cycle a plurality of times.
  • This one cycle corresponds to one frame.
  • FIG. 8 is a schematic diagram for explaining a frame in the ultrasonic imaging system according to the present embodiment.
  • One frame includes one first ultrasonic image and one second ultrasonic image. Since the time interval between the sector scan and the linear scan in one cycle is extremely small, it is considered that the sector scan and the linear scan are executed at the same position. That is, the first and second ultrasonic images included in one frame are handled as images obtained by imaging the same position.
  • the first ultrasonic image in the (n-1) th frame is represented as 701 n-1
  • the first ultrasonic image in the nth frame is represented as 701 n
  • the second ultrasonic image in the (n-1) th frame is represented as 702 n.
  • ⁇ 1 and the first ultrasonic image in the nth frame are denoted as 702 n .
  • the image synthesizing device 500 CPU 521 sets an initial value (0) in the frame number n (step S102), feature points from the first ultrasound image 701 n in the n frame Extract (step S103).
  • local feature extraction algorithms with rotation invariance such as SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features), ORB (Oriented FAST and Rotated BRIEF), that is, images are extracted.
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • ORB Oriented FAST and Rotated BRIEF
  • the CPU 521 determines whether or not the target on which the feature point extraction processing has been performed is the first ultrasonic image of the first frame, that is, whether or not the value of n at that time is “0”. Determination is made (step S104). If the target on which the feature point extraction processing has been performed is the first ultrasonic image of the first frame (YES in step S104), the CPU 521 stores the extracted feature point information in the hard disk 525, and then proceeds to step S109. Then, the process proceeds to the feature point extraction process in the next frame (frame number “1”).
  • FIG. 9 is a conceptual diagram for explaining the processing in step S105 (hereinafter referred to as “feature point matching processing”).
  • the closest feature amount between the feature point of the first ultrasound image 701 n-1 in the n- 1th frame and the feature point of the first ultrasound image 701 n in the nth frame is obtained. Correlate the feature points that you have. The Euclidean distance, the Hamming distance, or the like is used for calculating the proximity of the feature amount according to the feature point extraction method. 9, the first ultrasound image 701 n-1 of the (n-1) th frame, first the same mark as shown in the ultrasound image 701 n of the n-th frame is the corresponding feature point. Although FIG. 9 is simplified, hundreds of feature points are extracted for one first ultrasonic image.
  • the CPU 521 executes a positional relationship calculation process (step S106), and calculates the positional relationship of the probe 200 between the (n ⁇ 1) th and nth frames.
  • the positional relationship calculation processing includes positional relationship estimation processing (step S107) and positional relationship correction processing (step S108).
  • the estimated value of the positional relationship of the probe 200 between the (n ⁇ 1) th and nth frames is calculated from the correspondence relationship of the feature points determined in step S105.
  • a first relation amount that is a movement amount (position parameter) of one ultrasonic image is calculated.
  • the calculated first relation amounts are parallel movement amounts ⁇ x and ⁇ y and rotation angles ⁇ that are distances in two directions x and y orthogonal to each other.
  • k is the number of the associated feature point.
  • the correspondence between many feature points cannot be satisfied by a set of positional relationships obtained from the corresponding feature points. This is because the coordinates of the feature points include errors, and the correspondences themselves determined by the influence of noise include errors. Therefore, the first relation amount is calculated while excluding outliers that adversely affect the calculation.
  • a RANSAC algorithm can be used to exclude outliers, and a nonlinear least square method such as the Gauss-Newton method or the Levenberg-Markert method can be used to calculate the positional relationship.
  • FIG. 10 is a diagram showing the corresponding feature points excluding outliers. By excluding outliers, it is possible to accurately calculate the first relation amount using feature points that are accurately associated.
  • FIG. 11 is a flowchart showing the procedure of the positional relationship estimation process.
  • the CPU 521 randomly selects two sets from all corresponding feature points (step S171), and from the obtained two sets of feature points, between the n ⁇ 1 and nth frames.
  • the relationship amount candidate which is a candidate value of the positional relationship (movement amount) of the probe 200 is calculated (step S172).
  • the CPU 521 calculates a square error at all corresponding feature points (hereinafter referred to as “corresponding feature points”) using the calculated relationship quantity candidates, and the corresponding feature points whose error is equal to or less than a predetermined threshold are This number is counted as supporting the relation amount candidates (step S173).
  • corresponding feature points corresponding feature points
  • the CPU 521 determines whether or not the number of repetitions has reached a predetermined number (step S174). If the number of repetitions has not reached the predetermined number (NO in step S174), the process returns to step S171. As a result, the processes in steps S171 to S173 are repeatedly executed, and a plurality of relationship quantity candidates are obtained.
  • the CPU 521 selects the largest number of support among all the relation amount candidates (step S175).
  • the CPU 521 calculates the final first relation amount using the corresponding feature point that supports the relation amount candidate selected in step S175 (step S176), and ends the positional relationship estimation process.
  • a first relation amount (or a relation amount candidate) is calculated using a plurality of corresponding feature points (the number of sets is K).
  • An error function defined by the following equation (3) is used for calculating the first relation amount (or relation amount candidate).
  • the calculation of the first relation amount based on the feature points using the first ultrasonic image that is a sector scan image has the following advantages. (1) When the probe 200 having a small probe width is used, the imaging range in the linear scan becomes small, and it is difficult to calculate the accurate rotation angle ⁇ by calculating the positional relationship using the linear scan image (second ultrasonic image). . In this regard, ⁇ can be calculated with high accuracy by using a sector scan image with a large imaging range. (2) In local feature point matching, matching is based on the similarity of feature quantities, not coordinates, so the positional relationship between the two can be calculated without considering the imaging positions of the (n-1) th and nth frames. .
  • the first relationship amount that is an estimated value of the positional relationship of the probe 200 between the (n ⁇ 1) th frame and the nth frame is obtained.
  • the first relation amount is large, that is, when the distance between the position of the probe 200 in the (n-1) th frame and the position of the probe 200 in the nth frame is large, the first ultrasonic image that is a sector scan image is sufficient. Even if a superimposing region can be secured, a sufficient superimposing region cannot be secured in the second ultrasound image that is a linear scan image, and the correlation value calculation and image synthesis of the subsequent second ultrasound image cannot be performed accurately. There is a case. Therefore, in such a case, a processing error is generated, or the image correlation processing is skipped by reducing the synthesis accuracy, and image synthesis is performed using the first relation amount obtained by the positional relationship estimation processing as it is. be able to.
  • the CPU 521 executes a positional relationship correction process (step S108).
  • a positional relationship correction process a second relationship in which the first relationship amount calculated in the positional relationship estimation process is corrected based on the image correlation of the second ultrasonic images 702 n ⁇ 1 and 702 n between the n ⁇ 1th frame and the nth frame. Calculate the relationship quantity.
  • the parallel movement amounts ⁇ x and ⁇ y are corrected among the first relationship amounts.
  • the CPU 521 uses the first relation amounts (parallel movement amounts ⁇ x, ⁇ y and the rotation angle ⁇ ) calculated by the positional relationship estimation processing to perform parallel movement and rotation processing on the second ultrasonic image 702 n of the nth frame. Apply.
  • the second ultrasonic image after the movement is referred to as an n'th frame image.
  • FIG. 12 is a conceptual diagram for explaining the positional relationship correction processing.
  • the CPU 521 moves the n′th frame image 702 n ′ by ⁇ x ′ and ⁇ y ′ in the x-axis or y-axis direction, and the moved image and the second ultrasound image 702 n of the (n ⁇ 1) th frame. ⁇ 1 and an image correlation value based on the luminance value is calculated.
  • SAD Sud of Absolute Difference
  • ZNCC Zero-mean Normalized Cross-Correlation
  • the CPU 521 repeatedly executes the movement of the n'th frame image and the calculation of the image correlation value, searches a predetermined search range (for example, ⁇ 20 pixels) for both the x axis and the y axis, and calculates the image correlation value at each position. obtain. After calculating the image correlation value at each position, the CPU 521 determines the position where the image correlation value is maximized as the final parallel movement amounts ⁇ x and ⁇ y.
  • a predetermined search range for example, ⁇ 20 pixels
  • the second relationship quantities ( ⁇ x, ⁇ y, ⁇ ) calculated by the above positional relationship correction process are stored in the hard disk 525 together with the frame number n.
  • step S109 determines whether or not the value of n matches the final frame number N. If n does not match the maximum value N (NO in step S109), CPU 521 increments n (step S110) and returns the process to step S103.
  • the CPU 521 When n matches the maximum value N (YES in step S109), the CPU 521 synthesizes the first ultrasound images 701 n ⁇ 1 and 701 n of the (n ⁇ 1) th and nth frames using the second relation amount. (Step S111) Similarly, the second ultrasonic images 702 n ⁇ 1 and 702 n of the ( n ⁇ 1 ) th and nth frames are synthesized using the second relation amount (Step S112). The CPU 521 displays the combined first ultrasonic image and the combined second ultrasonic image on the display unit (step S113), and ends the process.
  • the first ultrasonic image in a large imaging range is acquired by sector scanning, which is a wide-angle imaging method, and the first relation amount is calculated using the first ultrasonic image. Even in the case where such a part having a large curvature is imaged using a probe having a small width, the first relation amount can be calculated reliably.
  • the second relation amount obtained by correcting the first relation amount is calculated using the second ultrasonic image obtained by the high-resolution linear scan, an accurate second relation amount can be obtained.
  • an angle sensor is provided in the probe, the direction in which the probe faces is obtained by this angle sensor, and the rotation angle of the probe between two sector scans is calculated.
  • the first relation amount that is the distance (parallel movement amount) between the two positions from the two sector scan images obtained by repeating the sector scan and the linear scan alternately with the probe and the two sector scans at the two positions.
  • a sector scan image or a linear scan is calculated by calculating a second relation amount (parallel movement amount) obtained by correcting the first relation amount based on two linear scan images obtained by two linear scans at two positions.
  • the image is synthesized based on the second relation amount and the rotation angle obtained from the angle sensor.
  • FIG. 13 is a schematic diagram illustrating the configuration of the probe 250 and the control device 400.
  • the probe 250 includes an angle sensor 251.
  • the angle sensor 251 detects the inclination of the probe 250 from the vertical direction, that is, the direction in which the ultrasonic transmission / reception surface 201 faces. Since the other configuration of the ultrasonic imaging system according to the present embodiment is the same as the configuration of the ultrasonic imaging system 100 according to the first embodiment, the same components are denoted by the same reference numerals and description thereof is omitted. To do.
  • FIG. 14 is a flowchart showing an operation procedure of the ultrasonic imaging system according to the present embodiment.
  • the CPU 521 of the image composition device 500 instructs the control device 400 to start scanning, and in response to this, the control unit 401 of the control device 400 causes the probe 250 to execute a scan operation (step S201). During this scanning operation, the operator moves the probe 250 along the surface of the subject while the ultrasonic transmission / reception surface 201 is in contact with the surface of the subject.
  • FIG. 15 is a flowchart showing the procedure of the scanning operation.
  • the control unit 401 assigns an initial value (0) to the frame number n (step S251).
  • the control unit 401 drives the probe 250 in the sector scan mode to execute sector scan (step S252).
  • the probe 250 scans the beam in a fan shape in the vertical direction from the surface of the subject, transmits the first ultrasonic wave, and receives the first ultrasonic wave reflected inside the subject.
  • the angle sensor 251 detects the tilt angle of the probe 250 from the vertical direction during the sector scan (step S253).
  • the probe 250 transmits the received electrical signal indicating the first ultrasonic wave and the electrical signal indicating the tilt angle to the control device 400, and the communication unit 402 of the control device 400 receives these electrical signals.
  • the image generation unit 404 generates a first ultrasonic image 701 from the electrical signal (step S254).
  • the control unit 401 causes the probe 250 to execute the sector scan, and then drives the probe 250 in the linear scan mode to execute the linear scan (step S255).
  • the probe 250 transmits the second ultrasonic wave in a belt-like (rectangular) beam shape from the surface of the subject in the vertical direction, and receives the second ultrasonic wave reflected inside the subject.
  • the probe 250 transmits an electric signal indicating the received second ultrasonic wave to the control device 400, and the communication unit 402 of the control device 400 receives the signal.
  • the image generation unit 404 generates a second ultrasonic image 702 from the electrical signal (step S256).
  • the control unit 401 transmits the generated first and second ultrasonic images 701 and 702 together with the frame number n and the inclination angle from the communication unit 403 to the image composition device 500.
  • the first and second ultrasonic images 701 and 702 for one frame are stored in the sector image frame memory 531 and the linear image frame memory 532 together with the frame number.
  • the hard disk 525 stores the tilt angle together with the frame number.
  • the CPU 521 instructs the control device 400 to end the scan.
  • the control unit 401 determines whether or not a scan end instruction has been received (step S257). If a scan end instruction has been received (YES in step S257), the scan operation ends. On the other hand, if the scan end instruction has not been received (NO in step S257), the control unit 401 increments the frame number n (step S258), returns the process to step S252, and returns the sector scan and linear to the probe 250 again. Run a scan.
  • one cycle in the scan operation includes one sector scan and one linear scan, and the probe 250 executes the cycle a plurality of times.
  • This one cycle corresponds to one frame.
  • One frame includes one first ultrasonic image 701 and one second ultrasonic image 702. Since the time interval between the sector scan and the linear scan in one cycle is extremely small, it is considered that the sector scan and the linear scan are executed at the same position. That is, the first and second ultrasonic images 701 and 702 included in one frame are handled as images obtained by imaging the same position.
  • steps S202 to S205 are the same as the processes in steps S102 to S105 described in the first embodiment, the description thereof is omitted.
  • the CPU 521 calculates the rotation angle ⁇ from the tilt angle detected by the angle sensor 251 (step S206).
  • the rotation angle ⁇ is calculated as a difference in inclination angle between the (n ⁇ 1) th and nth frames.
  • an orientation sensor for detecting the orientation by geomagnetism is provided in the probe 250, and the rotation angle ⁇ is calculated based on the orientation detected by the orientation sensor in each of the n ⁇ 1th frame and the nth frame. May be.
  • the CPU 521 executes a positional relationship calculation process (step S207).
  • the positional relationship calculation processing includes positional relationship estimation processing (step S208) and positional relationship correction processing (step S209).
  • the position parameters ⁇ x and ⁇ y excluding the rotation angle are calculated from the first ultrasonic image as the first relation amount in the positional relationship estimation process.
  • the method for calculating the parallel movement amounts ⁇ x and ⁇ y is the same as that described in the first embodiment.
  • steps S209 to S214 Since the processing of steps S209 to S214 is the same as the processing of steps S108 to S113 described in the first embodiment, the description thereof is omitted.
  • the rotation angle of the probe 250 can be obtained with high accuracy using the tilt angle detected by the angle sensor 251, and accurate image composition can be performed. Further, it is not necessary to calculate the rotation angle by image processing, and the calculation amount is reduced.
  • the first relation amount is corrected using the second ultrasonic image, but the present invention is not limited to this. It is also possible to employ a configuration that is used for image synthesis without correcting the first relation amount calculated from the first ultrasonic image.
  • the object to be corrected among the first relational amounts is the parallel movement amounts ⁇ x and ⁇ y, the present invention is not limited to this, and the rotation angle ⁇ may be the object to be corrected.
  • the sector scan is performed first, the linear scan is performed later, and the first ultrasonic wave obtained first in each of the n ⁇ 1th and nth frames is obtained.
  • the present invention is not limited to this.
  • the linear scan is performed first, the sector scan is performed later, and the first relation amount is calculated using the first ultrasonic image obtained later in each of the n ⁇ 1th and nth frames, and the nth A configuration may also be adopted in which the second relation amount obtained by correcting the first relation amount is calculated using the second ultrasonic image obtained previously in each of the ⁇ 1 and nth frames.
  • one ultrasound frame includes other ultrasound images in addition to the first and second ultrasound images.
  • the present invention is not limited to this.
  • Two different frames may not be continuous.
  • it may be configured to synthesize an ultrasound image between the n-2th frame and the nth frame.
  • the positional relationship (second relationship amount) of the probe in the n-2th and nth frames is calculated based on the first and second ultrasonic images of the n-2th and nth frames, and the calculated position Based on the relationship, at least one of the first and second ultrasonic images of the (n-2) th and nth frames is synthesized.
  • the moving speed can be limited so that the moving speed is less than half of the probe width during the time between the two frames.
  • Embodiments 1 and 2 the configuration for synthesizing both the first and second ultrasonic images has been described, but the present invention is not limited to this. It is good also as a structure which synthesize
  • the configuration for synthesizing the first ultrasonic images or the second ultrasonic images has been described.
  • the first ultrasonic image and the second ultrasonic image are synthesized. It is good also as composition to do.
  • the first ultrasound image 701 n-1 in the ( n-1) th frame and the second ultrasound image 702 n in the nth frame are combined to capture the first ultrasound image.
  • the image quality can be improved in the imaging range of the second ultrasonic image while maintaining the range.
  • the image may be other than the sector scan image and the linear scan image.
  • the scanning method can change the imaging angle range, the scanning angle range may be switched while the scanning method is fixed, and two types of scans may be executed.
  • the scanning method can be fixed to the sector scan, and the driving frequency can be fixed to switch the angle range (imaging range).
  • a scan with a large angle range provides a sector scan image (first ultrasonic image) with a large imaging range and a low resolution, and a scan with a small imaging range and a high resolution sector in a scan with a small angle range.
  • a scanned image (second ultrasonic image) is obtained.
  • the scanning method and the driving frequency are fixed, and the imaging range is switched to execute the first ultrasound scan and the second ultrasound scan.
  • the first ultrasound scan is executed with the imaging range enlarged and the drive frequency lowered
  • the second ultrasound scan is executed with the imaging range reduced and the drive frequency increased.
  • first ultrasonic image having a large imaging range and a low resolution
  • second ultrasonic image having a large imaging range and a high resolution
  • two types of scans can be performed by switching the scanning method while fixing the driving frequency. For example, by executing each of sector scan and linear scan with the drive frequency fixed, a sector scan image (first ultrasonic image) with a large imaging range and a low resolution and a small imaging range with a high resolution are obtained.
  • a linear scan image (second ultrasonic image) can be obtained.
  • the first relation amount is calculated by feature point matching and the second relation amount obtained by correcting the first relation amount by image correlation is described.
  • the first relationship quantity may be calculated by pattern matching other than feature point matching, for example, image correlation
  • the second relationship quantity may be calculated by pattern matching other than image correlation, for example, feature point matching.
  • the ultrasonic imaging apparatus 300 is configured by the control apparatus 400 and the image composition apparatus 500, but is not limited thereto.
  • a single ultrasonic imaging apparatus having the functions of both the control device 400 and the image composition device 500 can also be configured.
  • the calculation of the positional relationship and the image composition are realized by software, the present invention is not limited to this. These processes may be executed by an image processor.
  • the method of measuring by moving the probe has been described.
  • the number of probes may not be one as long as two frames are photographed at different positions.
  • the sector scan and the linear scan are executed by the probe 271
  • the sector scan and the linear scan are executed by the probe 272.
  • the first or second ultrasonic image obtained by the probe 271 and the first or second ultrasonic image obtained by the probe 272 are synthesized based on this positional relationship.
  • An ultrasonic imaging system, an ultrasonic imaging apparatus, an ultrasonic imaging method, and an image synthesis program according to the present invention transmit an ultrasonic wave inside a subject such as a human body and receive the reflected ultrasonic wave.
  • the present invention is useful as an ultrasound imaging system, an ultrasound imaging apparatus, an ultrasound imaging method, and an image synthesis program for causing a computer to synthesize ultrasound images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】表面の曲率が大きい被検体であっても、正確な合成画像を得ることができる超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラムを提供する。 【解決手段】　超音波撮像システムは、プローブと、画像生成部と、位置関係算出部と、画像合成部とを備える。プローブは、互いに異なる第１及び第２超音波のスキャンを実行する。画像生成部は、第１超音波に基づき第１超音波画像を生成し、第２超音波に基づき第２超音波画像を生成する。位置関係算出部は、２つの位置における２つの第１超音波画像と、これらの位置における２つの第２超音波画像とに基づいてこの２つの位置の関係を算出する。画像合成部は、一方の位置における第１又は第２超音波画像と、他方の位置における第１又は第２超音波画像とを、算出された位置関係に基づいて合成する。

Description

超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム
　本発明は、人体等の被検体の内部に超音波を送信し、反射した超音波を受信することによって被検体の内部を撮像する超音波撮像システム、超音波撮像装置、超音波撮像方法、及びコンピュータに超音波画像の合成を行わせるための画像合成プログラムに関する。
　超音波を送受するプローブを被検体の表面に当てた状態で移動させることで、被検体の複数箇所において超音波撮像を行い、得られた複数の画像を合成してパノラマ画像を生成する超音波撮像装置がある。かかる画像合成を正確に行うためには、各画像間における位置関係（平行移動量及び回転角度）を正確に求める必要がある。
　特許文献１には、合成対象とする第１画像と第２画像のうち、第１画像から２つの基準点を選択し、基準点の周辺領域の画像パターンと最もよく適合する画像パターンを持つ点をパターンマッチングによって第２画像から探索し、２つの基準点の移動ベクトルから位置関係（平行移動量及び回転角度）を計算する装置が開示されている。また、特許文献２には、合成対象とする２つの超音波画像のそれぞれについて水平方向及び垂直方向の投影分布を計算し、投影分布の相関を求めることで位置関係を計算する装置が開示されている。
特許第４７０４６３０号公報 特許第４７８５１０５号公報
　プローブの幅が大きければ、そのプローブ幅に応じた大きい撮像範囲を確保できるが、人体の下肢又は上肢のような比較的曲率が大きい部位を超音波撮像する場合は、プローブ幅が大きすぎると被検体の表面に沿わないという問題がある。この場合、プローブを被検体表面に押し付けたり、スタンドオフを使用したりすると被検体を変形させる要因となり、合成画像に悪影響を及ぼす。一方、プローブの幅を小さくすると、上記のような被検体の変形の問題は解消されるが、例えばリニアスキャンのような撮像範囲が小さいスキャン方式では得られる超音波画像の幅が小さく、２つの画像間の位置関係を正確に計算するのが困難となる。また、例えばセクタスキャンのような広角なスキャン方式では、プローブ幅が小さくても大きい撮像領域を確保できるが、その一方でプローブの駆動周波数が低く、得られる超音波画像の分解能が低くなる場合がある。低分解能の画像からは正確な位置関係を求めることが難しい。２つの画像間の位置関係が正確に求められなければ、正確な合成画像を得ることはできない。
　本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、表面の曲率が大きい被検体であっても、正確な合成画像を得ることができる超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラムを提供することにある。
　上述した課題を解決するために、本発明の一の態様の超音波撮像システムは、互いに異なる第１及び第２超音波のそれぞれを被検体の表面から内部に送信し、前記被検体の内部において反射した前記第１及び第２超音波のそれぞれを受信するプローブと、前記プローブによって受信された前記第１超音波に基づいて第１超音波画像を生成し、前記プローブによって受信された前記第２超音波に基づいて第２超音波画像を生成する画像生成部と、前記被検体の表面の互いに異なる２つの位置のそれぞれにおいて前記プローブによって受信された前記第１超音波に基づいて前記画像生成部によって生成された２つの第１超音波画像と、前記２つの位置のそれぞれにおいて前記プローブによって受信された前記第２超音波に基づいて前記画像生成部によって生成された２つの第２超音波画像とに基づいて、前記２つの位置の関係を算出する位置関係算出部と、前記位置関係算出部によって算出された前記２つの位置の関係に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成する画像合成部とを備える。
　上記態様において、前記プローブは、互いに異なる走査方式により前記第１及び第２超音波のそれぞれを送信してもよい。
　上記態様において、前記プローブは、互いに異なる周波数により前記第１及び第２超音波のそれぞれを送信してもよい。
　また、本発明の他の態様の超音波撮像装置は、互いに異なる第１及び第２超音波のそれぞれを被検体の表面から内部に送信し、前記被検体の内部において反射した前記第１及び第２超音波のそれぞれを受信するプローブによって受信された前記第１超音波に基づいて第１超音波画像を生成し、前記プローブによって受信された前記第２超音波に基づいて第２超音波画像を生成する画像生成部と、前記被検体の表面の互いに異なる２つの位置のそれぞれにおいて前記プローブによって受信された前記第１超音波に基づいて前記画像生成部によって生成された２つの第１超音波画像と、前記２つの位置のそれぞれにおいて前記プローブによって受信された前記第２超音波に基づいて前記画像生成部によって生成された２つの第２超音波画像とに基づいて、前記２つの位置の関係を算出する位置関係算出部と、前記位置関係算出部によって算出された前記２つの位置の関係に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成する画像合成部とを備える。
　上記態様において、前記画像生成部は、前記第１超音波画像と、前記第１超音波画像よりも撮像範囲が狭く、且つ、分解能が高い前記第２超音波画像とを生成してもよい。
　また、上記態様において、前記画像生成部は、被検体の表面に沿って移動しつつ前記第１及び第２超音波を前記被検体の内部に繰り返し送信し、前記被検体の内部において反射した前記第１及び第２超音波を繰り返し受信する前記プローブによって連続して受信された前記第１及び第２超音波のそれぞれに基づいて、１フレームの前記第１及び第２超音波画像を生成し、前記位置関係算出部は、連続する第１及び第２フレームのそれぞれにおける２つの前記第１超音波画像及び２つの前記第２超音波画像に基づいて前記２つの位置の関係を算出してもよい。
　また、上記態様において、前記位置関係算出部は、互いに交差する２方向についての前記２つの位置の距離を含む前記２つの位置の関係を算出してもよい。
　また、上記態様において、前記位置関係算出部は、前記２方向を含む平面内における回転角度をさらに含む前記２つの位置の関係を算出してもよい。
　また、上記態様において、前記超音波撮像装置は、前記プローブが向く方向を検出するセンサによって前記２つの位置のそれぞれにおいて検出された角度に基づいて、前記２つの位置における前記プローブの前記２方向を含む平面内での回転角度を算出する回転角度算出部をさらに備え、前記画像合成部は、前記位置関係算出部によって算出された前記距離と、前記回転角度算出部によって算出された前記回転角度とに基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成してもよい。
　また、上記態様において、前記位置関係算出部は、前記２つの第１超音波画像に基づいて、前記２つの位置の関係の推定値である第１関係量を算出する位置関係推定部と、前記２つの第２超音波画像に基づいて、前記位置関係推定部によって算出された前記第１関係量を修正した第２関係量を算出する位置関係修正部とを含み、前記画像合成部は、前記位置関係修正部によって算出された前記第２関係量に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成してもよい。
　また、上記態様において、前記位置関係推定部は、互いに交差する２方向についての前記２つの位置の距離を含む前記第１関係量を算出し、前記位置関係修正部は、前記位置関係推定部によって算出された前記距離を修正した前記第２関係量を算出してもよい。
　また、上記態様において、前記位置関係推定部は、前記２つの第１超音波画像のそれぞれの特徴点を抽出し、前記２つの第１超音波画像間における前記特徴点の対応関係を決定することにより、前記第１関係量を算出してもよい。
　また、上記態様において、前記位置関係修正部は、前記２つの第２超音波画像の輝度分布の相関に基づいて、前記第２関係量を算出してもよい。
　また、上記態様において、前記画像生成部は、前記プローブが前記被検体の内部に向けて扇形に前記第１超音波を送信したときに受信した前記第１超音波に基づいてセクタスキャン画像である前記第１超音波画像を生成し、前記プローブが前記被検体の内部に向けて帯状に延びる範囲に前記第２超音波を送信したときに受信した前記第２超音波に基づいてリニアスキャン画像である前記第２超音波画像を生成してもよい。
　また、本発明の他の態様の超音波撮像方法は、超音波を送受するプローブによって、互いに異なる第１及び第２超音波のそれぞれを被検体の表面の互いに異なる２つの位置のそれぞれから前記被検体の内部に送信し、前記被検体の内部において反射した前記第１及び第２超音波のそれぞれを前記２つの位置のそれぞれにおいて受信するステップと、前記２つの位置のそれぞれにおいて前記プローブで受信された前記第１超音波のそれぞれに基づいて２つの第１超音波画像を生成するステップと、前記２つの位置のそれぞれにおいて前記プローブで受信された前記第２超音波のそれぞれに基づいて２つの第２超音波画像を生成するステップと、前記２つの第１超音波画像と前記２つの第２超音波画像とに基づいて、前記２つの位置の関係を算出するステップと、算出された前記２つの位置の関係に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成するステップとを有する。
　また、本発明の他の態様の画像合成プログラムは、被検体の内部を撮像して得られた複数の超音波画像を合成する処理をコンピュータに実行させる画像合成プログラムであって、前記コンピュータに、互いに異なる第１及び第２超音波のそれぞれを被検体の前記表面から内部に送信し、前記被検体の内部において反射した前記第１及び第２超音波のそれぞれを受信するプローブによって前記被検体の表面の互いに異なる２つの位置のそれぞれにおいて受信された前記第１超音波に基づいて生成された２つの第１超音波画像と、前記２つの位置のそれぞれにおいて前記プローブによって受信された前記第２超音波に基づいて生成された２つの第２超音波画像とに基づいて、前記２つの位置の関係を算出するステップと、算出された前記２つの位置の関係に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成するステップとを実行させる。
　本発明によれば、表面の曲率が大きい被検体であっても、正確な合成画像を得ることができる。
実施の形態１に係る超音波撮像システムの構成を示す模式図。 実施の形態１に係る超音波撮像システムのプローブ及び制御装置の構成を示す模式図。 セクタスキャンモードで大腿部の断面を撮像する場合のプローブの動作を説明するための概念図。 リニアスキャンモードで大腿部の断面を撮像する場合のプローブの動作を説明するための概念図。 第１超音波画像の一例を示す図。 第２超音波画像の一例を示す図。 画像合成装置の構成を示すブロック図。 実施の形態１に係る超音波撮像システムの動作手順を示すフローチャート。 スキャン動作の手順を示すフローチャート。 実施の形態１に係る超音波撮像システムにおけるフレームを説明するための模式図。 特徴点マッチング処理を説明するための概念図。 外れ値を除いた対応特徴点を示す図。 位置関係算出処理の手順を示すフローチャート。 位置関係修正処理を説明するための概念図。 実施の形態２に係る超音波撮像システムのプローブ及び制御装置の構成を示す模式図。 実施の形態２に係る超音波撮像システムの動作手順を示すフローチャート。 スキャン動作の手順を示すフローチャート。 第１超音波画像と第２超音波画像との合成の一例を示す図。 複数のプローブによるスキャンの一例を示す図。
　以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
　（実施の形態１）
　本実施の形態では、プローブによってセクタスキャンとリニアスキャンとを交互に繰り返し、２つの位置における２回のセクタスキャンによって得られた２つのセクタスキャン画像から２つの位置の関係の推定値である第１関係量（平行移動量及び回転角度）を算出し、２回のセクタスキャンそれぞれの直後に実行される２回のリニアスキャンによって得られた２つのリニアスキャン画像に基づいて第１関係量を修正した第２関係量を算出し、セクタスキャン画像及びリニアスキャン画像を第２関係量に基づいて合成する。
　＜超音波撮像システムの構成＞
　図１は、本実施の形態に係る超音波撮像システムの構成を示す模式図である。図１に示すように、超音波撮像システム１００は、プローブ２００と、超音波撮像装置３００とを含んでいる。また、超音波撮像装置３００は、制御装置４００と、画像合成装置５００とを含んでいる。プローブ２００は制御装置４００を介して画像合成装置５００に接続されている。
　図２は、プローブ２００及び制御装置４００の構成を示す模式図である。プローブ２００は、オペレータが把持できる形状をなしている。かかるプローブ２００の先端面には超音波送受面２０１が設けられている。他方、プローブ２００の基端からはケーブルが延びており、当該ケーブルが制御装置４００に接続されている。
　超音波送受面２０１には、複数の超音波振動子２０２を一列に並べて構成された超音波アレイセンサ２０３が配置されている。超音波アレイセンサ２０３は、制御装置４００に接続され、制御装置４００から与えられる制御信号により超音波を送信し、また、反射された超音波を受信する。超音波アレイセンサ２０３からは、受信された超音波を示す電気信号が制御装置４００へ出力される。
　制御装置４００は、ＣＰＵ及びメモリからなる制御部４０１と、通信部４０２及び４０３と、画像生成部４０４とを含んでいる。通信部４０２は、プローブ２００に接続され、プローブ２００との間で通信を行う。通信部４０３は、画像合成装置５００に接続され、画像合成装置５００との間で通信を行う。画像生成部４０４は、超音波アレイセンサ２０３から出力された電気信号から画像を生成する。
　制御部４０１は、画像合成装置５００から与えられる指示にしたがって、通信部４０２，４０３及び画像生成部４０４を制御する。また、制御部４０１は、画像合成装置５００から与えられる指示に応じて、通信部４０２を通じてプローブ２００に制御信号を送信する。この制御部４０１の制御により、プローブ２００は、セクタスキャンモードとリニアスキャンモードとを交互に切り替えながら動作する。このように、制御装置４００は画像合成装置５００によって制御される。
　プローブ２００の動作モードについて説明する。プローブ２００は、セクタスキャンモードで動作できる。図３Ａは、セクタスキャンモードで大腿部６００の断面を撮像する場合のプローブ２００の動作を説明するための概念図である。セクタスキャンモードの場合、制御装置４００は、所定の位相差を持たせて各超音波振動子２０２を振動させることで、プローブ２００から送信される超音波ビームを扇形に形成する。セクタスキャンモードにおける超音波アレイセンサ２０３の駆動周波数は、例えば約３ＭＨｚとされる。以下、セクタスキャンモードにおいてプローブ２００から送信される超音波を「第１超音波」という。第１超音波は、被検体である大腿部６００の内部において反射され、その反射波が超音波アレイセンサ２０３によって受信される。このとき超音波アレイセンサ２０３が出力する電気信号は、画像生成部４０４に与えられ、画像生成部４０４が当該電気信号をセクタスキャンモードにおける超音波画像（以下、「第１超音波画像」という）に変換する。図４Ａは、第１超音波画像の一例を示す図である。図４Ａに示すように、第１超音波画像７０１は、扇形の撮像範囲６０１（図３Ａ参照）を写した断面画像である。
　また、プローブ２００は、リニアスキャンモードでも動作できる。図３Ｂは、リニアスキャンモードで大腿部６００の断面を撮像する場合のプローブ２００の動作を説明するための概念図である。リニアスキャンモードの場合、制御装置４００は、位相を揃えて各超音波振動子２０２を振動させることで、プローブ２００から送信される超音波ビームを超音波送受面２０１に直交する方向に延びた帯状に形成する。リニアスキャンモードにおける超音波アレイセンサ２０３の駆動周波数は、例えば約６ＭＨｚとされる。以下、リニアスキャンモードにおいてプローブ２００から送信される超音波を「第２超音波」という。第２超音波は、被検体である大腿部６００の内部において反射され、その反射波が超音波アレイセンサ２０３によって受信される。このとき超音波アレイセンサ２０３が出力する電気信号は、画像生成部４０４に与えられ、画像生成部４０４が当該電気信号をリニアスキャンモードにおける超音波画像（以下、「第２超音波画像」という）に変換する。図４Ｂは、第２超音波画像の一例を示す図である。図４Ｂに示すように、第２超音波画像７０２は、帯状の撮像範囲６０２（図３Ｂ参照）を写した断面画像である。
　上記のように、リニアスキャンモードにおける帯状の撮像範囲６０２は、プローブ幅、つまり、超音波アレイセンサ２０３の長さと同程度の幅しかない。これに対してセクタスキャンモードにおける撮像範囲６０１は、超音波アレイセンサ２０３から扇状に広がっている（図３Ａ及び図３Ｂ参照）。このように、第２超音波画像７０２の撮像範囲６０２は、第１超音波画像７０１の撮像範囲６０１よりも小さい。また、セクタスキャンでは、比較的低い駆動周波数（中心周波数が２～７ＭＨｚ）で超音波ビームの走査が行われ、リニアスキャンよりも超音波の到達距離が長く、深部まで超音波が到達する。リニアスキャンでは、比較的高い駆動周波数（中心周波数が２．５～１２ＭＨｚ）で超音波ビームの走査が行われ、セクタスキャンよりも超音波の到達距離が短い。つまり、深さ方向についても、セクタスキャンの撮像範囲６０１はリニアスキャンの撮像範囲６０２よりも大きい。一方、画像の分解能についていえば、リニアスキャンモードにおける超音波アレイセンサ２０３の駆動周波数の方が、セクタスキャンモードにおける駆動周波数よりも大きいため、第２超音波画像７０２の分解能は第１超音波画像７０１の分解能よりも高い。
　次に、画像合成装置５００の構成について説明する。図５は、画像合成装置５００の構成を示すブロック図である。画像合成装置５００は、コンピュータ５１０によって実現される。図５に示すように、コンピュータ５１０は、本体５２０と、入力部５３０と、表示部５４０とを備えている。本体５２０は、ＣＰＵ５２１、ＲＯＭ５２２、ＲＡＭ５２３、読出装置５２４、ハードディスク５２５、入出力インタフェース５２６、通信インタフェース５２７、及び画像出力インタフェース５２８を備えており、ＣＰＵ５２１、ＲＯＭ５２２、ＲＡＭ５２３、読出装置５２４、ハードディスク５２５、入出力インタフェース５２６、通信インタフェース５２７、及び画像出力インタフェース５２８は、バスによって接続されている。
　ＣＰＵ５２１は、ＲＡＭ５２３にロードされたコンピュータプログラムを実行する。そして、超音波撮像用のコンピュータプログラムである画像合成プログラム５５０を当該ＣＰＵ５２１が実行することにより、コンピュータ５１０が画像合成装置５００として機能し、制御装置４００と組み合わされることにより超音波撮像装置３００として機能する。
　ＲＯＭ５２２には、ＣＰＵ５２１に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。ＲＡＭ５２３は、ハードディスク５２５に記録されている画像合成プログラム５５０の読み出しに用いられる。また、ＲＡＭ５２３は、ＣＰＵ５２１がコンピュータプログラムを実行するときに、ＣＰＵ５２１の作業領域として利用される。
　ハードディスク５２５は、オペレーティングシステム及びアプリケーションプログラム等、ＣＰＵ５２１に実行させるための種々のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータがインストールされている。画像合成プログラム５５０も、このハードディスク５２５にインストールされている。
　入出力インタフェース５２６には、例えばキーボード及びマウスからなる入力部５３０が接続されている。
　通信インタフェース５２７には、制御装置４００が接続されており、通信インタフェース５２７がＣＰＵ５２１からの制御信号を制御装置４００へ送信し、制御装置４００から第１及び第２超音波画像７０１，７０２を受信するようになっている。また、ＲＡＭ５２３は、セクタ画像フレームメモリ５３１と、リニア画像フレームメモリ５３２とを含んでいる。受信された第１超音波画像７０１はセクタ画像フレームメモリ５３１に格納され、第２超音波画像７０２はリニア画像フレームメモリ５３２に格納される。
　画像出力インタフェース５２８は、例えばＬＣＤまたはＣＲＴ等で構成された表示部５４０に接続されており、ＣＰＵ５２１から与えられた画像データに応じた映像信号を表示部５４０に出力するようになっている。表示部５４０は、入力された映像信号にしたがって、画像（画面）を表示する。
　＜超音波撮像システムの動作＞
　次に、本実施の形態に係る超音波撮像システムの動作について説明する。図６は、本実施の形態に係る超音波撮像システムの動作手順を示すフローチャートである。画像合成装置５００のＣＰＵ５２１は、制御装置４００に対してスキャン開始を指示し、これに応じて制御装置４００の制御部４０１がプローブ２００にスキャン動作を実行させる（ステップＳ１０１）。このスキャン動作中に、オペレータは、超音波送受面２０１を被検体の表面に当てた状態で、プローブ２００を被検体の表面に沿って移動させる。
　スキャン動作では、制御部４０１がセクタスキャンモードとリニアスキャンモードとを交互に切り替えながらプローブ２００を駆動する。以下、スキャン動作についてさらに詳しく説明する。図７は、スキャン動作の手順を示すフローチャートである。まず制御部４０１は、フレーム番号ｎに初期値（０）を割り当てる（ステップＳ１５１）。次に制御部４０１は、セクタスキャンモードでプローブ２００を駆動し、セクタスキャンを実行させる（ステップＳ１５２）。セクタスキャンでは、プローブ２００が、被検体の表面から垂直方向（被検体の深さ方向）へ向けて扇形のビーム形状で第１超音波を送信し、被検体の内部で反射した第１超音波を受信する。
　プローブ２００は、受信した第１超音波を示す電気信号を制御装置４００へ送信し、制御装置４００の通信部４０２がこれを受信する。画像生成部４０４が電気信号から第１超音波画像７０１を生成する（ステップＳ１５３）。
　制御部４０１は、プローブ２００にセクタスキャンを実行させた後、リニアスキャンモードでプローブ２００を駆動し、リニアスキャンを実行させる（ステップＳ１５４）。リニアスキャンでは、プローブ２００が、被検体の表面から垂直方向へ向けて帯状（矩形）のビーム形状で第２超音波を送信し、被検体の内部で反射した第２超音波を受信する。
　プローブ２００は、受信した第２超音波を示す電気信号を制御装置４００へ送信し、制御装置４００の通信部４０２がこれを受信する。画像生成部４０４が電気信号から第２超音波画像７０２を生成する（ステップＳ１５５）。制御部４０１は、生成された第１及び第２超音波画像７０１，７０２をフレーム番号ｎと共に通信部４０３から画像合成装置５００へと送信する。１フレーム分の第１及び第２超音波画像７０１，７０２は、フレーム番号と共にセクタ画像フレームメモリ５３１及びリニア画像フレームメモリ５３２のそれぞれに格納される。
　上記のようなスキャン動作を終了する場合、ＣＰＵ５２１が制御装置４００に対してスキャン終了を指示する。制御部４０１は、スキャン終了の指示を受け付けたか否かを判定し（ステップＳ１５６）、スキャン終了の指示を受け付けた場合は（ステップＳ１５６においてＹＥＳ）、スキャン動作を終了する。他方、スキャン終了の指示を受け付けていない場合は（ステップＳ１５６においてＮＯ）、制御部４０１は、フレーム番号ｎをインクリメントし（ステップＳ１５７）、ステップＳ１５２へ処理を戻し、プローブ２００に再度セクタスキャン及びリニアスキャンを実行させる。
　上記のように、スキャン動作における１つのサイクルは、１回のセクタスキャンと１回のリニアスキャンとを含み、プローブ２００は、かかるサイクルを複数回実行する。この１回のサイクルが１フレームに対応する。図８は、本実施の形態に係る超音波撮像システムにおけるフレームを説明するための模式図である。１フレームには、１つの第１超音波画像と１つの第２超音波画像とが含まれる。１サイクルにおけるセクタスキャンとリニアスキャンとの時間間隔は極めて微少であるため、セクタスキャン及びリニアスキャンが同一位置にて実行されたものとみなす。つまり、１フレームに含まれる第１及び第２超音波画像は、同一位置を撮像した画像として取り扱う。以下、第ｎ－１フレームにおける第１超音波画像を７０１ｎ－１と、第ｎフレームにおける第１超音波画像を７０１ｎとして表記し、第ｎ－１フレームにおける第２超音波画像を７０２ｎ－１と、第ｎフレームにおける第１超音波画像を７０２ｎとして表記する。
　再度図６を参照する。上記のようなスキャン動作が終了すると、画像合成装置５００のＣＰＵ５２１は、フレーム番号ｎに初期値（０）をセットし（ステップＳ１０２）、第ｎフレームにおける第１超音波画像７０１ｎから特徴点を抽出する（ステップＳ１０３）。この特徴点抽出処理では、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）等の回転不変性を備えた局所特徴量抽出アルゴリズム、つまり、画像を回転させたとしても同じ局所特徴量を抽出できるアルゴリズムが用いられる。
　次に、ＣＰＵ５２１は、特徴点抽出処理を実行した対象が、最初のフレームの第１超音波画像であるか否か、即ち、その時点でのｎの値が「０」であるか否かを判定する（ステップＳ１０４）。特徴点抽出処理を実行した対象が最初のフレームの第１超音波画像である場合（ステップＳ１０４においてＹＥＳ）、ＣＰＵ５２１は、抽出した特徴点の情報をハードディスク５２５に記憶した上で、ステップＳ１０９へ移行し、次のフレーム（フレーム番号「１」）における特徴点抽出処理に移る。
　他方、特徴点抽出処理を実行した対象が最初のフレームの第１超音波画像でない、つまり、その時点でのｎの値が「０」でない場合（ステップＳ１０４においてＮＯ）、ＣＰＵ５２１は、第ｎ－１フレームの第１超音波画像７０１ｎ－１の特徴点と、第ｎフレームの第１超音波画像７０１ｎの特徴点とのマッチングを行い、各特徴点の対応関係を決定する（ステップＳ１０５）。図９は、ステップＳ１０５の処理（以下、「特徴点マッチング処理」という）を説明するための概念図である。特徴点マッチング処理では、第ｎ－１フレームの第１超音波画像７０１ｎ－１の特徴点と、第ｎフレームの第１超音波画像７０１ｎの特徴点との間で、最も近い特徴量を持つ特徴点同士を対応付ける。特徴量の近さの算出には、特徴点抽出手法に応じて、ユークリッド距離、ハミング距離などが利用される。図９において、第ｎ－１フレームの第１超音波画像７０１ｎ－１と、第ｎフレームの第１超音波画像７０１ｎとに示される同じマークは対応する特徴点である。図９は簡略化して示しているが、１つの第１超音波画像について数百個の特徴点が抽出される。
　再び図６を参照する。次にＣＰＵ５２１は、位置関係算出処理を実行し（ステップＳ１０６）、第ｎ－１及び第ｎフレーム間におけるプローブ２００の位置関係を算出する。位置関係算出処理は、位置関係推定処理（ステップＳ１０７）と位置関係修正処理（ステップＳ１０８）とを含む。
　位置関係推定処理では、ステップＳ１０５において決定された特徴点の対応関係から、第ｎ－１及び第ｎフレーム間におけるプローブ２００の位置関係の推定値として、第ｎ－１及び第ｎフレーム間における第１超音波画像の移動量（位置パラメータ）である第１関係量を算出する。算出される第１関係量は、互いに直行する２方向ｘ，ｙそれぞれについての距離である平行移動量Δｘ，Δｙ及び回転角度Δθである。
　以下、位置関係推定処理について詳しく説明する。第ｎ－１フレームの第１超音波画像７０１ｎ－１上の特徴点（ｘｋ，ｙｋ）と第ｎフレームの第１超音波画像７０１ｎ上の特徴点（ｘ'ｋ，ｙ'ｋ）との間には、理想的には次式（１）で示す関係が成り立つ。ここで、ｋは対応付けられた特徴点の番号である。
Figure JPOXMLDOC01-appb-M000001
　しかし、多数の特徴点の対応関係を、対応する特徴点から求めた一組の位置関係で満足することはできない。これは、特徴点の座標には誤差が含まれており、また、ノイズの影響により決定された対応関係自体に誤りが含まれるためである。したがって、計算に悪影響を及ぼす外れ値を除外しつつ、第１関係量を計算する。外れ値の除外にはＲＡＮＳＡＣアルゴリズムを、位置関係の計算にはガウス・ニュートン法、レーベンバーグ・マーカート法等の非線形最小二乗法を利用できる。図１０は、外れ値を除いた対応特徴点を示す図である。外れ値を除外することにより、正確に対応付けられた特徴点を用いて第１関係量を正確に算出できる。
　図１１は、位置関係推定処理の手順を示すフローチャートである。位置関係推定処理において、まずＣＰＵ５２１は、全ての対応する特徴点から、無作為に２組を選択し（ステップＳ１７１）、得られた２組の特徴点から、第ｎ－１及び第ｎフレーム間におけるプローブ２００の位置関係（移動量）の候補値である関係量候補を算出する（ステップＳ１７２）。
　次にＣＰＵ５２１は、算出された関係量候補を用いて、全ての対応する特徴点（以下、「対応特徴点」という）で二乗誤差を計算し、誤差が所定の閾値以下となる対応特徴点は関係量候補を支持するものとして、この数をカウントする（ステップＳ１７３）。二乗誤差ｅｋの計算には、次式（２）が使用される。
Figure JPOXMLDOC01-appb-M000002
　ＣＰＵ５２１は、繰り返し回数が所定数に達したか否かを判定し（ステップＳ１７４）、繰り返し回数が所定数に達していなければ（ステップＳ１７４においてＮＯ）、ステップＳ１７１に処理を戻す。これにより、ステップＳ１７１～Ｓ１７３の処理が繰り返し実行され、複数の関係量候補が得られる。
　繰り返し回数が所定数に達した場合（ステップＳ１７４においてＹＥＳ）、ＣＰＵ５２１は、全ての関係量候補のうち、支持数が最大のものを選択する（ステップＳ１７５）。
　次にＣＰＵ５２１は、ステップＳ１７５で選択された関係量候補を支持する対応特徴点を用いて、最終的な第１関係量を計算し（ステップＳ１７６）、位置関係推定処理を終了する。
　ステップＳ１７２及びＳ１７６では、複数組（組数をＫとする）の対応特徴点を使用して第１関係量（又は関係量候補）を算出する。このような第１関係量（又は関係量候補）の算出には、次式（３）で定義される誤差関数が使用される。
Figure JPOXMLDOC01-appb-M000003
　式（３）に示される誤差関数を最小化する第１関係量（又は関係量候補）を、ガウス・ニュートン法、レーベンバーグ・マーカート法等の非線形最小二乗法によって求める。式（１）から２つの方程式が得られるため、２組以上の対応特徴点があれば第１関係量（又は関係量候補）を算出できる。ステップＳ１７２では対応特徴点の組数Ｋ＝２であり、ステップＳ１７６ではＫ≧２である。
　セクタスキャン画像である第１超音波画像を用いた特徴点に基づく第１関係量の算出には、次のような利点がある。
（１）プローブ幅が小さいプローブ２００を使用するとリニアスキャンにおける撮像範囲が小さくなり、リニアスキャン画像（第２超音波画像）を用いた位置関係の算出では正確な回転角度Δθの算出が困難となる。この点、撮像範囲が大きいセクタスキャン画像を使用することで、精度よくΔθを算出できる。
（２）局所特徴点のマッチングでは、座標ではなく、特徴量の類似度に基づいてマッチングするため、第ｎ－１及び第ｎフレームの撮像位置を考慮することなく、両者の位置関係を算出できる。
　以上の位置関係推定処理によって、第ｎ－１フレームと第ｎフレームの間におけるプローブ２００の位置関係の推定値である第１関係量が求められる。第１関係量が大きい場合、つまり、第ｎ－１フレームにおけるプローブ２００の位置と第ｎフレームにおけるプローブ２００の位置との間の距離が大きい場合、セクタスキャン画像である第１超音波画像では十分な重畳領域を確保できても、リニアスキャン画像である第２超音波画像では十分な重畳領域を確保できず、後の第２超音波画像の相関値算出及び画像合成を正確に行うことができない場合がある。よって、このような場合には、処理エラーとしたり、合成精度を落として画像相関の処理をスキップし、位置関係推定処理によって得られた第１関係量をそのまま使用して画像合成を行ったりすることができる。
　再び図６を参照する。位置関係推定処理の後、ＣＰＵ５２１は、位置関係修正処理を実行する（ステップＳ１０８）。位置関係修正処理では、第ｎ－１及び第ｎフレーム間における第２超音波画像７０２ｎ－１，７０２ｎの画像相関により、位置関係推定処理で算出された第１関係量を修正した第２関係量を算出する。本実施形態では、位置関係修正処理において、第１関係量のうち平行移動量Δｘ，Δｙを修正する。
　以下、位置関係修正処理について詳しく説明する。ＣＰＵ５２１は、位置関係推定処理によって算出された第１関係量（平行移動量Δｘ，Δｙ及び回転角度Δθ）を用いて、第ｎフレームの第２超音波画像７０２ｎに対し平行移動及び回転処理を施す。以下、この移動後の第２超音波画像を、第ｎ'フレーム画像という。
　図１２は、位置関係修正処理を説明するための概念図である。次に、ＣＰＵ５２１は、第ｎ'フレーム画像７０２ｎ'を、ｘ軸又はｙ軸方向にΔｘ'，Δｙ'だけ移動させ、移動後の画像と第ｎ－１フレームの第２超音波画像７０２ｎ－１とを比較し、輝度値に基づく画像相関値を算出する。相関値の算出には、ＳＡＤ（Sum of Absolute Difference），ＺＮＣＣ（Zero-mean Nomalized Cross-Correlation）等を利用できる。ＣＰＵ５２１は、第ｎ'フレーム画像の移動と画像相関値の算出を繰り返し実行し、ｘ軸及びｙ軸の両方について所定の探索範囲（例えば±２０ピクセル）を探索し、各位置における画像相関値を得る。ＣＰＵ５２１は、各位置における画像相関値を算出すると、画像相関値が最大となる位置を最終的な平行移動量Δｘ，Δｙとして決定する。
　リニアスキャン画像はセクタスキャン画像に比べて分解能が高く、スペックルが少ないため、リニアスキャン画像を用いることにより精度よく平行移動量を修正できる。以上の位置関係修正処理により算出された第２関係量（Δｘ，Δｙ，Δθ）は、フレーム番号ｎと共にハードディスク５２５に記憶される。
　再び図６を参照する。次にＣＰＵ５２１は、ｎの値が最終フレーム番号Ｎと一致するか否かを判定する（ステップＳ１０９）。ｎが最大値Ｎと一致しない場合（ステップＳ１０９においてＮＯ）、ＣＰＵ５２１は、ｎをインクリメントし（ステップＳ１１０）、ステップＳ１０３に処理を戻す。
　ｎが最大値Ｎと一致する場合（ステップＳ１０９においてＹＥＳ）、ＣＰＵ５２１は、第２関係量を用いて第ｎ－１及び第ｎフレームの第１超音波画像７０１ｎ－１，７０１ｎを合成し（ステップＳ１１１）、同様に第２関係量を用いて第ｎ－１及び第ｎフレームの第２超音波画像７０２ｎ－１，７０２ｎを合成する（ステップＳ１１２）。ＣＰＵ５２１は、合成された第１超音波画像及び合成された第２超音波画像を表示部に表示させ（ステップＳ１１３）、処理を終了する。
　以上のように構成したことで、広角な撮像方式であるセクタスキャンによって大きい撮像範囲の第１超音波画像を取得し、これを用いて第１関係量を算出するため、人体の下肢又は上肢のような曲率が大きい部位を幅が小さいプローブを使用して超音波撮像する場合においても、確実に第１関係量を算出できる。また、高分解能なリニアスキャンによって得られる第２超音波画像を使用して、第１関係量を修正した第２関係量を算出するため、正確な第２関係量を得ることができる。
　（実施の形態２）
　本実施の形態では、プローブに角度センサを設け、この角度センサによってプローブが向く方向を取得し、２回のセクタスキャンの間のプローブの回転角度を算出する。プローブによってセクタスキャンとリニアスキャンとを交互に繰り返し、２つの位置における２回のセクタスキャンによって得られた２つのセクタスキャン画像から２つの位置間の距離（平行移動量）である第１関係量を算出し、２つの位置における２回のリニアスキャンによって得られた２つのリニアスキャン画像に基づいて第１関係量を修正した第２関係量（平行移動量）を算出し、セクタスキャン画像又はリニアスキャン画像を第２関係量及び角度センサから得られた回転角度に基づいて合成する。
　＜超音波撮像システムの構成＞
　図１３は、プローブ２５０及び制御装置４００の構成を示す模式図である。プローブ２５０は、角度センサ２５１を含んでいる。角度センサ２５１は、プローブ２５０の鉛直方向からの傾き、即ち、超音波送受面２０１が向く方向を検出する。本実施の形態に係る超音波撮像システムのその他の構成は、実施の形態１に係る超音波撮像システム１００の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
　＜超音波撮像システムの動作＞
　次に、本実施の形態に係る超音波撮像システムの動作について説明する。図１４は、本実施の形態に係る超音波撮像システムの動作手順を示すフローチャートである。画像合成装置５００のＣＰＵ５２１は、制御装置４００に対してスキャン開始を指示し、これに応じて制御装置４００の制御部４０１がプローブ２５０にスキャン動作を実行させる（ステップＳ２０１）。このスキャン動作中に、オペレータは、超音波送受面２０１を被検体の表面に当てた状態で、プローブ２５０を被検体の表面に沿って移動させる。
　スキャン動作では、制御部４０１がセクタスキャンモードとリニアスキャンモードとを交互に切り替えながらプローブ２５０を駆動する。以下、スキャン動作についてさらに詳しく説明する。図１５は、スキャン動作の手順を示すフローチャートである。まず制御部４０１は、フレーム番号ｎに初期値（０）を割り当てる（ステップＳ２５１）。次に制御部４０１は、セクタスキャンモードでプローブ２５０を駆動し、セクタスキャンを実行させる（ステップＳ２５２）。セクタスキャンでは、プローブ２５０が、被検体の表面から垂直方向へ向けて扇形にビームを走査して第１超音波を送信し、被検体の内部で反射した第１超音波を受信する。また、角度センサ２５１が、セクタスキャン時におけるプローブ２５０の鉛直方向からの傾斜角度を検出する（ステップＳ２５３）。
　プローブ２５０は、受信した第１超音波を示す電気信号と、傾斜角度を示す電気信号とを制御装置４００へ送信し、制御装置４００の通信部４０２がこれらの電気信号を受信する。画像生成部４０４が電気信号から第１超音波画像７０１を生成する（ステップＳ２５４）。
　制御部４０１は、プローブ２５０にセクタスキャンを実行させた後、リニアスキャンモードでプローブ２５０を駆動し、リニアスキャンを実行させる（ステップＳ２５５）。リニアスキャンでは、プローブ２５０が、被検体の表面から垂直方向へ向けて帯状（矩形）のビーム形状で第２超音波を送信し、被検体の内部で反射した第２超音波を受信する。
　プローブ２５０は、受信した第２超音波を示す電気信号を制御装置４００へ送信し、制御装置４００の通信部４０２がこれを受信する。画像生成部４０４が電気信号から第２超音波画像７０２を生成する（ステップＳ２５６）。制御部４０１は、生成された第１及び第２超音波画像７０１，７０２をフレーム番号ｎ及び傾斜角度と共に通信部４０３から画像合成装置５００へと送信する。１フレーム分の第１及び第２超音波画像７０１，７０２は、フレーム番号と共にセクタ画像フレームメモリ５３１及びリニア画像フレームメモリ５３２のそれぞれに格納される。また、ハードディスク５２５には、フレーム番号と共に傾斜角度が記憶される。
　上記のようなスキャン動作を終了する場合、ＣＰＵ５２１が制御装置４００に対してスキャン終了を指示する。制御部４０１は、スキャン終了の指示を受け付けたか否かを判定し（ステップＳ２５７）、スキャン終了の指示を受け付けた場合は（ステップＳ２５７においてＹＥＳ）、スキャン動作を終了する。他方、スキャン終了の指示を受け付けていない場合は（ステップＳ２５７においてＮＯ）、制御部４０１は、フレーム番号ｎをインクリメントし（ステップＳ２５８）、ステップＳ２５２へ処理を戻し、プローブ２５０に再度セクタスキャン及びリニアスキャンを実行させる。
　上記のように、スキャン動作における１つのサイクルは、１回のセクタスキャンと１回のリニアスキャンとを含み、プローブ２５０は、かかるサイクルを複数回実行する。この１回のサイクルが１フレームに対応する。１フレームには、１つの第１超音波画像７０１と１つの第２超音波画像７０２とが含まれる。１サイクルにおけるセクタスキャンとリニアスキャンとの時間間隔は極めて微少であるため、セクタスキャン及びリニアスキャンが同一位置にて実行されたものとみなす。つまり、１フレームに含まれる第１及び第２超音波画像７０１，７０２は、同一位置を撮像した画像として取り扱う。
　再度図１４を参照する。ステップＳ２０２乃至Ｓ２０５の処理は、実施の形態１で説明したステップＳ１０２乃至Ｓ１０５の処理と同様であるので、その説明を省略する。
　ＣＰＵ５２１は、角度センサ２５１によって検出された傾斜角度から回転角度Δθを算出する（ステップＳ２０６）。回転角度Δθは、第ｎ－１及び第ｎフレーム間の傾斜角度の差として計算される。なお、角度センサ２５１に代えて、地磁気によって方位を検出する方位センサをプローブ２５０に設け、第ｎ－１及び第ｎフレームのそれぞれにおいて方位センサによって検出された方位に基づいて回転角度Δθを算出してもよい。
　次にＣＰＵ５２１は、位置関係算出処理を実行する（ステップＳ２０７）。位置関係算出処理は、位置関係推定処理（ステップＳ２０８）と位置関係修正処理（ステップＳ２０９）とを含む。本実施の形態では、位置関係推定処理において回転角度を除く位置パラメータΔｘ，Δｙを第１関係量として第１超音波画像から算出する。平行移動量Δｘ，Δｙの算出方法は、実施の形態１で説明したものと同様である。
　ステップＳ２０９乃至Ｓ２１４の処理は、実施の形態１で説明したステップＳ１０８乃至Ｓ１１３の処理と同様であるので、その説明を省略する。
　以上のように構成したことで、角度センサ２５１によって検出された傾斜角度を用いてプローブ２５０の回転角度を精度よく求めることができ、正確な画像合成を行うことができる。また、画像処理によって回転角度を算出する必要がなく、計算量が軽減される。
　（その他の実施の形態）
　上述した実施の形態１及び２においては、第２超音波画像を使用して第１関係量を修正したが、これに限定されるものではない。第１超音波画像から算出された第１関係量を修正することなく、画像合成に使用する構成とすることもできる。また、第１関係量のうち修正する対象を平行移動量Δｘ，Δｙとしたが、これに限定されるものではなく、回転角度Δθも修正対象としてもよい。
　また、上述した実施の形態１及び２においては、各フレームにおいて、セクタスキャンを先に、リニアスキャンを後に実行し、第ｎ－１及び第ｎフレームのそれぞれにおいて先に得られた第１超音波画像を用いて第１関係量を算出し、第ｎ－１及び第ｎフレームのそれぞれにおいて後に得られた第２超音波画像を用いて第１関係量を修正した第２関係量を算出する構成について述べたが、これに限定されるものではない。各フレームにおいて、リニアスキャンを先に、セクタスキャンを後に実行し、第ｎ－１及び第ｎフレームのそれぞれにおいて後に得られた第１超音波画像を用いて第１関係量を算出し、第ｎ－１及び第ｎフレームのそれぞれにおいて先に得られた第２超音波画像を用いて第１関係量を修正した第２関係量を算出する構成とすることもできる。
　また、１回のサイクルにおいてセクタスキャン及びリニアスキャンを実行するだけでなく、他のスキャンを実行してもよい。この場合、１フレームに第１及び第２超音波画像に加え、他の超音波画像が含まれる。但し、画像合成を行うためには画像にサイクルを跨いで重畳する領域が含まれる必要があるが、このようにすると１回のサイクルにかかる時間が大きくなるため、重畳する領域を十分に確保できなくなる虞がある。このため、１サイクルにかかる時間を考慮してプローブの移動速度を制限することが好ましい。例えば、１回のサイクルにかかる時間中にプローブ幅の半分以上移動する速度となれば、エラーを通知する構成とすることができる。
　また、実施の形態１及び２においては、連続する２つのフレーム間における画像を合成する構成について述べたが、これに限定されるものではない。異なる２つのフレームであれば、連続していなくてもよい。例えば、第ｎ－２及び第ｎフレーム間の超音波画像を合成する構成とすることもできる。この場合、第ｎ－２及び第ｎフレームの第１及び第２超音波画像に基づいて第ｎ－２及び第ｎフレームにおけるプローブの位置関係（第２関係量）を算出し、算出された位置関係に基づいて、第ｎ－２及び第ｎフレームの第１及び第２超音波画像の少なくとも一方を合成するものとなる。但し、この場合にも異なる２つのフレームの画像に重畳する領域を確保する必要がある。そのため、この２つのフレーム間の時間中にプローブ幅の半分未満移動する速度となるように移動速度を制限する構成とすることもできる。
　また、実施の形態１及び２においては、第１及び第２超音波画像の両方を合成する構成について述べたが、これに限定されるものではない。第１及び第２超音波画像のうちの一方を合成する構成としてもよい。例えば、オペレータが合成する対象を第１及び第２超音波画像から選択し、選択された画像を合成する構成とすることもできる。
　また、実施の形態１及び２においては、第１の超音波画像同士または第２の超音波画像同士を合成する構成について述べたが、第１の超音波画像と第２の超音波画像を合成する構成としてもよい。例えば、図１６に示すように、第ｎ－１フレームの第１超音波画像７０１ｎ－１と第ｎフレームの第２超音波画像７０２ｎとを合成することで、第１超音波画像の撮像範囲を維持しつつ、第２超音波画像の撮像範囲において画質を向上することができる。
　また、実施の形態１及び２においては、扇状の撮像範囲のセクタスキャンと、帯状の撮像範囲のリニアスキャンとを実行する構成について述べたが、これに限定されるものではない。一方の画像が撮像範囲が大きく且つ低分解能であり、他方の画像が撮像範囲が小さく且つ高分解能であれば、セクタスキャン画像及びリニアスキャン画像以外であってもよい。撮像する角度範囲を変更可能な走査方式であれば、この走査方式に固定したまま撮像する角度範囲を切り替えて、２種類のスキャンを実行する構成としてもよい。例えばセクタスキャンに走査方式を固定し、また駆動周波数を固定して、角度範囲（撮像範囲）を切り替える構成とすることができる。このようにすると、角度範囲が大きいスキャンでは、撮像範囲が大きく且つ低分解能のセクタスキャン画像（第１超音波画像）が得られ、角度範囲が小さいスキャンでは、撮像範囲が小さく且つ高分解能のセクタスキャン画像（第２超音波画像）が得られる。つまり、走査方式と駆動周波数とを固定し、撮像範囲を切り替えて第１超音波のスキャンと第２超音波のスキャンとのそれぞれを実行する構成とすることができる。また、走査方式を固定したまま、撮像範囲を大きく且つ駆動周波数を低くして第１超音波のスキャンを実行し、撮像範囲を小さく且つ駆動周波数を高くして第２超音波のスキャンを実行しても、撮像範囲が大きく且つ低分解能の第１超音波画像と、撮像範囲が大きく且つ高分解能の第２超音波画像を得ることができる。さらに、駆動周波数を固定したまま、走査方式を切り替えて、２種類のスキャンを行うこともできる。例えば、駆動周波数を固定したまま、セクタスキャンとリニアスキャンとのそれぞれを実行することで、撮像範囲が大きく且つ低分解能のセクタスキャン画像（第１超音波画像）と、撮像範囲が小さく且つ高分解能のリニアスキャン画像（第２超音波画像）を得ることができる。また、コンベックス型のプローブを用いて２種類の超音波スキャンを実行する構成としてもよい。
　また、実施の形態１及び２においては、特徴点マッチングによって第１関係量を算出し、画像相関によって第１関係量を修正した第２関係量を算出する構成について述べたが、これに限定されるものではない。特徴点マッチング以外のパターンマッチング、例えば画像相関によって第１関係量を算出する構成としてもよく、画像相関以外のパターンマッチング、例えば特徴点マッチングによって第２関係量を算出する構成としてもよい。
　また、実施の形態１及び２においては、超音波撮像装置３００を制御装置４００と画像合成装置５００とで構成したが、これに限定されるものではない。制御装置４００及び画像合成装置５００の両方の機能を備えた１台の超音波撮像装置を構成することもできる。また、位置関係の算出及び画像合成をソフトウェアにより実現する構成としたが、これに限定されるものではない。これらの処理を画像処理プロセッサによって実行する構成とすることもできる。
　また、実施の形態１及び２においては、プローブを移動させて測定する方法について述べたが、２つのフレームを異なる位置で撮影していれば、プローブの数が１つでなくともよい。例えば、図１７に示すように複数のプローブを使用する構成としてもよい。この場合、例えばプローブ２７１によってセクタスキャンとリニアスキャンとを実行し、プローブ２７２によってセクタスキャンとリニアスキャンとを実行する。プローブ２７１，２７２のそれぞれによって得られた２つのセクタスキャン画像（第１超音波画像）と、２つのリニアスキャン画像（第２超音波画像）とに基づいて、プローブ２７１，２７２の撮像位置の関係を算出し、この位置関係に基づいて、プローブ２７１で得られた第１又は第２超音波画像と、プローブ２７２で得られた第１又は第２超音波画像とを合成する。
　本発明の超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラムは、人体等の被検体の内部に超音波を送信し、反射した超音波を受信することによって被検体の内部を撮像する超音波撮像システム、超音波撮像装置、超音波撮像方法、及びコンピュータに超音波画像の合成を行わせるための画像合成プログラムとして有用である。
　１００　超音波撮像システム
　２００　プローブ
　２０３　超音波アレイセンサ
　３００　超音波撮像装置
　４００　制御装置
　４０１　制御部
　４０４　画像生成部
　５００　画像合成装置
　５１０　コンピュータ
　５２１　ＣＰＵ
　５４０　表示部
　５５０　画像合成プログラム
　７０１　第１超音波画像
　７０２　第２超音波画像

Claims (16)

  1. 　互いに異なる第１及び第２超音波のそれぞれを被検体の表面から内部に送信し、前記被検体の内部において反射した前記第１及び第２超音波のそれぞれを受信するプローブと、
    　前記プローブによって受信された前記第１超音波に基づいて第１超音波画像を生成し、前記プローブによって受信された前記第２超音波に基づいて第２超音波画像を生成する画像生成部と、
    　前記被検体の表面の互いに異なる２つの位置のそれぞれにおいて前記プローブによって受信された前記第１超音波に基づいて前記画像生成部によって生成された２つの第１超音波画像と、前記２つの位置のそれぞれにおいて前記プローブによって受信された前記第２超音波に基づいて前記画像生成部によって生成された２つの第２超音波画像とに基づいて、前記２つの位置の関係を算出する位置関係算出部と、
    　前記位置関係算出部によって算出された前記２つの位置の関係に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成する画像合成部と
    　を備える、
    　超音波撮像システム。
  2. 　前記プローブは、互いに異なる走査方式により前記第１及び第２超音波のそれぞれを送信する、
    　請求項１に記載の超音波撮像システム。
  3. 　前記プローブは、互いに異なる周波数により前記第１及び第２超音波のそれぞれを送信する、
    　請求項１又は２に記載の超音波撮像システム。
  4. 　互いに異なる第１及び第２超音波のそれぞれを被検体の表面から内部に送信し、前記被検体の内部において反射した前記第１及び第２超音波のそれぞれを受信するプローブによって受信された前記第１超音波に基づいて第１超音波画像を生成し、前記プローブによって受信された前記第２超音波に基づいて第２超音波画像を生成する画像生成部と、
    　前記被検体の表面の互いに異なる２つの位置のそれぞれにおいて前記プローブによって受信された前記第１超音波に基づいて前記画像生成部によって生成された２つの第１超音波画像と、前記２つの位置のそれぞれにおいて前記プローブによって受信された前記第２超音波に基づいて前記画像生成部によって生成された２つの第２超音波画像とに基づいて、前記２つの位置の関係を算出する位置関係算出部と、
    　前記位置関係算出部によって算出された前記２つの位置の関係に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成する画像合成部と
    　を備える、
    　超音波撮像装置。
  5. 　前記画像生成部は、前記第１超音波画像と、前記第１超音波画像よりも撮像範囲が狭く、且つ、分解能が高い前記第２超音波画像とを生成する、
    　請求項４に記載の超音波撮像装置。
  6. 　前記画像生成部は、被検体の表面に沿って移動しつつ前記第１及び第２超音波を前記被検体の内部に繰り返し送信し、前記被検体の内部において反射した前記第１及び第２超音波を繰り返し受信する前記プローブによって連続して受信された前記第１及び第２超音波のそれぞれに基づいて、１フレームの前記第１及び第２超音波画像を生成し、
    　前記位置関係算出部は、連続する第１及び第２フレームのそれぞれにおける２つの前記第１超音波画像及び２つの前記第２超音波画像に基づいて前記２つの位置の関係を算出する、
    　請求項４又は５に記載の超音波撮像装置。
  7. 　前記位置関係算出部は、互いに交差する２方向についての前記２つの位置の距離を含む前記２つの位置の関係を算出する、
    　請求項４乃至６の何れかに記載の超音波撮像装置。
  8. 　前記位置関係算出部は、前記２方向を含む平面内における回転角度をさらに含む前記２つの位置の関係を算出する、
    　請求項７に記載の超音波撮像装置。
  9. 　前記プローブが向く方向を検出するセンサによって前記２つの位置のそれぞれにおいて検出された角度に基づいて、前記２つの位置における前記プローブの前記２方向を含む平面内での回転角度を算出する回転角度算出部をさらに備え、
    　前記画像合成部は、前記位置関係算出部によって算出された前記距離と、前記回転角度算出部によって算出された前記回転角度とに基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成する、
    　請求項７に記載の超音波撮像装置。
  10. 　前記位置関係算出部は、
    　前記２つの第１超音波画像に基づいて、前記２つの位置の関係の推定値である第１関係量を算出する位置関係推定部と、
    　前記２つの第２超音波画像に基づいて、前記位置関係推定部によって算出された前記第１関係量を修正した第２関係量を算出する位置関係修正部と
    　を含み、
    　前記画像合成部は、前記位置関係修正部によって算出された前記第２関係量に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成する、
    　請求項４乃至９の何れかに記載の超音波撮像装置。
  11. 　前記位置関係推定部は、互いに交差する２方向についての前記２つの位置の距離を含む前記第１関係量を算出し、
    　前記位置関係修正部は、前記位置関係推定部によって算出された前記距離を修正した前記第２関係量を算出する、
    　請求項１０に記載の超音波撮像装置。
  12. 　前記位置関係推定部は、前記２つの第１超音波画像のそれぞれの特徴点を抽出し、前記２つの第１超音波画像間における前記特徴点の対応関係を決定することにより、前記第１関係量を算出する、
    　請求項１０又は１１に記載の超音波撮像装置。
  13. 　前記位置関係修正部は、前記２つの第２超音波画像の輝度分布の相関に基づいて、前記第２関係量を算出する、
    　請求項１０乃至１２の何れかに記載の超音波撮像装置。
  14. 　前記画像生成部は、前記プローブが前記被検体の内部に向けて扇形に前記第１超音波を送信したときに受信した前記第１超音波に基づいてセクタスキャン画像である前記第１超音波画像を生成し、前記プローブが前記被検体の内部に向けて帯状に延びる範囲に前記第２超音波を送信したときに受信した前記第２超音波に基づいてリニアスキャン画像である前記第２超音波画像を生成する、
    　請求項４乃至１３の何れかに記載の超音波撮像装置。
  15. 　超音波を送受するプローブによって、互いに異なる第１及び第２超音波のそれぞれを被検体の表面の互いに異なる２つの位置のそれぞれから前記被検体の内部に送信し、前記被検体の内部において反射した前記第１及び第２超音波のそれぞれを前記２つの位置のそれぞれにおいて受信するステップと、
    　前記２つの位置のそれぞれにおいて前記プローブで受信された前記第１超音波のそれぞれに基づいて２つの第１超音波画像を生成するステップと、
    　前記２つの位置のそれぞれにおいて前記プローブで受信された前記第２超音波のそれぞれに基づいて２つの第２超音波画像を生成するステップと、
    　前記２つの第１超音波画像と前記２つの第２超音波画像とに基づいて、前記２つの位置の関係を算出するステップと、
    　算出された前記２つの位置の関係に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成するステップと
    　を有する、
    　超音波撮像方法。
  16. 　被検体の内部を撮像して得られた複数の超音波画像を合成する処理をコンピュータに実行させる画像合成プログラムであって、
    　前記コンピュータに、
    　互いに異なる第１及び第２超音波のそれぞれを被検体の前記表面から内部に送信し、前記被検体の内部において反射した前記第１及び第２超音波のそれぞれを受信するプローブによって前記被検体の表面の互いに異なる２つの位置のそれぞれにおいて受信された前記第１超音波に基づいて生成された２つの第１超音波画像と、前記２つの位置のそれぞれにおいて前記プローブによって受信された前記第２超音波に基づいて生成された２つの第２超音波画像とに基づいて、前記２つの位置の関係を算出するステップと、
    　算出された前記２つの位置の関係に基づいて、前記２つの位置のうちの一方の位置における前記第１又は第２超音波画像と、他方の位置における前記第１又は第２超音波画像とを合成するステップと
    　を実行させる、
    　画像合成プログラム。
PCT/JP2017/044544 2017-01-18 2017-12-12 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム WO2018135188A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17892266.2A EP3572000B1 (en) 2017-01-18 2017-12-12 Ultrasonic imaging device, ultrasonic imaging method, and image synthesis program
JP2018563216A JP6667676B2 (ja) 2017-01-18 2017-12-12 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム
CN201780081389.9A CN110114001B (zh) 2017-01-18 2017-12-12 超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序
US16/478,442 US11382604B2 (en) 2017-01-18 2017-12-12 Ultrasonic image system with synthesis of images of different ultrasonic waves received at respective positions of a probe

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-006912 2017-01-18
JP2017006912 2017-01-18

Publications (1)

Publication Number Publication Date
WO2018135188A1 true WO2018135188A1 (ja) 2018-07-26

Family

ID=62908299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044544 WO2018135188A1 (ja) 2017-01-18 2017-12-12 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム

Country Status (5)

Country Link
US (1) US11382604B2 (ja)
EP (1) EP3572000B1 (ja)
JP (1) JP6667676B2 (ja)
CN (1) CN110114001B (ja)
WO (1) WO2018135188A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109124685A (zh) * 2018-10-30 2019-01-04 成都汇声科技有限公司 一种实现多种扫描方式的超声仪及其控制方法
WO2022239400A1 (ja) * 2021-05-11 2022-11-17 古野電気株式会社 超音波撮像装置、超音波撮像方法、超音波撮像システムおよび超音波撮像プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011010716A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 超音波診断装置及び診断パラメータ計測用制御プログラム
JP4704630B2 (ja) 2001-09-14 2011-06-15 アロカ株式会社 超音波パノラマ画像形成装置
JP4785105B2 (ja) 2001-08-03 2011-10-05 株式会社日立メディコ 超音波画像処理装置
JP2012196308A (ja) * 2011-03-22 2012-10-18 Fujifilm Corp 光音響画像生成装置及び方法
JP2015144623A (ja) * 2012-05-14 2015-08-13 日立アロカメディカル株式会社 超音波診断装置および画像評価表示方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05192337A (ja) * 1992-01-24 1993-08-03 Toshiba Corp 超音波診断装置
JP4282144B2 (ja) * 1999-04-26 2009-06-17 株式会社東芝 超音波診断装置
US6685644B2 (en) * 2001-04-24 2004-02-03 Kabushiki Kaisha Toshiba Ultrasound diagnostic apparatus
US6733453B2 (en) 2002-09-03 2004-05-11 Siemens Medical Solutions Usa, Inc. Elevation compounding for ultrasound imaging
US20040077946A1 (en) 2002-10-15 2004-04-22 Jun Ohmiya Image processing apparatus, method and program
JP4426530B2 (ja) * 2003-08-06 2010-03-03 株式会社日立メディコ 超音波撮像装置および超音波撮像方法
US8123691B2 (en) * 2003-08-19 2012-02-28 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus for fixedly displaying a puncture probe during 2D imaging
EP1755458B1 (en) * 2004-05-06 2015-02-25 Focus Surgery, Inc. Apparatus for the selective treatment of tissue
JP5117051B2 (ja) * 2004-12-20 2013-01-09 株式会社日立メディコ 超音波診断システム及びその方法
JP2006255083A (ja) * 2005-03-16 2006-09-28 Ge Medical Systems Global Technology Co Llc 超音波画像生成方法および超音波診断装置
WO2009031079A2 (en) * 2007-09-04 2009-03-12 Koninklijke Philips Electronics, N.V. Dual mode ultrasound transducer
JP5376877B2 (ja) * 2008-09-17 2013-12-25 株式会社東芝 超音波診断装置および画像表示プログラム
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム
JP5935344B2 (ja) * 2011-05-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム、記録媒体、および、画像処理システム
WO2013150917A1 (ja) * 2012-04-02 2013-10-10 日立アロカメディカル株式会社 超音波診断装置及び超音波画像の超解像生成方法
WO2014002963A1 (ja) * 2012-06-25 2014-01-03 株式会社東芝 超音波診断装置及び画像処理方法
JP2015077393A (ja) * 2013-09-10 2015-04-23 セイコーエプソン株式会社 超音波測定装置、超音波画像装置、及び超音波測定方法
CN104706380B (zh) * 2013-12-11 2018-04-10 柯尼卡美能达株式会社 超声波诊断装置、超声波图像处理方法
JP5881905B2 (ja) * 2014-01-24 2016-03-09 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
JP6415937B2 (ja) * 2014-11-13 2018-10-31 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置、医用画像処理方法および医用画像処理プログラム
JP6744141B2 (ja) * 2015-06-16 2020-08-19 キヤノンメディカルシステムズ株式会社 超音波診断装置及び画像処理装置
US20180140277A1 (en) * 2016-11-18 2018-05-24 Clarius Mobile Health Corp. Transducer adapters for allowing multiple modes of ultrasound imaging using a single ultrasound transducer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4785105B2 (ja) 2001-08-03 2011-10-05 株式会社日立メディコ 超音波画像処理装置
JP4704630B2 (ja) 2001-09-14 2011-06-15 アロカ株式会社 超音波パノラマ画像形成装置
JP2011010716A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 超音波診断装置及び診断パラメータ計測用制御プログラム
JP2012196308A (ja) * 2011-03-22 2012-10-18 Fujifilm Corp 光音響画像生成装置及び方法
JP2015144623A (ja) * 2012-05-14 2015-08-13 日立アロカメディカル株式会社 超音波診断装置および画像評価表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3572000A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109124685A (zh) * 2018-10-30 2019-01-04 成都汇声科技有限公司 一种实现多种扫描方式的超声仪及其控制方法
WO2022239400A1 (ja) * 2021-05-11 2022-11-17 古野電気株式会社 超音波撮像装置、超音波撮像方法、超音波撮像システムおよび超音波撮像プログラム

Also Published As

Publication number Publication date
CN110114001A (zh) 2019-08-09
EP3572000A1 (en) 2019-11-27
US11382604B2 (en) 2022-07-12
JP6667676B2 (ja) 2020-03-18
US20190365358A1 (en) 2019-12-05
EP3572000A4 (en) 2020-10-28
CN110114001B (zh) 2022-06-14
JPWO2018135188A1 (ja) 2019-11-07
EP3572000B1 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
US9569818B2 (en) Ultrasonic image processing apparatus
JP7295296B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP6637610B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
US10722217B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
US20140031687A1 (en) Ultrasonic diagnostic apparatus
JP2023160986A (ja) 超音波診断装置及び解析装置
JP5102475B2 (ja) 超音波診断装置
WO2020008746A1 (ja) 音響波診断装置および音響波診断装置の制御方法
JP6667676B2 (ja) 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム
KR20170095799A (ko) 초음파 영상 장치 및 그 제어방법
JP2004008271A (ja) 超音波診断装置
KR101656127B1 (ko) 계측 장치 및 그 제어 프로그램
JP7071898B2 (ja) 超音波診断装置、プログラムおよび超音波診断装置の動作方法
JP4761999B2 (ja) 超音波診断装置およびその画像処理方法、その画像処理プログラム
JP7434529B2 (ja) 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ
US10667708B2 (en) Ultrasound diagnostic device
US20110137165A1 (en) Ultrasound imaging
CN106604683B (zh) 超声波诊断装置
JP6382031B2 (ja) 超音波診断装置及びその制御プログラム
JP6663029B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
JP2022183324A (ja) 超音波撮像方法、超音波撮像装置、超音波撮像システムおよび超音波撮像プログラム
JP5829008B2 (ja) 超音波診断装置
US12390198B2 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP6864555B2 (ja) 超音波診断装置
JP6591199B2 (ja) 超音波診断装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17892266

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018563216

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017892266

Country of ref document: EP

Effective date: 20190819