RU2778840C2

RU2778840C2 - Ultrasound diagnostics of anatomical features

Info

Publication number: RU2778840C2
Application number: RU2019128541A
Authority: RU
Inventors: Тобиас ВИССЕЛЬ; Ирина ВЕХТЕР-ШТЕЛЕ; Франк Михель ВЕБЕР; Арне ЭВАЛЬД
Original assignee: Конинклейке Филипс Н.В.
Priority date: 2017-02-13
Filing date: 2018-02-12
Publication date: 2022-08-25

Abstract

FIELD: diagnostics.

SUBSTANCE: group of inventions relates to a device for processing an ultrasound image. A device is proposed, containing a machine-readable carrier, for the implementation of a method, wherein the device contains: a processor unit made with the possibility of mapping a model of an anatomical feature of interest on an ultrasound image representing at least a section of the specified anatomical feature of interest, and segmentation of the specified ultrasound image according to the mapped model. Moreover, the model contains anatomical components. At the same time, the processor unit is made with the possibility of selection or deselection of one of the specified anatomical components in response to user’s interaction with a sensor display area displaying the specified anatomical component. A sensor display is made with the possibility of display of the specified ultrasound image containing the mapped anatomical model applied to this image. Moreover, the processor unit is made with the possibility of reaction to the sensor display and recognition of a type of a user touch movement provided through the sensor display from the specified types of a user touch movement, while each type of the user touch movement is connected to a specific type of change in the specified mapping, and with the possibility of change in the specified mapping according to the recognized type of the user touch movement.

EFFECT: group of inventions provides for effective processing of an ultrasound image.

12 cl, 10 dwg

Description

Область техники, к которой относится изобретениеThe technical field to which the invention belongs

Настоящее изобретение относится к устройству обработки ультразвукового изображения, содержащему процессорный блок, выполненный с возможностью картирования модели анатомической особенности, представляющей интерес, на ультразвуковом изображении, отображающем по меньшей мере поперечное сечение указанной анатомической особенности, представляющей интерес, и с возможностью сегментирования указанного ультразвукового изображения в соответствии с картированной моделью.The present invention relates to an ultrasound image processing device comprising a processing unit configured to map a model of an anatomical feature of interest on an ultrasound image representing at least a cross section of said anatomical feature of interest and segmenting said ultrasound image according to with mapped model.

Настоящее изобретение также относится к системе ультразвуковой визуализации, содержащей такое устройство обработки ультразвукового изображения.The present invention also relates to an ultrasound imaging system comprising such an ultrasound image processing device.

Настоящее изобретение также относится к компьютерно-реализуемому способу картирования модели анатомической особенности, представляющей интерес, на ультразвуковом изображении, отображающем по меньшей мере поперечное сечение указанной анатомической особенности, представляющей интерес, и сегментирования указанного ультразвукового изображения в соответствии с картированной моделью.The present invention also relates to a computer-implemented method for mapping a model of an anatomical feature of interest on an ultrasound image displaying at least a cross section of said anatomical feature of interest and segmenting said ultrasound image according to the mapped model.

Настоящее изобретение также относится к компьютерному программному продукту для осуществления такого компьютерно-реализуемого способа.The present invention also relates to a computer program product for implementing such a computer-implemented method.

Уровень техникиState of the art

Ультразвук играет существенную роль во многих диагностических методах визуализации, включая, но не ограничиваясь, визуализацию сердечно-сосудистой системы. В связи с этим, диагностика и планирование лечения, как правило, зависят от четкого выделения соответствующих анатомических участков, например желудочков, предсердий или окружающих сосудов в кардиологических ультразвуковых изображениях, с целью облегчения эффективной диагностики обследуемого сердца. Исторически измерения (объема) камер сердца, например левого желудочка, осуществлялись пользователем, вручную контурировавшим эндокардиальную границу камеры. Такое контурирование подвержено значительной изменчивости из-за различия в критериях, используемых различными пользователями, при определении места размещения контура.Ultrasound plays an essential role in many diagnostic imaging modalities, including, but not limited to, imaging of the cardiovascular system. As such, diagnosis and treatment planning typically depend on the clear identification of relevant anatomical sites, such as the ventricles, atria, or surrounding vessels, in cardiac ultrasound images, to facilitate effective diagnosis of the heart being examined. Historically, measurements (volume) of the chambers of the heart, such as the left ventricle, were performed by the user manually contouring the endocardial border of the chamber. Such contouring is subject to considerable variability due to differences in the criteria used by different users when determining where to place the contour.

Для устранения такой нежелательной изменчивости этот диагностический процесс был автоматизирован с использованием анатомически интеллектуальной сегментации на основе модели, при которой общие формоограниченные модели сердца адаптируются к данным визуализации. Например, такая модель сердца, раскрыта в патентном документе WO 2016/142204 A1. Модель сердца может быть впоследствии использована в качестве вспомогательного средства, чтобы картированную сердечную структуру в ультразвуковых изображениях предоставить алгоритмам сегментации для получения представляющих интерес размеров обследуемых сердечных анатомических участков, например, путем картирования такой модели на объемном изображении. Подходящий алгоритм сегментации раскрыт О. Экабертом и др. (O. Ecabert et al.) в статье “Automatic Model-Based Segmentation of the Heart in CT Images” («Автоматическая основанная на модели сегментация сердца в КТ изображениях»), IEEE Transactions on Medical Imaging, 2008 (27), pp. 1189-1201.To eliminate this undesirable variability, this diagnostic process was automated using anatomically intelligent model-based segmentation, where generic shape-constrained heart models are adapted to the imaging data. For example, such a heart model is disclosed in patent document WO 2016/142204 A1. The heart model can then be used as an aid to providing the mapped cardiac structure in the ultrasound images to segmentation algorithms to obtain interesting cardiac anatomical sizes of interest, for example by mapping such a model on a volumetric image. A suitable segmentation algorithm is disclosed by O. Ecabert et al. in “Automatic Model-Based Segmentation of the Heart in CT Images”, IEEE Transactions on Medical Imaging, 2008 (27), pp. 1189-1201.

Успех алгоритма сегментации требует точного размещения модели сердца в данных визуализации, например в объемном изображении. В то время как такое размещение, как правило, включает в себя основные преобразования координат, такие как вращение, трансляционное перемещение и масштабирование, дальнейшая обработка также включает аффинные преобразования отдельных компонентов модели (например, желудочков или предсердий) или выбор из набора средних форм, представляющих различные патологии сердца (например, расширенная или нормальная форма). В некоторых случаях части этого процесса автоматического размещения дают сбой, например, вследствие плохого качества ультразвукового изображения или ограниченного поля зрения (ПЗ) в пределах ультразвуковых изображений.The success of the segmentation algorithm requires accurate placement of the heart model in the imaging data, such as in the volumetric image. While such placement typically involves basic coordinate transformations such as rotation, translational translation, and scaling, further processing also involves affine transformations of individual model components (e.g., ventricles or atria) or selection from a set of mean shapes representing various pathologies of the heart (for example, an enlarged or normal form). In some cases, parts of this automatic placement process fail, for example, due to poor ultrasound image quality or a limited field of view (FOV) within the ultrasound images.

Два типичных примера показаны на фиг. 1 и фиг. 2. На фиг. 1, вследствие данных визуализации, показывающих сердце достаточно малого размера, автоматическое размещение модели 1 сердца, включающей в себя модели анатомических участков левого желудочка (ЛЖ), правого желудочка (ПЖ), левого предсердия (ЛП) и правого предсердия (ПП), дало сбой из-за неверной оценки общего размера модели, в результате чего все сердце должно быть обернуто моделью левого желудочка модели 1 сердца. На фиг. 2 данные ультразвуковой визуализации имеют ограниченное поле зрения в сочетании с довольно плохим контрастом визуализации, в частности на вершине. Следовательно, трансляционный параметр был неверно оценен автоматическим процессом размещения модели 1 сердца в данных визуализации, так что фактический правый желудочек охватывается левой стороной модели 1 сердца.Two typical examples are shown in Fig. 1 and FIG. 2. In FIG. 1, due to imaging data showing a rather small heart size, automatic placement of heart model 1 including left ventricular (LV), right ventricular (RV), left atrium (LA), and right atrium (RA) anatomy models failed. due to an incorrect estimate of the overall size of the model, causing the entire heart to be wrapped with the left ventricular model of model 1 heart. In FIG. 2, the ultrasound imaging data has a limited field of view coupled with rather poor imaging contrast, in particular at the apex. Therefore, the translation parameter was incorrectly estimated by the automatic process of placing the heart model 1 in the imaging data, so that the actual right ventricle is covered by the left side of the heart model 1.

В случае таких сбоев размещения модели 1 сердца анализ не может быть выполнен, пока пользователь вручную не поместит модель 1 сердца в правильном положении в ультразвуковом изображении, что может быть утомительно и трудоемко. Это, например, раскрыто в патентном документе WO 2005/078666 A1. Как будет легко понятно специалисту в данной области, такие проблемы размещения моделей не ограничены моделями сердца, но в равной степени относятся к размещению моделей других анатомических особенностей, представляющих интерес, например, моделей органов, моделей плода и так далее.In the event of such placement failures of the heart model 1, analysis cannot be performed until the user manually places the heart model 1 in the correct position in the ultrasound image, which can be tedious and time consuming. This is for example disclosed in WO 2005/078666 A1. As will be readily appreciated by one of skill in the art, such model placement issues are not limited to heart models, but apply equally to model placement of other anatomical features of interest, such as organ models, fetal models, and so on.

Раскрытие сущности изобретенияDisclosure of the essence of the invention

Настоящее изобретение направлено на создание устройства обработки ультразвукового изображения, которое позволило бы пользователю более легко совмещать модель сердца с захваченным ультразвуковым изображением, содержащим по меньшей мере участок анатомической особенности, представляющей интерес, например сердца пациента.The present invention is directed to an ultrasound image processing device that would allow a user to more easily align a heart model with a captured ultrasound image containing at least a portion of an anatomical feature of interest, such as a patient's heart.

Настоящее изобретение также направлено на создание системы ультразвуковой визуализации, содержащей такое устройство обработки ультразвукового изображения.The present invention is also directed to an ultrasound imaging system comprising such an ultrasound image processing device.

Настоящее изобретение также направлено на создание компьютерно-реализуемого способа, позволяющего пользователю более легко совмещать модель сердца с захваченным ультразвуковым изображением, содержащим по меньшей мере участок анатомической особенности, представляющей интерес, например сердце пациента.The present invention is also directed to a computer-assisted method that allows a user to more easily align a heart model with a captured ultrasound image containing at least a portion of an anatomical feature of interest, such as a patient's heart.

Настоящее изобретение также направлено на создание компьютерного программного продукта для осуществления такого способа на устройстве обработки ультразвукового изображения.The present invention is also directed to a computer program product for carrying out such a method on an ultrasound image processing device.

В соответствии с одним аспектом изобретения предложено устройство обработки ультразвукового изображения, содержащее процессорный блок, выполненный с возможностью картирования модели анатомической особенности, представляющей интерес, на ультразвуковом изображении, отображающем по меньшей мере поперечное сечение указанной анатомической особенности, представляющей интерес, и с возможностью сегментирования указанного ультразвукового изображения в соответствии с картированной моделью; и сенсорный дисплей, выполненный с возможностью отображения указанного ультразвукового изображения, содержащего картированную модель; причем процессорный блок выполнен с возможностью реагирования на сенсорный дисплей и распознавания типа пользовательского движения прикосновения из множества типов пользовательских движений прикосновения, предоставляемых через сенсорный дисплей, причем каждый тип пользовательского движения прикосновения связан с конкретным изменением указанного картирования; и с возможностью изменения указанного картирования в соответствии с распознанным типом пользовательского движения прикосновения. Использование взаимодействия прикосновения с сенсорным дисплеем, отображающим ультразвуковое изображение и анатомическую модель, наложенную на это изображение, предоставляет пользователю интуитивно понятный и простой метод, в котором неверно размещенная анатомическая модель может быть корректирующим образом смещена в верное положение в соответствии с действиями пользователя, тем самым обеспечивая удобное для пользователя устройство обработки ультразвукового изображения, которое облегчает эффективную корректировку неверно размещенных анатомических моделей вслед за их автоматическим размещением. В предпочтительных вариантах осуществления анатомическую модель строят на объемном (3D) ультразвуковом изображении, на котором отображается значительная часть анатомической особенности, представляющей интерес, или вся анатомическая особенность, представляющая интерес, хотя следует понимать, что в альтернативных вариантах осуществления такие модели могут отображаться на 2D ультразвуковых изображениях, например на изображении среза объемного изображения или изображении среза последовательности 2D-изображений, сделанных вдоль направления сканирования.In accordance with one aspect of the invention, an ultrasound image processing device is provided, comprising a processing unit configured to map a model of an anatomical feature of interest on an ultrasound image displaying at least a cross section of said anatomical feature of interest and segmenting said ultrasound images according to the mapped model; and a touch display configured to display said ultrasound image containing the mapped model; wherein the processing unit is configured to respond to the touch display and recognize a type of user touch motion from a plurality of types of user touch motion provided via the touch display, each type of user touch motion being associated with a particular change in said mapping; and with the ability to change said mapping in accordance with the recognized type of user touch movement. The use of touch interaction with a touch screen displaying an ultrasound image and an anatomical model superimposed on that image provides the user with an intuitive and simple method in which an incorrectly placed anatomical model can be correctively shifted to the correct position according to the user's actions, thereby providing a user-friendly ultrasound imaging device that facilitates efficient correction of misplaced anatomical models following their automatic placement. In preferred embodiments, the anatomical model is built on a 3D ultrasound image that displays a significant portion of the anatomical feature of interest, or all of the anatomical feature of interest, although it should be understood that in alternative embodiments, such models may be displayed on 2D ultrasound. images, such as a slice image of a volumetric image or a slice image of a sequence of 2D images taken along the scanning direction.

Процессорный блок может быть дополнительно выполнен с возможностью сегментирования указанного ультразвукового изображения в соответствии с измененной картированной моделью таким образом, что пользовательские корректировки приводят к улучшенным автоматически генерируемым результатам параметрических измерений анатомической особенности пациента, полученным с помощью алгоритмов сегментации.The processing unit may further be configured to segment said ultrasound image according to the modified mapped model such that user adjustments result in improved auto-generated patient anatomy parametric measurements obtained using segmentation algorithms.

В вариантах осуществления, в которых модель содержит множество анатомических компонентов, процессорный блок может быть выполнен с возможностью выбора или отмены выбора одного из указанных анатомических компонентов в ответ на осуществление пользователем взаимодействия с областью сенсорного дисплея, отображающей указанный анатомический компонент, таким образом, чтобы ограничить применение последующих жестов к выбранному компоненту или прекратить действие такого ограничения в случае отмены выбора компонента. С этой целью процессорный блок предпочтительно дополнительно выполнен с возможностью изменения картирования указанного выбранного анатомического компонента в ответ на дополнительную пользовательскую команду прикосновения, поданную через сенсорный дисплей.In embodiments where the model contains a plurality of anatomical components, the processing unit may be configured to select or deselect one of said anatomical components in response to a user interacting with a touch display area displaying said anatomical component, so as to limit the application. subsequent gestures to the selected component or terminate such a restriction in case of deselecting the component. To this end, the processing unit is preferably further configured to change the mapping of said selected anatomical component in response to an additional user touch command provided via the touch display.

В вариантах осуществления, в которых предусмотрена возможность конфигурирования анатомической модели, процессорный блок может быть выполнен с возможностью выбора конфигурации модели в ответ на смахивающее движение (свайп), осуществленное пользователем на сенсорном дисплее, тем самым позволяя пользователю выбирать подходящую модель, например модель расширенного сердца, модель нормального сердца или тому подобное, простым способом. Конечно, в равной степени осуществимы и другие типы пользовательских команд, предусмотренных на сенсорном экране для осуществления вышеуказанных действий с анатомической моделью.In embodiments in which the anatomical model is configurable, the processing unit may be configured to select the model configuration in response to a user swipe on the touch screen, thereby allowing the user to select an appropriate model, such as an enlarged heart model, normal heart model or the like, in a simple way. Of course, other types of user commands provided on the touch screen to perform the above actions on the anatomical model are equally feasible.

Устройство обработки ультразвукового изображения может быть рабочей станцией, или, альтернативно, может представлять собой портативное устройство обработки ультразвукового изображения, такое как планшетный компьютер.The ultrasound imaging device may be a workstation, or alternatively, may be a portable ultrasound imaging device such as a tablet computer.

Согласно еще одному аспекту, предложена система ультразвуковой визуализации, содержащая устройство обработки ультразвукового изображения любого из описанных здесь вариантов осуществления и ультразвуковой зонд для предоставления ультразвукового изображения указанному устройству. Такая система ультразвуковой визуализации облегчает точное определение результатов анатомических и/или параметрических измерений путем предоставления ультразвуковых изображений устройству обработки ультразвукового изображения, как раскрыто выше.According to another aspect, an ultrasound imaging system is provided, comprising an ultrasound image processing device of any of the embodiments described herein, and an ultrasound probe for providing an ultrasound image to said device. Such an ultrasound imaging system facilitates accurate determination of anatomical and/or parametric measurement results by providing ultrasound images to an ultrasound imaging device as discussed above.

Согласно еще одному аспекту, предложен компьютерно-реализуемый способ извлечения результатов параметрических измерений из ультразвукового изображения, отображающего по меньшей мере участок анатомической особенности пациента, представляющей интерес, причем указанный способ включает в себя картирование модели анатомической особенности, представляющей интерес, на ультразвуковом изображении; прием типа пользовательского движения прикосновения из множества типов пользовательских движений прикосновения от сенсорного дисплея, причем каждый тип пользовательского движения прикосновения связан с конкретным изменением указанного картирования; распознавание указанного типа пользовательского движения прикосновения; изменение указанного картирования в соответствии с распознанным типом пользовательского движения прикосновения; и сегментирование ультразвукового изображения в соответствии с измененной картированной моделью для извлечения результатов указанных параметрических измерений. Такой способ дает возможность пользователю устройства обработки ультразвукового изображения, реализующего метод, исправлять ошибки размещения анатомической модели на ультразвуковом изображении интуитивным и простым способом, тем самым обеспечивая улучшенный пользовательский опыт. Кроме того, такое движение может быть непосредственно преобразовано в предполагаемое преобразование анатомической модели.In another aspect, a computer-implemented method is provided for extracting parametric measurements from an ultrasound image depicting at least a portion of a patient's anatomical feature of interest, the method comprising: mapping a model of the anatomical feature of interest on the ultrasound image; receiving a type of user touch motion from a plurality of user touch motion types from the touch display, each type of user touch motion being associated with a particular change in said mapping; recognizing said type of user touch movement; changing said mapping according to the recognized type of user touch movement; and segmenting the ultrasound image according to the modified mapped model to extract the results of said parametric measurements. Such a method enables the user of the ultrasound imaging device implementing the method to correct placement errors of the anatomical model on the ultrasound image in an intuitive and simple manner, thereby providing an improved user experience. In addition, such movement can be directly translated into the intended transformation of the anatomical model.

Способ может дополнительно включать в себя отображение извлеченных результатов параметрических измерений на сенсорном дисплее, чтобы снабдить пользователя этими результатами измерений.The method may further include displaying the retrieved parametric measurements on a touchscreen to provide the user with those measurements.

В вариантах осуществления, в которых модель содержит множество анатомических компонентов, способ может дополнительно включать в себя выбор или отмену выбора одного из указанных анатомических компонентов в ответ на осуществление пользователем взаимодействия с областью сенсорного дисплея, отображающей указанный анатомический компонент таким образом, чтобы ограничить применение последующих жестов в отношении выбранного компонента или прекратить такое ограничение в случае отмены выбора компонента. С этой целью способ может быть дополнительно выполнен с возможностью изменения картирования указанного выбранного анатомического компонента в ответ на дополнительную пользовательскую команду прикосновения, поданную через сенсорный дисплей.In embodiments where the model contains a plurality of anatomical components, the method may further include selecting or deselecting one of said anatomical components in response to a user interacting with a touch display area displaying said anatomical component in such a manner as to limit the application of subsequent gestures. with respect to the selected component or terminate such restriction in the event of deselection of the component. To this end, the method may be further configured to change the mapping of said selected anatomical component in response to an additional user touch command provided via the touch display.

В вариантах осуществления, в которых предусмотрена возможность конфигурирования модели, способ может дополнительно включать в себя выбор конфигурации модели в ответ на смахивающее движение, осуществленное пользователем на сенсорном дисплее, тем самым позволяя пользователю выбрать подходящую модель, например модель расширенного сердца, модель нормального сердца или тому подобное, простым образом.In embodiments in which the model is configurable, the method may further include selecting a model configuration in response to a user's swipe on the touch display, thereby allowing the user to select an appropriate model, such as an enlarged heart model, a normal heart model, or a volume. similar, in a simple way.

Подтверждено, что в равной степени осуществимы и другие типы пользовательских команд, предусмотренных на сенсорном экране для осуществления вышеуказанных действий с анатомической моделью. It has been confirmed that other types of user commands provided on the touch screen to perform the above actions with the anatomical model are equally feasible.

Согласно еще одному аспекту, предусмотрен компьютерный программный продукт, содержащий машиночитаемый носитель с машиночитаемыми программными инструкциями, сохраненными в нем для того, чтобы при исполнении на процессорном блоке устройства обработки ультразвукового изображения по любому из раскрытых здесь вариантов осуществления, инициировать осуществление процессорным блоком способа по любому из раскрытых здесь вариантов осуществления. Такой компьютерный программный продукт, например, может быть использован для улучшения существующих устройств обработки ультразвукового изображения путем установки на них машиночитаемых программных инструкций.According to another aspect, a computer program product is provided comprising a computer-readable medium with computer-readable program instructions stored therein so that, when executed on a processing unit of an ultrasound image processing apparatus according to any of the embodiments disclosed herein, to cause the processing unit to execute a method according to any one of embodiments disclosed here. Such a computer program product, for example, can be used to improve existing ultrasound image processing devices by installing computer-readable program instructions on them.

Краткое описание чертежейBrief description of the drawings

Варианты осуществления настоящего изобретения раскрыты более подробно ниже с помощью неограничивающих примеров со ссылкой на прилагаемые чертежи, на которых:Embodiments of the present invention are disclosed in more detail below by way of non-limiting examples with reference to the accompanying drawings, in which:

на фиг. 1 представлено изображение неверно картированной модели сердца на ультразвуковом изображении сердца;in fig. 1 shows an image of an incorrectly mapped model of the heart on an ultrasound image of the heart;

на фиг. 2 представлено изображение неверно картированной модели сердца на другом ультразвуковом изображении сердца;in fig. 2 shows an image of a mismapped model of the heart on another ultrasound image of the heart;

на фиг. 3 показано схематическое изображение системы ультразвуковой визуализации, используемой для сканирования части тела пациента;in fig. 3 is a schematic representation of an ultrasound imaging system used to scan a part of a patient's body;

на фиг. 4 показана блок-схема варианта осуществления системы ультразвуковой визуализации с матричным преобразователем;in fig. 4 is a block diagram of an embodiment of an array transducer ultrasound imaging system;

на фиг. 5 показана блок-схема примерного варианта осуществления компьютерно-реализуемого способа в соответствии с настоящим изобретением; а такжеin fig. 5 is a block diagram of an exemplary embodiment of a computer-implemented method in accordance with the present invention; as well as

на фиг. 6-10 схематично изображены различные аспекты примерных вариантов осуществления настоящего изобретения.in fig. 6-10 schematically depict various aspects of exemplary embodiments of the present invention.

Осуществление изобретенияImplementation of the invention

Следует понимать, что фигуры являются только схематическими и не выполнены в масштабе. Следует также понимать, что одни и те же ссылочные позиции используются на всех чертежах для обозначения одинаковых или аналогичных частей.It should be understood that the figures are only schematic and are not drawn to scale. It should also be understood that the same reference numerals are used throughout the drawings to refer to the same or similar parts.

На фиг. 3 схематично показана ультразвуковая система 100, в частности медицинская двумерная (2D) или трехмерная (3D) система ультразвуковой визуализации. Ультразвуковая система 100 может быть применена для проверки объема анатомического участка, в частности анатомического участка пациента 12, такого как сердце пациента. Это, например, может включать в себя мониторинг анатомического участка в течение определенного периода времени для отслеживания развития состояния, влияющего на анатомический участок. Ультразвуковая система 100 содержит ультразвуковой зонд 14, содержащий по меньшей мере одну матрицу преобразователей, имеющую множество преобразовательных элементов для передачи и/или приема ультразвуковых волн. В одном примере каждый из преобразовательных элементов может передавать ультразвуковые волны в виде по меньшей мере одного импульса передачи с определенной длительностью импульса, в частности в виде множества последовательных импульсов передачи. Такой ультразвуковой зонд 14 может представлять собой зонд, прикладываемый к участку кожи, например в области грудной клетки, пациента 12 или, альтернативно, может представлять собой чреспищеводный эхокардиографический зонд. Преобразовательные элементы могут быть расположены в виде одномерной матрицы, например, в случае 2D медицинской визуализации, или в виде двумерной матрицы, в частности, для обеспечения мультипланарного или трехмерного изображения в случае 3D ультразвуковой системы 100. Конкретным примером трехмерной ультразвуковой системы является ультразвуковая система CX40 Compact Xtreme, предлагаемая на рынке заявителем, в частности, вместе с преобразователем X6-1 или X7-2t TEE заявителя или другим преобразователем, использующим технологию xMatrix заявителя. В общем случае системы матричных преобразователей, характерные для систем Philips iE33, или технология механических 3D/4D преобразователей, характерная, например, для систем Philips iU22 и HD15, могут применяться в сочетании с настоящим изобретением.In FIG. 3 schematically shows an ultrasound system 100, in particular a medical two-dimensional (2D) or three-dimensional (3D) ultrasound imaging system. The ultrasound system 100 can be used to check the volume of an anatomical site, in particular an anatomical site of a patient 12, such as a patient's heart. This, for example, may include monitoring the anatomical site over a period of time to track the development of a condition affecting the anatomical site. The ultrasonic system 100 includes an ultrasonic probe 14 comprising at least one transducer array having a plurality of transducer elements for transmitting and/or receiving ultrasonic waves. In one example, each of the transducer elements can transmit ultrasonic waves in the form of at least one transmission pulse with a certain pulse duration, in particular in the form of a plurality of successive transmission pulses. Such an ultrasound probe 14 may be a probe applied to a skin area, such as the chest area, of the patient 12, or alternatively, it may be a transesophageal echocardiographic probe. The transducer elements may be arranged in a one-dimensional array, such as in the case of 2D medical imaging, or in a two-dimensional array, particularly to provide a multiplanar or three-dimensional image in the case of a 3D ultrasound system 100. A specific example of a three-dimensional ultrasound system is the CX40 Compact ultrasound system. Xtreme offered on the market by the applicant, in particular, together with the X6-1 or X7-2t TEE converter of the applicant or another converter using the xMatrix technology of the applicant. In general, matrix transducer systems such as the Philips iE33 systems or mechanical 3D/4D transducer technology such as the Philips iU22 and HD15 systems can be used in conjunction with the present invention.

Ультразвуковой зонд 14 обычно соединен с возможностью связи с устройством 10 обработки ультразвукового изображения, причем соединение может быть получено любым подходящим методом, например это может быть беспроводное соединение или проводное соединение, например по коаксиальному кабелю, с помощью которого устройство 10 обработки ультразвукового изображения может передавать управляющие команды ультразвуковому зонду 14. Такое устройство 10 обработки ультразвукового изображения может иметь любую подходящую форму, например в виде специальной рабочей станции или консоли системы 100 ультразвуковой визуализации или, в качестве альтернативы, может представлять собой универсальное вычислительное устройство, например персональный компьютер, портативный компьютер или планшетный компьютер, на котором установлен компьютерный программный продукт, который настраивает вычислительное устройство, чтобы оно могло работать в качестве устройства 10 обработки ультразвукового изображения.The ultrasound probe 14 is typically communicatively coupled to the ultrasound imaging device 10, and the connection may be by any suitable method, such as a wireless connection or a wired connection, such as a coaxial cable, through which the ultrasound imaging device 10 can transmit control signals. commands to the ultrasound probe 14. Such ultrasound imaging device 10 may take any suitable form, such as a dedicated workstation or console of the ultrasound imaging system 100, or alternatively may be a general purpose computing device such as a personal computer, laptop or tablet. a computer on which a computer program product is installed that configures the computing device so that it can operate as the ultrasound image processing device 10 .

Устройство 10 обработки ультразвукового изображения может включать в себя процессорный блок 16, содержащий блок реконструкции изображения, который управляет выводом последовательности 2D- или 3D-изображений с помощью ультразвуковой системы 100. Как будет объяснено более подробно ниже, блок реконструкции изображения может управлять не только сбором данных с помощью матрицы преобразователей ультразвукового зонда 14, но также и обработкой сигналов и изображений, которые формируют последовательности 2D- или 3D-изображений из эхо-сигналов ультразвуковых лучей, принимаемых матрицей преобразователей ультразвукового зонда 14.The ultrasound image processing apparatus 10 may include a processing unit 16 comprising an image reconstruction unit that controls the output of a sequence of 2D or 3D images by the ultrasound system 100. As will be explained in more detail below, the image reconstruction unit may control more than data collection. using the ultrasonic probe transducer array 14, but also signal and image processing that generates 2D or 3D image sequences from echoes of the ultrasonic beams received by the ultrasonic probe transducer array 14.

Ультразвуковая система 100 может дополнительно содержать устройство 18 отображения (далее также называемое дисплеем 18) для отображения 2D- или 3D-изображения или последовательности изображений пользователю. Дисплей 18 может образовывать неотъемлемую часть или может быть соединен с возможностью связи с устройством 10 обработки ультразвукового изображения. Дисплей 18 включает в себя сенсорный экран 19, через который пользователь может взаимодействовать с отображаемыми на нем данными изображения, например отображаемыми 2D-изображениями, 2D-срезами объемного ультразвукового 3D-изображения, или, предпочтительно, с визуализированным объемным изображением объемного ультразвукового изображения анатомической области пациента 12, представляющей интерес, такой как сердце пациента, в некоторых вариантах осуществления настоящего изобретения, как будет объяснено более подробно ниже. Любой подходящий тип сенсорного экрана 19 может использоваться в дисплее 18.The ultrasound system 100 may further comprise a display device 18 (hereinafter also referred to as a display 18) for displaying a 2D or 3D image or sequence of images to a user. The display 18 may form an integral part of or may be communicatively coupled to the ultrasound image processing device 10. Display 18 includes a touch screen 19 through which a user can interact with image data displayed thereon, such as displayed 2D images, 2D slices of a 3D volume ultrasound image, or preferably a visualized volume image of a volume ultrasound image of the patient's anatomy. 12 of interest, such as the patient's heart, in some embodiments of the present invention, as will be explained in more detail below. Any suitable type of touch screen 19 may be used in the display 18.

Кроме того, может быть предусмотрено устройство 20 ввода, которое может включать в себя пользовательский интерфейс 22, такой как клавиатура, и дополнительные устройства ввода, например трекбол 24. Устройство 20 ввода может быть подсоединено к дисплею 18 или непосредственно к блоку 16 реконструкции изображения. Ультразвуковая система 100 может дополнительно содержать устройство 60 хранения данных, например одно или несколько запоминающих устройств, жестких дисков, оптических дисков или тому подобного, в которых процессорный блок или блок 16 реконструкции изображения могут хранить кадры изображения и данные обработки кадров изображения, например, для оценки на более позднем этапе, то есть после завершения сбора данных ультразвукового изображения.In addition, an input device 20 may be provided, which may include a user interface 22, such as a keyboard, and additional input devices, such as a trackball 24. The input device 20 may be connected to the display 18 or directly to the image renderer 16. The ultrasound system 100 may further comprise a data storage device 60, such as one or more memory devices, hard disks, optical disks, or the like, in which the processing unit or image reconstruction unit 16 may store image frames and image frame processing data, for example, for evaluating at a later stage, i.e. after the acquisition of the ultrasound image data is completed.

На фиг. 4 показана блок-схема ультразвуковой системы 100, включающей в себя процессорный блок 16 устройства 10 обработки ультразвукового изображения. Ультразвуковой зонд 14 может, например, содержать матрицу 26 преобразователей CMUT. Матрица 26 преобразователей может альтернативно содержать пьезоэлектрические преобразовательные элементы, изготовленные из таких материалов, как PZT или PVDF. Матрица 26 преобразователей представляет собой одно- или двумерную матрицу преобразовательных элементов, способную осуществлять сканирование в двух измерениях для двумерной визуализации или в трех измерениях для трехмерной визуализации. Матрица 26 преобразователей соединена с микроформирователем (мкДН) 28 диаграммы направленности в зонде, который управляет передачей и приемом сигналов ячейками матрицы CMUT или пьезоэлектрическими элементами. Микроформирователи диаграммы направленности способны по меньшей мере частично формировать диаграммы направленности сигналов, принимаемых группами или «пэтчами» преобразовательных элементов, как раскрыто в патентах США. 5,997,479 (Savord et al.), 6,013,032 (Savord) и 6,623,432 (Powers et al.).In FIG. 4 shows a block diagram of an ultrasound system 100 including a processing unit 16 of an ultrasound image processing apparatus 10. The ultrasonic probe 14 may, for example, comprise an array 26 of CMUT transducers. The transducer array 26 may alternatively comprise piezoelectric transducer elements made from materials such as PZT or PVDF. The transducer array 26 is a one or two dimensional array of transducer elements capable of scanning in two dimensions for 2D imaging or in three dimensions for 3D imaging. The transducer array 26 is coupled to a microbeam driver (mcbm) 28 in the probe that controls the transmission and reception of signals by the CMUT array cells or piezoelectric elements. Microbeamers are capable of at least partially beamforming signals received by groups or "patches" of transducer elements, as disclosed in US patents. 5,997,479 (Savord et al.), 6,013,032 (Savord) and 6,623,432 (Powers et al.).

Микроформирователь 28 диаграммы направленности может быть соединен с помощью кабеля зонда с переключателем 30 передачи/приема (T/R), выполненным с возможностью переключения между передачей и приемом и защиты главного формирователя 34 диаграммы направленности от сигналов передачи высоких энергий, когда микроформирователь 28 диаграммы направленности не используется, а матрица 26 преобразователей управляется непосредственно главным системным формирователем 34 диаграммы направленности. Передача ультразвуковых лучей от матрицы 26 преобразователей под управлением микроформирователя 28 диаграммы направленности направляется с помощью контроллера 32 преобразователей, соединенного с микроформирователем 28 диаграммы направленности с помощью Т/R-переключателя 30 и главным системным формирователем 34 диаграммы направленности, который принимает входные данные от операции пользователя в пользовательском интерфейсе или панели 22 управления. Одной из функций, управляемых контроллером 32 преобразователей, является задание направления, в котором лучи направляются и фокусируются. Лучи могут направляться прямо вперед (ортогонально) от матрицы 26 преобразователей, или под разными углами для более широкой области захвата. Контроллер 32 преобразователей может быть соединен с возможностью управления с устройством 58 управления смещением постоянного тока для матрицы ячеек преобразователей.The microbeamformer 28 may be connected via a probe cable to a transmit/receive (T/R) switch 30 configured to switch between transmit and receive and protect the main beamformer 34 from high energy transmission signals when the microbeamformer 28 is not is used and the transducer array 26 is controlled directly by the main system beamformer 34. The transmission of ultrasonic beams from the transducer array 26 under the control of the microbeam former 28 is directed by a transducer controller 32 connected to the microbeam former 28 via a T/R switch 30 and the main system beamformer 34 which receives input from user operation in user interface or control panel 22. One of the functions controlled by the transducer controller 32 is to set the direction in which the beams are directed and focused. The beams can be directed straight ahead (orthogonally) from the transducer array 26, or at different angles for a wider capture area. A transducer controller 32 may be operably coupled to a DC bias control 58 for the array of transducer cells.

Сигналы с частично сформированной диаграммой направленности, генерируемые микроформирователем 26 диаграммы направленности в режиме приема, сопрягаются с основным формирователем 34 диаграммы направленности, на котором сигналы с частично сформированной диаграммой направленности от отдельных пэтчей преобразовательных элементов объединяются в сигнал с полностью сформированной диаграммой направленности. Так, например, основной формирователь 34 диаграммы направленности может иметь 128 каналов, каждый из которых принимает сигнал с частично сформированной диаграммой направленности от пэтча десятков или сотен ячеек преобразователей CMUT или пьезоэлектрических элементов. Таким образом, сигналы, принимаемые тысячами преобразовательных элементов матрицы 26 преобразователей, могут эффективно способствовать формированию одного сигнала со сформированной диаграммой направленности.The partially beamformed signals generated by the microbeamformer 26 in receive mode are coupled to the main beamformer 34, where the partially beamformed signals from the individual patches of transducer elements are combined into a fully beamformed signal. For example, the main beamformer 34 may have 128 channels, each of which receives a partially beamformed signal from a patch of tens or hundreds of CMUT cells or piezoelectric elements. Thus, signals received by thousands of transducer elements of the transducer array 26 can effectively contribute to the formation of a single beamformed signal.

Эти сигналы со сформированной диаграммой направленности сопрягаются с сигнальным процессором 36, который может образовывать часть вышеуказанного процессорного блока. Сигнальный процессор 36 может обрабатывать принятые эхо-сигналы различным образом, например посредством полосовой фильтрации, прореживания, разделения на компоненты I и Q и гармонического сигнального разделения, которое служит для разделения линейных и нелинейных сигналов, чтобы обеспечить возможность идентификации нелинейных (высших гармоник основной частоты) эхо-сигналов, возвращаемых тканью и/или микропузырьками, содержащимися в контрастном веществе, предварительно введенном в тело пациента 12. Сигнальный процессор 36 также может выполнять дополнительное усиление сигналов, такое как уменьшение уровня спеклов, комбинирование сигналов и устранение шума. Полосовой фильтр в сигнальном процессоре 36 может быть следящим фильтром, его полоса пропускания скользит от более высокой полосы частот к более низкой полосе частот, когда эхо-сигналы принимаются с увеличивающейся глубины, тем самым подавляя шум на более высоких частотах с бóльших глубин, где эти частоты лишены анатомической информации.These beamformed signals are coupled to a signal processor 36, which may form part of the above processor unit. The signal processor 36 may process the received echoes in a variety of ways, such as band pass filtering, decimation, I and Q separation, and harmonic signal separation, which serves to separate linear and non-linear signals to allow identification of non-linear (higher harmonics of the fundamental frequency) echoes returned by tissue and/or microbubbles contained in a contrast agent previously injected into the body of patient 12. Signal processor 36 can also perform additional signal amplification such as speckle reduction, signal combining, and noise elimination. The band pass filter in signal processor 36 may be a tracking filter, its bandwidth sliding from higher to lower bandwidth as echoes are received from increasing depth, thereby suppressing noise at higher frequencies from deeper depths where those frequencies are. devoid of anatomical information.

Обработанные сигналы могут быть переданы в процессор 38 B-режима и доплеровский процессор 40. Процессор 38 B-режима использует детектирование амплитуды принимаемого ультразвукового сигнала для визуализации структур в теле, таких как ткань органов и сосудов тела. B-режим изображений структуры тела может быть выполнен либо в режиме гармонических изображений, либо в режиме фундаментальных изображений или в виде комбинации обоих режимов, как раскрыто в патенте США 6,283,919 (Roundhill et al.) и в патенте США 6,458,083 (Jago et al.)The processed signals may be provided to B-mode processor 38 and Doppler processor 40. B-mode processor 38 uses received ultrasound signal amplitude detection to visualize structures in the body, such as body organ tissue and blood vessels. B-mode body structure imaging can be done in either harmonic imaging mode or fundamental imaging mode, or a combination of both, as disclosed in US Pat. No. 6,283,919 (Roundhill et al.) and US Pat.

Доплеровский процессор 40 может обрабатывать различные по времени сигналы от движения ткани и кровотока для обнаружения движения веществ, таких как поток клеток крови в поле изображения. Доплеровский процессор 40, как правило, включает в себя фильтр стенок сосудов с параметрами, которые могут быть установлены для прохождения и/или отклонения эхо-сигналов, возвращаемых от выбранных типов материалов в организме. Например, фильтр стенок сосудов может быть настроен так, чтобы иметь характеристику полосы пропускания, которая пропускает сигнал относительно низкой амплитуды от материалов с повышенной скоростью, в то же время отклоняя относительно сильные сигналы от материала с пониженной или нулевой скоростью. Эта характеристика полосы пропускания будет пропускать сигналы от кровотока, в то же время отклоняя сигналы от близлежащих неподвижных или медленно движущихся объектов, таких как стенка сердца. Обратная характеристика будет пропускать сигналы от движущейся ткани сердца, в то же время отклоняя сигналы кровотока для так называемой тканевой доплерографии, обнаружения и отображения движения ткани.Doppler processor 40 can process time-varying tissue motion and blood flow signals to detect motion of substances such as blood cell flow in the image field. Doppler processor 40 typically includes a vessel wall filter with parameters that can be set to pass and/or reject echoes returned from selected types of material in the body. For example, a vessel wall filter can be configured to have a bandwidth characteristic that passes a relatively low amplitude signal from materials at a higher velocity while rejecting relatively strong signals from a material at a lower or no velocity. This bandwidth characteristic will allow signals from the bloodstream to pass through while rejecting signals from nearby stationary or slow moving objects such as the wall of the heart. The inverse response will pass signals from moving heart tissue while rejecting blood flow signals for what is known as tissue doppler, the detection and display of tissue movement.

Доплеровский процессор 40 может принимать и обрабатывать последовательность дискретных по времени эхо-сигналов из различных точек в области изображения, последовательность эхо-сигналов от определенной точки, называемую ансамблем. Ансамбль эхо-сигналов, полученных в быстрой последовательности в течение относительно короткого промежутка времени, может быть использован для оценки частоты доплеровского сдвига кровотока, и соответствия доплеровской частоты скорости, указывающей скорость кровотока. Ансамбль эхо-сигналов, полученных в течение более длительного периода времени, используется для оценки скорости медленно текущей крови или медленно двигающейся ткани.The Doppler processor 40 may receive and process a sequence of time-discrete echoes from various points in the image area, a sequence of echoes from a particular point, called an ensemble. An ensemble of echoes acquired in rapid succession over a relatively short period of time can be used to estimate the frequency of the Doppler shift of the blood flow, and to match the Doppler frequency to the velocity indicating the velocity of the blood flow. An ensemble of echoes acquired over a longer period of time is used to estimate the velocity of slowly flowing blood or slowly moving tissue.

Структурные сигналы и сигналы движения, создаваемые B-режимом доплеровских процессоров 38, 40 могут затем быть переданы на скан-конвертер 44 и мультипланарный реконструктор 54. Скан-конвертер 44 располагает эхо-сигналы в пространственной взаимосвязи мест, от которых они были получены, в требуемом формате изображения. Например, скан-конвертер 44 может преобразовать эхо-сигнал в двумерный (2D) секторообразный формат или пирамидальное трехмерное (3D) изображение. Скан-конвертер 44 может накладывать на структурное изображение B-режима цвета, соответствующие движению в точках области изображения, с их доплеровскими оценками скоростей для получения цветного доплеровского изображения, которое отображает движение ткани и кровоток в области изображения.The structure and motion signals generated by the B-mode Doppler processors 38, 40 can then be transmitted to the scan converter 44 and the multiplanar reconstructor 54. image format. For example, the scan converter 44 may convert the echo into a two-dimensional (2D) sector format or a pyramidal three-dimensional (3D) image. The scan converter 44 may overlay the B-mode structural image with colors corresponding to motion at points in the image area with their Doppler velocity estimates to produce a color Doppler image that displays tissue movement and blood flow in the image area.

В системах 3D-визуализации мультипланарный реконструктор 54 преобразует эхо-сигналы, которые получены от точек в общей плоскости в пространственной области тела в ультразвуковое изображение этой плоскости, как раскрыто в патенте США 6,443,896 (Detmer). Объемный рендерер 52 преобразует эхо-сигналы набора 3D-данных в последовательность 56 проекционных 3D-изображений с течением времени, если смотреть с заданной опорной точки, как раскрыто в патенте США 6,530,885 (Entrekin et al.) Последовательность 56 3D-изображений передается от скан-конвертера 44, мультипланарного реконструктора 54 и объемного рендерера 52 в процессор 42 изображений для дальнейшего усиления, буферизации и временного хранения для отображения на дисплее 18.In 3D imaging systems, the multiplanar reconstructor 54 converts echoes that are received from points in a common plane in a body space region into an ultrasound image of that plane, as disclosed in US Pat. No. 6,443,896 (Detmer). The volume renderer 52 converts the echoes of the 3D data set into a sequence of 3D projection images 56 over time as viewed from a given reference point as disclosed in US Pat. No. 6,530,885 (Entrekin et al.). converter 44, multiplanar reconstructor 54 and volumetric renderer 52 to image processor 42 for further amplification, buffering and temporary storage for display on display 18.

Процессор 42 изображений, например, может быть выполнен с возможностью картирования модели 1 сердца на ультразвуковом изображении сердца, например 2D-изображении или предпочтительно объемном ультразвуковом 3D-изображении (или на выбранном пользователем его срезе), а также с возможностью сегментации ультразвукового изображения сердца в соответствии с любым подходящим алгоритмом сегментации, например алгоритмом сегментации, образующим часть программного модуля сегментации, исполняемым процессором 42 изображений. Здесь следует понимать, что упоминание процессора 42 изображений также подразумевает варианты осуществления устройства 10 обработки ультразвукового изображения, в которых функциональность процессора 42 изображений обеспечивается с помощью множества взаимодействующих процессоров. Например, в таких вариантах осуществления могут взаимодействовать специальный процессор картирования модели сердца и специальный процессор сегментации для осуществления функциональных возможностей процессора 42 изображений.The image processor 42 may, for example, be configured to map the heart model 1 on a cardiac ultrasound image, such as a 2D image or preferably a 3D volumetric ultrasound image (or a user-selected slice thereof), and to segment the cardiac ultrasound image according to with any suitable segmentation algorithm, such as a segmentation algorithm forming part of the segmentation software module executed by the image processor 42. It should be understood here that reference to image processor 42 also includes embodiments of ultrasound image processing apparatus 10 in which the functionality of image processor 42 is provided by a plurality of cooperating processors. For example, in such embodiments, a dedicated heart model mapping processor and a dedicated segmentation processor may interact to implement the functionality of the image processor 42.

В дополнение к использованию для визуализации, значения кровотока, полученные с помощью доплеровского процессора 40, и информация о структуре ткани, полученная с помощью процессора 38 B-режима, могут быть переданы в процессор 46 количественного анализа, образующий часть процессорного блока. Этот процессор 46 количественного анализа может производить измерения различных параметров потока, таких как объемный расход кровотока, а также структурные измерения, например, размеров органов и гестационного возраста. Процессор 46 количественного анализа может принимать входной сигнал от пользовательского интерфейса 22, например конкретные точки в анатомическом изображении, в которых должно быть проведено измерение.In addition to being used for imaging, blood flow values obtained with the Doppler processor 40 and tissue structure information obtained with the B-mode processor 38 can be transmitted to the quantification processor 46 forming part of the processing unit. This quantification processor 46 can make measurements of various flow parameters, such as volumetric flow rate, as well as structural measurements, such as organ sizes and gestational age. The quantification processor 46 may receive input from the user interface 22, such as specific points in the anatomical image at which a measurement is to be taken.

Выходные данные из процессора 46 количественного анализа могут быть переданы графическому процессору 50, образующему часть процессорного блока, для воспроизведения графиков и значений измерений с помощью изображения на дисплее 18. Графический процессор 50 также может генерировать графические наложения для отображения вместе с ультразвуковыми изображениями, например наложение модели 1 сердца на ультразвуковое изображение сердца, на котором картируется указанная модель 1 сердца. Эти графические наложения могут дополнительно содержать стандартную идентификационную информацию, например имя пациента, дата и время съемки изображения, параметры визуализации и тому подобное. Для этих целей графический процессор 50 может принимать входные данные от пользовательского интерфейса 22, например имя пациента. Пользовательский интерфейс 22 может быть соединен с контроллером 32 передачи для управления генерацией ультразвуковых сигналов от матрицы 26 преобразователей и, следовательно, изображений, создаваемых матрицей преобразователей и ультразвуковой системой. Пользовательский интерфейс 22 также может быть соединен с мультипланарным реконструктором 54 для выбора и управления плоскостями множества мультипланарных реконструированных изображений (MPR-изображений), которые могут использоваться для выполнения количественных измерений в области MPR-изображений в случае системы 3D-визуализации.The output from the quantification processor 46 may be provided to the graphics processor 50 forming part of the processing unit to display graphs and measurement values using the image on the display 18. The graphics processor 50 may also generate graphic overlays for display along with the ultrasound images, such as a model overlay. 1 heart per ultrasound image of the heart in which the indicated model 1 of the heart is mapped. These graphic overlays may further contain standard identification information such as the patient's name, the date and time the image was taken, imaging parameters, and the like. For these purposes, the graphics processor 50 may receive input from the user interface 22, such as the patient's name. A user interface 22 may be connected to the transmission controller 32 to control the generation of ultrasound signals from the transducer array 26 and hence the images produced by the transducer array and the ultrasound system. The user interface 22 may also be connected to the multiplanar reconstructor 54 to select and manipulate the planes of a plurality of multiplanar reconstructed images (MPR images) that can be used to perform quantitative measurements in the MPR image area in the case of a 3D imaging system.

Процессор 46 количественного анализа может быть дополнительно выполнен с возможностью приема пользовательских команд прикосновения через сенсорный экран 19 для регулировки картирования модели 1 сердца на ультразвуковом изображении сердца, отображаемого на дисплее 18, как будет разъяснено более подробно ниже. Процессор 46 количественного анализа может интерпретировать полученные пользовательские команды прикосновения так, что он извлекает регулировку картирования модели 1 сердца из принятой пользовательской команды прикосновения и передает эту регулировку процессору 42 изображений. Как правило, такие регулировки относятся к текущему виду плоскости объемного изображения, отображаемого на дисплее 18 в случае использования такого объемного изображения. Процессор 42 изображений может быть выполнен с возможностью регулировки автоматического картирования модели 1 сердца на ультразвуковом изображении сердца, соответственно, и с возможностью осуществления сегментации ультразвукового изображения сердца в соответствии с перекартированной моделью 1 сердца. The quantification processor 46 may be further configured to receive user touch commands via the touch screen 19 to adjust the mapping of the heart model 1 on the ultrasound image of the heart displayed on the display 18, as will be explained in more detail below. The quantification processor 46 may interpret the received user touch commands such that it extracts the mapping adjustment of the heart model 1 from the received user touch command and passes this adjustment to the image processor 42. As a rule, such adjustments refer to the current view of the plane of the volumetric image displayed on the display 18 in the case of using such a volumetric image. The image processor 42 may be configured to adjust the automatic mapping of the heart model 1 on the heart ultrasound image, respectively, and to perform segmentation of the heart ultrasound image according to the remapped heart model 1.

В качестве альтернативы, процессор 42 изображений может реагировать на сенсорный экран 19 и может быть выполнен с возможностью интерпретации пользовательских команд прикосновения, подаваемых через сенсорный экран 19, чтобы регулировать картирование модели 1 сердца в соответствии с интерпретируемыми пользовательскими командами прикосновения, минуя, таким образом, процессор 46 количественного анализа. Следует понимать, что возможны и другие процессорные блоки устройства 10 обработки ультразвукового изображения для интерпретации таких пользовательских команд прикосновения, подаваемых через сенсорный экран 19, для перекартирования модели 1 сердца в соответствии с интерпретируемыми пользовательскими командами прикосновения и для выполнения сегментации ультразвукового изображения сердца в соответствии с перекартированной моделью сердца, что должно быть очевидно специалисту в данной области техники.Alternatively, the image processor 42 may be responsive to the touch screen 19 and may be configured to interpret user touch commands provided through the touch screen 19 to adjust the mapping of the heart model 1 in accordance with the interpreted user touch commands, thereby bypassing the processor. 46 quantitative analysis. It should be understood that other processing units of the ultrasound image processing apparatus 10 are possible to interpret such user touch commands given through the touch screen 19, to remap the heart model 1 in accordance with the interpreted user touch commands, and to perform segmentation of the cardiac ultrasound image in accordance with the remapped model of the heart, which should be obvious to a person skilled in the art.

Понятно, что вышеуказанная ультразвуковая система 100 была раскрыта только в качестве одного возможного примера применения устройства 10 обработки медицинского ультразвукового изображения. Следует отметить, что вышеуказанная ультразвуковая система 100 необязательно должна содержать все компоненты, раскрытые выше. С другой стороны, ультразвуковая система 100 может также содержать дополнительные компоненты, если необходимо. Далее, следует отметить, что множество вышеуказанных компонентов необязательно должны быть реализованы в виде аппаратных средств, но также могут быть реализованы в виде программных компонентов. Множество вышеуказанных компонентов также могут содержаться в общих субъектах или даже в одном единственном субъекте, и не все из них должны быть реализованы в виде отдельных субъектов так, как это схематически показано на фиг. 2.It is understood that the above ultrasound system 100 has only been disclosed as one possible application of the medical ultrasound image processing device 10. It should be noted that the above ultrasonic system 100 need not contain all of the components disclosed above. On the other hand, the ultrasonic system 100 may also contain additional components, if necessary. Further, it should be noted that a plurality of the above components need not be implemented as hardware, but may also be implemented as software components. Many of the above components may also be contained in common entities, or even in a single entity, and not all of them need be implemented as separate entities in the manner schematically shown in FIG. 2.

Как раскрыто выше, устройство 10 обработки ультразвукового изображения выполнено с возможностью автоматического картирования модели 1 сердца, включая модели анатомических структур ЛЖ, ПЖ, ЛП и ПП на ультразвуковом изображении, предпочтительно объемном ультразвуковом изображении, содержащем изображение сердца пациента 12, как правило, но необязательно, на виде в поперечном разрезе сердца пациента, например, с использованием алгоритмов картирования, раскрытых в патентном документе WO 2016/142204 A1. Такая модель сердца, как правило, представляет собой алгоритм сегментации на основе модели, использующий предварительные данные об общей структуре сердца, о том, как расположение сердца изменяется в пределах 3D объемных ультразвуковых изображений, о том, как форма сердца изменяется от пациента к пациенту и о методах отображения сердца посредством ультразвуковой визуализации. Поскольку такие модели сердца хорошо известны сами по себе, модель 1 сердца не будет раскрыта подробно ради краткости. Достаточно сказать, что любая подходящая модель сердца может быть использована в качестве модели 1 сердца.As disclosed above, the ultrasound imaging device 10 is configured to automatically map the heart model 1, including LV, RV, LA, and RA anatomy models, on an ultrasound image, preferably a volumetric ultrasound image containing an image of the patient's heart 12, typically, but not necessarily, in a cross-sectional view of the patient's heart, for example using the mapping algorithms disclosed in patent document WO 2016/142204 A1. Such a heart model is typically a model-based segmentation algorithm using preliminary data about the overall structure of the heart, how the location of the heart changes within 3D volumetric ultrasound images, how the shape of the heart changes from patient to patient, and about methods of imaging the heart through ultrasound imaging. Since such heart models are well known per se, heart model 1 will not be disclosed in detail for the sake of brevity. Suffice it to say that any suitable heart model can be used as heart model 1.

За таким картированием, как правило, следует автоматическая сегментация ультразвукового изображения с картированной моделью 1 сердца, чтобы автоматически провести измерения сердца, например измерение параметров, таких как фракция выброса и сердечный выброс, которые требуют контурирования объема крови в камерах сердца на различных фазах сердечного цикла на двух- или трехмерных изображениях камеры сердца.This mapping is typically followed by automatic segmentation of the ultrasound image with the mapped heart model 1 to automatically take measurements of the heart, such as measurement of parameters such as ejection fraction and cardiac output, which require contouring of the volume of blood in the chambers of the heart at different phases of the cardiac cycle at two- or three-dimensional images of the chamber of the heart.

Однако, как было объяснено выше более подробно с помощью фиг. 1 и фиг. 2, алгоритм картирования, используемый моделью 1 сердца для картирования на ультразвуковом изображении сердца пациента не всегда успешен, так что последующая сегментация ультразвукового изображения в соответствии с картированной моделью 1 сердца будет генерировать бессмысленные результаты. В таких случаях пользователю устройства 10 обработки ультразвукового изображения необходимо вручную переместить модель 1 сердца относительно ультразвукового изображения до выполнения алгоритмов сегментации для гарантии того, что результаты измерений, полученные с помощью алгоритмов сегментации являются клинически значимыми, то есть имеют смысл.However, as explained above in more detail with reference to FIG. 1 and FIG. 2, the mapping algorithm used by the heart model 1 for mapping on the ultrasound image of the patient's heart is not always successful, so subsequent segmentation of the ultrasound image according to the mapped heart model 1 will generate meaningless results. In such cases, the user of the ultrasound imaging device 10 needs to manually move the heart model 1 relative to the ultrasound image prior to executing the segmentation algorithms to ensure that the measurement results obtained by the segmentation algorithms are clinically relevant, i.e. meaningful.

В соответствии с вариантами осуществления настоящего изобретения, устройство 10 обработки ультразвукового изображения выполнено с возможностью реализации способа 200, блок-схема которого изображена на фиг. 5. С этой целью процессорный блок 16 устройства 10 обработки ультразвукового изображения может быть выполнен с возможностью осуществления различных этапов способа 200, некоторые из которых уже были описаны выше. В соответствии с этим способом 200, пользователь устройства 10 обработки ультразвукового изображения может подать команды прикосновения через сенсорный экран 19 дисплея 18, причем указанные команды прикосновения интерпретируется процессорным блоком 16 в качестве команд регулировки картирования для автоматического картирования модели 1 сердца на ультразвуковом изображении сердца.In accordance with embodiments of the present invention, the ultrasound image processing apparatus 10 is configured to implement the method 200, a flowchart of which is shown in FIG. 5. To this end, the processing unit 16 of the ultrasound image processing apparatus 10 may be configured to perform various steps of the method 200, some of which have already been described above. In accordance with this method 200, the user of the ultrasound image processing device 10 can issue touch commands via the touch screen 19 of the display 18, said touch commands being interpreted by the processing unit 16 as mapping adjustment commands to automatically map the heart model 1 on the ultrasound image of the heart.

Таким образом, способ 200 начинается на этапе 201 с приема захваченного ультразвукового изображения сердца, например ультразвукового изображения сердца, извлеченного из устройства 60 хранения данных в ответ на сигнал выбора пользователя, подаваемый через сенсорный экран 19 или пользовательский интерфейс 22, после чего способ 200 переходит к этапу 203, на котором модель 1 сердца картируют на ультразвуковом изображении сердца, например объемном изображении, как разъяснено ранее. Ультразвуковое изображение сердца, включая наложенную модель 1 сердца в ее позиции картирования, определенное на этапе 203, отображается на этапе 205 на дисплее 18, так что пользователь может проверить, корректно ли модель сердца была картирована на ультразвуковом изображении сердца. Эта проверка отображена на этапе 207, на котором процессорный блок 16 проверяет, подал ли пользователь через сенсорный экран 19 пользовательскую команду прикосновения, указывающую на несовмещение модели 1 сердца с ультразвуковым изображением сердца.Thus, method 200 begins at step 201 by receiving a captured cardiac ultrasound image, such as a cardiac ultrasound image retrieved from data storage device 60 in response to a user selection signal provided via touch screen 19 or user interface 22, after which method 200 proceeds to step 203, in which the heart model 1 is mapped on an ultrasound image of the heart, such as a volumetric image, as previously explained. The heart ultrasound image, including the superimposed heart model 1 at its mapping position determined in step 203, is displayed in step 205 on the display 18 so that the user can check if the heart model has been mapped correctly on the heart ultrasound image. This check is displayed at step 207, in which the processing unit 16 checks whether the user has given a user touch command via the touch screen 19 indicating a misalignment of the heart model 1 with the ultrasound image of the heart.

Например, пользователь может подать команду прерывания, указывающую на несовмещение модели 1 сердца с ультразвуковым изображением сердца, например, путем нажатия на сенсорный экран 19, который останавливает автоматическую обработку и, в частности, сегментацию ультразвукового изображения сердца, пока пользователь не предоставит команду регулировки картирования через сенсорный экран 19 на этапе 209, причем эта команда регулировки картирования интерпретируется процессорным блоком 16 на этапе 211 и используется для перекартирования модели 1 сердца на ультразвуковом изображении сердца, соответственно. Как правило, жесты, передаваемые через сенсорный экран 19, интерпретируются и исполняются процессорным блоком 16 для обработки информации о пространственной поверхности сетки модели 1 сердца, отображаемой на дисплее 18. Например, процессорный блок 16 может периодически проверять, была ли подана команда пользователя через сенсорный экран 19, например с заданной частотой дискретизации, которая определяется в случае такой пользовательской команды, причем эта команда немедленно интерпретируется и применяется как преобразование к сетке, после чего способ 200 возвращается к этапу 205, на котором перекартированная модель 1 сердца отображается в виде наложения на ультразвуковое изображение сердца на дисплее 18 для подтверждения пользователем на этапе 207, как объяснено ранее.For example, the user can issue an interrupt command indicating that the heart model 1 is not aligned with the heart ultrasound image, for example by pressing the touch screen 19, which stops automatic processing and in particular segmentation of the heart ultrasound image, until the user provides a mapping adjustment command via touch screen 19 at step 209, this mapping adjustment command being interpreted by the processor unit 16 at step 211 and used to remap the heart model 1 on the ultrasound image of the heart, respectively. Typically, gestures communicated via the touch screen 19 are interpreted and executed by the processing unit 16 to process information about the spatial surface of the heart model 1 grid displayed on the display 18. For example, the processing unit 16 may periodically check whether a user command has been issued via the touch screen. 19, for example, at a predetermined sampling rate, which is determined in the case of such a user command, this command is immediately interpreted and applied as a transformation to the mesh, after which the method 200 returns to step 205, in which the remapped heart model 1 is displayed as an overlay on the ultrasound image hearts on display 18 for confirmation by the user at step 207 as previously explained.

Далее будет более подробно объяснено несколько примеров типов пользовательских команд, причем каждый тип пользовательского движения прикосновения связан с различным типом изменения картирования модели 1. Следует понимать, что примеры команд не являются исчерпывающими, и могут быть предусмотрены другие команды для вызова других операций, например манипуляций с анатомической моделью, такой как модель 1 сердца. В равной степени, различные типы взаимодействий прикосновения для взаимодействий, поясненных ниже, могут использоваться для вызова таких операций, что должно быть понятно специалисту в данной области.In the following, several examples of user command types will be explained in more detail, with each type of user touch motion associated with a different type of model 1 mapping change. anatomical model, such as model 1 of the heart. Equally, different types of touch interactions for the interactions explained below can be used to invoke such operations, as will be understood by one skilled in the art.

В примерном варианте осуществления пользователь может предоставить команду 3 трансляционного перемещения для модели 1 сердца через сенсорный экран 19, как схематически показано на фиг. 6. Пользователь может в качестве неограничивающего примера скользящим образом перемещать один или несколько пальцев в требуемом направлении трансляционного перемещения модели 1 сердца, параллельном текущей плоскости отображения ультразвукового изображения сердца, с помощью процессорного блока 16, выполненного с возможностью преобразования расстояния и направления скользящего движения по сенсорному экрану 19 в расстояние и направление трансляционного перемещения для модели 1 сердца относительно ультразвукового изображения сердца, как показано стрелкой в левой области фиг. 6. В правой области фиг. 6 (обозначенной как «Коррекция») изображена перекартированная модель 1 сердца в соответствии с этой пользовательской командой прикосновения, исполненной процессорным блоком 16. Пользователь может на этапе 207 подтвердить, что перекартированная модель 1 сердца теперь соответствующим образом картирована на ультразвуковом изображении сердца, например, путем воздержания от подачи дополнительных команд прикосновения через сенсорный экран 19 или путем подачи пользовательской команды, например через сенсорный экран 19 или через пользовательский интерфейс 22, указывающей такое подтверждение.In an exemplary embodiment, the user may provide a translational movement command 3 to the heart model 1 via the touch screen 19, as shown schematically in FIG. 6. The user can, as a non-limiting example, slide one or more fingers in the desired direction of translational movement of the heart model 1, parallel to the current display plane of the cardiac ultrasound image, using the processing unit 16, configured to convert the distance and direction of sliding movement on the touch screen 19 to the distance and direction of translational movement for the heart model 1 relative to the ultrasound image of the heart, as indicated by the arrow in the left region of FIG. 6. In the right region of FIG. 6 (labeled "Correction") depicts the remapped heart model 1 in accordance with this user touch command executed by the processing unit 16. The user can confirm at step 207 that the remapped heart model 1 is now properly mapped on the ultrasound image of the heart, for example, by refraining from issuing additional touch commands via the touch screen 19 or by issuing a user command, such as via the touch screen 19 or via the user interface 22, indicating such confirmation.

В другом примерном варианте осуществления пользователь может предоставить команду 3 вращения для модели 1 сердца через сенсорный экран 19, как схематически показано на фиг. 7. Это может быть использовано для исправления вращательного несовмещения модели 1 сердца с ультразвуковым изображением сердца. Чтобы вызвать повторное вращательное выравнивание модели 1 сердца, пользователь может, в качестве неограничивающего примера, сделать поворотное движение на сенсорном экране 19 одним или несколькими пальцами, например большим и указательным пальцами, причем поворотное движение детектируется процессорным блоком 16 и интерпретируется таким образом, что величина (угол) поворотного движения, предоставленная пользователем, переводится в величину (угол) вращения модели 1 сердца в направлении поворотного движения вокруг оси вектора нормали текущей плоскости отображения ультразвукового изображения сердца, как показано изогнутыми стрелками на фиг. 7, в результате чего получается повернутая модель 1 сердца, как изображено в правой области фиг. 7 (обозначена как «Коррекция»).In another exemplary embodiment, the user may provide a rotation command 3 for the heart model 1 via the touch screen 19, as shown schematically in FIG. 7. This can be used to correct rotational misalignment of model 1 heart with the ultrasound image of the heart. To cause re-rotational alignment of the heart model 1, the user may, as a non-limiting example, make a pivoting movement on the touch screen 19 with one or more fingers, such as thumb and forefinger, the pivoting movement being detected by the processing unit 16 and interpreted such that the value ( angle) of the rotational movement provided by the user is translated into the amount (angle) of rotation of the heart model 1 in the direction of the rotational movement about the axis of the normal vector of the current display plane of the cardiac ultrasound image, as shown by curved arrows in FIG. 7 resulting in a rotated heart model 1 as shown in the right region of FIG. 7 (labeled "Correction").

В другом примерном варианте осуществления пользователь может предоставить команду 3 масштабирования для модели 1 сердца через сенсорный экран 19, как схематически показано на фиг. 8. Это может быть использовано для корректировки неверного масштаба модели 1 сердца относительно ультразвукового изображения сердца, т.е. поперечного сечения сердца, видимого на ультразвуковом изображении сердца. Чтобы вызвать такое изменение масштаба модели 1 сердца, пользователь может, в качестве неограничивающего примера, сделать сжимающее движение двумя или несколькими пальцами, чтобы уменьшить размер модели 1 сердца, или растягивающее движение двумя пальцами, чтобы увеличить размер модели 1 сердца на сенсорном экране 19, например, с помощью большого пальца и указательного пальца. Процессорный блок 16, как раскрыто и в отношении предыдущих случаев, выполнен с возможностью интерпретации такой команды масштабирования, полученной через сенсорный экран 19, и изменения масштаба модели 1 сердца в соответствии с полученной командой масштабирования, как показано стрелками в левой области фиг. 8, получая, таким образом, модель 1 сердца с измененным масштабом, как показано в правой области фиг. 8 (обозначена как «Коррекция»). Степень масштабирования, как правило, соответствует величине (расстоянию) сжимания или растяжения, например, между пальцами на сенсорном экране 19, что должно быть понятно специалисту в данной области.In another exemplary embodiment, the user may provide a zoom command 3 for the heart model 1 via the touch screen 19, as shown schematically in FIG. 8. This can be used to correct the incorrect scale of the heart model 1 relative to the ultrasound image of the heart, i.e. cross section of the heart as seen on an ultrasound image of the heart. To cause such a rescaling of the heart model 1, the user can, as a non-limiting example, make a pinch motion with two or more fingers to reduce the size of the heart model 1, or a pinch motion with two fingers to increase the size of the heart model 1 on the touch screen 19, for example , using the thumb and index finger. The processing unit 16, as disclosed in relation to the previous cases, is configured to interpret such a zoom command received via the touch screen 19 and scale the heart model 1 in accordance with the received zoom command, as indicated by the arrows in the left region of FIG. 8, thus obtaining a scaled heart model 1 as shown in the right region of FIG. 8 (labeled "Correction"). The degree of zoom generally corresponds to the amount (distance) of squeezing or stretching, for example, between the fingers on the touch screen 19, which should be understood by a person skilled in the art.

После того, как на этапе 207 было установлено, что пользователь подтвердил картирование модели 1 сердца на ультразвуковом изображении сердца, отображаемом на дисплее 18, способ 200 переходит к этапу 213, на котором ультразвуковое изображение сердца сегментируется процессорным блоком 16 с использованием любого подходящего алгоритма сегментации, как объяснялось ранее, после чего результаты сегментации отображаются на дисплее 18 на этапе 215. Такие результаты сегментации, например, могут включать в себя результаты измерений динамических параметров сердца, например фракции выброса, чтобы дать возможность пользователю оценить производительность сердца за некоторый период времени, например, за один или несколько сердечных циклов.Once it has been determined at step 207 that the user has confirmed mapping of heart model 1 on the heart ultrasound image displayed on display 18, method 200 proceeds to step 213 where the heart ultrasound image is segmented by processor 16 using any suitable segmentation algorithm, as previously explained, after which the segmentation results are displayed on the display 18 at step 215. Such segmentation results, for example, may include measurements of cardiac dynamic parameters, such as ejection fraction, to allow the user to evaluate the performance of the heart over a period of time, for example, for one or more cardiac cycles.

В одном варианте осуществления устройство 10 обработки ультразвукового изображения дополнительно выполнено с возможностью позволить пользователю выбрать часть модели 1 сердца для выбора или отмены выбора конкретного анатомического компонента модели сердца. Это схематически изображено на фиг. 9. Например, пользователь может нажать и удерживать анатомический компонент 2 (в данном случае модель левого предсердия) модели 1 сердца для выбора или отмены выбора, как показано жирной точкой в левой области фиг. 9, например, для выполнения преобразований или корректировок модели 1 сердца, с помощью пользовательских команд прикосновения, предоставляемых через сенсорный экран 19, как уже было разъяснено ранее, на уровне компонентов, т.е. путем облегчения таких преобразований или корректировок для выбранного компонента 2; указанный выбор схематически изображен в правой области фиг. 9 (обозначена как «Выбор»). Выбранный анатомический компонент 2 может быть подсвечен или иным образом выделен на дисплее 18, чтобы проинформировать пользователя о том, что анатомический компонент 2 был успешно выбран. Аналогичным образом, такое подсвечивание или иное выделение может быть прекращено после успешной отмены выбора анатомической компонента 2. Картирование других частей модели сердца 1, например других невыбранных анатомических компонентов, обычно «замораживается» или фиксируется относительно исследуемого ультразвукового изображения сердца, так что пользователь может выборочно манипулировать выбранным анатомическим компонентом 2. Также может применяться радиус влияния (воздействия), зафиксированный или выбираемый пользователем с помощью дополнительных жестов прикосновения, что должно быть понятно специалисту в данной области.In one embodiment, the ultrasound image processing device 10 is further configured to allow a user to select a portion of the heart model 1 to select or deselect a specific anatomical component of the heart model. This is shown schematically in FIG. 9. For example, the user may press and hold the anatomical component 2 (in this case, the left atrial model) of the heart model 1 to select or deselect, as indicated by the bold dot in the left region of FIG. 9, for example, to perform transformations or adjustments of the heart model 1, using user touch commands provided through the touch screen 19, as already explained earlier, at the component level, i.e. by facilitating such conversions or adjustments for the selected component 2; said selection is shown schematically in the right region of FIG. 9 (labeled "Choice"). The selected anatomical component 2 may be highlighted or otherwise highlighted on the display 18 to inform the user that the anatomical component 2 has been successfully selected. Likewise, such highlighting or other highlighting may be terminated upon successful deselection of the anatomical component 2. Mapping of other parts of the heart model 1, such as other unselected anatomical components, is typically "frozen" or fixed relative to the cardiac ultrasound image of interest so that the user can selectively manipulate the selected anatomical component 2. A radius of influence (impacts) fixed or selected by the user with additional touch gestures can also be used, which should be clear to a person skilled in the art.

В другом варианте осуществления устройство 10 обработки ультразвукового изображения дополнительно выполнено с возможностью позволить пользователю просматривать (путем прокрутки) и выбирать различные исходные режимы или патологии, например анатомию сердца особой формы, например с дилатацией. Это схематически изображено на фиг. 10. Например, пользователь может осуществлять смахивающее движение 3 (свайп) на сенсорном экране 19 для прокрутки и просмотра библиотеки различных форм модели сердца, пока не найдет нужную модель 1’ сердца, которая может быть выбрана любым подходящим образом, например, путем прекращения смахивающих движений или нажатия на нужную модель 1’ сердца, что приводит к выбору этой модели сердца, как показано в правой области фиг. 10 (обозначена как «Изменить патологию»).In another embodiment, the ultrasound image processing device 10 is further configured to allow the user to view (by scrolling through) and select various initial modes or pathologies, such as a specially shaped heart anatomy, such as dilation. This is shown schematically in FIG. 10. For example, the user may swipe 3 (swipe) on the touch screen 19 to scroll through and browse through the library of different heart model shapes until the desired heart model 1' is found, which can be selected in any suitable manner, such as by stopping the swipe. or clicking on the desired heart model 1', which results in that heart model being selected, as shown in the right area of FIG. 10 (labeled "Change Pathology").

Следует понимать, что любая из вышеуказанных пользовательских команд прикосновения, подаваемых через сенсорный экран 19, может быть предоставлена в любой момент во время обработки ультразвукового изображения сердца, например во время картирования модели 1 сердца на ультразвуковом изображении сердца и последующего сегментирования ультразвукового изображения сердца в соответствии с картированной моделью 1 сердца, так что возможны модификации алгоритма способа 200 без отступления от сущности настоящего изобретения.It should be understood that any of the above user touch commands given through the touch screen 19 may be provided at any time during the processing of the cardiac ultrasound image, for example, during mapping of the heart model 1 on the cardiac ultrasound image and subsequent segmentation of the cardiac ultrasound image in accordance with mapped model 1 of the heart, so that modifications to the algorithm of the method 200 are possible without departing from the essence of the present invention.

Кроме того, следует понимать, что, хотя варианты осуществления настоящего изобретения раскрыты в контексте картирования сегментационной модели на сердце, идеи настоящего изобретения в равной степени применимы к любому другому приложению ультразвуковой визуализации, в котором подразумевается картирование сегментационной модели на анатомической особенности, представляющей интерес, например на внутреннем органе пациента 12, на плоде пациентки 12 и тому подобное.Furthermore, it should be understood that while embodiments of the present invention are disclosed in the context of mapping a segmental pattern to the heart, the teachings of the present invention are equally applicable to any other ultrasound imaging application in which the mapping of a segmental pattern to an anatomical feature of interest is intended, e.g. on the internal organ of the patient 12, on the fetus of the patient 12 and the like.

В соответствии с одним аспектом настоящего изобретения, может быть предусмотрен компьютерный программный продукт, содержащий машиночитаемый носитель с машиночитаемыми инструкциями (кодом), сохраненными в нем, для того, чтобы, при исполнении на процессорном блоке 16 устройства 10 обработки ультразвукового изображения, инициировать осуществление процессором 16 любого варианта осуществления способа 200.In accordance with one aspect of the present invention, a computer program product may be provided comprising a computer-readable medium with computer-readable instructions (code) stored therein so that, when executed on the processing unit 16 of the ultrasound image processing apparatus 10, to cause the processor 16 to execute any embodiment of method 200.

Может использоваться любая комбинация одной или нескольких машиночитаемых сред. Машиночитаемая среда может представлять собой машиночитаемую среду сигналов или машиночитаемую среду хранения (носитель информации). Машиночитаемый носитель информации может представлять собой, в качестве примера, но не ограничиваясь ими, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему или устройство, или любую подходящую комбинацию вышеперечисленного. Такая система или устройство могут быть доступны с помощью любого подходящего сетевого соединения; например система или устройство могут быть доступны по сети для извлечения машиночитаемого программного кода. Такая сеть может представлять собой, например, интернет, сеть мобильной связи или тому подобное. Более конкретные примеры (неисчерпывающий перечень) машиночитаемого носителя могут включать в себя следующее: электрическое соединение с одним или несколькими проводами, портативная компьютерная дискета, жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (EPROM или флэш-память), оптическое волокно, портативный компакт-диск (CD-ROM), оптическое устройство хранения, магнитное устройство хранения или любая подходящая комбинация вышеизложенного. В контексте настоящей заявки, машиночитаемый носитель может быть любым материальным носителем, который может содержать или хранить программу для использования системой или устройством исполнения инструкций.Any combination of one or more computer-readable media may be used. The computer-readable medium may be a computer-readable signaling medium or a computer-readable storage medium (information medium). The computer-readable storage medium can be, by way of example, but not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system or device, or any suitable combination of the foregoing. Such a system or device may be accessible via any suitable network connection; for example, the system or device can be accessed over a network to retrieve machine-readable program code. Such a network may be, for example, the Internet, a mobile network, or the like. More specific examples (non-exhaustive list) of computer-readable media may include the following: electrical connection with one or more wires, portable computer floppy disk, hard drive, random access memory (RAM), read only memory (ROM), erasable programmable read only memory ( EPROM or flash memory), optical fiber, portable compact disc (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above. In the context of the present application, a computer-readable medium can be any tangible medium that can contain or store a program for use by an instruction execution system or device.

Машиночитаемая среда сигналов может включать в себя распространяющийся сигнал данных с машиночитаемым программным кодом, воплощенным в нем, например, в основной полосе частот или в качестве части волны несущей частоты. Такой распространяющийся сигнал может принимать любую из множества форм, в том числе, но не ограничиваясь этим, электро-магнитную, оптическую, или любую подходящую комбинацию. Машиночитаемая среда сигналов может быть любой машиночитаемой средой, которая не является машиночитаемой средой хранения (носителем информации), и которая может передавать, распространять или транспортировать программу для использования системой или устройством исполнения инструкций.The computer-readable signaling medium may include a propagating data signal with computer-readable program code embodied therein, for example, in baseband or as part of a carrier wave. Such a propagating signal may take any of a variety of forms, including, but not limited to, electromagnetic, optical, or any suitable combination. The computer-readable signaling medium may be any computer-readable medium that is not a computer-readable storage medium (a storage medium) and that can transmit, distribute, or transport a program for use by an instruction execution system or device.

Программный код, реализованный в машиночитаемой среде, может передаваться с использованием любой подходящей среды, в том числе, но не ограничиваясь: беспроводным образом, проводным образом, по волоконно-оптическому кабелю, с помощью радиочастотной передачи и т.п., или в любой подходящей комбинации вышеперечисленного.Program code implemented in a computer-readable medium may be transmitted using any suitable medium, including, but not limited to, wirelessly, wired, fiber optic cable, radio frequency transmission, etc., or any suitable combinations of the above.

Компьютерный программный код для осуществления способов согласно настоящему изобретению путем исполнения на процессорном блоке может быть написан на любой комбинации одного или нескольких языков программирования, в том числе на объектно-ориентированном языке программирования, например Java, Smalltalk, C++ и т.п., и обычных языках процедурного программирования, например язык программирования «C» или аналогичные языки программирования. Программный код может исполняться полностью на процессорном блоке в виде отдельного программного пакета, например приложения, или может исполняться частично на процессорном блоке и частично на удаленном сервере. В последнем сценарии удаленный сервер может быть подключен к устройству 10 обработки ультразвукового изображения по любой сети, в том числе локальной сети (LAN) или глобальной сеть (WAN), или может быть осуществлено подключение к внешнему компьютеру, например через сеть Интернет с помощью интернет-провайдера.The computer program code for implementing the methods of the present invention by executing on a processor unit may be written in any combination of one or more programming languages, including an object-oriented programming language such as Java, Smalltalk, C++, etc., and conventional procedural programming languages, such as the "C" programming language or similar programming languages. The software code may execute entirely on the processing unit as a separate software package, such as an application, or may execute partly on the processing unit and partly on a remote server. In the latter scenario, the remote server may be connected to the ultrasound imaging device 10 over any network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer, such as via the Internet using an Internet connection. provider.

Аспекты настоящего изобретения раскрыты выше со ссылкой на блок-схемы способов, устройств (систем) и компьютерных программных продуктов в соответствии с вариантами осуществления настоящего изобретения. Следует понимать, что каждый блок в блок-схемах и комбинации блоков в блок-схемах могут быть реализованы с помощью компьютерных программных инструкций, исполняемых полностью или частично на процессорном блоке устройства 10 обработки ультразвукового изображения, таким образом, что инструкции создают средство реализации функций/действий, указанных в блоке или блоках блок-схемы. Эти компьютерные программные инструкции могут быть также сохранены на машиночитаемом носителе, который может побуждать устройство 10 обработки ультразвукового изображения функционировать определенным образом.Aspects of the present invention have been described above with reference to block diagrams of methods, apparatuses (systems), and computer program products in accordance with embodiments of the present invention. It should be understood that each block in the block diagrams and combinations of blocks in the block diagrams may be implemented by computer program instructions executable in whole or in part on the processing unit of the ultrasound image processing apparatus 10, such that the instructions create a means of implementing functions/actions. specified in the block or blocks of the flowchart. These computer program instructions may also be stored on a computer-readable medium, which may cause the ultrasound image processing device 10 to function in a particular manner.

Компьютерные программные инструкции могут быть загружены в процессорный блок, чтобы побудить ряд рабочих этапов, подлежащих исполнению на процессорном блоке, осуществить компьютерно-реализуемый процесс таким образом, что инструкции, исполняемые на процессорном блоке обеспечивают процессы для реализации функций/действий, указанных в блоке или блоках блок-схемы. Компьютерный программный продукт может образовывать часть устройства 10 обработки ультразвукового изображения, например он может быть установлен на устройстве 10 обработки ультразвукового изображения.Computer program instructions may be loaded into the processing unit to cause a series of operating steps to be executed on the processing unit to carry out a computer-implemented process such that instructions executed on the processing unit provide processes for implementing the functions/actions specified in the block or blocks. block diagrams. The computer program product may form part of the ultrasound image processing device 10, for example, it may be installed on the ultrasound image processing device 10 .

Следует отметить, что вышеуказанные варианты осуществления иллюстрируют, но не ограничивают изобретение, при этом специалисты в данной области техники смогут предложить много альтернативных вариантов осуществления без отступления от объема настоящего изобретения согласно прилагаемой формуле. В формуле изобретения любые ссылочные обозначения, помещенные в круглых скобках, не должны истолковываться как ограничивающие пункт формулы изобретения. Слово «содержащий» не исключает наличия элементов или этапов, отличных от перечисленных в пункте формулы изобретения. Использование единственного числа в отношении некоторого элемента не исключает наличия множества таких элементов. Изобретение может быть реализовано посредством аппаратных средств, содержащих несколько отдельных элементов. В пункте формулы, относящемся к устройству, в котором перечислены несколько средств, некоторые из этих средств могут быть воплощены одним и тем же аппаратным элементом. Тот факт, что отдельные меры упомянуты в разных зависимых пунктах, не указывает на то, что комбинация этих мер не может быть использована для получения преимуществ.It should be noted that the above embodiments illustrate but do not limit the invention, and those skilled in the art will be able to suggest many alternative embodiments without departing from the scope of the present invention according to the appended claims. In the claims, any reference signs placed in parentheses are not to be construed as limiting the claim. The word "comprising" does not exclude the presence of elements or steps other than those listed in a claim. The use of the singular for an element does not preclude the presence of a plurality of such elements. The invention may be implemented by means of hardware containing several separate elements. In a device claim that lists multiple features, some of those features may be implemented by the same hardware element. The fact that separate measures are mentioned in different dependent clauses does not mean that a combination of these measures cannot be used to obtain benefits.

Claims

1. An ultrasound image processing device (10), comprising: a processing unit (16) configured to map a model (1) of an anatomical feature of interest on an ultrasound image displaying at least a portion of said anatomical feature of interest, and segmenting the specified ultrasound image in accordance with the mapped model, and

the model (1) contains anatomical components (2), wherein the processing unit (16) is configured to select or deselect one of the specified anatomical components in response to the user interacting with the touch display area (18, 19) displaying the specified anatomical component; a touch display (18, 19) configured to display said ultrasound image containing a mapped anatomical model superimposed on this image; moreover, the processing unit is configured to respond to the touch display and recognize the type of user touch movement (3) provided through the touch display (18, 19) from the given types of user touch movement, each type of user touch movement is associated with a specific type of change of the specified mapping, and with the ability to change said mapping in accordance with the recognized type of user touch movement.

2. An ultrasound image processing device (10) according to claim 1, wherein the processing unit (16) is configured to segment said ultrasound image in accordance with the modified mapped model.

3. The ultrasound image processing device (10) according to claim 1, in which the processing unit (16) is additionally configured to change the mapping of the specified selected anatomical component in response to an additional user touch command (3) given through the touch display.

4. Device (10) for processing an ultrasound image according to any one of paragraphs. 1-3, in which the possibility of configuring the model (1) is provided, and the processing unit (16) is configured to select the configuration of the model in response to the swipe movement (3) performed by the user on the touch display (18, 19).

5. Device (10) for processing an ultrasound image according to any one of paragraphs. 1-4, which is a workstation or portable ultrasound image processing device.

6. The system (100) ultrasound imaging, containing the device (10) processing of ultrasound images according to any one of paragraphs. 1-5 and an ultrasound probe (14) for providing an ultrasound image to said device.

7. A computer-implemented method (200) for extracting parametric measurement results from an ultrasound image displaying at least a portion of an anatomical feature of a patient (12) of interest, comprising the following steps: mapping (203) a model (1) of said anatomical feature of interest superimposed on the ultrasound image, on the ultrasound image, and

the model (1) contains anatomical components (2), wherein the processing unit (16) is configured to select or deselect one of the specified anatomical components in response to the user interacting with the touch display area (18, 19) displaying the specified anatomical component; receiving (207) a type of user touch motion (3) from among the types of user touch motions from the touch display (18, 19), each type of user touch motion being associated with a particular type of change of said mapping; recognize (209) the specified type of user touch movement;

change (211) the specified mapping in accordance with the recognized type of user touch movement; and segmenting (213) the ultrasound image according to the modified mapped model to extract said parametric measurement results.

8. The computer-implemented method (200) of claim 7, further comprising displaying (215) the retrieved parametric measurements on a touchscreen display (18, 19).

9. Computer-implemented method (200) according to claim 7 or 8, in which the model (1) contains anatomical components (2), and the method additionally selects or deselects one of these anatomical components in response to the user interacting with area of the touch display (18, 19), displaying the specified anatomical component.

10. The computer-implemented method (200) of claim 9, further comprising changing the mapping of said selected anatomical component in response to an additional user touch command provided via a touchscreen display.

11. Computer-implemented method (200) according to any one of paragraphs. 7-10, in which the possibility of configuring the model (1) is provided, and in the method the model configuration is additionally selected in response to the swipe movement (swipe) performed by the user on the touch display (18, 19).

12. A computer-readable medium with computer-readable program instructions stored therein so that when executed on the processing unit (16) of the ultrasonic image processing device (10) according to any one of paragraphs. 1-6, initiate the implementation by the processing unit of the method (200) according to any one of paragraphs. 7-11.