[go: up one dir, main page]

CN119251222B - 基于反投影数据的平扫ct图像病变检测方法及相关设备 - Google Patents

基于反投影数据的平扫ct图像病变检测方法及相关设备 Download PDF

Info

Publication number
CN119251222B
CN119251222B CN202411766529.4A CN202411766529A CN119251222B CN 119251222 B CN119251222 B CN 119251222B CN 202411766529 A CN202411766529 A CN 202411766529A CN 119251222 B CN119251222 B CN 119251222B
Authority
CN
China
Prior art keywords
image
feature
vvbp
data
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411766529.4A
Other languages
English (en)
Other versions
CN119251222A (zh
Inventor
李淑龙
王婉真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN202411766529.4A priority Critical patent/CN119251222B/zh
Publication of CN119251222A publication Critical patent/CN119251222A/zh
Application granted granted Critical
Publication of CN119251222B publication Critical patent/CN119251222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开实施例提供了一种基于反投影数据的平扫CT图像病变检测方法及相关设备，涉及医学图像分析技术领域。具体地，将基于平扫CT图像得到的VVBP数据进行稀疏处理，得到用于作为模型输入的N幅稀疏图像，且在模型的处理中，可以对N幅稀疏图像进行特征编码，得到N个第一特征图，并基于N个第一特征图对图像进行重建，得到重建图像，通过特征融合整合N个第一特征图，可以得到第二特征图，且可以融合基于第一特征图的第一候选框和基于第二特征图的第二候选框，最终输出用于指示病变区域的预测位置信息。本公开实施例的实施可以有效利用全视角VVBP数据的相关性和互补性信息，提升检测性能。

Description

基于反投影数据的平扫CT图像病变检测方法及相关设备
技术领域
本公开涉及医学图像分析技术领域，具体而言，本公开涉及一种基于反投影数据的平扫CT图像病变检测方法及相关设备。
背景技术
在数字医学时代，每天都会产生大量的医学图像，包括X射线、计算机断层扫描（CT）、磁共振成像（MRI）和超声成像等多种形式。临床医生需要花费大量时间来筛选和评估这些图像，因此，对能够辅助诊断并提升工作效率的智能设备的需求日益迫切。近年来，得益于计算机视觉和深度学习算法的快速发展，人工智能（Artificial Intelligence，AI）技术逐渐进入医疗领域，尤其是在医学影像分析方面，帮助医生解决诊断问题并提高效率。其中，医学影像目标检测技术能够自动识别和利用边界框定位图像中的病变区域，有效降低误诊与漏诊的风险，对于早期发现疾病和制定治疗方案具有重要意义。例如，在基于CT图像的肺癌病变检测和基于X射线图像的乳腺癌病变检测中，目标检测技术发挥着至关重要的作用。
无创的医学影像技术已成为癌症诊疗不可或缺的辅助手段。相比于MRI和增强CT等高级医学影像检查手段，平扫CT以其相对较低的成本、简便快捷的检查流程以及无需使用造影剂的优点，在医学目标检测中扮演着基础筛查的重要角色。因此，基于平扫CT的病变检测技术具有重要的研究价值。然而，平扫CT在展现图像细节方面存在一定的局限性，如对比度相对较低和成像区间较宽等，这些因素可能在一定程度上影响检测结果的精确性和灵敏度。为了克服这些挑战并提升平扫CT在医学诊断中的效能，迫切需要探索并开发创新的方法。
发明内容
本公开实施例为解决上述至少一项技术问题，提供了一种基于反投影数据的平扫CT图像病变检测方法及相关设备。所述技术方案如下：
第一方面，本公开实施例提供一种基于反投影数据的平扫CT图像病变检测方法，包括：
基于平扫CT图像，得到逐视图反投影VVBP数据；
对所述VVBP数据进行稀疏处理，得到N幅稀疏图像；
通过预训练的病变检测模型，对所述N幅稀疏图像进行处理，得到预测位置信息；
其中，所述通过预训练的病变检测模型，对所述N幅稀疏图像进行处理，得到预测位置信息，包括：
对所述N幅稀疏图像进行特征编码，得到N个第一特征图；
基于所述N个第一特征图对图像进行重建，得到重建图像；
融合所述N个第一特征图，得到第二特征图；
分别对所述第一特征图和所述第二特征图进行病变区域的检测，得到N组第一候选框和一组第二候选框；
基于所述第一候选框和所述第二候选框，得到所述预测位置信息；所述预测位置信息用于指示病变区域。
在一可行的实施例中，所述基于平扫CT图像，得到VVBP数据，包括：
获取针对目标组织结构通过平扫CT得到的若干二维断层图像；
对所述二维断层图像进行模拟，得到第一VVBP数据；
对所述第一VVBP数据进行统一标准化处理，得到标准化图像；
基于设定的像素大小，采用二维样条插值法对所述标准化图像进行重新采样，得到分辨率相同的插值图像；
基于所述目标组织结构的尺寸大小，裁剪所述插值图像，得到第二VVBP数据。
在一可行的实施例中，对所述VVBP数据进行稀疏处理，得到N幅稀疏图像，包括：
以不同的初始视图为基础，以相同的间隔N对所述VVBP数据进行采样，得到N组稀疏的VVBP视图；
针对每一组稀疏的VVBP视图，沿视图方向对组中的VVBP视图求和，得到N幅稀疏图像。
在一可行的实施例中，所述融合所述N个第一特征图，得到第二特征图，包括：
针对所述N个第一特征图进行多交叉通道注意力处理，得到第一融合结果；
对所述第一融合结果进行多交叉空间注意力处理，得到第二融合结果；
基于所述第二融合结果，得到第二特征图。
在一可行的实施例中，所述针对所述N个第一特征图进行多交叉通道注意力处理，得到第一融合结果，包括：
针对每一所述第一特征图，生成通道注意力的查询项、键项和值项；
针对任意两个所述第一特征图，基于其中一个所述第一特征图的查询项和另一个所述第一特征图的键项和值项，确定该两个所述第一特征图的第一交互结果；
针对任意两个所述第一特征图，基于其中一个所述第一特征图和该两个所述第一特征图的第一交互结果，确定该两个所述第一特征图的第一融合结果。
在一可行的实施例中，所述对所述第一融合结果进行多交叉空间注意力处理，得到第二融合结果，包括：
基于所述第一融合结果，生成空间注意力的查询项、键项和值项；
针对任意两个所述第一融合结果，基于其中一个所述第一融合结果的查询项和另一个所述第一融合结果的键项和值项，确定该两个所述第一融合结果的第二交互结果；
针对任意两个所述第一融合结果，基于其中一个所述第一融合结果和该两个所述第一融合结果的第二交互结果，确定该两个所述第一融合结果的第二融合结果。
在一可行的实施例中，分别对所述第一特征图和所述第二特征图进行病变区域的检测，得到N组第一候选框和一组第二候选框，包括通过区域建议网络RPN，分别针对所述第一特征图和所述第二特征图执行下述检测操作：
针对接收到的特征图，在特征图的每一特征点上生成若干预定义的锚框，所述锚框包括不同长宽比和面积的矩形框；
针对每一锚框，确定所包含对象的概率和通过边界框回归调整器调整锚框的大小和位置；
通过非极大值抑制NMS比较重叠的锚框，得到所包含对象的概率最高的锚框，并基于该锚框确定候选框。
在一可行的实施例中，基于所述第一候选框和所述第二候选框，得到预测位置信息，包括：
针对N组所述第一候选框，将交并比IoU值大于预设的第一阈值的所述第一候选框划分至同一簇，合并簇内的边界框得到与N组所述第一候选框对应的第一子候选框；
针对所述第一子候选框和所述第二候选框，将IoU值大于预设的第二阈值的候选框划分至同一簇，合并簇内的边界框得到第二子候选框；
针对所述第二子候选框，通过网络中池化层和全连接层进行处理，得到预测位置信息；所述预测位置信息包括边界框的预测坐标值和预测类别概率值。
在一可行的实施例中，所述病变检测模型通过下述损失函数值训练而得：
基于平扫CT图像和重建图像之间的结构相似性损失SSIM，确定第一损失值；
确定平扫CT图像的真实位置信息和预测位置信息之间第二损失值；
基于所述第一损失值和所述第二损失值，确定所述病变检测模型训练过程中的损失函数值。
在一可行的实施例中，所述确定平扫CT图像的真实位置信息和预测位置信息之间第二损失值，包括：
基于RPN所得候选框的预测类别概率值、预测坐标值和真实坐标值，根据与第二阶段检测器计算损失相同的方法来确定第三损失值；
在所述病变检测模型的第二阶段检测器中，基于移除假阳性的所述候选框时计算所得的二元交叉熵损失值和L1范数损失值，与所述第三损失值一起，确定最终用于训练所述病变检测模型的第二损失值。
第二方面，本公开实施例提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面及其任一实施例所述方法的步骤。
第三方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面及其任一实施例所述方法的步骤。
第四方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面及其任一实施例所述方法的步骤。
本公开实施例提供的技术方案带来的有益效果是：
本公开实施例提供一种基于反投影数据的平扫CT图像病变检测方法，具体地，本公开实施例将基于平扫CT图像得到的VVBP数据进行稀疏处理，得到用于作为模型输入的N幅稀疏图像，且在模型的处理中，可以对N幅稀疏图像进行特征编码，得到N个第一特征图，并基于N个第一特征图对图像进行重建，得到重建图像，通过特征融合整合N个第一特征图，可以得到第二特征图，且可以融合第一特征图的第一候选框和第二特征图的第二候选框，最终输出用于指示病变区域的预测位置信息。本公开实施例的实施可以有效利用全视角VVBP数据的相关性和互补性信息，提升检测性能。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍。
图1为本公开实施例提供的一种基于反投影数据的平扫CT图像病变检测方法的流程图；
图2为本公开实施例提供的一种基于VVBP数据的平扫CT病变检测模型示意图；
图3所示为本公开实施例提出的模型中的mcCSA模块的示意图；
图4为本公开实施例提供的一种不同消融实验结果的可视化图像；
图5为本公开实施例提供的一种不同输入在mcCSA的可视化输出特征图的；
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本公开中的附图描述本公开的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本公开实施例的技术方案的示例性描述，对本公开实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式 “一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本公开实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所展示的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或 “耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
下面通过对几个示例性实施方式的描述，对本公开实施例的技术方案以及本公开的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
在CT图像重建中，滤波反投影（Filtered back-projection, FBP）算法技术上可分为三个步骤：滤波、逐视图反投影和求和。CT图像是原始数据逐个视图反投影之和，这可能导致所有反投影之间的固有相关性和逐个视图间的冗余性分别被压缩和忽略。充分考虑这些固有的相关性和冗余性应能解决CT图像的弱成像表达，尤其是低对比度带来的挑战。
在本公开实施例中，提出了一种基于反投影数据的平扫CT图像病变检测方法，该方法应用一种病变检测模型，该模型使用逐视图反投影数据（view-by-view back-projection，VVBP）作为输入，而非图像数据，并考虑了如何处理VVBP数据以及如何构建检测模型以充分利用VVBP数据，从而获得更好的检测性能的问题。具体地，本公开实施例通过一种新颖的处理方法将VVBP数据转化为N幅稀疏图像（N sparse image），并采用二阶段目标检测代表算法Faster R-CNN作为基础模型，可以由三个主要模块组成：ResNet50-Unet，其编码器ResNet50用于提取基本特征，解码器用于还原平扫CT图像，以弥补模拟VVBP数据的信息损失；多交叉通道空间注意力（multi-cross channel-spatial-attention，mcCSA）用于VVBP数据在视图方向上的信息交互；Faster R-CNN与加权候选边界框（Bounding box，Bbox）融合（weighted candidate Bbox fusion，WCBF）用于病变检测。在本公开实施例中设计的两种策略，包括通过mcCSA进行特征融合，以交互方式整合N幅稀疏图像的基本特征，以及在Faster R-CNN的区域建议网络（region proposal network, RPN）中通过WCBF进行候选Bbox融合，可以充分地利用VVBP数据，以达到更好的检测效果。
下面针对本公开实施例中基于反投影数据的平扫CT图像病变检测方法进行具体说明。
具体地，如图1所示，该方法可以包括S101至S103：
S101、基于平扫CT图像，得到逐视图反投影VVBP数据。
S102、对所述VVBP数据进行稀疏处理，得到N幅稀疏图像。
S103、通过预训练的病变检测模型，对所述N幅稀疏图像进行处理，得到预测位置信息。
其中，S103中通过预训练的病变检测模型，对所述N幅稀疏图像进行处理，得到预测位置信息，包括步骤A1至步骤A5：
步骤A1、对所述N幅稀疏图像进行特征编码，得到N个第一特征图。
步骤A2、基于所述N个第一特征图对图像进行重建，得到重建图像。
步骤A3、融合所述N个第一特征图，得到第二特征图。
步骤A4、分别对所述第一特征图和所述第二特征图进行病变区域的检测，得到N组第一候选框和一组第二候选框。
步骤A5、基于所述第一候选框和所述第二候选框，得到所述预测位置信息；所述预测位置信息用于基于重建图像指示病变区域，所述重建图像基于所述N个第一特征图得到。
可选的，基于平扫CT图像得到VVBP数据时，涉及CT图像重建（如滤波反投影FBP算法），从一系列的投影数据中重建出物体的内部结构的过程，投影数据通常是通过不同角度对物体进行射线投影而收集的，反映物体在不同方向上的密度分布信息。在获取VVBP数据时，在对原始的投影数据进行滤波处理后，可以将滤波处理后的投影数据按照每个投影角度进行反投影（在该过程中，每个视图的反投影数据会被单独处理，并堆叠成一个三阶张量，也即VVBP数据，如图2所示）。
可选的，对VVBP数据进行稀疏处理可以利用全视角 VVBP数据的相关性和互补性等信息，同时减少冗余和减轻计算负担。在本公开实施例中，考虑到全视图的VVBP数据大小过大，如1152个全视角的CT扫描图像的VVBP张量大小为512×512×1152，使用二维建模方法很难直接从如此大的三维张量中挖掘出丰富的信息，尤其是相关性和互补性，而且容易忽略沿视图方向的冗余。此外，利用卷积神经网络（CNN）等三维模型也需要大量的计算能力。因此，通过对VVBP数据进行稀疏处理，可以在利用全视角 VVBP数据的相关性和互补性等信息的情况下提高检测性能以供医生基于处理结果进行准确的诊断，同时减少信息冗余，加快处理速度和降低存储成本。
在本公开实施例中，提出一种基于VVBP数据的平扫CT图像的病变检测模型，如图2所示，该模型以Faster R-CNN（如两阶段目标检测代表算法）作为基线，并由ResNet50-Unet（如结合了残差网络ResNet50和全卷积网络Unet的深度学习模型）、mcCSA（Multi-Cross-channel-spatial-attention，多交叉通道-空间注意力）和Faster R-CNN与WCBF（weightedcandidate Bbox fusion，加权候选边界框融合）三个主要模块组成。
其中，ResNet50-Unet架构，S102生成的N幅稀疏图像通过ResNet50（如编码器Encoder）编码生成N个第一特征图（也称为基础特征图） ，这些特征图经过上采样与反卷积解码（如解码器Decoder）重建图像，以弥补模拟VVBP数据的信息损失，还可以通过mcCSA交互融合为第二特征图（也称为高级特征图）以优化处理。
其中，将步骤A3得到的第二特征图和步骤A1得到的N个第一特征图 分别输入RPN（Region Poposal Network，区域建议网络）得到1组第二候选框（也称为高级候选框）和N组第一候选框（也称为基础候选框），并通过WCBF将这N组候选框交互融合为1组候选框。之后，与进一步合并，可以获得最终的预测位置信息，如提议候选框。最后，中的所有提议候选框在中通过ROIPooling（Region of Interest Pooling，感兴趣区域池化）进行对齐。每个提议候选框的对齐特征被展开为固定大小的特征向量，输入到基于全连接层的Fast R-CNN检测器中，以获取检测结果。
可选的，对N幅稀疏图像进行特征编码所得到的重建图像可以弥补模拟VVBP数据的信息损失，有效提高处理结果的准确性。
可选的，通过模型对N幅稀疏图像进行处理得到的预测位置信息可以基于重建图像进行显示，如在重建图像中指示病变区域，还可以在基于重建图像得到的输出图像中指示病变区域。示例性的，平扫CT用于检查患者位于腹部相关的器官时，通过模型处理，可以输出标识有预测位置信息的重建图像，重建图像上可以通过矩形框等不同形状的标识框指出存在病变的器官，如胰腺。在一示例中，模型输出的重建图像可以是与原始图像（如非造影剂计算机断层扫描图像，Non-contrast computed tomography，NCCT）相应的图像。在图2中，模型Fast R-CNN检测器的输出示出了NCCT图像的局部，在实例应用中，重建图像可以包括与原始图像相同的图像内容。
在一可行的实施例中，S101中基于平扫CT图像，得到VVBP数据，包括S101a至S101e：
S101a、获取针对目标组织结构通过平扫CT得到的若干二维断层图像。
可选的，在S101a的平扫CT图像获取中，本公开实施例的提出收集了2010年6月至2020年7月期间，来自中国四个医疗中心（南方医科大学南方医院、南方医科大学附属珠江医院、常州市第一人民医院、浙江省人民医院）的861名患者的平扫CT图像进行分析。具体分布情况为：中心1（南方医科大学南方医院）431例，中心2（南方医科大学附属珠江医院）275例，中心3（常州市第一人民医院）126例，中心4（浙江省人民医院）29例。其中，包括中心1的210名患者、中心2的159名患者、中心3的113名患者和中心4的29名患者，总共511名患者接受了根治性手术，病理诊断为单发胰腺病变；包括中心1的221名患者、中心2的22名患者和中心3的13名患者，总共256名患者接受了穿刺手术探查，诊断为单发胰腺病变。此外，94名来自中心2的正常患者通过增强CT被放射学诊断为胰腺组织正常。研究涵盖了各种病理类型的胰腺病变，但不包括胰腺区域以外的囊性病变，因为这些病变在平扫CT上很容易区分。所有参与者均为亚裔，平均年龄为56.9岁，年龄范围为14至88岁。男性患者约占54.5%（470人），其余均为女性。
示例性的，由于增强CT是胰腺疾病的首选成像方式，单独使用平扫CT的情况相对较少，因此本公开实施例中的所有平扫CT图像都是从增强CT扫描的平扫阶段获得的。中心1-4使用的成像设备包括 Brilliance iCT256扫描仪、LightSpeed RT 16 CT扫描仪、SOMATOM Definition AS CT扫描仪和 SOMATOM Definition Flash CT扫描仪。扫描方案具有特定的参数，例如管电压为120千伏，旋转时间为0.5秒或0.75秒，X射线管电流为150-500毫安，矩阵为512×512，切片厚度为1-7毫米，探测器单准直宽度为0.625毫米或0.6毫米。
示例性的，患者A胸部发生疼痛，为清楚分析疼痛原因，可以采用CT扫描仪针对患者A的胸部进行横断面扫描，获取胸部各个横断面的肺窗和纵膈窗图像。
S101b、对所述二维断层图像进行模拟，得到第一VVBP数据。
可选的，对S101a获取的平扫CT图像进行模拟得到VVBP数据，VVBP数据是通过密歇根图像重建工具箱(MIRT)基于Radon变换和Hanning滤波器模拟的，具体参数设定为：投影视图为全视图共1152个，探测器通道222个，从源到原点的距离为541毫米，从源到探测器的距离为949.075毫米。
S101c、对所述第一VVBP数据进行统一标准化处理，得到标准化图像。
S101d、基于设定的像素大小，采用二维样条插值法对所述标准化图像进行重新采样，得到分辨率相同的插值图像。
S101e、基于所述目标组织结构的尺寸大小，裁剪所述插值图像，得到第二VVBP数据。
可选的，S101c至S101e为用于实验的平扫CT和VVBP数据的预处理。示例性的，首先，对所有原始平扫CT图像和模拟的VVBP数据进行统一标准化处理，窗口水平设置为10 HU（Hounsfield Units, HU），窗口宽度设置为400 HU，以减少不同CT扫描方案产生的异质性。随后，使用像素大小为0.5 mm×0.5 mm的二维样条插值法将平扫CT图像和模拟VVBP数据的所有标准化图像重新采样到相同的分辨率。然后将所有插值图像裁剪成覆盖整个目标组织结构（如胰腺器官）的大小为340×270的patches补丁。通过替换整张图像，将平扫CT图像和模拟VVBP数据生成的N幅稀疏图像的patches作为模型输入，构建相应的检测模型，包括本公开实施例提出的模型和所有比较模型，以减少复杂解剖背景的影响和计算负担。
其中，窗口水平决定了数据在可视化图表或界面中的展示范围，通过设定特定的窗口水平，可以确保数据在合适的范围内进行展示，避免数据过于密集或稀疏，从而影响数据的可读性和分析效果。在统一标准化处理过程中，设定一致的窗口水平可以确保不同数据集在相同条件下进行分析和比较，从而提高数据的一致性和可比性。窗口宽度直接影响到数据在可视化图表中的展示清晰度。设定合适的窗口宽度可以确保数据点之间的间隔适中，使得数据在图表中能够清晰地展示出来，便于用户进行观察和比较。窗口宽度的设置还影响到数据分析的效率。如果窗口宽度过窄，会导致数据点过于密集，使得分析过程变得繁琐和耗时。而如果窗口宽度过宽，则可能会遗漏一些重要的数据细节。因此，设定合适的窗口宽度可以平衡分析精度和效率之间的关系。
在一可行的实施例中，S102中对所述VVBP数据进行稀疏处理，得到N幅稀疏图像，包括S102a至S102b：
S102a、以不同的初始视图为基础，以相同的间隔N对所述VVBP数据进行采样，得到N组稀疏的VVBP视图。
S102b、针对每一组稀疏的VVBP视图，沿视图方向对组中的VVBP视图求和，得到N幅稀疏图像。
可选的，将S102中预处理完的VVBP数据处理成N幅稀疏图像。首先，将预处理后的全视图VVBP分成N组稀疏子VVBP（如sub-VVBP），每组sub-VVBP从不同的初始视图（即第一视图、第二视图、…第N视图）开始以相同的间隔N进行采样。随后，每组sub-VVBP沿视图方向进行求和，生成N幅稀疏图像。生成的N幅稀疏图像将取代全视角VVBP作为模型输入。
可选的，S102a至S102b所处理的基础数据可以是第一VVBP数据，也可以是第二VVBP数据。
在一可行的实施例中，步骤A3中融合所述N个第一特征图，得到第二特征图，包括步骤A31至步骤A33：
步骤A31、针对所述N个第一特征图进行多交叉通道注意力处理，得到第一融合结果。
步骤A32、对所述第一融合结果进行多交叉空间注意力处理，得到第二融合结果。
步骤A33、基于所述第二融合结果，得到第二特征图。
可选的，基于ResNet50-Unet架构，S102生成的N幅稀疏图像通过ResNet50分别进行特征编码生成N个基础特征图 ，这些特征图通过上采样和反卷积解码恢复模拟VVBP数据损失的信息。同时， 通过新颖的mcCSA模块交互融合为一个高级特征图。如图2和图3所示，mcCSA模块采用两级串联结构，将N个基本特征图作为输入，并通过结合多交叉通道注意力（multi-cross channel attention）和多交叉空间注意力（multi-cross spatial attention）来交互式地处理这些特征图。
可选的，步骤A31中针对所述N个第一特征图进行多交叉通道注意力处理，得到第一融合结果，包括步骤A311至步骤A313：
步骤A311、针对每一所述第一特征图，生成通道注意力的查询项、键项和值项。
步骤A312、针对任意两个所述第一特征图，基于其中一个所述第一特征图的查询项和另一个所述第一特征图的键项和值项，确定该两个所述第一特征图的第一交互结果。
步骤A313、针对任意两个所述第一特征图，基于其中一个所述第一特征图和该两个所述第一特征图的第一交互结果，确定该两个所述第一特征图的第一融合结果。
可选的，基于生成通道注意力机制中的查询（）、键（）和值（）矩阵，这些矩阵是通过在（）上应用具有三个通道的3x3卷积和层归一化（layernorm）得到的。特征和之间的交互结果定义如下公式（1）：
......公式(1)
其中，d是softmax函数的平滑参数，。这个定义说明，通过使用的查询来关注的键和值信息，以获取和之间的关联信息，而则是的自注意力（SA）的结果。接着，对于与(的多交叉通道注意力结果定义如下公式（2）：
......公式(2)
上述多交叉通道注意力处理的结果可以作为mcCSA第二层多交叉空间注意力的输入。
可选的，如图3所示，在多交叉通道注意力中，针对第一特征图，首先通过归一化层（Norm）进行3×3的卷积处理，该层的布设可以提高网络的泛化能力和鲁棒性。继而，生成第一特征图的查询项、键项和值项。在多交叉通道注意力的处理中，通过矩阵乘法（matmul）计算查询（Query）矩阵、键（Key）矩阵和值（Value）矩阵之间的关系，可以得到一个注意力得分矩阵，用于表示查询矩阵中每个元素与键矩阵中每个元素之间的相关性。其中，通过softmax函数可以将注意力得分矩阵转换为概率分布，如将输入向量中的每个元素映射到0-1区间内，使得所有元素的和为1；在多交叉通道注意力机制中，softmax函数将注意力得分矩阵中的每个元素转换为概率值，概率值可以表示查询矩阵中每个元素对于键矩阵中每个元素的注意力权重。继而，通过卷积层进行1×1的卷积处理后，可以输出第一融合结果。
可选的，步骤A32中对所述第一融合结果进行多交叉空间注意力处理，得到第二融合结果，包括步骤A321至步骤A323：
步骤A321、基于所述第一融合结果，生成空间注意力的查询项、键项和值项。
步骤A322、针对任意两个所述第一融合结果，基于其中一个所述第一融合结果的查询项和另一个所述第一融合结果的键项和值项，确定该两个所述第一融合结果的第二交互结果。
步骤A323、针对任意两个所述第一融合结果，基于其中一个所述第一融合结果和该两个所述第一融合结果的第二交互结果，确定该两个所述第一融合结果的第二融合结果。
可选的，假设分别是基于的空间自注意力中的查询、键和值矩阵，它们是通过在上执行一系列操作生成的，这些操作包括位置嵌入、线性投影和层归一化。对于特征图，它与所有特征图(之间的多交叉空间注意力结果定义如下公式（3）：
......公式(3)
可选的，可以通过求和得到mcCSA的输出，这个输出作为被用于RPN中高级候选框生成和Fast R-CNN中病变检测的高级特征图。
可选的，如图3所示，在多交叉空间注意力中，可以首先通过归一化层（如Norm）执行线性（Linear）投影、位置嵌入（Pos_embed），继而，生成第一融合结果的查询项、键项和值项。继而，如多交叉通道注意力的处理，可以通过串联方式连接的matmul（矩阵乘法）层、softmax层、matmul层和卷积（conv）层进行处理，输出多交叉空间注意力的处理结果（如第二融合结果），而通过求和的处理，可以最终输出第二特征图。
在一可行的实施例中，步骤A4中分别对所述第一特征图和所述第二特征图进行病变区域的检测，得到N组第一候选框和一组第二候选框，包括通过区域建议网络RPN，分别针对所述第一特征图和所述第二特征图执行下述步骤A41至步骤A43的检测操作：
步骤A41、针对接收到的特征图，在特征图的每一特征点上生成若干预定义的锚框，所述锚框包括不同长宽比和面积的矩形框。
步骤A42、针对每一锚框，确定所包含对象的概率和通过边界框回归调整器调整锚框的大小和位置。
步骤A43、通过非极大值抑制NMS比较重叠的锚框，得到所包含对象的概率最高的锚框，并基于该锚框确定候选框。
可选的，步骤A1生成的基础特征图和步骤A3得到的被用作Faster R-CNN检测的特征图，并分别输入到RPN模块中，以生成N+1组候选边界框（Bboxes），分别用表示对应的边界框（也称为第一候选框），以及表示对应的边界框（也称为第二候选框）。
可选的，通过RPN对特征图进行检测时，RPN首先接收卷积神经网络（CNN）提取的特征图作为输入，卷积神经网络可以是任何有效的架构，如VGG、ResNet等。在特征图的每个位置上，RPN会生成多个预定义的锚框（anchors），即不同长宽比和面积的矩形框（框的形状可以根据实际设置），锚框可以用于覆盖不同形状和大小的对象（如组织结构），作为初始的检测框。对于每个锚框，RPN可以预测两个输出，其一是锚框包含对象的概率（如对象分数），用于区分前景（含有对象）与背景，可以通过softmax分类器实现。另一是边界框回归调整器，用于精调锚框的位置，使其更准为地匹配到真实对象，边界框回归可以是一个线性回归过程。继而，考虑到同一个对象可能被多个锚框覆盖，本公开实施例还通过NMS来选择最佳锚框，NMS通过比较重叠的锚框，并抑制重叠度高且分数低的锚框，最终选出与每个对象相应的最佳的一个锚框。
可选的，RPN对特征图的处理可以输出一系列包含对象概率较高的候选框，这些候选框可以用于后续确定预测位置信息。示例性的，RPN对N个第一特征图进行处理输出N组第一候选框，对第二特征图进行处理输出第二候选框。如图2所示，RPN的输入包括编码器输出的N个第一特征图，和Fc（如全连接层，Fully Connected Layer）基于第二融合结果输出的第二特征图。
在一可行的实施例中，步骤A5中基于所述第一候选框和所述第二候选框，得到预测位置信息，包括步骤A51至步骤A53：
步骤A51、针对N组所述第一候选框，将交并比IoU值大于预设的第一阈值的所述第一候选框划分至同一簇，合并簇内的边界框得到与N组所述第一候选框对应的第一子候选框。
步骤A52、针对所述第一子候选框和所述第二候选框，将IoU值大于预设的第二阈值的候选框划分至同一簇，合并簇内的边界框得到第二子候选框。
步骤A53、针对所述第二子候选框，通过网络中池化层和全连接层进行处理，得到预测位置信息；所述预测位置信息包括边界框的预测坐标值和预测类别概率值。
可选的，可以使用WCBF方法，将融合为1组高级候选边界框，记作。与来自高级特征图的高级进一步合并，以获得最终的提议候选框。WCBF方法是在WBF（加权框融合）方法的基础上设计的。首先，所有候选边界框根据它们的置信度得分以降序方式合并成一个排序列表。接下来，基于IoU（交并比），使用0.7的阈值（仅是一种示例，可以根据实际调整）将这些边界框分组为不同的簇。然后，每个簇内的边界框通过加权求和该簇内各个边界框的坐标值来合并成一个单一的边界框。WCBF中的聚类方法和权重计算与WBF相同。
可选的，第一候选框与第二候选框的合并还可以是将步骤A51输出的第一子候选框和第二候选框作为第二子候选框集合的元素。
可选的，如图2所示，中的所有提议候选框在中通过ROI池化进行对齐。每个提议候选框对应的对齐特征被展开为固定大小的特征向量，输入到基于全连接层的FastR-CNN检测器中，通过基于全连接层的分类器（classification prediction，Cls_pred）去除误报，并使用回归器（bounding box regression，Bbox_reg）优化检测到的边界框的位置，以获取检测结果。其中，分类器根据全连接层输出的特征向量，对每个候选区域（RoI）进行类别预测，示例性的，cls_pred通过softmax函数或其他分类器，计算每个候选区域属于各个类别的概率，从而确定该区域最可能的类别标签。其中，回归器与分类器共享全连接层的输出，回归器用于调整候选区域的位置和大小，使其更准确地包围目标组织结构，示例性的，Bbox_reg通过计算候选区域与真实目标边界框之间的偏移量，对候选区域进行微调，从而得到更精确的目标检测框。
可选的，预测位置信息可以包括边界框的预测坐标值和预测类别概率值。示例性的，通过预测坐标值可以在重建图像中标识边界框，预测类别概率则可以在重建图像的边界框附近显示，用于指示置信度。
在一可行的实施例中，本公开实施例提供的病变检测模型通过下述步骤B1至步骤B3确定的损失函数值训练而得：
步骤B1、基于平扫CT图像和重建图像之间的结构相似性损失SSIM，确定第一损失值。
步骤B2、确定平扫CT图像的真实位置信息和预测位置信息之间第二损失值。
步骤B3、基于所述第一损失值和所述第二损失值，确定所述病变检测模型训练过程中的损失函数值。
可选的，模型使用RMSprop优化器优化网络参数，损失函数由两部分组成，分别是原始Faster R-CNN的损失和重建分支的损失。其中，重建损失具体是在原始平扫CT图像和重建图像之间使用结构相似性损失（SSIM）来设计的。
可选的，模型训练的总损失函数如下公式（4）：
......公式（4）
可选的，步骤B2中确定平扫CT图像的真实位置信息和预测位置信息之间第二损失值，包括步骤B21和/或步骤B22：
步骤B21、基于RPN所得候选框的预测类别概率值、预测坐标值和真实坐标值，根据与第二阶段检测器计算损失相同的方法来确定第三损失值。
步骤B22、在所述病变检测模型的第二阶段检测器中，基于移除假阳性的所述候选框时计算所得的二元交叉熵损失值和L1范数损失值，与所述第三损失值一起，确定最终用于训练所述病变检测模型的第二损失值。
可选的，Faster R-CNN 损失函数可以由四部分组成：用于在RPN和第二阶段检测器中移除假阳性Bbox的两个分类器的二元交叉熵损失，以及用于优化RPN和第二阶段检测器中的Bbox坐标的两个回归器的平滑 L1范数损失。
在RPN中，假设是第i个锚框Bbox的预测概率，其类别标签为y∈{0,1}，其为分类器的训练样本；表示第j个锚框Bbox的预测坐标，是真值框坐标，形成回归器的训练样本。然后，损失函数定义如下公式（5）：
......公式（5）
其中，和分别是分类器和回归器的训练样本数量。
,
可选的，可以为上述步骤B21计算所得的第三损失值，继而在第二阶段使用的检测器中，可以通过将RPN中的训练样本替换为第二阶段检测器中的相应训练样本来获得损失函数。Faster R-CNN训练过程的总损失函数（如计算得到第二损失值）为。
下面对本公开实施例中用于模型训练的数据集和相关的实验数据进行说明。
在数据集划分中，本公开实施例聚焦于四个医疗中心（即中心1-4）的数据。首先，利用病例数最多的中心1（421例）和中心2（98例）的共519例病变患者、4255张图像作为核心数据基础。为了进一步优化模型，从这两中心随机抽取少量患者（中心1-30例患者、138张图像；中心2-29例患者、421张图像）进行模型验证，其余460例患者及其对应的3696张图像用于模型训练。之后，独立设置测试集，包含304例患者及其对应的1743张图像，确保数据独立性。内部测试集特别选取了中心2的169例患者（75例病变患者+94例正常病例），外部测试集则涵盖中心3的109例和中心4的26例病变患者，其中94个正常病例专用于测试，以避免其图像影响训练过程，而病变患者则为分类器提供了必要的正负边界框训练数据。如下表1详细记录了这一过程的数据分配情况。
表1 数据集划分表
在划分好数据集之后，可以在此基础上进行实验。首先，通过调整参数N的不同取值，从而生成不同的稀疏图像集。将不同数量的稀疏图像作为模型的输入，验证集上的实验结果表明，当N=3时，模型取得最好的检测结果。其中，在图像层面的精确度为41.4%，召回率为75.7%，F1分数为53.5%，F2分数为64.9%，以及Ap50为56.2%。在病人层面精确度为66.9%，召回率为90.5%，F1分数为76.9%，F2分数为84.5%，以及Ap50为76.9%。因此，后续的对比实验及消融实验对N的选择均采用N=3。
本公开实施例提供的模型及其他比较模型在独立测试集的图像层面检测结果和病人层面检测结果如表2所示。
表2 在图像与病人层面的与现有方法的比较结果
在实验中，使用N=3的VVBP数据（VVBP_ours）作为本公开实施例所提供模型的输入，结果显示在各项评估指标上基本均优于将平扫CT图像数据复制为相同大小即N=3份（Image_ours）作为模型的输入的结果。这些发现表明，VVBP数据包含了对于胰腺病变检测至关重要的相关信息，这些信息可能在图像数据中被压缩或忽略。此外，与基于图像的目标检测现有方法相比，包括Faster R-CNN、SSD、RetinaNet、YOLOv7、YOLOv10和DeformableDETR，还有基于三维体积的Bbox检测方法（nnDetection）相比，本公开实施例提供的模型在F1分数、F2分数和Ap50方面均优于所有其他模型，并在图像层面获得了第二好的精确度和召回率。在病人层面，它也获得了最佳召回率、F1分数、F2分数和Ap50，以及第二高的精确度。这些结果清楚地表明了本公开实施例所提供模型的有效性和优势。与输入大小相同为N=3 的基于图像的模型（Image）相比，本公开实施例所提供模型在输入 N (N=3) 幅稀疏图像时表现出了更好的性能。具体表现为，在图像层面和病人层面，本公开实施例所提供模型与之相比在各种指标上取得了0.7%到4.8%的改进。这些结果凸显了VVBP数据中包含的信息对于准确检测胰腺病变的重要性，而使用图像数据时可能无法充分利用这些信息。
表3展示了在图像和病人层面上的消融实验结果。
表3
在所有进行消融实验的模型中，本公开实施例所提供的模型集成了三个模块（重建分支（Recon）、mcSCA和WCBF），在图像层面上取得了最佳的精确度、召回率、F1分数、F2分数和AP50结果。同时，在病人层面上，该模型的召回率、F1分数和F2分数结果均为最佳，精确度和AP50则位列第二。这些结果充分证明了本公开实施例所提供模型中每个模块的必要性和有效性。图4展示了从独立测试集中随机抽取的六幅图像的消融实验可视化结果。列表示上述表3所示不同模型在各消融实验中的表现，其中列（h）表示本公开实施例提供的模型在各消融实验中的表现，行则对应不同患者的结果。绿色方框表示真值框，红色方框表示检测到的边界框，并在其上方显示置信度分数。可视化结果表明，本公开实施例所提供的模型有效减少了漏检，并显著提高了检测准确率。
表4展示了在图像层面和病人层面上基于不同输入方式的实验结果。
表4
具体而言，VVBP_3_稀疏_n表示从3幅稀疏图像中提取第n幅图像，并将其复制3次后输入模型的结果；而VVBP_3_稀疏 则表示直接将所有3幅稀疏图像同时输入模型的结果。在图像层面，VVBP_3_稀疏 取得了最高的精确度、F1分数、F2分数和AP50分数，以及第二高的召回率。在病人层面，VVBP_3_稀疏 获得了最高的精确度、召回率、F1分数、F2分数和AP50分数。这些结果表明，与使用单张重复图像（VVBP_3_稀疏_n）相比，直接将所有稀疏图像输入模型（VVBP_3_稀疏）的性能更为优越。这些结果凸显了使用所有稀疏图像相较于仅复制单个图像的显著优势，验证了本公开实施例所提供方法在利用VVBP数据中不同角度数据的互补性和相关性方面的有效性。
本公开实施例通过特征图可视化技术，验证了模型在处理独立测试子集中选出的七幅含病变图像时的有效性（如图5所示）。具体而言，通过对mcCSA输出的特征图进行可视化，能够解释模型的有效性。可视化结果表明，与Image_ours（图5中行（b）所示）相比，VVBP_ours（图5中行（c）所示）的特征图在空间上更准确地定位了病变区域。此外，VVBP_ours 还减少了来自非病变区域的干扰，使病变识别更加清晰和准确；图5中行（a）示出了基线结果。对比分析进一步表明，使用VVBP数据而非图像作为输入，在病灶聚焦和干扰抑制方面具有显著优势。
本公开实施例提出了一种基于反投影数据的平扫CT图像病变检测方法，该方法使用VVBP数据而非传统CT图像数据作为输入。具体而言，本公开实施例提出了一种新颖的VVBP数据处理方法，将其转化为N幅稀疏图像作为模型输入。基于此输入，本公开实施例设计了两种策略来充分利用其信息：首先，通过mcCSA进行特征融合，以交互方式整合N幅稀疏图像的基本特征；其次，在Faster R-CNN的RPN中通过WCBF进行候选Bbox融合。该方法利用全视角VVBP数据的相关性和互补性信息，同时减少冗余并减轻计算负担，从而提升检测性能。
本公开实施例的目的是针对医学图像目标检测中平扫CT对比度不佳、影像表现不理想的问题，提出一种使用VVBP数据作为输入的病变检测方法。该方法将为基于平扫CT的病变筛查算法研究提供关键技术支持，从而有助于疾病的早期发现和早期诊断。
需要说明的是，在本公开的可选实施例中，所涉及到的信息（如平扫CT图像等），当本公开以上实施例运用到具体产品或技术中时，需要获得使用对象许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。也就是说，本公开实施例中如果涉及到与对象有关的数据，这些数据需要经由对象授权同意、且符合国家和地区的相关法律法规和标准的情况下获取的。
本公开实施例中提供了一种电子设备，具体可以是医疗设备，该设备的主机中包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现基于反投影数据的平扫CT图像病变检测方法的步骤，与相关技术相比可实现：本公开实施例将基于平扫CT图像得到的VVBP数据进行稀疏处理，得到用于作为模型输入的N幅稀疏图像，且在模型的处理中，可以对N幅稀疏图像进行特征编码，得到N个第一特征图，并基于N个第一特征图对图像进行重建，得到重建图像，通过特征融合整合N个第一特征图，可以得到第二特征图，且可以融合第一特征图的第一候选框和第二特征图的第二候选框，最终输出用于指示病变区域的预测位置信息。本公开实施例的实施可以有效利用全视角VVBP数据的相关性和互补性信息，提升检测性能。
在一个可选实施例中提供了一种电子设备，如图6所示，图6所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本公开实施例的限定。
处理器4001可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本公开公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器4003用于存储执行本公开实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本公开实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本公开实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本公开实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本公开实施例对此不限制。
以上所述仅是本公开部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开的方案技术构思的前提下，采用基于本公开技术思想的其他类似实施手段，同样属于本公开实施例的保护范畴。

Claims (11)

1.一种基于反投影数据的平扫CT图像病变检测方法，其特征在于，包括：
基于平扫CT图像，得到逐视图反投影VVBP数据；
对所述VVBP数据进行稀疏处理，得到N幅稀疏图像；
通过预训练的病变检测模型，对所述N幅稀疏图像进行处理，得到预测位置信息；
其中，所述通过预训练的病变检测模型，对所述N幅稀疏图像进行处理，得到预测位置信息，包括：
对所述N幅稀疏图像进行特征编码，得到N个第一特征图；
基于所述N个第一特征图对图像进行重建，得到重建图像；
融合所述N个第一特征图，得到第二特征图；
分别对所述第一特征图和所述第二特征图进行病变区域的检测，得到N组第一候选框和一组第二候选框，包括通过区域建议网络RPN，分别针对所述第一特征图和所述第二特征图执行下述检测操作：针对接收到的特征图，在特征图的每一特征点上生成若干预定义的锚框，所述锚框包括不同长宽比和面积的矩形框；针对每一锚框，确定所包含对象的概率和通过边界框回归调整器调整锚框的大小和位置；通过非极大值抑制NMS比较重叠的锚框，得到所包含对象的概率最高的锚框，并基于该锚框确定候选框；
基于所述第一候选框和所述第二候选框，得到所述预测位置信息，包括：针对N组所述第一候选框，将交并比IoU值大于预设的第一阈值的所述第一候选框划分至同一簇，合并簇内的边界框得到与N组所述第一候选框对应的第一子候选框；针对所述第一子候选框和所述第二候选框，将IoU值大于预设的第二阈值的候选框划分至同一簇，合并簇内的边界框得到第二子候选框；针对所述第二子候选框，通过网络中池化层和全连接层进行处理，得到预测位置信息；所述预测位置信息包括边界框的预测坐标值和预测类别概率值；所述预测位置信息用于基于所述重建图像指示病变区域。
2.根据权利要求1所述的方法，其特征在于，所述基于平扫CT图像，得到VVBP数据，包括：
获取针对目标组织结构通过平扫CT得到的若干二维断层图像；
对所述二维断层图像进行模拟，得到第一VVBP数据；
对所述第一VVBP数据进行统一标准化处理，得到标准化图像；
基于设定的像素大小，采用二维样条插值法对所述标准化图像进行重新采样，得到分辨率相同的插值图像；
基于所述目标组织结构的尺寸大小，裁剪所述插值图像，得到第二VVBP数据。
3.根据权利要求1所述的方法，其特征在于，对所述VVBP数据进行稀疏处理，得到N幅稀疏图像，包括：
以不同的初始视图为基础，以相同的间隔N对所述VVBP数据进行采样，得到N组稀疏的VVBP视图；
针对每一组稀疏的VVBP视图，沿视图方向对组中的VVBP视图求和，得到N幅稀疏图像。
4.根据权利要求1所述的方法，其特征在于，所述融合所述N个第一特征图，得到第二特征图，包括：
针对所述N个第一特征图进行多交叉通道注意力处理，得到第一融合结果；
对所述第一融合结果进行多交叉空间注意力处理，得到第二融合结果；
基于所述第二融合结果，得到第二特征图。
5.根据权利要求4所述的方法，其特征在于，所述针对所述N个第一特征图进行多交叉通道注意力处理，得到第一融合结果，包括：
针对每一所述第一特征图，生成通道注意力的查询项、键项和值项；
针对任意两个所述第一特征图，基于其中一个所述第一特征图的查询项和另一个所述第一特征图的键项和值项，确定该两个所述第一特征图的第一交互结果；
针对任意两个所述第一特征图，基于其中一个所述第一特征图和该两个所述第一特征图的第一交互结果，确定该两个所述第一特征图的第一融合结果。
6.根据权利要求4所述的方法，其特征在于，所述对所述第一融合结果进行多交叉空间注意力处理，得到第二融合结果，包括：
基于所述第一融合结果，生成空间注意力的查询项、键项和值项；
针对任意两个所述第一融合结果，基于其中一个所述第一融合结果的查询项和另一个所述第一融合结果的键项和值项，确定该两个所述第一融合结果的第二交互结果；
针对任意两个所述第一融合结果，基于其中一个所述第一融合结果和该两个所述第一融合结果的第二交互结果，确定该两个所述第一融合结果的第二融合结果。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述病变检测模型通过下述损失函数值训练而得：
基于平扫CT图像和重建图像之间的结构相似性损失SSIM，确定第一损失值；
确定平扫CT图像的真实位置信息和预测位置信息之间第二损失值；
基于所述第一损失值和所述第二损失值，确定所述病变检测模型训练过程中的损失函数值。
8.根据权利要求7所述的方法，其特征在于，所述确定平扫CT图像的真实位置信息和预测位置信息之间第二损失值，包括：
基于RPN所得候选框的预测类别概率值、预测坐标值和真实坐标值，根据与第二阶段检测器计算损失相同的方法来确定第三损失值；
在所述病变检测模型的第二阶段检测器中，基于移除假阳性的所述候选框时计算所得的二元交叉熵损失值和L1范数损失值，与所述第三损失值一起，确定最终用于训练所述病变检测模型的第二损失值。
9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN202411766529.4A 2024-12-04 2024-12-04 基于反投影数据的平扫ct图像病变检测方法及相关设备 Active CN119251222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411766529.4A CN119251222B (zh) 2024-12-04 2024-12-04 基于反投影数据的平扫ct图像病变检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411766529.4A CN119251222B (zh) 2024-12-04 2024-12-04 基于反投影数据的平扫ct图像病变检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN119251222A CN119251222A (zh) 2025-01-03
CN119251222B true CN119251222B (zh) 2025-04-01

Family

ID=94034981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411766529.4A Active CN119251222B (zh) 2024-12-04 2024-12-04 基于反投影数据的平扫ct图像病变检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN119251222B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723842A (zh) * 2022-05-24 2022-07-08 之江实验室 基于深度融合神经网络的稀疏视角ct成像方法和设备
CN119048419A (zh) * 2024-07-10 2024-11-29 阿里巴巴（中国）有限公司 图像处理方法、癌症的计算机辅助诊断方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785565B (zh) * 2021-01-15 2024-01-05 上海商汤智能科技有限公司 目标检测方法及装置、电子设备和存储介质
CN114494160B (zh) * 2022-01-10 2023-04-18 复旦大学 一种基于完全融合集成网络候选框的骨折检测方法
CN116958163B (zh) * 2023-09-20 2023-12-08 海杰亚（北京）医疗器械有限公司 一种多器官和/或病灶的医学图像分割方法及装置
CN118486029B (zh) * 2024-07-16 2024-11-15 江苏省计量科学研究院(江苏省能源计量数据中心) 一种基于改进detr模型的核医学影像设备目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723842A (zh) * 2022-05-24 2022-07-08 之江实验室 基于深度融合神经网络的稀疏视角ct成像方法和设备
CN119048419A (zh) * 2024-07-10 2024-11-29 阿里巴巴（中国）有限公司 图像处理方法、癌症的计算机辅助诊断方法

Also Published As

Publication number Publication date
CN119251222A (zh) 2025-01-03

Similar Documents

Publication Publication Date Title
CN110621231B (zh) 用于分层次多级特征图像合成和表示的系统以及方法
CN112529834B (zh) 病理图像模式在3d图像数据中的空间分布
US10347010B2 (en) Anomaly detection in volumetric images using sequential convolutional and recurrent neural networks
Choi et al. Convolutional neural network-based MR image analysis for Alzheimer’s disease classification
CN111563523A (zh) 利用机器训练的异常检测的copd分类
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN116580819B (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
CN112508884A (zh) 一种癌变区域综合检测装置及方法
US9361711B2 (en) Lesion-type specific reconstruction and display of digital breast tomosynthesis volumes
US20240153082A1 (en) Deep learning model for diagnosis of hepatocellular carcinoma on non-contrast computed tomography
Sammouda Segmentation and analysis of CT chest images for early lung cancer detection
CN118675731A (zh) 一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法、系统、设备及介质
Mustafa et al. Diagnosing Alzheimer's disease using early-late multimodal data fusion with Jacobian maps
CN119832103A (zh) 脑影像脑膜瘤患者平扫图像全自动生成增强图像方法
Lan et al. Breast mass lesion area detection method based on an improved YOLOv8 model.
CN119251222B (zh) 基于反投影数据的平扫ct图像病变检测方法及相关设备
JP5048233B2 (ja) Ｃａｄシステムにおける解剖学的形状の検出のための方法及びシステム
AU2022202380A1 (en) Detection of prostate cancer
Wijerathna et al. Brain tumor detection using image processing
CN117218484B (zh) 一种肺结节影像分类模型的训练方法、系统、终端及介质
Rajaraman et al. Improved TB classification using bone-suppressed chest radiographs
CN120280132B (zh) 基于深度学习的口腔颌面外科影像识别诊断方法及系统
Chan et al. Computer-aided diagnosis of breast cancer with tomosynthesis imaging
US20240095907A1 (en) Deep learning based systems and methods for detecting breast diseases
Liang et al. IterMask3D: Unsupervised Anomaly Detection and Segmentation with Test-Time Iterative Mask Refinement in 3D Brain MR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant