CN120114183B - 基于视觉图像的机器人控制方法及系统 - Google Patents

Abstract

本公开提供了基于视觉图像的机器人控制方法及系统，属于视觉图像技术领域，该方法包括：基于第一造影图像确定导丝移动路径。基于导丝移动路径和机器人介入控制关系模型确定介入机器人的控制数据。基于第二造影图像确定导丝信息，基于导丝信息确定第一阻力。基于第一阻力和第二阻力确定目标阻力。第二阻力为设置在导丝与介入机器人连接处的力传感器采集到的数据。将目标阻力与阻力阈值进行比较得到第一比较结果，基于第一比较结果和导丝信息对介入机器人的控制数据进行更新，得到目标控制数据。基于目标控制数据对介入机器人进行控制。本公开能够提高介入机器人的控制准确性。

Description

基于视觉图像的机器人控制方法及系统

技术领域

本公开属于视觉图像技术领域，更具体地说，是涉及基于视觉图像的机器人控制方法及系统。

背景技术

在介入手术中，医生需要长时间暴露在X射线辐射下，为了抵御辐射伤害，不得不身着厚重的铅服，长期以往会影响医生的身体健康。

随着医疗技术的进步，介入机器人开始应用于血管介入手术。然而，现有的介入机器人控制方法往往依赖单一的数据来源，在复杂的人体结构和血管环境，无法根据实际情况及时调整机器人的控制参数，导致控制偏差，控制准确性低，难以满足手术对高精度的要求。

发明内容

本公开的目的在于提供基于视觉图像的机器人控制方法及系统，以提高介入机器人的控制准确性。

本公开实施例的第一方面，提供了一种基于视觉图像的机器人控制方法，应用于介入机器人，包括：

基于第一造影图像确定导丝移动路径；所述第一造影图像为导丝介入血管前获取的造影图像；基于所述导丝移动路径和机器人介入控制关系模型确定介入机器人的控制数据；所述机器人介入控制关系模型是由历史造影图像和介入机器人的历史控制数据训练得到的基于深度学习的多模态融合模型；

基于第二造影图像确定导丝信息，基于所述导丝信息确定第一阻力；所述第二造影图像为导丝介入血管过程中获取的造影图像；基于所述第一阻力和第二阻力确定目标阻力；所述第二阻力为力传感器采集到的数据；

将所述目标阻力与阻力阈值进行比较得到第一比较结果，基于所述第一比较结果和所述导丝信息对介入机器人的控制数据进行更新，得到目标控制数据；基于所述目标控制数据对所述介入机器人进行控制。

本公开实施例的第二方面，提供了一种基于视觉图像的机器人控制系统，应用于介入机器人，包括：

第一控制计算模块，用于基于第一造影图像确定导丝移动路径；所述第一造影图像为导丝介入血管前获取的造影图像；基于所述导丝移动路径和机器人介入控制关系模型确定介入机器人的控制数据；所述机器人介入控制关系模型是由历史造影图像和介入机器人的历史控制数据训练得到的基于深度学习的多模态融合模型；

阻力计算模块，用于基于第二造影图像确定导丝信息，基于所述导丝信息确定第一阻力；所述第二造影图像为导丝介入血管过程中获取的造影图像；基于所述第一阻力和第二阻力确定目标阻力；所述第二阻力为力传感器采集到的数据；

第二控制计算模块，将所述目标阻力与阻力阈值进行比较得到第一比较结果，基于所述第一比较结果和所述导丝信息对介入机器人的控制数据进行更新，得到目标控制数据；基于所述目标控制数据对所述介入机器人进行控制。

本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于视觉图像的机器人控制方法的步骤。

本公开实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于视觉图像的机器人控制方法的步骤。

本公开实施例提供的基于视觉图像的机器人控制方法及系统的有益效果在于：

一方面，利用导丝介入血管前的第一造影图像确定移动路径，能全面考量血管的形态、病变等情况，相较于传统方式，路径规划更精准。机器人介入控制关系模型基于历史数据训练所得，这使得根据导丝移动路径生成的控制数据更契合实际手术场景，有效增强介入机器人控制的可靠性。

另一方面，在手术过程中，通过导丝介入血管时获取的第二造影图像确定导丝信息，结合导丝信息确定一个第一阻力，再结合力传感器采集的第二阻力共同得出目标阻力，提高了阻力计算的准确性。依据阻力比较结果和导丝信息更新控制数据，能实时根据导丝实际状态调整介入机器人操作，灵活应对导丝遇到的各种复杂状况，显著提高介入机器人控制的准确性，保障血管介入手术安全、精准地进行。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一实施例提供的基于视觉图像的机器人控制方法的流程示意图；

图2为本公开一实施例提供的基于视觉图像的机器人控制系统的结构框图；

图3为本公开一实施例提供的电子设备的示意框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。

请参考图1，图1为本公开一实施例提供的基于视觉图像的机器人控制方法的流程示意图，该方法应用于介入机器人，可以包括S101至S103。

S101：基于第一造影图像确定导丝移动路径。第一造影图像为导丝介入血管前获取的造影图像。基于导丝移动路径和机器人介入控制关系模型确定介入机器人的控制数据。机器人介入控制关系模型是由历史造影图像和介入机器人的历史控制数据训练得到的基于深度学习的多模态融合模型。

在本实施例中，第一造影图像是在导丝介入血管前，通过血管造影技术获取的影像，能直观展现血管形态、布局等。导丝移动路径是依据第一造影图像规划出的导丝在血管内从起点到目标介入位置的移动路线。机器人介入控制关系模型是利用历史造影图像和介入机器人的历史控制数据，对神经网络模型和决策树模型进行训练得到，用于建立导丝移动数据与介入机器人控制数据之间的关联。介入机器人的控制数据包括用于控制介入机器人操作导丝的一系列参数，例如，控制导丝的推进速度与方向、控制导丝的旋转速度与方向、推送力度等。

示例性的，基于深度学习的多模态融合模型可以包括卷积神经网络模型和决策树模型。机器人介入控制关系模型可以采用卷积神经网络模型提取血管特征和导丝特征，再结合决策树模型生成对于介入机器人控制指令（控制数据）。

在本实施例中，机器人介入控制关系模型用于：

基于导丝移动路径确定多个路径转折节点。基于多个路径转折节点将导丝移动路径划分为多个第一路径。每两个路径转折节点之间的路径为一个第一路径。

计算每个第一路径对应的导丝移动数据。导丝移动数据包括导丝动作类型、导丝移动方向和导丝移动速度。

基于每个第一路径的导丝移动数据确定该第一路径对应的介入机器人的控制数据。

在本实施例中，路径转折节点为导丝移动路径上方向变化率大于预设变化率的点，在路径转折节点路径的方向发生突变，可能导致导丝移动数据发生显著变化。路径转折节点的相关参数可以包括节点坐标，该点处路径的切线方向、曲率变化率等，用于界定路径的不同走向段落。第一路径由相邻两个路径转折节点之间的路径构成，是对导丝移动路径细分后的单元路径。第一路径的相关参数可以包括路径长度、平均曲率、起止坐标等，反映每段单元路径的特征。导丝动作类型可以包括推进、旋转、回撤等；导丝移动方向可以包括空间角度、选择方向；导丝移动速度可以包括单位时间内移动距离、旋转速度。

在本实施例中，机器人介入控制关系模型可以通过识别导丝移动路径中的方向变化，确定路径转折节点，将导丝移动路径划分为多个第一路径，以便更精确地分析。针对每个第一路径，依据其几何特征和预期的导丝移动需求，计算出导丝在该段路径上应采取的动作类型、移动方向和速度。基于导丝移动数据可以反推得到机器人在该第一路径对应的控制参数，从而实现对导丝的精确控制，使导丝按规划路径在血管内移动。

在本实施例中，机器人介入控制关系模型可以包括神经网络模型和决策树模型两部分。将导丝移动路径输入已训练好的机器人介入控制关系模型后，会先经过训练好的神经网络模型计算出导丝移动数据，将导丝移动数据作为输入经过训练好的决策树模型生成介入机器人控制导丝移动所需的控制数据。

示例性的，神经网络模型具备强大的非线性映射能力，能够从复杂的导丝移动路径中自动提取关键特征，计算出导丝在不同路径特征下的移动数据。而决策树模型基于规则和条件判断，将神经网络输出的导丝移动数据转化为介入机器人具体的控制指令，以此实现对介入机器人的精确控制。

S102：基于第二造影图像确定导丝信息，基于导丝信息确定第一阻力。第二造影图像为导丝介入血管过程中获取的造影图像。基于第一阻力和第二阻力确定目标阻力。第二阻力为力传感器采集到的数据。

在本实施例中，第二造影图像包括在导丝介入血管过程中实时获取的造影图像，用于动态监测导丝信息和导丝周围血管环境。基于第二造影图像可能分析血管的实时形态、导丝在血管中的位置、血管壁的状态以及与周围组织的关系等。导丝信息可以包括导丝的位置坐标、导丝头端的方向、导丝的弯曲程度等。

第一阻力是基于导丝信息，通过分析血管形态、导丝与血管壁的接触情况等因素估算出的导丝移动时受到的阻力，反映了血管环境等因素对导丝的影响。第二阻力是由力传感器直接采集的数据，真实反映导丝传递到该位置的阻力数据。力传感器可以设置在导丝与介入机器人连接处。目标阻力是综合第一阻力和第二阻力得到的更准确反映导丝实际受力的阻力值。确定目标阻力时将这两种来源不同但都与导丝受力相关的阻力进行融合，可以更全面、准确地反映导丝在血管内的实际受力情况，为介入操作提供更精确的力反馈数据。

在本实施例中，基于第一阻力和第二阻力确定目标阻力，包括：

对第一阻力和第二阻力进行加权平均得到目标阻力。

示例性的，在血管介入手术过程中，通过持续获取第二造影图像，分析得到导丝在血管中的位置、血管壁的状态等信息。比如在导丝经过一处狭窄血管时，根据这些信息估算出第一阻力。同时，设置在导丝与介入机器人连接处的力传感器采集到第二阻力。基于第一阻力和第二阻力的预设权重，通过加权平均公式计算目标阻力。根据这个更精确的力反馈数据判断导丝在血管内的实际受力情况，进而调整介入机器人对导丝的操作，避免因阻力过大损伤血管。

在本实施例中，基于视觉图像的机器人控制方法还包括：

基于介入机器人在无阻力推送时的第一力反馈数据、控制数据和导丝信息得到力反馈校正模型。

响应于接收到介入机器人在有阻力推送时的第二力反馈数据，基于力反馈校正模型对第二力反馈数据进行校正得到第二阻力。

在本实施例中，无阻力推送指的是导丝在模拟血管环境中移动的状态。有阻力推送时指的是导丝在实际的血管环境中移动的状态。

第一力反馈数据为介入机器人在无阻力推送导丝时，传感器反馈的力相关数据，反映机器人在理想无阻碍状态下推送导丝的受力情况。第二力反馈数据为介入机器人在有阻力推送导丝时，传感器反馈的力相关数据，此时受血管阻力等因素影响。

力反馈校正模型是通过分析无阻力推送时的第一力反馈数据、控制数据和导丝信息建立的模型，用于对有阻力推送时的力反馈数据进行校正。

示例性的，除了采集介入机器人的力反馈数据外，还需同步收集介入机器人的控制数据，以及详细的导丝信息，包括导丝在血管中的实时位置、弯曲程度、与血管壁的接触点等。

在无血管阻力的模拟环境或体外实验中，获取介入机器人及导丝在不同控制参数下的力反馈数据，建立基础力反馈模型，得到器械自身及外界环境因素对力反馈的影响规律。结合血管的弹性、直径、曲折度等参数，对基础力反馈模型进行优化和调整，使模型更贴近实际的血管环境。

运用低通滤波、高通滤波或带通滤波等方法，去除力反馈数据中的高频噪声和低频干扰，保留与血管阻力相关的有效信号频段。利用时域分析、频域分析或时频域分析等技术，提取力反馈数据中的特征参数，从中筛选出与血管阻力密切相关的特征。

收集大量已知血管阻力的力反馈数据作为训练样本，采用支持向量机、神经网络等监督学习算法，建立力反馈数据与血管阻力之间的映射关系模型，通过模型对新的力反馈数据进行预测，得到血管真实阻力。让介入机器人在模拟的血管环境中进行多次推送导丝的试验，通过强化学习算法，使机器人根据力反馈数据和预设的目标（如准确到达目标位置、避免血管损伤等）不断调整推送策略，在这个过程中逐渐学习和识别出与血管真实阻力相关的力反馈特征，从而实现准确提取。

S103：将目标阻力与阻力阈值进行比较得到第一比较结果，基于第一比较结果和导丝信息对介入机器人的控制数据进行更新，得到目标控制数据。基于目标控制数据对介入机器人进行控制。

在本实施例中，阻力阈值为预先设定的阻力参考值。第一比较结果包括大于、小于或等于等比较关系。目标控制数据是基于第一比较结果和导丝信息对原控制数据更新后得到的，用于精准控制介入机器人的新控制参数集合。

示例性的，实时获取导丝的目标阻力，将目标阻力与预先设定的阻力阈值对比。若目标阻力大于阈值，表明导丝遇到较大阻碍，需结合导丝当前状态（导丝信息）调整控制数据，如降低推进速度、改变旋转方向等，以避免损伤血管；若小于阻力阈值，则保持原来的控制数据不变。通过这种方式，根据导丝实际受力和状态实时调整控制数据，实现对介入机器人的精准控制，确保手术安全、顺利进行。

由上可以得出，基于第一造影图像规划导丝移动路径，结合机器人介入控制关系模型细分路径，计算各段导丝移动数据，为介入机器人提供精确的控制指令，保障导丝按规划路径在血管内移动，提高介入机器人的控制准确性。

通过融合第一阻力和第二阻力得到目标阻力，综合考虑血管环境和实际受力，提供精准力反馈数据。基于力反馈校正模型校正力反馈数据，能有效去除干扰，准确提取血管真实阻力。

将目标阻力与阻力阈值比较，依据结果和导丝信息实时更新介入机器人控制数据，实现智能调控。在遇到阻力异常时，能及时调整导丝推进速度、旋转方向等，避免损伤血管，确保手术安全、顺利进行。

在本公开的一种实施例中，基于第一造影图像确定导丝移动路径，包括：

基于第一造影图像确定路径地图。

基于路径地图确定血管直径信息和血管状态信息。

基于血管直径信息和血管状态信息确定导丝移动路径。

在本实施例中，将导丝入口位置作为路径地图的起点，将目标介入位置作为路径地图的终点。路径地图包括地图坐标系统，各血管段的空间位置、走向等，用于直观展示血管布局及导丝可通行路径。血管直径信息包括从路径地图中获取的血管各部位直径大小数据。血管状态信息包括关于血管的健康状况，狭窄程度、堵塞位置及范围、病变类型等。导丝移动路径为根据血管直径和状态信息规划出的导丝从入口到目标位置的最佳移动路线。

示例性的，由于原始图像存在噪声干扰、对比度不佳等问题，需要先进行预处理。利用高斯滤波算法对第一造影图像进行降噪处理，去除第一造影图像中的随机噪声点，让图像更加平滑。采用直方图均衡化技术，扩展图像的灰度动态范围，增强血管与周围组织的对比度，使血管的轮廓更加清晰，便于后续分析。

明确导丝入口位置和目标介入位置，并将其作为路径地图的起点和终点。运用图像分割算法，例如基于阈值的分割方法，根据血管与背景在灰度值上的差异，设定合适的阈值，将血管从图像背景中分离出来，得到仅包含血管信息的二值图像。在此基础上，构建二维或三维的路径地图，精确标注出血管的走向、分支以及交叉等关键信息。

在构建好的路径地图上，通过测量血管轮廓上相邻像素点之间的距离，结合图像的实际比例尺，计算出不同位置的血管直径信息。利用预先训练好的深度学习模型，对血管图像进行分析，识别血管是否存在狭窄、堵塞、动脉瘤等异常状态，并记录异常区域的位置和范围等详细信息。

以路径地图为基础，将起点和终点作为搜索的起始和目标节点，把血管直径过小、存在病变的区域设置为不可通行的障碍区域。基于路径规划算法对路径地图进行搜索，在搜索过程中，基于路径的长度、平滑度等因素，寻找一条从起点到终点的最优路径，这条路径就是初步规划的导丝移动路径。

示例性的，在冠脉介入手术中，造影图像显示某段冠状动脉狭窄达80%。先确定路径地图，明确狭窄位置。因血管狭窄，导丝需以极小角度缓慢靠近，避免触碰血管壁。规划时，提前在狭窄段前调整导丝方向，使其对准狭窄中心，以较低速度推进，同时密切关注导丝弯曲度，确保顺利通过。

对于血管分叉位置，若一支通向病变区域，另一支为正常分支。根据分叉角度、血管直径判断，目标分支角度更平缓且直径稍大。导丝靠近分叉点时，提前微调方向，在分叉处精准控制旋转与推进，顺利进入目标分支。

对于血管钙化情况，在确定路径时，需避开钙化区，若无法避开，则在接近钙化区前，降低推进速度，配合小幅度旋转，减小导丝与钙化血管壁摩擦，缓慢通过钙化段，保障导丝安全前行。

本实施例通过图像预处理和构建路径地图，能清晰呈现血管布局，为后续规划提供准确依据。利用深度学习模型识别血管状态，结合测量血管直径信息，可有效避开危险区域。规划出的最优路径，既保障导丝顺利抵达目标位置，又能减少对血管壁的损伤，提高介入手术的效率。

在本公开的一种实施例中，基于视觉图像的机器人控制方法还包括：

获取导丝介入血管前的初始造影图像，基于路径地图将初始造影图像划分为第一区域图像和第二区域图像。

基于目标图像处理数据对第一区域图像进行处理，得到处理后的第一区域图像。

第一区域图像包括路径地图在内的图像区域，第二区域图像为初始造影图像中除第一区域图像外的图像区域。

基于处理后的第一区域图像和第二区域图像构建第二造影图像。

在本实施例中，目标图像处理数据包括第一图像处理数据和第二图像处理数据。基于目标图像处理数据对第一区域图像进行处理，得到处理后的第一区域图像，包括：

基于导丝移动路径将路径地图划分为第一路径区域和第二路径区域。第一路径区域为包含导丝移动路径在内的路径区域，第二路径区域为路径地图中除第一路径区域外的路径区域。

基于第一图像处理数据对第一路径区域进行处理，得到处理后的第一路径区域。

基于第二图像处理数据对第二路径区域进行处理，得到处理后的第二路径区域。第一图像处理数据的处理精度高于第二图像处理数据的处理精度。

基于处理后的第一路径区域和处理后的第二路径区域构建第一区域图像。

在本实施例中，初始造影图像为导丝介入血管前获取的未经图像增强的血管造影影像，反映血管原始状态。目标图像处理数据可以包括高分辨率增强参数、边缘锐化系数等。

在本实施例中，可以利用掩码技术划分图像区域。基于路径地图将初始造影图像划分为第一区域图像和第二区域图像，包括：

基于路径地图生成第一掩码图像和第二掩码图像。基于第一掩码图像和初始造影图像得到第一区域图像，基于第二掩码图像和初始造影图像得到第一区域图像。

示例性的，基于路径地图，创建一个与初始造影图像大小相同的第一掩码图像，在掩码图像中，将路径地图及其周边一定范围的区域标记为白色（值为 255），其余区域标记为黑色（值为0）。通过该掩码与初始造影图像进行位运算（如按位与操作），得到第一区域图像。将第一掩码图像取反，得到第二掩码图像，即白色区域变为黑色，黑色区域变为白色。再将第二掩码图像与初始造影图像进行位运算，得到第二区域图像。

示例性的，基于第一图像处理数据，利用基于深度学习的超分辨率重建算法等高分辨率增强算法对第一路径区域图像进行处理，提高图像分辨率，增强细节信息。同时使用如Canny算法等边缘检测算法调整高低阈值参数对血管边缘进行锐化，突出导丝移动路径区域的血管特征。

基于第二图像处理数据，采用均值滤波算法，设置滤波核大小（如3×3）对第二路径区域图像进行降噪处理，并通过调整亮度和对比度参数（如亮度偏移量、对比度增益）对图像进行一般性增强处理。

将处理后的第一路径区域和第二路径区域，按照路径地图的坐标关系进行拼接。例如，将两个区域的图像在相同的坐标系统下对齐，然后逐像素进行合并，生成处理后的第一区域图像。

将处理后的第一区域图像和第二区域图像，通过加权平均融合算法进行融合。先对两个图像进行配准，使其在空间位置上对应，根据权重对对应像素进行加权求和，生成第二造影图像，为导丝介入血管过程中的实时监测和机器人控制提供更清晰、准确的图像信息。

在本实施例中，第一图像处理数据的确定包括：

基于导丝移动路径确定血管曲率。

基于血管曲率确定第一图像处理数据。

在本实施例中，依据导丝移动路径，计算导丝经过区域的血管曲率。不同的血管曲率代表不同的血管形态和复杂程度，基于此确定与之适配的图像处理方式，从而得到针对性的第一图像处理数据，以便更精准地处理关键区域图像，突出血管特征，为后续导丝操作提供清晰准确的图像依据。

示例性的，沿着导丝移动路径，对路径经过的血管轮廓进行采样，得到一系列离散点。利用曲线拟合算法（如样条曲线拟合）拟合这些点形成光滑曲线，再根据曲率计算公式计算出血管在各点处的曲率，得到平均曲率或最大曲率等指标来代表血管曲率。

根据计算得到的血管曲率大小确定第一图像处理数据，若曲率大，表明血管弯曲复杂，则需要更高的分辨率增强参数和更大的边缘锐化系数，以突出血管细节和边缘；若曲率小，则适当调整参数，从而确定第一图像处理数据。

本实施例利用掩码技术划分图像区域，针对包含导丝移动路径的第一区域图像，依据不同处理数据对细分区域差异化处理，高精度处理关键路径，低精度处理其他区域，在保证关键信息清晰的同时，减少计算量。

将处理后的区域图像拼接、融合成第二造影图像，提升了图像分辨率和细节，增强了血管特征，为导丝介入实时监测提供更清晰准确的图像，实现机器人精准控制。

在本公开的一种实施例中，导丝信息包括导丝位置、导丝弯曲系数、导丝移动方向和导丝移动速度。基于第二造影图像确定导丝信息，基于导丝信息确定第一阻力，包括：

基于第二造影图像确定导丝位置、导丝弯曲系数和导丝移动方向。

获取第二造影图像前第一时长内的多个第三造影图像，基于多个第三造影图像和第二造影图像确定导丝移动速度。

基于第二造影图像确定血管形态。

基于导丝位置、导丝弯曲系数、导丝移动方向、导丝移动速度和血管形态确定导丝受到的第一阻力。

在本实施例中，导丝位置为导丝在血管内的空间坐标，可表示为三维坐标，用于定位导丝。导丝弯曲系数为衡量导丝弯曲程度的数值，参数为一个标量，数值越大弯曲程度越大。导丝移动方向表示导丝在血管内移动的方向，可用方向向量表示。导丝移动速度表示单位时间内导丝移动的距离，参数为速度值（如mm/s）。第三造影图像用于分析导丝运动轨迹。血管形态包括血管的形状、管径、弯曲度等，参数包括管径大小、曲率等。

示例性的，在导丝介入血管的过程中，利用高帧率、高分辨率的血管造影设备，以固定的时间间隔（如每0.5秒）持续采集造影图像。在获取到第二造影图像时，同时记录其前第一时长（假设为2秒）内的多个第三造影图像，确保图像序列完整且清晰，能够捕捉导丝的动态变化。

导丝位置计算：对第二造影图像进行预处理，增强图像对比度，突出导丝与血管的轮廓。采用边缘检测算法提取导丝边缘，利用轮廓检测函数（如OpenCV中的findContours函数）确定导丝的轮廓。通过轮廓的几何中心计算确定导丝在图像坐标系中的位置，再根据造影设备的标定参数，转换为实际的三维空间坐标。

导丝弯曲系数计算：基于检测到的导丝轮廓，将其离散化为一系列的点。通过计算这些点之间的曲率变化，使用曲线拟合算法描述导丝的弯曲形状。根据拟合曲线的参数，采用平均曲率或最大曲率等指标计算得到导丝弯曲系数。

导丝移动方向确定：识别导丝的头端位置，以头端为起点，根据导丝的走向确定一个方向向量。通过计算该向量与坐标轴的夹角，确定导丝在空间中的移动方向。

导丝移动速度计算：对多个第三造影图像和第二造影图像，使用卡尔曼滤波跟踪算法持续跟踪导丝在不同图像中的位置。根据导丝在不同图像中的位置变化，以及采集图像的时间间隔，利用速度计算公式计算出导丝在单位时间内的移动距离，从而得到导丝的移动速度。

血管形态分析：对第二造影图像进行图像分割，将血管从背景中分离出来。采用阈值分割、区域生长等算法提取血管的轮廓。测量血管不同位置的管径大小，计算血管的曲率，确定血管的分支和弯曲情况，全面描述血管形态。

计算第一阻力：将获取的导丝位置、弯曲系数、移动方向、移动速度和血管形态等参数，代入预先建立的阻力估算模型。该模型可以基于流体力学原理、摩擦学理论或通过神经网络训练得到的经验模型，通过模型的计算得出导丝在当前状态下受到的第一阻力。

例如，可以利用神经网络，将导丝位置、弯曲系数、移动方向、移动速度和血管形态等作为输入特征，导丝所受阻力作为输出标签，训练神经网络模型。训练完成后，输入实时参数即可预测第一阻力。

本实施例通过高帧率、高分辨率设备采集图像，配合多种图像处理算法，能精确获取导丝位置、弯曲系数等关键信息，为后续分析提供准确数据。将这些信息与血管形态相结合，代入阻力估算模型，能较为精准地计算出第一阻力，为介入机器人控制提供可靠依据，有助于保障导丝在血管内的安全、稳定移动。

在本公开的一种实施例中，介入机器人的控制数据包括控制动作类型和多维控制数值。基于第一比较结果和导丝信息对介入机器人的控制数据进行更新，得到目标控制数据，包括：

若第一比较结果为目标阻力大于或者等于阻力阈值，则：

基于目标阻力确定介入机器人的控制动作类型。控制动作类型包括推进、回撤、旋转和弯曲。

基于控制动作类型、目标阻力和导丝信息确定多维控制数值。多维控制数值包括力度、方向和速度。

将控制动作类型和多维控制数值作为目标控制数据。

若第一比较结果为目标阻力小于阻力阈值，则：

将介入机器人的控制数据作为目标控制数据。

在本实施例中，控制动作类型为描述介入机器人对导丝执行的操作方式。控制动作类型可以包括推进（控制导丝向血管内前进）、回撤（控制导丝从血管内后退）、旋转（控制导丝绕自身轴线转动）和弯曲（改变导丝头端弯曲方向和程度）。多维控制数值是指量化控制动作的具体参数，指机器人推动或拉动导丝的力量大小；导丝移动或旋转的方向，导丝推进、回撤或旋转的快慢。

在本实施例中，通过比较目标阻力和阻力阈值，判断导丝在血管内的受力状态。若目标阻力大于或等于阈值，表明导丝遇到较大阻碍，需根据当前导丝信息和阻力大小，调整机器人的控制动作类型和多维控制数值，以保障导丝安全移动；若目标阻力小于阈值，可维持当前控制数据。

示例性的，实时获取目标阻力和阻力阈值，将两者进行大小比较，得到第一比较结果。同时，获取导丝位置、弯曲系数、移动方向和速度等导丝信息。

目标阻力大于或等于阻力阈值时：依据目标阻力大小和导丝状态，若阻力过大，为避免损伤血管，选择回撤动作；若导丝需改变方向绕过阻碍，选择旋转或弯曲动作。根据选定的控制动作类型，结合目标阻力和导丝信息计算多维控制数值。例如，若选择旋转动作，根据导丝当前方向和目标方向确定旋转方向和角度，再根据目标阻力调整旋转速度。将确定的控制动作类型和多维控制数值整合，形成目标控制数据，用于控制介入机器人。

目标阻力小于阻力阈值时：将当前介入机器人的控制数据作为目标控制数据，继续按照原计划控制导丝移动。

本实施例能实时依据导丝受力状态做出反应，当目标阻力超阈值，根据导丝信息灵活调整控制动作类型与多维控制数值，避免血管受损，保障导丝安全移动；而阻力正常时，维持原控制数据，既保证操作稳定性，又能灵活应对复杂情况，提升介入手术的精准度和安全性。

在本公开的一种实施例中，基于视觉图像的机器人控制方法还包括：基于历史造影图像确定历史路径信息和历史导丝信息。

基于历史路径信息、历史导丝信息和介入机器人的历史控制数据得到机器人介入控制关系模型。

在本实施例中，历史造影图像包括过去进行介入手术时获取的血管造影影像，包含丰富血管信息。历史路径信息为从该场手术的历史造影图像中分析得出的导丝移动路径和多维路径信息。历史导丝信息为关于导丝在该场历史手术中随时间变化的导丝移动数据。介入机器人的历史控制数据包括介入机器人在该场历史手术中操作导丝的控制参数记录。

在本实施例中，机器人介入控制关系模型包括神经网络模型和决策树模型。机器人介入控制关系模型的训练过程包括：

基于历史路径信息和历史导丝信息对初始神经网络模型进行训练得到训练后的神经网络模型。

基于历史路径信息、历史导丝信息和介入机器人的历史控制数据对初始决策树模型进行训练得到训练后的决策树模型。

在本实施例中，基于历史路径信息和历史导丝信息对初始神经网络模型进行训练得到训练后的神经网络模型，包括：

基于历史路径信息确定路径特征，路径特征包括路径长度、血管直径和曲率。

基于历史导丝信息确定导丝特征，导丝特征包括导丝动作类型、移动方向和移动速度。

将路径特征作为输入、导丝特征作为输出，对神经网络模型进行训练得到训练后的神经网络模型。

在本实施例中，基于历史路径信息、历史导丝信息和介入机器人的历史控制数据对初始决策树模型进行训练得到训练后的决策树模型，包括：

基于介入机器人的历史控制数据确定控制数据特征，控制数据特征包括控制动作类型和多维控制数值。

将路径特征和导丝特征作为输入，介入机器人的控制数据特征作为输出，对决策树模型进行训练得到训练后的决策树模型。

示例性的，神经网络模型的训练过程可以包括：

数据收集：收集过去进行介入手术时获取的大量历史造影图像。对于每一场手术，同时记录对应的历史路径信息（路径长度、血管直径、曲率等）、历史导丝信息（导丝动作类型、移动方向、移动速度等）。对收集到的数据进行数据清洗，将缺失值、异常值或错误标注的数据样本剔除。对清洗后的数据进行归一化，具体包括对历史路径信息和历史导丝信息中的数值型数据进行归一化处理，对数据进行缩放。以路径长度为例，将不同手术中的路径长度值统一进行缩放，避免因数值范围差异过大影响模型训练效果。

模型构建：基于多层感知机（Multilayer Perceptron，MLP）构建一个包含输入层、若干隐藏层和输出层的MLP神经网络架构，输入层神经元数量与历史路径信息和历史导丝信息的特征维度相同，输出层神经元数量根据数据预测需求的特征维度数量确定。

模型训练：将训练数据集中的数据按批次地输入到神经网络模型中，通过前向传播计算预测结果，根据损失函数计算损失值，使用优化算法进行反向传播，更新模型的参数。不断重复这个过程，直到模型的性能在验证集上达到预设的性能指标或达到预设的训练轮数。

示例性的，决策树模型的训练过程可以包括：

对介入机器人的历史控制数据进行分类和量化，明确控制数据特征，其中控制动作类型可以包含推进、旋转、回撤、控制导丝弯曲等，多维控制数值可以包括推进速度、旋转角度、推送力度、回撤速度等。从历史路径信息里提取路径长度、曲率、路径上的转折点数量、分支情况等路径特征。从历史导丝信息中提取导丝的实时位置、弯曲程度、移动速度变化趋势、头端方向等导丝特征。对提取的所有特征数据进行预处理。

选择分类与回归树（Classification and Regression Trees，CART）算法构建初始决策树模型。将路径特征和导丝特征作为输入数据，介入机器人的控制数据特征作为输出标签，输入到初始决策树模型中。CART决策树算法可以依据数据的特征和标签进行递归划分，在每个节点上选择最优的特征进行分裂，使得分裂后的子节点数据纯度更高，逐步构建出决策树模型。利用训练数据集对决策树模型进行多次调整和优化，最终得到性能良好的训练后的决策树模型。

本实施例采用的神经网络模型具有强大的非线性映射能力能够深入挖掘历史路径与导丝特征之间的复杂关系，准确预测导丝状态，为介入手术提供精准的导丝移动数据支持。决策树模型可以依据路径、导丝和控制数据特征，生成介入机器人的控制指令，使机器人操作更贴合实际手术需求。两者结合，让介入机器人在手术中能更精准、智能地控制导丝移动。

对应于上文实施例的基于视觉图像的机器人控制方法，图2为本公开一实施例提供的基于视觉图像的机器人控制系统的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参考图2，该基于视觉图像的机器人控制系统20应用于介入机器人，包括：第一控制计算模块21、阻力计算模块22和第二控制计算模块23。

其中，第一控制计算模块21，用于基于第一造影图像确定导丝移动路径。第一造影图像为导丝介入血管前获取的造影图像。基于导丝移动路径和机器人介入控制关系模型确定介入机器人的控制数据。机器人介入控制关系模型是由历史造影图像和介入机器人的历史控制数据训练得到的基于深度学习的多模态融合模型。

阻力计算模块22，用于基于第二造影图像确定导丝信息，基于导丝信息确定第一阻力。第二造影图像为导丝介入血管过程中获取的造影图像。基于第一阻力和第二阻力确定目标阻力。第二阻力为力传感器采集到的数据。

第二控制计算模块23，用于将目标阻力与阻力阈值进行比较得到第一比较结果，基于第一比较结果和导丝信息对介入机器人的控制数据进行更新，得到目标控制数据。基于目标控制数据对介入机器人进行控制。

在本公开的一种实施例中，基于视觉图像的机器人控制系统20还包括：

阻力校正模块，用于基于介入机器人在无阻力推送时的第一力反馈数据、控制数据和导丝信息得到力反馈校正模型。

响应于接收到介入机器人在有阻力推送时的第二力反馈数据，基于力反馈校正模型对第二力反馈数据进行校正得到第二阻力。

在本公开的一种实施例中，第一控制计算模块21，具体用于基于第一造影图像确定路径地图。

基于路径地图确定血管直径信息和血管状态信息。

基于血管直径信息和血管状态信息确定导丝移动路径。

在本公开的一种实施例中，基于视觉图像的机器人控制系统20还包括：

图像处理模块，用于获取导丝介入血管前的初始造影图像，基于路径地图将初始造影图像划分为第一区域图像和第二区域图像。

基于目标图像处理数据对第一区域图像进行处理，得到处理后的第一区域图像。

第一区域图像包括路径地图在内的图像区域，第二区域图像为初始造影图像中除第一区域图像外的图像区域。

基于处理后的第一区域图像和第二区域图像构建第二造影图像。

在本公开的一种实施例中，目标图像处理数据包括第一图像处理数据和第二图像处理数据。图像处理模块，具体用于基于导丝移动路径将路径地图划分为第一路径区域和第二路径区域。第一路径区域为包含导丝移动路径在内的路径区域，第二路径区域为路径地图中除第一路径区域外的路径区域。

基于第一图像处理数据对第一路径区域进行处理，得到处理后的第一路径区域。

基于第二图像处理数据对第二路径区域进行处理，得到处理后的第二路径区域。第一图像处理数据的处理精度高于第二图像处理数据的处理精度。

基于处理后的第一路径区域和处理后的第二路径区域构建第一区域图像。

在本公开的一种实施例中，导丝信息包括导丝位置、导丝弯曲系数、导丝移动方向和导丝移动速度。阻力计算模块22，具体用于基于第二造影图像确定导丝位置、导丝弯曲系数和导丝移动方向。

获取第二造影图像前第一时长内的多个第三造影图像，基于多个第三造影图像和第二造影图像确定导丝移动速度。

基于第二造影图像确定血管形态。

基于导丝位置、导丝弯曲系数、导丝移动方向、导丝移动速度和血管形态确定导丝受到的第一阻力。

在本公开的一种实施例中，介入机器人的控制数据包括控制动作类型和多维控制数值。第二控制计算模块23，具体用于若第一比较结果为目标阻力大于或者等于阻力阈值，则：

基于目标阻力确定介入机器人的控制动作类型。控制动作类型包括推进、回撤、旋转和弯曲。

基于控制动作类型、目标阻力和导丝信息确定多维控制数值。多维控制数值包括力度、方向和速度。

将控制动作类型和多维控制数值作为目标控制数据。

若第一比较结果为目标阻力小于阻力阈值，则：

将介入机器人的控制数据作为目标控制数据。

参见图3，图3为本公开一实施例提供的电子设备的示意框图。如图3所示的本实施例中的电子设备300可以包括：一个或多个处理器301、一个或多个输入设备302、一个或多个输出设备303及一个或多个存储器304。上述处理器301、输入设备302、输出设备303及存储器304通过通信总线305完成相互间的通信。存储器304用于存储计算机程序，计算机程序包括程序指令。处理器301用于执行存储器304存储的程序指令。其中，处理器301被配置用于调用程序指令执行上述各系统实施例中各模块的功能，例如图2所示模块21至23的功能。

应当理解，在本公开实施例中，所称处理器301可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (DigitalSignal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备302可以包括触控板、指纹采集传感器（用于采集用户的指纹信息和指纹的方向信息）、麦克风等，输出设备303可以包括显示器（LCD等）、扬声器等。

该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。存储器304的一部分还可以包括非易失性随机存取存储器。例如，存储器304还可以存储设备类型的信息。

具体实现中，本公开实施例中所描述的处理器301、输入设备302、输出设备303可执行本公开实施例提供的基于视觉图像的机器人控制方法的第一实施例和第二实施例中所描述的实现方式，也可执行本公开实施例所描述的电子设备300的实现方式，在此不再赘述。

在本公开的另一实施例中提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。

计算机可读存储介质可以是前述任一实施例的电子设备的内部存储单元，例如电子设备的硬盘或内存。计算机可读存储介质也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，计算机可读存储介质还可以既包括电子设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及电子设备所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的电子设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于视觉图像的机器人控制系统，其特征在于，应用于介入机器人，包括：

第一控制计算模块，用于基于第一造影图像确定导丝移动路径；所述第一造影图像为导丝介入血管前获取的造影图像；基于所述导丝移动路径和机器人介入控制关系模型确定介入机器人的控制数据；所述机器人介入控制关系模型是由历史造影图像和介入机器人的历史控制数据训练得到的基于深度学习的多模态融合模型；

阻力计算模块，用于基于第二造影图像确定导丝位置、导丝弯曲系数和导丝移动方向；获取所述第二造影图像前第一时长内的多个第三造影图像，基于所述多个第三造影图像和所述第二造影图像确定导丝移动速度；基于所述第二造影图像确定血管形态；基于所述导丝位置、所述导丝弯曲系数、所述导丝移动方向、所述导丝移动速度和所述血管形态确定导丝受到的第一阻力；所述导丝位置、导丝弯曲系数、导丝移动方向和导丝移动速度属于导丝信息；所述第二造影图像为导丝介入血管过程中获取的造影图像；基于所述第一阻力和第二阻力确定目标阻力；所述第二阻力为力传感器采集到的数据；

第二控制计算模块，用于将所述目标阻力与阻力阈值进行比较得到第一比较结果，若所述第一比较结果为所述目标阻力大于或者等于所述阻力阈值，则：基于所述目标阻力确定介入机器人的控制动作类型；所述控制动作类型包括推进、回撤、旋转和弯曲；基于所述控制动作类型、所述目标阻力和所述导丝信息确定多维控制数值；所述多维控制数值包括力度、方向和速度；将所述控制动作类型和所述多维控制数值作为目标控制数据；若所述第一比较结果为所述目标阻力小于所述阻力阈值，则：将介入机器人的控制数据作为目标控制数据；基于所述目标控制数据对所述介入机器人进行控制。

2.一种电子设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现：

基于第一造影图像确定导丝移动路径；所述第一造影图像为导丝介入血管前获取的造影图像；基于所述导丝移动路径和机器人介入控制关系模型确定介入机器人的控制数据；所述机器人介入控制关系模型是由历史造影图像和介入机器人的历史控制数据训练得到的基于深度学习的多模态融合模型；

基于第二造影图像确定导丝位置、导丝弯曲系数和导丝移动方向；获取所述第二造影图像前第一时长内的多个第三造影图像，基于所述多个第三造影图像和所述第二造影图像确定导丝移动速度；基于所述第二造影图像确定血管形态；基于所述导丝位置、所述导丝弯曲系数、所述导丝移动方向、所述导丝移动速度和所述血管形态确定导丝受到的第一阻力；所述导丝位置、导丝弯曲系数、导丝移动方向和导丝移动速度属于导丝信息；所述第二造影图像为导丝介入血管过程中获取的造影图像；基于所述第一阻力和第二阻力确定目标阻力；所述第二阻力为力传感器采集到的数据；

将所述目标阻力与阻力阈值进行比较得到第一比较结果，若所述第一比较结果为所述目标阻力大于或者等于所述阻力阈值，则：基于所述目标阻力确定介入机器人的控制动作类型；所述控制动作类型包括推进、回撤、旋转和弯曲；基于所述控制动作类型、所述目标阻力和所述导丝信息确定多维控制数值；所述多维控制数值包括力度、方向和速度；将所述控制动作类型和所述多维控制数值作为目标控制数据；若所述第一比较结果为所述目标阻力小于所述阻力阈值，则：将介入机器人的控制数据作为目标控制数据；基于所述目标控制数据对所述介入机器人进行控制。

3.如权利要求2所述的电子设备，其特征在于，所述处理器执行所述计算机程序时还用于实现：

基于介入机器人在无阻力推送时的第一力反馈数据、控制数据和导丝信息得到力反馈校正模型；

响应于接收到介入机器人在有阻力推送时的第二力反馈数据，基于所述力反馈校正模型对所述第二力反馈数据进行校正得到第二阻力。

4.如权利要求2所述的电子设备，其特征在于，所述处理器执行所述计算机程序时具体用于实现：

基于第一造影图像确定路径地图；

基于所述路径地图确定血管直径信息和血管状态信息；

基于所述血管直径信息和所述血管状态信息确定导丝移动路径。

5.如权利要求4所述的电子设备，其特征在于，所述处理器执行所述计算机程序时还用于实现：

获取导丝介入血管前的初始造影图像，基于所述路径地图将所述初始造影图像划分为第一区域图像和第二区域图像；

基于目标图像处理数据对所述第一区域图像进行处理，得到处理后的第一区域图像；

所述第一区域图像包括所述路径地图在内的图像区域，所述第二区域图像为所述初始造影图像中除第一区域图像外的图像区域；

基于处理后的第一区域图像和所述第二区域图像构建第二造影图像。

6.如权利要求5所述的电子设备，其特征在于，所述目标图像处理数据包括第一图像处理数据和第二图像处理数据；所述处理器执行所述计算机程序时具体用于实现：

基于所述导丝移动路径将所述路径地图划分为第一路径区域和第二路径区域；所述第一路径区域为包含所述导丝移动路径在内的路径区域，所述第二路径区域为所述路径地图中除所述第一路径区域外的路径区域；

基于第一图像处理数据对所述第一路径区域进行处理，得到处理后的第一路径区域；

基于第二图像处理数据对所述第二路径区域进行处理，得到处理后的第二路径区域；所述第一图像处理数据的处理精度高于所述第二图像处理数据的处理精度；

基于处理后的第一路径区域和处理后的第二路径区域构建第一区域图像。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现：

基于第一造影图像确定导丝移动路径；所述第一造影图像为导丝介入血管前获取的造影图像；基于所述导丝移动路径和机器人介入控制关系模型确定介入机器人的控制数据；所述机器人介入控制关系模型是由历史造影图像和介入机器人的历史控制数据训练得到的基于深度学习的多模态融合模型；

基于第二造影图像确定导丝位置、导丝弯曲系数和导丝移动方向；获取所述第二造影图像前第一时长内的多个第三造影图像，基于所述多个第三造影图像和所述第二造影图像确定导丝移动速度；基于所述第二造影图像确定血管形态；基于所述导丝位置、所述导丝弯曲系数、所述导丝移动方向、所述导丝移动速度和所述血管形态确定导丝受到的第一阻力；所述导丝位置、导丝弯曲系数、导丝移动方向和导丝移动速度属于导丝信息；所述第二造影图像为导丝介入血管过程中获取的造影图像；基于所述第一阻力和第二阻力确定目标阻力；所述第二阻力为力传感器采集到的数据；

将所述目标阻力与阻力阈值进行比较得到第一比较结果，若所述第一比较结果为所述目标阻力大于或者等于所述阻力阈值，则：基于所述目标阻力确定介入机器人的控制动作类型；所述控制动作类型包括推进、回撤、旋转和弯曲；基于所述控制动作类型、所述目标阻力和所述导丝信息确定多维控制数值；所述多维控制数值包括力度、方向和速度；将所述控制动作类型和所述多维控制数值作为目标控制数据；若所述第一比较结果为所述目标阻力小于所述阻力阈值，则：将介入机器人的控制数据作为目标控制数据；基于所述目标控制数据对所述介入机器人进行控制。