[go: up one dir, main page]

CN113260313A - 用于超声数据收集的方法和装置 - Google Patents

用于超声数据收集的方法和装置 Download PDF

Info

Publication number
CN113260313A
CN113260313A CN202080008088.5A CN202080008088A CN113260313A CN 113260313 A CN113260313 A CN 113260313A CN 202080008088 A CN202080008088 A CN 202080008088A CN 113260313 A CN113260313 A CN 113260313A
Authority
CN
China
Prior art keywords
processing device
ultrasound
ultrasound device
orientation
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080008088.5A
Other languages
English (en)
Inventor
托默·加夫纳
马修·德扬
刘洋
伊戈尔·洛夫钦斯基
内森·西尔贝曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Butterfly Network Inc
Original Assignee
Butterfly Network Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Butterfly Network Inc filed Critical Butterfly Network Inc
Publication of CN113260313A publication Critical patent/CN113260313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461—Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本文描述的技术的方面涉及通过与超声设备进行操作性通信的处理设备确定该超声设备相对于该处理设备的位置和/或取向，以及基于该超声设备相对于该处理设备的位置和/或取向在该处理设备的显示屏上显示用于移动该超声设备的指令。

Description

用于超声数据收集的方法和装置
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求于2019年1月7日在代理人案卷号B1348.70127US00下提交的名称为“METHODS AND APPARATUSES FOR ULTRASOUND DATACOLLECTION[用于超声数据收集的方法和装置]”的美国专利申请序列号62/789,467的权益，该美国专利申请在此通过引用以其整体并入本文。
本申请根据35U.S.C.§119(e)要求于2019年11月8日在代理人案卷号B1348.70127US01下提交的名称为“METHODS AND APPARATUSES FOR ULTRASOUND DATACOLLECTION[用于超声数据收集的方法和装置]”的美国专利申请序列号62/933,297的权益，该美国专利申请在此通过引用以其整体并入本文。
技术领域
总体上，本文描述的技术的方面涉及超声数据收集。一些方面涉及指示用户通过相对于受试者移动超声设备来收集超声数据。
背景技术
超声设备可以用于使用频率高于人类可听到的频率的声波执行诊断成像和/或治疗。超声成像可以用于查看身体内部软组织结构，例如以寻找疾病来源或排除任何病理。当超声脉冲被发射到组织中时(例如，通过使用超声设备)，声波被组织反射，其中不同的组织反射不同程度的声音。这些反射的声波然后可以被记录并作为超声图像显示给操作者。声音信号的强度(振幅)和波行进穿过身体所需的时间提供了用于产生超声图像的信息。使用超声设备可以形成许多不同类型的图像，包括实时图像。例如，可以生成示出组织的二维截面、血流、组织随时间的运动、血液的位置、特定分子的存在、组织的刚度或三维区域的解剖结构的图像。
发明内容
根据本申请的一方面，提供了一种操作超声系统的方法，该方法包括：通过与超声设备进行操作性通信的处理设备确定该超声设备相对于该处理设备的位置和/或取向；以及基于该超声设备相对于该处理设备的位置和/或取向，在该处理设备的显示屏上显示用于移动该超声设备的指令。
根据本申请的一方面，提供了一种装置，该装置包括与超声设备进行操作性通信的处理设备。该处理设备被配置为：确定该超声设备相对于该处理设备的位置和/或取向；以及基于该超声设备相对于该处理设备的位置和/或取向，在该处理设备的显示屏上显示用于移动该超声设备的指令。
一些方面包括存储处理器可执行指令的至少一种非暂态计算机可读存储介质，这些指令当被至少一个处理器执行时使该至少一个处理器执行上述方面和实施例。一些方面包括一种具有被配置为执行上述方面和实施例的处理设备的装置。
附图说明
将参照以下示例性和非限制性附图来描述各个方面和实施例。应当认识到，这些附图不一定按比例绘制。出现在多个图中的项在它们出现的所有图中用相同或相似的附图标记表示。
图1展示了示例超声系统的示意性框图，在该超声系统上可以实践本文描述的技术的各个方面；
图2展示了根据本文描述的某些实施例的用于指示用户收集超声数据的示例过程；
图3展示了根据本文描述的某些实施例的超声设备的端头的示例。
图4展示了根据本文描述的某些实施例的描绘用于移动超声设备的指令的示例增强现实(AR)界面；
图5展示了根据本文描述的某些实施例的图4的AR界面的另一个示例；
图6展示了根据本文描述的某些实施例的描绘用于移动超声设备的指令的示例AR界面；
图7展示了根据本文描述的某些实施例的图6的AR界面的另一个示例；以及
图8展示了根据本文描述的某些实施例的被配置为分析图像的示例卷积神经网络。
具体实施方式
常规超声系统是大型、复杂且昂贵的系统，通常仅由拥有大量财务资源的大型医疗机构购买。最近，已经引入了更便宜且不那么复杂的超声成像设备。这样的成像设备可以包括单片集成到单个半导体管芯上以形成单片超声设备的超声换能器。在2017年1月25日提交(并转让给本申请的受让人)并作为美国专利公开号2017/0360397A1公布的名称为“UNIVERSAL ULTRASOUND DEVICE AND RELATED APPARATUS AND METHODS[通用超声设备以及相关装置和方法]”的美国专利申请号15/415,434中描述了这种片上超声设备的方面，该美国专利通过引用以其整体并入本文。这些新的超声设备的成本降低和便携性增加可以使它们比常规的超声设备更容易为大众所用。
本发明人已经认识到并意识到，虽然超声成像设备的成本降低和便携性增加可以使它们更容易为大众所用，但是能够使用这种设备的人可能几乎没有或根本没有受过如何使用这种设备的培训。超声检查通常包括获取包含受试者的特定解剖结构(例如，器官)的视图的超声图像。获取这些超声图像通常需要相当的技巧。例如，操作超声设备的超声技术人员可能需要知道要成像的解剖结构在受试者上的位置，以及进一步如何正确地将超声设备定位在受试者上以捕获解剖结构的医学相关超声图像。将超声设备放在受试者上太高或太低几英寸可能会导致捕获医学相关超声图像与捕获医学无关超声图像之间的差异。结果，超声设备的非专家操作者在捕获受试者的医学相关超声图像时可能遇到相当大的困难。这些非专家操作者的常见错误包括捕获错误解剖结构的超声图像和捕获正确解剖结构的缩小(或截断)超声图像。
因此，基于人工智能的辅助超声成像技术已经被开发用于指导超声设备的操作者如何相对于受试者的解剖区域移动超声设备以捕获医学相关超声图像。例如，操作者可能是不具有经过培训的超声技术人员的小诊所的医疗专业人员。诊所可能会购买超声设备来帮助诊断患者。在这个示例中，小诊所的医疗专业人员可能熟悉超声技术和人体生理学，但可能既不知道需要对患者的哪些解剖视图进行成像以识别关于患者的医学相关信息，也不知道如何使用超声设备获得此类解剖视图。辅助超声成像技术可以向医学专业人员提供指令以正确定位超声设备以便捕获医学相关超声图像。在该技术的一些实施方式中，增强现实(AR)界面包括超声设备和受试者身体的视频、以及叠加在视频上的方向指示符(例如，箭头)，该方向指示符指示操作者应该相对于受试者移动超声设备以收集超声图像的方向。可以在2017年6月19日提交(并转让给本申请的受让人)并作为美国专利公开2017/0360401A1公布的名称为“AUTOMATIC IMAGE ACQUISITION FOR ASSISTING A USER TO OPERATE ANULTRASOUND IMAGING DEVICE[用于协助用户操作超声成像设备的自动图像采集]”的美国专利申请号15/626,423中找到关于生成用于移动超声设备的指令的进一步描述，该美国专利通过引用以其整体并入本文。
本发明人已经认识到，在AR界面中显示诸如箭头等指令以使得箭头相对于超声设备的位置和取向来显现可能是有帮助的。例如，箭头的位置和取向可以基于超声设备相对于处理设备的位置和取向。这可能有助于使指令更加引人注目和有用。因此，本发明人已经开发了用于基于由处理设备捕获的描绘超声设备的视频并且基于来自处理设备和超声设备的运动和/或取向数据来确定超声设备相对于处理设备的位置和取向的技术。
应当理解的是，本文所描述的实施例可以以各种方式中的任一种方式来实施。以下仅出于说明性目的提供了具体实施方式的示例。应当理解的是，所提供的这些实施例和特征/能力可以单独地、全部一起或以两个或更多个的任何组合的方式使用，因为本文所描述的技术的各方面并不限于此方面。
图1展示了示例超声系统100的示意性框图，在该超声系统上可以实践本文描述的技术的各个方面。超声系统100包括超声设备102和处理设备104。
超声设备102包括传感器106和超声电路系统120。处理设备104包括相机116、显示屏108、处理器110、存储器112、输入设备114和传感器118。处理设备104与超声设备102进行有线(例如，通过闪电连接器或迷你USB连接器)和/或无线通信(例如，使用蓝牙、ZIGBEE和/或WiFi无线协议)。
超声设备102可以被配置为生成可以用于生成超声图像的超声数据。超声设备102可以以各种方式中的任何一种方式来构造。在一些实施例中，超声设备102包括发射器，该发射器将信号发射到发射波束形成器，该发射波束形成器进而驱动换能器阵列内的换能器元件以将脉冲超声信号发送到结构(诸如患者)中。脉冲超声信号可以从身体结构(诸如血细胞或肌肉组织)反向散射，以产生返回到换能器元件的回声。这些回声然后可以被换能器元件转换成电信号并且这些电信号被接收器接收。代表接收到的回声的电信号被发送到输出超声数据的接收波束形成器。超声电路系统120可以被配置为生成超声数据。超声电路系统120可以包括单片集成到单个半导体管芯上的一个或多个超声换能器。超声换能器可包括例如一个或多个电容式微机械超声换能器(CMUT)、一个或多个CMOS(互补金属氧化物半导体)超声换能器(CUT)、一个或多个压电式微机械超声换能器(PMUT)、和/或一个或多个其他合适的超声换能器单元。在一些实施例中，超声换能器可以与超声电路系统120中的其他电子部件(例如，发射电路系统、接收电路系统、控制电路系统、电源管理电路系统和处理电路系统)形成同一芯片以形成单片超声设备。超声设备102可以通过有线(例如，通过闪电连接器或迷你USB连接器)和/或无线(例如，使用蓝牙、ZIGBEE和/或WiFi无线协议)通信链路将超声数据和/或超声图像发射到处理设备104。
传感器106可以被配置为生成关于超声设备102的加速度的数据、关于超声设备102的角速度的数据、和/或关于由于局部磁场(在许多情况下案件仅是地球的场)而作用在超声设备102上的磁力的数据。传感器106可以包括加速度计、陀螺仪和/或磁力计。取决于传感器106中存在的传感器，传感器106生成的数据可以描述超声设备102的三个自由度、六个自由度或九个自由度。例如，传感器106可以包括加速度计、陀螺仪和/或磁力计。这些类型的传感器中的每一种都可以描述三个自由度。如果传感器106包括这些传感器中的一种，则传感器106可以描述三个自由度。如果传感器106包括这些传感器中的两种，则传感器106可以描述两个自由度。如果传感器106包括这些传感器中的三种，则传感器106可以描述九个自由度。超声设备102可以通过有线(例如，通过闪电连接器或迷你USB连接器)和/或无线(例如，使用蓝牙、ZIGBEE和/或WiFi无线协议)通信链路将数据发射到处理设备104。
现在参考处理设备104，处理器110可以包括专门编程的和/或专用硬件，诸如专用集成电路(ASIC)。例如，处理器110可以包括一个或多个图形处理单元(GPU)和/或一个或多个张量处理单元(TPU)。TPU可以是专为机器学习(例如，深度学习)设计的ASIC。例如，TPU可以用于加速神经网络的推理阶段。处理设备104可以被配置为处理从超声设备102接收到的超声数据以生成用于在显示屏108上显示的超声图像。处理可以由例如处理器110来执行。处理器110还可以适于控制用超声设备102来获取超声数据。在扫描会话期间，当接收到回声信号时，可以实时处理超声数据。在一些实施例中，所显示的超声图像可以以至少5Hz、至少10Hz、至少20Hz的速率、以5到60Hz之间的速率、以大于20Hz的速率被更新。例如，即使在基于先前获取的数据生成图像并且正在显示实时超声图像的同时，也可以获取超声数据。随着更多的超声数据被获取，从最近获取的超声数据生成的更多的帧或图像被依次显示。附加地或替代地，超声数据可以在扫描会话期间临时存储在缓冲器中并且以差于实时的方式被处理。
处理设备104可以被配置为使用处理器110(例如，一个或多个计算机硬件处理器)以及包括非暂态计算机可读存储介质(诸如存储器112)的一个或多个制品来执行本文描述的某些过程。处理器110可以以任何合适的方式控制向存储器112写入数据和从存储器读取数据。为了执行本文描述的某些过程，处理器110可以执行存储在一个或多个非暂态计算机可读存储介质(例如，存储器112)中的一个或多个处理器可执行指令，该一个或多个非暂态计算机可读存储介质可以用作存储由处理器110执行的处理器可执行指令的非暂态计算机可读存储介质。相机116可以被配置为检测光(例如，可见光)以形成图像或视频。显示屏108可以被配置为显示图像和/或视频，并且可以是例如处理设备104上的液晶显示器(LCD)、等离子显示器和/或有机发光二极管(OLED)显示器。输入设备114可以包括能够从用户接收输入并将输入发射到处理器110的一个或多个设备。例如，输入设备114可以包括键盘、鼠标、麦克风、显示屏108上的支持触摸的传感器、和/或麦克风。传感器118可以被配置为生成关于处理设备104的运动数据和/或取向数据。可以参考传感器106找到对传感器118的进一步描述。显示屏108、输入设备114、相机116、扬声器106和传感器118可以通信地耦合到处理器110和/或受处理器110的控制。
应当理解的是，处理设备104可以以各种方式中的任一种方式来实施。例如，处理设备104可以被实施为手持设备，诸如移动智能电话或平板计算机。从而，超声设备102的用户能够用一只手操作超声设备102并用另一只手握住处理设备104。在其他示例中，处理设备104可以被实施为不是手持设备的便携式设备，诸如膝上型计算机。在又其他示例中，处理设备104可以被实施为静止设备，诸如台式计算机。有关超声设备和系统的进一步描述，参见在2017年1月25日提交(并转让给本申请的受让人)的名称为“UNIVERSAL ULTRASOUNDDEVICE AND RELATED APPARATUS AND METHODS[通用超声设备以及相关装置和方法]”的美国专利申请号15/415,434。
图1应理解为是非限制性的。例如，超声设备102和/或处理设备104可以包括比所示的更少或更多的部件。
图2展示了根据本文描述的某些实施例的用于指示用户收集超声数据的示例过程200。过程200由处理设备(例如，处理设备104)执行。
在动作202中，处理设备基于由处理设备收集的描绘超声设备(例如，超声设备102)的视频、来自处理设备的传感器数据和/或来自超声设备的传感器数据来确定超声设备相对于处理设备的位置和/或取向。在一些实施例中，处理设备可以与超声设备进行操作性通信。
视频可以由处理设备上的相机(例如，相机116)收集。在一些实施例中，用户可以用一只手握住超声设备并用另一只手握住处理设备，使得超声设备在处理设备上的相机的视野中。在一些实施例中，用户可以用一只手握住超声设备并且固持器(例如，具有用于固持处理设备的夹具的支架)可以固持处理设备，使得超声设备在处理设备上的相机的视野中。
超声设备相对于处理设备的位置可以包括沿三个自由度的分量，即超声设备沿水平、竖直和深度维度相对于处理设备的位置。在一些实施例中，确定超声设备相对于处理设备的位置的水平和竖直分量可以包括对于给定的视频帧，确定视频帧中的像素的水平和竖直坐标，该像素对应于视频帧中超声设备的特定部分的位置。在一些实施例中，超声设备的特定部分可以是超声设备的端头。图3展示了根据本文描述的某些实施例的超声设备300的端头302的示例。
仍然参考图2，在一些实施例中，处理设备可以使用经过训练的统计模型来确定超声设备相对于处理设备的位置的水平和竖直分量。在一些实施例中，统计模型可以被训练为具有训练输入和输出数据的关键点定位模型。超声设备的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，可以向统计模型输入与输入的图像大小相同的值阵列，其中图像中与超声设备端头(即，超声设备与传感器部分相反的端)的位置相对应的像素被手动设置为值1，每隔一个像素的值为0。(虽然描述了1和0的值，但可以使用其他值代替。)基于该训练数据，统计模型可以学习基于输入的图像(例如，由处理设备捕获的、超声设备的视频的帧)来输出与输入的图像大小相同的值阵列，其中阵列中的每个像素包含该像素是超声图像端头在输入的图像中所在位置的概率。处理设备然后可以预测具有最高概率的像素表示超声图像的端头的位置并输出该像素的水平和竖直坐标。
在一些实施例中，统计模型可以被训练成使用回归来确定超声设备相对于处理设备的位置的水平和竖直分量。超声设备的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，每个输入图像可以被人工标注两个数字，即图像中超声设备端头的水平和竖直像素坐标。基于该训练数据，统计模型可以学习基于输入的图像(例如，由处理设备捕获的、超声设备的视频的帧)来输出图像中超声设备端头的水平和竖直像素坐标。
在一些实施例中，统计模型可以被训练为分割模型以确定超声设备相对于处理设备的位置的水平和竖直分量。超声设备的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，可以向统计模型输入分割掩码，其中分割掩码是与图像大小相等的值阵列，并且与图像中超声设备内的位置相对应的像素被手动设置为1，并且其他像素被设置为0。(虽然描述了1和0的值，但可以使用其他值代替。)基于该训练数据，统计模型可以学习基于输入的图像(例如，由处理设备捕获的、超声设备的视频的帧)来输出分割掩码，其中每个像素具有表示该像素对应于图像中超声设备内的位置(更接近1的值)或超声设备外的位置(更接近0的值)的概率的值。然后可以从该分割掩码中导出(例如，使用求平均或用于从多个值中导出单个值的一些其他方法)表示图像中超声设备的单个位置的水平和竖直像素坐标。
在一些实施例中，确定超声设备沿深度维度相对于处理设备的位置可以包括确定超声设备的特定部分(例如，端头)距处理设备的距离。在一些实施例中，处理设备可以使用被训练用于确定超声设备沿深度维度相对于处理设备的位置的统计模型(其可以与本文描述的任何统计模型相同或不同)。在一些实施例中，统计模型可以被训练成使用回归来确定超声设备沿深度维度相对于处理设备的位置。超声设备的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，每个输入图像可以被人工标注一个数字，即当图像被捕获时超声设备的端头距处理设备的距离。在一些实施例中，可以使用深度相机来生成训练输出数据。例如，深度相机可以使用视差图或结构光相机。这样的相机可以被认为是立体相机，因为它们可以在处理设备上的不同位置使用同时捕获两个图像的两个相机，并且这两个图像之间的视差可以用来确定这两个图像中描绘的超声设备的端头的深度。在一些实施例中，深度相机可以是飞行时间相机，其可以用于确定超声设备的端头的深度。在一些实施例中，深度相机可以为整个视频帧生成绝对深度值，并且因为可以使用上述方法确定视频帧中超声探头端头的位置，所以可以确定超声探头端头与处理设备的距离。基于该训练数据，统计模型可以学习基于输入的图像(例如，由处理设备捕获的、超声设备的视频的帧)来输出当图像被捕获时超声设备的端头距处理设备的距离。在一些实施例中，处理设备可以使用深度相机来直接确定超声设备的端头的深度(其方式与上面讨论的用于生成训练数据的方式相同)，而不使用专门训练用于确定深度的统计模型。在一些实施例中，处理设备可以假设预定深度作为超声设备的端头相对于处理设备的深度。
在一些实施例中，使用相机内在参数(例如，焦距、偏斜系数和主点)，处理设备可以将超声设备的端头的水平和竖直像素坐标转换成超声设备的端头相对于处理设备(更准确地说，相对于处理设备的相机)的水平(x方向)和竖直(y方向)距离。在一些实施例中，处理设备可以使用超声设备的端头距处理设备的距离(使用上述任何方法确定的)来将超声设备的端头的水平和竖直像素坐标转换成超声设备的端头相对于处理设备的水平(x方向)和竖直(y方向)距离。应当理解，虽然以上描述集中于使用超声设备的端头来确定超声设备的位置，但是可以替代地使用超声设备上的任何特征。
在一些实施例中，可以使用超声设备上的辅助标记基于由处理设备捕获的超声设备的视频、使用姿态估计技术而不使用统计模型，来确定该特征相对于处理设备在水平、竖直和深度方向上的距离。例如，辅助标记可以是符合ArUco库的标记、色带或作为超声设备本身的一部分的某个特征。
超声设备相对于处理设备的取向可以包括三个自由度，即相对于处理设备的滚转角、俯仰角和偏航角。在一些实施例中，处理设备可以使用被训练用于确定超声设备相对于处理设备的取向的统计模型(其可以与本文描述的任何统计模型相同或不同)。在一些实施例中，统计模型可以被训练成使用回归来确定超声设备相对于处理设备的取向。超声设备的多个图像可以作为训练输入数据被输入到统计模型。作为训练输出数据，每个输入图像可以被人工标注三个数字，即当图像被捕获时超声设备相对于处理设备的滚转角、俯仰角和偏航角。在一些实施例中，可以使用来自超声设备的传感器数据和来自处理设备的传感器数据来生成训练输出数据。来自超声设备的传感器数据可以由超声设备上的传感器(例如，传感器106)收集。来自处理设备的传感器数据可以由处理设备上的传感器(例如，传感器118)收集。来自各个设备的传感器数据可以描述设备的加速度(例如，由加速度计测量)、设备的角速度(例如，由陀螺仪测量)和/或设备附近的磁场(例如，由磁力计测量)。使用传感器融合技术(例如，基于卡尔曼滤波器、互补滤波器和/或诸如Madgwick算法等算法)，该数据可以用于生成设备相对于由局部重力加速度的方向和局部磁场的方向定义的坐标系的滚转角、俯仰角和偏航角。如果每个设备的滚转角、俯仰角和偏航角都由旋转矩阵来描述，那么将处理设备的旋转矩阵乘以超声设备的旋转矩阵的逆矩阵可以产生描述超声设备相对于处理设备的取向(即滚转角、俯仰角和偏航角)的矩阵。基于该训练数据，统计模型可以学习基于输入的图像(例如，由处理设备捕获的、超声设备的视频的帧)来输出当图像被捕获时超声设备相对于处理设备的取向。这种方法将在下面被称为“统计模型方法”。
在一些实施例中，处理设备可以在任何给定时间使用来自超声设备的传感器数据和来自处理的传感器数据来直接确定在该特定时间的取向，而不使用统计模型。换句话说，在给定时间，处理设备可以使用由超声设备在该时间收集的传感器数据和由处理设备在该时间收集的传感器数据来确定在该时间超声设备相对于处理设备的取向(例如，使用如上所述的传感器融合技术)。这种方法将在下面被称为“传感器方法”。
在一些实施例中，如果处理设备使用来自超声设备和处理设备上的加速度计和陀螺仪而不是磁力计的数据来执行传感器方法，则处理设备可以准确地确定超声设备和处理设备的取向，除了这些设备围绕重力方向的角度不能确定之外。不使用磁力计可能是有帮助的，因为这可以避免对传感器校准的需要，并且因为外部磁场可能会干扰超声设备和处理设备上的磁力计的测量。在一些实施例中，如果处理设备执行统计模型方法，则处理设备可以准确地确定超声设备相对于处理设备的取向，除了统计模型方法可能无法准确地检测到超声设备围绕其长轴旋转(如从处理设备的参考系看到的)之外。这可能是由于超声设备关于其长轴的对称性。在一些实施例中，处理设备可以执行统计模型方法和传感器方法两者，并且组合来自这两种方法的确定以补偿任一方法的弱点。例如，如上所述，使用传感器方法，当不使用磁力计时，处理设备可能无法准确地确定超声设备和处理设备围绕重力方向的取向。由于最终可能需要确定超声设备相对于处理设备的取向，因此可能仅需要确定超声设备围绕重力方向的取向(如从处理设备的参考系看到的)。因此，在一些实施例中，处理设备可以使用传感器方法(仅使用加速度计和陀螺仪)来确定超声设备相对于处理设备的取向，但确定超声设备围绕重力方向的取向(如从处理设备的参考系看到的)除外，处理设备可以使用统计模型来确定超声设备围绕重力方向的取向。在这样的实施例中，不是使用被训练用于确定超声设备相对于处理设备的完整取向的统计模型，而是可以专门训练统计模型以基于输入的图像来确定超声设备围绕重力方向的取向(如从处理设备的参考系看到的)。通常，处理设备可以组合来自统计模型方法和传感器方法的确定以产生更准确的确定。
在一些实施例中，可以训练统计模型以在由处理设备捕获的、超声设备的视频中确定超声设备的三个不同特征的位置(例如，使用上述用于在图像中确定超声设备的一部分(诸如端头)的位置的方法)，由此可以唯一地确定超声设备的取向。
在一些实施例中，针对位置和取向的训练输出数据可以通过在由处理设备捕获的超声设备的图像(训练输入数据)中手动标记超声设备上的关键点来生成，然后诸如SolvePnP等算法可以基于这些关键点确定超声设备相对于处理设备的位置和取向。可以基于该训练数据来训练统计模型，以基于由处理设备捕获的、超声设备的输入图像来输出超声设备相对于处理设备的位置和取向。
应当理解，确定超声设备相对于处理设备的位置和/或取向可以包括确定任何位置分量和任何取向分量。例如，这可以包括确定位置的水平、竖直和深度维度中的仅一个或两个和/或确定滚转角、俯仰角和偏航角中的仅一个或两个。过程200从动作202进行到动作204。
在动作204中，处理设备在处理设备的显示屏上显示用于移动超声设备的指令。该指令可以是用于将超声设备从其相对于被成像受试者的当前位置和取向移动到目标位置和取向的指令，在该目标位置和取向，超声设备可以从受试者收集描绘目标解剖视图(例如，心脏的胸骨旁长轴视图)的超声图像。该指令可以包括叠加在视频上的方向指示符(例如，箭头)，其中该方向指示符指示用于移动超声设备的指令。例如，如果指令指示在相对于受试者向上的方向上移动超声设备，则处理设备可以显示指向相对于受试者向上的方向的箭头，如视频中所描绘的。叠加在视频上的指令可以被认为是增强现实(AR)界面。该指令可以基于由超声设备收集的超声数据生成。在一些实施例中，处理设备可以生成用于移动超声设备的指令。在一些实施例中，超声设备可以生成指令并将指令发射到处理设备以供显示。在一些实施例中，处理设备可以将超声图像发射到远程服务器，该远程服务器可以生成指令并将指令发射到处理设备以供显示。可以在2017年6月19日提交(并转让给本申请的受让人)并作为美国专利公开2017/0360401A1公布的名称为“AUTOMATIC IMAGE ACQUISITIONFOR ASSISTING A USER TO OPERATE AN ULTRASOUND IMAGING DEVICE[用于协助用户操作超声成像设备的自动图像采集]”的美国专利申请号15/626,423中找到关于生成用于移动超声设备106的指令的进一步描述。在一些实施例中，不是生成指令，而是远程专家可以提供指令。例如，处理设备可以将在动作202中捕获的视频和/或由超声设备收集的超声数据发射到远程专家的处理设备。远程专家可以基于该视频和/或超声数据确定必须如何移动超声设备，并且从他/她的处理设备向处理设备发射用于移动超声设备的指令。处理设备然后可以在显示屏上同时显示该指令和视频。
处理设备基于超声设备相对于处理设备的位置和/或取向(如在动作202中确定的)在显示屏上显示指令。在一些实施例中，处理设备可以确定要作为指令显示的箭头，基于超声设备相对于处理设备的位置和/或取向在三维空间中平移和/或旋转该箭头，然后将该三维箭头投影到二维空间中以用于显示在处理设备的显示屏上。处理设备因此可以基于超声设备相对于处理设备的位置和/或取向来确定箭头在显示屏上的定位以及箭头在三个维度上看起来如何旋转。
在一些实施例中，被成像受试者可以以相对于重力的默认取向定向。例如，被成像受试者可能在左侧躺，使得朝向受试者左侧移动超声设备是在重力方向上，朝向受试者头部移动超声设备是相对于重力的90度，朝向受试者右侧移动超声设备是相对于重力的180度，以及朝向受试者腿部移动超声设备是相对于重力的270度。可替代地，受试者可能坐着。处理设备可以接收关于受试者是在左侧躺还是坐着的选择。处理设备可以接收指令以在相对于受试者的特定方向上移动超声设备，计算超声设备相对于受试者的取向，并通过基于超声设备相对于受试者的取向调整箭头的显示来显示相对于超声设备的箭头。处理设备可以指示用户如何初始地将超声设备定向为围绕重力方向的已知取向，然后如果受试者相对于重力的取向是已知的，则超声设备相对于受试者的取向可以是已知的。因此，处理设备可以能够基于超声设备围绕重力方向的取向，在相对于受试者的特定方向上显示箭头。然后，处理设备可以跟踪超声设备与相对于受试者的初始取向的任何偏差(通过跟踪围绕重力方向的任何偏差)。处理设备可以使用该跟踪的偏差来补偿偏差并确保其继续在相对于受试者的期望方向上显示箭头。
各种发明构思可以体现为一个或多个过程，已经提供了其示例。作为该过程的一部分执行的动作可以按照任何适合的方式进行排序。因此，可以构建以下实施例：其中，各个动作以与所示顺序不同的顺序执行，从而可以包括尽管在说明性实施例中作为顺次动作示出但却是同时执行一些动作。此外，可以组合和/或省略一个或多个过程，并且一个或多个过程可以包括附加步骤。例如，在一些实施例中，动作204可以不存在，并且超声设备相对于处理设备的位置和/或取向可以用于除了指示用户如何移动超声设备之外的另一个目的。
图4展示了根据本文描述的某些实施例的描绘用于移动超声设备的指令的示例增强现实(AR)界面400。AR界面400包括视频402、受试者404、超声设备406和指令410。超声设备406具有端头408。视频402可以由显示AR界面400的处理设备上的相机捕获。指令410包括指向特定方向的多个箭头，该多个箭头指示超声设备406应该在该特定方向上平移。
图5展示了根据本文描述的某些实施例的AR界面400的另一个示例。在图5中，超声设备406、特别是超声设备406的端头408已经从图4中的位置改变了位置。指令410也从图4中的位置改变了位置。如上所述，处理设备可以确定要显示的指令410，基于超声设备406相对于处理设备的位置和/或取向在三维空间中平移和/或旋转该指令410，然后将该三维指令410投影到二维空间中以显示在AR界面400上。在图4至图5中，超声设备406的端头408的位置存在显著差异，但超声设备相对于处理设备的取向没有显著差异，因此指令410的位置变化(而不是指令410的旋转变化)是最显著的。
图6展示了根据本文描述的某些实施例的描绘用于移动超声设备的指令的示例AR界面600。AR界面600包括视频602、受试者604、超声设备606和指令610。超声设备606具有端头608。视频602可以由显示AR界面600的处理设备上的相机捕获。指令610包括指示超声设备606应该顺时针旋转的多个箭头。
图7展示了根据本文描述的某些实施例的AR界面600的另一个示例。在图7中，超声设备606的端头608已经从图6中的位置改变了位置，并且超声设备606已经从图6中的取向改变了取向。指令610的位置和取向因此也改变了。如上所述，处理设备可以确定要显示的指令610，基于超声设备606相对于处理设备的位置和/或取向在三维空间中平移和/或旋转该指令610，然后将该三维指令610投影到二维空间中以显示在AR界面600上。在图6至图7中，超声设备606的端头608相对于处理设备的水平位置和竖直位置存在显著差异，因此指令610的水平位置和竖直位置存在显著变化。超声设备606相对于处理设备的取向也存在显著差异，因此指令610以及该指令在三个维度上看起来如何旋转存在显著差异。
本文描述的技术的方面涉及应用自动化图像处理技术来分析图像，诸如超声图像。在一些实施例中，自动化图像处理技术可以包括机器学习技术，诸如深度学习技术。机器学习技术可以包括寻求识别一组数据点中的模式并使用所识别的模式对新数据点进行预测的技术。这些机器学习技术可能涉及使用训练数据集来训练(和/或构建)模型以进行此类预测。
深度学习技术可能包括那些使用神经网络进行预测的机器学习技术。神经网络通常包括一组神经单元(称为神经元)，每个神经单元可以被配置为接收一个或多个输入并提供作为输入的函数的输出。例如，神经元可以对输入求和并将传递函数(有时称为“激活函数”)应用于求和的输入以生成输出。神经元可以对每个输入施加权重，例如，以使某些输入的权重高于其他输入。可以采用的示例传递函数包括阶跃函数、分段线性函数和sigmoid函数。这些神经元可以组织成多个连续的层，每个层都包括一个或多个神经元。该多个连续的层可以包括接收用于神经网络的输入数据的输入层、提供用于神经网络的输出数据的输出层、以及连接在输入层与输出层之间的一个或多个隐藏层。隐藏层中的每个神经元可以从前一层(诸如输入层)中的一个或多个神经元接收输入，并向后一层(诸如输出层)中的一个或多个神经元提供输出。
可以使用例如标记的训练数据来训练神经网络。标记的训练数据可以包括一组示例输入和与每个输入相关联的答案。例如，训练数据可以包括用超声设备端头的水平和竖直像素坐标标记的、超声设备的多个图像。在该示例中，图像可以被提供给神经网络以获得可以与同每个超声图像相关联的标签进行比较的输出。可以调整神经网络的一个或多个特性(诸如不同层中的神经元(称为边缘)之间的互连和/或与边缘关联的权重)，直到神经网络正确地分类大部分(或全部)输入图像为止。
一旦创建了训练数据，训练数据就可以被加载到数据库(例如，图像数据库)，并被用于使用深度学习技术来训练神经网络。一旦神经网络被训练，经训练的神经网络就可以部署到一个或多个处理设备。
在一些应用中，可以使用一个或多个卷积层来实施神经网络以形成卷积神经网络。图8示出了根据本文描述的某些实施例的被配置为分析图像802的示例卷积神经网络。如图所示，卷积神经网络包括用于接收图像802的输入层804、用于提供输出的输出层808以及连接在输入层804与输出层808之间的多个隐藏层806。多个隐藏层806包括卷积和池化层810以及密集层812。
输入层804可以接收到卷积神经网络的输入。如图8所示，到卷积神经网络的输入可以是图像802。图像802可以是例如超声设备的图像。
输入层804之后可以是一个或多个卷积和池化层810。卷积层可以包括空间上比到卷积层的输入(例如，图像802)更小的(例如，具有更小的宽度和/或高度)的一组滤波器。每个滤波器可以与到卷积层的输入进行卷积以产生激活图(例如，二维激活图)，该激活图指示该滤波器在每个空间位置的响应。卷积层之后可以是池化层，该池化层对卷积层的输出进行下采样以减少其维度。池化层可以使用多种池化技术中的任何一种，诸如最大池化和/或全局平均池化。在一些实施例中，下采样可以由卷积层本身(例如，没有池化层)使用跨步(striding)来执行。
卷积和池化层810之后可以是密集层812。密集层812可以包括一个或多个层，每个层具有一个或多个神经元，该一个或多个神经元接收来自前一层(例如，卷积或池化层)的输入并且向后一层(例如，输出层808)提供输出。密集层812可以被描述为“密集”，因为给定层中的每个神经元可以从前一层中的每个神经元接收输入并且向后一层中的每个神经元提供输出。密集层812之后可以是提供卷积神经网络的输出的输出层808。输出可以是例如图像802中超声设备的端头的水平和竖直像素坐标。
应当理解，图8中所示的卷积神经网络仅是一种示例实施方式并且可以采用其他实施方式。例如，可以将一个或多个层添加到图8所示的卷积神经网络或从中删除。可以添加到卷积神经网络的其他示例层包括：修正线性单元(ReLU)层、填充层、连接层和高档层。高档层可以被配置为对层的输入进行上采样。ReLU层可以被配置为将修正器(有时称为斜坡函数)作为传递函数应用于输入。填充层可以被配置为通过填充输入的一个或多个维度来改变层的输入的大小。连接层可以被配置为将多个输入组合(例如，组合来自多个层的输入)成单个输出。
有关深度学习技术的进一步描述，参见在2017年6月19日提交(并转让给本申请的受让人)的名称为“AUTOMATIC IMAGE ACQUISITION FOR ASSISTING A USER TO OPERATEAN ULTRASOUND DEVICE[用于协助用户操作超声设备的自动图像采集]”的美国专利申请号15/626,423。应当理解，本文描述的统计模型可以是例如卷积神经网络、全连接神经网络、循环神经网络(例如，长短期记忆(LSTM)循环神经网络)、随机森林、支持向量机、线性分类器和/或任何其他统计模型。
本披露的各个方面可以单独地、组合地、或以先前所述实施例中未具体描述的各种布置来使用，并且因此其应用不限于先前描述中阐述或附图中所展示的部件的细节和安排。例如，一个实施例中描述的各方面可以以任何方式与其他实施例中描述的各方面组合。
除非明确指出相反，否则如本文在本说明书和权利要求中使用的不定冠词“一种”和“一种”应理解成意指“至少一个”。
如本文在本说明书和权利要求中使用的短语“和/或”应理解成意指如此联合的这些元素中的“任一者或两者”，即在一些情况下相结合地出现并且在其他情况下分开出现的元素。用“和/或”列出的多个元素应以相同的方式理解，即如此联合的元素中的“一个或多个”。除了通过“和/或”从句具体指明的元素之外，还可以任选地存在其他元素，而无论是与具体指出的那些元素相关还是不相关。
如本文在本说明书和权利要求中所使用的，短语“至少一个”在提及一个或多个元素的列表的情况下，应被理解为意指选自元素列表中任何一个或多个元素的至少一个元素，但不一定包括在该元素列表内具体列出的每个元素中的至少一个，并且不排除元素列表中的元素的任何组合。这个定义还允许除了该元素列表内具体指明的元素之外可以任选地存在短语“至少一个”所指代的元素，而无论与具体指出的那些元素相关还是不相关。
在权利要求书中使用诸如“第一”、“第二”、“第三”等顺序术语来修改权利要求元素本身并不意味着一个权利要求元素的任何优先权、优先级、或顺序优于另一个权利要求元素或者方法的动作被执行的时间顺序，而是仅用作用于将具有某个名称的一个权利要求元素与具有相同名称(但使用顺序术语)的另一元素进行区分的标签，从而区分这些权利要求元素。
如本文所用，对在两个端点之间的数值的提及应被理解为包括该数值可以采用端点中的任一个的情况。例如，除非另有说明，否则说明特性具有介于A与B之间、或大约介于A与B之间的值应理解为所指示的范围包括端点A和B。
术语“大约”和“约”可以用于意味着在一些实施例中在目标值的±20％之内，在一些实施例中在目标值的±10％之内，在一些实施例中在目标值的±5％之内，并且在一些实施例中还在目标值的±2％之内。术语“大约”和“约”可以包括目标值。
同样，本文所使用的短语和术语是为了描述的目的，而不应视为限制。“包括(including)”、“包括(comprising)”或“具有(having)”、“包含(containing)”、“涉及(involving)”及其变化在本文的使用意味着包括此后所列各项和其等效物以及附加项。
以上已经描述了至少一个实施例的若干方面，应当理解的是，本领域技术人员将容易想到各种更改、修改和改进。此类更改、修改和改进也旨在成为本公开的目标。因此，上述描述和附图仅作为示例。

Claims (21)

1.一种操作超声系统的方法，该方法包括：
通过与超声设备进行操作性通信的处理设备确定该超声设备相对于该处理设备的位置和/或取向；以及
基于该超声设备相对于该处理设备的位置和/或取向，在该处理设备的显示屏上显示用于移动该超声设备的指令。
2.如权利要求1所述的方法，其中，确定该超声设备相对于该处理设备的位置和/或取向包括使用由该处理设备收集的视频。
3.如权利要求2所述的方法，其中，该视频描绘了该超声设备。
4.如权利要求1所述的方法，其中，确定该超声设备相对于该处理设备的位置和/或取向包括使用来自该超声设备的传感器数据，其中，该传感器数据包括由该超声设备上的加速度计、陀螺仪和/或磁力计收集的数据。
5.如权利要求1所述的方法，其中，确定该超声设备相对于该处理设备的位置和/或取向包括使用来自该处理设备的传感器数据，其中该传感器数据包括由该处理设备上的加速度计、陀螺仪和/或磁力计收集的数据。
6.如权利要求1所述的方法，其中，确定该超声设备相对于该处理设备的位置和/或取向包括使用统计模型。
7.如权利要求1所述的方法，其中，显示该用于移动该超声设备的指令包括：
基于该超声设备相对于该处理设备的位置和/或取向，在三维空间中平移和/或旋转方向指示符；以及
将该三维箭头投影到二维空间中以显示在该处理设备的显示屏上。
8.一种装置，包括：
与超声设备进行操作性通信的处理设备，该处理设备被配置为：
确定该超声设备相对于该处理设备的位置和/或取向；以及
基于该超声设备相对于该处理设备的位置和/或取向，在该处理设备的显示屏上显示用于移动该超声设备的指令。
9.如权利要求8所述的装置，其中，该处理设备被配置为，在确定该超声设备相对于该处理设备的位置和/或取向时，使用由该处理设备收集的视频。
10.如权利要求9所述的装置，其中，该视频描绘了该超声设备。
11.如权利要求8所述的装置，其中，该处理设备被配置为，在确定该超声设备相对于该处理设备的位置和/或取向时，使用来自该超声设备的传感器数据，其中，该传感器数据包括由该超声设备上的加速度计、陀螺仪和/或磁力计收集的数据。
12.如权利要求8所述的装置，其中，该处理设备被配置为，在确定该超声设备相对于该处理设备的位置和/或取向时，使用来自该处理设备的传感器数据，其中，该传感器数据包括由该处理设备上的加速度计、陀螺仪和/或磁力计收集的数据。
13.如权利要求8所述的装置，其中，该处理设备被配置为，在确定该超声设备相对于该处理设备的位置和/或取向时，使用统计模型。
14.如权利要求8所述的装置，其中，该处理设备被配置为，在显示该用于移动该超声设备的指令时：
基于该超声设备相对于该处理设备的位置和/或取向，在三维空间中平移和/或旋转方向指示符；以及
将该三维箭头投影到二维空间中以显示在该处理设备的显示屏上。
15.一种非暂态计算机可读介质，包括处理器可执行指令，这些指令当被执行时使与超声设备进行操作性通信的处理设备上的处理器：
确定该超声设备相对于该处理设备的位置和/或取向；以及
基于该超声设备相对于该处理设备的位置和/或取向，在该处理设备的显示屏上显示用于移动该超声设备的指令。
16.如权利要求15所述的非暂态计算机可读介质，其中，这些用于确定该超声设备相对于该处理设备的位置和/或取向的指令包括当被执行时使该处理器使用由该处理设备收集的视频的指令。
17.如权利要求16所述的非暂态计算机可读介质，其中，该视频描绘了该超声设备。
18.如权利要求15所述的非暂态计算机可读介质，其中，这些用于确定该超声设备相对于该处理设备的位置和/或取向的指令包括当被执行时使该处理器使用来自该超声设备的传感器数据的指令，其中，该传感器数据包括由该超声设备上的加速度计、陀螺仪和/或磁力计收集的数据。
19.如权利要求15所述的非暂态计算机可读介质，其中，这些用于确定该超声设备相对于该处理设备的位置和/或取向的指令包括当被执行时使该处理器使用来自该处理设备的传感器数据的指令，其中，该传感器数据包括由该处理设备上的加速度计、陀螺仪和/或磁力计收集的数据。
20.如权利要求15所述的非暂态计算机可读介质，其中，这些用于确定该超声设备相对于该处理设备的位置和/或取向的指令包括当被执行时使该处理器使用统计模型的指令。
21.如权利要求15所述的非暂态计算机可读介质，其中，用于显示该用于移动该超声设备的指令的指令包括当被执行时使该处理器进行以下操作的指令：
基于该超声设备相对于该处理设备的位置和/或取向，在三维空间中平移和/或旋转方向指示符；以及
将该三维箭头投影到二维空间中以显示在该处理设备的显示屏上。
CN202080008088.5A 2019-01-07 2020-01-06 用于超声数据收集的方法和装置 Pending CN113260313A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962789467P 2019-01-07 2019-01-07
US62/789,467 2019-01-07
US201962933297P 2019-11-08 2019-11-08
US62/933,297 2019-11-08
PCT/US2020/012335 WO2020146244A1 (en) 2019-01-07 2020-01-06 Methods and apparatuses for ultrasound data collection

Publications (1)

Publication Number Publication Date
CN113260313A true CN113260313A (zh) 2021-08-13

Family

ID=71404802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008088.5A Pending CN113260313A (zh) 2019-01-07 2020-01-06 用于超声数据收集的方法和装置

Country Status (4)

Country Link
US (1) US11751848B2 (zh)
EP (1) EP3908190A4 (zh)
CN (1) CN113260313A (zh)
WO (1) WO2020146244A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200037998A1 (en) 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US11559279B2 (en) 2018-08-03 2023-01-24 Bfly Operations, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
CA3109611A1 (en) 2018-08-20 2020-02-27 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data
CN113260313A (zh) 2019-01-07 2021-08-13 蝴蝶网络有限公司 用于超声数据收集的方法和装置
EP3917405B1 (en) * 2019-02-04 2024-09-18 Google LLC Instrumented ultrasound probes for machine-learning generated real-time sonographer feedback
US11596382B2 (en) 2019-02-18 2023-03-07 Bfly Operations, Inc. Methods and apparatuses for enabling a user to manually modify an input to a calculation performed based on an ultrasound image
EP3946069A4 (en) 2019-04-03 2022-12-28 BFLY Operations, Inc. METHODS AND APPARATUS FOR COLLECTING AND VISUALIZING ULTRASOUND DATA
EP4010734B1 (en) 2019-08-08 2025-08-06 BFLY Operations, Inc. Apparatus for collection of ultrasound images
US20210096934A1 (en) * 2019-10-01 2021-04-01 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for enhancing a patient positioning system
US20220039873A1 (en) * 2020-08-06 2022-02-10 Melvyn Harris Ultrasound guidance system and method
WO2022266197A1 (en) * 2021-06-16 2022-12-22 Bfly Operations, Inc. Methods and apparatuses for guiding a user to collect ultrasound images
WO2023287705A1 (en) 2021-07-12 2023-01-19 Bfly Operations, Inc. Methods and apparatuses for collection of ultrasound data

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120238875A1 (en) * 2004-11-30 2012-09-20 Eric Savitsky Embedded Motion Sensing Technology for Integration within Commercial Ultrasound Probes
US20130237811A1 (en) * 2012-03-07 2013-09-12 Speir Technologies Inc. Methods and systems for tracking and guiding sensors and instruments
US20140171799A1 (en) * 2012-12-13 2014-06-19 General Electric Company Systems and methods for providing ultrasound probe location and image information
US20150173715A1 (en) * 2013-12-20 2015-06-25 Raghu Raghavan Apparatus and method for distributed ultrasound diagnostics
US20170105701A1 (en) * 2015-10-19 2017-04-20 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique
US20170360411A1 (en) * 2016-06-20 2017-12-21 Alex Rothberg Automated image analysis for identifying a medical parameter
CN107613876A (zh) * 2015-05-15 2018-01-19 蝴蝶网络有限公司 自主超声探头和相关装置及方法
KR20180065093A (ko) * 2016-12-07 2018-06-18 베이 랩스, 인코포레이티드 초음파 프로브의 안내식 네비게이션
CN108209916A (zh) * 2016-12-13 2018-06-29 通用电气公司 用于显示患者体内的对象的医学图像的系统和方法
US20180225993A1 (en) * 2017-01-24 2018-08-09 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5127371B2 (ja) * 2007-08-31 2013-01-23 キヤノン株式会社 超音波画像診断システム、及びその制御方法
WO2009135255A1 (en) 2008-05-07 2009-11-12 Signostics Pty Ltd Docking system for medical diagnostic scanning using a handheld device
EP2972473B1 (en) 2013-03-15 2023-06-07 BFLY Operations, Inc. Monolithic ultrasonic imaging devices, systems and methods
TWI682817B (zh) 2013-07-23 2020-01-21 美商蝴蝶網路公司 可互連的超音波換能器探頭以及相關的方法和設備
WO2017182417A1 (en) * 2016-04-19 2017-10-26 Koninklijke Philips N.V. Ultrasound imaging probe positioning
US10856840B2 (en) 2016-06-20 2020-12-08 Butterfly Network, Inc. Universal ultrasound device and related apparatus and methods
US10665133B2 (en) * 2017-05-22 2020-05-26 General Electric Company Method and system for simulating an ultrasound scanning session
TW201923776A (zh) 2017-10-27 2019-06-16 美商蝴蝶網路公司 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器
AU2018367592A1 (en) 2017-11-15 2020-05-21 Butterfly Network, Inc. Methods and apparatus for configuring an ultrasound device with imaging parameter values
US11048334B2 (en) 2017-12-22 2021-06-29 Butterfly Network, Inc. Methods and apparatuses for identifying gestures based on ultrasound data
AU2019229174A1 (en) 2018-02-27 2020-09-03 Butterfly Network, Inc. Methods and apparatus for tele-medicine
WO2019178237A1 (en) 2018-03-14 2019-09-19 Butterfly Network, Inc. Methods and apparatuses for generating and displaying ultrasound images using an explaining model
CA3095049A1 (en) 2018-04-09 2019-10-17 Butterfly Network, Inc. Methods and apparatus for configuring an ultrasound system with imaging parameter values
WO2020028746A1 (en) 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US11559279B2 (en) 2018-08-03 2023-01-24 Bfly Operations, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US20200037998A1 (en) 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US20200046322A1 (en) 2018-08-07 2020-02-13 Butterfly Network, Inc. Methods and apparatuses for determining and displaying locations on images of body portions based on ultrasound data
CA3109611A1 (en) 2018-08-20 2020-02-27 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data
WO2020142674A1 (en) 2019-01-04 2020-07-09 Butterfly Network, Inc. Methods and apparatuses for receiving feedback from users regarding automatic calculations performed on ultrasound data
WO2020146232A1 (en) 2019-01-07 2020-07-16 Butterfly Network, Inc. Methods and apparatuses for collection of ultrasound data
CN113260313A (zh) 2019-01-07 2021-08-13 蝴蝶网络有限公司 用于超声数据收集的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120238875A1 (en) * 2004-11-30 2012-09-20 Eric Savitsky Embedded Motion Sensing Technology for Integration within Commercial Ultrasound Probes
US20130237811A1 (en) * 2012-03-07 2013-09-12 Speir Technologies Inc. Methods and systems for tracking and guiding sensors and instruments
US20140171799A1 (en) * 2012-12-13 2014-06-19 General Electric Company Systems and methods for providing ultrasound probe location and image information
US20150173715A1 (en) * 2013-12-20 2015-06-25 Raghu Raghavan Apparatus and method for distributed ultrasound diagnostics
CN107613876A (zh) * 2015-05-15 2018-01-19 蝴蝶网络有限公司 自主超声探头和相关装置及方法
US20170105701A1 (en) * 2015-10-19 2017-04-20 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique
US20170360411A1 (en) * 2016-06-20 2017-12-21 Alex Rothberg Automated image analysis for identifying a medical parameter
KR20180065093A (ko) * 2016-12-07 2018-06-18 베이 랩스, 인코포레이티드 초음파 프로브의 안내식 네비게이션
CN108209916A (zh) * 2016-12-13 2018-06-29 通用电气公司 用于显示患者体内的对象的医学图像的系统和方法
US20180225993A1 (en) * 2017-01-24 2018-08-09 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment

Also Published As

Publication number Publication date
EP3908190A1 (en) 2021-11-17
WO2020146244A1 (en) 2020-07-16
EP3908190A4 (en) 2022-08-31
US20200214674A1 (en) 2020-07-09
US11751848B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
US10893850B2 (en) Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US11751848B2 (en) Methods and apparatuses for ultrasound data collection
US11839514B2 (en) Methods and apparatuses for guiding collection of ultrasound data
US20240161491A1 (en) Convolutional neural network for identification of anatomical landmark
US20230267699A1 (en) Methods and apparatuses for tele-medicine
US11559279B2 (en) Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US20200037986A1 (en) Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US20200046322A1 (en) Methods and apparatuses for determining and displaying locations on images of body portions based on ultrasound data
US20190142388A1 (en) Methods and apparatus for configuring an ultrasound device with imaging parameter values
TW201912114A (zh) 用於收集超音波資料的方法和設備
US20200069291A1 (en) Methods and apparatuses for collection of ultrasound data
US20210052251A1 (en) Methods and apparatuses for guiding a user to collect ultrasound data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210813

WD01 Invention patent application deemed withdrawn after publication