导航:EXPO21XX>机器人21 xx>H26:医疗机器人约翰霍普金斯大学
视频
加载播放器…
  • 提供配置文件
  • 计算交互与机器人实验室是约翰霍普金斯大学计算机科学系的一个研究实验室。我们还与美国国家科学基金会计算机集成手术系统与技术工程研究中心(ERC-CISST)和计算传感与机器人实验室(LCSR)合作。我们有兴趣了解涉及视觉、机器人和人机交互交叉的动态、空间交互的问题。
产品组合
  • 地图——同时操纵和感知

  • 该项目的目标是开发一个系统,由配备触觉传感器的机械手组成,能够自主探索环境并识别之前遇到的物体,同时根据需要操纵未知物体。仅使用触觉信息探索未知物体的能力,除了在触觉领域应用同步定位和映射技术外,还需要在物体识别和操作方面扩展最先进的技术。我们的方法首先关注基于特征的物体识别方法的适应性,从计算机视觉领域,到触觉物体识别。

    Schunk拟人化手(SAH)安装在Barrett WAM臂上,带有来自Pressure Profile Systems的触觉传感器,是我们的触觉操作平台,但我们也在开发触觉传感模拟器中进行了大量工作(如下面的屏幕截图所示)。
      • 右图由Schunk提供
    • 外科语言

    • 外科培训和评估传统上是一个互动和缓慢的过程,实习生和初级住院医生在教师外科医生的监督下进行手术。这种训练方法缺乏任何量化和评估手术技能的客观手段。降低外科医生培训成本的经济压力和国家对住院医生工作时间的限制,产生了对有效方法的需求,以补充传统的培训模式。虽然手术模拟器旨在提供这样的训练,但它们作为训练工具的影响有限,因为它们通常是特定于手术的,不能广泛应用。机器人辅助微创手术系统,如Intuitive surgical的da Vinci,由于其陡峭的学习曲线,给这种模式带来了新的挑战。然而,他们记录定量运动和视频数据的能力为创建描述性的数学模型来识别和分析手术训练和表现提供了可能。然后,这些模型可以用于帮助评估和培训外科医生,产生外科熟练程度的定量测量,自动注释手术记录,并为医疗信息学中的各种其他应用提供数据。
        • 虚拟指导的情境感知外科辅助

        • 微创手术(MIS)是一种通过小切口(或在某些情况下自然孔)将器械插入身体,并在视频指导下进行手术的技术。在为患者带来巨大优势的同时,由于内窥镜所呈现的受限视野、插入点所施加的工具运动限制以及触觉反馈的损失,MIS给外科医生带来了许多挑战。克服这些局限性的一种方法是向外科医生提供与术前或术中体积数据相关的注册三维信息叠加。这些数据可以为内窥镜视频数据中不明显的地下结构的位置提供指导和反馈。

          我们的目标是为高能力的上下文感知手术助手(CASA)机器人系统开发算法,该系统能够维护手术领域和正在进行的手术过程的动态更新模型,以达到协助、评估和指导的目的。必须维护的信息包括患者解剖和生理的实时表示,手术器械与患者解剖的关系,以及相对于手术计划的手术进度。在远程手术系统的情况下,一个关键的挑战是术前模型和图像与立体视频和手术器械的实时运动的实时融合。我们的方法动态地将术前体积数据注册到从视频中提取的表面,从而允许外科医生直接在组织表面上查看术前高分辨率CT或MRI或术中超声扫描。通过这样做,手术目标和术前计划将变得清晰可见。

          我们正在开发在CASA机器人系统中进行这种融合的可行性的综合演示,我们将演示使用融合信息来监测手术器械与目标解剖结构的相互作用并检测解剖结构的变化的简单能力。

          我们的项目目前针对的是使用达芬奇手术机器人进行微创手术。达芬奇系统为外科医生提供了一个立体的手术视野。外科医生通过移动两个主操纵器进行手术,这两个主操纵器与两个(或多个)患者侧操纵器相连。因此,外科医生能够利用他或她天生的3D手眼协调技能,在身体极其狭窄的区域进行精细的操作。

          对于CASA项目,机器人手术系统有几个优点。首先,它提供了手术领域的立体(而不是更常见的单眼)数据。其次,通过达芬奇API,我们能够从主机械手和从机械手获得运动数据,从而提供关于手术工具运动的完整信息。最后,我们还提供了观测相机本身的运动信息,使得预测和补偿自我运动成为可能。

          算法的开发和评估幻影数据和数据获得使用直觉外科达芬奇系统。
          • 显微外科辅助工作站

          • 为外科医生提供增强的信息和物理能力

            显微外科手术辅助工作站是一个旨在帮助和增强人类外科医生执行显微外科手术任务的系统。显微外科手术任务就是在很小的范围内进行的手术任务,必须在显微镜下观察。

            该工作站有两个主要组件;第一个目标是让外科医生更好地了解手术领域,第二个目标是让外科医生更好地使用手术工具执行非常精确的动作,即使是在显微镜下工作。

            第一个组成部分的一个例子是向外科医生提供通常无法获得的关于手术环境的信息,例如来自另一种成像方式(例如,将图像叠加在一起)的图像。CT, MRI, OCT,眼底),这些将被实时登记到通过操作显微镜捕获的图像上。

            第二个组件的当前示例是稳定手机器人,这是一个合作机械手,旨在提高外科医生的精细运动控制。外科医生和机器人都拿着同样的工具;当外科医生对工具施加一个力时,机器人检测到这个力,并相应地移动工具。让机器人在循环中,我们可以进行力缩放,有效地减缓工具的运动;这样可以比徒手进行更精确的定位。此外,机器人具有更大的稳定性,因为外科医生可以释放工具,并保持在相同的位置,而不是下落。

            目前正在开发和评估显微外科辅助工作站的模型是视网膜手术模型,已经用机器人尝试了几个视网膜手术任务。

            • 胶囊内窥镜

            • 胶囊内窥镜(CE)最近已成为一种有价值的成像技术胃肠道(GI),特别是小肠和食道。有了这项技术,可以直接评估患有各种疾病的患者的肠道黏膜,如隐蔽性消化道出血、乳糜泻和克罗恩病。

              虽然胶囊内窥镜的使用正在迅速增加,胶囊内窥镜图像的评估提出了许多实际的挑战。在典型情况下,胶囊在8小时内可以获取5万张或更多的图像。这些图像的质量是高度可变的,由于胶囊本身不受控制的运动,当它通过胃肠道移动时,被成像的结构的复杂性,以及一次性成像仪的固有局限性。在实践中,相对较少(通常少于1000)的研究图像包含重要的诊断内容。因此,创建一种有效的、可重复的方法来评估胶囊内窥镜序列是具有挑战性的。

              在NIH资助的这项工作中,我们感兴趣的是创建一种工具,用于胶囊内窥镜数据中病理结果的半自动、客观、定量评估,特别是对小肠克罗恩病中出现的病变的定量评估。我们正在开发统计学习方法,以训练有素的专家的方式进行病变分类和评估。

              为了评估我们的方法,我们收集了大量的克罗恩病病变图像数据库,并对病变严重程度的几个指标进行了专家评估。此外,我们的数据库还包含大量在CE中看到的其他GI异常。最近关于通过减少临床医生需要检查的图像数量和评估的统计方法来降低CE评估复杂性的出版物出现在出版物页面中。

                • 样本图像来自我们的胶囊内窥镜数据库。从左到右:严重病变,正常绒毛,病变与克罗恩病无关,轻度克罗恩病。
              • 鼻窦手术的计算机视觉-将内窥镜视频注册到术前3D模型

              • 本项目的重点是研究将内窥镜视频序列注册到术前CT扫描的问题,并将其应用于鼻窦手术。该项目的主要目标是使用视觉技术实时准确跟踪内窥镜尖端,从而能够确定鼻窦通道内的工具尖端位置。能够进行实时视觉跟踪的优势是非常重要的,因为目前用于鼻窦手术的工具跟踪系统通常使用起来很麻烦,因为它们可能需要修改工具手柄,需要额外的笨重机器,占用宝贵的手术室地板空间,并且可能花费大量的金钱,这可能会减少其他手术工具的预算。这个项目是在国家卫生研究院的资助下进行的
                • 基于自适应参数化翘曲的实时视频拼接

                • 图像配准在视频拼接中有着广泛的研究和实际应用。我们的动机主要来自于医学领域,主要是寻求克服内镜手术中普遍存在的基本视野和分辨率权衡。计算连续图像之间的视觉运动通常有两种方法,这是配准的关键问题。直接方法使用所有可用的图像像素来计算基于图像的误差,然后进行优化。互补方法是先专门检测某些图像特征,然后估计不同摄像机视图中图像特征对之间的对应关系。后者通常具有更大范围的收敛的优势,尽管以先前的特征检测和对应阶段为代价。
                    • 人机协同系统

                    • 在微观操作任务中,如显微外科手术,人类操作员在他或她的运动控制的极限下执行。执行这些程序所需的高精度使得这项任务对脑力和体力都有很高的要求。作为计算机集成手术系统和技术工程研究中心(ERC-CISST)的一部分,机械工程教授Allison Okamura和计算机科学研究人员(Gregory Hager和Russell Taylor)正在设计系统,在执行需要学习技能、判断力和灵活性的任务时放大或协助人类的身体能力。我们将这些系统称为人机协作系统(human - machine Collaborative systems, HMCS),因为它们通常寻求将人类的判断和经验与使用先进显示和机器人设备的物理和感官增强相结合,以提高整体性能(图1)。

                      人机系统通过单个机器人(合作操作)或通过多个机器人(远程操作)为操作者提供与环境的直接交互。此外,机器人可以使用“虚拟夹具”引导用户,这是一种控制方法,旨在鼓励用户向特定方向移动,防止工具进入不希望进入的区域。HMCS的目标应用包括显微外科手术,如视网膜和鼻窦手术(图2)和工业微组装。
                        • 图1:JHU眼科机器人,其中外科医生和机器人合作进行视网膜手术,是一个人机协作系统。
                        • 图2:机器人通过重建视网膜表面,引导人类进行某些动作或远离脆弱的组织。
                      • 心血管MR成像中的运动补偿

                      • 由于冠状动脉由呼吸和心脏运动引起的复杂运动,对冠状动脉进行稳健的MR成像具有挑战性。由于在数据采集过程中心脏和呼吸运动的可变性所引入的运动伪影,目前的方法已经取得了有限的成功。如果冠状动脉的运动可以被估计并用于指导磁共振图像采集,运动变异性的影响可以显著降低。因此,我们提出了一种在特定方向上获取高速低分辨率图像的方法,提取冠状动脉运动来指导高分辨率MR图像的采集。为了证明所提出方法的可行性,我们提出并验证了一种多模板跟踪方法,该方法允许在不同方向的低分辨率实时MR图像序列中可靠和准确地跟踪左冠状动脉(LCA)。我们还证明了使用MR模拟来考虑心脏变异性可以提高整体图像质量。
                          • 多模态视网膜图像配准

                          • 光学相干层析成像是一种非侵入性成像方式,类似于使用光线的超声。将术前OCT图像与更熟悉和更容易获得的术中眼底图像相匹配,可以精确定位原本不可见的病变,从而实现更广泛的干预。
                              • 基于视觉的人机交互

                              • 视觉交互线索(VICs)项目的重点是开发基于视觉的人机交互(HCI)的新技术。VICs范式是一种基于视觉交互的方法,其基本前提是,在一般的基于视觉的HCI设置中,全局用户建模和跟踪是不必要的。例如,当一个人在打电话时按下数字键时,电话不会保留用户的任何概念。相反,它只识别按下一个键的动作。相比之下,基于视觉的HCI的典型方法试图执行全局用户跟踪来建模交互。在电话的例子中,这样的方法需要一个精确的追踪手的关节运动。然而,这样的技术在计算上是昂贵的,容易出现错误和重新初始化问题,禁止包含任意数量的用户,并且通常需要用户必须学习复杂的手势语言。在vic范例中,我们观察到分析接口组件周围的局部区域(例如,电话键)将产生足够的信息来识别用户操作。

                                VICs范式的基本技术适用于一般的HCI设置以及高级仿真和虚拟现实。我们正在积极研究2D、2.5D和3D环境;我们开发了一个新的人机交互平台,称为4D触摸板(下图),其中基于视觉的方法可以补充传统的鼠标和键盘。

                                在VICs项目中,我们研究了低级图像分析技术和高级手势语言建模。在低级图像分析中,我们使用确定性(颜色、形状、运动等)、机器学习(例如神经网络)和动态建模(例如隐马尔可夫模型)来建模各种手势的时空特征。我们构建了一个高级语言模型,它将一组低级手势集成到一个单一的、连贯的概率框架中。在语言模型中,每个低级的手势都被称为一个手势词,每个完整的动作都是这些单词的序列,称为一个手势句
                                  • 自适应背景建模
                                  • 聪明的按钮
                                  • 左图:4D触控板-下一代界面开发的新平台。
                                    它促进了与体系结构的无阻碍交互,该体系结构为通用的基于视觉的界面提供了核心功能。
                                    右:新的4DT系统。交互组件在平面显示器上呈现。
                                • 铰接对象跟踪

                                • 现实世界中遇到的许多物体都可以描述为具有大致相同外观特征的部件的运动链。我们开发了一种gpu加速方法,用于在不同领域的单通道或多通道(如立体声)视频流中跟踪此类对象。简而言之,该方法包括对各个物体部件的外观进行建模,然后从每个视图渲染目标物体几何的3D模型,并测量结果图像与从视频图像派生的外观类概率图的一致性。它在外科手术和一般情况下都得到了证实。
                                      • 样本图像,在不同的领域跟踪