导航:EXPO21XX>自动化21 xx>H05:大学和机器人研究>约翰霍普金斯大学
视频
载入播放器…
  • 提供配置文件
  • 计算交互和机器人实验室是约翰霍普金斯大学计算机科学系的一个研究实验室。我们还与美国国家科学基金会计算机集成手术系统与技术工程研究中心(ERC-CISST)和计算传感与机器人实验室(LCSR)有联系。我们感兴趣的是在视觉、机器人和人机交互的交叉点上理解涉及动态、空间交互的问题。
产品组合
  • 地图——同时操纵和感知

  • 这个项目的目标是开发一个系统,由一个配有触觉传感器的机械手组成,能够自主探索一个环境,识别之前遇到过的物体,同时根据需要操作未知的物体。除了在触觉领域同时应用定位和映射技术外,仅使用触觉信息探索未知物体的能力需要在物体识别和操作方面的技术水平的扩展。我们的方法首先关注基于特征的对象识别方法的适应性,从计算机视觉领域,到触觉对象识别。

    Schunk拟人手(SAH)安装在Barrett WAM手臂上,带有来自压力剖面系统(Pressure Profile Systems)的触觉传感器,是我们的触觉操作平台,但我们正在开发的触觉传感模拟器中进行大量的工作(如下面的屏幕截图所示)。
      • 右图由Schunk提供
    • 外科语言

    • 外科训练和评估传统上是一个互动和缓慢的过程,实习生和初级住院医师在外科医生的监督下进行手术。这种训练方法缺乏任何量化和评估手术技能的客观手段。降低外科医生培训成本的经济压力和国家对住院医师工作时间的限制,产生了对有效方法补充传统培训范式的需要。虽然手术模拟器旨在提供这种训练,但它们作为训练工具的影响有限,因为它们通常是特定于手术的,不能广泛应用。机器人辅助微创手术系统,如Intuitive surgical的da Vinci,由于其陡峭的学习曲线,给这一范式带来了新的挑战。然而,它们记录定量运动和视频数据的能力为创建描述性的、数学模型来识别和分析手术训练和表现提供了可能。然后,这些模型可以用来帮助评估和培训外科医生,产生外科熟练程度的定量测量,自动注释手术记录,并为医疗信息学中的各种其他应用提供数据。
        • 虚拟指导的情境感知外科辅助

        • 微创手术(MIS)是一种通过小切口(或在某些情况下自然开口)将器械插入身体,并在视频指导下进行手术的技术。虽然MIS为患者带来了巨大的好处,但由于内窥镜提供的视野受限,插入点施加的工具运动限制,以及触觉反馈的丧失,MIS给外科医生带来了许多挑战。克服这些限制的一种方法是向外科医生提供与术前或术中体积数据相关的注册三维信息覆盖。这些数据可以为内窥镜视频数据中不明显的地下结构的位置提供指导和反馈。

          我们的目标是为高能力的上下文感知外科助理(CASA)机器人系统开发算法,该系统能够维护手术区域和正在进行的手术过程的动态更新模型,以达到辅助、评估和指导的目的。必须维护的信息包括患者解剖和生理的实时表示,手术器械与患者解剖的关系,以及相对于手术计划的手术进展情况。在远程手术系统中,一个关键的挑战是将术前模型和图像与立体视频和手术器械的实时运动实时融合。我们的方法动态地将术前体积数据注册到从视频中提取的表面,从而允许外科医生直接在组织表面上查看术前高分辨率CT或MRI或术中超声扫描。通过这样做,手术目标和术前计划将变得清晰可见。

          我们正在开发一个在CASA机器人系统环境中执行这种融合的可行性的综合演示,我们将演示使用融合信息来监测手术器械与目标解剖结构的相互作用并检测解剖结构变化的简单能力。

          我们的项目目前的目标是使用达芬奇手术机器人进行微创手术。达·芬奇系统为外科医生提供了外科视野的立体视图。外科医生通过移动连接到两个(或多个)患者侧操纵器的两个主操纵器进行操作。因此,外科医生能够使用他或她天生的3D手眼协调技能,在极其有限的身体区域进行精细的操作。

          对于CASA项目来说,机器人手术系统有几个优点。首先,它提供了外科领域的立体(相对于更常见的单眼)数据。其次,通过达芬奇API,我们能够从主、从操纵器获得运动数据,从而提供关于手术工具运动的完整信息。最后,我们还提供了观测相机本身的运动信息,使预测和补偿自我运动成为可能。

          算法开发和评估的幻影数据和数据获取使用直觉外科达芬奇系统。
          • 显微外科辅助工作站

          • 为外科医生提供增强的信息和身体能力

            显微外科助理工作站是一个系统,旨在帮助和增强外科医生的显微外科任务的表现。显微外科手术是在显微镜下进行的小规模手术。

            工作站有两个主要组件;第一个目标是让外科医生更好地了解手术领域,第二个目标是让外科医生更好地使用手术工具执行非常精确的动作,即使是在微观尺度下。

            第一个组成部分的一个例子是向外科医生提供有关手术环境的信息,这通常是无法获得的,例如从另一种成像方式(如叠加图像。CT, MRI, OCT,眼底),这些将实时注册到通过操作显微镜捕获的图像。

            目前第二个组件的例子是稳定手机器人,这是一个合作机械手,旨在提高外科医生的精细运动控制。外科医生和机器人都拿着同样的工具;当外科医生在工具上施加一个力时,机器人检测到这个力,并相应地移动工具。让机器人在回路中,我们可以进行力缩放,有效地减缓工具的运动;这允许比徒手更精确的定位。此外,机器人提供了更大的稳定性,因为外科医生可以释放工具,并保持在相同的位置,而不是下落。

            目前正在开发和评估显微外科辅助工作站的模型是视网膜手术模型,并且已经用该机器人尝试了几个视网膜手术任务。

            • 胶囊内窥镜

            • 胶囊内窥镜(CE)最近成为一种有价值的胃肠道成像技术,特别是小肠和食道。有了这项技术,可以直接评估患有各种疾病的患者的肠道粘膜,如不明原因的消化道出血、乳糜泻和克罗恩病。

              虽然胶囊内窥镜的使用正在迅速获得,但胶囊内窥镜成像的评价提出了许多实际挑战。在典型情况下,胶囊在8小时内可以获得5万张或更多的图像。这些图像的质量是高度可变的,由于在胃肠道中移动的胶囊本身的不可控运动,被成像结构的复杂性,以及一次性成像器的固有局限性。在实践中,相对较少(通常少于1000)的研究图像包含重要的诊断内容。因此,创建一种有效的、可重复的方法来评估胶囊内镜序列具有挑战性。

              在NIH资助的这项工作中,我们有兴趣创建一种工具,用于对胶囊内窥镜数据中的病理结果进行半自动、客观、定量评估,特别是对小肠克罗恩病病变的定量评估。我们正在开发统计学习方法,以与训练有素的专家一致的方式进行病变分类和评估。

              为了评估我们的方法,我们收集了大量的克罗恩氏病变图像数据库,并对病变严重程度的几个属性进行了专家评估。此外,我们的数据库还包含大量在CE中看到的其他GI异常。最近出版的关于通过减少临床医生检查的图像数量和评估的统计方法来降低CE评估复杂性的出版物出现在出版物页面上。

                • 样本图像来自我们的胶囊内窥镜数据库。从左到右:严重病变、正常绒毛、与克罗恩病无关的病变、轻度克罗恩病。
              • 鼻窦手术的计算机视觉-将内窥镜视频登记到术前3D模型

              • 本项目的重点是研究将内窥镜视频序列注册到应用于鼻窦手术的术前CT扫描的问题。该项目的主要目标是能够使用视觉技术实时准确跟踪内窥镜的尖端,从而能够确定鼻窦通道内的工具尖端位置。能够进行实时视觉跟踪的优势是相当重要的,因为目前用于鼻窦手术的工具跟踪系统通常使用起来很麻烦,因为它们可能需要修改工具手柄,需要额外的大型机器,占用宝贵的手术室地板空间,可能会花费大量的钱,可能会减少其他手术工具的预算。这个项目正在国立卫生研究院的资助下进行
                • 基于自适应参数化翘曲的实时视频拼接

                • 视频拼接中的图像配准或对齐有许多研究和实际应用。我们的动机主要来自于医学领域,主要是寻求克服基本视野和分辨率的权衡,这在内窥镜手术中无处不在。计算连续图像之间的视觉运动通常有两种方法,这是配准的关键问题。直接方法使用所有可用的图像像素来计算基于图像的误差,然后对其进行优化。互补方法是先对图像特征进行特定检测,然后估计不同相机视图下图像特征对之间的对应关系。后者通常具有更大的收敛范围的优势,尽管以牺牲先前的特征检测和通信阶段为代价。
                    • 人机协作系统

                    • 在显微外科手术等微观操作任务中,操作者在其运动控制的极限下进行操作。在执行这些程序时要求高的准确性,这使得任务在精神和身体上都有很高的要求。作为计算机集成手术系统和技术工程研究中心(ERC-CISST)的一部分,机械工程的Allison Okamura教授和计算机科学的研究人员(Gregory Hager和Russell Taylor)正在设计系统,在执行需要学习的技能、判断和灵巧的任务时,增强或协助人类的物理能力。我们将这些系统称为人机协作系统(human - machine Collaborative systems, HMCS),因为它们通常寻求将人类的判断和经验与使用先进显示器和机器人设备的物理和感官增强结合起来,以提高整体性能(图1)。

                      人机系统通过单个机器人(协作操作)或通过多个机器人(远程操作)为操作者提供与环境的直接交互。此外,机器人可以使用“虚拟装置”来引导用户,这是一种旨在鼓励用户向特定方向移动,防止工具进入不需要的区域的控制方法。HMCS的目标应用包括显微外科手术,如视网膜和鼻窦手术(图2)和工业微装配。
                        • 图1:JHU眼科机器人,其中外科医生和机器人合作进行视网膜手术,是一个人机协作系统。
                        • 图2:机器人通过重建视网膜表面,引导人类进行某些动作或远离脆弱的组织。
                      • 心血管磁共振成像中的运动补偿

                      • 冠状动脉的磁共振成像是具有挑战性的,因为这些动脉的复杂运动引起呼吸和心脏运动。由于在数据采集过程中心脏和呼吸运动的可变性所引入的运动伪影,目前的方法已经取得了有限的成功。如果可以估计冠状动脉的运动并用于指导MR图像的采集,运动变异性的影响可以显著降低。因此,我们提出了一种方法,包括在特定方向上获取高速低分辨率图像,提取冠状动脉运动来指导高分辨率MR图像的获取。为了证明该方法的可行性,我们提出并验证了一种多模板跟踪方法,该方法可在不同方向的低分辨率实时MR图像序列中可靠且准确地跟踪左冠状动脉(LCA)。我们还通过MR模拟证明,考虑心脏变异性可以提高整体图像质量。
                          • 多模态视网膜图像配准

                          • 光学相干层析成像是一种非侵入性成像方式,类似于使用光线的超声。将术前OCT图像与更熟悉、更容易获得的术中眼底图像进行配准,可以精确定位原本可能看不见的病变,从而实现更广泛的干预。
                              • 基于视觉的人机交互

                              • 视觉交互线索(VICs)项目专注于开发基于视觉的人机交互(HCI)新技术。VICs范式是一种基于视觉的交互方法,其基本前提是,在一般的基于视觉的HCI设置中,不需要全局用户建模和跟踪。例如,当一个人在打电话时按数字键,电话就不会对用户有任何概念。相反,它只识别按下键的动作。相比之下,基于视觉的HCI的典型方法试图执行全局用户跟踪来建模交互。在电话的例子中,这种方法需要一个精确的跟踪器来跟踪手部的关节运动。然而,这样的技术计算成本高,容易出错和重新初始化问题,禁止包含任意数量的用户,并且通常需要用户必须学习复杂的手势语言。在VICs范例中,我们观察到,分析接口组件(例如电话键)周围的局部区域将产生足够的信息来识别用户操作。

                                VICs范式的基本技术适用于一般的人机交互设置以及高级仿真和虚拟现实。我们正在积极研究2D、2.5D和3D环境;我们已经开发了一个新的HCI平台,称为4D Touchpad(下图),基于视觉的方法可以补充传统的鼠标和键盘。

                                在VICs项目中,我们研究低级图像分析技术和高级手势语言建模。在低级图像分析中,我们使用确定性(颜色、形状、运动等)、机器学习(如神经网络)和动态建模(如隐马尔可夫模型)来建模各种手势的时空特征。我们构建了一个高级语言模型,它将一组低级手势集成到一个单一的、连贯的概率框架中。在语言模型中,每个低级手势被称为“手势词”,每个完整的动作是这些词的序列,称为“手势句”
                                  • 自适应背景建模
                                  • 聪明的按钮
                                  • 左图:4D触控板——下一代界面开发的新平台。
                                    它促进了与一个为基于视觉的通用接口提供核心功能的体系结构的无阻碍交互。
                                    右:新的4DT系统。交互组件在平面监视器上呈现。
                                • 铰接目标跟踪

                                • 现实世界中遇到的许多物体可以描述为具有大致相同外观特征的零件的运动链。我们开发了一种gpu加速方法,用于在不同领域的单通道或多通道(如立体)视频流中跟踪此类对象。简单地说,该方法包括对不同物体部分的外观建模,然后从每个视图渲染目标物体几何的3D模型,并使用从视频图像派生的外观类概率图测量结果图像的一致性。它在外科和普通环境中都得到了证实。
                                      • 样本图像,在不同的领域跟踪