导航 : EXPO21XX> 机器人21XX> H26:医学机器人> JohnsHopkins大学
JohnsHopkins大学
视频播放
加载播放器
  • 提供配置文件
  • 计算交互学实验室是约翰霍普金斯大学计算机科学系研究实验室我们还与NSF综合外科系统技术工程中心(ERC-CIST)和计算遥感和机器人实验室(LCSR)有联系。我们有兴趣理解问题 动态空间交互 视觉交叉 机器人交互 人机交互
产品组合

  • MAPS-同时操作和感知

  • 这个项目的目标是开发系统,由装有触觉传感器的机器人手组成,能自主探索环境并识别以前所遇对象,同时按需操纵未知对象完全使用随机信息探索未知对象的能力除同时定位和映射技术应用到随机域外,还需要扩展物体识别和操作中的状态我们的方法首先侧重于应用特征对象识别方法,从计算机视觉域到随机对象识别

    Schunk人形手安装在BarrettWAM臂上并配有压力剖析系统触摸传感器,是我们的随机操作平台,然而,我们开发的触摸感知模拟器正在展开大量工作(见下屏幕截图)。
      • 右翼图片Schunk

    • 外科语言

    • 外科训练评价传统上是一个交互慢过程,实习生和初级居民在教科外科医生监督下操作这种方法缺乏量化和评估外科技能的任何客观方法经济压力降低培训外科医生的费用和国家对常住工时的限制,使得需要高效方法补充传统培训范式。外科模拟器旨在提供这种培训,但作为培训工具作用有限,因为它们通常是操作专用的,无法广泛应用。机器人辅助最小入侵外科系统,如直觉外科达芬奇系统,由于其陡峭学习曲线,给范式带来了新的挑战。记录量化运动和视频数据的能力为创建描述性数学模型识别分析外科培训与性能打开了可能性后用这些模型帮助评价和培训外科医生,制作外科熟练度量化计量法,自动注解外科记录,为医学信息学中各种其他应用提供数据

        • 后台外科辅助虚拟导师

        • 最小入侵外科技术通过小切片插入体内(或在某些情况下自然孔),外科由视频引导实施MIS向外科医生提出了多项挑战, 原因有内镜有限视域、插入点对工具运动约束以及随机反馈缺失等。克服其中一些限制的方法之一是向外科医生提供注册三维叠加信息,与术前或术内体积数据绑定这些数据可提供底部视频数据中不显露的子表层结构定位指南和反馈

          我们的目标是开发高能上下文认知外科助手系统算法,这些算法能够动态更新外科场模型和持续外科程序,以图帮助、评价和指导信息必须维护包括实时表示病人解剖和生理学,外科器件与病人解剖关系,程序进度相对于外科计划以远程外科系统为例,关键挑战之一是实时编译术前模型和图像并配立体视频和实时外科器动态记录术前量数据取自视频, 允许外科医生直接查看术前高分辨率CT或MRI或操作内超声波扫描组织表面通过这样做,操作目标与预操作计划将变得清晰可见。

          我们正在开发综合演示程序,证明在CASA机器人系统内实现聚合的可行性,我们将展示简单能力使用装机信息监测外科工具与目标解剖的交互作用并检测解剖变化

          目前项目使用达芬奇外科机器人对准最小入侵性外科达芬奇系统向外科医生提供外科外科场立体透视外科医生通过移动两个主操作器操作器操作,这些操作器连接到两个(或更多)病人端操作器外科医生可使用自然三维手视协调技巧在极密区执行精密操作

          CASA项目机器人外科系统提供数大优势首先是从外科领域提供立体声数据(相对于比较常见单片数据)。第二 通过达芬奇API 从主控人和奴隶操纵者获取运动数据 从而提供全信息 关于外科工具运动最后,我们还得到了观察摄像头本身运动信息,从而有可能预测并补偿自我提升

          算法开发评价幽灵数据使用直觉外科达芬奇系统获取的数据

          • 微力助理工作站

          • 向外科医生提供强化资讯和体能

            微力辅助工作站系统设计帮助并增强外科医生执行微术微外科任务仅仅是外科任务,规模小到必须在通过显微镜查找时完成

            工作站有两个主要组件初目标为外科医生更好地了解作业领域,二目标为外科医生更有能力使用外科工具执行精密运动,即使工作规模微小

            第一组件的一个例子是向外科医生提供外科环境信息,而外科环境通常无法获取,例如从另一种成像模式叠加图像等CT/MRI/OCT/Fundus/

            当前的二元实例是稳健手机器人,它是一个协同操作器,目的是提高外科医生的微机控件外科医生和机器人都持有相同的工具外科医生对工具施压时,机器人检测到强力并相应移动工具机器人回路允许我们用力缩放 有效减慢工具运动允许比自由手做更精确定位机器人增强稳定性 外科医生释放工具 并保持原位 而不是下降

            微力辅助工作站开发评价当前模型视网膜外科模型,数项视网膜外科任务与机器人试用

            • Capsule断层镜像

            • Capsule内衣镜像技术最近成为胃肠道的宝贵成像技术,特别是小肠道和esopagus有了这种技术,便有可能直接评价各种条件的病人的肠道粘膜,例如隐性肠出血、西里雅克病和克罗恩病

              胶囊内镜学使用量快速增加,但胶囊内镜图像评价提出了无数实际挑战在一个典型例子中 胶囊获取5万多图象 八小时图像质量高度可变性,原因是胶囊本身通过GI道时不受控制运动、结构复杂性成像和可支配成像器固有限制实践上,研究图像中很少(往往小于1000)含有重要诊断内容。结果,创建有效重复工具评价胶囊内分解序列具有挑战性

              NIH出资努力中,我们有兴趣创建工具半自动化、客观量化评估胶囊内分层数据中的病理结果,特别是量化评估克罗纳小肠病变我们正在开发统计学习方法,以与训练有素专家一致的方式进行损耗分类和评估

              评估方法,我们收集了大量Crohn损耗图像数据库 并同时专家评估数个属性 表示损耗严重性数据库中还包含大量CE显示的其他GI异常最近关于通过减少需要由诊断员检验的图像数来降低CE评估复杂性的出版物出现在出版物页上。

                • 样本图像从我们胶囊内镜校验数据库从左向右:严重损耗 正常维利 无关Crohn的损耗 和温和Crohn的损耗

              • Sinus外科计算机视觉-注册内分层视频

              • 聚焦项目研究内镜视频序列注册问题 预操作CT扫描应用sinus外科这个项目的主要目标是用视觉技术实时精确跟踪内镜端点,从而确定工具端点可实时视觉跟踪的优缺点相当微弱,因为当前工具跟踪系统 sinus外科常难使用,因为这些系统可要求修改工具柄,需要更多大宗机器占用可贵操作室楼层空间并可能耗资大额资金,可能损耗预算用于其他外科工具这个项目由NIH提供赠款

                • 实时视频吸附自适应性整齐裁剪

                • 图像注册或对齐视频布局有许多研究与实应用动机主要出自医学领域 并主要求从基本视觉领域 和解决取舍两种通用方法计算相接图像之间的视觉运动,关键注册问题直接方法使用所有图像像素计算图像误差,然后优化辅助方法先具体检测某些图像特征,然后估计相片相配对在不同摄像头视图中的相应关系后一种方法往往有较大范围趋同的优势,尽管代价是以先特征检测和通信阶段为代价的。

                    • 人机协作系统

                    • 微操作任务如微外科期间,运算符在运动控件极限内执行高精度执行程序令任务在心理上和体力上都要求很高。工程综合外科系统技术中心Ilison Okamura教授和计算机科学研究者(Gregory Hager和Russell Taylor)正在设计系统,帮助或增强人体能力执行需要学习技能、判断力和机敏性的任务我们称这些系统为人机协作系统(HMCS),因为它们通常寻求使用高级显示机提高性能提高性能提高体能和感官增强性能并用人机判断力和经验(图1)。

                      人机系统通过单机器人直接环境交互操作或远程多机器人直接环境交互操作机器人可用虚拟定型引导用户,这些控制方法旨在鼓励用户向某些方向移动并避免工具输入非理想区域HMCS目标应用包括微外科程序,如视网膜和弦外科手术(图2)和工业微集
                        • JHU眼机器人是人机协作系统,外科和机器人合作执行视像外科
                        • 图2 机器人引导人执行某些运动或离精密组织远一点,使用视网膜表面重构

                      • 心血管MR成像运动补偿

                      • 坚固的动脉MR成像具有挑战性,因为这些动脉复杂运动由呼吸道和心动所导当前方法收效有限,原因是数据采集期间心和呼吸运动变异所引入运动人工品运动变异效果可大大降低,如果冠动脉运动可估计并指导MR图像获取并提取冠状运动引导高分辨率MR图像采集为了显示拟议方法的可行性,我们介绍并验证多模跟踪法,允许可靠和精确跟踪低分辨率实时MR图像序列中左动脉并用MR模拟显示心型变异提高整体图像质量

                          • 多模式视线图像注册

                          • 光相容摄影是一种非入侵成像模式,类似于光线超声波操作前OCT图像注册为更容易获取操作内fundus图像可精确定位否则可能隐蔽的病理,允许范围更广的干预

                              • 视觉计算机交互

                              • 视觉交互Cues项目侧重于开发基于视觉的计算机交互新技术中心范式是一种基于视觉的互动方法,其基本前提是,在基于视觉的通用HCI设置中,全球用户建模和跟踪没有必要举例说,当人打通电话时按数字键时,电话对用户一概不存概念。取而代之,它只识别按键动作对比之下,基于视觉HCI试图执行全局用户跟踪模拟交互作用的典型方法电话示例中,这些方法需要精确跟踪手写运动然而,这些技术计算费用昂贵,易出错并重新启动问题,禁止任意多用户使用,并常常需要复杂手势语言用户必须学习以国际中心范式为例,我们观察到,环接接口组件分析局部区域(例如电话键)将产生足够的信息识别用户动作

                                ICS范式的原则技术适用于HCI通用设置以及高级模拟和虚拟现实正积极调查2D2ND2ND2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2D2新建HCI平台称4D触摸板(图下图),视觉方法可补充传统鼠标键盘

                                高层次图像分析技巧 高层次手势语言建模低层次图像分析使用确定性(颜色、形状、运动等)、机器学习等神经网络和动态建模隐藏Markov模型建模各种手势时空特征搭建高语言模型 将一组低级手势整合成 单一一致性概率框架语言模型中,每个低层次手势都称手势词,而每个完全动作都指这些词的顺序,即手势句
                                  • 自适应后台建模
                                  • 智能按钮
                                  • 左键4D触控-开发下一代接口新平台
                                    平台促进与架构无休止互动,为通用视觉接口提供核心功能
                                    右:新四维系统交互组件由平面监视器制作

                                • 定向对象跟踪

                                • 现实世界中遇到的许多对象可描述为运动式部件链,外观特征大致一致。开发GPU加速方法 单通道或多通道(eg立体声)视频流简言之,方法包括建模各种对象部件外观,然后从每种视图制作目标对象几何模型3D并测量生成图像与取自视频图像的外观类概率图的一致性外科和泛型设置都显示
                                      • 样本图像跟踪