导航:EXPO21XX>机器人21 xx>H22:移动机器人研究美国哥伦比亚大学
视频
加载播放器…
  • 提供配置文件
  • 哥伦比亚大学机器人小组是由哥伦比亚大学计算机科学系的学生研究员和杰出教授组成的研究小组。在过去的几年里，他们成功地引进了许多项目，并在许多领域，特别是机器人抓取，三维视觉和建模，以及医疗机器人方面发挥了作用。
产品组合

  • 辅助机器人:抓取的脑机接口

  • 基于新型脑机接口的抓取与操作辅助机器人

    这是一项合作提案(与加州大学戴维斯分校)，旨在使辅助机器人的一些主要目标具体化。来自信号处理和控制(PI Sanjay Joshi)，机器人抓取(PI Peter Allen)和康复医学(PI Joel Stein)领域的专家团队已经聚集在一起，创建了一个可现场部署的辅助机器人系统，该系统将允许严重残疾患者控制机器人手臂/手系统，使用新型脑肌肉计算机接口(BMCI)执行复杂的抓取和操作任务。此外，这项工作的目的不仅仅是技术驱动，还受到明确和必要的临床需求的驱动，并将根据它如何满足这些临床需求进行评估。验证将在哥伦比亚大学再生和康复医学系对一组不同的残疾用户进行，这些用户将对正在开发的技术提供重要的反馈，这些反馈将用于系统设计和实现的迭代。

      • 控制系统的BCI接口用户。

      • 受试者佩戴Emotiv Epoc脑电图耳机，用于检测控制系统的面部手势。点云由微软Kinect获得，用于检测目标物体的身份和位置。然后用户使用EEG头戴式设备引导抓取规划界面，为物体找到一个好的抓取点，并将抓取点发送到我们的机器人抓取平台执行。

      • 用户界面为半自动抓取。

      • 用户界面由三个窗口组成:主窗口包含三个标记的机器人手和对齐的点云的目标对象，管道引导窗口包含提示，用于指导用户与规划器的每个阶段的交互，抓取视图窗口包含目前为止规划器找到的十个最佳抓取点的渲染。点云允许用户可视化模型的拟合并采取相应的行动。

      • 实验对象

      • 这个全瓶盖的手柄握把并不是一个强行闭合的握把，但在我们的实验中，当被试选择时，它的成功率是100%。添加抓取数据库允许在我们的系统中使用这种语义相关的抓取。

    • 活体手术成像系统

    • 内置光源的体内平移/倾斜内窥镜

      内窥镜成像仍然以将长棒推入小开口的模式为主。这种方法对于微创手术有一些限制，如狭窄的成像角度、有限的工作空间、反直觉的运动和内窥镜器械的额外切口。我们的目的是超越这种模式，将传感器和效应器直接植入体腔。为此，我们开发了一种具有集成光源的新型可插入平移/倾斜内窥镜相机的原型。该包的长度为110毫米，直径为10毫米，可以通过标准套管针插入腹部，然后固定在腹壁上，使切口口开放。相机包包含三个部分:成像模块，照明模块和平移/倾斜运动平台。成像模块包括一个镜头和CCD成像传感器。所述照明模块附着于所述成像模块上，并具有LED光源阵列。平移/倾斜平台为成像模块提供了120度的平移和90度的倾斜运动，使用小型伺服电机。所述固定机构设计用于将所述装置固定在所述腔内。 A standard joy stick can be used to control the motion of the camera in a natural way. The design allows for multiple camera packages to be inserted through a single incision as well.
        • 样机I的设计:五自由度可插入式摄像装置。
          上图:带摄像头的设备。
          下图:提取摄像头的设备。
        • 一些任务(例如:缝合，图像训练，需要远距离运动)使用原型
        • 用于外科手术的原型机。
          左上:原型II相机(无变焦轴)插入腹腔的图像。
          右上:插入用于将装置连接到腹部的针。左下:用于连接的针绕装置。
          右下:装置牢固地附着在腹壁上。

      • 建模，可视化和分析历史和考古遗址的计算工具

      • 国家科学基金资助项目is -0121239

        这是一个为期6年的项目，始于2001年9月，与项目相关的工作仍在进行中。在这个研究项目中，我们有一些广泛的研究目标:
        • 开发新的方法来创建复杂的，三维的，逼真的，大型历史和考古遗址的互动模型。
        • 开发一个系统来创建一类新的信息可视化系统，该系统集成了三维模型、二维图像、文本和其他基于网络的资源来注释物理环境。该系统将支持该领域的科学家，并促进现场口译和远程学习。
        • 开发新的数据库技术来编目和访问站点的结构、工件、对象及其上下文。这将显著提高用户查询和分析网站信息的能力。
        • 开发方法和资源，使教师和学生能够通过互联网访问模型和相关信息，并在课堂和家中使用。目标是允许在各种教育水平上灵活访问大量新兴的科学和历史数据，以显示发现和变化如何成为科学和解释动态过程的一部分。

        活动:
        法国:圣母院造型皮埃尔，博韦，法国
        纽约:圣约翰大教堂模型
        西西里岛:模拟西西里岛帕拉佐山的卫城
        南非:图拉梅拉模特
        总督岛:杰伊堡模型
        埃及:在埃及Amheida的发掘;埃及遗址的全景建模
        考古可视化:一次考古发掘的协同可视化跨维度手势交互
        数据库考古:ArchQuery哥伦比亚面数据库查询引擎

          • 大道项目

          • AVENUE代表城市环境中的自动驾驶汽车探索和导航．

            该项目旨在实现城市场地建模过程的自动化。主要目标是不仅要建立逼真的外观，而且要在几何上准确，在光度上正确的复杂的室外城市环境模型。这些环境的典型特征是大型3-D结构，包括广泛的几何形状和非常大范围的光度特性。
            这些模型在各种应用中都需要，例如城市规划、城市设计、历史保护和考古、消防和警察规划、军事应用、虚拟和增强现实、地理信息系统等等。目前，这样的模型通常是手工创建的，这是非常缓慢和容易出错的。AVENUE通过建立一个移动系统来解决这些问题，该系统将在一个站点周围自主导航，并创建一个最小的人工交互(如果有的话)的模型。
            移动机器人的任务是到达指定位置，获取选定建筑物的三维扫描图和图像。这些位置由传感器规划(又称视图规划)系统确定，并由路径规划系统用于生成机器人随后遵循的可靠轨迹。当机器人到达目标位置时，它使用传感器获取扫描和图像，并将其转发给建模系统。建模系统将新数据注册并合并到站点的现有部分模型中(开始时可能是空的)。之后，视图规划系统决定下一个最佳数据采集位置，重复上述步骤。这个过程从一个特定的位置开始，逐渐扩大它所覆盖的区域，直到获得一个完整的场地模型。

              • 移动平台

              • 我们使用的机器人是一个ATRV-2模型，由真实世界接口公司制造，现在是iRobot。它的最大有效载荷为100公斤(220磅)，我们正在努力充分利用这一点。除了机器人自带的十二个声纳外，我们还增加了许多额外的传感器和外围设备:
                • 用于导航和图像采集的装有彩色CCD相机的倾斜装置
                • Cyrax激光测距扫描仪，具有极高的质量和100米的操作范围。
                • 在载波相位差分(也称为实时运动)模式下工作的GPS接收机。基站安装在我们校园最高的建筑物之一的屋顶上。它通过无线电链路和网络提供差分校正。
                • 一个集成的HMR-3000模块，包括一个数字罗盘和一个2轴倾斜传感器
                • 11Mb/s IEEE 802.11b无线网络，用于在自主操作期间与远程主机持续连接。校园里安装了大量的基站，以扩大网络连接的范围。
                机器人和以上所有设备由一台运行Linux的板载双Pentium III 500Mhz、512MB RAM的机器控制。

              • 软件架构

              • 我们设计了一个分布式的面向对象的软件体系结构，它促进了系统各个组件的协调。它基于iRobot开发的机器人集成软件框架Mobility，并大量使用CORBA。
                主要的构建块是并发执行的分布式软件组件。组件可以在同一进程内、跨进程甚至跨物理主机之间相互通信(通过IPC)。执行相关任务的组件被分组到服务器中。服务器是一个多线程程序，它处理系统的整个方面，例如导航控制或机器人接口。每个服务器都有一个定义良好的接口，允许客户端发送命令，检查其状态或获取数据。

                硬件由七台服务器访问和控制。一个名为NavServer的指定服务器建立在硬件服务器之上，提供定位和运动控制服务，以及从远程主机到机器人的高级接口。

                计算量太大的组件(例如建模组件)或需要用户交互的组件(例如用户界面)驻留在远程主机上，并通过无线网络链接与机器人通信。

              • 本地化

              • 我们的定位系统系统采用了两种方法。第一种方法使用里程计、数字罗盘/泛倾斜模块和全球定位传感器在开放空间进行定位。扩展卡尔曼滤波器集成传感器数据并跟踪与之相关的不确定性。当全球定位数据可靠时，该方法作为唯一的定位方法。当数据变差时，该方法检测到增加的不确定性，并通过调用第二个定位方法寻求额外的数据。
                第二种方法，称为视觉定位，是基于相机姿态估计。它的计算量更大，但只在需要时使用。当被调用时，它会停止机器人，选择附近的建筑物并为其拍照。姿态估计是通过将图像中的线性特征与建筑物的简单紧凑模型相匹配来完成的。这些模型的数据库存储在车载计算机上。不需要改变环境。

            • 蛋白条播

            • 概述
              蛋白质条纹播种项目的目标是为称为条纹播种的蛋白质晶体学任务创建一个创新的高通量(HTP)微型机器人系统。该系统使用安装在显微镜上的相机的视觉反馈来控制一个微机械臂，该微机械臂的末端执行器是安装工具。为了配合我们的机器人系统，我们开发了独特的新工具，称为微铲，旨在解决晶体学家传统上使用的胡须，鬃毛或其他类型的头发的某些限制。

              任务描述
              当最初的结晶实验产生的晶体太小(小于40微米)和/或质量低，不能用于结构测定时，条纹播种是有用的。为了获得更高质量的晶体，需要建立一个与原始反应类似的新反应，然而，在孵育之前，最初获得的晶体的小片段被转移到新的蛋白质-试剂混合物中，以引导结晶过程。这种晶体碎片转移过程称为条纹播种。
              条纹播种的任务包括三个步骤(图2)。首先，要使用的工具在清水中清洗以去除任何残留物。其次，该工具被用来触摸和探测现有的晶体，从而将它们分解成碎片并捡起一些。第三步，工具在新鲜的混合物中划一条，留下一些碎片。要做到这一点，该工具必须具有必要的特性，能够分解、保留和释放晶体碎片，因此制造它的材料是提高程序效率的非常重要的因素。传统上，各种类型的毛发、鬃毛、胡须或马尾都被使用。

                • 爱抚:一个条纹播种机器人

                • 基于早期的开发工作，我们使用通用的微型机器人系统来操作蛋白质晶体，我们已经建立了一个专门的条纹播种机器人，叫做CARESS。CARESS是哥伦比亚大学条纹播种自动化机器人环境的首字母缩略词，它采用了一种创新的方法来进行蛋白质条纹播种，该方法利用了我们自己的定制工具，称为微铲，使用MEMS技术设计和制造。
                  CARESS使用安装在显微镜上的相机的视觉反馈来控制微机械臂，该微机械臂附有安装工具作为其末端执行器。所有的传感器和执行器都连接到个人电脑上，并由电脑上运行的应用程序控制。该软件负责处理来自相机的视觉流，使用计算机视觉技术来精确定位工作空间中感兴趣的物体的位置，并相应地控制执行器。用户通过图形界面与应用程序交互，以设置系统、执行任务和查看数据。

                  该机器人采用悬挂滴结晶法，从21mm方形盖盖上的源晶体播种到96孔板盖盖上的目的晶体播种。用户通过在台上放置带有蛋白质晶体的盖盖，带有目标蛋白滴的96孔板盖盖，以及带有用于清洗播种工具的水的微桥来设置系统。然后系统启动并自动执行播种。在最高速度下，一个96孔板可以在5-6分钟内播种。侧板上的视频显示了CARESS的运行情况。

                    • 条纹晶体

                    • 爱抚

                    • 用户界面

                  • 蛋白质晶体安装

                  • 概述
                    蛋白质晶体安装项目解决了蛋白质晶体学社区对高通量(HTP)设备的需求，这将有助于改善称为晶体安装的专业任务的执行。该项目的目标是制造一种能够自主、快速、稳健地执行任务的微型机器人系统。我们建立了一个晶体安装机器人系统，该系统依靠相机通过显微镜观察的视觉反馈来控制微型机械臂，用于安装的工具作为其末端执行器。

                    任务描述
                    首先，在显微镜下放置一个盖片(通常是21mm x 21mm的正方形塑料载玻片，例如用于24孔Linbro板的塑料载玻片)，其中含有含有蛋白质晶体的液滴。技术人员通过显微镜观察，使用工具捕捉并拾取选定的目标晶体。然后将晶体快速冷冻保护，冷冻并存储，以便将来在x射线光束线上收集数据。
                    最常用的安装工具是低温回路(例如由汉普顿研究公司制造的)，尽管也使用玻璃毛细管。最近，引进了新开发的工具，例如MiTeGen制造的微型支架和我们自己的微型铲子。
                    该任务目前由熟练的技术人员执行。手动安装水晶需要时间、耐心和出色的运动技能。由于晶体易碎且对环境变化非常敏感，因此准确性和速度至关重要。脱水很快导致晶体质量下降。侧板上的视频是任务需要的一个例子——这个视频中的循环被安装在一个远程操作的微定位器上。实际上，由于操作时间有限，在液滴表面形成的“皮肤”和附着在盖盖上的晶体可能会使任务进一步复杂化。
                    水晶安装是一个术语，用来指拾取蛋白质晶体的任务(又名晶体收获)和将已经在其上的晶体放置在光束线上的任务。在我们的工作中，我们使用这个术语来表示前者，而后者我们称之为光束安装，以避免混淆

                      • 系统设计与运行

                      • 我们设计并组装了一个用于蛋白质晶体操作的微型机器人系统，用于我们的研究和实验。该系统的早期版本成功地演示了使用我们的微铲进行自主安装。目前的实现依赖于两阶段的方法，其中一个工具(玻璃移液器)用于从孵育滴液中拾取晶体并将其转移到另一个工具(微安装或微铲)，该工具在x射线数据收集期间保存晶体。

                          • 安装在微铲上的水晶

                          • 晶体安装被简单地描述为一个选择的蛋白质晶体从其生长溶液转移到一个合适的安装工具，用于同步加速器上的数据收集。

                          • 水晶安装设置

                          • 水晶安装程序从在工作空间放置必要的工具和物体开始。首先，将带冷冻保护器的微桥放置在托盘上的指定位置。接下来，在夹具的右侧安装一个微型支架，并充分定位，使其以大约45度的角度浸入cryprotector中，并准备接收晶体。最后，使用者将含有蛋白质晶体的液滴的盖子放在显微镜托盘上，这样它们就在视野范围内。

                          • 控制系统框图

                          • 用户启动程序并指定要安装的晶体(在可能的许多晶体中)。之后，系统自动进行操作:将移液管浸入液滴中，接近晶体，吸出晶体，从盖盖上的液滴过渡到微桥上的冷冻保护器，并将晶体沉积在安装工具中。其中一些步骤以开环方式执行，因为系统针对相关物体的位置和尺寸进行了校准，并且系统执行器满足定位精度要求。然而，晶体的吸出是关键依赖于可靠的感官反馈的一个例子。为了确定晶体的位置并检测晶体何时在移液器内，我们使用区域跟踪器应用于来自摄像机的视觉馈送。当晶体被吸进移液管时，控制回路跟踪晶体的运动，并相应地调整微量注射器施加的吸力，直到晶体安全进入移液管。控制算法的框图如图所示。

                        • 视觉伺服机器人

                        • Paul对机器视觉的特殊兴趣是监控大型组装工作单元(大约教室大小)。他想可视化地跟踪工具、工件和夹具等在工作单元中移动的物体。因此，他们定制了一个安装在天花板上的龙门架，并在末端执行器上安装了一个泛倾斜单元(PTU)和摄像机。最终的结果是一个混合的5自由度(DOF)机器人，可以在工作空间的任何地方定位和定向相机。混合机器人控制摄像机，使移动物体保持在视野中心，并达到所需的图像分辨率。

                            • 方法

                            • 传统上，研究人员通过从二维相机图像中测量三维物体的姿态来解决类似的问题。这需要物体几何的先验知识，因此研究人员通常使用基于cad的模型或在物体上的特定位置绘制基准标记。然后将三维物体姿态测量值与图像和机械手雅可比矩阵结合使用，将相机图像空间中的速度变化映射到机器人的关节空间。最终的效果是，机器人伺服相机来调节所需的相机到对象的姿态约束。

                              这种调节技术的警告是，机器人的电机可能没有足够的带宽(扭矩能力)来维持这样的约束。我们的龙门速度很慢，因为连杆很重。相机加速速度不够快将导致视觉接触的丧失。此外，突然加速会产生影响图像采集的端点振动。相比之下，PTU重量轻，速度快，可以快速旋转相机，以保持视觉接触。最终的效果是跟踪性能取决于跟踪任务中调用的DOF。

                              我解决跟踪问题的方法是设计一个控制律，该律定义了PTU和龙门架之间的联合耦合。这个想法来自于偶然观察人类的跟踪行为。人们也有不同宽度和运动范围的关节(眼睛、脖子、躯干)。当跟踪一个运动物体时，我们可以协同所有的自由度，我们不需要先验的物体几何知识。我们还注意到，当我们跟随物体的运动轨迹时，眼睛和脖子倾向于向同一个方向移动。这种行为表明潜在的运动关节耦合。

                                • 实现

                                • 传统的方法完全依赖于图像数据。相比之下，大多数车间机器人只使用运动关节编码器数据。通过结合图像和运动数据，可以实现关节耦合。图像数据用于控制平移和倾斜的自由度，以保持目标在相机视野的中心。由此产生的运动学角度数据用于龙门架在平移和/或倾斜方向上运输相机。通过在底层控制律中定义这种联合耦合，我们模拟了前面提到的协同人类跟踪行为。以这种方式划分dof的净效果是(1)不需要基于cad的模型的跟踪系统;(2)利用PTU的快速电机带宽，可以快速跟踪目标;(3)利用龙门架大的运动范围，可以将摄像机移动到工作单元的任何地方。

                                    • 结果

                                    • 我们的装配工作单元包括一个工业Puma机器人，安装有东芝多用途夹具，用于拾取工具和工件。当它在工作单元中移动时，我们喜欢直观地跟踪这个抓取器。
                                      使用单个平方和差跟踪器监测手在相机中的图像位置。这种教科书式的图像处理技术使用相关性将像素块从一个图像帧匹配到下一个图像帧，从而产生实时(30帧/秒)结果。
                                      夹持器沿三角形轨迹运动;它的位置在垂直、水平和深度上都是变化的。在倾斜与垂直、平移与水平自由度之间定义了分区关节耦合。SSD比例数据用于伺服剩余的龙门架自由度，以保持所需的图像分辨率(即深度)。结果由手持式摄像机和龙门式ptu摄像机记录下来

                                        • 影响

                                        • 夹持器速度范围为6 ~ 20 cm/s，并通过分体式龙门- ptu系统进行有效跟踪。相比之下，传统的调节器在夹持器速度大于2 cm/s时由于龙门电机带宽的限制而失效。最终的效果是，分割的系统可以跟踪快速移动的物体，保持图像分辨率，并且不需要先验的物体几何知识。

                                          通过使用单个SSD跟踪器，可以使用分区跟踪各种几何上复杂的对象。例如，系统可以跟踪在工作单元周围走动的人。

                                            • 抓取与传感器融合

                                            • 用机器人手抓取任意物体仍然是一项艰巨的任务，有许多尚未解决的研究问题。大多数机械手要么没有传感器，要么缺乏报告与接触有关的准确位置和力信息的能力。
                                              通过融合手指关节编码器数据、触觉传感器数据、应变计读数和视觉，我们可以提高机器人手抓取和操作任务的能力。我们正在使用的实验手是巴雷特手(左图)，这是一个三指，四自由度的手。
                                              手被触觉传感器覆盖，用于定位手表面的接触，以及确定接触力。

                                              影响
                                              这个模型给出了一个确定的测量挠度作为一个函数的位置沿着手指。然后将这些信息与安装在三脚架上的相机的图像数据和触觉传感器读数融合在一起，以增强抓握配置。成功地完成了用手拧筒盖的实验。

                                                • Stewart平台与电液伺服阀控制

                                                • 斯图尔特平台(左)是一个6个自由度的机构，通常用于飞行模拟器。顶部平台的有效载荷架和连杆延伸到产生偏航、俯仰、滚转方向以及垂直、摇摆和升沉位置。我在斯图尔特平台的兴趣是为韩国国防发展局设计船舶运动模拟器(SMS)控制系统。该项目的最终目标是在高速炮艇上安装自动射击装置。

                                                  SMS连杆是电液式的。平台的定位精度取决于操作和环境因素，如温度和流体粘度。因此，我设计了一个模型参考自适应控制器(MRAC)来补偿这些因素的波动。

                                                    • 序言

                                                    • 通常有两种数字控制设计方法。一种方法是在拉普拉斯s域中使用模拟模型，然后使用零阶保持器(ZOH)进行离散。另一种方法是从设计阶段的一开始就使用z域数字模型。
                                                      两种方法都有各自的优点和缺点。模拟建模使设计人员能够更好地理解现实世界的系统，特别是在带宽和线性方面。然而，数字建模很容易使自己适合计算机实现，但却模糊了对现实世界系统的理解。这部分是由于z变换的性质。
                                                      直观地，人们会认为，随着采样时间接近于零(即一个非常快的采样频率)，离散模型应该接近模拟模型的形式。然而，z变换和ZOH不能产生这个。事实上，在快速采样频率下，离散模型将是非最小相位，即离散零点将位于单位圆之外。由于包括MRAC在内的许多控制器都依赖于极零抵消，因此必须消除非最小相位以避免不稳定。因此，稳定的控制律需要使用较大的采样时间，这将导致测量精度的损失。
                                                      非最小相位现象是使用移位算子(即z变换和ZOH)的结果。事实上，移位算子是相同控制律(例如最优，自适应)的模拟和离散版本存在的原因。再一次，直观地，人们会认为当采样时间为零时，控制律的离散版本应该等于模拟版本。

                                                        • 方法

                                                        • 我使用欧拉算子设计了一个数字控制器，利用模拟设计的优势。这个运算符和移位运算符一样容易使用，并且与直觉一致。当采样时间趋近于零时，离散欧拉模型趋近于模拟欧拉模型。如果模拟模型是最小相位，那么离散模型也是如此。事实上，所有的连续时间技术都可以很容易地应用于离散欧拉模型。对于欧拉算子，稳定区域是一个圆心为-1/T，半径为1/T的圆。当采样时间T趋于零时，这个稳定区域与拉普拉斯s域相同。而平移算子的稳定区域始终是单位圆，与采样时间大小无关。

                                                            • 实现

                                                            • 利用欧拉算子设计了一种MRAC控制六自由度Stewart平台单电液连杆的位置。采样时间为25毫秒(40赫兹)，如果使用移位算子，则会导致非最小相位零。控制律是在386 PC机和模数板上用Pascal编程的(1991年)。
                                                              在系统辨识方面，采用快速傅里叶变换(FFT)机获取伺服阀的波德图。这产生了一个三阶拉普拉斯传递函数，然后用欧拉算子将其离散化。
                                                              针对该自适应策略，设计了具有理想性能特性的伺服阀模型。该模型根据理想的环境和操作因素进行了规范化。将该模型的输入与实际伺服阀的输出进行比较。输出差定义了一个误差，自适应策略将其最小化以产生补偿输入。
                                                              为了验证MRAC的有效性，在运行过程中手动改变液压供应压力和流体温度。尽管有这些变化，电液伺服阀的定位误差可以忽略不计。

                                                                • 过往研究项目

                                                                    • 跟踪和抓取运动物体

                                                                    • 我们的实验室是最早在实时计算机视觉中开发数据并行性的实验室之一。我们负责为PIPE数据流架构编写的第一套低级图像处理算法，这些算法已成为我们向西门子、洛克希德、FMC和北美飞利浦等公司转让技术计划的一部分。机器视觉已经成为一个重要的研究课题，因为目前正在开发的系统最终能够从视觉反馈中维持实时控制的处理速率。
                                                                      我们感兴趣的是探索手眼协调在动态抓取任务中的相互作用，其中被抓取的物体是移动的。有机体的传感模式和运动控制系统之间的协调是智能行为的标志，我们正在追求建立一个集成传感和驱动系统的目标，该系统可以在动态环境中运行，而不是静态环境。我们正在构建的系统是一个多传感器系统，集成了实时视觉，机械臂控制和稳定抓取物体的工作。我们在这方面的第一次尝试已经产生了一个系统，可以实时跟踪和稳定地抓住移动的模型火车。(见下面的图表和视频。)

                                                                      我们开发的算法非常通用，适用于各种复杂的机器人任务，这些任务需要手臂和手的视觉反馈控制。目前，我们正在将这项工作扩展到全三维空间的跟踪，并建立了两种新的控制算法，采用多个移动物体检测和手腕上的相机进行更精细的跟踪和抓取。这项工作的重要之处在于:1)当前用于视觉和实时控制的计算设备水平足以完成包括移动物体在内的动态任务;2)光流足够健壮，可以实时计算用于立体匹配;3)它可以定义机器人抓取策略，这种策略可能是由人类手臂运动研究激发的视觉反馈。

                                                                        • 主动无标定视觉伺服

                                                                        • 校准方法通常难以理解，不方便在许多机器人环境中使用，并且可能需要最小化几个复杂的非线性方程(这不能保证在数值上具有鲁棒性或稳定性)。此外，校准通常只在工作空间的小子空间中准确;当校准区域离开时，精度会迅速下降。这可能会给主动移动的摄像系统带来真正的问题。在我们的案例中，使用主动视觉系统，每次系统移动时都重新校准是不可行的。需要的是一种在线校准方法，更新成像系统和驱动系统之间的关系。我们开发了一套新的算法，可以在不需要校准的情况下进行精确的对准和定位。通过直接从图像中提取控制信息，我们将技术从通常与固定校准相关的误差中解放出来。我们给机器人安装一个摄像系统，使摄像系统和机器人的抓手同时旋转。当相机系统围绕抓手的旋转轴旋转时，由点状特征跟踪的圆形路径在图像空间中投影为椭圆路径。 We gather the projected feature points over part of a rotation and fit the gathered data to an ellipse. The distance from the rotational axis to the feature point in world space is proportional to the size of the generated ellipse. As the rotational axis gets closer to the feature, the feature's projected path will form smaller and smaller ellipses. When the rotational axis is directly above the object, the trajectory degenerates from an ellipse to a single point.

                                                                          我们已经证明了该算法在钉入孔问题上的有效性。摄像机安装在机器人末端执行器的一侧。一个钉，这是要插入在一个孔上的块，是与末端执行器的旋转轴对齐见图1。该算法使用近似图像雅可比矩阵来控制机器人的运动。雅可比矩阵J的分量依赖于机器人参数、相机系统与机器人系统之间的变换以及相机系统参数。我们通过在世界空间中做两次移动来计算图像雅可比矩阵，观察特征在图像空间中的移动。通过经验计算每个新点的图像雅可比矩阵(并抛弃之前计算的信息)，我们可以使用新的估计将机器人移动到正确的对齐位置，即使我们没有校准两个系统。

                                                                            • 视觉引导抓取和操作

                                                                            • 人类的经验为视觉协助抓取和操作任务的能力提供了存在的证据。视觉可以提供关于被操作对象的空间排列(即几何和拓扑)以及操作手段的丰富知识，在我们的例子中是机械人手的手指。我们的目标是在视觉上监视和控制机器人手的手指，因为它执行抓取和操作任务。我们这样做的动机是，大多数机器人手普遍缺乏准确和快速的反馈。许多抓手缺乏传感，特别是在与物体的接触点，并依靠开环控制来执行抓取和操作任务。视觉是为这些任务提供必要的反馈和监控的一种廉价而有效的方法。使用视觉系统，一个简单的无仪器夹具/手可以成为一个精确的设备，能够定位，甚至可能控制力。
                                                                              本研究旨在利用视觉提供装配操作所需的顺应性和鲁棒性，而不需要对抓取物理进行广泛的分析或对环境的详细了解来控制复杂的抓取和操作任务。利用视觉，我们可以在不干扰环境的情况下了解环境中物体的空间排列，并且可以为机器人控制回路提供鲁棒反馈的手段。我们之前的工作是将视觉和触觉结合起来完成目标识别任务。我们想扩展我们的对象跟踪系统，以便它可以用来提供视觉反馈来定位手指和要操作的对象的位置，以及它们之间的相对关系。这种可视化分析可用于控制许多操作任务中的抓取系统，其中手指接触，物体运动和任务完成需要被监视和控制。我们还想在巴雷特手系统的力周围建立一个视觉反馈回路。通过视觉跟踪手指和读取力，我们可以准确地定位手并监控抓取物体的状态。这个研究领域非常丰富，相对而言，在这个领域做的工作很少(一个主要的障碍是获得一个真正的机器人手，因为它们很难制造，而且购买昂贵)。

                                                                                • 基于模型的传感器规划

                                                                                • MVP系统是规划传感器视点的强大框架。给定物体及其环境的CAD描述，视觉传感器的模型，以及要查看的特征的规格，MVP生成相机位置，方向和镜头设置(对焦环调整，焦距，光圈)，以确保对特征的稳健视图。在这种情况下，一个健壮的视图意味着一个视图是通畅的，聚焦的，适当放大的，并在视野中处于中心位置。此外，MVP试图在所有参数中找到尽可能多的误差余地的观点。
                                                                                  下一张图片显示了一个物体的模型。要查看内立方体的两个边。下图显示了可见性体积——从这个体积内部的任何地方都可以看到这些特征。最后一幅图显示了系统计算出的视点的视图。

                                                                                  我们已经为MVP添加了移动环境模型，并且正在探索扩展MVP的方法来规划动态环境中的视点。第一种方法，目前仅限于移动障碍物的情况(目标，或要查看的特征，是静止的)，是沿着它们的轨迹扫描所有移动物体的模型，并围绕扫描的体积进行规划，而不是实际物体。时间间隔搜索与扫描体结合使用，以规划在任务期间的不同时间间隔有效的视点。这种方法已经在模拟中实现，我们的机器人实验室正在进行实验。实验室设置包括两个机器人手臂，一个携带相机，一个在环境中移动。动态MVP系统规划视点，保证一些静止目标的鲁棒视图，尽管机器人运动。视点由第一个机器人在第二个机器人移动执行任务时实现。

                                                                                    • 自主精密操作

                                                                                    • 在我们的操作工作中，我们研究了精确任务的要求和实现，其中“精确任务”被定义为仅由指尖运动引起的抓取物体的运动。这项工作的动机是开发策略，使手能够执行精密工具任务，这些任务需要控制被抓物体和环境之间的相互作用力。
                                                                                      定义了一组基本操作，包括六种基本不同的技术。每种操作都定义了具有圆形或矩形横截面的对象的基本平移或旋转，并且可以使用许多不同的抓取配置来执行。综上所述，这组原语使手能够在以对象为中心的框架中向任何方向旋转或平移对象。定义基本策略，类似于电机控制程序，简化了机器人系统的规划要求。一旦高级规划人员决定需要特定的对象运动，该动作就会自动执行。操作参数化以适应不同的任务要求，包括抓握力、运动距离和速度。假设任务执行得足够慢，需要准静态分析，假设对象是刚性的(尽管不需要精确的对象模型)，并且可以使用力和位置控制。任务的要素是:(1)指尖轨迹的描述;(2)手的工作空间的分析;(3)在操作过程中保持抓握稳定性的方法，其中混合力/位置控制用于任务划分。轨迹定义了手指在操作过程中的接触运动。人手的工作空间通常是复杂的，不允许有封闭形式的解决方案。 For object manipulation, allowable fingertip trajectories for all contacts must be found simultaneously. A configuration-space analysis is performed that yields the maximum object motion distance for given sized objects, as well as the initial grasping positions and wrist positions in a global frame. This information is required to position the robot arm for maximum object manipulability, that is, to move it during the reach phase of a manipulation. Task partitioning, the specification of force- and position-controlled directions, simplifies the maintenance of grasp forces during manipulation and often yields a straightforward method to control the external object forces.

                                                                                        • 触觉传感

                                                                                        • 研究的一个领域是利用触觉信息来恢复三维物体信息。虽然三维场景信息的获取主要集中在被动二维成像方法(立体视觉、运动结构等)或三维距离传感方法(结构照明、激光扫描等)上，但使用多指机械手的主动触摸传感来获取场景描述的工作很少，尽管这是一种发达的人类能力。触摸感应在许多方面不同于其他更被动的感应方式，如视觉。带有触摸传感器的多指机器人手可以探测、移动和改变环境。此外，与视觉方法相比，触摸传感产生的数据要少得多;心理学证据表明，人类可以通过触摸非常可靠地恢复物体的形状和许多其他属性，考虑到这一点，这一点尤其有趣。
                                                                                          在Allen和Michelman[7][5][4]中，使用主动策略描述了形状恢复实验，用于全局形状恢复、轮廓跟踪和表面法线计算。我们的方法是首先找到物体的大致形状，然后使用假设和测试方法来生成关于物体的更详细的信息，如Allen[1]所述。第一种主动策略是通过遏制抓取，它用于找到形状的初始全局估计，然后可以通过更具体和局部的感知进一步改进。使用超二次曲面作为全局形状模型。一旦一个超二次曲面与最初的抓取数据相匹配，我们就有了一个关于物体形状的强有力的假设。特别重要的是形状参数。物体的形状可以从这些参数中推断出来，并用于指导进一步的探索。例如，如果形状参数指示一个矩形对象，那么策略可以跟踪平面并执行跟踪数据的最小二乘拟合以测试表面的平面性。我们开发的第二个程序是平面策略。在与物体接触后，手和手臂移动到物体表面的边界，以绘制出物体并确定其法线。 The third exploratory procedure we have implemented is for surface contour following with a two-fingered grasp. This procedure allows us to determine an object's contour which has been shown to be a strong shape cue from previous vision research. During these experiments, the hand was equipped with Interlink force sensing resistive tactile sensors. The exploratory procedures were tested on a variety of objects-such as blocks, wedges, cylinders, bottles. The overall Utah/MIT hand system we have been using is described in Allen, Michelman and Roberts [3][2].

                                                                                            • 对象空间遥操作

                                                                                            • 远程操作是工业和假肢中控制机械手的主要手段。遥控机械手的传统方法是使用Dataglove或exoskeleton master:从人手直接映射到机械手。一般来说，人类主人的手指位置被翻译给机器人，视觉或力反馈从机器人返回给主人。(参见Speeter et al. [1992]， Pao and Speeter [1989]， Burdea et al.[1992])。这种方法有几个困难:
                                                                                              校准:很难找到从人手主人到机器人的直接映射。例如，Hong和Tan (Robotics &Automation, 1989)开发了一个复杂的三步过程，每个用户都必须重复。
                                                                                              机器人手的功能不同于人的手。例如，人类的手只能沿着一个轴移动物体，而像犹他-麻省理工学院的手这样的手能够在三个笛卡尔方向上移动物体。因此，使用Dataglove降低了机器人手的操作能力。
                                                                                              自主性:机器人的指令是替换而不是功能。如果没有高级功能，就很难提高机器人的自主性。此外，在主人和机器人之间存在较长通信延迟(大于1秒)的情况下，机器人自主执行某些功能是有用的(Bejczy和Kim[1990])。
                                                                                              高自由度力反馈仍处于实验阶段，且成本高昂。
                                                                                              在这种“手动控制”中，机器人和用户之间的界面主要是传输数据和执行坐标转换。我们建议通过将控制空间从关节位置转移到抓取对象的空间来增加机器人手的自主性(参见Michelman和Allen[10])。与其将主人手指的动作直接转化为机器人手的动作，不如使用一种简单、低自由度的输入装置，比如操纵杆，直接控制被操纵物体的动作。被操纵物体的运动通常只包含一个自由度;它们是二维平移和旋转。系统依次计算所需的手指轨迹来实现运动。低自由度输入设备的使用很有吸引力，因为它减轻了上述与校准困难、全远程操作所需的高输入和传感器带宽相关的问题。此外，增加机器人的自主性使其能够自动执行诸如保持抓取力和抵抗外部干扰等任务。低自由度输入设备可以包括语音识别系统、轨迹球、太空球(太空球是一种多功能输入设备，可以感知施加在它上面的力和力矩)。它还有一组软件可编程按钮，可以在任务中分配功能。)，肌电信号，以及其他用于工业和康复的设备。 The basis of the object-centered teleoperation system is set of primitive manipulations described above.

                                                                                                • 人类灵巧性和运动控制

                                                                                                • 在研究机器人灵巧性的同时，我们正在与Randall Flanagan(纽约师范学院)合作研究人类灵巧性和运动控制模型。这项工作主要集中在几个方面，主要是(1)研究不同条件和物体几何形状下的握持力调制;(2)分析人类精密操纵过程中物体的运动学和握持力。令人惊讶的是，人类操纵策略的研究很少，因为大多数注意力都集中在到达和抓取分析上。我们的希望是通过有限的心理物理研究和运动分析，对人类操作有更深入的了解。

                                                                                                    • 8自由度机器人

                                                                                                    • 概述
                                                                                                      我们正在构建一个8自由度的机器人。这将允许任何给定的目标位置的大范围的手臂位置，从而提供了很大的灵活性的运动。运动可以由额外的约束来控制，比如到目标位置的距离，或者保持位置所需的能量，这比传统的6自由度系统更真实，因为6自由度系统只有有限数量的目标位置的解决方案。
                                                                                                      8个自由度是通过结合Unimation Puma手臂(6个自由度)和定向感知平移/倾斜装置(2个自由度)来实现的。平移/倾斜装置安装在Puma臂的末端，配有定制的支架，CCD相机安装在平移/倾斜装置上。我们正在使用校准板校准设备，并遵循Tsai和Lenz的论文中的程序，“使用3D机器视觉进行机器人眼，眼对手和手校准的统一校准三重奏概述。”
                                                                                                      定向感知平移/倾斜装置为我们提供了3角分钟内的精度，这使我们能够精确地定位视角，同时它也为我们提供了合理的速度和加速度。它由硬件控制，自动控制加速度曲线，同时允许程序员设置速度和加速度参数。

                                                                                                        • 机器视觉交互式教程

                                                                                                        • 概述
                                                                                                          我们正在开发机器视觉算法的交互式教程，以供教学实验室使用。所谓“交互”，是指用户可以实时改变算法的数据集和参数，甚至算法本身的操作，以查看对输出的影响。
                                                                                                          其中一个项目被称为虚拟视觉实验室，它提供了一个模拟的实验室环境，有两个Puma 560机器人。其中一个机器人装有CCD摄像机，另一个装有气动平行夹持器。
                                                                                                          我们目前正在教程中添加光流模块。