视频
载入播放器…
  • 提供配置文件
  • 哥伦比亚大学机器人研究小组是由哥伦比亚大学计算机科学系的学生研究员和著名教授组成的研究小组。在过去的几年里，他们成功地引进了许多项目，并在许多领域提供了帮助，特别是在机器人抓取、3d视觉与建模和医疗机器人。
产品组合

  • 辅助机器人:抓取的脑机接口

  • 利用新型脑机接口的抓取和操作辅助机器人

    这是一个(与加州大学戴维斯分校)合作的提案，旨在具体实现辅助机器人技术的一些主要目标。一个来自信号处理和控制(PI Sanjay Joshi)、机器人抓取(PI Peter Allen)和康复医学(PI Joel Stein)领域的专家团队聚集在一起，创建了一个可现场部署的辅助机器人系统，该系统将允许严重残疾患者使用新型的大脑肌肉计算机接口(BMCI)控制机器人手臂/手系统执行复杂的抓取和操作任务。此外，这一努力的意图不仅是技术驱动的，也是由明确和必要的临床需求驱动的，并将根据其满足这些临床需求的情况进行评估。哥伦比亚大学再生与康复医学系将对不同的残疾用户进行验证，这些用户将对正在开发的技术提供重要反馈，这些反馈将用于系统设计和实现的迭代。

      • 控制系统的BCI接口的用户。

      • 受试者佩戴Emotiv Epoc脑电图耳机，用于检测控制系统的面部动作。点云是由微软Kinect获得的，用来检测目标物体的身份和位置。然后，用户使用脑电图耳机引导一个抓取规划界面，找到对物体的良好抓取，并将抓取发送到我们的机器人抓取平台执行。

      • 用户界面为半自动抓取。

      • 用户界面由三个窗口组成:主窗口包含三个标记的机器人手和带有对齐点云的目标对象，管道指导窗口包含提示，用于指导用户与计划器的每个阶段的交互，以及抓取视图窗口包含目前为止计划器发现的十个最佳抓取的渲染。点云允许用户可视化模型的拟合情况，并相应地采取行动。

      • 实验对象

      • 对于所有的瓶子，这种手柄抓法并不是用力闭合的抓法，但是当被试在我们的实验中选择它时，它的成功率是100%。添加一个抓取数据库允许在我们的系统中使用这种语义相关的抓取。

    • 活体外科成像系统

    • 带有集成光源的活体Pan/Tilt内窥镜

      内窥镜成像仍然被将长棒插入小开口的模式所主导。这种方法对于小切口手术有一些限制，如窄角度成像，有限的工作空间，反直觉的运动和额外的内窥镜器械切口。我们的目的是超越这一范式，将传感器和效应器直接遥控到体腔中。为此，我们开发了一种具有集成光源的新型可插入式倾斜式内窥镜相机的原型。该包装长度为110毫米，直径为10毫米，可以通过标准套管针插入腹部，然后固定在腹壁上，切口口开放，便于进入。该相机包包含三个部分:成像模块、照明模块和平移/倾斜运动平台。成像模块包括镜头和CCD成像传感器。照明模块连接到成像模块并具有LED光源阵列。平底/倾斜平台提供成像模块，平底120度，倾斜运动90度，使用小型伺服电机。设计了固定机构以将该装置固定在腔内。 A standard joy stick can be used to control the motion of the camera in a natural way. The design allows for multiple camera packages to be inserted through a single incision as well.
        • 原型一:五自由度可插入式摄像机装置的设计。
          顶部:收起相机的设备。
          底部:提取了摄像头的设备。
        • 一些使用Prototype的任务(例如:缝合、图像训练、需要长距离运动)
        • 用于外科手术的原型。
          左上:II型原型相机(无变焦轴)插入腹腔的图像。
          右上:插入用于将装置连接到腹部的针。左下:针环装置附件。
          右下:固定在腹壁上。

      • 建模，可视化和分析历史和考古遗址的计算工具

      • 国家科学基金资助项目iss -0121239

        这是一个为期6年的项目，从2001年9月开始，有关的工作仍在进行中。在这个研究项目中，我们有一些广泛的研究目标:
        • 开发新的方法，创建复杂的，三维的，照片逼真的，交互式的大型历史和考古遗址模型。
        • 开发一个系统来创建一类新的信息可视化系统，该系统集成了三维模型、二维图像、文本和其他基于web的资源来注释物理环境。该系统将支持该领域的科学家，并促进现场口译和远程学习。
        • 开发新的数据库技术来编目和访问站点的结构、工件、对象及其上下文。这将大大提高用户查询和分析网站信息的能力。
        • 开发方法和资源，使教师和学生能够通过互联网访问模型和相关信息，并在教室和家里使用它。其目标是允许在不同的教育层次上灵活地访问大量新兴的科学和历史数据，以显示发现和变化如何成为科学和解释动态过程的一部分。

        活动:
        法国:圣母院大教堂模型。皮埃尔·博韦,法国
        纽约:圣约翰大教堂模型
        西西里岛:在Palazzo山上的卫城模型，西西里岛
        南非:模特Thulamela
        总督岛:杰堡模型
        埃及:埃及Amheida遗址;埃及遗址的全景建模
        考古可视化:考古发掘协同可视化大手势交互
        考古数据库:ArchQuery哥伦比亚分面数据库查询引擎

          • 大道项目

          • AVENUE的意思是城市环境中探索和导航的自动驾驶车辆．

            该项目的目标是城市场地建模过程的自动化。主要目标是不仅要建立现实的外观，还要建立复杂的户外城市环境的几何精确和光度正确的模型。这些环境是典型的大型三维结构，包括广泛的几何形状和非常大范围的光度特性。
            各种应用都需要这些模型，如城市规划、城市设计、历史保护和考古、消防和警察规划、军事应用、虚拟现实和增强现实、地理信息系统等。目前，这样的模型通常是手工创建的，非常慢，而且容易出错。AVENUE通过构建一个移动系统来解决这些问题，该系统将在站点中自主导航，并创建一个最小化人工交互的模型。
            移动机器人的任务是前往所需地点，并获得所选建筑物的3d扫描和图像。位置由传感器规划(又称视图规划)系统确定，并被路径规划系统用于生成可靠的轨迹，然后机器人遵循这些轨迹。当机器人到达目标位置时，它使用传感器获取扫描和图像，并将它们转发给建模系统。建模系统注册并将新数据合并到站点的现有部分模型中(在开始时可能是空的)。之后，视图规划系统确定下一个最佳数据采集位置，重复上述步骤。这个过程从一个特定的位置开始，逐渐扩展它所覆盖的区域，直到获得一个完整的场地模型。

              • 移动平台

              • 我们使用的机器人是Real World Interface, Inc生产的ATRV-2模型，也就是现在的iRobot。它的最大有效载荷为100公斤(220磅)，我们正努力充分利用这一点。除了机器人自带的12个声纳，我们还增加了许多额外的传感器和周边设备:
                • 一种泛倾斜装置，装有用于导航和图像采集的彩色CCD相机
                • Cyrax激光测距扫描仪具有极高的质量和100米的工作范围。
                • 以载波相位差分(也称为实时运动)模式工作的GPS接收器。基站安装在我们校园最高的建筑之一的屋顶上。它通过无线电连接和网络提供差别校正。
                • 一个集成的HMR-3000模块，包括一个数字罗盘和一个2轴倾斜传感器
                • 11Mb/s的IEEE 802.11b无线网络，用于在自主操作过程中与远程主机持续连接。校园内正在安装大量的基站，以扩大网络连接的范围。
                机器人和上面的所有设备都由一台机载双Pentium III 500Mhz机器和运行Linux的512MB RAM控制。

              • 软件架构

              • 我们设计了一个分布式的面向对象的软件体系结构，它促进了系统各个组件的协调。它基于由iRobot开发的机器人集成软件框架Mobility，并大量使用CORBA。
                主要的构建块是并行执行分布式软件组件。组件可以在同一个进程内、跨进程甚至跨物理主机之间相互通信(通过IPC)。执行相关任务的组件被分组到服务器中。服务器是一个多线程程序，它处理系统的整个方面，例如导航控制或机器人接口。每个服务器都有一个定义良好的接口，允许客户端发送命令、检查其状态或获取数据。

                硬件由7台服务器访问和控制。一个名为NavServer的指定服务器建立在硬件服务器之上，提供定位和运动控制服务，以及从远程主机到机器人的高级接口。

                计算量太大的组件(如建模组件)或需要用户交互的组件(如用户界面)驻留在远程主机上，并通过无线网络链接与机器人通信。

              • 本地化

              • 我们的定位系统采用两种方法。第一种方法使用里程计、数字罗盘/泛倾斜模块和全球定位传感器在开放空间进行定位。扩展卡尔曼滤波器集成传感器数据并跟踪与之相关的不确定性。在全局定位数据可靠的情况下，采用该方法作为唯一的定位方法。当数据恶化时，该方法检测增加的不确定性，并通过调用第二个定位方法寻找额外的数据。
                第二种方法叫做视觉定位，它基于相机的姿态估计。它的计算量更大，但只在需要时使用。当被调用时，它会停止机器人，选择一个附近的建筑来使用并拍摄它的图像。姿态估计是通过匹配图像中的线性特征与简单紧凑的建筑模型来完成的。模型数据库存储在机载计算机上。不需要对环境进行修改。

            • 蛋白质条纹播种

            • 概述
              蛋白质条纹播种项目的目标是创建一个创新的高通量(HTP)微型机器人系统，用于蛋白质结晶学任务称为条纹播种。该系统利用安装在显微镜上的摄像机的视觉反馈来控制带有安装工具作为末端执行器的微操作器。为了配合我们的机器人系统使用，我们开发了一种独特的新工具，称为微铲，它的设计目的是解决晶体学家传统上使用的胡须、刚毛或其他种类毛发的某些局限性。

              任务描述
              当最初的结晶实验产生的晶体太小(小于40um)和/或质量较低且不能用于结构测定时，条纹播种是有用的。为了获得更高质量的晶体，要像原来的反应一样建立一个新的反应，然而，在孵育之前，最初获得的晶体的小碎片被转移到新的蛋白质-试剂混合物中，以引导结晶过程。这种晶体碎片转移过程称为条纹播种。
              条纹播种的任务包括三个步骤(图2)。首先，使用的工具要在清水中清洗，以去除任何残留。其次，该工具被用来触摸和探测现有的晶体，从而将它们粉碎成碎片，并捡起一些。第三步，工具穿过新鲜的混合物，其中会沉积一些碎片。要做到这一点，该工具必须具有破碎、保留和释放晶体碎片的必要性能，因此它的材料是影响该过程效率的非常重要的因素。传统上，各种类型的头发，鬃毛，胡须或马尾巴被使用。

                • 爱抚:一个条纹播种机器人

                • 基于使用我们的通用微机器人系统进行蛋白质晶体操作的早期开发工作，我们构建了一个名为CARESS的专门条纹播种机器人。CARESS是哥伦比亚[大学]条纹播种自动化机器人环境的首字母缩写，它采用了一种创新的方法来进行蛋白质条纹播种，使用我们自己的定制工具，称为微铲，使用MEMS技术设计和制造。
                  CARESS利用安装在显微镜上的摄像机的视觉反馈来控制带有安装工具作为末端执行器的微操作器。所有的传感器和执行器都连接到一台个人电脑上，并由运行在电脑上的应用程序控制。该软件负责使用计算机视觉技术处理来自摄像机的视觉流，以精确定位工作空间中感兴趣的对象的位置，并相应地控制执行器。用户通过图形界面与应用程序交互，设置系统、执行任务和查看数据。

                  该机器人采用悬滴结晶法，从21平方毫米覆盖层上的源晶体到96孔板覆盖层上的目标晶体进行播种。用户通过将含有蛋白质晶体的覆盖物、含有目标蛋白质液滴的96孔板覆盖物和用于清洗播种工具的微桥来设置系统。然后系统启动并自动执行播种。在最高速度下，一个96孔板可以在5-6分钟内播种。侧面面板的视频显示了CARESS的运行情况。

                    • 条纹的晶体

                    • 爱抚

                    • 用户界面

                  • 蛋白质晶体安装

                  • 概述
                    蛋白质晶体安装项目解决了蛋白质晶体学社区对高通量(HTP)设备的需求，这将有助于提高一个专门任务的执行，称为晶体安装。该项目的目标是生产一个能够自主、快速、稳健地执行任务的微型机器人系统。我们已经建立了一个用于晶体安装的机器人系统，该系统依赖于通过显微镜观察的摄像头的视觉反馈，以控制带有用于安装的工具作为末端执行器的微操作器。

                    任务描述
                    首先要在显微镜下放置一个盖玻片(通常是一个21mm x 21mm平方的塑料载玻片，如24孔Linbro板上使用的那种)，载着含有蛋白质晶体的液滴。技术人员通过显微镜观察，使用一个工具捕捉和拿起选定的目标晶体。然后，晶体被快速冷冻保护，冷冻并储存在x射线束线上，以便将来收集数据。
                    最常用的安装工具是低温环(例如汉普顿研究公司制造的)，但也使用玻璃毛细血管。最近，我们推出了新开发的工具，如MiTeGen生产的微支架和我们自己的微铲。
                    这项任务目前由熟练的技术人员执行。手工安装水晶需要时间、耐心和高超的运动技能。精确度和速度是至关重要的，因为晶体是脆弱的，对环境变化非常敏感。脱水很快会导致晶体质量下降。侧面面板上的视频是任务所需的一个例子——这个视频中的循环安装在一个远程操作的微定位器上。在现实中，由于操作时间有限，液滴表面形成“表皮”，晶体粘附在覆盖层上，这可能会使任务进一步复杂化。
                    晶体安装是一个术语，用来指获取蛋白质晶体的任务(又称晶体收集)和将已经有晶体的工具放置在光束线上的任务。在我们的工作中，我们使用这个术语来表示前者，而将后者称为束线安装，以避免混淆

                      • 系统设计与运行

                      • 我们设计并组装了一个用于蛋白质晶体操作的微型机器人系统，我们将其用于我们的研究和实验。该系统的早期版本成功演示了我们的微铲用于自主安装。目前的实现依赖于两阶段的方法，其中一个工具(玻璃移液管)用于从培养液滴中取出晶体，并将其转移到另一个工具(微支架或微铲)，该工具在x射线数据收集期间保存晶体。

                          • 装在微铲上的晶体

                          • 晶体安装简单地描述为将选定的蛋白质晶体从其生长溶液转移到同步加速器上用于数据收集的合适安装工具中。

                          • 晶体安装设置

                          • 水晶安装程序从放置必要的工具和物体在工作空间开始。首先，在托盘上的指定位置放置一个带冷冻保护器的微桥。接下来，在右边的固定装置上安装一个微型支架，并将其充分定位，使其以大约45度的角度浸没在cryprotect中，并准备接收晶体。最后，用户将含有蛋白质晶体的液滴放在显微镜托盘上，使它们处于视野中。

                          • 控制系统框图

                          • 用户启动程序并指定要挂载哪个晶体(在drop中可能有许多晶体中)。之后，系统自动进行:它将移液管浸入液滴中，接近晶体，吸出晶体，从盖上的液滴过渡到微桥中的冷冻保护器，并将晶体沉积在安装工具中。其中一些步骤以开环方式执行，因为系统是根据相关对象的位置和尺寸进行校准的，并且系统执行器满足定位精度的要求。然而，晶体的吸入是一个关键依赖于可靠的感官反馈的步骤。为了确定晶体的位置并检测晶体何时在移液管内，我们使用区域跟踪器应用到摄像机的视觉馈送。当晶体被吸入移液管时，控制回路会跟踪晶体的运动，并相应地调整微注射器的吸力，直到晶体安全进入移液管。控制算法的框图如上图所示。

                        • 视觉伺服机器人

                        • Paul对机器视觉的特别兴趣是监控一个大型装配工作单元(大约有教室那么大)。他想从视觉上跟踪工具、工件和钳子等在工作单元中移动的物体。因此，他们定制了一个安装在天花板上的龙门，并在末端执行器上安装了一个pan-tilt单元(PTU)和摄像机。最终的结果是一个5自由度(DOF)混合机器人，可以在工作空间的任何地方定位和定位相机。混合机器人伺服相机，以保持移动物体在其视野的中心，并以所需的图像分辨率。

                            • 方法

                            • 传统的研究人员通过从二维相机图像中测量三维物体的姿态来解决类似的问题。这需要物体几何的先验知识，因此研究人员通常使用基于cad的模型或在物体的特定位置绘制基准标记。然后将三维物体姿态测量与图像和机械手雅可比矩阵一起使用，将相机图像空间中的速度变化映射到机器人的关节空间。最终的效果是，机器人伺服相机来调节所需的相机到物体的姿态约束。

                              这种调节技术的警告是，机器人的电机可能没有足够的带宽(扭矩能力)来维持这样的约束。我们的龙门因为连杆太重，所以速度很慢。如果相机的加速速度不够快，就会导致失去视觉接触。此外，突然加速产生端点振动，影响图像采集。相比之下，PTU重量轻，速度快，可以快速旋转相机保持视觉接触。最终的效果是跟踪性能取决于跟踪任务中调用的自由度。

                              我解决跟踪问题的方法是设计一个控制律，它定义了PTU和门架之间的关节耦合。这个想法来自于对人类跟踪行为的随意观察。人也有不同带宽和运动范围的关节(眼睛、脖子、躯干)。当跟踪一个移动的物体时，我们协同所有的自由度，我们不需要先验的物体几何知识。人们还注意到，当我们跟随物体的运动轨迹时，眼睛和脖子倾向于向同一个方向移动。这种行为表明一个潜在的运动学关节耦合。

                                • 实现

                                • 传统的方法完全依赖图像数据。相比之下，大多数车间机器人只使用运动学关节编码器数据。结合图像和运动数据可以实现关节耦合。图像数据用于控制平移和倾斜的自由度，以保持目标在相机的视野中心。产生的运动学角度数据被龙门用来在平移和/或倾斜的方向上运输相机。通过在基础控制律中定义这样的联合耦合，我们模拟了前面提到的协同人类跟踪行为。以这种方式划分dfs的净效果是跟踪系统(1)不需要基于cad的模型;(2)利用PTU的快速电机带宽可以快速跟踪目标;(3)利用门架较大的运动范围，可将摄像机移动到工作单元的任何位置。

                                    • 结果

                                    • 我们的组装工作单元包括一个工业Puma机器人，安装了东芝多用途夹持器，以捡起工具和工件。当它在工作单元中移动时，我们喜欢在视觉上跟踪这个夹持器。
                                      单一的平方和差(SSD)跟踪器被用来监测手在相机中的图像位置。这种教科书图像处理技术使用相关性来匹配从一帧图像到下一帧图像的像素块，产生实时(30帧/秒)结果。
                                      夹持器以三角形轨迹运动;它的位置在垂直、水平和深度上都有变化。定义了倾斜龙门自由度与垂直龙门自由度、平移龙门自由度与水平龙门自由度之间的分区耦合。SSD刻度数据用于伺服剩余的龙门自由度，以保持所需的图像分辨率(即深度)。实验结果被手持式摄像机和龙门式ptu摄像机拍摄下来

                                        • 影响

                                        • 夹持器的速度范围为6 ~ 20 cm/s，采用分段龙门- ptu系统进行有效跟踪。相比之下，传统的调节器由于门柱电机带宽的限制，在钳子速度大于2 cm/s时失效。最终的效果是，分区系统可以跟踪快速移动的物体，保持图像分辨率，并且不具有物体几何的先验知识。

                                          通过使用单个SSD跟踪器，可以使用分区跟踪广泛的几何复杂对象。例如，该系统可以跟踪在工作单元周围走动的人。

                                            • 抓取与传感器融合

                                            • 用机器人的手抓取任意物体仍然是一项艰巨的任务，有许多尚未解决的研究问题。大多数机械手要么没有传感器，要么缺乏报告与接触相关的准确位置和力信息的能力。
                                              通过融合手指关节编码器数据、触觉传感器数据、应变计读数和视觉，我们可以增加机械手抓取和操作任务的能力。我们使用的实验手是巴雷特手(左图)，这是一个三指，四自由度的手。
                                              手部覆盖有触觉传感器，用于定位手部表面的接触点，以及确定接触力。

                                              影响
                                              这个模型给出了一个确定的挠度测量作为沿手指位置的函数。然后，这些信息与安装在三脚架上的摄像头的图像数据和触觉传感器读数融合在一起，以增强抓握配置。成功地完成了用手拧罐盖的实验。

                                                • Stewart平台和电液伺服阀控制

                                                • Stewart平台(左)是一个6自由度的机构，常用于飞行模拟器。顶部平台的有效载荷休息和连接延伸到产生偏航、俯仰、滚转方向以及垂直、摇摆和隆起位置。我对斯图尔特平台的兴趣是为韩国国防发展机构设计船舶运动模拟器(SMS)控制系统。该项目的最终目标是在高速炮艇上安装自动射击装置。

                                                  SMS连杆是电液压的。平台定位精度取决于操作和环境因素，如温度和流体粘度。因此，我设计了一个模型参考自适应控制器(MRAC)来补偿这些因素的波动。

                                                    • 序言

                                                    • 通常有两种方法来进行数字控制设计。一种方法是在拉普拉斯s域使用模拟模型，然后使用零阶保持器(ZOH)进行离散化。另一种方法是在设计阶段一开始就使用z域数字模型。
                                                      这两种方法各有优缺点。模拟建模使设计人员能够更好地理解真实世界的系统，特别是在带宽和线性方面。然而，数字建模很容易用于计算机实现，但模糊了对现实世界系统的理解。这部分是由于z变换的性质。
                                                      直觉上，人们会认为当采样时间接近零(即一个非常快的采样频率)时，离散模型应该接近模拟模型的形式。然而，z变换和ZOH不会产生这种结果。事实上，在快速采样频率下，离散模型将是非最小相位，即离散零将位于单位圆之外。由于包括MRAC在内的许多控制器依赖于极零抵消，必须消除非最小相位以避免不稳定性。因此，稳定的控制律需要使用较大的采样时间，这将导致测量精度的损失。
                                                      非最小相位现象是使用移位算子(即z变换和ZOH)的结果。事实上，移位算符是同一控制律(如最优、自适应)的模拟和离散版本存在的原因。同样，直觉上人们会认为当采样时间为零时，控制律的离散版本应该等于模拟版本。

                                                        • 方法

                                                        • 我利用欧拉算符设计了一种数字控制器，汲取了模拟设计的优点。这个算符和移位算符一样容易使用，并且与直觉一致。当采样时间接近零时，离散欧拉模型接近它的模拟当量。如果模拟模型是最小相位，那么离散模型也是最小相位。事实上，所有连续时间的技术都可以很容易地应用到离散的欧拉模型。对于欧拉算子，稳定区域是一个圆心为-1/T，半径为1/T的圆。当采样时间T趋于零时，这个稳定区域与拉普拉斯s域相同。相比之下，无论采样时间大小如何，移位算子的稳定区域始终是单位圆。

                                                            • 实现

                                                            • 利用欧拉算子设计了一种控制六自由度Stewart平台单电液连杆位置的MRAC。采样时间为25 ms (40 Hz)，如果使用移位算符，将导致非最小相位零。控制律是在386 PC和模数转换板上用Pascal编程的(1991年)。
                                                              在系统辨识方面，采用快速傅里叶变换(FFT)机获取伺服阀的波德图。这就得到了一个用欧拉算子离散化的三阶拉普拉斯传递函数。
                                                              然后，针对自适应策略，设计了具有所需性能特性的伺服阀模型。该模型根据理想的环境和操作因素进行了命名。将输入输入输入到该模型中，并对实际伺服阀和输出进行比较。输出差异定义了自适应策略将其最小化以生成补偿输入的误差。
                                                              为了证明MRAC的有效性，在运行过程中手动改变了液压供应压力和流体温度。尽管有这些变化，电液伺服阀的定位误差可以忽略不计。

                                                                • 过去的研究项目

                                                                    • 跟踪和抓取移动物体

                                                                    • 我们的实验室是最早在实时计算机视觉中利用数据并行的实验室之一。我们负责为PIPE数据流架构编写的第一组低层图像处理算法，这些算法已经成为我们向西门子、洛克希德、FMC和北美飞利浦等公司技术转让计划的一部分。机器视觉已经成为一个重要的研究课题，因为目前正在开发的系统最终能够从视觉反馈维持实时控制的处理速率。
                                                                      我们感兴趣的是探索在动态抓取任务中手眼协调的相互作用，被抓取的对象是移动的。生物的感知模式和运动控制系统之间的协调是智能行为的标志，我们的目标是建立一个集成的感知和驱动系统，可以在动态环境中而不是静态环境中运行。我们正在构建的系统是一个多传感器系统，集成了实时视觉、机械臂控制和稳定抓取物体的工作。我们在这方面的第一次尝试已经产生了一个系统，可以实时跟踪和稳定地掌握移动的模型列车。(见下面的图表和视频。)

                                                                      我们开发的算法是相当普遍的，适用于各种复杂的机器人任务，需要视觉反馈的手臂和手的控制。目前，我们正在将这项工作扩展到全3d空间中的跟踪，并建立了两种新的控制算法，采用多个移动目标检测和手腕安装的摄像头，以更好地跟踪和抓取。这项工作的重要意义在于:1)当前水平的视觉和实时控制计算设备足以处理包括移动物体在内的动态任务;2)光流足够健壮，可以实时计算用于立体匹配;3)它可以定义具有视觉反馈的机器人抓取策略，这可能是由人类手臂运动研究激发的。

                                                                        • 主动无校准视觉伺服

                                                                        • 校准方法通常很难理解，不方便在许多机器人环境中使用，可能需要最小化几个复杂的非线性方程(这不能保证在数值上的鲁棒性或稳定性)。此外，校准通常只在工作空间的一个小子空间中是准确的;当校准区域被留下时，精度会迅速下降。这对于一个主动的、移动的相机系统来说是一个真正的问题。在我们的例子中，使用主动视觉系统，在系统每次移动时重新校准是不可行的。现在需要的是一种在线校准方法，它可以更新成像系统和驱动系统之间的关系。我们已经开发了一套新的算法，可以执行精确的对准和定位，而不需要校准。通过直接从图像中提取控制信息，我们将我们的技术从通常与固定校准相关的错误中解放出来。我们在机器人上安装一个摄像系统，这样摄像系统和机器人的夹持器就可以同时旋转。当相机系统围绕夹持器的旋转轴旋转时，由点状特征描出的圆形路径投射到图像空间中的椭圆路径。 We gather the projected feature points over part of a rotation and fit the gathered data to an ellipse. The distance from the rotational axis to the feature point in world space is proportional to the size of the generated ellipse. As the rotational axis gets closer to the feature, the feature's projected path will form smaller and smaller ellipses. When the rotational axis is directly above the object, the trajectory degenerates from an ellipse to a single point.

                                                                          我们已经证明了该算法在孔钉问题上的有效性。摄像头安装在机器人末端执行器的一侧。插入在块上的孔中的销钉，与末端执行器的旋转轴对齐，见图1。该算法利用图像雅可比矩阵的近似来控制机器人的运动。雅可比矩阵J的分量依赖于机器人参数、摄像机系统与机器人系统之间的变换以及摄像机系统参数。我们通过在世界空间中进行两次移动，观察特征在图像空间中的移动，来计算图像雅可比矩阵。通过经验计算每一个新点的图像雅可比矩阵(抛弃之前计算的信息)，即使我们没有校准两个系统，我们也可以使用新的估计将机器人移动到正确的对齐位置。

                                                                            • 视觉引导的抓取和操作

                                                                            • 人类的经验为视觉辅助抓取和操纵任务的能力提供了存在的证明。视觉可以提供关于被操纵对象的空间排列(即几何和拓扑)的丰富知识，以及关于操纵手段的知识，在我们的例子中，操纵手段就是机械手的手指。我们的目标是在机器人执行抓取和操作任务时，对其手指进行视觉监控和控制。我们这样做的动机是大多数机器人手普遍缺乏准确和快速的反馈。许多抓手缺乏感知能力，特别是在与物体接触的地方，依靠开环控制来完成抓手和操纵任务。视觉是一种为这些任务提供必要反馈和监视的廉价而有效的方法。使用视觉系统，一个简单的非仪器夹具/手可以成为一个精确的设备，能够定位，甚至可能控制力量。
                                                                              该研究旨在利用视觉提供装配操作所需的顺应性和鲁棒性，而不需要对抓取物理进行广泛分析或对复杂的抓取和操作任务的详细环境知识进行控制。利用视觉，我们可以在不干扰环境的情况下了解环境中物体的空间排列，并可以为机器人控制回路提供鲁棒反馈。我们之前的工作是将视觉和触觉结合起来进行目标识别任务。我们想要扩展我们的对象跟踪系统，以便它可以用来提供视觉反馈来定位手指和被操作对象的位置，以及它们之间的相对关系。这种可视化分析可用于控制抓取系统在许多操作任务中，手指接触，物体移动和任务完成需要监控和控制。我们也想关闭一个视觉反馈环的力量从巴雷特手系统被提出。通过视觉跟踪手指和读取力，我们可以准确地定位手的位置，并监测抓取物体的状态。这一研究领域非常丰富，而在这一领域所做的工作相对较少(主要障碍是获得一个真正的机械手，因为它们很难制造，而且购买价格昂贵)。

                                                                                • 基于模型的传感器规划

                                                                                • MVP系统是规划传感器视点的健壮框架。给定一个物体及其环境的CAD描述，一个视觉传感器模型，加上要观察的特征的规范，MVP生成相机的位置、方向和镜头设置(对焦环调整、焦距、光圈)，以确保对特征的健壮观察。在这种情况下，一个健壮的视图意味着一个视图是畅通无阻的，在焦点上，适当放大，并在视场中处于良好的中心。此外，MVP试图在所有参数中找到一个有尽可能多的误差余地的视点。
                                                                                  下一张图片显示了一个物体的模型。内部立方体上的两个边是要看的。下图显示的是可见体积——从这个体积的任何地方，都可以看到这些特征。最后一个图像显示了系统所计算的视点的视图。

                                                                                  我们已经在MVP中添加了移动环境模型，并正在探索扩展MVP的方法，以便在动态环境中规划视点。第一种方法，目前仅限于移动障碍的情况(目标或观察的特征是静止的)，是沿着所有移动物体的轨迹扫描模型，并围绕被扫描的体积(与实际物体相反)进行规划。时间间隔搜索与扫描卷一起使用，以规划对任务中的不同时间间隔有效的视点。该方法已在仿真中实现，并正在我们的机器人实验室进行实验。实验室设置包括两个机械臂，一个携带相机，另一个在环境中移动。动态MVP系统规划的视点保证了对某些静止目标的鲁棒观察，尽管机器人在运动。当第二个机器人在移动执行任务时，第一个机器人实现视点。

                                                                                    • 自动精密操作

                                                                                    • 在我们的操作工作中，我们研究了精确任务的要求和实现，其中“精确任务”被定义为那些仅由指尖运动引起被抓取对象的运动的任务。这项工作的动机一直是发展策略，使手能够执行精确的工具任务，这需要控制被抓对象和环境之间的相互作用力。
                                                                                      定义了一组基本操作，包括六种基本不同的技术。每种操作都定义了一个具有圆形或矩形截面的对象的基本平移或旋转，并且可以通过许多不同的抓取配置来执行。综上所述，这些原语集使手能够在以对象为中心的框架中向任何方向旋转或平移对象。定义基本策略(类似于电机控制程序)可以简化机器人系统的规划要求。一旦高级计划人员决定需要一个特定的物体运动，这个动作就会自动执行。操作是参数化的，以应对不同的任务要求，包括抓力，运动距离和速度。假设任务执行得足够慢以至于需要准静态分析，假设对象是刚性的(尽管不需要精确的对象模型)，并且可以进行力和位置控制。这些任务的要素包括:(1)指尖轨迹描述，(2)手部工作空间分析，(3)在操作过程中保持握力稳定性的方法，该方法使用力/位置混合控制进行任务划分。轨迹定义了操作过程中手指的接触运动。手的工作空间通常是复杂的，不允许一个封闭的解决方案。 For object manipulation, allowable fingertip trajectories for all contacts must be found simultaneously. A configuration-space analysis is performed that yields the maximum object motion distance for given sized objects, as well as the initial grasping positions and wrist positions in a global frame. This information is required to position the robot arm for maximum object manipulability, that is, to move it during the reach phase of a manipulation. Task partitioning, the specification of force- and position-controlled directions, simplifies the maintenance of grasp forces during manipulation and often yields a straightforward method to control the external object forces.

                                                                                        • 触觉传感

                                                                                        • 其中一个研究领域是研究如何利用触觉信息来恢复三维物体信息。虽然三维场景信息的获取主要集中在被动的二维成像方法(立体视觉、运动结构等)或三维范围传感方法(结构照明、激光扫描等)，但很少有人使用多指机械手主动触摸传感来获取场景描述，尽管这是一种很发达的人类能力。触摸感知在许多方面不同于其他更被动的感知模式，如视觉。带有触摸传感器的多指机械手可以探测、移动和改变环境。此外，触摸传感产生的数据远远少于视觉方法;心理学证据表明，人类仅靠触摸就能非常可靠地恢复形状和许多其他物体属性，这一点尤其令人感兴趣。
                                                                                          在Allen和Michelman[7][5][4]中，形状恢复实验使用全局形状恢复、轮廓跟随和表面法线计算的主动策略进行描述。我们的方法是首先找到物体的大致形状，然后使用假设和测试方法生成关于物体的更详细的信息，如Allen[1]中所讨论的。第一种主动策略是包容抓取，用于寻找形状的初始全局估计，然后通过更具体和局部的感知进一步细化。采用超二次曲面作为全局形状模型。一旦超二次曲线与初始抓取数据相匹配，我们就对物体的形状有了很强的假设。特别重要的是形状参数。物体的形状可以从这些参数中推断出来，并用于指导进一步的探索。例如，如果形状参数指示一个矩形对象，那么策略可以跟踪出平面并对跟踪数据执行最小二乘拟合，以测试曲面的平面性。我们发展的第二个程序是平面平面策略。在接触到一个物体后，手和手臂移动到物体表面的边界，绘制出它的图并确定它的法线。 The third exploratory procedure we have implemented is for surface contour following with a two-fingered grasp. This procedure allows us to determine an object's contour which has been shown to be a strong shape cue from previous vision research. During these experiments, the hand was equipped with Interlink force sensing resistive tactile sensors. The exploratory procedures were tested on a variety of objects-such as blocks, wedges, cylinders, bottles. The overall Utah/MIT hand system we have been using is described in Allen, Michelman and Roberts [3][2].

                                                                                            • 对象空间遥操作

                                                                                            • 遥操作是工业和假肢控制机器人手部的一种主要手段。传统的远程操作机械手的方法是使用Dataglove或外骨骼控制器:从人手到机械手之间有一个直接的映射。一般情况下，人类主人的手指位置被翻译给机器人，机器人将视觉或力反馈返回给主人。(参见Speeter等人[1992]，Pao和Speeter [1989]， Burdea等人[1992])。这种方法有几个困难:
                                                                                              校准:很难找到从人类手部主人到机器人的直接映射。例如，Hong和Tan(机器人与自动化，1989)开发了一个复杂的三步过程，每个用户必须重复。
                                                                                              机器人的手的能力不同于人类的手。例如，人类的手只能沿着一个轴平移物体，而像犹他-麻省理工学院的手这样的手可以在三个笛卡尔方向上平移物体。因此，使用Dataglove减少了机械手的操作能力。
                                                                                              自主性:机器人的命令是位移而不是函数。如果没有高级的功能，就很难增强机器人的自主性。此外，在主人和机器人之间存在长时间通信延迟(大于1秒)的情况下，机器人自主执行某些功能是有用的(Bejczy和Kim[1990])。
                                                                                              高自由度力反馈仍处于实验阶段，且成本高昂。
                                                                                              在这种类型的“手动控制”中，机器人和用户之间的接口主要是传输数据和执行坐标转换。我们提议通过将控制空间从关节位置转移到被抓物体的空间来增加机械手的自主性(参见Michelman和Allen[10])。一个简单的、低自由度的输入设备，如操纵杆，可以直接控制被操作对象的运动，而不是将主人手指的运动直接转化为机器人手的运动。被操纵对象的运动通常只涉及一个自由度;它们是二维平移和旋转。该系统依次计算所需的手指轨迹，以实现运动。低自由度输入装置的使用是有吸引力的，因为它缓解了上述问题，有关校准的难度，高输入和传感器带宽所需的完全远程操作。此外，增加了机器人的自主性，使其能够自动执行诸如保持抓力和抵抗外部干扰等任务。低自由度的输入设备可以包括语音识别系统，轨迹球，太空球(太空球是一个多功能的输入设备，可以感知施加到它的力和力矩。它还拥有一系列软件可编程按钮，可以在任务期间分配功能)，肌电信号，以及其他用于工业和康复的设备。 The basis of the object-centered teleoperation system is set of primitive manipulations described above.

                                                                                                • 人类灵巧和运动控制

                                                                                                • 在研究机器人灵巧性的同时，我们也在与Randall Flanagan(纽约师范学院)合作研究人类灵巧性和运动控制的模型。这项工作主要集中在几个方面，主要是(1)研究不同条件和物体几何形状下的握力调制，(2)分析人体精确操作过程中物体的运动学和握力。令人惊讶的是，关于人类操纵策略的研究很少，因为大部分注意力都集中在到达和抓取分析上。我们希望通过受约束的心理物理学研究和运动分析来发展对人类操纵的更多理解。

                                                                                                    • 8自由度机器人

                                                                                                    • 概述
                                                                                                      我们正在建造一个8自由度的机器人。这将允许任何给定的目标位置的手臂位置的广泛范围，从而提供了很大的灵活性的运动。运动可以由附加的约束来控制，如到目标位置的距离，或保持位置所需的能量，这比传统的六自由度系统更现实的运动，传统的六自由度系统对目标位置只有有限的解。
                                                                                                      这8个自由度是通过将统一Puma臂(6个自由度)与定向感知潘/倾斜装置(2个自由度)相结合实现的。pan/tilt装置安装在Puma臂的末端，有一个定制的底座，一个CCD相机安装在pan/tilt装置上。我们正在使用校准板校准设备，并遵循Tsai和Lenz论文中的程序，“机器人眼、眼对手和手使用3D机器视觉校准的统一校准三人组概述”。
                                                                                                      定向感知Pan/Tilt设备在3弧分钟内给我们精确度，这让我们可以精确定位视角，同时也给我们合理的速度和加速度。它由自动控制加速度曲线的硬件控制，同时允许程序员设置速度和加速度参数。

                                                                                                        • 机器视觉交互式教程

                                                                                                        • 概述
                                                                                                          我们正在为机器视觉算法开发交互式教程，用于教学实验室设置。所谓“交互”，我们指的是用户可以实时更改算法的数据集和参数，甚至算法本身的操作，以查看对输出的影响。
                                                                                                          其中一个项目被称为虚拟视觉实验室，它提供了一个模拟实验室环境，使用两个Puma 560机器人。其中一个机器人有CCD摄像机，另一个是气动平行夹持器。
                                                                                                          我们目前正在添加光流模块的教程。