哥伦比亚大学
视频播放
加载播放器
  • 提供配置文件
  • Columbia大学机器人集团由学生研究员和Columbia大学计算机科学系杰出教授组成。过去几年中许多项目都成功介绍并在许多领域提供帮助,特别是在机器人抓取、三维视觉建模和医学机器人方面。
产品组合

  • 辅助机器人学:Gresping脑计算机界面

  • 辅助机器人使用新脑计算机接口

    这是一项协作性建议(与UCDavis合作),旨在具体实现辅助机器人学的一些主要目标。从信号处理控制领域(PI Sanjay Joshi)、机器人抓取领域(PI Peter Allen)和康复医学领域(PI Joel Stein)聚集一队专家创建现场可部署辅助机器人系统,使重残病人控制机器人臂/手系统使用新脑肌肉计算机接口执行复杂抓控任务此外,这项努力的意图并不仅仅是技术驱动型的,而且还有清晰和必要的临床需求驱动型的,并将评价它如何很好地满足这些临床需求验证工作将在哥伦比亚大学复健医学系对多组残疾用户进行,这些用户将对开发技术提供重要反馈,这些反馈将用于迭代系统设计实施

      • 用户BCI控制系统

      • 主体戴EmotivEPOCEG耳机,用于检测控制系统面部手势点云由微软Kinect获取并用于检测目标对象的身份和位置用户使用EEG耳机引导抓取规划接口寻找对对象的正确抓取,并发回机器人抓取平台执行

      • 用户界面半自主抓取

      • 用户界面由三大窗口组成:主窗口内装3个标签机器人手和目标对象对齐点云,管道引导窗口内含提示用户引导与规划者每一阶段的互动,以及抓取视图窗口内含规划者迄今发现的10个最佳抓取点云允许用户视觉化模型适配并相应动作

      • 实验主题

      • 手柄抓取所有瓶子不是强制闭锁抓取,但如果实验对象选择它,它百分百成功添加抓取数据库允许系统使用语义相关抓取

    • Vivio外科成像系统

    • Vivo泛域视屏集成光源

      直角成像仍然以推长棒小开口范式为主这种方法对最小访问外科有一些限制,例如角成像窄度、工作空间有限、反直觉运动和内镜仪表额外切分我们的意图是超越范式, 并重定位传感器 和效果器直接进入人体洞为此,我们开发出原型小说可插入泛工内孔照相机并配有集成光源包长110毫米,直径10毫米,可通过标准木马插入腹部,并嵌入腹墙上,留下切口开放存取相机包分三部分:成像模块、光照模块和泛平台/平台成像模块包括透镜和CCD成像传感器光照模块附属成像模块并拥有数组LED光源Pan/tit平台使用小型servo电机提供成像模块120度和90度倾斜运动固定机制设计将设备置入空洞标准欢乐棒可用自然方式控制相机运动设计允许多摄像包插入单切片
        • 原型I设计五维可插入相机
          顶端:带相机设备收回
          底部:摄像头提取
        • 使用原型任务中某些任务(例如:预测、图像训练、需要长距离运动)
        • 原型外科任务使用
          左上角:原型二类相机图像插入腹腔
          上右侧插入针头,用它把设备附加到腹部左下角:针环绕设备附加
          右下角:设备牢靠腹墙

      • 建模、可视化和分析历史和考古遗址计算工具

      • 国家科学基金会赠款IIS-0121239

        这个项目于2001年9月开始,为期6年,与项目有关的工作仍在进行中。研究项目有多项广度目标
        • 开发新方法创建大型历史遗址和考古遗址复杂三维摄影实战交互模型
        • 开发系统创建新信息可视化系统类集三维模型、二维图像、文本和其他网络资源注解物理环境系统将支持实地科学家,并便利现场判读和远程学习
        • 开发新数据库技术编程并访问网站结构、文物、对象和上下文将大大提高用户查询分析网站信息的能力
        • 开发方法和资源允许师生上网访问模型和相关信息并同时课堂和家用目标是允许从各种教育层次灵活获取大量新科学和历史数据,以显示发现和变化如何成为科学和解释动态过程的一部分

        活动:
        法兰西大教堂建模皮埃尔博华斯
        纽约建模大教堂强神
        西西里山建模帕拉佐 西西里
        南非:图拉梅拉建模
        州长岛:FortJay模型
        埃及Amheida挖掘全景埃及网站建模
        考古视觉化:考古挖掘协作视觉化跨层次交错
        数据库组织学:ArchQueryColumbia面向数据库查询引擎

          • AVENUE项目

          • AVENUE表示城市环境自主探索导航.

            项目目标城市点建模过程自动化主要目标不仅是实事求是地寻找,而且还要构建复杂户外城市环境几何精度和光度正确模型环境特征为大型三维结构,内含广度几何形状和广度几何属性
            各种应用需要模型,如城市规划、城市设计、历史保存和考古学、消防和警察规划、军事应用、虚拟增强现实、地理信息系统和许多其他应用目前,这类模型通常是手造的,手造速度极慢,易出错AVENUE通过搭建移动系统解决这些问题,该移动系统将自主环游网站并创建最小人际交互模型(如果有的话)。
            移动机器人的任务是去理想位置并获取请求三维扫描和选定楼像位置由传感器规划系统确定(a.k.a视图规划系统),路径规划系统使用生成可靠的轨迹,机器人随后跟踪机器人到达目标位置时使用传感器获取扫描图像并转发到建模系统建模系统注册并输入新数据到网站现有局部模型中(起始点可以是空的)。后视图规划系统决定下一最佳数据采集位置并重复上述步骤过程从某个位置开始并逐步扩展覆盖区,直到获取网站全模型

              • 移动平台

              • 机器人使用ATRV-2模型 RealWorld界面公司制造最大有效载荷为100kg(220lbs),我们正努力很好地利用该有效载荷12声纳随机器人而来,我们加多传感器和外围
                • Pan-tilt单元持有色CCD相机用于导航和图像采集
                • a Cyrax激光测距极高质量和100米操作范围
                • GPS接收器以载波相位差模式工作(又称实时运动式)基地站安装在我们校园中最高楼顶通过广播链路和网络提供差分校正
                • HMR-300综合模块由数字指南针和二轴倾斜传感器组成
                • 11Mb/sIEE802.11b无线网络自主运行期间与远程主机持续连通多基站正在校园安装以扩展网络连通范围
                机器人和以上所有设备均由机载双薄3500Mhz机控制,机载512MBRM运行Linux

              • 软件架构

              • 设计分布面向对象软件架构,促进系统各种组件的协调数据库基础是iRobot开发的机器人集成软件框架并大量使用CORBA
                主构件同时执行分布式软件组件组件可在同一进程内互通(通过iPC),跨进程互通,甚至跨物理主机互通执行相关任务组件分组为服务器服务器是一个多线程程序处理系统整个方面,例如导航控制或机器人接口服务器都有一个定义清晰的接口,客户可发送命令、检查状态或获取数据

                硬件由7个服务器存取控制指定服务器NavServer建硬件服务器顶端并提供定位和运动控制服务以及远程主机机器人高端接口

                计算强度过强的组件(如建模组件)或需要用户交互作用的组件(如用户接口)都寄居远程主机上,通过无线网络链路与机器人通信

              • 本地化

              • 本地化系统使用两种方法第一种方法使用odoride数字指南针/泛平台模块和全球定位系统实现开放空间定位扩展卡尔曼滤波整合传感器数据并跟踪相关不确定性当全球定位系统数据可靠时,方法即为唯一定位法当数据变差时,方法检测增加不确定性并调用第二定位法求取额外数据
                第二种方法,即视觉定位基础摄像头姿势估计重计算,但仅在需要时使用当引用时,它停止机器人,选择附近楼使用并取图像剖面估计方法匹配图像线性特征和简单紧凑模型数据库模型存储机载计算机无需环境修改

            • 蛋白质流

            • 概述
              ProteinStreak种子项目的目标是为蛋白晶学任务创建创新高通量微博系统,称为串行播种系统使用安装在显微镜上的摄像头的视觉反馈控制显微机,它把安装工具附加为终端效果器机器人系统使用时,我们开发出独特的新工具,称为误序影机,设计这些工具是为了解决晶体画家胡须、briscles或其他类型发型传统使用的某些限制问题。

              任务描述
              串行播种在初始结晶实验产生晶体时有用,晶体太小(小于40m尺寸)和/或质量低,无法用于结构判定获取质量更高的晶体,新反应像原状反应,然而,在孵化前,最初获取晶体小片转归新蛋白试剂混合体以绑定结晶过程晶片分解进程称串行播种
              串行播种任务由三步组成(图2)。第一,工具清洗净水清除残留物第二工具用来触摸和探查现有晶体,拆分成碎片并取出部分第三,工具通过新混合并存部分碎片工具必须有必要性能才能分解、保留和释放晶片,因此它所制成的材料对过程效率非常重要传统使用各种发型、树枝、胡须或马尾

                • 串行播种机器人

                • 基于先前开发努力 使用通用微博系统 处理蛋白晶, 我们已经搭建 专用串行播种机器人叫CARESSCARESs--Columbia大学自动化机器人环境树枝---使用新式蛋白线性树苗法-使用自定义工具-微软机技术设计编译
                  CARES使用安装在显微镜上的摄像头的视觉反馈控制显微机,它把安装工具附加为终端效果器所有传感器和启动器都连接个人计算机并受机上程序控制软件负责处理相机视觉流,使用计算机视觉技术定位工作空间相关对象的位置并相应控制启动器用户通过图形界面与程序交互设置系统,执行任务并查看数据

                  机器人设计用悬浮滴晶化法工作,从源晶用户搭建系统时将覆盖液与蛋白晶片相接,96well板盖表与目标蛋白滴子并存,并装水清除播种工具的微桥系统启动并自主播种顶速96瓦板5至6分钟内播种侧面板视频显示CARESS运行

                    • 串行种子晶体

                    • 载波

                    • 用户界面

                  • 蛋白晶峰

                  • 概述
                    Protein晶体机项目解决Protein晶体学社区对高通量设备的需求问题,高通量设备将有助于改善被称为晶体安装的专门任务的执行项目的目标是生成微博系统,能自主、快速和稳健地执行任务机器人安装系统依赖摄像头视觉反馈 通过显微镜控制显微机

                    任务描述
                    任务起始点设置覆盖液(通常为21mx21m平方形滑动,例如24wellLinbro板使用滑动板),装有蛋白晶片的小滴放入显微镜下技术员透视显微镜使用工具抓取目标晶体晶体快速保护、冷冻并存储供未来X射线数据收集
                    最常用安装工具为低温循环由汉普顿研究制作最近引进新开发工具,如MiTeGen制造的微数和我们自己微数集
                    任务目前由高技能技师执行水晶循环人工需要时间、耐心和极佳运动技巧精确度和速度至关重要,因为晶体脆弱并极敏感环境变化脱水快速导致晶质退化侧面板视频实例说明任务包含什么---视频循环安装在一个远程操作的微定位器上现实中任务可能因操作时间有限而更加复杂化,小滴表面组成skins和水晶嵌入覆盖页
                    水晶安装是一个术语,既指采集蛋白晶实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实实工作用词表示前向,后向则指波束积以避免混淆

                      • 系统设计操作

                      • 设计并组装微博系统 用于蛋白晶操作 用于研究实验早期版本系统成功展示使用微小片自动机安装当前实施依赖双级方法,即使用一种工具(玻璃管道)从孵化滴取晶体并转至另一个工具(微机或微机),该工具在X射线数据收集期间持有晶体

                          • 水晶嵌入微片

                          • 晶体安装简单描述为将所选蛋白晶体从生长法转换为适当的安装工具以收集同步器数据

                          • 水晶挂起搭建

                          • 晶件安装程序从将必要工具与对象置入工作空间开始第一,带密码保护器的微桥置托盘上指定位置下一步,小山安装到右侧固定位置并定位得当,沉浸在大约45度角保护口中并准备接收晶体用户最后会用小滴置入显微镜托盘中蛋白晶体

                          • 控制系统块图

                          • 用户启动程序并具体说明哪些晶体加载接二连三地自发运行:它浸泡管道滴水,接近晶体,吸收晶体,从覆盖液滴水向微桥冷冻器过渡并存储晶体其中一些步骤以开放环方式执行,因为系统按相关对象的位置和维度校准,系统启动程序满足定位精度要求水晶期望是一个关键依赖可靠感知反馈的阶梯实例确定晶体位置并检测管道内晶体时,我们使用区域跟踪器应用到摄像头视觉馈送控制循环跟踪晶体运动并相应调整微喷射器应用的抽取法直到晶体安全入内块图控制算法显示在上述图像中

                        • 可视化机器人

                        • Paul对机器视觉的具体兴趣是监听大型集成工作室(约小于课堂大小)。他想视觉跟踪工具、工作件和抓抓器等物体移动工作室自定义搭建顶层通道并附带全塔单元和终端功效器摄像头净结果为混合5度自由机器人,可定位并引导工作空间任何地方的相机混合机器人servos摄像头保持移动对象以其视域和期望图像解析为中心

                            • 方法论

                            • 传统研究人员从二维摄像头图像测量三维对象姿势,攻击相似问题这需要先验性对对象几何知识,因此研究人员通常使用CAD模型或特定对象位置的画分三维对象姿势测量后与图像操作者Jacobians一起绘制摄像头图像空间向机器人联合空间移动速度变化图网效果是机器人servos摄像头调节所期望的相机对对象构成约束

                              约束技术的警告是机器人马达可能没有足够的带宽(troque能力)来保持这种约束句法缓慢 因为它的重连通无法快速加速摄像头将导致视觉接触缺失突发加速生成端点振荡反之,PTU轻量快并快速旋转摄像头以保持视觉接触净效果是跟踪性能取决于DOF在跟踪任务中的引用

                              我处理跟踪问题的方法是设计控制法 定义PTU和Grantry联合连接概念出自随机观察人类跟踪行为人民还拥有带宽和运动范围不等的关节(眼圈、颈圈、狐步)。并无需先验对象几何知识并发现双目和颈部向同一方向倾斜 与对象运动轨迹这种行为表示底层运动联合联动

                                • 实现

                                • 传统方法完全依赖图像数据对比之下,大多数商店楼机器人只使用运动式联合编码器数据组合图像和运动数据可实现联合联通图像数据用于控制板并倾斜DOFs将目标以摄像头现场为中心由此产生的运动角数据由导体使用向泛和/或倾斜方向传输相机通过定义基础控制法中的联合联动 我们模仿前文提到的协同人跟踪行为以这种方式分割DOF净效果跟踪系统(1) 不需要基于CAD模型2)利用PTU快速电机带宽快速跟踪目标3可乘人机大运动范围将相机移到工作室中任何地方

                                    • 结果

                                    • 装配机中包括工工浦机器人和东叶多功能抓包收集工具件我们喜欢视觉跟踪 抓手移动工作室
                                      单方和方差跟踪器用于监控相机内手图像定位文本书籍图像处理技术使用关联匹配像素块从一个图像框架到下一个实时产生结果(30框架/sec结果)。
                                      抓手三角轨迹移动垂直、横向和深度变化斜道和垂直通道DOF与泛横向通道DOF定义分治sd尺度数据用于评析剩余通道DOF以维护期望图像解析度(即深度)结果由手持相机和gantry-PTU摄像头同时录制

                                        • 效果分析

                                        • 抓取速度介于6至20cm/s之间,并被分治通道-PTU系统有效跟踪相形之下,传统调控器实施失败速度大于2cm/s净效果是分治系统可跟踪快速移动对象,维护图像分辨率,不先验了解对象几何学

                                          使用单 ssd跟踪器可使用分区跟踪广度几何复杂对象系统可跟踪人行走工作室

                                            • 稀疏感应器合并

                                            • 带机器人抓取任意对象仍是一项艰巨任务,有许多开放研究问题多数机器人手要么没有传感器,要么缺乏报告准确位置和强制联系信息的能力
                                              折指编码器数据、触摸感应数据、线程读数和视觉,我们可以提高机器人手抓控任务能力实验手使用BarrettHand(左侧照片),即三指四DF手
                                              手上覆盖触摸传感器,用来定位手表接触物并判定接触力

                                              效果分析
                                              模型给定偏转函数取指针信息与三叉杆相机图像数据并发并触摸传感器读数增强抓取配置实验用手螺旋电容器盖成功完成

                                                • 斯图尔特平台电水循环控制

                                                • Stewart平台(左侧)六度自由机制常用飞行模拟器有效载荷置顶平台并扩展连成斜线、斜线、滚动定向并垂直、摇摆和摇摆位置我对Stewart平台的兴趣是设计韩国国防开发局的船舶运动模拟控制系统项目最终目标是对高速炮舰安装自动点火机制

                                                  短信链路为电水平台定位精度取决于操作和环境因素,如温度和流体粘度因此我设计了一个模型参考自适应控制器(MRAC)以补偿这些因素的波动

                                                    • 序言

                                                    • 通常数字控制设计有两种方法一种方法是在Laplace域使用模拟模型,然后使用零序分解另一种方法是从设计阶段一开始就使用z域数字模型
                                                      两种方法都优缺点模拟建模使设计者更好地了解现实世界系统,特别是在带宽和线性方面。数字建模无论如何容易计算机实现,但却混淆现实世界系统理解部分原因是z变换性质
                                                      直觉上人们会想当采样时间接近零时(即采样时间接近零时)(即采样时间接近零时)快速采样频率)离散模型应接近模拟模型的形式z变换和ZOH不产生快速采样频率离散模型非最小相位化,即离散零位值置单元圆外多控制器,包括MRAC依赖极零注销,非最小级必须消除以避免不稳定性稳定控制法则要求使用大采样时间导致测量精度损失
                                                      非最小相位现象是使用移位运算符的结果(即变换ZOH移位运算符就是模拟和离散版本相同控制法的原因(例如最优适应性)存在直觉判断控制法离散版当采样时间为零时应等同模拟版

                                                        • 方法论

                                                        • 欧拉运算符设计数字控制器运算符和移位运算符一样容易使用并符合直觉采样时间接近零时,离散欧拉模型接近模拟等效模拟模型最小相位数则离散模型最小相位数连续时技术很容易应用到离散欧拉模型中欧拉运算符稳定区为-1/T圆半径1/T采样时间T接近零时 稳定区与Laplace域相同相形之下 移位运算符稳定区 总是单元圈 不论采样时间大小

                                                            • 实现

                                                            • 使用欧拉运算符我设计MRAC控制Stewart6d采样时间为25ms(40Hz),如果使用移位运算符则会导致非最小级零控制法编程用Pascal处理386PC和模拟数字板(1991年)。
                                                              系统识别使用快速傅里叶变换机获取servovalvebode绘图产生第三序Laplace函数转接后与Euler运算符分解
                                                              Servovalve模型有理想性能特征后设计适应策略模型标注理想环境与操作因子输入输入模型和实际servalve并比较输出输出差值定义错误,适应策略最小化生成补偿输入
                                                              显示MRAC有效性液压和流体温度操作时人工变换虽有这些变化,电水悬浮定位误差可忽略不计

                                                                • 过去的研究项目

                                                                    • 跟踪抓取移动对象

                                                                    • 实验室是第一批探索实时计算机视觉数据并行性实验室之一第一组低级图像处理算法由我们负责为PIPE数据流结构编写,这些算法一直是我们向Siemens公司、Lockheed公司、FMC公司和北美Philps公司转移技术程序的一部分机器视觉已成为一个重要的研究题目,因为当前开发的系统终于能处理速率以维持视觉反馈实时控制
                                                                      我们有兴趣探索手对手协调的交互作用,以动态抓取任务,即待抓取对象移动机体感知模式和电机控制系统之间的协调是智能行为标志,我们正在追求目标,即建设综合感知启动系统,该系统可动态操作而非静态环境操作系统多传感器系统整合实时视觉工作、机器人臂控并稳定抓取对象第一次尝试产生系统 实时跟踪并锐取移动模型列车下图视频

                                                                      算法相当泛泛并适用于各种复杂机器人任务,需要视觉反馈以控制臂和手当前,我们正在扩展这项工作以全三维空间跟踪并搭建2套新控制算法,使用多移动对象检测器和手表机进行细化跟踪和抓取这项工作很重要显示 i) 当前视觉实时计算设备水平足以执行动态任务,包括移动对象 2 光流足够强到实时计算立体匹配

                                                                        • 主动非校准视觉Servoing

                                                                        • 校准方法往往难以理解,在许多机器人环境使用不便,并可能需要最小化数项复杂非线性方程(无法保证数字稳健或稳定性)。此外,标定通常只在工作空间小子空间精确精度快速下降 标定区左这会对活动移动摄像系统构成真正的问题以我们为例 使用主动视觉系统 无法对系统每次移动重新校准需要在线标定法更新成像系统与激活系统之间的关系开发出一套新算法 精确对齐定位 无需校准通过直接从图像提取控制信息,我们从通常与固定标定相联的错误中解放技术摄像系统连接机器人 令摄像系统与抓手同时旋转摄像系统旋转抓手旋转轴时,圆形路径通过点相似特征项目追踪到图像空间的椭圆路径收集部分旋转预测特征点并匹配所收集数据从旋转轴到世界空间特征点的距离与生成椭圆大小成比例旋转轴接近特征后 特征预测路径会变小当旋转轴直接上方时,轨迹从椭圆滑向单点

                                                                          显示算法效率 插孔问题相机安装到机器人终端效果器侧eg嵌入块上洞中,与终端效果器旋转轴对齐见图1算法使用图像Jacobian近似控制机器人运动JacobianJ组件依赖机器人参数,摄像系统与机器人系统之间的转换和摄像系统参数我们计算图像Jacobian世界空间2步观察图像空间特征运动通过实验计算图像Jacobian在每个新点上(并丢弃先前计算中的信息),我们可以使用新估计将机器人移到正确对齐位置,尽管我们尚未校准两个系统

                                                                            • 可视引导抓取并操纵

                                                                            • 人的经验为视觉能力提供生存证明 帮助抓取和操作任务视觉可提供丰富的空间安排知识(即:几何学和地形学) 对象控件知识 和操作方法知识我们的目标是视觉监控并控制机器人手执行抓包操作任务时的指针动因是大多数机器人手普遍缺少准确快速反馈多抓手缺乏感知力,特别是在与对象接触点,并依赖开环控件执行抓取和操作任务视觉是一种廉价有效方法,为这些任务提供必要的反馈和监测使用视觉系统,简单非工具抓取器/手可成为精密装置,可定位甚至控制力
                                                                              这项研究旨在利用视觉提供汇编操作所需要的遵章性强健性,而无需深入分析物理抓取或详细环境知识以控制复杂抓取和操作任务使用视觉,我们理解环境对象空间排列而不干扰环境,并可以提供为机器人控制环路提供强反馈的手段前文工作综合视觉和触摸对象识别任务扩展对象跟踪系统 以提供视觉反馈 定位指向和对象视觉分析可用于控制抓取系统数项操作任务,需要监控并控制指向接触、对象运动和任务完成并关闭视觉反馈环路 从Barrett手系统建议通过视觉跟踪指针阅读力,我们可以精确定位手并监控物体抓取状态研究领域非常丰富,在这方面所做的工作相对较少(主要障碍是获取实机手,因为它们难以搭建和昂贵购买)。

                                                                                • 模型传感器规划

                                                                                • MVP系统是规划传感器透视的强健框架CAD描述对象及其环境,视觉传感器模型加特征说明,MVP生成摄像头定位、定向和镜头设置(聚焦环调整、焦长和孔径),保证强视特征在此背景中,强健观点意味着一种不受阻碍、焦点突出、适当放大和深入到视觉领域的观点此外,MVP还试图在所有参数中找到有最大误差的视图
                                                                                  下一图像显示对象模型内立方体两端视图下图显示可见量-从卷内任何地方可见特征上图显示系统从视图计算

                                                                                  并探索方法扩展MVP到动态环境中规划观点第一种方法目前限于移动屏障案例(目标或特征观察静止),即沿轨迹扫遍所有移动对象模型并围绕扫荡卷积规划,而不是实际对象时间间隔搜索与扫描卷并用规划视图,这些视图对任务期间各种间隔有效这种方法已在模拟中实施,实验正在机器人实验室中进行实验搭建有2架机器人臂,1架带相机,1架环游环境动态MVP系统视图保证对固定目标的强视,尽管机器人运动视图由第一个机器人实现,而第二个机器人在移动执行任务

                                                                                    • 自主精密操作

                                                                                    • 操作作业中,我们调查精确任务的要求与执行,其中“精度任务'定义为单指脚运动引起抓取对象运动的那些任务这项工作的动机是开发策略,使手能执行精密工具任务,需要控制抓取对象与环境之间的交互力
                                                                                      一组原语操作定义 囊括六大技术每一种操作定义对象基本翻译或旋转循环或矩形跨段并可用数种不同的抓取配置执行组合原语使手能旋转或翻译面向对象框架的任何方向定义基本策略 模拟运动控制程序 简化机器人系统规划需求高层规划者一旦判定需要对象运动,即自主执行人工仿真处理不同任务需求,包括抓取力、运动距离和速度假设任务执行速度慢到需要准静态分析,对象僵化(虽然不需要精确对象模型),并有强度和位置控件可用任务元素有:(1)指针轨迹描述,(2)手工作空间分析,(3)操作期间保持抓取稳定方法,任务分治使用混合力/定位控制轨迹定义操作期间指向运动手工作空间一般复杂,不接受闭式解决办法对象操作允许指针轨迹必须同时查找所有联系人配置空间分析生成给定大小对象最大对象运动距离,并生成全球框架初始抓取位置和手势位置信息需要定位机器人臂实现最大对象可容性,即操作达段期间移动任务划分规范方位控制方向,简化操作期间对抓取力的维护并产生控制外部对象力的简单方法

                                                                                        • 沉浸式感知

                                                                                        • 研究领域之一是调查用触觉信息恢复三维对象信息获取三维场景信息侧重于被动二维成像方法(steopsis结构运动等)或三维测距方法(结构化照明、激光扫描等),但使用多指机器人手主动触摸获取场景描述的工作很少,尽管人的能力开发良好。触摸感知与其他更多被动感知模式不同,例如视觉多方式多指机器人传感器可探测、移动并改变环境触摸感知生成远比视觉方法少特别引人入胜的是心理证据 显示人能恢复形状 和数个其他对象属性 完全可靠使用触摸
                                                                                          Allen和Michelman描述形状恢复实验使用主动策略实现全局形状恢复、轮廓跟踪和表面正常计算方法先查找毛对象形状后使用假设测试法生成更多细节对象信息,Allen[1]中讨论主动策略先用封存法查找形状初步全局估计值,然后通过更具体局部感测法进一步完善超二次模型使用为全局形状模型超二次匹配初始抓取数据后 对象形状假设强特别重要的是形状参数形状对象可以从这些参数推断并用于指导进一步探索举个例子,如果形状参数表示矩形对象,则策略可以追踪平面并用最小方形数据测试表面平面第二程序开发 平面策略与对象接触后,手臂向对象表面边界移动映射并判定其正常性第三个探索程序为表层轮廓并用双指抓取程序允许我们判定对象轮廓 显示它是一个强形提示 前视觉研究实验期间,手装有互连力感应触摸传感器探索程序测试各种对象,如块块、网格、圆柱和瓶子整体Utah/MIT手系统描述Allen、Michelman和Roberts[3][2]

                                                                                            • 对象空间远程操作

                                                                                            • 远程操作为行业和假肢控制机器人手法传统远程操作机器人手法使用数据格列夫或外骨骼大师:从人手直接映射机器人手泛指人主位置翻译机器人 视觉或力反馈从机器人返回大师Speeter等[1992年],Pao和Speeter[1989年],Burdea等公元1992年这种方法有几大难点:
                                                                                              校准:很难从人手大师到机器人直接映射举个例子,Hong和Tan开发复杂三步进程
                                                                                              机器人手能力不同于人手能力举个例子,人手只能沿单轴翻译对象,而Utah-MIT手等手则能用三种笛卡尔方向翻译对象使用Dataglove可降低机器人手操作能力
                                                                                              自主性:机器人命令移位而非函数没有高层次函数 很难增强机器人自主性此外,在主机和机器人通信延迟时间长(大于一秒)的情况下,机器人自主执行某些功能是有用的(Bejczy和Kim[1990])。
                                                                                              高自由力反馈仍然是实验性费用昂贵
                                                                                              类型中“人工控制 ” 机器人和用户界面主要传输数据并执行坐标变换我们建议提高机器人手自主性,把控制空间从联合定位移到抓取对象空间(见Michelman和Allen[10])。与其直接翻译大师手指运动机器人手运动,不如简单低度输入设备,如摇杆控制受控对象运动受控对象运动通常包含单度自由它们是二维翻译和旋转系统转算所需指向实现运动低自由输入设备使用有吸引力,因为它缓解了上文引用的问题,即难以标定、高输入和传感器带宽全面远程管理并增强机器人自主性使其能够执行任务,如保持抓取力并自动抵抗外部扰动低DOF输入设备可包括语音识别系统、跟踪球和空间球(Spaceball是一个多功能输入设备,感知应用到它的力量和时段)。并有数组可编程按钮,任务期间可分配函数 、线电信号 和工业恢复使用的其他设备以对象为中心远程操作系统基础是上文描述的原始操作集

                                                                                                • 人德克斯特和电机控制

                                                                                                • 与机器人理解性并行工作的同时,我们正与Randall Flanagan协作研究人类理解性模型和运动控制模型(N.Y.纽约师范学院)。这项工作侧重于几个领域,主要是(1)研究不同条件和对象几何下握力调制,(2)分析人体精度操作期间物体运动学和握力人类操作策略研究少之又少令人惊讶,因为注意力多都指向接触和抓取分析我们希望通过约束性心理物理学习和运动分析加深理解人类操纵

                                                                                                    • 8-Dree自由机器人

                                                                                                    • 概述
                                                                                                      正搭建8度自由机器人允许多臂位置为目标位置提供大范围位置,从而使运动具有极大灵活性。运动可受额外约束约束,如距离目标位置或保持位置所需能量比传统自由系统六度系统更现实运动,后者只有有限数目标位置解决办法
                                                                                                      8度自由由UnimationPuma臂(6度自由)与定向感知泛域/Tirt设备(2度自由)合并实现Pan/tut设备安装在Puma臂端并自定义安装,CCD摄像头安装在Pan/Tilt设备上使用标定板校准设备 并遵循Tsai和Lenz论文程序 3D机器视觉统一校准Trio概述
                                                                                                      定向感知Pan/Tilt设备在3弧分内提供精度,使我们能够精确定位视图角,同时提供合理速度加速由硬件控制自动控制加速曲线,同时允许程序员设置速度加速参数

                                                                                                        • 机器视觉交互式教程

                                                                                                        • 概述
                                                                                                          开发交互式机器视觉算法教程供指令实验室设置使用即时变换数据集参数算法 甚至是算法本身运算 看输出效果
                                                                                                          其中一个项目称为虚拟视觉实验室,提供模拟实验环境2Puma560机器人机器人中有一个有CCD摄像头,另一个有充气并行抓取器
                                                                                                          当前我们正在教程中添加光流模块