导航:EXPO21XX>视觉21 xx>H15:研究和大学卡尔斯鲁厄理工学院
卡尔斯鲁厄理工学院
视频
加载播放器…
  • 提供配置文件
  • 人形机器人研究小组目前正致力于类人部件的规范和设计,开发用于感官数据处理和运动控制的专用硬件,以及设计软件框架,允许在具有丰富感官和运动能力的类人机器人中集成。
产品组合
  • 仿人机器人

  • 集成人形平台

  • 在设计我们的类人机器人时,我们希望能设计出一种高度模仿人类感官和感觉运动能力的类人机器人。机器人应该能够处理家庭环境以及在其中遇到的各种各样的物体和活动。

    自1999年以来,我们一直在综合视图下构建自主类人机器人,以便能够执行广泛的任务(而不仅仅是特定的任务)。ARMAR系列的机器人(ARMAR- i, ARMAR- ii, ARMAR- iiia和ARMAR- iiib)被设计用于支持抓取和灵巧操作,从人类观察和自然的人机交互中学习。

    该领域的研究活动包括类人部件的规范和设计,用于感官数据处理和运动控制的专用硬件的开发以及软件框架的设计,这允许在具有丰富的感官和运动能力的类人机器人中集成。

    ARMAR家庭
    人形ARMAR机器人由588合作研究中心开发:人形机器人-学习和合作多模态机器人(SFB 588)。2000年,卡尔斯鲁厄制造了第一个人形机器人,并命名为ARMAR。这个人形机器人有25个机械自由度。它包括一个自主移动的轮驱动平台,一个具有4个自由度的身体,两个具有7个自由度的拟人冗余臂,两个简单的夹持器和一个具有3个自由度的头部。

    在2006年设计我们的机器人ARMAR-IIIa时,我们想要一种能密切模仿人类感官和感觉运动能力的类人机器人。机器人应该能够处理家庭环境以及在其中遇到的各种各样的物体和活动。ARMAR-IIIa是一个完全集成的自主类人系统。它总共有43个自由度,并配备了位置,速度和力-扭矩传感器。上半身被设计成模块化和轻型,同时保持与普通人相似的大小和比例。对于运动,我们采用了一个移动平台,允许在应用领域的完整移动。两年后,一个稍微改进的人形机器人ARMAR-IIIb被设计出来。

    卡尔斯鲁厄人形头一直用于ARMAR-IIIa和ARMAR-IIIb。每只眼睛拥有两个摄像头,一个广角镜头用于周边视觉,一个窄角镜头用于注视点视觉。它总共有7个dof(颈部4个,眼睛3个),6个麦克风和一个6D惯性传感器。在整个欧洲,已经有10个这个头像的复制品在使用。
    • ARMAR-IIIb(左),2008年和ARMAR-IIIa

    • Armar 3a洗碗机

    • 卡尔斯鲁厄人形头

  • 把握与操纵

  • 抓握动作的策划与执行
    抓取和操纵可以让类人机器人与环境互动,因此规划和执行抓取动作的核心组件对于机器人在日常环境中的应用非常重要。因此,我们正在研究赋予人形机器人这种不可或缺的能力的方法。我们正在为抓取和操纵任务所需的三个主要任务开发集成方法:抓取规划,求解冗余机械手的逆运动学和无碰撞运动的规划。重点研究了仿人机器人抓握规划、抓握动作表征和仿人抓握等问题。此外,我们正致力于整合不同的抓取相关方法,由我们的合作者在研究界开发,赋予我们的人形机器人抓取不同类别的已知和未知物体的能力。由于机器人无碰撞轨迹的确定必须以快速可靠的方式完成,考虑到不断变化的环境,因此方法基于随机算法,例如快速探索随机树(RRT)。规划无碰撞运动的方法使我们的人形机器人能够单手或双手抓取物体,重新抓取物体并实现人工操作任务。此外,我们正在研究综合运动规划方法,将规划抓取运动的三个主要任务结合到在线规划概念中:寻找可行的抓取,求解逆运动学和搜索无碰撞轨迹的构型空间。此外,还开发了多机器人规划器,允许同时执行合作抓取动作。这些方法在仿真和人形机器人ARMAR-III上进行了评估。 To allow an robust execution of graping and manipulation motions, Visual Servoing techniques are applied for accurate positioning of the hand.
    • ARMAR-III打开洗碗机

    • ARMAR-III打开洗碗机

    • 用双手的交互

  • 从观察中学习

  • 我们教机器人新任务的指导原则是从人类通过模仿学习新技能的方式中汲取灵感。通过模仿学习的机器人学习,也被称为演示编程,是让机器人观察人类教练执行任务,并在需要时进行模仿的概念。我们将这种机器人编程范式作为一种强大的工具来加速高度复杂的运动系统(如人形机器人)的学习。

    该研究领域的主要科学问题是人类日常行为的捕捉,人类行为的建模和表示,学习低层次表征与学习高层次表征之间的联系,从而导致不同情境的泛化。此外,我们正在研究如何将模仿和探索结合在一个单一的交互范式中,其中模仿不仅被用作搜索的起点,而且用户仍然密切参与新技能的获得,通过评估机器人实验的新解决方案,或在机器人陷入未知情况时提供额外的例子来加速学习过程
    • 从观察中学习

    • 人体动作捕捉与识别

    • 无标记人体动作捕捉是模仿学习和人机交互的先决条件。我们的研究重点是基于实时立体的方法,利用典型人形机器人头部的立体摄像系统,具有与人眼距离相当的基线。采用粒子滤波作为统计框架。
      列出的出版物说明了我们的方法的发展和进步,从单目方法开始,然后引入3D手/头跟踪作为单独的线索,在我们最近的工作中,结合了逆运动学,自适应肩部位置以允许模型更大的灵活性,以及合作线索融合的优先级方案。目前,我们可以使用传统硬件,用人形机器人ARMAR-III的头部实时捕捉人体的3D运动,处理速率为20hz。捕获的轨迹用于在线复制。
  • 愿景

  • 该领域的研究课题主要涉及车载机器人视觉作为感知世界的主要感官通道,并赋予人形机器人适应不断变化的环境的能力。目前主要研究目标识别与定位、自定位、视觉伺服和无标记跟踪等方法和技术。

    此外,我们正在解决与使用主动视觉相关的研究问题,以扩展感知机器人的能力。为此,研究了卡尔斯鲁厄人形主动头的运动学标定方法、开环和闭环控制策略,包括注视点、视觉搜索和三维主动视觉等任务。
    • 目标识别与定位

    • 目标识别和六自由度姿态估计是类人机器人最重要的感知能力之一。对已识别物体的精确姿态估计是物体操作、抓取规划和运动规划以及执行的先决条件。我们的研究重点是开发用于物体识别的实时方法,特别是用于这些应用的精确姿态估计,使用典型人形机器人头部的立体相机系统,其基线与人眼距离相当。
    • Self-Localization

    • 类人机器人的基本感知能力是:
      • Self-Localization:利用主动立体视觉获取并跟踪人形的位置和方向;
        • 基于模型的全局本地化
        • 基于模型和外观的动态定位
      • 环境状况声明:在任务执行过程中解决关于环境状态的可视化查询;
        • 姿态查询:环境元素的6D姿态
        • 轨迹查询:动态转换的属性和感知轨迹
    • 主动视觉对象搜索

    • 对象表示是由五指手握的对象自动生成的。通过利用手臂的冗余来探索所持物体的不同突出视图。基于贝叶斯滤波和融合技术,从手和背景中分割出目标。为了减少获取的视图数量,我们研究了在勘探过程中确定下一个最佳视图的解决方案。
  • 探索

  • 在以人为中心的环境中工作的类人机器人应该能够自主地获得关于环境和在其中遇到的物体以及他们的身体的知识。
    该领域的工作涉及将来自手的传感器系统的本体感觉和触觉信息与视觉信息集成,以获得丰富的未知物体的物体表示,这可能提高识别性能。研究了触觉和视觉探索策略,以指导机械手沿着潜在的候选对象表面。
    此外,我们正在研究如何学习机器人的几何和运动学参数,以便在机器人的物理身体属性发生变化时,特别是关于末端执行器的自动重新校准。
    • 触觉探索

    • 除了抓握,人们还对通过触觉探索来识别物体感兴趣。因此,我们实现了一个视觉触觉探索框架,用于从触觉探索过程中获取3D点集。首先,我们选择了超二次函数进行三维对象表示,并进行了勘探数据拟合实验。在我们未来的研究中,我们将进一步研究适合于对象分类、识别和抓取可视性创建的对象表示类型。
    • 自我探索和身体图式

    • 传统的手眼校准方法几乎不可能实现。人类通过纯粹的自我探索成功地解决了这个问题,这导致了生物启发机制在机器人领域的适应性。在神经科学中,众所周知,存在一种将本体感知传感器信息(例如关节配置)与可见的身体形状相关联的身体模式。它也代表了对当前身体状态的无意识意识。