导航:EXPO21XX>视觉21 xx>H15:研究和大学布伦瑞克的卡罗-威廉敏娜
卡洛罗-威廉敏娜·祖·布伦瑞克
视频
加载播放器…
  • 提供配置文件
  • 机器人与过程控制研究所成立于1986年
    iRP已成为德国领先的机器人研究实验室之一。
    iRP的研究主要集中在三个领域:
    • 工业机器人
    • 医疗机器人技术
    • 计算机视觉

    iRP参与了多个国际研究的研发项目
    组织和行业合作伙伴。

产品组合
  • 机器人-基础知识:MiRPA -机器人和过程控制应用的中间件

  • 与大众汽车公司合作。
    通过使用中间件,可以简化模块化和分布式软件系统的实现。由于商业中间件解决方案不能满足严格的实时需求,它们在过去的控制应用程序中的使用受到了限制。我们构想并实现了新的中间件MiRPA (middleware for Robotic and Process Control Applications)。这个消息驱动的中间件实现是为满足机器人和自动化应用程序中的特殊需求而设计的。利用MiRPA可以设计非常模块化和开放的控制系统。图1显示了一个六关节工业机械手控制系统的示例设置。

    所有安装的模块只有一个通信伙伴:中间件。一旦定义了接口,甚至可以在运行时添加和/或交换模块,这使得该软件解决方案对于研究目的非常有吸引力。新的传感器和控制器可以很容易地集成,而无需改变控制系统的核心。由于Matlab/Simulink接口,快速控制原型大大简化。Matlab生成的模型可以作为mirpa模块在实时目标系统上执行。

    MiRPA的应用并不局限于机器人领域。每当需要模块化、可扩展和灵活的实时系统时,MiRPA就会带来巨大的优势。

      • 图1:基于mirpa的机器人控制系统软件架构。

      • 图2:图1对应的硬件架构。

  • 机器人-基础:在线轨迹生成

  • 这项工作的动机是希望将传感器集成到机器人环境中。机器人操纵器指令变量的生成有两个功能:几何路径的指定(路径规划)和位置、速度、加速度和加速度随时间变化的指定(轨迹规划)。文献在这两个领域提供了一套非常丰富的方法和算法,可以细分为许多部分。但是根本没有任何方法,可以从任何运动状态开始生成轨迹。这是将传感器集成到机器人工作单元中,实现传感器引导和传感器保护运动的一个非常基本的要求。机器人必须在一个控制周期内对传感器事件做出反应,因此轨迹参数可以任意改变。为了满足这些要求,轨迹发生器必须能够处理和处理任意输入值。此外,它的输出值必须导致颠簸受限、时间优化和同步的轨迹。

    决策树方法
    该方法以决策树为基础,实现了任意输入值的n维空间在线轨迹生成(图1),各自由度之间的同步如图2所示。该图说明了一个简单的情况下,三阶在线轨迹生成与不同步的三自由度。对应于图1,必须指定将8n维空间映射到3n维空间的函数(笛卡尔空间N = 6)。该函数的定义是本研究工作的主要部分。一旦定义,它将导致如图3所示的具有矩形突跳的经典弹道级数,这描述了三阶弹道的最平凡的情况。

    • 图1:三阶在线轨迹发生器的输入和输出参数。
      Z是Z变换的变量。它的逆表示一个hold元素。

    • 图3:一个简单的7相限急升弹道的位置、速度、加速度和急升

    • 图2a:显示时间同步轨迹和非同步轨迹差异的位置和速度图。

    • 图2b:显示时间同步轨迹和非同步轨迹差异的位置和速度图。

  • 机器人基础:逆运动学的符号计算

  • 在过去的几年中,串行连杆机器人逆运动学(IK)领域的基本问题在德国研究基金会DFG资助的一个研究项目中进行了研究。我们开发了自动生成多类串联连杆机器人逆运动学方程的方法。采用符号运动学反演程序(SKIP, Symbolic kineminversion program)实现了相应的计算机程序,并对数百个串行运动学进行了验证。SKIP通过使用一组具有已知先验解的原型方程来计算给定运动学的封闭形式解。通过仔细的方程分析,得到了强大的方程特征,从而大大降低了反演的成本。下图概述了SKIP中的计算流和数据流。
  • 控制:多传感器集成

  • 玩积木

    为了证明多传感器集成在工业操作中的潜力,一个机器人被编程来玩层层叠游戏。这个游戏的目的是在一个木制长方体的塔中找到一个松动的块,把它拿出来,然后放回塔的顶部。机械手装有两个摄像头。一台计算机专门用于图像处理,并在线计算所有长方体在空间中的位置。对于触觉反馈,在手和夹持器之间安装了一个六自由度力/扭矩传感器和一个六自由度加速度传感器。为了进行精确的位置测量,一个光学三角距离传感器安装在夹持器上。随机选择一个方块,操纵器试图将它推出塔外。如果反作用力变得很高,或者如果摄像机检测到一个抖动的塔,下一个长方体将被选择。一旦一块石块被推得足够远,它的轮廓就会被距离传感器精确测量。现在的块可以抓住正中心,这样塔将不会移动时关闭夹持器。 In order not to damage the tower, all transversal forces and torques are eliminated while pulling the brick out. To put a brick back onto the tower, a force guarded manipulation primitive is set up, which lets the manipulator stop, when a certain force is exceeded. The whole application is programmed on the base of manipulation primitives, which constitute atomic motion commands. Once the execution of a single primitive is finished, it depends on the sensor signals, which primitive will be executed next. This way a program can be summarized to a static manipulation primitive net. The path trough the net changes dynamically and depends on the situation in the work cell. At the end of each game, the tower collapses. The record height was 28 stages that means 10 additional stages consisting of 29 blocks were put onto the top of the tower.
  • 工业机器人:装配任务的自动规划和执行

  • 本项目旨在开发自动化机器人编程方法。随着产品市场的迅速变化,安装生产线的成本急剧增加。因此,对支持机器人编程的可编程柔性工具的强烈需求应运而生。我们的目标是为机器人编程开发一个基于cad的界面,这样程序员就可以通过在虚拟环境中单击适当的表面来给出诸如“将物体放到平面上”之类的指令。机器人程序的生成由该系统自动完成,费时费钱的教学将变得多余。

    系统概述
    图2所示为本研究所开发的系统。在第一步中,使用符号空间关系指定装配组(图3)。用户只需单击适当的表面即可完成此操作。系统可以自动检测用户可能产生的矛盾和错误。

    在确定装配组后,采用装配-拆卸策略生成装配序列。

    在确定装配序列后,必须应用无碰撞路径规划器。
    此外,装配操作必须转化为适当的技能基元网。技能基元网由技能基元组成,图中节点表示技能基元,边用入口条件标注。每个技能原语代表一个基于传感器的机器人运动。

    有了这个概念,许多不同的传感器可以同时使用。目前我们已经使用了相机和力扭矩传感器。

    这些过程的规划是在虚拟环境中进行的,因此可能会发生现实世界和虚拟世界之间的位移。运用技能基元网对这些位移进行了成功的处理。据此,提供了一个用于计划、评估和执行装配任务的系统。

    • 图1:汽车大灯总成

    • 举例说明了一种复杂的集料,一种由30多个零件组成的汽车前照灯总成。零件的几何描述是可用的。还指定了完整的产品;这意味着每个物体都有其目标位置。首先,为产品生成装配序列。
    • 图2:整个系统从规范到执行的概述

    • 图3:用于定义符号空间关系的规范工具集成到商业机器人仿真系统中

    • 图6:基于传感器的装配任务执行

  • 移动机器人:monmove -用于制造环境的灵活运输系统

  • monmove:用于移动车辆的监控和导航

    灵活和自动化的物料流动,例如在不同的工作单元和计算机控制的仓库之间,在现代工厂环境中变得越来越重要。为了获得这样的灵活性,显然需要使用自动制导车辆(AGV)。许多从文献中得知的自动驾驶汽车概念都使用高度专业化的车载传感器系统来在环境中导航。与这些概念相比,我们提出的柔性运输系统monmove仅使用简单、低成本的载具传感器,并结合全球监测系统和全球导航系统。这种全球监控和全球导航的结合使运营商无需任何固定的预定义路径即可导航。

  • 移动机器人:移动机器人的统计运动规划

  • 在实际环境中,移动机器人的运动规划通常需要考虑移动障碍物的存在。有两种方法可以解决这个问题。障碍物运动被假定为准确的;然后,可以在构型时间空间中规划无碰撞机器人轨迹。2.在障碍物靠近机器人之前,机器人会忽略它们;在运动过程中,机器人通过执行规避动作做出反应。这两种方法都有一些缺点,因为它们所做的假设不能很好地反映现实:通常情况下,障碍物的运动不能被精确预测,但可以很容易地获得一些关于障碍物平均行为的信息。因此,前一种方法主要是理论上的兴趣,而后者可能是相当低效的,因为它只使用局部信息。因此,为了尊重障碍行为,我们开发了一个包含统计数据的新概念:统计运动规划。 It yields efficient robot paths which are adapted to the prevailing motions of obstacles. Furthermore, this approach realizes a fundamental issue in robotics: The robot is adapted to its environment, (and not vice versa), the environment is minimally disturbed by the robot.

    即使在简单的情况下,最优机器人路径的选择也取决于许多因素(例如障碍物密度、运动方向、速度)。因此,数学模型是统计运动规划的重要基础。为了描述障碍物运动,研究人员开发了两种精度和复杂性不同的模型:随机轨迹允许根据碰撞概率和预期驾驶时间(考虑到到达目标的时间也取决于非确定性规避机动的成本)对机器人路径进行精确评估。随机网格是一种更简单的表示方法,用于以最小碰撞概率规划机器人轨迹。

    由统计方法生成的路径已经被评估,并与传统规划器获得的结果进行了比较,从而使路径长度最小化。自然地,统计上规划的路径更长,因为它们故意包含弯路。然而,在动态环境中,与传统轨迹相比,绕路可以显著降低碰撞概率和预期驾驶时间。

  • 手术中的机器人:机器人辅助内窥镜鼻窦手术

  • 问题描述
    如今,鼻窦(鼻子附近头骨的洞穴)的大多数手术,例如去除腺样体,都是在内窥镜的帮助下,通过鼻子的自然开口进行微创手术。内窥镜在一个方向上充当光源,在另一个方向上充当摄像机。外科医生一手拿着内窥镜,并不直接看到手术地点,而是在屏幕上看到手术地点的相机图片。另一方面,她/他通常拿着一个工具,例如一把用来切掉组织的特殊刀。正常情况下,这会导致出血。因此,需要一个吸盘(另一种仪器)从鼻子中抽出血液和被割伤的组织。外科医生在手术中经常在这些器械之间切换。这增加了手术的持续时间,使手术过程繁琐,对外科医生来说不符合人体工程学。

    项目描述
    在与Klinik und Poliklinik für Hals-Nasen-Ohrenheilkunde/Chirurgie的“Rheinische Friedrich-Wilhelms-Universität Bonn”的合作研究项目范围内,我们正在研究允许机器人操纵器在鼻内手术期间完全自主地引导内窥镜的方法。本课题的目标是一种满足以下要求的内窥镜智能引导:

    • 所选仪器的尖端始终位于相机视图的中心。
    • 内窥镜的放置方式使外科医生有尽可能多的自由空间进行自己的活动。
    • 必须避免接触病人的关键部位(如大脑、眼睛),脆弱的部位必须小心触摸,而且只有在必要时才可以。
      • 一个机械手在内窥镜的引导下工作

  • 机器人在外科中的应用:股骨干骨折的复位

  • 问题公式化
    在这个研究项目中,与汉诺威医学院创伤外科合作开发和评估了机器人辅助固定股骨(人大腿骨)骨干骨折的方法。这些骨折通常是交通事故等高能量创伤的结果,现在通常用所谓的髓内钉固定。下面的x线图像显示了这种骨折,用钉子固定。

    手术效果的好坏可以通过两个参数来衡量:腿的长度和绕腿轴的旋转。根据骨折类型的不同,外科医生很难精确地重新建立这些参数。如果这些参数偏离生理正确值太多,第二次修正操作可能是必要的。

    项目目标
    本研究项目的主要目标是开发和评估计算机和机器人辅助方法,以支持这一具有挑战性的外科手术。结合图像分析、力/力矩引导机器人控制、术前规划和模拟,提高可达到的复位精度。

    半自动化骨折复位圆柱形物体的位姿估计-摘要
    下面我们将给出我们在三维空间中计算破碎圆柱形物体之间相对目标转换的方法的结果。
    我们首先计算每个圆柱形物体的轴的位置和方向。这是通过一个特别适应的霍夫变换实现的。这些轴是骨折分割最重要的属性,也可以用作初始姿态估计(约束约简问题整体6个自由度中的4个)。
    经过这些预处理步骤,可以使用已知的表面配准算法计算相应裂缝段之间的相对转换。在这里,我们使用了一种特殊的2D深度图像相关和ICP(迭代最近点)算法的变体。项目目标是使用这些方法计算骨碎片的目标姿势,以便通过机器人实现计算机辅助的半自动骨折复位。

    使用带有触觉反馈的远程机械手骨折复位-总结
    我们开发了一个复杂的系统,该系统允许使用机器人作为远程机械手来支持骨折复位过程。我们的机器人是一个标准的工业Säubli RX 90机器人。外科医生通过具有触觉反馈的操纵杆控制机器人。术中三维骨折成像是外科医生复位时的基础信息。这些3D体积图像由PC自动分割,从而得到骨折段的高度详细的表面模型(见下图),外科医生可以使用该模型精确地将碎片移动到所需的目标姿势。光学导航系统确保在PC显示器上呈现的3D场景始终与真实手术情况一致;虚拟3D模型总是以与真实骨碎片相同的方式移动,由机器人移动。
    所有作用在操作现场的力和扭矩都可以通过安装在机器人手上的力/扭矩传感器来测量。这些力被反馈给操纵杆。通过这种方式,外科医生能够感受到由于分散的肌肉或骨折节段之间的接触而作用在患者身上的力。

    结果
    在第一个系列测试中,我们在解剖实验室使用破碎的人骨(没有周围软组织)对远程操纵器系统进行了评估。结果表明,对于简单裂缝,可以实现均值约为2°和2mm的复位精度。即使是复杂裂缝,可实现的精度也低于4°。从临床的角度来看,这些值是可以接受的。
    此外,远程操纵系统还在人体尸体上进行了测试;完整标本,骨折周围软组织完整。结果与上面概述的结果类似。此外,我们还可以证明,对于相同的骨折,由经验丰富的外科医生进行的远程操作复位精度明显高于手工复位。

    结论
    所提出的可视化形式和与股骨骨折复位远程操纵器系统的交互被证明是有效和直观的。所有测试人员都能够在短时间学习后进行可靠的约简,并具有较高的约简精度。这些结果清楚地显示了机器人骨折复位的潜力,这将确保未来此类手术的高质量结果。

    • 上图:骨折股骨的x线图像[来源:AO骨折管理原则]
      下图:髓内钉手术的过程

    • 顶部:螺旋断裂
      底部:复杂裂缝

    • 三维遥控骨折复位的相互作用原理

  • 3 d-puzzle-problem

  • 三维碎片物体(3d-puzzle-problem)的重建是一项具有广泛应用的重要任务。应用领域包括考古学,外科,生物信息学,计算机图形学和机器人。例如,破碎的考古文物的重建,外科手术中的人骨骨折复位,蛋白质对接,表面注册,以及工业组件的组装。

    该项目考虑了整个处理链,从不同传感器的数据采集,表面的一般配准,到不同应用中匹配碎片的特殊要求。在这种情况下,已经开发了新颖有效的成对匹配方法,这些方法对测量不准确性、材料劣化和噪声具有高度鲁棒性。在它们的基本配置中,这两种方法都搜索一个相对的姿态,其中所有碎片之间的表面接触尽可能高。

    此外,破碎物体的先验知识(如形状先验、镜像对称和对称轴)可用于提高效率、准确性和鲁棒性。

    *由德国科学基金会(DFG)资助。
  • 聪明的房间

  • 在我们研究所,我们正在为老年人开发新的视觉监测系统。我们的长远目标是建立一个监测系统,让长者能够在家居环境中,独立而有保障地生活。监测系统不关心护理任务,而是尽可能少地影响日常生活,确保人的健康。使用相机和图像处理技术的优点是用户看不见。此外,用户和系统之间不需要交互。

    该系统的第一个版本已经可以运行,目前正在真实的家庭环境中进行测试。这个版本使用安装在房间天花板上的鱼眼摄像头,可以自动探测到下落。当检测到跌倒时,系统可以发出紧急呼叫。我们正在使用不同的基于模型和无模型的方法来跟踪和识别跌倒。下图演示了一种基于斑点的方法,其中不同的身体部分被建模为颜色斑点。

    使用鱼眼相机的优点是可以将整个房间映射到一张图像上。一个针孔式或泛倾斜变焦相机只能映射房间的一部分。

    为了检测夜间跌倒,我们正在整合积极的方法。红外线灯安装在房间的不同位置,首选在天花板上。影子信息是用来区分站着的人和躺着的人。从下图中可以看出,一个站着的人的影子要比一个躺着的人的影子大得多。

    到目前为止,我们只考虑了摔倒检测,但预防摔倒当然是另一项具有挑战性的任务。步态的变化可能是由疾病引起的,并可能导致跌倒。视觉摔倒预防可以检测到这些变化,例如通知全科医生。

    这项工作得到了德国电信的大力支持

    • 站的人

    • 说谎的人

    • 影子模拟一个站着的人

  • 驾驶员辅助:追尾预碰撞

  • 由于相机成本的不断降低和图像处理硬件技术的进步,视频传感器对汽车应用变得非常重要。一些系列车辆已经配备了单目后置摄像头,作为唯一向后定向的传感器,但该摄像头的辅助系统的高功能仍未被开发。例如,一个理想的应用是碰撞时间估计传感器系统,这是由高频率的道路交通追尾车辆碰撞驱动的。乘客受伤的严重程度可以通过机载系统来降低,该系统可以估计可能发生追尾事故的时间,并立即采取准备措施,例如将每个头枕移动到最佳位置或系紧安全带。

    通过与大众汽车的合作,我们正在研究可靠的实时车辆检测和后摄像头碰撞时间估计的可行性。iRP在这个项目中的任务是开发视频传感器软件,将接近车辆的状态信息传递给大众提供的执行安全元件

    方法
    在我们的许多车辆检测方法中,我们使用了一个自上而下的视图,该视图是通过反向透视映射(IPM)将相机像素投影到街道上生成的,如下图和相应的视频所示。在这个视图中,我们正以直角向下看街道飞机。这样,街道平面任意两点的距离计算无需考虑透视映射,简化了许多算法的处理。

    我们的方法之一是使用这种自顶向下的视图来生成描述街道预期外观的街道纹理。在下面的图中(也有视频),你可以在右列看到生成的街道纹理,在左列看到源图像。上面一行显示了从摄像头看到的视图,下面一行显示了相应的自顶向下视图。将源图像和街道参考纹理进行比较,以检测下图和视频中绿线所示的接近车辆。

  • 驾驶辅助:通过数字图像分析检测停车位

  • 简介
    越来越多的汽车配备了驾驶辅助系统(DAS)。它们为驾驶员提供信息和支持,从而有助于预防事故,促进更安全的交通。其中一些系统已经实施并成功使用多年,如ABS或ESP。其他系统,如自动车道检测或红外视觉,刚刚开发并安装在较新的汽车上。现代DAS旨在简化驾驶或增加驾驶员的舒适性和减少疲劳。这些现代系统之一是停车助手,它自动操纵汽车到一个停车位。但在真正开始停车过程之前,必须检测到一个停车位。在最先进的系统中,司机必须自己找到一个点,然后超声波传感器被用来测量它的大小。通过与大众汽车公司的合作,我们正在开发一种基于视觉的系统,能够自动定位停车位。与超声波传感器相比,相机具有广泛的应用领域,具有很大的优势。在图像处理的帮助下,几乎可以从相机图像中提取出所有所需的信息。 Furthermore, cameras have a big range of sight, allowing gathering data even at great distances. Our system uses cameras with fisheye lenses and structure from motion to attain information about the surrounding area. The collected data is then interpreted to locate parking spots.


    设置和方法
    鱼眼相机的优势在于提供大范围的视野。仅用一台相机就可以获得180°的视野。因此,两个摄像头足以覆盖移动汽车的左右两侧。它们被安装在大众汽车(Volkswagen)提供的一辆测试车辆的后视镜上。下面的图片显示了一个右视图的例子。

    由于我们每边只有一个摄像头,我们不能用立体视觉来收集3D信息。但因为汽车在移动,我们可以用运动结构。该技术使用不同视角的两个场景视图对3D世界中的点进行三角定位,并计算出它们的确切位置。结果是通过区域的三维散点图。


    结果
    下图是这样一个散点图的例子(图片:3D散点图)。图中的每一个点都代表一个真实的3D点。街道水平的点用红色表示,障碍物(=街道水平以上的点)用黑色表示。如果每个3D点都投影在地平面上的对应点上,就会创建一个自顶向下的视图,显示从上面看到的整个场景。现在模式变得可见,可以清楚地识别。例如,汽车的形状就像字母“U”。如果在自上而下的视图中可以找到其中的一些,则可以清楚地识别车辆的位置。免费停车位现在通过搜索这些汽车之间的空闲空间来检测。有关该过程的说明,请参见下图。被识别的车辆用红色突出显示,空闲空间用绿色标记(图片:场景的俯视图)。 If a parking space is found, the automated parking process can be initiated.

    实验飞行器:保罗
    目前的实验车辆Paul(德语:“Parkt allein und lenkt”)使用了我们基于视觉的停车位检测。保罗在2008年汉诺威博览会上展示了大众汽车的停车场辅助视觉系统。

    • 带有鱼眼摄像头的右视图

    • 三维散点图

    • 俯视图的场景

    • 保罗在2008年汉诺威博览会上

  • 搬运和装配机器人系统(SFB 562)

  • 机器人和过程控制研究所参与了562“搬运和装配机器人系统”合作研究中心,该中心由Prof. - ing。Wahl。

    562合作研究中心的目标是发展基于闭合运动链的机器人系统的方法和组件相关的基础知识,以提高这些机器人的潜力,特别是在高运行速度、加速度和精度方面。

    为了减少处理和装配应用程序的顺序时间,最基本的目标是在给定的工艺精度的工作空间中提高操作速度和加速度。如果使用传统的串行机器人系统,这些不断增加的需求将陷入恶性循环。在这种情况下,基于并行结构的新型机器人系统的要求是非常重要的。由于平行结构的框架结构采用质量较差的杆单元,为主动减振提供了理想的平台。将这些自适应电子元件与特殊的自适应控制元件集成是一种有前途的有效方法,可以使机器人更精确、更快,从而提高生产率。

    562合作研究中心的基本课题是:

    • 并联机器人的设计与建模
    • 机器人控制与信息处理
    • 并联机器人的新组件

    参与“机构”:

    • 六世

    • TRIGLIDE

    • PARAPLACER

    • FUNFGELENK