• 提供配置文件
  • 计算机视觉与机器人小组

    研究兴趣

    • 未校准图像的3D模型，
    • 对象识别。
    • 人机接口。
    • 视觉跟踪和本地化。
    • 视觉引导机器人和自主系统。
    • 增强现实。
产品组合

  • 曲线和表面

      • 由视轮廓重建曲面

      • 在这个项目中，我们旨在从任意视图中可见的表观轮廓(或轮廓)中恢复任意曲面的形状。一个关键的贡献是引入了极线参数化，它利用极线几何(视点的几何)来诱导图像曲线和曲面的时空参数化。这将点的极线几何推广到曲线和曲面，并允许在透视投影和任意相机运动下恢复形状。

      • 极参数化简并性的分析

      • 奇异的视轮廓或尖出现在孤立的点上，被视为在不透明表面的轮廓结束的突然轮廓。极参数化不能用于恢复这些点的表面几何形状。在本计画中，利用观赏者运动下的尖点轨迹，复原尖点附近的几何形态。退化的另一种情况被用来开发一种算法来恢复观看者的运动。

      • 从轮廓恢复相机运动

      • 一般认为，曲面的轮廓不能用来恢复运动，因为它们是曲线的投影，在观看者的运动下滑过曲面。在本项目中，连续轮廓生成器的包络线被用来定义特殊(边界)点，这些点被用来从图像曲线中恢复极线几何。

      • 圆周运动

      • 在这个项目中，一个特别简单和优雅的解决方案被发现为一种特殊类型的运动，其中一个对象被放置在一个旋转的转台前面的固定相机。提出了一种新的解决方案，利用旋转表面扫出的轮廓包络的对称性。该技术使用在图像序列上跟踪的单一曲线，已经成功地用于从未经校准的相机恢复任意物体的形状。

      • 曲线的准不变参数化与匹配

      • 在这个项目中，我们的目标是开发一个鲁棒算法的曲线匹配。b样条可以自动拟合图像边缘数据，并用于对场景中双边对称的投影曲线碎片进行分组。提出了图像曲线的准不变参数化方法，以辅助曲线的匹配。这些降低了计算曲线几何不变量所需的导数的阶数，从五阶到二阶，使其对图像噪声和遮挡不那么敏感。

  • 视觉引导机器人

      • 视觉伺服

      • 本课题利用仿射变换李代数的几何结构。一种新的视觉伺服方法利用单一机器人运动对图像变形雅可比矩阵，在目标位置附近计算一次，引导机器人通过大范围的扰动。该框架最近得到了扩展，产生了一个健壮的3D模型跟踪系统，能够从视频图像实时跟踪存在遮挡的铰接对象。

      • 二维平面等高线视觉伺服

      • 本研究的目的是为视觉伺服设计一套完整的平面轮廓分割、匹配与跟踪系统。我们的系统可以用于任何形状的任意轮廓，而不需要事先知道它们的模型。系统首先显示目标视图。自动提取所选轮廓并存储其图像形状。然后移动机器人和物体，系统自动识别目标。匹配步骤与轮廓的两个视图之间的单应矩阵的估计一起完成。然后，利用2½D视觉伺服技术将机器人的末端执行器相对于平面轮廓重新定位到目标位置。该系统已经成功地在一些非常复杂的形状的轮廓上进行了测试，如树叶、钥匙和岛屿的海岸轮廓。

      • 闭合曲线的图像发散

      • 机器人相对于场景移动时，安装在机器人上的摄像头所感知到的视觉运动可用于帮助导航。简单的线索，如接触时间，原则上可以从图像速度场的散度估计。在实际应用中，利用图像速度时空导数的方法对图像噪声太过敏感，难以发挥作用。该项目考虑了封闭轮廓的视面积的时间演化(以及格林定理在平面上的扩展)，旨在可靠地恢复接触和表面定向的时间。这是利用实时视觉对接和障碍物回避。

      • 未经校准的立体手眼协调

      • 在这个项目中，一个简单而鲁棒的立体声近似，只使用正交投影下可用的线索来构建一个系统，该系统利用未校准立体声中的相对视差(及其梯度)来引导机器人机械手在非结构化场景中捡起不熟悉的物体。该系统不仅要能处理物体形状的不确定性，还要能处理相机、机器人和物体的位置和方向的不确定性。

      • 使用视觉手势的人机界面，指向

      • 通过检测和跟踪人手，该系统可以扩展，以便用户可以指向感兴趣的物体，并引导机器人机械手将其捡起来。该项目使用了未经校准的立体视觉和手部视觉跟踪。这使系统对相机和用户的运动健壮。这只是使用计算机视觉提供与计算机和机器交互的更自然方式的新颖人机界面的一个例子。该领域最早的一些例子包括利用运动视差线索的无线被动3D鼠标替代品，以及利用对称性探测和跟踪面部注视的算法。

  • 视觉跟踪

      • 时间共识追踪器

      • 时间一致性跟踪器使用数据的最小子集来提供姿态估计，并使用稳健回归方案来选择最佳子集。回归阶段的贝叶斯推理将一帧的测量结果与前一帧的预测结合起来，消除了进一步过滤姿态估计的需要。由此产生的跟踪器在跟踪人脸的困难任务中表现得非常好，即使脸部部分闭塞。由于跟踪器可以容忍噪声，计算成本低的特征检测器，帧速率操作可以在标准硬件上轻松实现。
        下面的MPEG视频显示了时间一致算法跟踪人脸。人脸的方向在每一帧左上角的图钉中加以说明。

      • 人脸自动检测与定位

      • 本项目旨在实现在没有尺度、方位、视点等先验信息的场景中人脸的自动检测和定位。

  • 从图像中获取3D模型

      • PhotoBuilder

      • PhotoBuilder应用程序旨在从建筑场景的照片中构建逼真的3D模型，从任意视角拍摄的照片重构模型。

      • 从未经校准的照片逼真的模型

      • 使用一个简单的交互式算法生成初始模型，然后自动改进，该项目旨在结合自动和交互式3D模型创建的最佳部分。

      • 3 d电视

      • 这个项目的目的是使用现成的相机显示逼真的三维图像，并使用最小的相机校准。

  • 图像分割与分组

      • 视频索引的运动分割

      • 一个视频包含大量的信息;视频索引的目的是自动分析视频，提取少量的特征信息。在研究从场景中的运动中提取信息的过程中，使用了分割和拼接技术来提取可搜索的场景描述。

      • 图像分割

      • “蠕变和合并”分割系统旨在解决尽可能多的报告困难的分割系统，并产生一个单一的，无参数的软件包实现的结果。

      • 人脸检测

      • 本项目旨在实现在没有尺度、方位、视点等先验信息的场景中人脸的自动检测和定位。

  • 数字皮格马利翁项目:从照片到3D计算机模型

  • 罗伯托·西波拉教授的数字皮格马利翁项目将一些雕塑的照片作为高分辨率3D计算机模型呈现出来。与卡洛斯博士Hernández埃斯特班一起，他们取得了惊人的成果，这将指导安东尼·戈姆雷将他的雕塑从真人大小扩大到25米以上。

    “罗伯托的工作在世界上是独一无二的:从一个标准的单镜头数码相机得到一个完全旋转的模型是不寻常的。”安东尼葛姆雷。

    罗伯托和卡洛斯最近拜访了这位艺术家，给这个雕塑拍照，然后用他们世界领先的计算机视觉技术构建了这个作品的完整3D模型。其结果不仅在技术上令人印象深刻，而且在视觉上也令人震惊。

    下面的雕塑图片给出了一个潜在的数学网格的想法。该软件允许用户从任何角度查看结构。雕塑的原始纹理可以覆盖在这个皮肤上。可以添加灯光效果。屏幕上的全分辨率图像看起来非常完美。

    物体在自然光下的高分辨率彩色照片是用标准的现成相机拍摄的。物体的轮廓和主要兴趣点在每一张不同的照片中被自动检测到。这样就可以计算出每张照片拍摄时相机的位置。

    然后，每张照片中的轮廓和纹理被用来指导“数字雕塑家”雕刻出3D形状。精确的几何形状和物体外观的精确描绘是自动实现的。总之，这是一种高质量三维物体重建的新方法。从一系列彩色图像开始，一种算法能够重建三维几何和纹理。

    高精度的3D建模非常需要:

    • 物品，特别是博物馆收藏品的数字归档
    • 人脸获取是电影和电脑游戏行业的一个重要领域
    • 网上购物，需要低分辨率的3D模型才能成功地在网上销售产品。

    最近，该软件被用于建立亨利·摩尔(Henry Moore)雕塑的3D模型，以便在今年晚些时候伦敦拍卖之前，让来自世界各地的潜在买家观看。

    • 第一步:图像采集

    • 第二步:摄像机标定

    • 第三步:三维重建

    • 步骤4:纹理映射

    • 安东尼葛姆雷雕塑