• 提供配置文件
  • 计算机视觉与机器人组

    研究兴趣

    • 来自未校准图像的3D模型，
    • 对象识别。
    • 人机接口。
    • 视觉跟踪和定位。
    • 视觉引导机器人和自主系统。
    • 增强现实。
产品组合

  • 曲线和表面

      • 从表面轮廓重建表面

      • 在这个项目中，我们的目标是从任意视图中可见的明显轮廓(或轮廓)恢复任意表面的形状。其关键贡献是引入了极线参数化，利用极线几何(视点几何)来诱导图像曲线和表面的时空参数化。这将点的极线几何泛化到曲线和曲面，并允许在透视投影和任意相机运动下恢复形状。

      • 极外参数化简并的分析

      • 奇异的表观轮廓或尖发生在孤立的点，被视为一个突然的轮廓结束在一个不透明表面的轮廓。极外参数化不能用于恢复这些点的表面几何形状。在这个项目中，在观赏者运动下的顶点轨迹被利用来恢复顶点附近的几何形状。利用退化的另一种情况，提出了一种恢复观测器运动的算法。

      • 从轮廓恢复相机运动

      • 一般认为，曲面的轮廓不能用来恢复运动，因为它们是曲线的投影，在观看者的运动下滑过曲面。在这个项目中，连续轮廓生成器的包络线被显示来定义特殊的(边界)点，这些点被用来从图像曲线恢复极线几何。

      • 圆周运动

      • 在这个项目中，一个特别简单和优雅的解决方案是为一种特殊类型的运动，其中一个对象被放置在一个旋转台，这是在一个固定的相机前旋转。提出了一种利用旋转曲面扫出轮廓包络的对称性的新解。这种技术使用一个单一的曲线跟踪的图像序列，并已成功地用于恢复形状的任意对象从一个未校准的相机。

      • 曲线的拟不变参数化与匹配

      • 在这个项目中，我们的目标是开发一个健壮的算法来进行曲线匹配。b样条可以自动拟合图像边缘数据，并用于对场景中具有双对称投影的曲线碎片进行分组。提出了图像曲线的准不变参数化方法，以帮助图像曲线的匹配。这些降低了计算曲线几何不变量所需的导数的阶数，从五阶到二阶，使这些对图像噪声和遮挡不敏感。

  • 视觉引导机器人

      • 视觉伺服

      • 本课题利用仿射变换李代数的几何结构。一种新的视觉伺服方法利用机器人的单次运动来获得图像变形雅可比矩阵，在接近目标位置时计算，从而引导机器人克服大范围的扰动。该框架最近得到了扩展，产生了一个健壮的3D模型跟踪系统，能够从视频图像中实时跟踪遮挡存在的关节物体。

      • 2½D视觉伺服从平面轮廓

      • 本研究旨在设计一套完整的平面轮廓分割、匹配与跟踪系统，用于视觉伺服。我们的系统可以用于任何形状的任意轮廓，而不需要预先知道它们的模型。系统首先显示目标视图。自动提取选定的轮廓线并存储其图像形状。然后移动机器人和物体，系统自动识别目标。匹配步骤是通过估计轮廓两视图之间的单应矩阵来完成的。然后，采用2½D视觉伺服技术将机器人末端执行器相对于平面轮廓重新定位到目标位置。该系统已成功地测试了几个轮廓非常复杂的形状，如树叶，钥匙和岛屿的沿海轮廓。

      • 图像从闭合曲线发散

      • 视觉运动，通过安装在机器人上的摄像机感知到的相对于一个场景的移动，可以用来帮助导航。简单的线索，如接触时间，原则上可以估计从散度的图像速度场。在实际应用中，利用图像速度时空导数的方法对图像噪声过于敏感，难以应用。该项目考虑了封闭轮廓表观面积的时间演变(以及格林定理在平面上的扩展)，旨在可靠地恢复接触和表面定向的时间。这在实时视觉对接和避障中得到了利用。

      • 未校准的立体手眼协调

      • 在本课题中，仅利用正交投影下的线索建立了一个简单而稳健的立体视觉逼近方法，该方法利用非标定立体视觉中的相对视差(及其梯度)来引导机械手在非结构化场景中拾取陌生物体。该系统不仅必须能够应对物体形状的不确定性，还必须能够应对相机、机器人和物体的位置和方向的不确定性。

      • 使用视觉手势、指示的人机界面

      • 通过探测和跟踪人的手，系统可以扩展，这样用户就可以指向感兴趣的物体，并引导机械手拾取它。该项目使用了未经校准的立体视觉和手部的视觉跟踪。这使得系统对摄像机和用户的移动具有健壮性。这只是利用计算机视觉提供更自然的与计算机和机器交互的新型人机界面的一个例子。这一领域最早的一些例子包括利用运动视差线索的无线被动3D鼠标替代品，以及利用对称性来检测和跟踪脸部凝视的算法。

  • 视觉跟踪

      • 时间一致性跟踪器

      • 时间一致性跟踪器使用最小的数据子集来提供姿态估计，并使用稳健的回归方案来选择最佳子集。回归阶段的贝叶斯推断将一帧的测量结果与前一帧的预测相结合，消除了进一步过滤姿态估计的需要。由此产生的跟踪器在跟踪人脸这个困难的任务上表现得非常好，即使人脸部分被遮挡。由于跟踪器容忍噪声，计算成本低廉的特征检测器，帧率操作是舒适地实现在标准硬件上。
        下面的MPEG视频展示了时间一致性算法跟踪人脸。面的方向在每个框架的左上角用一个图钉来说明。

      • 人脸自动检测与定位

      • 本项目旨在实现在没有尺度、方向、视角等先验信息的场景中对人脸的自动检测和定位。

  • 来自图像的3D模型

      • PhotoBuilder

      • 为了从建筑场景的照片中建立逼真的3D模型，PhotoBuilder应用程序从任意角度拍摄的照片中重建模型。

      • 来自未校准照片的逼真模型

      • 使用简单的交互式算法生成初始模型，然后自动细化，该项目旨在将自动和交互式3D模型创建的最佳部分结合起来。

      • 3 d电视

      • 这个项目的目的是使用现成的相机，在最小的相机校准下，显示逼真的三维图像。

  • 图像分割与分组

      • 运动分割视频索引

      • 一个单独的视频包含了大量的信息;视频索引的目的是对视频进行自动分析，提取少量的特征信息。研究从场景中的运动中提取信息，用于分割和镶嵌的技术用于提取可搜索的场景描述。

      • 图像分割

      • “蠕变和合并”分割系统的目的是解决尽可能多的分割系统报告的困难，并产生一个单一的，无参数的软件包实现结果。

      • 人脸检测

      • 本项目旨在实现在没有尺度、方向、视角等先验信息的场景中对人脸的自动检测和定位。

  • 数字皮格马利翁项目:从照片到3D电脑模型

  • 罗伯托·西波拉教授的“数字皮格马利翁”项目将一些雕塑照片以高分辨率3D计算机模型的形式呈现出来。他们和卡洛斯·埃斯特班博士(Hernández Esteban)一起取得了惊人的成果，这将引导安东尼·戈姆雷(Antony Gormley)将他的雕塑从真人大小放大到超过25米高。

    “罗伯托的工作在世界上是独一无二的:从一个标准的单镜头数码相机得到一个完全旋转的模型是非常了不起的。”安东尼葛姆雷。

    罗伯托和卡洛斯最近拜访了这位艺术家，为雕塑拍摄了照片，然后用他们世界领先的计算机视觉技术构建了一个完整的3D模型。其结果不仅在技术上令人印象深刻，而且在视觉上也令人惊叹。

    下面的雕塑图片给出了底层数学网格的概念。该软件允许用户从任何角度观察该结构。雕塑的原始纹理可以叠加在这个皮肤上。可以添加灯光效果。一个全分辨率的图像在一个好的屏幕上看起来很完美。

    物体在自然光下的高分辨率彩色照片是用一个标准的现成相机拍摄的。在每一张拍摄的不同照片中，都会自动检测到物体的轮廓和主要兴趣点。然后可以计算出每张照片拍摄时相机的位置。

    然后，每张照片中的轮廓和纹理被用来指导“数字雕刻家”雕刻出3D形状。精确的几何图形和物体外观的精确描述是自动实现的。总之，它是一种高质量三维物体重建的新方法。从一系列彩色图像开始，一种算法能够重建三维几何和纹理。

    高精度的3D建模是非常需要的:

    • 物件的数字存档，尤其是博物馆收藏的物件
    • 人脸采集是电影和电脑游戏行业的一个重要领域
    • 网上购物，需要低分辨率的3D模型才能在网上成功销售产品。

    该软件最近被用来建立一个亨利·摩尔雕塑的3D模型，这样世界各地的潜在买家就可以在今年晚些时候伦敦的拍卖之前看到它。

    • 步骤1:图像采集

    • 第二步:相机校准

    • 第三步:三维重建

    • 步骤4:纹理映射

    • 安东尼葛姆雷雕塑