• 提供配置文件
  • 计算机视觉与机器人小组

    研究兴趣

    • 未校准图像的3D模型，
    • 对象识别。
    • 人机接口。
    • 视觉跟踪和定位。
    • 视觉引导机器人和自主系统。
    • 增强现实。
产品组合

  • 曲线与曲面

      • 由视轮廓重建表面

      • 在这个项目中，我们的目标是从任意视图可见的表观轮廓(或轮廓)中恢复任意表面的形状。一个关键的贡献是引入了极面参数化，它利用极面几何(视点几何)来诱导图像曲线和曲面的时空参数化。这将点的极面几何推广到曲线和曲面，并允许在透视投影和任意相机运动下恢复形状。

      • 极性参数化简并的分析

      • 奇异的明显轮廓或尖端出现在孤立的点上，被视为在不透明表面的轮廓结束的突兀轮廓。极面参数化不能用于恢复这些点的表面几何。在这个项目中，利用观众运动下的尖端轨迹来恢复尖端附近的几何形状。简并的另一种情况是用来开发一种算法来恢复观众的运动。

      • 从轮廓恢复相机运动

      • 一般认为，曲面的轮廓不能用来恢复运动，因为它们是在观众运动下滑过曲面的曲线的投影。在这个项目中，连续轮廓生成器的包络被用来定义特殊的(边界)点，这些点被用于从图像曲线中恢复极面几何。

      • 圆周运动

      • 在这个项目中，为一种特殊类型的运动找到了一个特别简单而优雅的解决方案，其中一个物体被放置在一个旋转的转盘上，转盘在静止的摄像机前旋转。提出了一种新的解决方法，利用旋转表面扫过的轮廓包络的对称性。该技术使用在图像序列上跟踪的单一曲线，并已成功用于从未校准的相机中恢复任意物体的形状。

      • 准不变参数化与曲线匹配

      • 在这个项目中，我们的目标是开发一种稳健的曲线匹配算法。b样条可以自动拟合图像边缘数据，并用于对场景中双边对称投影的曲线片段进行分组。提出了图像曲线的准不变参数化来帮助曲线的匹配。这些降低了计算曲线几何不变量所需的导数的阶数，从五阶到二阶，使这些对图像噪声和遮挡不那么敏感。

  • 视觉引导机器人

      • 视觉伺服

      • 本课题利用仿射变换的李代数的几何结构。一种新的视觉伺服方法利用单个机器人运动对目标位置附近的图像变形雅可比矩阵进行计算，从而引导机器人通过大范围的扰动。该框架最近得到了扩展，以产生一个健壮的3D模型跟踪系统，该系统能够跟踪视频图像中存在遮挡的关节对象。

      • 平面轮廓的二维视觉伺服

      • 本研究的目的是设计一套完整的平面轮廓分割、匹配与跟踪系统，以供视觉伺服使用。我们的系统可以用于任何形状的任意轮廓，而无需事先了解它们的模型。系统首先显示目标视图。自动提取所选轮廓并存储其图像形状。然后机器人和物体移动，系统自动识别目标。匹配步骤与轮廓两视图之间的单应性矩阵的估计一起完成。然后，采用2½D视觉伺服技术将机器人末端执行器相对于平面轮廓重新定位到目标位置。该系统已经成功地测试了一些非常复杂形状的轮廓，如树叶、钥匙和岛屿的海岸轮廓。

      • 闭合曲线的图像散度

      • 视觉运动，即安装在机器人上的相对于场景移动的摄像头所感知的运动，可用于辅助导航。简单的线索，如接触时间，原则上可以估计从图像速度场的散度。在实践中，利用图像速度的时空导数的方法对图像噪声太敏感而无用。该项目考虑了封闭轮廓表观面积的时间演化(以及格林定理在平面上的扩展)，旨在可靠地恢复接触和表面方向的时间。这被用于实时视觉对接和避障。

      • 未校准的立体手眼协调

      • 在这个项目中，一个简单而可靠的立体声近似，仅使用正投影下可用的线索来构建一个系统，该系统利用未校准立体声中的相对视差(及其梯度)来引导机器人在非结构化场景中拾取不熟悉的物体。该系统不仅必须能够处理物体形状的不确定性，还必须能够处理摄像机、机器人和物体的位置和方向的不确定性。

      • 使用视觉手势、指向的人机界面

      • 通过检测和跟踪人手，该系统得到了扩展，这样用户就可以指向感兴趣的物体，并引导机械手将其捡起来。该项目使用未经校准的立体视觉和手部视觉跟踪。这使得系统对摄像机和用户的移动具有健壮性。这只是使用计算机视觉提供与计算机和机器交互更自然方式的新型人机界面的一个例子。该领域最早的一些例子包括利用运动视差线索的无线、被动的3D鼠标替代品，以及利用对称来检测和跟踪面部注视的算法。

  • 视觉跟踪

      • 时间共识跟踪器

      • 时间一致性跟踪器使用数据的最小子集来提供姿态估计，并使用稳健的回归方案来选择最佳子集。回归阶段的贝叶斯推理将一帧中的测量值与前一帧的预测相结合，消除了进一步过滤姿态估计的需要。由此产生的跟踪器在跟踪人脸的艰巨任务上表现非常好，即使脸部被部分遮挡。由于跟踪器是容忍噪声，计算廉价的特征检测器，帧速率操作是舒适地实现在标准硬件。
        下面的MPEG视频显示了跟踪人脸的时间一致性算法。在每一帧的左上角，以图钉的形式说明了人脸的方向。

      • 自动人脸检测与定位

      • 本项目旨在实现在没有尺度、方向、视点先验信息的情况下，对场景中的人脸进行自动检测和定位。

  • 基于图像的3D模型

      • PhotoBuilder

      • PhotoBuilder应用程序旨在从建筑场景的照片中构建逼真的3D模型，从任意视点拍摄的照片中重建模型。

      • 来自未校准照片的真实感模型

      • 使用一个简单的交互式算法来生成初始模型，然后自动细化，该项目旨在结合自动和交互式3D模型创建的最佳部分。

      • 3 d电视

      • 这个项目的目的是使用现成的相机显示逼真的三维图像，并使用最小的相机校准。

  • 图像分割与分组

      • 视频索引的运动分割

      • 一段视频包含了大量的信息;视频索引的目的是对视频进行自动分析，提取少量的特征信息。研究从场景中的运动中提取信息，使用分割和马赛克技术来提取可以搜索的场景描述。

      • 图像分割

      • “蠕变和合并”分割系统旨在解决尽可能多的分割系统报告的困难，并产生一个单一的，无参数的软件包来实现结果。

      • 人脸检测

      • 本项目旨在实现在没有尺度、方向、视点先验信息的情况下，对场景中的人脸进行自动检测和定位。

  • 数字皮格马利翁项目:从照片到3D计算机模型

  • 罗伯托·西波拉教授的数字皮格马利翁项目将一些雕塑的照片作为高分辨率的3D计算机模型呈现出来。他们和卡洛斯·Hernández埃斯特班博士一起，取得了惊人的成果，这将指导安东尼·戈姆雷将他的雕塑从真人大小扩大到25米以上。

    “罗伯托的作品在世界上是独一无二的:从标准的单镜头数码相机中获得全旋转模型是非同寻常的。”安东尼葛姆雷。

    罗伯特和卡洛斯最近拜访了这位艺术家，拍摄了雕塑的照片，然后用他们世界领先的计算机视觉技术构建了这件作品的完整3D模型。结果不仅在技术上令人印象深刻，而且在视觉上也令人惊叹。

    下面的雕塑图片给出了潜在的数学网格的想法。该软件允许用户从任何角度查看结构。雕塑的原始纹理可以覆盖在这个皮肤上。可以添加灯光效果。在好的屏幕上，全分辨率的图像看起来很完美。

    该物体在自然光下的高分辨率彩色照片是用标准的现成相机拍摄的。物体上的轮廓和主要兴趣点在每张已经拍摄的不同照片中被自动检测到。这样就可以计算出每一张照片拍摄时相机的位置。

    然后，每张照片中的剪影和纹理被用来指导“数字雕刻家”雕刻出3D形状。一个精确的几何和精确的描绘的外观的对象是自动实现。总之，它是一种高质量三维物体重建的新方法。从一组彩色图像开始，一种算法能够重建三维几何和纹理。

    高度精确的3D建模非常需要:

    • 物品，特别是博物馆藏品的数字存档
    • 人脸获取是电影和电脑游戏行业的一个重要领域
    • 网上购物，需要低分辨率的3D模型才能在网上成功销售产品。

    最近，该软件被用于为亨利·摩尔(Henry Moore)的一件雕塑建立3D模型，以便在今年晚些时候伦敦的拍卖之前，让来自世界各地的潜在买家观看。

    • 第一步:图像采集

    • 第二步:相机标定

    • 第三步:三维重建

    • 第四步:纹理映射

    • 安东尼·葛姆雷雕塑