• 提供配置文件
  • 计算机科学系

    波士顿大学
产品组合

  • 人体运动与手势分析“，

    • 人机交互与辅助技术

    • 这个正在进行的项目侧重于基于视频的人机交互系统，为需要辅助技术进行康复或作为一种沟通手段的人提供服务。我们的第一个系统是“相机鼠标”，通过摄像机跟踪用户的动作，并将其转换为屏幕上鼠标指针的动作，从而提供计算机访问。目前，该系统已被商用化，广泛应用于美国和英国的家庭、医院、学校等。其他系统还能探测到用户眨眼或举手的动作，并解释其交流意图。

    • 人体姿态估计(当前)

    • 这项工作的目标是开发用于关节结构和运动估计的算法，给定一个或多个图像序列。关节运动表现为关节结构，如人体和手，以及更普遍的联系。铰接结构和运动估计算法正在开发中，可以自动初始化自己，估计多种合理解释及其可能性，并在扩展序列上提供可靠的性能。为了实现这些目标，使用了统计机器学习、图形模型、多视图几何和运动结构的概念。

    • 手势分析与识别(当前)

    • 这个项目的目的是开发自动分析和识别人类手势交流的技术。在手、脸和上半身同时表达语言信息的复杂性给基于计算机的识别带来了特殊的挑战。这项工作的结果包括以下算法:定位和跟踪人手，估计手部姿势和上半身姿势，跟踪和分类头部运动，以及分析眼睛和面部姿势。算法也正在开发中，以有效地发现和识别视频流中感兴趣的特定手势。

    • 大词典手势表示、识别和检索(当前)

    • 他的项目涉及基于计算机识别美国手语的研究。目标之一是开发一种“查找”功能，作为多媒体手语词典界面的一部分。该系统将使签名者可以选择与未知符号对应的视频剪辑，或者在摄像机前制作一个符号以供查找。然后，计算机将从数千个美国手语符号中找到最佳匹配。关于符号产生的语言限制的知识将用于提高识别。基本的理论挑战包括大规模的学习任务(数千个不同的手势类)，每个类的训练示例非常少，以及在大型数据库中高效检索手势/动作模式的需求。

  • 图像和视频数据库

    • 基于运动的检索和基于运动的数据挖掘(当前)

    • 本项目旨在开发视频数据库中运动轨迹的索引、检索和数据挖掘方法。计算机视觉技术正在被设计用于检测和跟踪运动物体，以及描述每个物体运动的统计时间序列模型的估计，可用于基于运动的索引和检索。正在开发的算法可以在提取的运动时间序列数据中发现集群和其他模式，并识别常见与不寻常的运动模式。

    • 检索与分类方法(现行)

    • 该项目的目标是开发可扩展的分类方法，可以利用大型训练数据数据库中的可用信息。给定一个要分类的对象，一个重要的问题是如何正确地识别数据库中最相似的对象。一个同样重要的问题是如何有效地检索这些对象，尽管必须搜索一个非常大的空间。这项工作的结果包括在计算代价高昂的距离度量下进行快速最近邻居检索的算法，优化最近邻居分类器的准确性，以及设计对查询敏感的距离度量，这些度量可以在高维空间中自动识别每个查询对象的信息量最大的维度。

    • 万维网上基于内容的图像检索(过去)

    • 这个项目的目标是开发搜索网络图像的算法。可以利用视觉线索(从图像中提取)和文本线索(从包含图像的HTML文档中提取)。与项目相关的技术挑战是处理万维网惊人的规模，为基于图像内容的快速搜索制定有效的图像表示和索引策略，以及开发用户界面技术，使图像搜索快速、直观和准确。这些算法已经部署在ImageRover系统中。

  • 医学图像分析

    • 解剖结构分割(目前)

    • 这个正在进行的项目旨在开发自动或半自动的方法，用于在2D和3D数据中定位和概述解剖结构。这包括x光、计算机断层扫描(CT)和磁共振成像(MRI)。我们的工作主要集中在胸部的结构，特别是肺、肋骨、气管、肺裂、肺结节和血管。肺裂是肺叶之间的边界。我们的裂缝分割方法是基于一个迭代的曲线增长过程，自适应加权局部图像信息和裂缝形状的先验知识。

    • 医学图像的检测与分类(目前)

    • 我们开发了自动检测和测量肺结节生长的方法。这些生长测量对肺癌筛查至关重要，但目前通过耗时、不准确和不一致的手工方法进行。促进肺癌的诊断是很重要的，因为早期发现并切除小的、生长的肺结节可以使患者的5年生存率从15%提高到67%

    • 解剖结构登记(现行)

    • 在这个正在进行的项目中，我们开发了在医学图像数据集中对齐解剖结构的方法。我们的重点是记录胸部的结构，如肺表面和肺结节。我们的方法使用刚体和变形体变换。

  • 多摄像头视觉系统

      • 视频传感器网络中摄像机的布置与控制(电流)

      • 该项目的目标是开发用于确定摄像机的最佳位置和选择的方法，以覆盖给定的区域并服务于特定的视觉任务，以及用于预测、摄像机控制和在摄像机网络集合中调度计算机视觉任务的算法。一种预测框架正在开发中，它可以积累在传感器网络中观察到的感兴趣事件之间的时间关联的统计模型。最后，正在制定算法，可以利用统计模型调度传感器网络资源来完成某些任务，如跟踪感兴趣的对象，或识别所有个体。

      • 基于多视图的形状和运动估计(当前)

      • 这个项目的目标是自动构造给出多个视图的对象的详细3D模型。在这个项目中开发的一系列方法中，目的是从一个对象的多个视图重建一个3D多边形网格模型和颜色纹理图。人们还致力于从多个视频流中估计物体的3D运动场(场景流)。这些方法明确地解释了测量的不确定性，因为它们影响恢复模型的准确性。

  • 对象识别

      • 用于检测、参数估计和跟踪的检测器系列(电流)

      • 该项目的主要目标是开发同时检测、参数估计和跟踪具有高可变性的对象的算法。该项目的重点是三个方面:(1)结合物体动力学知识的降维方法，(2)结合一组更简单的局部模型，在基于状态的跟踪模型中高效准确地近似非线性运动动力学的模型，(3)可以检测图像中物体类实例的算法，同时估计物体的参数。

      • 基于形状的分割、描述和检索(当前)

      • 该项目的目标是开发用于检测、描述和索引图像和视频数据库中出现的形状的自动化方法。由于图像杂波、分割错误等原因，形状检索可能是基于内容的图像数据库搜索中最具挑战性的方面之一。此外，许多感兴趣的形状类通过变形和/或可能具有可变结构相关。正在开发的方法可以检测、分割和描述图像中的形状，尽管有杂波、形状变形和可变物体结构。

  • 跟踪

      • 基于区域的可变形外观模型(过去)

      • 这个项目的目的是开发跟踪变形物体的方法。网格模型用于对对象的形状和变形进行建模，颜色纹理映射用于对对象的颜色外观进行建模。光度变化也被建模。非刚性形状配准和运动跟踪是通过基于能量的鲁棒最小化过程来实现的，该过程提供了对遮挡、皱纹、阴影和高光的鲁棒性。该算法以帧率运行，并被定制为利用许多工作站、PC和游戏机中可用的纹理映射硬件。Active Blobs框架就是这项工作的成果之一。

      • 跟踪(电流)的分层图形模型

      • 局部遮挡在各种真实世界的计算机视觉应用中很常见:监视、智能环境、辅助机器人、自主导航等。虽然已经提出了遮挡处理方法，但大多数方法在面对场景中大量的遮挡时往往会崩溃。在这个项目中，我们正在开发用于跟踪大量遮挡的分层图像平面表示。围绕物体运动的图像平面表示与预先计算的图形模型相关联，该模型可以在在线跟踪期间有效地实例化。

  • 动物行为视频分析

      • 蝙蝠红外热视频分析

      • 我们使用红外热成像相机记录了加利福尼亚州、马萨诸塞州和德克萨斯州的巴西无尾蝙蝠，并开发了自动图像分析方法，用于检测、跟踪和计数新出现的蝙蝠。对蝙蝠的自然种群进行普查对于了解这些动物对陆地生态系统的生态和经济影响非常重要。巴西无尾蝙蝠的群落特别令人感兴趣，因为它们代表了人类已知的一些最大的哺乳动物群落。准确地统计这些蝙蝠的数量是一项挑战，因为它们在夜间大量出现。