视频
载入播放器…
  • 提供配置文件

  • 计算学习和运动控制实验室的研究重点是感觉运动控制和学习的神经计算领域。神经计算试图将生物学的知识与物理学和工程学的知识结合起来，以发展对复杂系统中信息处理的更基础和更正式的理解。

产品组合

  • 统计学习

  • 机器人的可扩展统计学习

    我们对完成非线性坐标变换和实现自主高维拟人化系统鲁棒内部模型的监督学习方法很感兴趣。

    我们的重点是为复杂运动系统开发新的学习算法，在这种系统中，学习可以以增量的方式进行(即数据点的顺序可用性)。使用贝叶斯方法和图形模型，我们的目标是创建快速、健壮的算法，基于坚实的统计基础，但可扩展到极高的维度。

    最近的工作包括贝叶斯回拟相关向量机和一个相关的变体(应用于肌电活动预测)。两者都产生计算效率高的解决方案，并提供诸如特征检测和自动相关性确定等属性。算法图形模型的增强版给出了一个贝叶斯因子分析回归模型，该模型执行噪声清除。它在泛化性能方面提供了显著的改进，在机器人平台的参数识别任务中已经证明了这一点。

  • 强化学习……

  • 机器人的可扩展统计学习

    我们对完成非线性坐标变换和实现自主高维拟人化系统鲁棒内部模型的监督学习方法很感兴趣。

    我们的重点是为复杂运动系统开发新的学习算法，在这种系统中，学习可以以增量的方式进行(即数据点的顺序可用性)。使用贝叶斯方法和图形模型，我们的目标是创建快速、健壮的算法，基于坚实的统计基础，但可扩展到极高的维度。

    最近的工作包括贝叶斯回拟相关向量机和一个相关的变体(应用于肌电活动预测)。两者都产生计算效率高的解决方案，并提供诸如特征检测和自动相关性确定等属性。算法图形模型的增强版给出了一个贝叶斯因子分析回归模型，该模型执行噪声清除。它在泛化性能方面提供了显著的改进，在机器人平台的参数识别任务中已经证明了这一点。

    • ．．机器人和计算电机控制

    • 而监督统计学习技术有重要的应用模型和模仿学习在美国，它们并不足以解决所有的运动学习问题，尤其是在没有专业老师或理想的理想行为的情况下。因此，机器人技术和对人类运动控制的理解都需要与奖励(或成本)相关的自我完善。因此，开发有效的强化学习方法对于成功地学习运动控制至关重要。
      然而，强化学习在高维空间，如机械手和仿人机器人是非常困难的，因为完全探索底层的状态-动作空间是不可能的，而且现有的技术很少能扩展到这个领域。
      然而，很明显，人类也不需要如此广泛的探索来学习新的运动技能，而是依赖于观察老师和随后的自我完善的结合。用更专业的术语来说:首先，通过模仿获得控制策略，然后使用强化学习进行改进。关键是只应用局部策略搜索技术，例如策略梯度方法，因为对策略的快速更改将导致完全忘记策略，也可能导致不稳定的控制策略，这可能会损害机器人。
      为了将强化学习引入机器人和计算运动控制领域，我们开发了各种新型的强化学习算法，如自然演员-评论家和情景自然演员-评论家。这些方法特别适用于基于汽车原语并被应用到运动技能学习中仿人机器人而且有腿的运动．

  • 模仿学习

  • 机器人的可扩展统计学习

    我们对完成非线性坐标变换和实现自主高维拟人化系统鲁棒内部模型的监督学习方法很感兴趣。

    我们的重点是为复杂运动系统开发新的学习算法，在这种系统中，学习可以以增量的方式进行(即数据点的顺序可用性)。使用贝叶斯方法和图形模型，我们的目标是创建快速、健壮的算法，基于坚实的统计基础，但可扩展到极高的维度。

    最近的工作包括贝叶斯回拟相关向量机和一个相关的变体(应用于肌电活动预测)。两者都产生计算效率高的解决方案，并提供诸如特征检测和自动相关性确定等属性。算法图形模型的增强版给出了一个贝叶斯因子分析回归模型，该模型执行噪声清除。它在泛化性能方面提供了显著的改进，在机器人平台的参数识别任务中已经证明了这一点。
    • 人类和许多动物并不只是通过试错来学习一项任务。相反，他们从观察其他人执行类似任务的过程中提取如何解决问题的知识。从计算运动控制的角度来看，从演示中学习是一个非常复杂的问题，需要将外部(世界)坐标框架中给定的感知动作映射到完全不同的内部参考框架中，以激活运动神经元和随后的肌肉。最近在行为神经科学方面的研究表明，灵长类动物的额叶皮层中有一些专门的神经元(“镜像神经元”)，它们似乎是感知运动和产生运动之间的界面，也就是说，当灵长类动物看到一个特定的运动时，这些神经元非常有选择性地激活，但当灵长类动物自己执行该运动时也会激活。人体成像研究证实了这些结果的有效性。从演示中学习的研究为未来自主机器人提供了巨大的潜力，也为医学和临床研究提供了巨大的潜力。如果我们能通过展示来教机器，我们与机器的互动将变得更加自然。如果机器能够理解人类的动作，它还可以作为一个私人教练用于康复，观察病人，提供具体的新练习，如何改善被削弱的运动技能。最后，从演示学习中获得的对生物运动控制的见解有助于构建适应性假肢设备，可以通过教授来提高假肢的性能。
      在几个项目中，我们已经从学习理论的角度开始研究示范学习。我们的工作假设是，一个可感知的动作被映射到一组有限的运动原语上，这些原语竞争可感知的动作。这样的过程可以在竞争性学习的框架中制定。每个运动原语预测一个感知到的运动的结果，并试图调整其参数以实现更好的预测，直到确定赢家。在拟人化机器人的初步研究中，我们已经证明了我们的方法的可行性。尽管如此，仍有许多有待进一步研究的问题。我们在日本实验室的合作者也试图发展关于小脑如何参与学习动作原语的理论。在我们未来的研究中，我们将使用上述人形机器人来研究在人形环境中从演示中学习。

  • 汽车原语

  • 机器人的可扩展统计学习

    我们对完成非线性坐标变换和实现自主高维拟人化系统鲁棒内部模型的监督学习方法很感兴趣。

    我们的重点是为复杂运动系统开发新的学习算法，在这种系统中，学习可以以增量的方式进行(即数据点的顺序可用性)。使用贝叶斯方法和图形模型，我们的目标是创建快速、健壮的算法，基于坚实的统计基础，但可扩展到极高的维度。

    最近的工作包括贝叶斯回拟相关向量机和一个相关的变体(应用于肌电活动预测)。两者都产生计算效率高的解决方案，并提供诸如特征检测和自动相关性确定等属性。算法图形模型的增强版给出了一个贝叶斯因子分析回归模型，该模型执行噪声清除。它在泛化性能方面提供了显著的改进，在机器人平台的参数识别任务中已经证明了这一点。
    • 运动协调需要某种形式的计划:每一个自由度(DOF)都需要在每一个时刻提供适当的运动指令。命令的选择必须使它们能够完成所需的任务，但也必须使它们不违反移动系统的能力。由于在复杂的移动系统中存在大量的自由度，并且随着时间的推移，使用自由度的可能性几乎是无限的，因此对于任何给定的任务，实际上都存在无限多的可能的移动计划。这种冗余是有利的，因为它允许运动系统避免一些情况，例如，运动自由度的范围是饱和的，或者需要绕过障碍才能达到目标。但是，从学习的角度来看，这也使得寻找好的移动计划变得非常复杂，因为所有可能的计划所跨越的状态空间非常大。要使学习在这样高维的系统中变得容易，需要某种形式的附加约束，这些约束以一种合理的方式减少状态空间，而不排除好的解决方案。

      约束解空间的经典方法是对运动规划施加优化准则，例如，要求系统在最短的时间内或以最小的能量消耗完成任务。然而，找到导致适当行为的正确成本函数并非易事。因此，我们对轨迹规划的研究一直专注于一种约束运动规划的替代方法，即要求运动由运动原语构建。我们把运动原语想象成一个简单的动力系统，它可以在每个自由度上产生离散的或有节奏的运动。开始运动只需要速度和振幅参数。学习需要微调某些附加参数来改善运动。这种方法允许我们通过调整相对较小的一组参数来学习动作。我们目前正在探索如何使用这些动力系统来生成全身运动，如何通过新颖的强化学习方法学习它们的参数，以及如何对这些运动原语进行排序和叠加，以完成更复杂的运动任务。我们还考虑如何将我们开发的模型与生物行为进行比较，以找出生物系统使用哪些运动原语，以及这些运动原语是如何在大脑中表示的。

      来自生物学的灵感也激发了我们进行的相关轨迹规划项目。大脑的一个共同特征是利用地形图作为感觉信号的基本表示。这种映射可以用各种神经网络方法来构建，例如Kohonen的自组织映射或Martinetz的拓扑表示网络(TRN)。从统计的角度来看，地形图可以被认为是一种神经网络，它使用附加的邻域关系知识来执行概率密度估计。密度估计器是非常强大的工具，可以执行不同坐标系之间的映射，执行感觉集成，并作为其他学习系统的基本表示。但除了这些属性，地形图还可以执行空间计算，生成轨迹规划。例如，通过使用基于扩散的路径规划算法，我们通过学习气动机械臂避障来证明这种方法的可行性。从生物学的角度来看，利用地形图学习运动控制也是非常有趣的，因为与视觉信息处理相比，地形图在运动控制方面的用途到目前为止还远远没有被理解。

  • 非线性控制

  • 迄今为止，大多数控制非线性系统(如人形机器人)的方法高度依赖于手工制作的高增益和/或精确的刚体动力学模型。然而，为了离开实验室的地板，人形机器人将需要低增益控制，这样他们就不会破坏他们的环境，由于大量未建模的非线性，学习动力学模型将变得至关重要。在过去的几十年里，我们已经开发了几种新的非线性控制方法，并将在这一点上更详细地说明其中一些方法。

    • 操作空间控制

    • 许多复杂的机器人系统和其他植物都无法从物理理解的角度进行建模。如果高增益控制是不可能的，由于应用，合规要求或轻型低扭矩电机的使用，那么学习通常是唯一的选择。在我们的实验室里，我们开发了各种各样的学习和自适应控制方法。这些技术中的大多数学习速度非常快，在经过测试的机器人应用中表现优于人类建模。

      受分析动力学结果的启发，我们与我们的合作者Firdaus Udwadia(航空航天和机械工程系)一起引入了一种新的控制架构。这种体系结构允许从独特的直接成本最优控制角度推导新的和已建立的控制律(例如，操作空间控制律)。我们目前正在进行泛化工作，这将使框架成为一个学习框架。

      我们使用非线性控制技术来解决操作空间中任务完成的问题，同时保持冗余自由度之间的协调:对于高度冗余的机器人来说，这是一个特别具有挑战性的问题仿人机器人．除了在我们的7自由度机械臂上研究传统和新型冗余解决方案外，我们还在研究操作空间控制技术，作为一种重心放置平衡的手段腿平台．

  • 仿人机器人

  • 我们正在研究真实人形机器人感知运动控制的计算和生物学理论。这些机器人包括拟人化的手臂，眼球运动系统，甚至全身仿人机器人。下面的图片显示了我们的全身人形的一组图片。

  • 有腿的运动

  • 我们正在研究真实人形机器人感知运动控制的计算和生物学理论。这些机器人包括拟人化的手臂，眼球运动系统，甚至全身仿人机器人。下面的图片显示了我们的全身人形的一组图片。
    • 腿的运动是最重要的也是最难的控制问题之一仿人机器人到目前为止，没有一种方法能完全解决这个问题。从对人类和动物的研究可以明显看出，学习在有腿生物的平衡稳定和步态生成中都起着重要作用。因此，它既是学习控制的一个重要应用，又是学习控制的一个本质问题。
      我们学习运动控制的方法与我们在学习和控制方面的工作在这个网站上的其他研究高度交织在一起。以前开发的学习和控制技术为我们提供了一个独特的框架，并允许我们创建新的方法来运动。例如,汽车原语对于步态和脚的位置可以成为必不可少的工具。这样的汽车原语可以用混合的模仿学习而且强化学习．他们的执行力和机器人的平衡都很困难非线性控制少数控制律可以解决的问题，包括学习控制律在我们的实验室里开发的。
      我们主要使用两种系统来研究运动，即类人机器人Computational Brain CB和四足机器人Little Dog。仿人机器人CB是最先进的仿人机器人之一，采用液压执行器驱动。它由SARCOS公司开发，位于我们的合作伙伴位于日本京都ATR的设施中，如上图所示。四足机器人“小狗”是波士顿动力公司开发的学习运动的特殊平台。一只小狗位于加州洛杉矶的南加州大学，如图所示。“小狗”项目于2005年秋季启动，是DARPA学习运动项目的一部分。

  • 计算神经科学

  • 我们正在研究真实人形机器人感知运动控制的计算和生物学理论。这些机器人包括拟人化的手臂，眼球运动系统，甚至全身仿人机器人。下面的图片显示了我们的全身人形的一组图片。

    • Discrete-Rhythmic运动相互作用

    • 力场实验一直是一种流行的技术，用于确定人类运动系统中运动计划、执行和学习的潜在机制。在这些实验中，当实验对象执行运动任务时，如点对点的移动或连续的运动模式，机器人操纵器对手部或单个关节施加可控的外部力/扭矩。然而，由于所使用的机械手的机械限制，这些实验被限制在2自由度的运动，集中在肩膀和肘关节，因此不允许在运动中有任何空间冗余。通过使用7自由度外骨骼，我们的实验平台允许我们探索更广泛的运动，包括在全三维空间中使用人体手臂的主要7自由度的任务，由于这些运动中固有的冗余，我们可以专门研究人体手臂控制中的逆运动学和冗余分辨率等问题。

      在双步目标位移协议中，我们研究了一个意想不到的即将到来的新目标如何改变正在进行的离散运动。文献中有趣的观察是:运动的初始方向，运动到第二个目标的空间路径，在第二个运动中速度的放大。实验数据表明，上述特性受运动反应时间和第一目标与第二目标之间的刺激间隔的影响。在本研究中，我们使用DMP模拟再现了文献中大量的目标切换实验数据，并证明了在线校正和观察到的目标切换现象可以通过改变一个正在进行的DMP的目标状态来实现，而不需要切换到不同的运动原语或重新计划运动。

      我们在单个和两个联合实验中研究离散和有节奏的运动的相互作用。在以往的单关节运动任务研究中，确定了两种相互作用的度量:1)与正在进行的节奏性运动叠加的离散运动的启动被限制在特定的相位窗口内;2)正在进行的节奏性运动在离散启动过程中被中断，即相位重置。我们研究的目标是确定交互是发生在更高的大脑(如计划)还是更低的肌肉/脊柱(如执行)水平。在我们的心理物理实验中，我们使用Sensuit来记录关节的角度位置，同时执行有节奏的和离散的任务。我们正在使用一个简化的脊髓模型来研究单个关节中离散和有节奏的运动同时发生的影响。