视频
加载播放器…
  • 提供配置文件

  • 计算学习和运动控制实验室的研究重点是用于感觉运动控制和学习的神经计算领域。神经计算试图将生物学知识与物理学和工程学知识结合起来，以发展对复杂系统中信息处理的更基本和更正式的理解。

产品组合

  • 统计学习

  • 机器人技术的可扩展统计学习

    我们对完成非线性坐标转换的监督学习方法感兴趣，并为我们的自主高维拟人系统实现鲁棒的内部模型。

    我们的重点是为复杂运动系统开发新的学习算法，其中学习可以以增量方式进行(即数据点的连续可用性)。使用贝叶斯方法和图形模型，我们的目标是创建快速，健壮，基于坚实的统计基础，但可扩展到极高维度的算法。

    最近的工作包括贝叶斯回拟相关向量机和一个相关的变体(应用于肌电活动预测)。两者都产生了计算效率高的解决方案，并提供了特征检测和自动相关性确定等特性。算法图形模型的增强版本给出了一个执行噪声清除的贝叶斯因子分析回归模型。它在泛化性能方面提供了显著的改进，这已经在机器人平台的参数识别任务中得到了证明。

  • 强化学习……

  • 机器人技术的可扩展统计学习

    我们对完成非线性坐标转换的监督学习方法感兴趣，并为我们的自主高维拟人系统实现鲁棒的内部模型。

    我们的重点是为复杂运动系统开发新的学习算法，其中学习可以以增量方式进行(即数据点的连续可用性)。使用贝叶斯方法和图形模型，我们的目标是创建快速，健壮，基于坚实的统计基础，但可扩展到极高维度的算法。

    最近的工作包括贝叶斯回拟相关向量机和一个相关的变体(应用于肌电活动预测)。两者都产生了计算效率高的解决方案，并提供了特征检测和自动相关性确定等特性。算法图形模型的增强版本给出了一个执行噪声清除的贝叶斯因子分析回归模型。它在泛化性能方面提供了显著的改进，这已经在机器人平台的参数识别任务中得到了证明。

    • ．．机器人和计算运动控制

    • 而监督统计学习技术在模型和模型中有重要的应用模仿学习在美国，它们并不足以解决所有的运动学习问题，特别是在没有专家老师或理想的理想行为可用的情况下。因此，机器人技术和对人类运动控制的理解都需要与奖励(或成本)相关的自我完善。因此，高效强化学习方法的开发对于运动控制学习的成功至关重要。
      然而，强化学习在高维空间，如机械手和仿人机器人是极其困难的，因为完全探索底层的状态-动作空间是不可能的，而且很少有现有的技术可以扩展到这个领域。
      然而，很明显，人类也不需要如此广泛的探索来学习新的运动技能，而是依赖于观看老师的表演和随后的自我提高。用更专业的术语来说:首先，通过模仿获得控制策略，然后使用强化学习进行改进。关键是只应用局部策略搜索技术，例如策略梯度方法，因为对策略的快速更改将导致完全忘记策略，也可能导致不稳定的控制策略，从而损害机器人。
      为了将强化学习引入机器人技术和计算运动控制，我们开发了各种新颖的强化学习算法，如自然演员-评论家(Natural Actor-Critic)和情景自然演员-评论家(Episodic Natural Actor-Critic)。这些方法特别适合于基于汽车原语并被应用于运动技能学习仿人机器人而且有腿的运动．

  • 模仿学习

  • 机器人技术的可扩展统计学习

    我们对完成非线性坐标转换的监督学习方法感兴趣，并为我们的自主高维拟人系统实现鲁棒的内部模型。

    我们的重点是为复杂运动系统开发新的学习算法，其中学习可以以增量方式进行(即数据点的连续可用性)。使用贝叶斯方法和图形模型，我们的目标是创建快速，健壮，基于坚实的统计基础，但可扩展到极高维度的算法。

    最近的工作包括贝叶斯回拟相关向量机和一个相关的变体(应用于肌电活动预测)。两者都产生了计算效率高的解决方案，并提供了特征检测和自动相关性确定等特性。算法图形模型的增强版本给出了一个执行噪声清除的贝叶斯因子分析回归模型。它在泛化性能方面提供了显著的改进，这已经在机器人平台的参数识别任务中得到了证明。
    • 人类和许多动物并不是通过反复试验来学习一项任务。相反，他们从观察其他人执行类似任务的过程中提取如何处理问题的知识。从计算运动控制的角度来看，从演示中学习是一个非常复杂的问题，需要将外部(世界)坐标系中给定的感知动作映射到完全不同的内部参照系中，以激活运动神经元和随后的肌肉。最近在行为神经科学方面的研究表明，灵长类动物的额叶皮层中有一些特殊的神经元(“镜像神经元”)，它们似乎是感知到的运动和产生的运动之间的界面，也就是说，当灵长类动物看到一个特定的运动时，这些神经元非常有选择性地激发，当灵长类动物自己执行这个运动时也是如此。人体成像研究证实了这些结果的有效性。从演示中学习的研究为未来的自主机器人提供了巨大的潜力，也为医学和临床研究提供了巨大的潜力。如果我们可以通过展示来教机器，我们与机器的互动将变得更加自然。如果机器能够理解人类的运动，它也可以作为一个私人教练用于康复，观察病人，并提供具体的新练习，如何改善受损的运动技能。最后，从演示中学习的生物运动控制的见解可以帮助构建自适应假肢设备，可以教它来提高假肢的性能。
      在几个项目中，我们已经开始从学习理论的角度研究演示学习。我们的工作假设是，一个感知到的运动被映射到一个有限的运动原语集，这些原语集竞争感知到的动作。这样的过程可以在竞争性学习的框架中制定。每个运动原语都预测感知到的运动的结果，并试图调整其参数以实现更好的预测，直到确定获胜者。在拟人化机器人的初步研究中，我们已经证明了我们的方法的可行性。然而，仍有许多悬而未决的问题有待进一步研究。我们在日本实验室的合作者也试图发展关于小脑如何参与学习运动原语的理论。在我们未来的研究中，我们将使用上述人形机器人来研究在人形环境中通过演示进行学习。

  • 汽车原语

  • 机器人技术的可扩展统计学习

    我们对完成非线性坐标转换的监督学习方法感兴趣，并为我们的自主高维拟人系统实现鲁棒的内部模型。

    我们的重点是为复杂运动系统开发新的学习算法，其中学习可以以增量方式进行(即数据点的连续可用性)。使用贝叶斯方法和图形模型，我们的目标是创建快速，健壮，基于坚实的统计基础，但可扩展到极高维度的算法。

    最近的工作包括贝叶斯回拟相关向量机和一个相关的变体(应用于肌电活动预测)。两者都产生了计算效率高的解决方案，并提供了特征检测和自动相关性确定等特性。算法图形模型的增强版本给出了一个执行噪声清除的贝叶斯因子分析回归模型。它在泛化性能方面提供了显著的改进，这已经在机器人平台的参数识别任务中得到了证明。
    • 运动协调需要某种形式的计划:每个自由度(DOF)都需要在每个时刻及时提供适当的运动命令。所选择的命令必须能够完成预期的任务，但也不能违背运动系统的能力。由于在复杂的运动系统中存在大量的自由度，并且随着时间的推移使用自由度的可能性几乎是无限的，因此对于任何给定的任务，实际上都存在无限个可能的运动计划。这种冗余是有利的，因为它允许移动系统避免某些情况，例如，dof的运动范围饱和，或者需要绕过障碍物才能达到目标。但是，从学习的角度来看，这也使得寻找好的移动计划变得非常复杂，因为所有可能的计划所跨越的状态空间非常大。要使学习在高维系统中易于处理，需要某种形式的附加约束，这些约束以合理的方式减少状态空间，而不排除好的解决方案。

      约束解空间的经典方法是对运动规划施加优化标准，例如，通过要求系统在最短的时间内或以最小的能量消耗完成任务。然而，要找到正确的代价函数以导致适当的行为并非易事。因此，我们对轨迹规划的研究一直专注于通过要求从运动原语构建运动来约束运动规划的替代方法。我们把运动原语想象成一个简单的动力系统，它可以在每个自由度上产生离散的或有节奏的运动。运动开始时只需要速度和振幅参数。需要学习来微调某些附加参数以改进动作。这种方法允许我们通过调整相对较小的参数集来学习动作。我们目前正在探索如何使用这些动力系统来生成全身运动，如何使用新的强化学习方法来学习它们的参数，以及如何对这些运动原语进行排序和叠加以完成更复杂的运动任务。我们还考虑如何将我们开发的模型与生物行为进行比较，以找出生物系统使用的运动原语，以及这些运动原语是如何在大脑中表示的。

      来自生物学的灵感也激发了我们进行相关的轨迹规划项目。大脑的一个共同特征是使用地形图作为感觉信号的基本表示。这种映射可以用各种神经网络方法来构建，例如Kohonen的自组织映射或Martinetz的拓扑表示网络(TRN)。从统计学的角度来看，地形图可以被认为是一种神经网络，它通过附加的邻域关系知识来执行概率密度估计。密度估计器是非常强大的工具，可以在不同的坐标系统之间进行映射，进行感官集成，并作为其他学习系统的基本表示。但除了这些属性，地形图还可以执行空间计算，从而生成轨迹计划。例如，通过使用基于扩散的路径规划算法，我们通过使用气动机械臂学习避障来证明这种方法的可行性。从生物学的角度来看，通过地形图学习运动控制也是非常有趣的，因为与视觉信息处理相比，地形图在运动控制方面的有用性到目前为止还远远没有被理解。

  • 非线性控制

  • 迄今为止，大多数控制非线性系统(如人形机器人)的方法高度依赖于手工制作的高增益和/或精确的刚体动力学模型。然而，为了离开实验室，类人机器人将需要低增益控制，这样它们就不会破坏环境，而且由于未建模非线性的很大程度，动力学模型的学习将变得至关重要。在过去的几十年里，我们已经开发了几种非线性控制的新方法，并将在这一点上更详细地说明其中一些。

    • 操作空间控制

    • 许多复杂的机器人系统和其他植物都无法从物理理解上进行建模。如果高增益控制是不可能的，由于应用，遵从性要求或轻质低扭矩电机的使用，那么学习往往是唯一的选择。在我们的实验室，我们开发了各种学习和自适应控制方法。这些技术中的大多数学习速度非常快，在经过测试的机器人应用中表现得比人类建模要好。

      受分析动力学结果的启发，我们与我们的合作者Firdaus Udwadia(航空航天与机械工程系)一起引入了一种新颖的控制架构。该体系结构允许从独特的即时成本最优控制角度推导新的和已建立的控制律(例如，操作空间控制律)。我们目前正在进行一项泛化工作，这将使该框架成为一个学习框架。

      我们使用非线性控制技术来解决操作空间中的任务完成问题，同时保持冗余自由度之间的协调:对于高度冗余的机器人来说，这是一个特别具有挑战性的问题仿人机器人．除了在我们的7自由度机械臂上研究传统的和新的冗余解决方案外，我们还研究了操作空间控制技术作为平衡重心放置的手段腿平台．

  • 仿人机器人

  • 我们正在研究在真正的人形机器人上感知-运动控制的计算和生物学理论。这些机器人包括拟人化的手臂、眼球运动系统，甚至是全身仿人机器人。下面的图片显示了我们完整的人形的图片。

  • 有腿的运动

  • 我们正在研究在真正的人形机器人上感知-运动控制的计算和生物学理论。这些机器人包括拟人化的手臂、眼球运动系统，甚至是全身仿人机器人。下面的图片显示了我们完整的人形的图片。
    • 腿的运动是最重要的控制问题之一，也是最难的控制问题之一仿人机器人目前没有一种方法能完全解决这个问题。从人类和动物的研究中可以明显看出，学习在有腿生物的平衡稳定和步态生成中都起着重要作用。因此，它既是学习控制的一个重要应用，也是学习控制的一个基本问题。
      我们学习控制运动的方法与我们在这个网站上的其他研究中的学习和控制工作高度交织在一起。以前开发的学习和控制技术为我们提供了一个独特的框架，并允许我们创造新的运动方法。例如,汽车原语因为步态和脚的位置可以成为必不可少的工具。这样的汽车原语可以学会使用的混合模仿学习而且强化学习．他们的执行力和机器人的平衡都很困难非线性控制可以用少数控制律解决的问题，包括学习控制定律我们实验室开发的。
      我们主要使用两个系统研究运动，即类人机器人Computational Brain CB和四足机器人Little Dog。类人机器人CB是最先进的类人机器人之一，使用液压执行器驱动。它由SARCOS公司开发，位于我们的合作伙伴在日本京都ATR的设施中，如上图所示。四足机器人小狗是由波士顿动力公司开发的学习运动的特殊平台。一只小狗位于加州洛杉矶的南加州大学，如图所示。“小狗”项目开始于2005年秋季，是DARPA学习运动项目的一部分。

  • 计算神经科学

  • 我们正在研究在真正的人形机器人上感知-运动控制的计算和生物学理论。这些机器人包括拟人化的手臂、眼球运动系统，甚至是全身仿人机器人。下面的图片显示了我们完整的人形的图片。

    • 离散-节奏运动相互作用

    • 力场实验是一种流行的技术，用于确定人类运动系统中运动计划、执行和学习的机制。在这些实验中，当受试者执行运动任务(如点到点移动或连续模式)时，机器人操纵器在手部或单个关节施加受控的、无关的力/扭矩。然而，由于所使用的机械手的机械约束，这些实验仅限于2-DOF运动，重点是肩关节和肘关节，因此不允许在运动中出现任何空间冗余。通过利用7-DOF外骨骼，我们的实验平台允许我们探索更广泛的运动，包括在全三维空间中使用人体手臂的主要7-DOF的任务，由于这些运动中固有的冗余性，我们可以专门研究人体手臂控制中的逆运动学和冗余分辨率等问题。

      在双步目标位移协议中，我们研究了一个意想不到的即将到来的新目标如何修改正在进行的离散运动。文献中有趣的观察有:运动的初始方向，运动到第二个目标的空间路径，以及在第二次运动中速度的放大。实验数据表明，上述特性受运动反应时间和第一目标与第二目标之间的刺激间隔时间的影响。在本研究中，我们使用DMP在模拟中再现了大量文献中的目标切换实验数据，并表明在线校正和观察到的目标切换现象可以通过改变正在进行的DMP的目标状态来完成，而不需要切换到不同的运动原语或重新计划运动。

      我们在单个和两个关节实验中研究离散和有节奏的运动的相互作用。在以前对单关节运动任务的研究中，确定了两种相互作用的测量方法:1)叠加在正在进行的节奏运动上的离散运动的开始被限制在特定的相位窗口中;2)正在进行的节奏运动在离散开始期间被中断，即相位重置。我们研究的目标是确定这些相互作用是发生在更高的大脑(即计划)还是更低的肌肉/脊椎(即执行)水平。在我们的心理物理实验中，我们使用Sensuit来记录关节角度的位置，同时执行有节奏的和离散的任务。我们正在使用一个简化的脊髓模型来研究单个关节中离散和有节奏的运动共同出现的影响。