• 教授人工智能

• 我的研究小组采用模型驱动的方法来探索视觉感知和认知。目前，视觉感知的研究已经积累了大量的实验数据。由于潜在的过程已经被证明是非常复杂的，目前的数据难以简单的解释，更多的研究是必要的，以神经计算模型的形式阐述一个理论基础。我们感兴趣的模型，试图捕捉大脑中基本机制和过程的时间动态主要是在种群代码的水平上。我们的研究目标有三个方面。i)我们希望将不同的实验观察结果联系在一个模型中，以找出共同的、基本的机制。ii)我们在团队中或通过合作来测试模型的实验预测。我们期望将更高功能作为不同大脑区域的一部分的模型将在指导研究方面获得越来越多的影响。iii)模型的有效性也通过观察它们在真实世界任务(如物体/类别识别)上的表现来检验。我们相信，这种神经生物学方法为未来的计算机视觉解决方案提供了很高的潜力。

• Peri-saccadic空间感知

• 
• 当我们看一个场景时，我们感觉我们感知了视觉世界的所有细节和丰富。是什么导致了我们对视觉空间的体验以及我们如何通过眼球运动整合感知?甚至在扫视开始之前，使用短暂闪光刺激的研究就揭示了知觉的变化，如视觉空间的压缩。然而，无论是负责“压缩”的神经机制，还是它在感知中的作用，都没有被揭示。我们已经开发了一个神经计算模型来进一步指导这一领域的研究。
  
  该模型(见Hamker等人，PLOS Comp. Biol，出版中)由两层组成。第1层在考虑RF大小和放大的皮质坐标系统中，将提出的刺激位置编码为一个活跃种群。这个群体会被眼球运动或注意力反馈信号所扭曲。混合的扭曲的人口表示在第2层，并用于确定感知的位置。

• 注意

• 
• 视觉提供了关于我们环境的丰富信息。视觉上的困难出现了，因为这些信息在图像中不明显，它必须被主动构建。早期的算法偏爱自底向上的方法，将图像转换为世界的内部表示，而最近的算法则寻找替代方案，并开发利用自顶向下连接的框架。按照后面的研究思路，我们已经概括了感知是一个积极的过程:前额区域的规划阶段在早期阶段修改感知，以从环境输入中构建所需的信息。这项研究产生了一种名为“基于人口的推断”的新方法。通过实验验证了模型的预测结果。一个大尺度模型已被用于自然场景感知。
  
  大脑互动区域的最小轮廓。我们的模型区域仅限于基本但典型的过程，并没有复制这些区域中的所有特性。箭头表示与模型相关的区域之间已知的解剖联系。向模型发送前馈输入的区域没有显式建模。方框中的标签表示实现的区域。(b)模拟模型区域示意图。每个盒子代表一个细胞群。这些种群的形成是一个时间动态的过程。黄色箭头表示自下而上(驱动)连接，红色箭头表示自上而下(调制)连接。V4和其他区域中的两个框表示我们模拟两个维度(例如: ''color'' and ''form'') in parallel. The FEF pools across dimensions.

• 类/对象识别

• 
• 基于我们之前的研究，我们研究了感知作为主动模式生成的概念，我们的目标是在一个单一的互联网络中结合注意和物体识别。我们将演示在自然场景中物体识别的性能，并为理解视觉作为一个建设性过程提供了重要的一步。学习前馈和反馈权重将导致模型单元随着层次的增加而编码、视野比例的增大和刺激特性的复杂化。反馈可以解决歧义，并揭示视觉细节。该项目由DFG资助。
  
  
  注意和物体识别的腹侧通路和额视野模型。从图像中得到不同的特征图(颜色和方向)，每个位置的每个特征及其显著性由种群码表示。学习前馈权重W和反馈权重A相互连接区域。

• 视觉感知的认知控制

• 
• 我们早期的研究通过一种主动的、自上而下的定向推理过程将感知形式化，在这个过程中，涉及任务协调的区域将学习和维护目标模板。这种对适当模板的学习及其及时激活，被称为视觉的认知指导，将在基于奖励的场景中实现。在这方面，我们的目标是建立一个模型，研究前额叶皮层和皮层下结构如何相互作用，及时生成目标模板，从而指导视觉过程。这个研究项目是由DFG资助的。
  
  
  A)模型功能示意图。我们提出视觉感知的解决方案必须灵活地考虑先验知识。先验知识既可以引导视觉指向感兴趣的对象，也可以决定视觉场景中保留在记忆中的方面。在这两种情况下，预期信号(我们也称之为目标模板)被用来增强相关输入的表示。在视觉搜索的情况下，这种自上而下的信号通过自上而下的连接来引导视觉，这是需要学习的。在其他情况下，这个信号决定了一个场景的相关方面，必须绑定到当前的任务。
  
  B)概述了注意力、物体识别和类别学习的模型是如何在大脑中实现的。视觉部分(红色)实现匹配检测和视觉选择。视觉-认知(蓝色)部分确保及时学习和激活正确的模板。为了简单起见，腹侧通路的一些区域被认为在一个可比的水平上，并用单一的地图来描述(例如V1/V2)。区域之间的联系通常是双向的。

• 掩蔽和有意识知觉

• 
• 我们研究了与短暂呈现的刺激有关的有意识视觉知觉的动力学方面及其可能的神经基础。一个物体的形成是视觉感知的中心，这一概念得到了向后掩蔽研究结果的有力支持。我们特别指出意识与基底神经节介导的封闭丘脑-皮层环路的形成有关。

• 人工神经网络架构师

• 
• 
  ANNarchy是分布式平均速率或峰值神经网络的模拟器。该库的核心是用c++编写的，并提供了一个Python接口。当前的开发版本是3.0，并将很快在GNU GPL下发布。
  ANNarchy用来模拟分布式的、生物学上可信的神经网络，这意味着神经元只能通过与其他神经元的连接来获取局部信息，而不能获取全局信息，比如整个网络的状态或其他神经元的连接。原则上，像反向传播和赢者通吃这样在生物学上不可信的机制并不适合这个模拟器。
  
  体系结构
  ANNarchy是专门针对神经网络的学习能力。其主要对象annarNetwork是一组相互连接的异质人工神经元群体(annarPopulation)。每个种群包含一组相似的人工神经元annarNeuron，其激活由各种微分方程决定。一个神经元的激活依赖于它接收连接的网络中的另一个神经元(通过突触，annarWeight)。
  神经元接收到的连接被存储在不同的阵列中，这取决于分配给它们的类型:现实中的神经元并不是平等地整合所有输入，而是根据它们的神经递质类型(AMPA, NMDA, GABA，多巴胺……)，树突树上的位置(近端/远端)，甚至原始区域(皮层柱体处理丘脑输入的方式与处理长距离皮质-皮质连接的方式不同)来不同地处理它们。每一种类型的连接可以单独集成来修改神经元的激活。
  这种类型的传入连接组织也允许他们很容易地应用不同的学习规则(Hebbian, Anti-Hebbian，多巴胺调节，STDP…)学习规则在annarLearningRule类中定义，可以在不同的网络中重用。
  一个表示外部世界的类annarWorld允许网络以输入/输出的方式与其环境进行交互(检索输入图像，执行操作……)

• 虚拟现实中神经元制剂的模拟

• • 
  • • 本研究的目标是模拟人脑的整合认知模型，以探讨认知主体在虚拟现实中与环境交互的表现。每个代理都具有类似人类的外观、属性和行为。因此，这个项目建立了一种将类大脑算法转移到技术系统的方法。
      
      系统
      在一个分布式的、专门的设备上模拟神经元agent及其虚拟环境。代理具有人类所有的主要能力，他们能够执行简单的动作，如移动或跳跃，移动他们的眼睛和他们的头，并显示情感的面部表情。行为主体根据自己的行为和对环境的感觉结果自主学习行为。为此目的，vr -引擎包含一个基本的动作-和物理-引擎。虚拟现实引擎会带动小的动作(比如伸展手臂)，而神经元模型则会控制高级别的动作选择，比如抓住某个物体。
      为了研究神经元代理与人类用户的相互作用，世界将包括用户控制的虚拟化身。人们将能够通过适当的虚拟现实接口接收感官信息，例如，视觉信息将由投影系统提供。用户还将能够与环境进行交互，通过跟踪他们的面部和肢体来收集必要的运动信息。这种人脸跟踪特别用于检测用户的情绪，以研究人类和神经元之间的情感交流。
      从技术上讲，该设备由几个子部分组成:虚拟现实引擎、模拟智能体大脑的神经模拟集群，以及将人类用户映射到虚拟形象的沉浸式投影系统。集群本身将能够并行模拟几个神经元模型，这允许我们使用多代理设置。该集群将由NVidia CUDA加速卡(硬件层)和神经元模拟器框架ANNarchy(软件层)组成。

• 情绪

• • 
  • • 虽然经典理论系统地反对情绪和认知，认为情绪扰乱了理性思维的正常功能，但神经科学的最新进展却相反地强调，情绪过程是认知过程的核心，将注意力引导到与情绪相关的刺激，有利于外部事件的记忆，评估行动与其后果之间的联系，通过比较不同目标的动机价值，更一般地，引导行为以满足有机体的需求，从而做出偏向的决策。