• 人工智能教授

• 我的研究小组寻求一种模型驱动的方法来探索视觉感知和认知。目前，在视知觉方面的研究已经积累了大量的实验数据。由于潜在的过程已被证明是非常复杂的，目前的数据逃避一个简单的解释，有必要进行更多的研究，以神经计算模型的形式阐述理论基础。我们感兴趣的模型，试图捕捉大脑中基本机制和过程的时间动态，主要是在人口编码的水平上。我们的研究目标有三个方面。i)我们想把不同的实验观测结果联系在一个模型中，以找出共同的、基本的机制。ii)我们通过团队或合作来测试模型的实验预测。我们预计，作为不同大脑区域一部分的高级功能的模型将在指导研究中获得越来越大的影响。iii)模型的有效性也通过观察它们在现实世界任务中的表现来测试，例如对象/类别识别。我们相信，这种神经生物学方法为未来的计算机视觉解决方案提供了巨大的潜力。

• 眼周空间知觉

• 
• 当我们观看一个场景时，我们感觉我们感知到了视觉世界的所有细节和丰富程度。是什么引导我们获得视觉空间的体验，我们如何通过眼球运动整合感知?即使在眼跳开始之前，使用短暂闪现刺激的研究也揭示了感知的变化，如视觉空间的压缩。然而，无论是负责“压缩”的神经机制，还是它在感知中的作用，都没有被揭示出来。我们已经开发了一个神经计算模型来进一步指导这一领域的研究。
  
  该模型(见Hamker et al.， PLOS compp . biology, in press)由两层组成。第1层将所呈现的刺激位置编码为皮层坐标系中考虑射频大小和放大倍率的活动种群。这个群体会被眼球运动或注意力反馈信号所扭曲。聚集的扭曲人口表示在第2层，并用于确定感知位置。

• 注意

• 
• 视觉为我们的环境提供了丰富的信息。视觉上的困难就出现了，因为这些信息在图像中并不明显，所以必须主动构造。早期的算法倾向于自底向上的方法，将图像转换为世界的内部表示，而最近的算法搜索替代方案并开发利用自顶向下连接的框架。根据后一条研究路线，我们已经概述了知觉是一个积极的过程:额叶区域的规划阶段在早期阶段修改知觉，以从环境输入中构建所需的信息。这项研究产生了一种新的方法，称为“基于人群的推断”。对模型的预测进行了实验验证。在此基础上，建立了大尺度自然场景感知模型。
  
  大脑相互作用区域的最小集合的轮廓。我们的模型领域局限于基本但典型的过程，并没有复制这些领域的所有特征。箭头表示与模型相关的区域之间已知的解剖连接。向模型发送前馈输入的区域没有显式建模。方框中的标签表示已实现的区域。(b)模拟模式区草图。每个方框代表一个细胞群。这些种群的形成是一个时间的动态过程。自底向上(驱动)连接用黄色箭头表示，自顶向下(调制)连接用红色箭头表示。V4和其他区域中的两个方框表明我们模拟二维(例如; ''color'' and ''form'') in parallel. The FEF pools across dimensions.

• 类/对象识别

• 
• 基于我们早期研究知觉作为主动模式生成的概念，我们的目标是将注意力和物体识别结合在一个单独的互连网络中。我们将展示自然场景中物体识别的性能，并为理解视觉作为建设性过程提供重要的一步。学习前馈和反馈权重将导致模型细胞编码层次增加，视野比例更大，刺激属性更复杂。反馈可以解决歧义并显示视觉细节。该项目由DFG资助。
  
  
  腹侧通路和前额眼区域的注意力和物体识别模型。从图像中得到不同的特征图(颜色和方向)，每个位置上的每个特征用种群代码表示其显著性。学习的前馈W和反馈权重A将区域相互连接。

• 视觉知觉的认知控制

• 
• 我们早期的研究通过一个主动的、自上而下的定向推理过程将感知形式化，在这个过程中，目标模板将由参与任务协调的区域学习和维护。这种对适当模板的学习及其及时的激活，被称为视觉的认知指导，将在基于奖励的场景中实现。在这方面，我们的目标是建立一个前额叶皮层和皮层下结构如何相互作用，及时生成目标模板，从而指导视觉过程的模型。本研究项目由DFG支持。
  
  
  A)模型的功能草图。我们提出视觉感知的解决方案必须灵活地考虑先验知识。先验知识既可以引导视觉朝向感兴趣的物体，也可以确定记忆中视觉场景的各个方面。在这两种情况下，一个预期信号(我们也称之为目标模板)被用来增强相关输入的表示。在视觉搜索的情况下，这种自上而下的信号引导视觉通过必须学习的自上而下的连接。在其他情况下，这个信号决定了必须与当前任务绑定的场景的相关方面。
  
  B)概述注意力、物体识别和类别学习的模型是如何在大脑中实现的。视觉部分(红色)实现匹配检测和视觉选择。视觉-认知部分(蓝色部分)确保及时学习和激活正确的模板。为了简单起见，腹侧通路的一些区域被认为是在一个可比的水平上，并由一个单一的地图描述(例如V1/V2)。这些区域之间的连接通常是双向的。

• 掩蔽与意识知觉

• 
• 我们研究了与简要呈现的刺激及其可能的神经基础相关的有意识视觉知觉的动力学方面。物体的形成是视觉感知的核心，这一概念得到了后向掩蔽研究结果的有力支持。我们特别提出意识与基底神经节介导的封闭丘脑-皮质环的形成有关。

• ANNarchy(人工神经网络架构师)

• 
• 
  ANNarchy是一种分布式平均率或峰值神经网络的模拟器。该库的核心是用c++编写的，并提供了Python接口。当前的开发版本是3.0，很快将在GNU GPL下发布。
  ANNarchy是用来模拟分布式和生物学上合理的神经网络，这意味着神经元只能通过与其他神经元的连接来访问局部信息，而不能访问全局信息，比如整个网络的状态或其他神经元的连接。原则上，生物学上不可信的机制，如反向传播和赢家通吃，并不适合这个模拟器。
  
  体系结构
  ANNarchy是专门针对神经网络的学习能力。主要对象annarNetwork是人工神经元相互连接的异构种群(annarPopulation)的集合。每个群体包括一组相似的人工神经元，annarNeuron，其激活由各种微分方程控制。神经元的这种激活依赖于它接收连接的网络中的其他神经元之一(通过突触，annarWeight)。
  神经元接收到的连接存储在不同的阵列中，这取决于分配给它们的类型:现实的神经元不会平等地整合所有的输入，但根据它们的神经递质类型(AMPA, NMDA, GABA，多巴胺……)，在树突树上的位置(近端/远端)，甚至原始区域(皮层柱不像处理长距离皮质-皮质连接那样处理丘脑输入)，对它们进行不同的处理。每一种类型的连接都可以单独集成以改变神经元的激活。
  传入连接的这种类型组织也允许轻松地应用于它们不同的学习规则(Hebbian, Anti-Hebbian，多巴胺调制，STDP…)学习规则定义在annarLearningRule类中，可以在不同的网络中重用。
  一个表示外部世界的类，annarWorld，允许网络以输入/输出的方式与其环境交互(检索输入图像，执行操作……)

• 虚拟现实中神经元代理的模拟

• • 
  • • 本研究项目的目标是模拟在其他项目中开发的人脑综合认知模型，以研究认知代理在虚拟现实中与其环境相互作用的表现。每个代理都具有类似人类的外观、属性和行为。因此，该项目建立了一个类脑算法到技术系统的转移。
      
      系统
      神经元代理及其虚拟环境(VR)在一个分布式和专门的设备上进行模拟。这些智能体拥有人类的所有主要能力，它们能够执行简单的动作，如移动或跳跃，移动眼睛和头部，并显示情绪面部表情。智能体根据他们的行为和他们在环境中的感觉结果自主地学习他们的行为。为此，vr引擎包含一个基本的动作和物理引擎。小动作(如伸展手臂)由vr引擎制作动画，而神经元模型则控制高级动作选择，如抓住某个物体。
      为了研究神经元代理与人类用户的互动，世界将包括用户控制的虚拟形象。这些人将能够通过适当的虚拟现实接口接收感官信息，例如投影系统将提供视觉信息。用户还可以与环境互动，通过跟踪他们的面部和四肢来收集必要的运动信息。这种人脸跟踪特别用于检测用户的情绪，以研究人类与神经元agent之间的情感交流。
      从技术上讲，该设备由几个子部分组成:一个虚拟现实引擎，一个模拟代理大脑的神经模拟集群和一个沉浸式投影系统，将人类用户映射到虚拟形象。集群本身将能够并行模拟多个神经元模型，这允许我们使用多代理设置。该集群将由NVidia CUDA加速卡(硬件层)和神经元模拟器框架ANNarchy(软件层)组成。

• 情绪

• • 
  • • 虽然经典理论系统地反对情绪和认知，认为情绪会扰乱理性思维的正常功能，但神经科学的最新进展却相反地强调，情绪过程是认知过程的核心，它将注意力引向与情绪相关的刺激，有利于外部事件的记忆，评估行动与其后果之间的联系，通过允许比较不同目标的激励价值来偏差决策，更一般地，引导行为以满足有机体的需求。