基于尖峰的 Bayesian 计算实现连续时空事件的脱钩
大量研究表明，人脑的认知过程可以用贝叶斯定理对外部世界进行概率推理来建模。脉冲神经网络(SNN)能够以更好的生理解释能力进行贝叶斯计算，为大脑皮层的分布式信息处理提供了一种新的方法。然而，将这些模型应用到现实世界的场景中，以利用类似大脑的计算的优势仍然是一个挑战。近年来，高动态范围和超高时间分辨率的仿生传感器在极端视觉场景中得到了广泛的应用。由各种类型的运动产生的事件流表示时空数据。在没有先验知识的情况下从这些流中推断运动目标仍然是一项困难的任务。基于贝叶斯推理的期望最大化(EM)框架已被证明对事件流中的运动分割是有效的，允许在没有关于运动或其源的先验信息的情况下进行解耦。这项工作表明，基于尖峰神经网络的贝叶斯计算可以将不同运动的事件流解耦。在构建207的网络中，赢家通吃(WTA)电路实现了等价的 E 步，而 STDP 电路实现了等价的 M 步优化。理论分析和实验表明，在混合运动模型下，基于 STDP 的学习能够最大限度地提高翘曲事件的对比度。实验结果表明，所构建的脉冲网络能够有效地分割事件流中包含的运动。
收回警告：缓解训练尖峰神经网络的梯度消失
尖峰神经网络(SNN)是一种受到生物启发的神经网络基础设施，最近引起了人们的极大关注。它利用二进制尖峰激活来传输信息，从而用加法取代乘法，从而产生高能效。然而，由于放电尖峰过程的不确定梯度，直接训练 SNN 构成了一个挑战。虽然以前的工作采用了各种替代梯度训练方法，使用替代函数来代替反向传播过程中的激发过程，但这些方法忽略了一个固有的问题：梯度消失。为了解决这个问题，我们提出了一种快速的反向传播方法，该方法主张将梯度直接从损耗层传递到浅层。这使得我们能够将梯度直接呈现给浅层，从而显著地缓解了梯度消失问题。此外，该方法在推理阶段没有引入任何负担，为了在最终精度和训练简易性之间取得平衡，我们还提出了一种进化训练框架，并通过引入一个随训练时代动态变化的平衡系数来实现，从而进一步提高了网络的性能。使用几种流行的网络结构在静态和动态数据集上进行的广泛实验表明，我们的方法始终优于最先进的方法。
通过基于速率的反向传播提高深度尖峰神经网络的训练效率
最近的研究表明，速率编码是基于代理梯度的时间反向传播(BPTT)在训练深度尖峰神经网络(SNN)中捕获的一种主要信息表示形式。受这些发现的启发，我们提出了基于速率的反向传播，这是一种专门设计的训练策略，旨在利用基于速率的表示来降低 BPTT 的复杂性。我们的方法通过关注平均动力学来最大限度地减少对详细时间导数的依赖，简化计算图以减少 SNN 训练的内存和计算需求。通过理论分析和实验观察，我们证明了 BPTT 与所提出方法之间的梯度近似的合理性。在CIFAR-10、 CIFAR-100、 ImageNet 和 CIFAR10-DVS 上的综合实验验证了我们的方法取得了与 BPTT 同类方法相当的性能，并超过了最先进的高效训练技术。通过利用码率编码的固有优势，这项工作为在资源受限的环境中进行更可扩展和更高效的SNN 培训奠定了基础。
粗糙信号驱动的随机尖峰神经网络的精确子集
我们引入了一个基于粗糙路径理论的数学严密框架，将随机尖峰神经网络(SSNN)建模为具有事件不连续性的随机微分方程(Event SDE)，并由粗糙路径驱动。我们的形式足够普遍，允许潜在的跳跃既存在于解决方案轨迹中，也存在于驾驶噪声中。然后，我们确定了一组充分条件，确保解轨迹和事件时间相对于网络参数的路径梯度的存在，并证明了这些梯度如何满足递归关系。此外，我们引入了一种通用的损失函数，它是由一类新的基于粗糙路径索引的特征核来定义的，并用它来训练 SSNN 作为产生式模型。我们为事件 SDE 提供了端到端的自动可微求解器，并将其实现作为 Diffrax 库的一部分提供。据我们所知，我们的框架是第一个支持基于梯度的 SSNN 训练的框架，其中噪声同时影响尖峰定时和网络的动态。
通过中央模式发生器推进尖峰神经网络的序列建模
尖峰神经网络(SNN)是一种既节能又具有生物合理性的人工神经网络。然而，如何将 SNN 应用于文本分类和时间序列预测等顺序任务中，一直受到建立一种有效且硬件友好的尖峰形式位置编码(PE)策略的阻碍。受人脑中央模式发生器(CPG)的启
发，我们提出了一种新的 SNN 位置编码技术，称为 CPG-PE。我们证明了常用的正弦 PE 在数学上是特定 CPG 膜电位动态的解决方案在时间序列预测、自然语言处理和图像分类等领域的大量实验表明，基于 CPG-PE 的 SNN 性能优于传统 SNN。
此外，我们还进行了分析实验，以阐明 SNN 编码位置信息的机制，并探索 CPG 在人脑中的功能。这一研究可能为神经计算的基本原理提供有价值的见解。
尖峰令牌混合器：事件驱动友好型尖峰神经网络的前结构
受生物过程启发的尖峰神经网络(SNN)使用尖峰信号进行层间通信，为传统神经网络提供了一种节能的替代方案。为了实现 SNN 在能源效率方面的理论优势，将其部署到神经形态芯片上是必不可少的。在时钟驱动的同步芯片上，采用较短的时间
步长可以提高能量效率，但会降低 SNN 性能。与时钟驱动的同步芯片相比，事件驱动的异步芯片实现了低得多的能耗，但只支持一些特定的网络操作。最近，SNN 的一系列项目取得了巨大成功，显著提高了 SNN 的绩效。然而，事件驱动的异步芯片不支持所提出的一些结构，因此不可能将这些 SNN 集成到异步硬件中。针对这些问题，我们提出了尖峰令牌混合器(STMixer)体系结构，该体系结构完全由异步场景支持的操作组成，包括卷积、全连通层和剩余路径。我们的一系列实验
还证明，在时间步长非常低的同步场景中， STMixer 的性能与尖峰变压器不相上下。这表明它能够在同步场景中以更低的功耗实现相同级别的性能。
SpikedAttention：免培训、完全尖峰驱动的 Transformer 到 SNN 转换，
采用面向获胜者的尖峰轮班，用于 Softmax 操作事件驱动的尖峰神经网络(SNN)是一种很有前途的神经网络，可以降低不断增长的人工智能模型的能量消耗。近年来，随着变压器的发展，基于变压器的神经网络应运而生。然而，由于自我注意与尖峰信号的不兼容，现有的基于变压器的 SNN 要么通过重构自我注意结构，要么通过遵守非尖峰计算来限制自己。在这项工作中，我们提出了一种新的变压器到 SNN 的转换方法，该方法输出一个端到端基于尖峰的变压器，称为 SpikedAttend.我们的方法直接转换训练有素的转换器，而不需要修改其注意结构。对于视觉任务，该方法将 Swin Transformer 转换为 SNN，无需后训练或转换感知训练，在 ImageNet 数据集上获得了最新的 SNN 精度，即 28.7M 参数下的 80.0%。考虑到权重累积、神经元电位更新和片上数据移动，SpikedAttendant 比基线 ANN(即 Swin-T)减少了 42%的能量消耗。此外，我们还首次证明了 SpikedAttendant 成功地将 BERT 模型转换为 SNN 模型，而在 GLUE 基准测试中，平均只有 0.3%的精度损失，能耗降低了 58%。
远程反馈尖峰网络捕获电影刺激下视觉皮质的动态和静态表示
深度神经网络(DNN)是研究生物视觉表征的常用模型。然而，现有的 DNN 大多设计用于分析神经对静态图像的反应，依赖于前馈结构，缺乏生理神经机制。对于视觉皮质如何代表包含丰富背景信息的自然电影刺激，人们的洞察力有限。为了解决这些问题，本工作提出了长程反馈棘波网络(LoRaFB-SNet)，它模仿了大脑皮层区域之间自上而下的连接，并结合了生物神经元固有的棘波信息处理机制。考虑到在电影刺激下表征的时间依赖性，我们提出了时间序列表征相似性分析(TSRSA)来度量小鼠模型表征和视觉皮质表征之间的相似性。 LoRaFB-SNet 表现出最高水平的表征相似性，在不同的实验范式中表现优于其他知名和领先的替代方案，特别是在表示长电影刺激时。我们进一步进行实验来量化电影刺激的时间结构(动态信息)和静态纹理(静态信息)如何影响相似性，这表明我们的模型受益于远程反馈来编码与上下文相关的表征，就像大脑一样。总之， LoRaFB-SNet 能够捕获小鼠视觉皮质的动态和静态表示，并有助于理解视觉系统中的电影处理机制。
NIPS 2024论文合集PDF版
由于关注点的不同，这篇博客可能无法包含所有该方向的论文。NIPS 2024 论文题目与摘要这份资料收录了NIPS 2024所有论文的标题和摘要，总共有3547页，而且是中英文对照的，读起来方便多了。
如果你对人工智能领域感兴趣，或者想找找灵感，这绝对是个好资源。翻一翻最新的研究，说不定就能找到一些新的想法或思路。平时闲下来的时候看看，既增长知识又能跟上最新的技术趋势，挺实用的。有空的话不妨看看，应该会有收获的。
NIPS 2024 收录所有论文题目和题目的合集：https://mbd.pub/o/bread/ZpyUlp5v
CVPR 2024 收录所有论文题目和题目的合集：https://mbd.pub/o/bread/ZpeYmplt