CVPR 2026 | 同濟大學破解SNN追蹤難題：SpikeTrack實現精度與能效雙SOTA！

本文作者：陳淑瑜

2026-05-29 16:23

導語：SpikeTrack不僅在SNN追蹤器中達到了SOTA（目前最佳）水平，更在保證精度的前提下，將能耗降低至傳統ANN追蹤器的幾十分之一。

來源：公眾號“CV實驗室”

原文鏈接：https://mp.weixin.qq.com/s/65JSJhgEB_O_2epsG0pfIw?scene=1&click_id=51

在計算機視覺領域，目標追蹤（Visual Tracking）一直需要在“高精度”和“低功耗”之間尋找平衡。SNN（脈沖神經網絡）因其生物仿真特性和極高的能源效率被寄予厚望，但在處理復雜的RGB視覺追蹤任務時，往往難以兼顧精度。

今天介紹的這篇 CVPR 2026 論文 SpikeTrack，提出了一種全新的全脈沖驅動框架。它不僅在SNN追蹤器中達到了SOTA（目前最佳）水平，更在保證精度的前提下，將能耗降低至傳統ANN追蹤器的幾十分之一。

論文標題： SpikeTrack: A Spike-driven Framework for Efficient Visual Tracking

論文鏈接： https://arxiv.org/pdf/2602.23963

代碼倉庫： https://github.com/faicaiwawa/SpikeTrack (已開源)

現有的SNN追蹤框架主要面臨兩個問題：

偽脈沖驅動：部分方法（如SiamSNN）雖然使用了脈沖神經元，但在計算過程中仍將脈沖解碼為連續值，沒有真正發揮SNN“稀疏計算”的低功耗優勢。
時空動力學利用不足：部分基于事件相機的方法沿用了ANN的“單流（One-stream）”架構，強行拼接模板與搜索區域，導致計算量巨大且忽略了SNN在時間維度上的記憶特性。

SpikeTrack 的解決方案：非對稱孿生架構

作者沒有照搬ANN的交互模式，而是設計了一種非對稱（Asymmetric）的設計：

模板分支（Template Branch）：利用多個時間步（Timesteps）擴展，充分利用神經元的時空動力學特性，提取高質量的目標特征。但這部分計算量大，因此只在初始化或模板更新時運行一次。
搜索分支（Search Branch）：處理每一幀的實時畫面，保持高效的單時間步（Single-timestep）推理。
單向信息流：信息只從“模板”流向“搜索”，搜索分支通過特定的模塊“讀取”模板信息，而不需要像傳統Transformer那樣進行復雜的雙向注意力計算。

SpikeTrack 的架構主要由三個部分組成：共享權重的脈沖主干網絡（Backbone）、用于信息交互的記憶檢索模塊（MRM）、以及預測頭。

為了保證真正的脈沖驅動，論文采用了 NI-LIF (Normalized Integer Leaky Integrate-and-Fire) 神經元。它在推理時將膜電位轉換為整數脈沖，實現了稀疏的加法計算，替代了高能耗的浮點乘法。

其動力學方程如下：

其中，是膜電位，是輸出脈沖，是可學習的衰減因子。可學習的衰減因子允許網絡自適應地調節對歷史信息的遺忘程度。

這是SpikeTrack最核心的創新點。為了實現“模板”到“搜索”的高效信息傳遞，作者借鑒了大腦皮層（V1 L2/3區域）的神經推理機制：通過循環連接（Recurrent Connectivity）來完善感知。

在SpikeTrack中，模板特征被初始化為“記憶庫（Memory Bank）”。搜索分支在推理時，并不直接與模板拼接，而是通過MRM模塊去“查詢”記憶庫，逐步提取目標線索。

MRM 的工作流程包含三個階段的循環（Recurrent Process）：

最終，通過多次循環檢索（實驗中1次循環效果最佳），搜索分支能精準地“想起來”目標長什么樣，并定位目標。

在LaSOT數據集上，SpikeTrack展現了驚人的能效比。

對比 ANN：SpikeTrack-B（基礎版）在精度上超過了基于Transformer的 TransT（AUC 66.7% vs 64.9%），但能耗僅為 TransT 的 1/26。
對比 SNN：相比之前的 SpikeSiamFC++ 等SNN追蹤器，SpikeTrack在各項指標上均大幅領先。