二值神经网络在事件相机分类上以更少运算量超越全精度ResNet-18，N-Caltech101达90.58%
核心概要
该工作将现代二值神经网络（BNN）适配到事件相机数据，提出极坐标二值事件体（PBEV）二值表示并把网络首层也二值化，在N-Caltech101与N-ImageNet-mini分类基准上结合知识蒸馏与RGB跨模态预训练，使BNN达到或超过全精度ResNet-18，最佳结果90.58%且运算量更少。
Figure 1 : Classification accuracy on N-Caltech101 [ 29 ] vs. Total Operations. Markers for input representations: Best non-bin. 2-Ch (SAE / EventCount), PEV6 (non-bin. 6-Ch), BEI (bin. 2-Ch), and PBEV6 (bin. 6-Ch). Colors for model architectures: blue for ReActNet, orange for BNext, green for ResNet-18, and red for A&B BNN.
arXiv深度剖析
提出极坐标二值事件体（PBEV）表示：把事件按极性分开、堆叠为若干短时间片的三维张量，每个通道严格编码某位置有无事件，从而让事件数据可直接输入二值网络。 此前的二值事件表示（如BEI、BEHI）只把输入表示二值化，后续神经处理未必完全二值；PBEV与二值输入首层配合，把二值化延伸到输入层，使卷积核心主要依赖XNOR–popcount运算。 论文给出PBEV的形式化通道定义，并在N-Caltech101与N-ImageNet-mini上以多种累积窗口和表示做了对比实验；PBEV6在10–50 ms窗口内与SAE、EventCount相当并接近PEV6。
在事件分类上系统评测三种主流深度卷积BNN（ReActNet、A&B BNN、BNext Small）与全精度ResNet-18基线，并对照文献中的CNN、SNN、Transformer与GCN结果。 此前BNN用于神经形态视觉多限于低功耗小任务（如3类停车场监控、行人检测去噪），缺少与经典CNN、SNN在神经形态数据上的系统比较。 在两个数据集、多种事件表示与累积时间下评测；从零训练时蒸馏后的二值网络在两个数据集上已匹配或超过全精度基线，BNext在两者上领先。
发现最佳事件表示取决于传感器事件密度与累积时长，而非仅由架构决定：N-Caltech101上保留时序与密度的PEV6最佳（BNext在300 ms达84.84%），而N-ImageNet-mini上极短样本使6通道表示优势反转，稠密两通道的EventCount与SAE最强（BNext分别47.86%与43.62%）。 这一表示排序随数据集反转的现象，为按事件密度和累积机制选择输入编码提供了依据，而非固定采用某一种编码。 基于两个数据集上跨表示、跨骨干、跨累积窗口的对照结果，并给出PEV6在N-ImageNet-mini上崩溃（ResNet-18降至28.14%）的具体数值。
RGB跨模态预训练（直接权重热启动）对二值网络增益大于全精度基线，且二值网络会保留并利用该初始化：从零训练时最终权重符号与随机初始化不相关，预训练后C2I比值升至高于从零训练的下限。 把跨模态预训练与二值网络的初始化保留分析结合，说明RGB先验在1比特权重下仍被保留和利用。 以C2I（correlation-to-initialization）比值在两种数据集、各架构上量化；预训练模型在每个时间窗口、表示与架构上均超过从零训练，例外是A&B BNN配PBEV6。
启示与展望
该结果面向事件相机分类任务，评测使用静态场景的云台录制数据集（N-Caltech101与N-ImageNet-mini），复杂度为理论估算而非目标硬件实测。对需要在短累积窗口下低延迟推理、且算力受限的嵌入式或FPGA部署场景，PBEV与二值输入首层提供了可用的精度/复杂度折中；作者指出后续可扩展到自然事件录制、目标检测，并实测片上延迟与能耗。
读者仍需关注：评测限于静态场景云台录制，自然事件录制下的表现尚待验证；复杂度为理论估算，缺少目标硬件上的延迟与能耗实测；A&B BNN在EventCount长窗口下出现崩溃（100 ms起降至27.63%及以下），其训练稳定性与预训练初始化的相互作用仍需进一步厘清；PBEV6在长累积窗口不再提升、在N-ImageNet-mini极短样本上信息不足，表示选择与事件密度的匹配关系仍是开放问题。