文献导读 | DeepSyncNet：EEG+fNIRS“双剑合璧”：混合脑机接口如何让控制更精准

在非侵入式脑机接口研究中，如何稳定、准确地识别人的脑活动状态，一直是核心难题。

传统 EEG 脑机接口具有时间分辨率高、设备相对便捷等优势，可以快速捕捉大脑神经电活动。但 EEG 信号容易受到噪声干扰，空间定位能力有限。fNIRS 功能性近红外光谱则可以反映脑区血氧变化，空间信息更稳定，但它的反应速度较慢，难以捕捉瞬时神经活动。一个“快”，一个“稳”。因此，EEG-fNIRS 混合脑机接口成为近年来的重要方向。

发表于 Biomedical Signal Processing and Control 的研究 DeepSyncNet: Deep synchronized fusion network for EEG-fNIRS multimodal brain-computer interfaces提出一种深度同步融合网络。该方法不再简单拼接 EEG 与 fNIRS，而是让两种信号在网络早期进行交互和融合，为混合脑机接口解码提供了新思路。

1

研究亮点速览

01

直击多模态融合痛点

传统方法多在分类前进行特征拼接或结果投票，跨模态交互较浅。DeepSyncNet 将融合过程前移，使 EEG 与 fNIRS 在特征学习阶段就开始协同。

02

强化 EEG 与 fNIRS 互补优势

EEG 擅长捕捉快速神经电活动，fNIRS 擅长反映稳定血氧代谢变化。DeepSyncNet 通过注意力机制动态分配两类信号贡献，使模型能够根据任务自动判断此时更该相信谁。

03

构建完整深度融合流程

模型整合多尺度特征提取（RFB）、注意力融合（AF）、特征增强（FAM）和时空注意力（STA），实现从脑信号输入到任务分类输出的完整流程。

2

3分钟 Get 以下重点

 01. DeepSyncNet是什么？

DeepSyncNet 是一种用于 EEG-fNIRS 多模态脑机接口的深度融合模型。它通过同步建模 EEG 的快速神经电活动和 fNIRS 的稳定血氧代谢信息，实现脑活动状态识别。

02. DeepSyncNet 创新在哪里？

核心在于网络早期利用注意力机制将 EEG 与 fNIRS 数据进行深度同步融合，而不是后期简单拼接。

3

研究背景

脑机接口 BCI 希望通过解析大脑活动，实现人与外部设备的直接交互。EEG 是常用信号，采集方便、时间分辨率高，但信号弱、噪声多、空间定位有限。fNIRS 则通过近红外光检测血氧浓度变化，空间稳定性较好，但血氧反应存在延迟。

因此，EEG-fNIRS 混合 BCI 的基本逻辑是：用 EEG 捕捉快速神经电活动，用 fNIRS 补充稳定血氧代谢信息。难点在于，二者时间尺度、空间分布和生理机制不同，如何融合直接决定模型效果。传统后期融合往往交互不足，难以充分发挥多模态优势。DeepSyncNet 正是针对这一问题提出： 多模态融合不应只是“结果相加”，而应是“特征学习过程中的同步交互”。

4

核心创新

 01. 深度同步融合框架

DeepSyncNet 将 EEG 与 fNIRS 的融合放入网络内部，使两种模态在特征提取阶段就开始交互。

相比“各自处理，最后合并”的传统方式，这种早期融合更有利于学习两种信号之间的对应关系。可以把它理解为：传统方法是“两个人各自写答案，最后合并”；DeepSyncNet 是“两个人边思考边交流，最后共同作答”。

 02. 多尺度特征提取

脑信号并不是单一尺度的信息。不同脑区、不同时间窗、不同信号频段中，都可能隐藏与任务相关的特征。DeepSyncNet 引入 RFB 模块，用于多尺度特征提取。该模块可以从不同感受野捕捉脑活动模式，使模型不局限于单一尺度的信息表达。对于 EEG-fNIRS 这类复杂脑信号，多尺度建模有助于提升特征表达能力。

 03. 注意力融合机制

DeepSyncNet 的关键模块之一是 AF 注意力融合模块。

它的作用不是机械地把 EEG 和 fNIRS 拼在一起，而是通过门控注意力机制动态调整两类信号的贡献。在某些任务阶段，EEG 的快速响应可能更有价值；而在另一些阶段，fNIRS 的稳定血氧变化可能更能反映脑区活动。

因此，模型需要学会根据数据本身自动分配权重。

 04. 时空注意力增强

脑机接口任务中的有效信息通常具有明显的时空特征。

例如，运动想象任务可能涉及运动皮层相关区域；心理算术任务可能激活前额叶等认知相关脑区。

DeepSyncNet 通过 STA 时空注意力模块，从空间和时间两个维度筛选关键信息，使模型更关注与分类任务相关的脑区和时间片段。

5

技术路径

 01. 数据输入

实验使用公开 EEG-fNIRS 数据集，受试者同步采集 EEG 与 fNIRS 信号。
任务包括：

• 运动想象： 左手 vs 右手运动想象；

• 心理算术： 心理计算 vs 静息状态。

模型需要根据脑信号判断受试者处于哪类脑活动状态。

 02. 信号表征

DeepSyncNet 尽量保留 EEG 和 fNIRS 的空间分布信息，将原始信号映射为具有空间结构的张量，使模型能够学习不同通道、不同脑区之间的空间关系。

 03. 特征提取与融合

模型先通过 RFB 提取多尺度特征，再利用 AF 模块完成 EEG-fNIRS 注意力融合，随后通过 FAM 和 STA 强化关键特征，最终输出分类结果。

6

实验结果

 01. 分类准确率

DeepSyncNet 在两个任务中均取得较高准确率：

• 心理算术任务： 平均准确率约 98.40%；

• 运动想象任务： 平均准确率约 98.92%。

 02. 消融实验

• 去掉 AF 注意力融合模块后，模型性能明显下降，说明跨模态注意力融合是性能提升的关键来源。

• 去掉空间插值后，准确率大幅下降，说明模型不仅要看信号数值变化，也要利用信号的空间分布。

7

研究价值

 01. 理论意义

• 推动 EEG-fNIRS 融合从浅层拼接走向深度交互。

• 强调脑信号空间结构在分类建模中的重要性。

• 为混合脑机接口深度学习建模提供新范式。

 02. 实践意义

该方法可为运动想象、认知状态识别等 BCI 任务提供高精度解码思路。
未来若能实现稳定在线识别，有望应用于神经康复、外骨骼控制和辅助交互系统。

8

局限与未来展望

 01.当前局限

文章结果主要来自公开数据集和离线实验，尚不能直接等同于真实场景中的实时控制效果。此外，不同受试者脑信号差异较大，模型跨被试泛化能力仍需进一步验证。

 02.未来方向

后续研究可进一步推进实时 EEG-fNIRS 解码系统，增强跨被试、跨任务泛化能力，并结合可解释性分析，揭示模型关注的脑区、时间段和模态贡献。

9

总结

DeepSyncNet 的核心启发是：

EEG-fNIRS 多模态脑机接口的关键，不是简单采集两种信号，而是让它们在模型内部真正协同。

EEG 提供快速神经电活动信息，fNIRS 提供稳定血氧代谢信息。DeepSyncNet 通过多尺度特征提取、注意力融合和时空增强机制，实现了两类信号的动态同步，为多模态脑机接口研究提供了新的融合思路。

参考文献

Li, H. DeepSyncNet: Deep synchronized fusion network for EEG-fNIRS multimodal brain-computer interfaces. Biomedical Signal Processing and Control, 2026, 113:109100. DOI: 10.1016/j.bspc.2025.109100.

本文为第三方论文解读，仅作学习交流，原论文版权归原作者及学术机构所有。解读观点不代表原作者立场，严禁抄袭、商用、学术造假。如有版权争议，请联系我方处理。使用者独立承担依据本文开展各类应用产生的全部后果，本平台不承担法律责任。

EEG-fNIRS 产品推荐
如果您也关注EEG-fNIRS多模态脑机接口、认知状态识别、神经工效学或脑功能研究，津发科技推出的 多模态脑电仪 可为相关实验提供EEG与fNIRS同步采集支持。

该设备面向多模态脑功能研究场景，可同步记录大脑神经电活动与血氧代谢变化，帮助研究者从“快响应”的 EEG 信号和“稳表征”的 fNIRS 信号中获取更完整的脑活动信息，适用于脑机接口、认知负荷评估、运动想象、神经康复、人因工程等研究方向。

了解更多产品信息：