案例赏析 | 面向智能驾驶的驾驶员心理负荷评估：多模态融合、高准确率与轻量化部署

道路交通事故是全球可预防死亡的首要原因。据世界卫生组织2023年报告，全球每年有119万人死于交通事故，其中90%-95%的事故源于人为因素，而驾驶员的心理负荷超载是最主要的诱因之一。
心理负荷是一个多维度的概念，描述了人在执行任务时认知资源的占用程度。目前主流的评估方法分为三类：

• 主观量表法（如NASA-TLX）：简单直接，但存在主观偏差，且无法实现连续实时监测。

• 驾驶绩效法：通过车速、车道偏移等数据间接反映负荷，但对早期负荷变化不敏感。

• 生理测量法：通过EEG、ECG、EDA等信号客观反映神经与自主神经系统活动，是目前最有潜力的实时评估手段。

然而，现有研究存在三大核心问题：

1. 多数研究仅使用单一或两种生理信号，未能充分利用不同模态的互补性；

2. 模型多为"黑箱"，缺乏对特征重要性的量化分析；

3. 普遍忽视了车载易获取的驾驶数据的补充价值。

为解决这些问题，本研究通过严格的模拟驾驶实验，系统对比了不同模态组合与机器学习算法的评估性能，并量化了驾驶数据的增益效果。

研究方法

01

被试

研究招募了24名符合条件的男性驾驶员（平均年龄24.5岁，平均驾龄2.6年），均持有有效驾驶证且无运动障碍、色盲或晕车史。所有被试均为右利手，实验前签署了知情同意书。

02

实验设计

采用单因素被试内实验设计，通过"模拟驾驶+听觉N-back"双任务范式诱导三个水平的心理负荷：

• 低负荷：仅执行模拟驾驶任务

• 中负荷：驾驶任务+1-back语音任务

• 高负荷：驾驶任务+2-back语音任务

实验在100km长的城市快速路模拟场景中进行，要求被试保持80km/h的车速在中间车道行驶。为消除顺序效应与疲劳效应，三个任务条件在不同日期进行，并采用平衡拉丁方设计安排任务顺序。每个任务持续1小时，结束后被试填写NASA-TLX主观量表。

图 1. 研究流程与框架概述

03

数据采集

采用ErgoLAB人机环境同步平台V3.0（津发科技，中国北京）同步采集三类生理信号与驾驶数据：

• 脑电（EEG）：使用ErgoLAB 32通道水电极脑电仪，仅提取对心理负荷最敏感的额叶12个通道数据。

• 心电（ECG）：采用ErgoLAB ECG传感器采集。

• 皮电（EDA）：采用ErgoLAB EDA传感器采集，电极贴于非优势手食指与中指。

• 驾驶数据：基于ErgoSIM模拟驾驶系统，从驾驶模拟器直接提取车速、方向盘转角、油门输入等5项指标。

图2. 模拟驾驶场景及生理信号采集示意图

数据处理与建模

1. 数据预处理：基于ErgoLAB生理分析模块对生理信号进行滤波、去伪迹等处理，提取最后10分钟的稳定数据用于分析。

2. 特征提取：基于领域知识提取12项生理特征（4项EEG、5项ECG、3项EDA）与5项驾驶特征，所有特征均有明确的生理或行为学意义。

3. 模型构建：对比了决策树（DT）、K近邻（KNN）、随机森林（RF）与多层感知器（MLP）四种经典机器学习算法。

4. 评估指标：采用准确率、召回率、精确率与F1分数综合评估模型性能，并使用SHAP方法进行特征重要性分析。

研究结果

01

单一模态性能对比

EEG是单一模态中性能最优的信号。基于随机森林的EEG模型达到了87.80%的准确率与87.79%的F1分数，显著优于ECG（69.32%）与EDA（66.12%）模型。这是因为EEG直接反映大脑的神经活动，对认知负荷的变化最为敏感。
在所有分类器中，随机森林（RF）的表现始终最优，而MLP的性能最差，这与生理数据的高噪声、异质性特征有关——集成学习方法比单一神经网络更适合处理这类数据。

02

多模态融合效果显著

多模态融合能大幅提升模型性能，且融合的模态越多，准确率越高：

• 双模态：EEG+EDA组合性能最佳，RF模型准确率达97.04%；其次是EEG+ECG（95.71%）与ECG+EDA（92.33%）。

• 三模态：融合EEG、ECG与EDA的RF模型达到了98.49%的准确率与98.51%的F1分数，是纯生理信号模型中的最优结果。

SHAP特征重要性分析显示：

• EEG的Beta波与Alpha波是所有模型中最重要的特征，对高负荷的识别贡献最大；

• EDA的皮肤电导水平（SCL）与皮肤电导反应（SCR）能有效区分中高负荷；

• ECG的心率变异性指标（RMSSD、pNN50）则对低中负荷的区分更有价值。

图3. 性能最佳的单模态、双模态及多模态模型的混淆矩阵

图4. 性能最佳的单模态、双模态及多模态模型的ROC曲线

图5. 最优性能的单模态、双模态及多模态模型的特征重要性分布图

03

驾驶数据的补充价值

虽然单独使用驾驶数据的准确率仅为61.96%，但将其作为补充特征加入生理模型后，性能得到了显著提升：

• 对单一生理模态的提升最大：EDA+驾驶数据的F1分数提升了22.45%，ECG+驾驶数据提升了16.29%，EEG+驾驶数据提升了6.79%。

• 对多模态模型的提升较小，但仍能将三模态生理模型的准确率进一步提升至99.21%。

这一结果表明，驾驶数据是一种低成本、非侵入式的有效补充特征，尤其适合在传感器数量受限的轻量化系统中使用。

研究讨论

本研究的核心发现可以总结为三点：

1. 模态互补性：不同生理信号反映了心理负荷的不同方面——EEG反映中枢神经系统活动，ECG与EDA反映自主神经系统活动。多模态融合能覆盖更全面的生理响应，从而提升模型的鲁棒性与准确性。

2. 算法选择：随机森林在处理多模态生理数据方面具有显著优势，它不仅准确率高，而且训练速度快、抗过拟合能力强，非常适合车载实时系统的部署。

3. 工程化启示：根据不同的应用场景，可以选择不同的传感器组合：
   高精度场景：采用EEG+ECG+EDA+驾驶数据的全模态方案，准确率可达99%以上；
   轻量化场景：采用EEG+驾驶数据的组合，准确率可达94.5%，同时大幅降低硬件成本与计算复杂度。

研究结论

本研究通过系统的实验与分析，证实了多模态生理信号融合是评估驾驶员心理负荷的有效手段。研究发现：

1. EEG是单一模态中最可靠的心理负荷指标；

2. 融合EEG、ECG与EDA的随机森林模型能达到98.49%的三分类准确率；

3. 驾驶数据作为补充特征能显著提升模型性能，尤其对单一生理模态的增益最大。

这些发现为智能驾驶辅助系统中的驾驶员状态监测模块提供了重要的设计依据。未来的研究将进一步扩大被试群体（包括不同年龄、性别与驾龄的驾驶员），并在真实道路环境中验证模型的有效性，推动技术从实验室走向实际应用。

基金支持

本研究得到国家自然科学基金（项目编号：32271130）、广东省自然科学基金（项目编号：2024B1515020007、2023A1515012843）以及深圳市科技创新委员会基金（项目编号：JCYJ20230808105219038、JCYJ20241202124304007）的部分资助。

参考文献

[1]Tao, D,, Huang, J,, Zhang, Q,, Wang, T,, & Qu, X, (2025), Assessment of drivers’ mental workload: exploring the roles of multimodal physiological measures, driving measures and their combinations, Advanced Engineering Informatics, 68, 103796,

tip

本文仅用于学术交流，原文版权归原作者和原发刊所有。
欢迎关注ErgoLAB公众号，了解产品更多新功能、新技术、新应用动态~

- End -

请点击下方二维码关注我们吧！