‹ 全部项目
多模态学习
基于多模态特征融合的鲁棒视听语音识别系统
融合声学特征与唇形视觉特征的端到端系统,在噪声环境下依然保持识别能力。
- 时间
- 2025.10 – 2026.11
- 技术栈
- Python
- PyTorch
- TensorFlow/Keras
- MediaPipe
- OpenCV
01 / 05问题
01 · 问题
听声音,也读唇形。
噪声会让语音识别迅速失准。本项目设计并实现端到端视听语音识别系统,融合声学特征与唇形视觉特征,提升噪声环境下的识别能力。
02 · 音频分支
自行实现 MFCC。
音频分支自行实现 MFCC 特征提取,并采用时序 CNN 模型。
03 · 视觉分支
用人脸关键点追踪唇部。
视觉分支基于 MediaPipe 人脸关键点追踪唇部区域,提取 2D-DCT 与唇形特征,同样采用时序 CNN 模型。
04 · 融合
早期融合、晚期融合,再到自适应。
设计并对比特征级早期融合与决策级晚期融合,基于后验熵自适应调整音视频权重,视频质量下降时自动偏向音频。
05 · 结果
覆盖多种噪声与信噪比。
在多种噪声类型及信噪比下开展对比实验,多条件训练使 0 dB 下音频识别准确率由 30.5% 提升至 77.7%;模型分别以 PyTorch 与 Keras 实现,并导出为 ONNX/TFLite 格式。
关键结果
77.7%
多条件训练后,0 dB 下的音频识别准确率由 30.5% 提升至 77.7%。