‹ 全部项目

多模态学习

基于多模态特征融合的鲁棒视听语音识别系统

融合声学特征与唇形视觉特征的端到端系统,在噪声环境下依然保持识别能力。

时间
2025.10 – 2026.11
技术栈
  • Python
  • PyTorch
  • TensorFlow/Keras
  • MediaPipe
  • OpenCV
01 / 05问题
  1. 01 · 问题

    听声音,也读唇形。

    噪声会让语音识别迅速失准。本项目设计并实现端到端视听语音识别系统,融合声学特征与唇形视觉特征,提升噪声环境下的识别能力。

  2. 02 · 音频分支

    自行实现 MFCC。

    音频分支自行实现 MFCC 特征提取,并采用时序 CNN 模型。

  3. 03 · 视觉分支

    用人脸关键点追踪唇部。

    视觉分支基于 MediaPipe 人脸关键点追踪唇部区域,提取 2D-DCT 与唇形特征,同样采用时序 CNN 模型。

  4. 04 · 融合

    早期融合、晚期融合,再到自适应。

    设计并对比特征级早期融合与决策级晚期融合,基于后验熵自适应调整音视频权重,视频质量下降时自动偏向音频。

  5. 05 · 结果

    覆盖多种噪声与信噪比。

    在多种噪声类型及信噪比下开展对比实验,多条件训练使 0 dB 下音频识别准确率由 30.5% 提升至 77.7%;模型分别以 PyTorch 与 Keras 实现,并导出为 ONNX/TFLite 格式。

关键结果

77.7%

多条件训练后,0 dB 下的音频识别准确率由 30.5% 提升至 77.7%。