基于Transformer的语音障碍分析方法

基于Transformer的语音障碍分析方法

原文：Voice Disorder Analysis: a Transformer-based Approach
引言

语音障碍的紧张性

• 语音障碍严重影响患者的生存质量，早期诊断和治疗至关紧张。
  
• 主动化工具用于检测和分类这些障碍具有紧张意义。
  

现有挑战

• 缺乏病理语音数据，导致难以有效利用强大模型。
  
• 病理语音数据复杂且多样性高，不同类型的录音（如句子朗读和持续元音发音）增加了诊断难度。
  

办理方案概述

• 提出了一种基于Transformer的新方法，直接处理原始语音信号。
  
• 通过生成合成数据和数据增强来办理数据短缺问题。
  
• 利用Mixture of Experts (MoE)集成模型，同时思量多种录音类型。
  

方法论

数据生成与增强

合成数据创建

• 利用Text-to-Speech (TTS)技能生成健康和病理语音，确保生成的语音能准确反映特定类别的特征。
  
• 应用强大的数据增强管道（包括音调变化、时间拉伸和噪声添加），以丰富和平衡训练数据集。
  

Mixture of Experts (MoE)

• 训练多个Transformer模型，分别针对不同类型的录音（如句子朗读和持续元音发音）。
  
• 利用浅层MoE框架对所有模型的预测进行对齐，选择置信度最高的预测结果。
  
• 对每个模型进行不同的预训练，以充实利用不同数据集的上风。
  

实验设置

数据集

• 利用两个公开数据集（SVD和AVFAD）和一个内部意大利数据集（IPV）。
  
• SVD：包括德语语音和电声门图数据，重点关注句子朗读和正常音调的元音发音。
  
• AVFAD：包含葡萄牙语语音，涵盖各种语音任务。
  
• IPV：新收集的意大利病理语音数据集，包括视频喉镜查抄、感知语音评估和声学语音分析。
  

模型与训练过程

• 比力了1D-CNN、2D-CNN和纯Transformer模型（如wav2vec 2.0、WavLM和HuBERT）。
  
• 利用10折交叉验证，并应用强大的数据增强管道。
  

结果与讨论

语音障碍检测

• 提出的方法在AUC指标上显着优于其他模型，特别是在SVD、AVFAD和IPV数据集上的表现尤为突出。
  
• 利用合成数据和数据增强，联合MoE集成模型，显着提升了模型的泛化本事。
  

语音障碍分类

• 在多标签分类任务中，提出的方法在F1宏均匀值上有显着提升，特别是对于不平衡类别的情况。
  
• 初始预训练进一步增强了分类任务的性能。
  

消融研究

• 数据增强和合成数据的引入显着提高了模型性能，尤其是在IPV数据集上。
  
• 利用MoE集成模型并进行专门预训练（LibriSpeech和Audioset）进一步提升了性能。
  

合成数据的泛化性能

• 仅利用合成数据训练并在真实数据上测试，模型性能仍然显着高于随机水平，表明合成数据的质量较高。
  

结论

主要贡献

• 提出了新的方法，通过强数据合成和增强策略以及Transformer模型集成，显着提升了语音障碍检测和分类任务的性能。
  

局限性与将来工作

• 模型规模较大，MoE集成模型使模型大小翻倍。将来可以探索共享权重的方法。
  
• 模型在专家指导下录制的数据上训练，将来将扩展到实际场景中，嵌入基于Web的应用步调，摆设在多个私家和公共耳鼻喉科诊所。
  

致谢

资助信息

• 本研究部分由FAIR - Future Artificial Intelligence Research资助，并获得欧盟Next-GenerationEU项目的资金支持。
  

参考文献

• 枚举了相关范畴的参考文献，涵盖了语音障碍的盛行病学研究、深度学习在医学中的应用等。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。