日前,引起大量关注的透过腹痛音检验新冠肺结核的控制技术开发人员“小豚倾听”发布了其控制技术基本原理,蔬果满满的。据介绍该控制技术是由中科院电学科学研究院、上海地坛公园医院、施捷、沈阳市卫生保健医学中心、上海Jaunpur瑞声科技有限公司等共同开发设计。
新冠肺结核病人的一般病症包括流鼻血、腹痛等,科学研究表明脑部炎症对人的表达意见方式产生了很大的影响,因而人的消化系统音如吞咽音、音频、腹痛音等在很大程度上能作为脑部炎症是否的一种表观。之前有科学研究借助腹痛音来检验高血压、脊髓灰质炎等病人并取得了良好的进行分类操控性,这说明借助腹满界定肺结核病人与糖尿病人是可取的。
透过对照新冠肺结核病人和糖尿病人腹满的频域正弦波及频谱辨认出,新冠肺结核病人的腹满通常持续时间极短,部分伴以轻度的滑音,在频谱上表现在热量集中在中高频区域;而糖尿病人的甲亢腹痛平均值时一般说来于肺结核病人,热量在频谱上原产极为光滑。对照糖尿病人和脑部病症病人腹痛音的电学特点辨认出在统计优点和频谱上存有很大的差别。以新冠肺结核病人和糖尿病人的腹满为例,具体进行如下表所示:
(1)过零率:右图中黄色点则表示糖尿病人腹满的过零率原产,黄色点则表示新冠病人腹满的过零率原产。糖尿病人的腹满过零率平均值数为0.17,而新冠病人的平均值数为0.23,从这一层次的特点能将一部分病人界定出来。存有差别的原因可能为新冠病人在演唱腹痛时声音存有很大的跳动,导致过零率略低于糖尿病人(见右图)。
过零率(黄色点则表示糖尿病人腹满,黄色点则表示新冠病人腹满)
(2)平均值热量:糖尿病人腹痛热量平均值数2.08*1e7,新冠病人腹痛热量平均值数为1.19*1e7。从规矩角度观察,新冠病人腹满极为疲惫,因此热量相对较低,与理论是完全一致的(见右图)。
平均值热量(红色点则表示糖尿病人腹满,黄色点则表示新冠病人腹满)
(3)强度:强度与热量存有很大的对应关系,同样表现为糖尿病人的平均值数高于新冠病人,糖尿病人平均值数12461,新冠病人平均值数为6795(见右图)。
强度(黄色点则表示糖尿病人腹满,黄色点则表示新冠病人腹满)
(4)振幅抖动:指声音信号相邻周期之间振幅的微小变化,反映嗓音的嘶哑程度。糖尿病人平均值数0.447,新冠病人平均值数0.546,能够在很大程度上反映表达意见的稳定性。与过零率相对应,糖尿病人的表达意见平稳性较强,抖动较少(见右图)。
振幅抖动:(黄色点则表示糖尿病人腹满,黄色点则表示新冠病人腹满)
(5)其他一些特点也存有很大的差别,例如频谱质心、色度图谱、声谱衰减等(见下图)
(6)传统统计特点如过零率、短时热量等特点用于音频信号处理中的其他任务, 透过按照句子级别的特点提取方式对每一条音频提取相应的特点,透过对照具有不同进行分类操控性且能够互补的特点进行组合。仅从单一层次的特点可能无法实现很好的进行分类操控性,透过PCA降维、特点聚类等方式探究不同特点的组合来提升进行分类操控性(见右图)。
多维特点进行聚类降维
(7)从频谱图角度进行对照,辨认出糖尿病人的腹痛热量在整个频谱上原产极为光滑;而高血压和肺结核病人的热量较多的集中在高频区域,高频热量较少;新冠病人的腹痛热量则在高频区域与糖尿病人存有较大的差别。(见右图)
进一步对照更多糖尿病人和新冠病人腹痛热量的频谱图差别能辨认出,正常人腹痛音相对持续较短,高频和高频热量更重,同时底层谐波相对更加明显;新冠病人腹痛音相对日照时间段,或者底层因为脑部失去弹性,高频没有较明显的谐波特点(见右图)。
糖尿病人与新冠病人腹痛音频谱对照
针对以上差别我们设计实现了基于残差注意力时延神经网络,透过检验腹痛音判断是否为新冠肺结核病人。首先,将输入的音频进行前端处理,透过预先训练好的声音事件检验模块去除静音及部分噪音片段,之后透过腹痛音判别模块判断一段音频是否为腹痛音。删除腹痛音以外的其他无关、干扰音频片段,是为了仅将得到的有效腹痛音输入神经网络进行训练和测试。在得到极为干净的腹痛音片段之后,提取腹痛音的梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficient,MFCC)参数,然后将MFCC特点送入残差注意力时延神经网络,最后对网络输出的结果进行判别,输出是否是疑似肺结核病人(见右图)。
基于残差注意力时延神经网络
算法的核心是残差注意力时延神经网络,上图展示了残差注意力时延神经网络结构。针对肺结核病人与正常人腹痛音的区别,首先使用两层TDNN[7]网络以提取时间层次上的音频信息。为避免深度神经网络随着网络层数加深而产生的梯度消失问题,在后续网络结构中引入残差结构,同时结合注意力机制实现对特点的加权激励,构成网络中的残差时延神经网络结构(Residual Time Delay Neural Network, RES_TDXN)。紧接着我们在RES_TDXN后端挂接两层TDNN,以获得固定长度的鲁棒的音频特点,最后透过全连接层及softmax激活函数进行进行分类,输出腹痛音所属者是肺结核病人的概率(见右图)。
对以上神经网络得到的特点图进行可视化能辨认出,特点图将原始腹痛谱图中腹痛片段的部分给予了更高的权重,也就意味着模型根据这一部分特点的差别性进行模型优化和最终进行分类,尽可能提高模型进行分类的准确性(见右图)。
关键控制技术:
(1)腹痛音语谱分析与检验:
运用适当的信号处理控制技术和深度神经网络控制技术能对新冠腹满进行提取、界定。引入环境信息,结合DNN-LSTM混合神经网络,提升VAD准确率。
(2)多维鲁棒特点提取
借助可学习的低通池化模块代替传统的MEL滤波器组,使模型更为自由的选取潜在独特特点。
(3)进行分类建模及数据增强
科学研究基于轻型卷积神经网络的小样本学习方法以及基于神经网络架构搜索(NAS)的建模控制技术。
(4)综合决策与诊断
采用多音频要素综合分析进行决策,借助图神经网络对复杂关系的强学习能力,智能化替代人工决策过程,建立综合决策模型,最终透过网络决策给出诊断结果。
