feed-forwardsequentialmemorynetwork,FSMN),在DNN的隐层旁增加了一个“记忆模块”,这个记忆模块用来存储对判断当前语音帧有用的语音信号的历史信息和未来信息,并且只需等待有限长度的未来语音帧。随后,科大讯飞进一步提出了深度全序列卷积神经网络(DFCNN)。2018年,阿里巴巴改良并开源了语音识别模型DFSMN(DeepFSMN)。2018年,中科院自动化所率先把Transformer应用到语音识别任务,并进一步拓展到中文语音识别。不管是在研究成果还是在产品性能体验上,国内的语音行业整体水平已经达到甚至超越了国际水平。2016年10月,时任百度首席科学家的吴恩达在对微软的语音识别技术与人类水平持平的消息表示祝贺的同时声称,百度的汉语语音识别在2015年就已经超越了人类的平均水平,也就是说百度比微软提前一年实现了这一成绩。当前语音识别系统依然面临着不少应用挑战,其中包括以下主要问题:鲁棒性。目前语音识别准确率超过人类水平主要还是在受限的场景下,比如在安静环境的情况下,而一旦加入干扰信号,尤其是环境噪声和人声干扰,性能往往会明显下降。因此,如何在复杂场景(包括非平稳噪声、混响、远场)下,提高语音识别的鲁棒性,研发"能用=>好用"的语音识别产品。开源框架目前开源世界里提供了多种不同的语音识别工具包,为开发者构建应用提供了很大帮助。海南谷歌语音识别
语音识别包括两个阶段:训练和识别。不管是训练还是识别,都必须对输入语音预处理和特征提取。训练阶段所做的具体工作是收集大量的语音语料,经过预处理和特征提取后得到特征矢量参数,通过特征建模达到建立训练语音的参考模型库的目的。而识别阶段所做的主要工作是将输入语音的特征矢量参数和参考模型库中的参考模型进行相似性度量比较,然后把相似性高的输入特征矢量作为识别结果输出。这样,终就达到了语音识别的目的。语音识别的基本原理是现有的识别技术按照识别对象可以分为特定人识别和非特定人识别。特定人识别是指识别对象为专门的人,非特定人识别是指识别对象是针对大多数用户,一般需要采集多个人的语音进行录音和训练,经过学习,达到较高的识别率。基于现有技术开发嵌入式语音交互系统,目前主要有两种方式:一种是直接在嵌入式处理器中调用语音开发包;另一种是嵌入式处理器外扩展语音芯片。第一种方法程序量大,计算复杂,需要占用大量的处理器资源,开发周期长;第二种方法相对简单,只需要关注语音芯片的接口部分与微处理器相连,结构简单,搭建方便,微处理器的计算负担降低,增强了可靠性,缩短了开发周期。本文的语音识别模块是以嵌入式微处理器为说明。江西关闭语音识别声学模型是语音识别系统中为重要的部分之一。
传统语音识别系统的发音词典、声学模型和语言模型三大组件被融合为一个E2E模型,直接实现输入语音到输出文本的转换,得到终的识别结果。E2E模型06语音识别开源工具HTK(HMMToolkit)是一个专门用于建立和处理HMM的实验工具包,由剑桥大学的SteveYoung等人开发,非常适合GMM-HMM系统的搭建。Kaldi是一个开源的语音识别工具箱,它是基于C++编写的,可以在Windows和UNIX平台上编译,主要由DanielPovey博士在维护。Kaldi适合DNN-HMM系统(包括Chain模型)的搭建,支持TDNN/TDNN-F等模型。其基于有限状态转换器(FST)进行训练和解码,可用于x-vector等声纹识别系统的搭建。Espnet是一个端到端语音处理工具集,其侧重于端到端语音识别和语音合成。Espnet是使用Python开发的,它将Chainer和Pytorch作为主要的深度学习引擎,并遵循Kaldi风格的数据处理方式,为语音识别和其他语音处理实验提供完整的设置,支持CTC/Attention等模型。07语音识别常用数据库TIMIT——经典的英文语音识别库,其中包含,来自美国8个主要口音地区的630人的语音,每人10句,并包括词和音素级的标注。一条语音的波形图、语谱图和标注。这个库主要用来测试音素识别任务。
没有任何一个公司可以全线打造所有的产品。语音识别的产业趋势当语音产业需求四处开花的同时,行业的发展速度反过来会受限于平台服务商的供给能力。跳出具体案例来看,行业下一步发展的本质逻辑是:在具体每个点的投入产出是否达到一个普遍接受的界限。离这个界限越近,行业就越会接近滚雪球式发展的临界点,否则整体增速就会相对平缓。不管是家居、金融、教育或者其他场景,如果解决问题都是非常高投入并且长周期的事情,那对此承担成本的一方就会犹豫,这相当于试错成本过高。如果投入后,没有可感知的新体验或者销量促进,那对此承担成本的一方也会犹豫,显然这会影响值不值得上的判断。而这两个事情,归根结底都必须由平台方解决,产品方或者解决方案方对此无能为力,这是由智能语音交互的基础技术特征所决定。从技术来看,整个语音交互链条有五项单点技术:唤醒、麦克风阵列、语音识别、自然语言处理、语音合成,其它技术点比如声纹识别、哭声检测等数十项技术通用性略弱,但分别出现在不同的场景下,并会在特定场景下成为关键。看起来关联的技术已经相对庞杂,但切换到商业视角我们就会发现,找到这些技术距离打造一款体验上佳的产品仍然有绝大距离。当前技术还存在很多不足,如对于强噪声、超远场、强干扰、多语种、大词汇等场景下的语音识别还需很大提升。
LSTM)的循环神经网络RNN,能够通过遗忘门和输出门忘记部分信息来解决梯度消失的问题。由LSTM也衍生出了许多变体,较为常用的是门控循环单元(GatedRecurrentUnit,GRU),在训练数据很大的情况下GRU相比LSTM参数更少,因此更容易收敛,从而能节省很多时间。LSTM及其变体使得识别效果再次得到提升,尤其是在近场的语音识别任务上达到了可以满足人们日常生活的标准。另外,时延神经网络(TimeDelayNeuralNetwork,TDNN)也获得了不错的识别效果,它可以适应语音的动态时域变化,能够学习到特征之间的时序依赖。深度学习技术在近十几年中,一直保持着飞速发展的状态,它也推动语音识别技术不断取得突破。尤其是近几年,基于端到端的语音识别方案逐渐成了行业中的关注重点,CTC(ConnectionistTemporalClassification)算法就是其中一个较为经典的算法。在LSTM-CTC的框架中,后一层往往会连接一个CTC模型,用它来替换HMM。CTC的作用是将Softmax层的输出向量直接输出成序列标签,这样就实现了输入语音和输出结果的直接映射,也实现了对整个语音的序列建模。2012年,Graves等人又提出了循环神经网络变换器RNNTransducer,它是CTC的一个扩展,能够整合声学模型与语言模型,同时进行优化。随着人工智能的火热,现阶段越来越多的产品都想要加入语音功能。宁夏语音识别系统
技术的发展,现在口音、方言、噪声等场景下的语音识别也达到了可用状态。海南谷歌语音识别
Hinton提出深度置信网络(DBN),促使了深度神经网络(DNN)研究的复苏。2009年,Hinton将DNN应用于语音的声学建模,在TIMIT上获得了当时好的结果。2011年底,微软研究院的俞栋、邓力又把DNN技术应用在了大词汇量连续语音识别任务上,降低了语音识别错误率。从此语音识别进入DNN-HMM时代。DNN-HMM主要是用DNN模型代替原来的GMM模型,对每一个状态进行建模,DNN带来的好处是不再需要对语音数据分布进行假设,将相邻的语音帧拼接又包含了语音的时序结构信息,使得对于状态的分类概率有了明显提升,同时DNN还具有强大环境学习能力,可以提升对噪声和口音的鲁棒性。简单来说,DNN就是给出输入的一串特征所对应的状态概率。由于语音信号是连续的,各个音素、音节以及词之间没有明显的边界,各个发音单位还会受到上下文的影响。虽然拼帧可以增加上下文信息,但对于语音来说还是不够。而递归神经网络(RNN)的出现可以记住更多历史信息,更有利于对语音信号的上下文信息进行建模。由于简单的RNN存在梯度炸和梯度消散问题,难以训练,无法直接应用于语音信号建模上,因此学者进一步探索,开发出了很多适合语音建模的RNN结构,其中有名的就是LSTM。海南谷歌语音识别