什么是語音識別技術？原理是什么？應用領域介紹

2023-04-27 19:19:48 作者：2200 4097

語音識別作為解放人類雙手的溝通方式，一直是人類與機器進行交流的最佳方式。隨著科學技術的不斷進步，語音識別技術在生活中的應用越來越廣泛，那么，什么是語音識別技術?原理是什么?本文將具體介紹。

1.語音識別技術

語音識別(Automatic Speech Recognition，ASR)技術也稱自動語音識別技術，是指機器通過識別和理解過程將語音信號轉化為文本或指令的技術。語音識別以語音為研究對象，涉及到數字信號處理、計算機、模式識別、語音學、語言學、心理學、生理學、數理統計學等多門學科領域，是一門綜合性很強的技術，在軍事、交通、醫學、工業、商業等領域都有著廣泛的應用。語音識別的目標是讓機器能夠像人一樣準確理解語音信號所承載的信息，從而實現人機交互。語音識別系統可以分成三類：孤立詞語音識別系統、連接詞語音識別系統與連續語音識別系統。

語音識別技術

2.語音識別技術的發展

語音識別技術的研究最早開始于20世紀50年代，1952年貝爾實驗室研發出了10個孤立數字的識別系統。從20世紀60年代開始，美國卡耐基梅隆大學的Reddy等開展了連續語音識別的研究，但是這段時間發展很緩慢。1969年貝爾實驗室的PierceJ甚至在一封公開信中將語音識別比作近幾年不可能實現的事情。

20世紀80年代開始，以隱馬爾可夫模型(hiddenMarkovmodel，HMM)方法為代表的基于統計模型方法逐漸在語音識別研究中占據了主導地位。HMM模型能夠很好地描述語音信號的短時平穩特性，并且將聲學、語言學、句法等知識集成到統一框架中。此后，HMM的研究和應用逐漸成為了主流。例如，第一個“非特定人連續語音識別系統”是當時還在卡耐基梅隆大學讀書的李開復研發的SPHINX系統，其核心框架就是GMM-HMM框架，其中GMM(Gaussianmixturemodel，高斯混合模型)用來對語音的觀察概率進行建模，HMM則對語音的時序進行建模。

20世紀80年代后期，深度神經網絡(deepneuralnetwork，DNN)的前身——人工神經網絡(artificialneuralnetwork，ANN)也成為了語音識別研究的一個方向。但這種淺層神經網絡在語音識別任務上的效果一般，表現并不如GMM-HMM模型。

20世紀90年代開始，語音識別掀起了第一次研究和產業應用的小高潮，主要得益于基于GMM-HMM聲學模型的區分性訓練準則和模型自適應方法的提出。這時期劍橋發布的HTK開源工具包大幅度降低了語音識別研究的門檻。此后將近10年的時間里，語音識別的研究進展一直比較有限，基于GMM-HMM框架的語音識別系統整體效果還遠遠達不到實用化水平，語音識別的研究和應用陷入了瓶頸。

2006年Hinton]提出使用受限波爾茲曼機(restrictedBoltzmannmachine，RBM)對神經網絡的節點做初始化，即深度置信網絡(deepbeliefnetwork，DBN)。DBN解決了深度神經網絡訓練過程中容易陷入局部最優的問題，自此深度學習的大潮正式拉開。

2009年，Hinton和他的學生MohamedD將DBN應用在語音識別聲學建模中，并且在TIMIT這樣的小詞匯量連續語音識別數據庫上獲得成功。

2011年DNN在大詞匯量連續語音識別上獲得成功，語音識別效果取得了近10年來最大的突破。從此，基于深度神經網絡的建模方式正式取代GMM-HMM，成為主流的語音識別建模方式。

語音識別技術

3.語音識別技術的工作流程

一般來說，一套完整的語音識別系統其工作過程分為7步：

(1)對語音信號進行分析和處理，除去冗余信息。

(2)提取影響語音識別的關鍵信息和表達語言含義的特征信息。

(3)緊扣特征信息，用最小單元識別字詞。

(4)按照不同語言的各自語法，依照先后次序識別字詞。

(5)把前后意思當作輔助識別條件，有利于分析和識別。

(6)按照語義分析，給關鍵信息劃分段落，取出所識別出的字詞并連接起來，同時根據語句意思調整句子構成。

(7)結合語義，仔細分析上下文的相互聯系，對當前正在處理的語句進行適當修正。

語音識別技術

4.語音識別的基本原理

所謂語音識別，就是將一段語音信號轉換成相對應的文本信息，系統主要包含特征提取、聲學模型，語言模型以及字典與解碼四大部分，其中為了更有效地提取特征往往還需要對所采集到的聲音信號進行濾波、分幀等預處理工作，把要分析的信號從原始信號中提取出來;之后，特征提取工作將聲音信號從時域轉換到頻域，為聲學模型提供合適的特征向量;聲學模型中再根據聲學特性計算每一個特征向量在聲學特征上的得分;而語言模型則根據語言學相關的理論，計算該聲音信號對應可能詞組序列的概率;最后根據已有的字典，對詞組序列進行解碼，得到最后可能的文本表示。

語音識別技術

5.語音識別技術的工作原理

首先，聲音實際上是一種波。常見的mp3等格式都是壓縮格式，必須轉成非壓縮的純波形文件來處理，比如WindowsPCM文件，也就是俗稱的wav文件。wav文件里存儲的除了一個文件頭以外，就是聲音波形的一個個點了。

在開始語音識別之前，有時需要把首尾端的靜音切除，降低對后續步驟造成的干擾。這個靜音切除的操作一般稱為VAD，需要用到信號處理的一些技術。

要對聲音進行分析，需要對聲音分幀，也就是把聲音切開成一小段一小段，每小段稱為一幀。分幀操作一般不是簡單的切開，而是使用移動窗函數來實現。

分幀后，語音就變成了很多小段。但波形在時域上幾乎沒有描述能力，因此必須將波形作變換。常見的一種變換方法是提取MFCC特征，根據人耳的生理特性，把每一幀波形變成一個多維向量，可以簡單地理解為這個向量包含了這幀語音的內容信息。這個過程叫做聲學特征提取。

至此，聲音就成了一個12行(假設聲學特征是12維)、N列的一個矩陣，稱之為觀察序列，這里N為總幀數。

那，怎樣把這個矩陣變成文本了。首先要介紹兩個概念：

音素：單詞的發音由音素構成。對英語，一種常用的音素集是卡內基梅隆大學的一套由39個音素構成的音素集。漢語一般直接用全部聲母和韻母作為音素集，另外漢語識別還分有調無調，不詳述。

狀態：這里理解成比音素更細致的語音單位就行啦。通常把一個音素劃分成3個狀態。

那，語音識別是怎么工作的呢?

第一步，把幀識別成狀態。

第二步，把狀態組合成音素。

第三步，把音素組合成單詞。

每個小豎條代表一幀，若干幀語音對應一個狀態，每三個狀態組合成一個音素，若干個音素組合成一個單詞。也就是說，只要知道每幀語音對應哪個狀態了，語音識別的結果也就出來了。

那每幀音素對應哪個狀態呢?有個容易想到的辦法，看某幀對應哪個狀態的概率最大，那這幀就屬于哪個狀態。

那這些用到的概率從哪里讀取呢?有個叫“聲學模型”的東西，里面存了一大堆參數，通過這些參數，就可以知道幀和狀態對應的概率。獲取這一大堆參數的方法叫做“訓練”，需要使用巨大數量的語音數據。

但這樣做有一個問題：每一幀都會得到一個狀態號，最后整個語音就會得到一堆亂七八糟的狀態號，相鄰兩幀間的狀態號基本都不相同。假設語音有1000幀，每幀對應1個狀態，每3個狀態組合成一個音素，那么大概會組合成300個音素，但這段語音其實根本沒有這么多音素。如果真這么做，得到的狀態號可能根本無法組合成音素。實際上，相鄰幀的狀態應該大多數都是相同的才合理，因為每幀很短。

解決這個問題的常用方法就是使用隱馬爾可夫模型(HiddenMarkovModel，HMM)。

第一步，構建一個狀態網絡。

第二步，從狀態網絡中尋找與聲音最匹配的路徑。

這樣就把結果限制在預先設定的網絡中，避免了剛才說到的問題，當然也帶來一個局限，比如設定的網絡里只包含了“今天晴天”和“今天下雨”兩個句子的狀態路徑，那么不管說些什么，識別出的結果必然是這兩個句子中的一句。

那如果想識別任意文本呢?把這個網絡搭得足夠大，包含任意文本的路徑就可以了。但這個網絡越大，想要達到比較好的識別準確率就越難。所以要根據實際任務的需求，合理選擇網絡大小和結構。

搭建狀態網絡，是由單詞級網絡展開成音素網絡，再展開成狀態網絡。語音識別過程其實就是在狀態網絡中搜索一條最佳路徑，語音對應這條路徑的概率最大，這稱之為“解碼”。路徑搜索的算法是一種動態規劃剪枝的算法，稱之為Viterbi算法，用于尋找全局最優路徑。

這里所說的累積概率，由三部分構成，分別是：

觀察概率：每幀和每個狀態對應的概率

轉移概率：每個狀態轉移到自身或轉移到下個狀態的概率

語言概率：根據語言統計規律得到的概率

其中，前兩種概率從聲學模型中獲取，最后一種概率從語言模型中獲取。語言模型是使用大量的文本訓練出來的，可以利用某門語言本身的統計規律來幫助提升識別正確率。語言模型很重要，如果不使用語言模型，當狀態網絡較大時，識別出的結果基本是一團亂麻。

這樣，基本上語音識別過程就完成了。這，也是語音識別技術的工作原理。