《語音辨識及語音合成》

  語音辨識技術應用之發展趨勢(作者：電通所 張照煌)

      編按：本文雖為作者年前之作，然文中所論及諸多技術、發展之
    況，仍足堪同仁在瞭解此一領域之時，有一前導性之認識，故在徵
    得作者同意之下原文刊出，提供有興趣同仁作一參考。

      1996年五月，在台北市議員成功地以一張單面彩色影印的百元偽
    鈔由捷運兌幣機兌換出五十元硬幣之後，一時之間媒體報導充斥著
    機器辨識的術語，諸如「辨識參數」、「辨別偽鈔的靈敏度」、「
    辨識精確度」、「偽鈔辨識率」、「偽鈔辨識測試」、「八十種不
    同狀況為記憶參數」、「偵偽參數」、「辨識能力」等紛紛出籠。
    究竟機器(或電腦)怎麼進行辨識呢？為什麼容易出錯？困難到底在
    哪裡？本文的主題是「語音辨識技術」，雖然並非探討兌幣機偽鈔
    辨識，在原理上倒有許多共通之處。

      機器辨識技術的對象，主要有聲音和影像兩大類。影像辨識所涵
    蓋的範圍較廣，諸如文字辨識、指紋辨識、簽名辨識、臉孔辨識、
    瞳孔辨識、包括上面提到的偽鈔辨識都是。聲音辨識則包括人類發
    出的語音、樂器發出的音樂、機器發出的噪音、動物的叫聲、聲納
    、大自然的聲音都是。簡單的說，就是以機器進行人類「眼睛」和
    「耳朵」等兩個器官的功能「視覺」及「聽覺」，來達到自動化的
    效果。順帶一提的是，以機器進行「嗅覺」(人工鼻)、「觸覺」和
    「味覺」，雖非機器辨識技術的主流，也各有研究進行中。

      「辨識能力」本非電腦的專長，人類天賦的辨識能力，遠非電腦
    所及，即使最先進的電腦系統辨識能力也遠遠落後於普通人。在偽
    鈔風波中，有報導寫道「假鈔的紙張紙質和剪裁的大小，都和真鈔
    相差很多。以肉眼來看，任何人都可輕易辨識這些鈔票是假鈔。」
    但要機器具備一般人天賦的辨識能力，談何容易？

      閒話少說，回到本文的主題－「語音辨識技術」，微軟總裁比爾
    ‧蓋茲在”擁抱未來”一書中提到「在未來的五年當中，語音辨識
    、社會介面和高速公路連結器，都將放入主要的應用軟體中。到時
    候，不論公司或個人都會對那些可提升效率，及生產力的新版本趨
    之若鶩。」表示語音辨識技術是未來軟體三個新興技術之一，連全
    世界最大的軟體廠商也大為看好，有著璀燦的未來和龐大的商機。

      語音辨識之技術分類

      在「辨識技術」這個領域，依辨識對象的變化程度，而有不同的
    困難度。語音特性的變化因素包括(1)不同語者的變化:聲帶特徵、
    說話方式、連音耦合效應、口音等；(2) 同一語者的變化:情緒、壓
    力、感冒、Lombard  效應； (3)噪聲：汽車噪聲、空調噪聲、電話
    鈴聲、印表機噪聲、多人同時講話等；(4)環境變化：反射(Re
    flection)、回音(Reverberation)、麥克風特性及與語者的距離等。

      一般把語音辨識技術，根據詞彙大小、系統訓練、及發音方式做
    不同組合的分類。詞彙大小分為小字彙(小於   100   詞)、中字彙
    (100  -  1000  詞)、大字彙(1001  - 10000 詞)、極大字彙(大於
    10000 詞)等。系統訓練則有(1)特定語者(Speaker-Dependent)：使
    用前需訓練數十分鐘至數小時；(2) 非特定語者(Speaker-Independ
    ent)：不需訓練，可立即使用；(3)系統調適(Speaker-Adaptation)：
    數分鐘至數十分鐘的調適訓練。至於發音方式，有(1)單字音：字與
    字需斷開；(2)單詞連續發音：又細分為孤立詞、及詞詞斷開，連接
    成句兩種；(3)整句連續語音: 又細分為關鍵詞萃取(Keyword Spotting)
    及全句辨識等兩種。

      為了使讀者對這些技術分類方式的組合有較實際的感覺，我們來
    看看兩大類實際應用：聽寫機（Dictation Machine）和語音指令＆
    控制（Voice Command/Control）。市面上的聽寫機一般為特定語者
    、單字音或單詞、極大字彙的語音辨識技術。語音指令＆控制則為
    特定語者或非特定語者、單詞、中或小字彙的技術。

      語音辨識的作法

      電腦採用數位化的語音取樣資料，我們要知道對電腦而言，即使
    同一個人在同一個環境使用同樣的麥克風連續發出兩次同樣的語音
    ，語音取樣資料也不可能完全相同，因此如何把語音做正確的歸類
    ，異中求同，就是問題所在。一般常見的作法是（事先或現場）蒐
    集足夠的語音樣本，經過抽取適當的語音特徵（Feature Extration
    ）之後，透過訓練程序（Training  Procedure），建立參考聲學模
    型（ Acoustic Model）所需的參數。而在使用者辨識的階段，將輸
    入的語音樣本抽取語音特徵之後，和辨識字彙中的參考聲學模型比
    對，找出最接近的字彙，是為辨識結果。看似簡單，其實各步驟均
    有許多變化，尤其是聲學模型比對步驟的兩大問題：時序校準（
    Time  Alignment）及參數模型比對。時序校準在於找出正確的聲學
    單位（如詞、音節、次音節、聲韻母、音素等）的起點跟終點，在
    連續音的情況下問題更為嚴重；這也是為什麼單字音比連音詞容易
    辨識，而連音詞又比整句連續語音容易辨識的主要原因。參數模型
    比對則在以什麼參數、多少參數建構參考模型，可以是語音原始樣
    本，也可以是語音特徵樣本，但更多的是離散（discrete ）或連續
    密度的（continuous density）機率分佈模型。

      聲學模型作法可大致分為下列幾種：(1)  語音模版(Template)法
    –適用於小字彙、特定語者的應用；(2)動態時間校準(Dynamic
    Time  Warping；(3)隱馬可夫模型 (HMM,Hidden Markov Model) ：
    又可細分為利用向量量化 (Vector Quantization) 技巧的離散的、
    連續密度的、半連續的 (semi-continuous) 隱馬可夫模型及簡化的
    分段機率模型  (SPM, Segmental Probabilistic Model) ；(4) 人
    工神經網路	(Neural Networks)；(5) 聲學知識模型；(6) 混合式
    (Hybrid) 作法等等。除了小字彙的應用之外，不論在實驗室雛型或
    商用產品，語音辨識系統大多採用隱馬可夫模型或其變型。

      實用化語音辨識技術的考慮

      在選擇語音辨識技術或產品的必須考慮的因素有下列幾點:   (1)
    技術分類合適性:  詞彙大小、特定語者/非特定語者/系統調適、發
    音方式(單字/孤立詞/詞詞斷開/關鍵詞萃取/全句辨識)； (2) 辨識
    率；(3) 辨識速度；(4) 使用平台 (Platform) : 操作系統、CPU、
    Memory、音效卡/DSP卡、麥克風(種類與距離)；(5)成本；(6)抗噪
    音能力；(7)  是否透過電話線；(8) 拒認能力: 提高可靠度，寧願
    拒認，不要錯認；(9)  多國語言；(10) 標準應用程式介面 (API):
    易於開發應用程式。

      語音辨識技術之應用

      TMA Associates 市調公司在最近的一份調查報告中，把語音辨識
    產品分為四大類：(1)電腦產品：麥克風直接連接電腦，可以電腦螢
    幕顯示回饋辨識結果，由於電腦使用者常為固定而長時間使用，可
    採用特定語者或語者調適技術；應用舉例如語音聽寫、PC語音控制
    、語音資料存取、遊戲軟體、語言訓練等；(2)  電話產品：語音透
    過有線或無線傳輸給辨識器，以聲音回饋給使用者，非特定麥克風
    ，經常為短暫交談互動，宜採用非特定語者技術；應用舉例如電話
    網路之語音撥號或其他辨識/驗證服務、以語音而非按鍵控制之互動
    語音回應系統、PC上之電話語音辨識；(3)消費性電子產品：麥克風
    為產品之一部分，小或無螢幕顯示，小包裝，常為電池供電，中低
    價位；應用舉例如電話機內建的語音撥號、可攜式電子記事簿、電
    視遙控、語音撥號行動電話、聲控玩具、語言學習；(4)汽車及工業
    應用產品：高噪聲環境，眼及雙手忙碌，特殊裝備需求，應用免手
    持麥克風；應用舉例如汽車導覽系統、收音機控制工業品管、包裝
    處理、車用行動電話等。各類產品的應用可歸納如表一。

		   表一  語音辨識技術之應用領域
    ┌─────┬────────────────────────┐
    │市場區隔	│		   應	   用			  │
    ├─────┼────────────────────────┤
    │電      腦│‧一般PC介面(語音控制等)‧語音聽寫及報告製作	  │
    │		│‧訓練及教育		  ‧公用資訊機(kiosk)	  │
    │		│‧遊戲及學習輔助工具	  ‧PC/LAN 之存取控制	  │
    │		│‧軟體 "代理人"         ‧無法使用鍵盤之存取使用│
    ├─────┼────────────────────────┤
    │電      話│‧operator 服務自動化   ‧語音撥號及網路控制	  │
    │		│‧互動語音回應系統(IVR) ‧語音控制之語音郵件	  │
    │		│‧通訊助理		  ‧資料存取		  │
    │		│‧語音啟動之yellow pages‧電話犯罪之防制	  │
    ├─────┼────────────────────────┤
    │消費性電子│‧可攜式電子記事簿	  ‧語音撥號及家電控制	  │
    │		│‧數位答錄機		  ‧家庭娛樂機控制	  │
    │		│‧聲控玩具/語言學習				  │
    ├─────┼────────────────────────┤
    │汽車及工業│‧包裝處理		  ‧工業品管		  │
    │		│‧收發/倉存		  ‧汽車導覽系統	  │
    │		│‧汽車音響控制	  ‧汽車通訊		  │
    └─────┴────────────────────────┘
				      資料來源: TMA Associates,1996

      語音辨識市場分析

      表二為 TMA Associates市場分析的摘要整理：可以看出語音辨識
    市場的成長率極快，產值由公元1994年的1.42億美元，快速成長到
    公元2000 年的77.9億美元，產值方面以電腦及電話兩類為主，雖然
    消費性電子產品的裝置量極大(公元2000年2.28億部)，但均屬低單
    價產品(單價1.26美元)，產值不高，汽車及工業市場為特殊應用，
    產值及裝置量均不大。

	    表二  語音辨識技術市場之裝置量產值單價(全世界)
┌───┬─────┬──────┬──────┬──────┬────┐
│	│市場區隔  │	   1994   │	 1996	│     1998   │  2000	│
├───┼─────┼──────┼──────┼──────┼────┤
│裝置量│電腦	    │	  5,890   │   11,610	│   54,239   │ 131,214│
│(千部)│電話	    │	     69   │	  866	│    8,059   │  57,438│
│	│消費性電子│	    176   │	4,933	│   47,463   │ 228,530│
│	│汽車及工業│	     19   │	   52	│	635   │   6,466│
│	│總計	    │	  6,154   │   17,461	│  110,396   │ 423,648│
├───┼─────┼──────┼──────┼──────┼────┤
│產值	│電腦	    │	     63   │	  132	│    1,093   │   2,410│
│(百萬 │電話	    │	     78   │	  520	│    2,164   │   4,901│
│ 美元)│消費性電子│	    0.3   │	    6	│	 57   │     288│
│	│汽車及工業│	    0.6   │	  1.6	│	 19   │     190│
│	│總計	    │	    142   │	  661	│    3,334   │   7,790│
├───┼─────┼──────┼──────┼──────┼────┤
│單價	│電腦	    │	  10.72   │	11.45	│    20.17   │   18.37│
│(美元)│電話	    │	1136.14   │   600.87	│   268.54   │   85.34│
│	│消費性電子│	   2.03   │	 1.32	│     1.20   │    1.26│
│	│汽車及工業│	  17.91   │	11.87	│    10.06   │    8.64│
│	│平均	    │	  23.11   │	37.83	│    30.09   │   18.07│
└───┴─────┴──────┴──────┴──────┴────┘
 資料來源: TMA Associates,1996; 電通所整理	 單位: 千部/百萬美元/美元

    ╭───────╮
    │百語者單音語音│
    │資料庫 CCL-200├┐
    ╰───────╯│┌───────┐
    ╭───────╮├┤ 聲學模型訓練 │
    │ 20語者連音詞 ├┘└───┬───┘
    │ 語音資料庫   │		│
    ╰───────╯		▼				 (工作站)
--------------------------------│-------------------------------------------
				│────────↘		 (PC)
				 ↘╭──────╮╭──────╮
	     ┌────┐	   │男聲聲學模型││女聲聲學模型│
環境雜訊 ─→│環境偵測│-┐	   ╰──┬───╯╰──┬───╯
	     └────┘ │		 └────┬──┘
			  ↓		       ┌─┴─────┐
	     ┌──┐  ┌──┐  ┌────┐  │    ＨＭＭ    │
輸入連音詞 →│錄音│→│切音│→│特徵抽取│→│ 聲學模型比對 │->辨識結果
語音訊號     └──┘  └──┘  └────┘  │	       │
				       ┌──→└───────┘
			       ┌───┴────┐
			       │		 │
	 ┌───┐	╭──────╮╭───────╮
新詞 ─→│字轉音│ ─→│  辨識詞表  ││應用程式資料庫│
	 └───┘	╰──────╯╰───────╯

	      圖一  中文語音辨識系統流程圖

      國內技術發展現況

      我國的語音辨識產品開發以本國語言－中文(國語)為主。國內業
    界以台康公司首先於1991年推出語音辨識產品「捷通」語音輸入系
    統，包括中文語音聽寫、中文語音指令、中文語音合成等功能。倚
    天公司亦於1994年發表「話匣子」語音辨識產品。兩者均屬特定人
    、單字音辨識的產品，辨識率不如理想。不如理想。此外，國科會
    的產學合作計畫亦有多家廠商參與，台大／中研院的「金聲」系列
    國語聽寫機參與廠商有倚天、明碁，成大的「音中仙」中文詞輸入
    系統有台康、技電、旺宏等。華隆微電子亦曾推出小詞彙(20-40詞)
    語音辨識晶片(型號:HM2007)。  1995年11月蘋果電腦宣布其「中文
    聽寫工具」，屬特定人、單詞辨識的產品；宏碁於1995年九月推出
    的「渴望」多媒體家用電腦也搭配不特定人、小詞彙的英文語音指
    令控制功能。最近許多廠商對中文語音電腦及語音辨識晶片的開發
    均表示高度興趣。以生命期而言，語音辨識產品尚處於萌芽起步階
    段，市場成長率高。

      語音辨識技術的發展，在歐美等先進國家由來已久，我國在這項
    技術的發展，早期以學術界為主，始於台大的國語聽寫機（1983年
    ）研究計畫，清大、交大、成大等亦均投入研究多年。交通部電信
    研究所亦有偏重電信應用的語音辨識技術研發。經濟部科技專案亦
    於1991年起支持工研院電通所投入中文語音辨識技術的研發，在基
    礎技術及實驗環境建立之後，於1992年七月起於「前瞻性資訊技術
    研究計畫」成立一子計畫，1993年完成中文語言模型設定及硬體系
    統功能設計， 1994年完成在工作站之一特定人、大詞彙、單字音之
    國語聽寫機雛型系統整合，1995年完成以分段機率模型開發之不特
    定人、中詞彙、單字音組詞辨識技術，1995年12月資訊展展出”PC
    版非特定語者中文語音辨識系統”，為不特定人、中詞彙、連音詞
    辨識技術(系統流程如圖一)，正繼續研發語者調適、噪聲模型、麥
    克風調適、標準應用程式介面、進一步提高辨識率等技術，使該技
    術可以實用化、商品化，由「能用」逐漸走向「好用」、「到處可
    用」、和「隨時可用」的境界。另一方面，工研院電通所也同時投
    入特定人、小詞彙語音辨識晶片的開發，主要為協助半導體廠商進
    入消費性電子所需的語音辨識晶片領域。此外，也將開始語音合成
    及壓縮技術的發展。

      標準語音應用程式介面

      工研院電通所開發完成一套符合微軟新訂標準語音應用程式介面
    (SAPI)的「非特定語者中文語連續發音的中文詞，對語音指令控制
    及查詢等應用非常合適，移轉給業界廠商後，可以獨立軟體或搭配
    多媒體個人電腦、家用電腦等出售，更可透過標準應用程式介面開
    發具語音能力的應用軟體或系統。

      電通所在1995年的資訊月成功展出「PC版非特定語者中文語音
    辨識系統」，該系統無需經任何認音訓練即可使用，可實時辨識任
    意指定的多音節中文詞，最多可達一千詞，在  586個人電腦辨識一
    個詞的時間約為一秒，一百詞基本詞庫的辨識率在百分之九十五以
    上，一千詞詞庫時仍可達百分之九十以上，使用者可以連續自然發
    音，沒有一般系統逐字斷開發音的限制，並可現場加詞，可隨時加
    入要辨識的新詞。該系統在一般個人電腦配備標準音效卡及麥克風
    即可使用，使用之作業系統為	Windows 3.1或Windows 95中文版，
    祇需佔用額外的1M位元組系統記憶體。

      語音應用程式介面為推廣語音辨識技術的一大利器，過去缺乏國
    際公認的標準語音應用程式介面，語音辨識引擎的廠商及具語音能
    力的應用軟體或系統開發者沒有一致的標準可供依循，往往各行其
    是，難以整合推廣。美國微軟公司於1995年九月訂出SAPI後，並進
    行該標準的系統開發工具之貝他測試，各主要語音辨識引擎廠商紛
    紛響應，開發符合該標準的辨識引擎，電通所為推廣語音辨識技術，
    也積極加入。1996年元月微軟正式推出SAPI系統開發工具，目前雖
    未提供辨識引擎，但已有報導符合該標準的英語、西班牙語、德語、
    法語及義大利語辨識引擎均已開發完成，即將推出。電通所最近也
    成功地將資訊月展出的非特定語者中文語音辨識引擎，修改並整合
    為符合微軟SAPI標準，應為全球首套符合該標準的中文語音辨識引
    擎，預期對推廣中文語音辨識技術，扶植廠商，有很大的幫助。

      未來發展

      語音辨識技術可應用到個人電腦語音辨識介面、資訊查詢、電話
    自動撥號、語音指令控制、語音辨識晶片、虛擬實境介面、網際網
    路介面、電腦電話整合系統、聽寫機等產品，範圍極廣。電通所正
    積極尋求廠商合作推廣該技術。未來並將朝抗噪音模型、語者調適
    、進一步提高辨識率、辨識晶片、電腦電話整合等方向繼續研發，
    更長期的發展則為開發連續語句語音辨識、高品質語音合成、語言
    理解、交談模型等技術，整合為口語理解系統，真正做到人與電腦
    可以語音對話互動。（本文轉載自第三波雜誌，1996年7月號，並經
    作者同意轉載)