非特定人手語數據的流形結構分析與識別.pdf

1、手語識別研究的目的是增進聾人與聽力健康人之間無障礙的交流，提高計算機對人體語言的理解能力。非特定人手語識別是推動手語識別系統(tǒng)實用化所必須解決的問題。目前，非特定人手語識別與特定人手語識別性能相比還有較大的差距，其主要原因在于數據本身的差異性矛盾與訓練樣本的匱乏。數據差異性矛盾使得非特定人手語識別中提取手語數據有效的共同特征非常困難。在實際應用中，模型的表達能力與樣本的缺乏之間的矛盾已經成為制約識別系統(tǒng)效果的瓶頸。
　　為解決上述兩

2、方面的問題，本文將流形思想結合到傳統(tǒng)的HMM手語模型中，主要的研究工作如下：
　　1．通過Isomap算法直觀展現(xiàn)手語數據的流形結構。同類數據集在幾何上具有某種由內在不變性形成的嵌套流形結構，這種結構本身對應了單一的流形概念。Isomap方法是最常用的流形可視化算法，其對手語數據的處理結果證明了手語數據本身包含著流形結構，可將HMM模型中的狀態(tài)類與流形概念對應起來，挖掘其內在的不變性。
　　2．根據Isomap可視化結果，提

3、出一種TV/HMM手語模型。利用流形概念具有一定學習和推理能力的優(yōu)點，引入切向量來線性表達數據的可變性，對類內允許的變化程度進行有效建模，從而使分類器對某些不造成類別變化的數據變化不敏感，并且在訓練集較小的情況下，通過對幾何結構的描述，獲得對數據個體差異的形式化描述。TV/HMM模型既加入了對特異性因素的處理，又彌補了訓練數據不足造成的缺陷。
　　3．實現(xiàn)了基于TV/HMM的手語詞識別系統(tǒng)。系統(tǒng)利用最大似然估計從訓練數據中學習切向