面向互聯(lián)網(wǎng)數(shù)據(jù)的中文組塊分析.pdf

1、隨著中國(guó)互聯(lián)網(wǎng)用戶(hù)的爆炸式增長(zhǎng)，中文信息處理技術(shù)在互聯(lián)網(wǎng)領(lǐng)域受到越來(lái)越多的重視。中文組塊分析，因其在具有詞法分析效率的同時(shí)又具有接近于完全句法的分析深度，在互聯(lián)網(wǎng)領(lǐng)域有廣泛的應(yīng)用前景。
　　本文面向阿里巴巴電子商務(wù)系統(tǒng)，重點(diǎn)研究了中文組塊的定義、標(biāo)注與自動(dòng)分析，主要內(nèi)容如下：
　　第一，在語(yǔ)料標(biāo)注過(guò)程中，由于人與人之間的認(rèn)識(shí)差異，存在一致性問(wèn)題。而基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法，對(duì)于相同的實(shí)例，可以根據(jù)具體的上下文給出一致的標(biāo)注?；?/p>

2、于以上考慮，一種基于人機(jī)互動(dòng)的標(biāo)注方法被本文所采納，且有效的解決了一致性問(wèn)題。
　　第二，研究了基于判別式模型的中文組塊分析方法。通過(guò)將組塊邊界與類(lèi)別合成一個(gè)標(biāo)簽，把組塊識(shí)別問(wèn)題轉(zhuǎn)換為序列化標(biāo)注問(wèn)題。最大熵馬爾科夫模型被應(yīng)用到組塊分析任務(wù)中，且取得了相當(dāng)好的效果。本文在前人工作的基礎(chǔ)上，對(duì)比研究了最大熵馬爾科夫模型的兩種變型，并提出了候選標(biāo)簽過(guò)濾算法，以提升最大熵馬爾科夫模型的處理效率。條件隨機(jī)域模型克服了最大熵馬爾科夫模型中的標(biāo)