網(wǎng)絡(luò)雙語(yǔ)語(yǔ)料挖掘關(guān)鍵技術(shù)研究.pdf_第1頁(yè)
已閱讀1頁(yè),還剩108頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、隨著統(tǒng)計(jì)方法的迅速發(fā)展,大規(guī)模雙語(yǔ)語(yǔ)料庫(kù)己成為跨語(yǔ)言信息處理不可或缺的基礎(chǔ)資源。雙語(yǔ)語(yǔ)料己被大量應(yīng)用于挖掘雙語(yǔ)術(shù)語(yǔ)、命名實(shí)體和雙語(yǔ)詞典等更細(xì)粒度的互譯等價(jià)對(duì),為統(tǒng)計(jì)機(jī)器翻譯和跨語(yǔ)言信息檢索等領(lǐng)域提供支持。然而,現(xiàn)有的雙語(yǔ)語(yǔ)料資源十分匱乏,而低密度語(yǔ)言的雙語(yǔ)語(yǔ)料尤為稀缺。近年來(lái),網(wǎng)絡(luò)原始雙語(yǔ)資源迅速增長(zhǎng),且具有內(nèi)容新穎和來(lái)源廣闊的優(yōu)勢(shì),圍繞網(wǎng)絡(luò)雙語(yǔ)語(yǔ)料挖掘方法的研究已成為人們關(guān)注的焦點(diǎn)。
  本文以網(wǎng)絡(luò)雙語(yǔ)語(yǔ)料挖掘技術(shù)為研究對(duì)象,進(jìn)

2、行了平行語(yǔ)料和可比語(yǔ)料挖掘系統(tǒng)的設(shè)計(jì),并展開(kāi)了四項(xiàng)技術(shù)的研究:平行網(wǎng)頁(yè)識(shí)別、網(wǎng)頁(yè)正文抽取、字詞提取以及跨語(yǔ)言文本相似度計(jì)算。分述如下:
  1)基于新特征信息的平行網(wǎng)頁(yè)識(shí)別為解決挖掘網(wǎng)絡(luò)平行語(yǔ)料面臨網(wǎng)頁(yè)結(jié)構(gòu)非對(duì)稱(chēng)的問(wèn)題,本文提出將改進(jìn)的編輯距離計(jì)算網(wǎng)頁(yè)HTML標(biāo)簽序列的相似性以及最大匹配計(jì)算數(shù)字序列的相似性等作為特征信息,利用支持向量機(jī)進(jìn)行平行網(wǎng)頁(yè)識(shí)別。該方法降低了對(duì)網(wǎng)頁(yè)結(jié)構(gòu)信息的依賴(lài)程度,提高了對(duì)現(xiàn)有的低密度語(yǔ)言網(wǎng)絡(luò)資源的適應(yīng)性

3、。
  2)基于文本密度模型的網(wǎng)頁(yè)正文抽取為解決結(jié)構(gòu)布局各異的網(wǎng)頁(yè)抽取正文時(shí)發(fā)生邊界誤判的問(wèn)題,本文提出一種基于文本密度模型的新聞網(wǎng)頁(yè)正文抽取方法,主要通過(guò)融合網(wǎng)頁(yè)結(jié)構(gòu)和語(yǔ)言特征的統(tǒng)計(jì)模型,將網(wǎng)頁(yè)文檔按文本行轉(zhuǎn)化成正、負(fù)文本密度序列,再根據(jù)鄰近行內(nèi)容的連續(xù)性,利用高斯平滑技術(shù)修正文本密度序列,最后采用改進(jìn)的最大子序列分割密度序列抽取正文內(nèi)容。該方法既保持了正文的完整性又排除了噪聲的干擾,且無(wú)需人工干預(yù)或反復(fù)訓(xùn)練。
  3)基

4、于LDA模型的文檔字詞提取為解決現(xiàn)有的字詞抽取方法未能綜合體現(xiàn)文本主題的顯著性、可讀性以及全面性的問(wèn)題,本文提出一種基于文檔隱含主題的字詞抽取新算法TFITF,主要利用大規(guī)模語(yǔ)料產(chǎn)生隱含主題模型以計(jì)算詞匯對(duì)主題的TFITF權(quán)重,并進(jìn)一步產(chǎn)生詞匯對(duì)文檔的權(quán)重,再采用共現(xiàn)信息合并相鄰詞匯以形成候選短語(yǔ),最后使用相似性排除隱含主題相近的冗余短語(yǔ)。該方法有效地提高了文檔字詞抽取的準(zhǔn)確率與召回率。
  4)基于Bi-LDA模型的跨語(yǔ)言文檔相

5、似度為解決使用互譯詞匯等特征匹配跨語(yǔ)言文檔時(shí)無(wú)法衡量文檔對(duì)主題相關(guān)性的問(wèn)題,本文提出基于Bi-LDA模型分析不同語(yǔ)言文檔的跨語(yǔ)言主題模型,并給出文檔-主題的KL散度、主題頻率-逆文檔頻率的余弦值和文檔的條件概率三種方法,分別計(jì)算不同語(yǔ)言文檔的相似度,為篩選相似文本對(duì)自動(dòng)構(gòu)建可比語(yǔ)料庫(kù)提供基礎(chǔ)。該方法增強(qiáng)了對(duì)文檔語(yǔ)義信息的理解,克服了利用互譯詞匯匹配文檔的表面性,可有效地匹配主題一致的不同語(yǔ)言文檔。
  本文在平行語(yǔ)料挖掘中主要的技

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論