

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著統(tǒng)計(jì)方法的迅速發(fā)展,大規(guī)模雙語(yǔ)語(yǔ)料庫(kù)己成為跨語(yǔ)言信息處理不可或缺的基礎(chǔ)資源。雙語(yǔ)語(yǔ)料己被大量應(yīng)用于挖掘雙語(yǔ)術(shù)語(yǔ)、命名實(shí)體和雙語(yǔ)詞典等更細(xì)粒度的互譯等價(jià)對(duì),為統(tǒng)計(jì)機(jī)器翻譯和跨語(yǔ)言信息檢索等領(lǐng)域提供支持。然而,現(xiàn)有的雙語(yǔ)語(yǔ)料資源十分匱乏,而低密度語(yǔ)言的雙語(yǔ)語(yǔ)料尤為稀缺。近年來(lái),網(wǎng)絡(luò)原始雙語(yǔ)資源迅速增長(zhǎng),且具有內(nèi)容新穎和來(lái)源廣闊的優(yōu)勢(shì),圍繞網(wǎng)絡(luò)雙語(yǔ)語(yǔ)料挖掘方法的研究已成為人們關(guān)注的焦點(diǎn)。
本文以網(wǎng)絡(luò)雙語(yǔ)語(yǔ)料挖掘技術(shù)為研究對(duì)象,進(jìn)
2、行了平行語(yǔ)料和可比語(yǔ)料挖掘系統(tǒng)的設(shè)計(jì),并展開(kāi)了四項(xiàng)技術(shù)的研究:平行網(wǎng)頁(yè)識(shí)別、網(wǎng)頁(yè)正文抽取、字詞提取以及跨語(yǔ)言文本相似度計(jì)算。分述如下:
1)基于新特征信息的平行網(wǎng)頁(yè)識(shí)別為解決挖掘網(wǎng)絡(luò)平行語(yǔ)料面臨網(wǎng)頁(yè)結(jié)構(gòu)非對(duì)稱(chēng)的問(wèn)題,本文提出將改進(jìn)的編輯距離計(jì)算網(wǎng)頁(yè)HTML標(biāo)簽序列的相似性以及最大匹配計(jì)算數(shù)字序列的相似性等作為特征信息,利用支持向量機(jī)進(jìn)行平行網(wǎng)頁(yè)識(shí)別。該方法降低了對(duì)網(wǎng)頁(yè)結(jié)構(gòu)信息的依賴(lài)程度,提高了對(duì)現(xiàn)有的低密度語(yǔ)言網(wǎng)絡(luò)資源的適應(yīng)性
3、。
2)基于文本密度模型的網(wǎng)頁(yè)正文抽取為解決結(jié)構(gòu)布局各異的網(wǎng)頁(yè)抽取正文時(shí)發(fā)生邊界誤判的問(wèn)題,本文提出一種基于文本密度模型的新聞網(wǎng)頁(yè)正文抽取方法,主要通過(guò)融合網(wǎng)頁(yè)結(jié)構(gòu)和語(yǔ)言特征的統(tǒng)計(jì)模型,將網(wǎng)頁(yè)文檔按文本行轉(zhuǎn)化成正、負(fù)文本密度序列,再根據(jù)鄰近行內(nèi)容的連續(xù)性,利用高斯平滑技術(shù)修正文本密度序列,最后采用改進(jìn)的最大子序列分割密度序列抽取正文內(nèi)容。該方法既保持了正文的完整性又排除了噪聲的干擾,且無(wú)需人工干預(yù)或反復(fù)訓(xùn)練。
3)基
4、于LDA模型的文檔字詞提取為解決現(xiàn)有的字詞抽取方法未能綜合體現(xiàn)文本主題的顯著性、可讀性以及全面性的問(wèn)題,本文提出一種基于文檔隱含主題的字詞抽取新算法TFITF,主要利用大規(guī)模語(yǔ)料產(chǎn)生隱含主題模型以計(jì)算詞匯對(duì)主題的TFITF權(quán)重,并進(jìn)一步產(chǎn)生詞匯對(duì)文檔的權(quán)重,再采用共現(xiàn)信息合并相鄰詞匯以形成候選短語(yǔ),最后使用相似性排除隱含主題相近的冗余短語(yǔ)。該方法有效地提高了文檔字詞抽取的準(zhǔn)確率與召回率。
4)基于Bi-LDA模型的跨語(yǔ)言文檔相
5、似度為解決使用互譯詞匯等特征匹配跨語(yǔ)言文檔時(shí)無(wú)法衡量文檔對(duì)主題相關(guān)性的問(wèn)題,本文提出基于Bi-LDA模型分析不同語(yǔ)言文檔的跨語(yǔ)言主題模型,并給出文檔-主題的KL散度、主題頻率-逆文檔頻率的余弦值和文檔的條件概率三種方法,分別計(jì)算不同語(yǔ)言文檔的相似度,為篩選相似文本對(duì)自動(dòng)構(gòu)建可比語(yǔ)料庫(kù)提供基礎(chǔ)。該方法增強(qiáng)了對(duì)文檔語(yǔ)義信息的理解,克服了利用互譯詞匯匹配文檔的表面性,可有效地匹配主題一致的不同語(yǔ)言文檔。
本文在平行語(yǔ)料挖掘中主要的技
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 互聯(lián)網(wǎng)雙語(yǔ)資源挖掘關(guān)鍵技術(shù)研究.pdf
- 雙語(yǔ)語(yǔ)料獲取系統(tǒng)關(guān)鍵技術(shù)的研究與實(shí)現(xiàn).pdf
- 流數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究.pdf
- 網(wǎng)絡(luò)輿情信息挖掘關(guān)鍵技術(shù)研究與應(yīng)用.pdf
- 基于異構(gòu)網(wǎng)絡(luò)的知識(shí)挖掘與服務(wù)關(guān)鍵技術(shù)研究.pdf
- 網(wǎng)絡(luò)攻防關(guān)鍵技術(shù)研究.pdf
- 面向網(wǎng)絡(luò)輿情分析的觀點(diǎn)挖掘關(guān)鍵技術(shù)研究.pdf
- 文本挖掘關(guān)鍵技術(shù)研究及實(shí)現(xiàn).pdf
- 基于維基百科的雙語(yǔ)語(yǔ)料挖掘技術(shù)研究.pdf
- EDGE網(wǎng)絡(luò)關(guān)鍵技術(shù)研究.pdf
- 科技文獻(xiàn)數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究.pdf
- 船舶AIS數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究.pdf
- WEB輿情觀點(diǎn)挖掘關(guān)鍵技術(shù)研究.pdf
- 數(shù)據(jù)挖掘網(wǎng)格若干關(guān)鍵技術(shù)研究.pdf
- Web觀點(diǎn)挖掘系統(tǒng)的關(guān)鍵技術(shù)研究.pdf
- 中文產(chǎn)品評(píng)論挖掘關(guān)鍵技術(shù)研究.pdf
- 供應(yīng)鏈流程挖掘關(guān)鍵技術(shù)研究.pdf
- 機(jī)會(huì)網(wǎng)絡(luò)路由關(guān)鍵技術(shù)研究.pdf
- 延時(shí)容忍網(wǎng)絡(luò)關(guān)鍵技術(shù)研究.pdf
- 惡意代碼行為挖掘關(guān)鍵技術(shù)研究.pdf
評(píng)論
0/150
提交評(píng)論