1、隨著統(tǒng)計(jì)方法的迅速發(fā)展，大規(guī)模雙語(yǔ)語(yǔ)料庫(kù)己成為跨語(yǔ)言信息處理不可或缺的基礎(chǔ)資源。雙語(yǔ)語(yǔ)料己被大量應(yīng)用于挖掘雙語(yǔ)術(shù)語(yǔ)、命名實(shí)體和雙語(yǔ)詞典等更細(xì)粒度的互譯等價(jià)對(duì)，為統(tǒng)計(jì)機(jī)器翻譯和跨語(yǔ)言信息檢索等領(lǐng)域提供支持。然而，現(xiàn)有的雙語(yǔ)語(yǔ)料資源十分匱乏，而低密度語(yǔ)言的雙語(yǔ)語(yǔ)料尤為稀缺。近年來(lái)，網(wǎng)絡(luò)原始雙語(yǔ)資源迅速增長(zhǎng)，且具有內(nèi)容新穎和來(lái)源廣闊的優(yōu)勢(shì)，圍繞網(wǎng)絡(luò)雙語(yǔ)語(yǔ)料挖掘方法的研究已成為人們關(guān)注的焦點(diǎn)。
　　本文以網(wǎng)絡(luò)雙語(yǔ)語(yǔ)料挖掘技術(shù)為研究對(duì)象，進(jìn)

2、行了平行語(yǔ)料和可比語(yǔ)料挖掘系統(tǒng)的設(shè)計(jì)，并展開(kāi)了四項(xiàng)技術(shù)的研究:平行網(wǎng)頁(yè)識(shí)別、網(wǎng)頁(yè)正文抽取、字詞提取以及跨語(yǔ)言文本相似度計(jì)算。分述如下:
　　1)基于新特征信息的平行網(wǎng)頁(yè)識(shí)別為解決挖掘網(wǎng)絡(luò)平行語(yǔ)料面臨網(wǎng)頁(yè)結(jié)構(gòu)非對(duì)稱(chēng)的問(wèn)題，本文提出將改進(jìn)的編輯距離計(jì)算網(wǎng)頁(yè)HTML標(biāo)簽序列的相似性以及最大匹配計(jì)算數(shù)字序列的相似性等作為特征信息，利用支持向量機(jī)進(jìn)行平行網(wǎng)頁(yè)識(shí)別。該方法降低了對(duì)網(wǎng)頁(yè)結(jié)構(gòu)信息的依賴(lài)程度，提高了對(duì)現(xiàn)有的低密度語(yǔ)言網(wǎng)絡(luò)資源的適應(yīng)性

3、。
　　2)基于文本密度模型的網(wǎng)頁(yè)正文抽取為解決結(jié)構(gòu)布局各異的網(wǎng)頁(yè)抽取正文時(shí)發(fā)生邊界誤判的問(wèn)題，本文提出一種基于文本密度模型的新聞網(wǎng)頁(yè)正文抽取方法，主要通過(guò)融合網(wǎng)頁(yè)結(jié)構(gòu)和語(yǔ)言特征的統(tǒng)計(jì)模型，將網(wǎng)頁(yè)文檔按文本行轉(zhuǎn)化成正、負(fù)文本密度序列，再根據(jù)鄰近行內(nèi)容的連續(xù)性，利用高斯平滑技術(shù)修正文本密度序列，最后采用改進(jìn)的最大子序列分割密度序列抽取正文內(nèi)容。該方法既保持了正文的完整性又排除了噪聲的干擾，且無(wú)需人工干預(yù)或反復(fù)訓(xùn)練。
　　3)基

4、于LDA模型的文檔字詞提取為解決現(xiàn)有的字詞抽取方法未能綜合體現(xiàn)文本主題的顯著性、可讀性以及全面性的問(wèn)題，本文提出一種基于文檔隱含主題的字詞抽取新算法TFITF，主要利用大規(guī)模語(yǔ)料產(chǎn)生隱含主題模型以計(jì)算詞匯對(duì)主題的TFITF權(quán)重，并進(jìn)一步產(chǎn)生詞匯對(duì)文檔的權(quán)重，再采用共現(xiàn)信息合并相鄰詞匯以形成候選短語(yǔ)，最后使用相似性排除隱含主題相近的冗余短語(yǔ)。該方法有效地提高了文檔字詞抽取的準(zhǔn)確率與召回率。
　　4)基于Bi-LDA模型的跨語(yǔ)言文檔相

5、似度為解決使用互譯詞匯等特征匹配跨語(yǔ)言文檔時(shí)無(wú)法衡量文檔對(duì)主題相關(guān)性的問(wèn)題，本文提出基于Bi-LDA模型分析不同語(yǔ)言文檔的跨語(yǔ)言主題模型，并給出文檔-主題的KL散度、主題頻率-逆文檔頻率的余弦值和文檔的條件概率三種方法，分別計(jì)算不同語(yǔ)言文檔的相似度，為篩選相似文本對(duì)自動(dòng)構(gòu)建可比語(yǔ)料庫(kù)提供基礎(chǔ)。該方法增強(qiáng)了對(duì)文檔語(yǔ)義信息的理解，克服了利用互譯詞匯匹配文檔的表面性，可有效地匹配主題一致的不同語(yǔ)言文檔。
　　本文在平行語(yǔ)料挖掘中主要的技