面向多關(guān)系數(shù)據(jù)的復(fù)制檢測及真值發(fā)現(xiàn)算法.pdf_第1頁
已閱讀1頁,還剩74頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、隨著Internet技術(shù)的不斷發(fā)展,各種信息發(fā)布技術(shù)被廣泛所采用。信息的發(fā)布形式多種多樣,發(fā)布源從大的門戶網(wǎng)站到小的微博、微信,信息的發(fā)布量也越來越大。隨之而來的結(jié)果是發(fā)布信息的質(zhì)量很難得到保證:一方面,復(fù)制信息過程中難免出現(xiàn)一些不一致的或虛假的信息;另一方面,很多發(fā)布者傾向于不加甄別的任意復(fù)制并轉(zhuǎn)載從其獲取的信息。因此,獲取信息復(fù)制來源與判定復(fù)制關(guān)系顯得尤為重要。復(fù)制檢測的過程是先觀測數(shù)據(jù)的特點(diǎn),然后針對這些特點(diǎn)檢測數(shù)據(jù)源之間的復(fù)制關(guān)

2、系,根據(jù)數(shù)據(jù)源已有的觀測特點(diǎn)發(fā)現(xiàn)數(shù)據(jù)源間的復(fù)制關(guān)系是一種重要的技術(shù)手段,而將其應(yīng)用在真值發(fā)現(xiàn)中則可以有效地提高真值發(fā)現(xiàn)結(jié)果的召回率和準(zhǔn)確率。
  目前,針對單屬性、單表關(guān)系的數(shù)據(jù)源已經(jīng)提出了一些復(fù)制檢測算法和真值發(fā)現(xiàn)算法,包括單表、單屬性,靜態(tài)、動態(tài),局部、全局的復(fù)制檢測算法,及使用概率分析的真值發(fā)現(xiàn)算法等。但是,目前還未發(fā)現(xiàn)支持多關(guān)系的數(shù)據(jù)源的復(fù)制關(guān)系檢測方面的研究工作。本文通過對單關(guān)系數(shù)據(jù)源檢測方法的研究結(jié)合多關(guān)系數(shù)據(jù)的特點(diǎn)提

3、出了多關(guān)系數(shù)據(jù)上的復(fù)制檢測算法和真值發(fā)現(xiàn)算法。
  本文首先對多關(guān)系數(shù)據(jù)的特點(diǎn)進(jìn)行分析,指出單表關(guān)系數(shù)據(jù)的基本原理缺陷,不能直接推廣到多表關(guān)系數(shù)據(jù)上。同時,提出多關(guān)系數(shù)據(jù)復(fù)制檢測中的基本假設(shè)和基本規(guī)則,包括數(shù)據(jù)屬性的獨(dú)立性假設(shè)和針對數(shù)據(jù)冗余提出的Decomposition規(guī)則,針對非獨(dú)立屬性值關(guān)聯(lián)特征的Tamper規(guī)則,針對子對象偽造的Fake規(guī)則。進(jìn)一步,提出了每類規(guī)則的具體應(yīng)用方式,并結(jié)合貝葉斯法則給出了最后復(fù)制關(guān)系檢測的算法

4、。在此基礎(chǔ)上,分析了多關(guān)系數(shù)據(jù)的真值發(fā)現(xiàn)中可能存在的問題,從而提出多關(guān)系數(shù)據(jù)的真值發(fā)現(xiàn)的分解策略。在此策略的指導(dǎo)下,分別提出使用總體的復(fù)制概率和子對象的復(fù)制概率進(jìn)行真值發(fā)現(xiàn)的All Dependence和Object Dependence規(guī)則。在真值發(fā)現(xiàn)處理算法中,引入了數(shù)據(jù)源的可信度、權(quán)威度和獨(dú)立性,重點(diǎn)研究了數(shù)據(jù)源獨(dú)立性的計算算法。最后,通過隨機(jī)生成的理想復(fù)制數(shù)據(jù)集,對本文提出的復(fù)制檢測算法的各個規(guī)則和真值發(fā)現(xiàn)算法的規(guī)則及不同算法進(jìn)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論