1、在大數據時代，如何高效地存儲和管理海量數據成為存儲系統(tǒng)研究者和實踐者面臨的一大挑戰(zhàn)。大量的研究表明，冗余數據普遍存在于各類存儲系統(tǒng)中，例如備份存儲系統(tǒng)、桌面文件系統(tǒng)等。通過消除這些冗余數據，可以節(jié)約大量存儲成本。在這樣的背景下，數據去重作為一種高效的壓縮技術，逐漸應用到各類存儲系統(tǒng)中。然而，構建高效數據去重系統(tǒng)仍然存在大量的問題和挑戰(zhàn)，例如數據塊碎片、大規(guī)模指紋索引和存儲可靠性等。本文將首先在備份存儲系統(tǒng)中解決由于數據去重產生的數據塊碎

2、片問題，再研究數據去重對存儲可靠性的影響，最后系統(tǒng)地討論如何設計面向備份負載的高效數據去重系統(tǒng)。
　　數據去重引起的數據塊碎片會嚴重降低備份數據流的恢復性能，并且在用戶刪除備份后，降低垃圾回收的效率。通過對長期備份數據集的分析，發(fā)現數據塊碎片主要來自兩類容器：稀疏容器和亂序容器。稀疏容器直接放大讀操作，而亂序容器會在恢復緩存不足時降低恢復性能，因此需要不同的解決方案?，F有基于緩沖區(qū)的重寫算法無法準確區(qū)分稀疏和亂序容器，導致存儲效率

3、和恢復性能低。提出了歷史感知的數據塊碎片處理方法，包括歷史感知重寫算法HAR、最優(yōu)恢復緩存算法OPT、緩存感知過濾器CAF和容器標記算法CMA。歷史感知的數據塊碎片處理方法對稀疏容器執(zhí)行重寫，且通過恢復緩存減少亂序容器的影響，從而減少存儲開銷。HAR利用連續(xù)備份數據流的相似性精確地識別稀疏容器，是區(qū)分稀疏容器和亂序容器的關鍵。OPT在備份時紀錄下數據塊的訪問順序，用于實現Belady最優(yōu)緩存算法，減少亂序容器對恢復性能的影響。為了進一步

4、減少對恢復緩存的需求，CAF通過仿真恢復緩存準確識別和重寫少量的降低恢復性能的亂序容器。為了減少垃圾回收的時間和空間開銷，CMA利用HAR清理稀疏容器。在先進先出的備份刪除策略下，CMA無需耗時的容器合并操作即可回收大量存儲空間。由于CMA直接追蹤容器的利用率，其開銷與容器數量成正比，而不是與數據塊數量成正比。使用4個長期備份數據集進行測試，歷史感知的數據塊碎片處理方法比現有算法的存儲成本更低，且恢復性能更好。
　　數據去重對存儲

5、可靠性的影響長期未知。通過消除冗余數據，數據去重可以減少磁盤的數量，因此減少遇到磁盤錯誤的概率；同時，數據去重會增加每次磁盤錯誤的嚴重性，因為丟失一個數據塊可能會損壞多個文件。提出了一套數據去重系統(tǒng)可靠性的量化分析方法，引入邏輯數據丟失量的概念擴展了現有可靠性指標NOMDL，使其可以衡量數據去重系統(tǒng)的可靠性。設計了針對數據去重系統(tǒng)的可靠性仿真器SIMD。SIMD利用企業(yè)公布的統(tǒng)計數據仿真扇區(qū)錯誤和整盤故障，并產生磁盤陣列的各類數據丟失事

6、件。為了計算每次數據丟失事件的邏輯數據丟失量，SIMD根據真實文件系統(tǒng)鏡像生成塊級和文件級模型。通過對18個真實文件系統(tǒng)鏡像的分析和仿真實驗，發(fā)現：由于文件內部冗余的存在，數據去重可以顯著減少扇區(qū)錯誤損壞的文件數量；但是，數據去重帶來的數據塊碎片增加了整盤故障的危害。為了提高存儲可靠性，提出了DCT副本技術。DCT將磁盤陣列的1％物理空間分配給高引用數據塊的副本，并在磁盤陣列重建時優(yōu)先修復這些副本。DCT的存儲開銷很小，可以將因整盤故障

7、丟失的數據塊和文件分別減少31.8%和25.8%。
　　構建高效數據去重系統(tǒng)還需要考慮指紋索引等其它模塊對系統(tǒng)的影響。為了系統(tǒng)地理解和比較現有的設計方案，并提出新的更高效的設計方案，設計和實現了通用數據去重原型系統(tǒng)Destor。將數據去重系統(tǒng)理解為多維參數空間，每個維度代表了系統(tǒng)的一個子模塊或參數，包括分塊、指紋索引、重寫算法、恢復算法等。每個參數都有若干候選設計方案?，F有的設計方案和潛在的新方案被看作多維參數空間的點。Desto

8、r實現了該多維參數空間，涵蓋了多種主流的數據去重系統(tǒng)的設計方案。研究人員利用Destor可以比較現有設計方案，并探索參數空間得到潛在的新設計方案。為了發(fā)現更高效的潛在設計方案，用3個長期備份數據集探索了數據去重系統(tǒng)的參數空間，關注的性能指標包括內存開銷、存儲成本、備份性能和恢復性能。目標方案必須能長期維持穩(wěn)定的高備份性能，并在其余三個指標取得合理的權衡。得到了17個實驗發(fā)現，并總結了以下滿足要求的設計方案：當需求最低的存儲成本時，應該采