1、隨著計算機互聯網的發(fā)展與信息時代的到來，在天文、地理、氣象、電子商務等諸多領域，其使用的應用系統中已積累了數量驚人的數據，同時這些數據被分散成多個容量很小的文件進行存儲。并且諸如銀行、郵政、車管所等這些便利民眾的服務行業(yè)也開始結合互聯網形成“互聯網+”的發(fā)展模式，并為了滿足其自身的某種需求而逐漸產生出億級以上的海量小文件，且這些文件數量仍舊處在爆炸性增長中，這給系統存儲效率、檢索及元數據管理帶來巨大挑戰(zhàn)。
　　在大數據時代背景下，

2、根據《互聯網交通安全綜合服務平臺建設指導意見》(公交管[2013]433號）要求，為了推進“互聯網+車管所”的大數據平臺建設，本文針對南寧市車管所車駕管業(yè)務系統的需要，構建一個基于Hadoop分布式文件系統(Hadoop DistributedFile System，HDFS)面向車駕管業(yè)務的海量小文件存儲系統VDSMSS(Vehicle-DrivingService Mass Storage System)，為“互聯網+車管所”的大數

3、據平臺打下基礎，同時也為當今針對服務行業(yè)的基于HDFS的海量小文件存儲系統設計，提供一個有效解決思路和優(yōu)化方向，具有現實意義和價值。本文的主要研究內容如下:
　　(1)簡述HDFS的核心架構及其內部的關鍵數據結構。介紹當前業(yè)界面對海量小文件時使用的存儲優(yōu)化方案，分析其中幾個代表性方案的優(yōu)缺點。介紹幾種代表性的緩存替換算法，重點介紹文件系統ZFS的自調整緩存替換算法(ZFS Adjustable Replacement Cache，

4、ZFS-ARC)。
　　(2)分析HDFS存儲海量小文件時存在的問題，確定優(yōu)化方向?？偨Y闡述車駕管業(yè)務系統中小文件所具有的特點，針對該特點，設計將多個小文件以用戶為單位，按時間業(yè)務分組，合并成一個大文件，從而減少小文件的數量，達到降低大量小文件元數據占用NameNode內存的目的。同時設計一個高效的單一文件查找方法和批量查找索引，能在兼顧檢索文件速度的情況下，以一定查詢條件進行批量文件查找。
　　(3)針對HDFS沒有在文件

5、讀寫方面提供預取和緩存功能的問題，本文提出了一個基于文件關聯度預讀機制的自調整緩存替換算法。首先采用傳統的關聯規(guī)則挖掘算法，對存儲有小文件訪問記錄的Hadoop日志文件進行關聯挖掘，將挖掘出的數據進行合乎理論的數理分析，計算出小文件之間的潛在關聯度。其次以此關聯度設計出一個合適的文件預讀機制，當某個小文件被讀取時，則把該小文件的關聯文件預讀到緩存中。然后將兼顧了“時間”和“頻率”的緩存替換算法ZFS-ARC與本文設計的預讀機制結合，改進