1、隨著信息技術(shù)的飛速發(fā)展，在許多科學(xué)領(lǐng)域中，數(shù)據(jù)爆炸已成為一個(gè)突出的問題。海量數(shù)據(jù)在提供豐富信息，與擴(kuò)大人們視野的同時(shí)，也帶來了數(shù)據(jù)處理和存儲(chǔ)等方面的難題，其主要表現(xiàn)在以下幾個(gè)方面:不同信息系統(tǒng)中存在著大量異構(gòu)數(shù)據(jù)源;數(shù)據(jù)缺乏統(tǒng)一的規(guī)范化組織方法;在某些領(lǐng)域，海量數(shù)據(jù)是以大量小文件形式存在，難以有效分析處理;此外，還需要解決海量數(shù)據(jù)的高效存儲(chǔ)問題等。近年來，云計(jì)算技術(shù)的不斷成熟和發(fā)展，為海量數(shù)據(jù)處理提供了一種新的有效方法。
　　本文

2、以海量數(shù)據(jù)為研究對(duì)象，深入研究了云計(jì)算相關(guān)理論，并結(jié)合有關(guān)前沿思想，突破了云計(jì)算在海量數(shù)據(jù)處理中的若干關(guān)鍵技術(shù)，建立了一套行之有效的海量數(shù)據(jù)分析處理方法。本文的主要內(nèi)容如下:
　　(1)在已有云平臺(tái)各自特點(diǎn)基礎(chǔ)上，整合開源云平臺(tái)用于處理和存儲(chǔ)海量數(shù)據(jù)，建立了一種新的基于云計(jì)算環(huán)境的海量小文件處理模型C-MSFPM(Cloudcomputing-Massive Small Files Process Model)。該模型針對(duì)小文件處

3、理的特點(diǎn)，通過基于MapReduce和特征向量減少的改進(jìn)KNN算法的進(jìn)行文件分類，建立文件索引機(jī)制，以及就近原則和權(quán)值相似度的文件合并算法，對(duì)海量小文件進(jìn)行處理。
　　(2)在海量小文件處理模型C-MSFPM基礎(chǔ)上，針對(duì)文件查詢過程中的復(fù)雜處理及內(nèi)容映射，構(gòu)建了基于XML和多Value的改進(jìn)MapReduce模型。該模型使用XML標(biāo)記數(shù)據(jù)的內(nèi)容、坐標(biāo)、操作映射等信息。對(duì)于海量數(shù)據(jù)的復(fù)雜處理，內(nèi)容映射的查詢，通過XML標(biāo)記及Map過

4、程中的多Value處理，一次定位即可查詢到與數(shù)據(jù)相關(guān)的所有信息，極大地提高了數(shù)據(jù)處理效率。在此基礎(chǔ)上，針對(duì)海量PDF小文件的內(nèi)容映射查詢、排序，通過實(shí)驗(yàn)進(jìn)行多組數(shù)據(jù)的對(duì)比，試驗(yàn)表明了模型的算法正確，性能可靠。對(duì)于基于云平臺(tái)的車載信息數(shù)據(jù)處理，通過引進(jìn)資源池策略，解決海量數(shù)據(jù)傳輸中的數(shù)據(jù)包丟失問題。
　　(3)針對(duì)云存儲(chǔ)的問題，分析云存儲(chǔ)中的協(xié)調(diào)機(jī)制和虛擬化，從虛擬節(jié)點(diǎn)的性能引伸出虛擬存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)效率值的概念，并討論了云存儲(chǔ)機(jī)制和任