1、當(dāng)今社會(huì)的信息量飛速增長(zhǎng)，迫切需要解決大數(shù)據(jù)相關(guān)問(wèn)題，通常用于分析企業(yè)數(shù)據(jù)的傳統(tǒng)數(shù)據(jù)庫(kù)和一些商業(yè)智能工具難以滿足需求。Hadoop起源于Apache基金會(huì)，隨著逐漸增加的用戶數(shù)量及進(jìn)一步的開(kāi)發(fā)和完善，Hadoop已成為海量數(shù)據(jù)分析的最佳解決方案之一。Hadoop的應(yīng)用也逐漸拓展到了電信、電子商務(wù)、銀行等行業(yè)，而物流行業(yè)存在著海量的車(chē)輛行駛數(shù)據(jù)，Hadoop在儲(chǔ)存并分析這些數(shù)據(jù)時(shí)必定有其用武之地。越來(lái)越多的配送車(chē)輛安裝了車(chē)載設(shè)備，通過(guò)GP

2、S定位、內(nèi)嵌計(jì)算模塊等監(jiān)控車(chē)輛運(yùn)輸過(guò)程，這些數(shù)據(jù)可以給各廠商提供監(jiān)管依據(jù)，同時(shí)能夠挖掘出其中有用的商業(yè)價(jià)值信息。
　　Hadoop平臺(tái)的功能之一是實(shí)現(xiàn)了傳統(tǒng)數(shù)據(jù)庫(kù)向分布式存儲(chǔ)方法的轉(zhuǎn)換，可以把現(xiàn)有數(shù)據(jù)或者關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入HBase。由于HBase產(chǎn)生不久，開(kāi)源資料缺少高效的導(dǎo)入方式，現(xiàn)有資料多是介紹了HBase shell命令或者簡(jiǎn)單API，不能滿足批量快速導(dǎo)入的需求，即使提到了一些有效改進(jìn)方法也沒(méi)有給出具體操作和實(shí)現(xiàn)。本文研

3、究了海量數(shù)據(jù)快速導(dǎo)入HBase數(shù)據(jù)庫(kù)，根據(jù)集群的各方面性能、HBase運(yùn)行的內(nèi)部機(jī)制并結(jié)合了配置參數(shù)的功能，修改了部分參數(shù)；為了節(jié)省空間、提高索引效率以及提升入庫(kù)效率，優(yōu)化了rowkey的設(shè)計(jì)；為均衡HReginSever的負(fù)載，實(shí)現(xiàn)了預(yù)分區(qū)方案并給出了詳細(xì)的實(shí)現(xiàn)方法，通過(guò)實(shí)驗(yàn)測(cè)試得到了最佳分區(qū)方案；結(jié)合MapReduce模型實(shí)現(xiàn)了批量導(dǎo)入功能，給出了實(shí)現(xiàn)方法及改進(jìn)；另外在程序中直接利用sqoop源碼將shell命令嵌入到程序中，提高了

4、程序控制的靈活性。最后綜合以上方法進(jìn)行測(cè)試并分析了實(shí)驗(yàn)結(jié)果。
　　針對(duì)某幾個(gè)客戶公司的需求，本文挖掘海量GPS車(chē)輛數(shù)據(jù)中的有價(jià)值信息，基于MapReduce框架設(shè)計(jì)并實(shí)現(xiàn)了三個(gè)算法。第一，利用MapReduce模型設(shè)計(jì)并實(shí)現(xiàn)了各區(qū)域中車(chē)輛密度的統(tǒng)計(jì)，在定位地理位置時(shí)設(shè)計(jì)了兩種方法，包括在sqlserver生成空間數(shù)據(jù)庫(kù)和建立地理信息四叉樹(shù)索引。第二，設(shè)計(jì)了各加油站經(jīng)過(guò)車(chē)流量統(tǒng)計(jì)算法，其中定制了Writable類(lèi)實(shí)現(xiàn)了value值按