1、ADissertationSubmittedtoZhejiangUniversityfortheDegreeofMasterofEngineering，●一1一TITLE：!h曼呈i塾壘墮Qi壘!旦igQ叢壘亙望!星g!叢iQ墜i墮魚1、rn●●’～●一o1rocesslng上eclmologV15aseaOn3emantinsAuthor：Supervisor：rrotessorbhanolngL1一n^^●tI。。。。______●

2、__●__●。。_●●_■____。。__。?！馹■_______●。。。?！馹_____。。1●。_____?！瘛鯻_■_______。_。__________。。?！馹__________■。_______一Subject：gQ墜P墮曼!△pP!i堡壘!iQ壘!曼堡壘墮Q!QgYCollege：CollegeofComputerScienceandTechnologySubmittedDate：20130109浙江大學碩士學位論文

3、摘要摘要隨著大數據時代的到來，數據驅動的商業(yè)模式日益受到企業(yè)的青睞，通過對大數據的處理和分析，可以更好的進行商業(yè)決策、科學計算以及其市場趨勢的預測等，數據的重要性日益突顯。然而，大數據的一些新的特征給數據處理帶來了新的挑戰(zhàn)。目前，在金融領域里，分布廣泛的金融系統(tǒng)每天都會產生大量的數據，而風險管理、預測等工作都需要對分散在這些系統(tǒng)中的大量數據進行采集、整合以及處理。一方面由于系統(tǒng)結構的復雜性，尤其是數據存儲結構的多樣性，導致了傳統(tǒng)數據倉庫

4、技術無法對大量的異構數據進行整合及處理；另一方面，由于金融行業(yè)其行業(yè)的特殊性，常常受到各種外界條件的影響，例如合規(guī)、政策等，這些外界條件的變化將直接導致對數據分析策略的改變，從而影響到最終的結果。針對上述兩方面問題，本文提出了一種可以對復雜金融環(huán)境下的異構數據信息進行整合及處理的基于語義的大數據處理系統(tǒng)。在數據整合方面，該系統(tǒng)通過語義技術將各種異構數據以語義資源的形式發(fā)布到語義本體庫中，在語義層面上實現數據的查詢與計算；數據處理方面，該

5、系統(tǒng)通過采用Hadoop分布式計算框架以及MAPREDUCE技術實現大數據的分布式計算，從而大大提高數據的處理效率。本文結構安排如下：第一章，結合大數據的面臨的問題以及金融領域大數據背景，總結了金融領域面臨大數據的面臨的相關問題，并針對這些問題提出了基于語義的大數據處理系統(tǒng)模型；第二章，主要介紹了語義，數據整合，分布式計算等方面的相關技術；第三章，從層次結構上闡述了提出的系統(tǒng)模型；第四章，詳細介紹了基于語義的關系數據整合及分布式查詢方案