1、第6章　云計算數據庫的研究,6.1　云計算數據庫6.2　云計算數據庫的關鍵技術及實現過程中要解決的基本問題6.3　關系型數據庫與NoSQL數據庫6.4　云數據庫的安全6.5　云數據庫的發(fā)展趨勢6.6　小結,6.1　云計算數據庫6.1.1　云計算數據庫的研究現狀　　國內現有的與數據庫相關的云計算研究工作也都處于起步階段。Google、百度、新浪、騰訊、盛大等眾多已經有著豐富數據資源或計算資源的互聯網企業(yè)將會走在云計算浪潮的

2、前列，除了安全性、帶寬、軟/硬件資源管理等技術因素外，他們面臨的最大挑戰(zhàn)是盡快尋找到或者創(chuàng)造出新的基于云計算的用戶需求。例如，上海超級計算中心作為國內首家也是唯一一家面向公眾開發(fā)的公共計算服務平臺，已經通過網絡為各個應用領域的用戶提供計算服務。對這類數據或計算中心，云計算時代面臨的主要挑戰(zhàn)同樣是拓寬與尋找新的服務領域和服務內容。,,6.1.2　云計算數據庫的基本思想　　這里提出的云計算數據庫是一個面向云計算的數據庫資源管理平臺，旨在為

3、現有大量位于Internet后臺的數據庫資源的共享提供一個云計算接入環(huán)境，為云計算應用提供基礎結構級的數據庫資源訪問、發(fā)現、整合等一系列問題的通用解決方案?！　≡朴嬎銛祿焯接懙膯栴}涉及了包括數據庫管理系統(tǒng)、分布式數據庫以及語義Web在內的多個相關領域的研究。云計算數據庫采納了這些領域的一些思想、方法和技術，但是在研究方向和內容上又有所不同。,云計算數據庫的研究重點不在于如何提高數據庫系統(tǒng)本身的性能或功能問題，而在于如何基于現有數據庫

4、管理系統(tǒng)，將數據庫作為基本的數據管理單元并入云計算環(huán)境，使其能夠被云計算應用有序地訪問和協(xié)同地調用，即如何建立數據庫資源在云計算上的共享規(guī)則。因此，云計算數據庫的目標是要成為云計算平臺的一個組成部分，它的本質是位于數據庫管理系統(tǒng)和云計算數據庫用戶之間的一層中間件。,,,6.2　云計算數據庫的關鍵技術及實現過程中　　要解決的基本問題 　　1.關鍵技術　　1)數據存儲技術　　為保證高可用、高可靠和經濟性,云計算采用分布式存儲的方式來

5、存儲數據，采用冗余存儲的方式來保證存儲數據的可靠性。另外，云計算系統(tǒng)需要同時滿足大量用戶的需求，并行地為大量用戶提供服務，因此云計算的數據存儲技術必須具有高吞吐量和高傳輸率的特點。未來的發(fā)展將集中在超大規(guī)模的數據存儲、數據加密和安全性保證以及繼續(xù)提高I/O速率等方面。為了滿足云計算的分布式存儲方式，同時保證數據可靠性和高吞吐率以及高傳輸率的需求，目前各IT廠商多采用GFS或HDFS的數據存儲技術。,2)數據管理技術　　云計算系統(tǒng)對大數

6、據集進行處理、分析，向用戶提供高效的服務。因此，數據管理技術必須能夠高效地管理大數據集，同時必須在規(guī)模巨大的數據中找到特定的數據。云計算的特點是對讀取后的海量的數據存儲進行大量的分析，數據的讀操作頻率遠大于數據的更新頻率，云中的數據管理是一種讀優(yōu)化的數據管理。由于云計算采用列存儲的方式管理數據，因此如何提高數據的更新速率以及進一步提高隨機讀速率是未來的數據管理技術必須解決的問題。為了滿足云計算的大規(guī)模數據集管理以及高效的數據定位需求，谷

7、歌采用BigTable的數據管理技術。在各大IT廠商的支持下，Hadoop稱得上是開源創(chuàng)新領域的杰出典范。,,3)數據安全技術　　網絡技術的發(fā)展使得帶寬不會成為主要障礙，安全性依舊是最重要的顧慮。將保存在本地、為自己所掌控的數據交給一個外部的云計算存儲服務中心，這樣一個改變讓人不得不考慮數據的安全和保密問題。“云安全”作為云計算技術的一種應用，其實質是通過安全廠商自建的數據中心這個“云”與客戶端相互合作，共同對用戶訪問的Web內容進行

8、防護，通過“云”對互聯網進行掃描，對有毒的網頁進行標記。其具體操作流程是：用戶在訪問網頁之前，先與“云”取得聯系，如果網頁安全就順利訪問，否則就終止行為。,,2.實現過程中必須要解決的基本問題　　1)云計算數據庫資源發(fā)現　　在云計算開發(fā)環(huán)境下，大量云計算數據庫資源共存且完全獨立于應用。云計算數據庫對外界發(fā)布共享的數據，應用要找到合適的數據源依賴于一套資源注冊和發(fā)現機制，這也是云計算為所有類型資源提供的一個共有的基本功能?！　?)云

9、計算數據融合　　面對多個異質、分布、自治的數據資源，需要對其進行整合，形成一個統(tǒng)一的數據視圖，或者稱為虛擬數據庫。,,3)云計算海量數據處理　　大量科學型的研究應用是數據密集型的，在其運行過程中會產生海量數據，這就需要數據庫盡可能保證數據的安全性和存取的效率?！　?)容錯性控制　　云計算環(huán)境下的數據庫訪問連接，受到網絡、站點局部控制與突發(fā)事件等因素的制約，因此云計算必須負責實時監(jiān)控數據庫狀態(tài)，處理異常情況，保證數據操作的正確性和

10、效率。,,,6.3　關系型數據庫與NoSQL數據庫6.3.1　關系型數據庫的劣勢　　隨著Web2.0的發(fā)展，傳統(tǒng)的關系型數據庫在應對超大規(guī)模和高并發(fā)的SNS類型的網站方面暴露了許多難以克服的問題，主要表現為以下幾點：　?。?）高并發(fā)讀/寫速度慢。這種情況主要發(fā)生在數據量達到一定規(guī)模時，由于關系型數據庫的系統(tǒng)邏輯非常復雜，容易發(fā)生死鎖等并發(fā)問題，從而導致其讀/寫速度下降。例如，Web2.0網站要根據用戶個性化信息來實時生成動態(tài)頁面

11、、提供動態(tài)信息，所以基本上無法使用動態(tài)頁面靜態(tài)化技術，因此數據庫并發(fā)負載非常高，往往要求達到每秒上萬次讀/寫請求。關系型數據庫勉強可以應付上萬次的SQL查詢，但硬盤I/O往往無法承擔上萬次的SQL寫數據請求。,（2）支撐容量有限。類似Facebook、Twitter這樣的SNS網站，每天產生海量的用戶動態(tài)，每月會產生幾億條用戶動態(tài)，對于關系型數據庫來說，在一張數億條記錄的表里面進行SQL查詢，效率是極低的?！　。?）擴展性差。在基于W

12、eb的架構中，數據庫是最難進行橫向擴展的。當一個應用系統(tǒng)的用戶量和訪問量與日俱增的時候，傳統(tǒng)的關系型數據庫沒有辦法像WebServer那樣通過簡單地添加更多的硬件和服務器節(jié)點來擴展性能和負載能力。對于不間斷提供服務的網絡來說，對數據庫系統(tǒng)進行升級和擴展是非常痛苦的事情，往往需要停機維護和數據遷移，因此迫切需要關系型數據庫能夠通過不斷添加服務器節(jié)點來實現擴展。,（4）建設和運維成本高。企業(yè)級數據庫的價格很高，并且隨著系統(tǒng)的規(guī)模增大而不斷上

13、升。高昂的建設和運維成本無法滿足云計算應用對數據庫的需求?！　￡P系型數據庫遇到了上述難以克服的瓶頸，與此同時，它的很多主要特性在云計算應用中也無用武之地，例如，數據庫事務一致性、數據庫的寫實時性和讀實時性，復雜的SQL查詢特別是多表關聯查詢。因此，傳統(tǒng)的關系型數據庫已經無法獨立應付云計算時代的各種應用。,,6.3.2　NoSQL數據庫數據模型　　關系型數據庫越來越無法滿足云計算的應用場景，為了解決此類問題，非關系型數據庫應運而生。由

14、于在設計上和傳統(tǒng)的關系型數據庫相比有了很大的不同，所以非關系型數據庫被稱為NoSQL（NotonlySQL）數據庫。與關系型數據庫相比，NoSQL更關注對數據高并發(fā)讀/寫和海量數據的存儲，在架構和數據模型方面做了簡化，而在擴展和并發(fā)等方面做了增強。目前，主流的NoSQL數據庫包括BigTable、HBase、Cassandra、SimpleDB、CouchDB、MongoDB與Redis等。NoSQL常用數據模型如下：,,1.Colum

15、noriented(列式)　　列式主要適用于Table這樣的模型，但是它并不支持類似Join這樣多表的操作。列式的特點是在存儲數據時，主要圍繞著“列”，而不是像傳統(tǒng)的關系型數據庫那樣根據“行（row）”進行存儲。也就是說，屬于同一列的數據會盡可能地存儲在硬盤的同一頁中，而不是將屬于同一個行的數據存儲在一起。這樣做的好處是，對于很多類似數據倉庫的應用，雖然每次查詢都會處理很多數據，但是每次所涉及的列并沒有很多。使用列式數據庫，將會節(jié)省

16、大量I/O，并且大多數列式數據庫都支持ColumnFamily這個特性，能將多個列并為一個小組，提高這些列的存儲和查詢效率?？傮w而言，列式數據模型的優(yōu)點是比較適合匯總和數據倉庫這類應用。,,2.Keyvalue(鍵值)　　雖然Keyvalue這種模型和傳統(tǒng)的關系型數據庫相比較為簡單，有點類似常見的HashTable，一個Key對應一個value，但是它能提供非常快的查詢速度、大的數據存放量和高并發(fā)操作，非常適合通過主鍵對數據進行

17、查詢和修改等操作，雖然不支持復雜的操作，但是可以通過上層的開發(fā)來彌補這個缺陷。,3.Document(文檔)　　在結構上，Document和Keyvalue是非常相似的，也是一個Key對應一個value，但是這個value主要以JSON或者XML等格式的文檔來進行存儲，是有語義的，并且DocumentDB一般可以對value創(chuàng)建SecondaryIndex，方便上層的應用，而這點是普通的KeyvalueDB所無法支持的。,,6

18、.3.3　NoSQL數據庫的優(yōu)劣勢分析　　下面從設計理念、數據模式、分布式等幾個角度對BigTable、Cassandra、Redis與MongoDB進行比較，見表6-1。 表6－1　主要NoSQL數據庫之間的比較,1.優(yōu)勢　　NoSQL數據庫主要有以下幾個優(yōu)勢：　?。?）擴展簡單。例如Cassandra，由于其架構類似于經典的P2P，因此能夠通過簡單添加新的節(jié)點來擴展集群?！　。?）讀/寫快速。例如Redis，由

19、于其邏輯簡單，純內存操作，因此具有非常出色的性能，單節(jié)點每秒可以處理超過10萬次的讀/寫操作?！　。?）成本低廉。因為大多數NoSQL數據庫都是開源軟件，所以沒有昂貴的成本限制。,,2.劣勢　　NoSQL數據庫雖然具有很多顯著的優(yōu)勢，但依然存在很多不足，主要表現在以下幾個方面：　　(1)不提供對SQL的支持。這會對用戶產生一定的應用遷移成本，同時無法實現組合應用并發(fā)揮SQL數據庫已經非常成熟的優(yōu)勢。　?。?）支持的特性不夠豐富。

20、現有NoSQL數據庫提供的功能十分有限，大多數都不支持事務和其他附加功能?！　。?）產品不夠成熟。大多數NoSQL數據庫產品還處于初級階段，與已經非常完善成熟的關系型數據庫不可同日而語。,,,6.4　云數據庫的安全　　信息安全技術雖然越來越完善，但數據庫安全面臨的挑戰(zhàn)越來越多，如數據品質和完整性?；ヂ摼W增加了人們對于網絡的依賴，但是人們無法確定網絡數據的品質和完整性。而且，移動用戶訪問控制和隱私問題也被暴露。移動設備、傳感器網絡促使

21、數字化生活隨時隨地成為了可能，但是人們發(fā)現自己已經不知不覺地生活在了一個暴露一切數據的環(huán)境中，用戶的賬號、信用憑證、權限、計劃和瀏覽記錄等均是如此。如何管理與使用這些數據和確保訪問控制的真實性、權威性等方面面臨著前所未有的挑戰(zhàn)。數據庫的可存活性也不容忽視?？纱婊钚砸馕吨到y(tǒng)在遭受攻擊或產生錯誤的時候能繼續(xù)提供核心服務并及時回復全部的服務。,,目前還沒有標準的云數據庫安全標準體系，因此用戶對云數據庫的安全較為關心。　　較為完善的云服務商

22、業(yè)模式應該是大多數云服務提供商自身就是內容供應商，公司有條件把主要業(yè)務完全遷移至公共端，但是實施的公司很少且很困難。這可能會限制云計算和云數據庫的發(fā)展。因此創(chuàng)建和實行一個完善的能保證安全體系的結構對于云數據庫技術將來的發(fā)展至關重要。,,,6.5　云數據庫的發(fā)展趨勢　　隨著云的興起，非關系型數據庫成了一個極其熱門的新領域，非關系型數據庫產品的發(fā)展非常迅速。而傳統(tǒng)的關系型數據庫顯得力不從心，暴露了很多難以克服的問題，它所存在的許多規(guī)則束

23、縛了數據庫系統(tǒng)的開發(fā)，而在云端需要的是一個真正強大的、能讓多臺計算機一起運行的數據庫系統(tǒng)，可保存所有用戶的所有數據。,,作為云數據庫，就其自身所持有的易擴展、易配置以及根據負載特性和資源狀況進行自我優(yōu)化的特征，非關系型數據庫正在吸引人們的注意。因為關系型數據庫本身所存在的不足以及不易擴展，在應用中需要配合Join操作，而Join操作不易并行的性質使得關系型數據庫很難部署在有大量節(jié)點的ShareNothing集群，這對海量數據庫的處理造成

24、不利的局面?！　』谠朴嬎愕男枨?，應該說NoSQL數據庫就是下一代數據庫技術，因為其主要特點是非關系、分布式、水平可擴展，非常配合云計算中的海量數據運算。NoSQL數據庫具有極高的并發(fā)讀/寫性能，而且在保證海量數據存儲的同時，還具有良好的查詢性能和彈性的可擴展能力。,,另外，并行關系型數據庫也可以考慮。并行關系型數據庫支持ShareNothing集群系統(tǒng),提高了系統(tǒng)的可伸縮性,多用于數據分析應用中，以讀操作為主，寫操作數量較少，并且多

25、是批寫,支持傳統(tǒng)應用和商業(yè)智能工具?！　∑浯?，共享磁盤數據庫架構也是理想的云數據庫。共享磁盤數據庫允許低成本的服務器集群使用一個單一的數據采集，通常提供了一系列的存儲區(qū)域網絡(SAN)或附加存儲(NAS)的網絡。共享磁盤數據庫除了具有支持彈性可擴展性，還充分利用了服務器的CPU資源，從而延長了現有服務器的壽命，因為它們不需要提供尖端的性能；,,并且在服務器上的一個共享磁盤上的數據庫部分可以單獨進行升級，同時保持在線的群集；還具有高可用

26、性，由于在共享磁盤數據庫中的節(jié)點是完全可以互換的，可以失去節(jié)點和降低性能，但系統(tǒng)保持運行；降低支持成本（云數據庫的好處之一是，他們轉向了低級別的DBA功能，所有用戶數據庫采用集中管理的方式）。因此共享磁盤數據庫的DBA分離和應用是理想的云數據庫的功能。同時，共享磁盤數據庫也提供無縫的負載平衡，進一步降低在云環(huán)境中的支持成本。,,,6.6　小　結　　本章首先介紹了云計算數據庫的研究現狀和基本思想，然后介紹了云數據庫的關鍵技術及其實現。