1、大數據時代的來臨，為數據的實時處理技術帶來了巨大的變革和挑戰(zhàn)，在這個背景下，D-Stream作為D-Ocean非結構化數據管理系統(tǒng)的流式處理子系統(tǒng)，為基于海量數據實時處理的應用提供給了一套通用的、可靠的、可擴展的分布式計算框架。
　　 D-Stream系統(tǒng)的實現基于一套流式處理通用框架設計，借鑒了S4，Storm等眾多開源流式處理平臺的先進思想。它的功能結構主要包含三大部分:首先是一套簡潔開放的任務模型，通過D-Stream任務

2、模型，應用能夠根據需求動態(tài)地定制任務拓撲。其次是一套可靠穩(wěn)定的流式處理引擎，保障數據在計算任務間快速透明地傳輸，使不同的任務可以高效地協調工作。最后是一個高可用的調度框架，通過有效調度計算資源，充分發(fā)揮集群的計算能力，并在消息積壓時提供高效的負載分流機制。
　　 圍繞這三大問題，本文描述了用D-Stream任務模型為現實應用建模的方法。就D-Stream實現部分，介紹了D-Stream組件架構和對稱式調度框架，重點描述了流式處理