1、在當前的互聯(lián)網時代，存在著數據增長迅速，然而信息龐雜，用戶想要從海量數據中搜索有用的信息費時費力的問題。用戶需要的是更詳細、細分的信息，針對這種情況，本文提出了一種基于主題的數據API檢索平臺。
　　本文設計的分布式、可擴展的基于主題的數據API檢索平臺，首先將海量的互聯(lián)網信息采集到子系統(tǒng)中，然后對數據進行分類，對每一類的數據通過檢索的方式提供給用戶，用戶通過選取自己感興趣的信息來消費平臺中的數據。為了提供這樣一個數據API檢索平

2、臺，首先是能夠將大量的網頁抓取下來，并且需要此功能支持水平擴展和穩(wěn)定性。此外為了減少人工成本，又能有效的提取網頁中的信息，本文提出了半自動化的基于模板的網頁信息提取方法。
　　面對海量的互聯(lián)網文檔數據，需要提供一種合理的方式對數據進行分類，以便用戶有針對性的選擇對自己有用的數據。為此，本文設計了基于主題的數據分類和檢索系統(tǒng)。通過基于LDA主題模型來推斷文檔中的主題分布，然后根據主題分布建立相應的API主題和相應的API-Key。考