1、高速發(fā)展和快速普及的互聯網已成為信息傳播和資訊獲取的主要途徑之一。網絡上的數據伴隨著大數據時代的到來而迅速膨脹，用戶面對互聯網上的海量信息需要花費更大的成本去獲取有價值信息。個性化推薦技術就是用來解決信息過載問題的。
　　近來，隨著門戶網站和各領域資訊類網站的不斷涌現，網絡閱讀逐漸成為互聯網最熱門的需求之一，也同樣需要使用個性化推薦技術，由此催生了個性化閱讀應用市場。
　　大多數基于內容的推薦系統使用相對簡單的向量空間模型，

2、但這種方案不能解決“一詞多義”、“多詞一義”的問題。為解決向量空間模型的不足，本文將主題模型應用到個性化閱讀推薦和文本分類中，設計并實現了面向開發(fā)者的技術文章個性化推薦系統，解決了開發(fā)者的個性化閱讀需求，具有很好的應用前景和商業(yè)價值。
　　本文的主要工作有:
　　1.面向技術文章的網頁爬蟲和數據預處理
　　為了獲取推薦對象，先使用WebMagic爬蟲框架實現一個單機多線程的爬蟲，將技術網站上的文章下載到文件服務器和數據

3、庫中，然后使用HTML解析器、XPath、CSS選擇器等技術對網頁的正文部分進行抽取，并清洗掉正文里的無關項元素，最后使用FNLP自然語言處理工具包對正文部分進行文本處理，包括分詞、詞性標注和去停用詞等。
　　2.基于用戶興趣的個性化推薦和基于文章主題的相似推薦
　　本文實現基于用戶興趣的個性化推薦，用于向用戶推薦其可能感興趣的技術文章。(1)尋找最優(yōu)主題數;(2)對預處理后的技術文章建立LDA模型，使用主題對技術文章進行特

4、征表示;(3)根據用戶的歷史行為數據，使用邏輯斯蒂回歸為每個用戶構建用戶興趣模型;(4)使用訓練好的LDA模型推斷新的技術文章的主題分布;(5)使用技術文章的主題分布和用戶興趣模型進行個性化計算，生成用戶的個性化推薦列表。通過與基于向量空間模型和TF-IDF相結合的推薦方法做對比實驗，驗證基于LDA模型的推薦方法具有更好的推薦效果。
　　本文實現基于文章主題的相似推薦，用于向用戶推薦在主題層面上相似的技術文章。通過使用Hellin

5、ger距離作為相似性度量，取Top-3的技術文章作為目標文章的相似文章。
　　3.按技術文章的類別瀏覽
　　為了在系統中實現按照類別來瀏覽文章功能，本文需要預測文章的技術類別。(1)將LDA模型中的所有主題下的Top-N個詞項取出，合并成一個特征詞典;(2)對訓練數據進行文本預處理，然后統計所有詞項的信息，并計算所有詞項的TF-IDF值;(3)檢查每個文檔的所有詞項，將包含在特征詞典中的詞項作為特征項，使用TF-IDF值作為

6、特征項的特征權重，將文檔映射為一個特征向量，對所有特征向量進行歸一化處理后，得到一個訓練集;(3)使用LIBSVM提供的腳本尋找最優(yōu)的參數，然后訓練支持向量機分類器;(4)使用支持向量機分類器對未知類別的技術文章進行類別預測。
　　通過與其他三種常用的特征選擇方法做對比實驗，驗證本文的文本分類方案具有更好的分類效果。
　　4.Web交互系統
　　設計并實現了一個與用戶進行交互的Web網站原型，用戶通過該網站可以瀏覽推薦