1、在互聯(lián)網(wǎng)高速發(fā)展的今天，網(wǎng)絡用戶的快速增長直接導致了互聯(lián)網(wǎng)上的輿論呈現(xiàn)出爆炸式的增長，尤其是當社交網(wǎng)絡平臺的出現(xiàn)之后，輿論的傳播更加是不受控制。輿論監(jiān)控也成為近年來研究的重點問題。本文主要針對現(xiàn)今社交網(wǎng)絡中最具有代表性的兩個平臺Facebook和Twitter進行研究。研究過程主要分為兩部分:第一、設計一套優(yōu)良的采集系統(tǒng)針對Facebook和Twitter進行數(shù)據(jù)采集，設計過程中，我們分析了兩個平臺的登陸授權協(xié)議OAuth的工作原理、針

2、對不同對象數(shù)據(jù)采集的API格式和第三方SDK的使用?？紤]到Facebook的好友獲取局限性，我們針對Facebook使用基于HTTP流和API結合的方式來獲取用戶數(shù)據(jù)，而Twitter使用API獲取用戶數(shù)據(jù)的方式。最后針對Facebook和Twitter獲取數(shù)據(jù)的性能進行比較。第二、針對獲取到的社交網(wǎng)絡數(shù)據(jù)進行分析處理，首先對抓取到的240W條的推文消息進行過濾操作，區(qū)分出中文和英文;然后分析推文的轉發(fā)格式，對推文進行預處理，通過正則表

3、達式提取出轉發(fā)關系，最后使用基于simhash的方法對預處理后的推文進行去重操作，統(tǒng)計重復推文數(shù)據(jù)，分析實驗結果。之后收集去重過程中的實驗數(shù)據(jù)，針對相似的消息和含有明確轉發(fā)關系的消息分別使用基于時間序列和第四章中的類似于樹狀排序的算法對消息進行排序操作。經(jīng)過排序后的消息，我們按照復雜網(wǎng)絡工具gephi的文件格式gexf進行寫入保存操作，生成消息傳播路徑圖。通過gephi工具查看傳播路徑圖的消息源頭。最后分析生成的所有傳播路徑圖，總結出一