網絡輿情分析系統

前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇網絡輿情分析系統范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。

網絡輿情分析系統范文第1篇

關鍵詞：網絡英語學習生態系統；計算機網絡；情感交互

當計算機播放某多媒體程序的時候，編程人員可以他的思想及情感發出指令控制該程序的運行，而不是程序單方面執行下去，程序在接受到編程人員相應的指令后而相應的做出反應，這一過程及行為，我們稱之為情感交互

人與人之間的直接溝通一般是在雙向交互的情況下實現的，比方說學校的一些具體的管理行為、教學行為及其它種種交往行為。而借助傳統媒體實現的師生溝通大多數是章向交互的，是教師到學生的，學生的反饋行為一般并不通過傳統媒體來實現。在這個主面，網絡媒體的不同之處在于，借助它可以實現師生間的雙向交互，甚至可以方便地實現學生與校園圍墻以外世界的雙向交流。

在當前的網絡教學嘗試中，師生之間的情感溝通被忽視。學生與教師遠遠相離，客觀上使師生之間的感情溝通比較困難，可是并不見有主動的工作去彌補這些缺陷。在這種情況下，學生很難與教師產生情感上的共鳴，很難產生對教師的喜歡、喜愛乃至不很過分的“崇拜”，無法指望得到這種感情對學習產生積極的影響，更不用說在學生的人格成長方面，沒有教師的行為作風的潛移默化的影響。筆者認為，這就是教師對學生可以產生意義的第三個方面。這種對教師的行為“導航”和情感溝通對于促進學生學習的必要性的認識缺陷，在近期的網絡教學試點工作中一直部分地存在著，直到2000年的長沙會議也沒有看到任何轉機。

在新的媒體群落條件下，教師除借助傳統媒體向學生遞送知識信息外，還增加了借助網絡媒體與學生進一步溝通的機會。理論上，這些溝通作為通常面對面溝通的補充，也可以產生多方面的意義，比方說，可以指導學生的學習，也可以進一步溝通感情，增進師生之間的了解，使教師對學生產生更多人格等方面的影響，促進學生全面發展。夫子云：“師者，傳道、授業、解惑也”。這個道，即有為人之道與為學之道的雙重含義。在此作一個小結，在教學活動中，教師與學生的溝通可以認為在三個層面上實現意義：其一，情感溝通；其二、管理溝通；其三、知識導航與傳授溝通。

網絡教學發展的最終制約瓶頸是教師的注意力資源。當前，一個不負責任的流行觀念就是簡單地將渠道的豐富與溝通的增進對等起來，甚至混淆為一個概念。產生的觀點就是網絡媒體可以幾乎是無限制地擴大招生人數，提高教學效率。估我國，教育事業的相對落后使得我們急于尋找效率更高，受益面更大的教學模式。這種心情是可以理解。但是經驗告訴我們，指望借助某種先進媒體的作用使教育的質量和數量在一夜之間“趕超英美”是不現實的，無疑是式的天真幻想。決定教學規模及教育水平的最終制約瓶頸是教師的注意力資源，是教師的質量與數量，與之相對應的是社會的教育投入。

教師已經不能無視網絡媒體的沖擊，網絡上源源不斷的信息和源源不斷的新理念迫使教師必須有所改變，在這個改變過程中，教育思想的改變也自然而然地發生了。這正是技術進步推動思想進步的一個生動例子。所幸的是，網絡媒體并不僅僅是使教師陷入被動狀態，它同樣為教師準備了足夠的自我發展空間，為教師的繼續學習和提高業務水平提供了更充分的條件。網絡媒體呼喚教師在新的教育思想指導下進行新的教學方法的嘗試，比方說，教師不僅僅作為知識的傳授者，更多地作為學習的導航者，也作為網絡海洋中知識的導航者。

教師作為知識的傳授者，并不僅僅是刻板地把知識灌輸給學生，而是在了解學生的基礎上將知識恰當有序地傳授給學生。在新的教育理念下，教師更多地扮演引導者的角色，即以引導為軸線，以知識傳授為內容。就是說，教師的作用在教學活動方面也可以分為兩個部分，一是作為知識的提供者和傳授者，二是作為知識的導航者。這第二個部分的作用正是當前流行的教育思想所要強調的。

教師的另外一層管理意義是他在教學活動中同時在承擔著具體學習過程中的“管理”任務。在課堂上：教師對學生就是一個客觀的近在咫尺的行為約束，這個約束在規定著學生在課堂上可以干什么，不可以干什么；教師隨時對良好的主動積極的學習態度予以鼓勵，隨時對出現的異常現象進行分析判斷，然后按照自己對教育思想及管理思想的理解予以處理。教師深入課堂的管理是整個學校管理活動的重要末梢，忽視這個末梢，管理活動將是不完善的和低效的，不能保證學習活動高效正常地進行。這種觀念 在一般的教學理論中已經是老生常談，但筆者注意到，在過去的有關網絡教學的討論中，這個問題談得太少且經常被忽視。

總之，如上所述，教師資源所產生的意義中應該包括有管理意義上的部分，還必然有教學意義上的部分。教師在教學方面的作用也因網絡的出現而受到沖擊。新的媒介帶來的新觀念首先對一些教師的陳舊教育思想和教學習慣形成沖擊，使教師對教學信息的壟斷地位受到威脅，近使教師不得不重新思考，重新為自己定位，調整自己的教育思想使之與新的條件相適應；另一方面，新的媒體群落也為教師提供了一個更為廣闊的學習和提高的空間，提供了更為豐富的教學信息的表達手段，使他的教學活動更能豐富多彩、引人入勝，更易于培養和激發學生的創造力。

參考文獻：

網絡輿情分析系統范文第2篇

關鍵詞：大數據 網絡輿情 數據抓取 數據存儲 輿情分析

中圖分類號：G206 文獻標識碼：A 文章編號：1674-098X（2017）01（c）-0108-02

S著新興媒體的發展，互聯網輿情已經在社會發展中扮演著重要的角色，它已不僅僅局限于個別范圍的使用和拓展，而是演變為全民互動型的參與和討論，所以如何在眾多信息中獲取最全面的輿情數據，并將輿情數據以最快的速度和最靈活的方式展現出來，使輿情在可控的范圍內實現最大的社會和商業價值，顯得尤為重要。

1 網絡輿情

網絡輿情不同于傳統輿情，傳統輿情是民意理論中的一個概念，是民意的一種綜合反映。該文所提到的網絡輿情，是未經任何中介包裝和驗證，直接于網上的社會輿情，并以互聯網為載體，以輿論事件為核心，集民眾情感、態度、意見、建議、傳播互動和影響力于一身的集合。

因為網絡輿情的傳播介質是網絡，網絡既具有公開性又具有隱蔽性，同時需要事件、網民、網民情感，以及通過網絡介質的傳播和互動，所以在既公開又隱蔽的環境中，從眾多的信息中捕獲并抽取出復雜的網民情緒和態度非常重要。

2 輿情捕獲

由于輿情具有自由性、交互性、多元性、偏差性和突發性，所以如何從眾多輿情中獲取實時數據并服務于大眾，是新興媒體所面臨的嚴峻挑戰和考驗。

2.1 關鍵詞確定

在互聯網上傳播的信息可以用海量來形容，如果針對輿情盲目進行檢索，猶如大海撈針，不僅得不到我們想要的數據，還會浪費大量的人力、物力和財力來投入到數據的分析中。所以如何在海量的信息中獲取用戶想要的數據，“關鍵詞”就顯得非常重要，它不僅可以讓我們精確地捕獲到想要的數據，而且還可以減少臟數據的捕獲，大大縮短了輿情分析的時間，提升了輿情分析的反應速率，下面就介紹幾種關鍵詞確定的方法。

（1）定制關鍵詞。關鍵詞的確定可以從輿情分析的發出者來反向提出，輿情分析的發出者一定是希望從網絡輿情中得到某種相關信息，那么我們可以從需求提出者和需求分析者的角度來確定關鍵詞，即關鍵詞由用戶提出，并通過需求分析將用戶的表述發展為定制詞語，并將其定義為用戶定制關鍵詞。根據用戶定制的關鍵詞來捕獲數據，是最直接明了的數據捕獲方式。

（2）熱門輿情關鍵詞。很多網站如百度、搜狐、Facebook、新浪等幾乎所有的交互網站都會有熱門指數，我們可以借助這些網站自身攜帶的熱門指數，來確定關鍵詞。因為通過熱門輿情關鍵詞來捕獲數據，一定是網站熱門數據，這樣不僅可以節省我們分析確定關鍵詞的時間，而且還可以用最短的時間獲取最多的分析數據，提高大數據在輿情分析中的反應速率。

（3）熱搜輿情關鍵詞。熱搜輿情關鍵詞不同于熱門關鍵詞，由于輿情具有廣泛傳播性，很多人參與到輿情探討中，都是通過網絡搜索并定位的，所以熱搜關鍵詞就是根據搜索引擎的熱搜排行榜，來確定輿情關鍵詞，通過熱搜排行榜，我們可以第一時間知道并了解網民想要了解的輿論事件。

（4）參考輿情網站。想要找到網絡事件的發展狀況和原由，最簡單也是最直接的方式，就是找到輿情的網站，很多網站就是網絡輿情事件的源泉。

2.2 數據抓取

當我們通過各種方式獲取并確定了關鍵詞之后，如何把關鍵詞變成我們想要的精確數據，就顯得非常重要。我們可以通過網絡爬蟲技術來獲取輿情數據。

當前主流的數據抓取模式主要包含4個主要部分：網絡爬蟲技術（Spider）、數據處理技術（Data Process）、爬取URL隊列（URL Queue）和數據。爬蟲主要是從互聯網上捕捉網頁內容，并從中抽取出需要的內容。數據處理：對爬蟲抓取的內容進行處理。URL隊列：為爬蟲提供需要抓取數據網站的URL。數據包含3個方面：（1）Site URL：需要抓取數據網站的URL信息；（2）Spider Data：爬蟲從網頁中抽取出來的數據；（3）Dp Data：經過dp處理之后的數據。

2.3 數據存儲

因為網絡輿情具有及時更新和海量的特性，所以我們如何將抓取到的數據實時保存起來，是非常關鍵的，它決定了最后輿情分析的全面性和精確性。一般通過IT技術可以將數據存儲到數據庫中，下面介紹一下當前主流的3種數據庫及其區別。

Oracle數據文件都是采用二進制編碼的文件，而且它可以對SQL在執行過程中的解析和優化指定統一標準，其中包括RBO、CBO以及HTNT規則，這些都會使在Oracle數據庫中執行的SQL擁有極大的優化自由，同時也對CPU、內存、IO資源方面進行優化。

MySQL最大的特點應該屬自由選擇存儲引擎。它的每一個表都是一個文件，都可以選擇合適的存儲引擎。但由于它的存儲引擎是開放式的插件引擎，所以文件的一致性大大降低，并且在SQL優化方面，也會有一些不可避免的瓶頸，例如多表關聯、子查詢優化、統計函數等都是它的弱項，并且MySQL只支持極簡單的HINT。

SQL Server的數據架構基本是縱向劃分，分為：Protocol Layer、Relational Engine、Storage Engine、SQLOS。SQL執行都是逐層，其中Relational Engine中的優化器，是基于成本的，其工作過程跟Oracle是非常相似的。同時它也支持豐富的HINT，包括：連接提示、查詢提示、表提示。

雖然，這3個數據庫各具特色，但是，如果對數據安全、存儲等特性沒有特殊要求，通常我們會選取MySQL數據庫，因為開源而且操作相對簡單。

3 輿情分析

如果說輿情數據的抓取和存儲目的是在數據獲取方面下工夫，那么輿情分析就是通過比較、論證等方法把數據通過圖形報表等更加簡潔的方式呈獻給用戶。

每一個輿情事件的本身都有自己的特點，分析設計人員可以根據不同的特點選擇輿情分析的方法或報表。通常輿情分析方法有連續接近法、舉例說明法、比較分析法和流程圖法等。通常圖形報表也有很多種，如趨勢圖、比例餅圖、百分比柱圖、流程圖、表格等，分析設計人員根據輿情的特點選擇合適的圖形呈獻給用戶。

4 結語

通過大數據相關技術對輿情進行全方位收集、存儲和分析的過程中，我們既不修飾、篡改輿情事件的真實性，也不隱藏輿情事件的丑陋性，大數據的智能捕獲分析，只是將網絡輿情更加清晰形象地呈現給用戶，使用戶在第一時間獲取民眾態度，掌握民眾意見或建議，并根據輿情報告的精準分析反饋，及時對輿情事件做出相應的政策，調整相關的策略，實現商業和政治利益最大化，創造更多的社會價值，并使網絡輿情健康良性發展。

參考文獻

[1] 王博.大數據時代網絡輿情與社會治理研究[D].云南財經大學，2016.

[2] 楊旭東.網絡輿情監控系統關鍵技術研究[J].信息網絡安全，2016（9）：251-256.

網絡輿情分析系統范文第3篇

摘要：本文以基于數據挖掘的決策支持系統方法整合網絡輿情信息，建立網絡輿情信息倉庫，對非結構化的模糊復雜的信息，運用數據挖掘中文本挖掘技術有效分析網絡熱點事件的輿情，及時發現重大突發事件，減少危機損失，提高政府管理和監控輿情危機的能力。

關鍵詞：網絡輿情 數據挖掘 決策支持系統

1、引 言

近幾年，隨著Web2. 0的興起與普及，互聯網已成為一個開放的、個性化的社會環境形態，對社會穩定和國家安全的維護帶來了嚴峻挑戰。但是現在我們政府情報機構網絡安全管理和監控能力比較薄弱，難以適應復雜的環境。因此，建立基于數據挖掘的網絡輿情預警決策支持系統，對非結構化的模糊復雜的信息，運用文本挖掘技術有效分析網絡輿情事件，及時發現重大突發事件，減少危機損失，提高政府管理和監控能力勢在必行。

2、基于數據挖掘的決策支持系統

決策支持系統(DSS) [1]是利用大量信息，數據結合眾多模型，通過人機交互，輔助各級決策者實現科學決策的系統。它是融計算機技術、信息、技術、人工智能、管理科學、決策科學等學科和技術于一體的技術繼承系統，包括數據倉庫和數據挖掘分析系統，由以下三個主體[2]組成：

（1）模型庫系統和數據庫系統結合，作為該系統的基礎，為決策問題進行模型計算和定量分析，提供輔助決策信息。

（2）知識庫系統和數據挖掘的結合，從數據庫和數據倉庫中挖掘知識放入專家系統的知識庫中，通過知識推理定性分析，輔助決策。

（3）數據倉庫和OLAP，從數據倉庫中提取綜合數據和信息來反映了其內在本質。

3、基于數據挖掘的網絡輿情預警決策支持系統的定位

從網絡輿情預警決策支持系統的功能和實現方式對其定義：基于決策支持系統技術，將聯機分析處理、數據挖掘模型（文本挖掘模型）、數據倉庫、知識庫、方法庫等相結合，應用于情報機構的網絡輿情預警中的人機結合系統。

3.1數據倉庫

數據倉庫[3]的設計要滿足決策支持系統的要求，即數據要具備概括性、抽象性、統一性三個特點。所以圖1中數據倉庫和部門數據庫加上一個虛擬層，實現數據挖掘的數據清洗，為數據倉庫提取有用數據。

3.2數據挖掘方法

數據挖掘[4]，簡單點說，就是從大量數據中尋找規律的技術，通過處理海量的、不完全的、隨機的、結構復雜的數據選擇有用數據，建立知識模型。網絡輿情預警決策支持系統運用數據挖掘中文本挖掘技術，包括自動分類技術、自動關聯技術、觀點挖掘技術、自動分詞技術、結構化抽取技術以及自動摘要、關鍵詞技術等。

圖1 決策支持結構系統

4、基于數據挖掘的網絡輿情預警決策支持系統的構建

基于數據挖掘的決策支持系統采集網絡中的新聞網頁、論壇、博客、新聞評論，貼吧等網絡資源，發現突發性熱點事件，進行熱點跟蹤定位和實時輿情預警，幫助政府及時掌握輿情動向，準確捕捉預警信息，對有較大影響的重要事件快速發現、快速處理，為政府決策提供信息依據[5]。

4.1數據準備

網絡輿情預警需要多樣化的信息，在整理信息的時候，需要做到全面、準確、及時。本系統涉及的信息有：

文本信息：新聞、博客、產品評論、論壇帖子等文本信息，包括主題、關鍵詞、時間、URL等。

詞匯信息：包括現在詞典中的字或詞和現在網絡用語的語義、適用的語境和是否帶有情感等。

圖像信息：主要是新聞、博客、產品評論、論壇帖子等上的圖片，包括主題、內容、時間、URL、瀏覽數量等。

視頻音頻信息：主要是新聞、博客、產品評論、論壇帖子等上的視頻音頻，包括主題、內容、時間、、URL、瀏覽數量等。

這些來自互聯網的大量信息，通過收集、整理、存儲、預處理在數據庫中作為原始數據，這些數據是離散的、模糊的。

4.2系統功能模塊

根據網絡輿情預警的規劃，如輿情分類、情感分類與趨勢預測、輿情檢索以及統計分析等，本系統建立了輿情信息采集管理系統、輿情分類管理系統[6]、輿情來源管理系統、輿情情感分類管理系統和用戶管理系統。

①輿情分類管理系統：輿情分類即對海量信息的自動(文本語義分析)分類。通過關鍵字樣本、文件樣本、自定義等把原始信息分類，形成分類別（危害國家安全、危害社會治安、擾亂社會秩序等）的分類庫，分類管理可以對分類的類別數據進行增加、刪除、修改等操作。

②輿情信息采集管理系統：輿情信息采集管理系統對文本信息、圖像信息、視頻音頻信息的來源，如新聞、博客、產品評論、論壇帖子、網站及其網站的權威性進行分析統計。

③輿情來源管理系統：輿情來源管理部門對文本信息、圖像信息、視頻音頻信息的來源，如新聞、博客、產品評論、論壇帖子、網站及其網站的權威性進行分析統計。

④輿情情感分類管理系統：輿情分類管理部門從根據新聞、博客、產品評論、論壇帖子等收集的文本信息、圖像信息、視頻音頻信息，經過預處理之后，通過觀點挖掘方法對輿情信息的情感傾向進行分析，及時發現消極情感的信息，以便迅速做出反應。

⑤輿情統計系統：統計輿情分類管理系統和輿情情感分類管理系統的信息，為政府提供報表或報文，供政府決策使用。

5、結 論

基于數據挖掘的網絡輿情預警決策支持系統可以有效解決現在網絡輿情預警系統中存在的問題，通過文本挖掘技術對非結構化的模糊復雜的信息分析處理，及時發現重大突發事件，減少危機損失，提高政府管理和控制輿情的能力。

參考文獻：

網絡輿情分析系統范文第4篇

以近年來在中國興起并急劇發展的輿情監測和分析行業為例，即通過海量信息采集、智能語義分析、自然語言處理、數據挖掘，以及機器學習等技術，不間斷地監控網站、論壇、微博、平面媒體等信息，及時、全面、準確地掌握各種信息和網絡動向，從浩瀚的數據宇宙中發掘事件苗頭、歸納輿論觀點傾向、掌握公眾態度情緒、并結合歷史相似和類似事件進行趨勢預測和應對建議。

互聯網如今已經成為收集民意、了解政府和企業工作成效的一個非常有效的途徑。然而由于缺乏對互聯網發貼等行為的必要監管措施，在輿情危機事件發生后，難以及時有效獲取深層次、高質量的網絡輿情信息，經常造成輿情危機事件處置工作的被動，因此，北信源輿情分析專家建議應該重視對互聯網輿情的應對，建立起“監測、響應、總結、歸檔”的輿情應對體系。

輿情服務應對大數據挑戰

在國內市場中，輿情分析類產品很多，產品水平也參差不齊。要選擇優秀的產品首先需要選擇技術背景雄厚的生產廠商。北信源經過十幾年的發展，擁有專門的數據管理部門和專業分析團隊，專業的技術人員對信息的鑒別力、萃取力、掌控力處于全國的領先水平。

對大數據的采集加工是整個輿情分析服務的基礎。掌握數據抓取能力與輿情解讀能力，通過“加工”實現數據的“增值”，是輿情分析的必備技能。北信源網情監測平臺采用多線路、加密隧道方式作為互聯網上公開信息的采集通道，通過自主研發的爬蟲系統，從網上自動獲取頁面信息。北信源輿情搜索引擎使用信息采集技術對全球范圍內的網頁進行檢索，通過中文語義特性并結合輿情結構特點而構成的元數據搜索技術，能夠提高信息采集的針對性，同時擴大采集范圍的廣度，提升輿情搜索的精準度。另外在采集的速率上，北信源網情監測平臺通過“云計算”技術在互聯網不同位置可任意部署監測工作站PC機，實現非重點網站的定時監測、重要網站及鏈接全天候監測。并根據網頁及鏈接的重要度，做到對最重要的網站數據分鐘級的采集更新。

如何對復雜大數據進行解釋是輿情服務的關鍵。數據分析的模式是否科學將直接影響數據分析的質量，決定了輿情產品的可用性。基于數據分析，能否提煉出獨到、高質量的觀點，在凌亂紛繁的數據背后找到更符合客戶要求的輿情產品和服務，并進行針對性的調整和優化，這是大數據時代輿情最大的變量。北信源輿情分析引擎，涉及的最主要的技術包括文本分類、聚類、觀點傾向性識別、主題檢測與跟蹤等計算機文本信息內容識別技術。以數據挖掘為核心技術， 應用不同的建模基礎，包括關聯規則、序列模式、頻繁序列、決策樹分類、神經元網絡、線性回歸、Logistic回歸、K-Means聚類、模糊聚類、異常檢測等多種數據挖掘算法，結合相應的數據挖掘模型可視化方法，用預測模型對輿情數據進行預測評分。

對趨勢的研判是大數據時代輿情分析的目標。如今人們能夠從浩如煙海的數據中挖掘信息、判斷趨勢、提高效益，但這遠遠不夠，信息爆炸的時代要求人們不斷增強關聯輿情信息的分析和預測能力，把服務的重點從單純的收集有效數據向對輿情的深入研判拓展。北信源輿情監測與分析平臺從情報檢索與分析技術基礎上發展起來，除了能夠跟蹤、協助解決關聯輿情，還能夠輔以經過分析后的決策參考。

輿情面臨變革

大數據時代的大輿情充分反映數據爆炸背景下的數據處理與應用需求，這是大數據時代最大的輿情變革。北信源網情監測與分析管理平臺成功地實現了針對互聯網海量輿情自動實時的監測、自動內容分析和自動報警的功能，有效地解決了傳統的以人工方式對輿情監測的實施難題，加快了網絡輿論的監管效率，有利于組織力量展開信息整理、分析、引導和應對工作，提高用戶對網絡突發輿情的公共事件應對能力，加強互聯網“大數據”分析研判。并能夠協助用戶建立起輿情監測應對體系：

快速發現：實踐表明，在互聯網輿情出現后4小時內是控制輿情的黃金時間，被稱為“黃金4小時”。

網絡輿情分析系統范文第5篇

Research of public opinion monitoring system in campus network based on

Nutch and meta search engine technology

Nie Yan

（College of Science and Technology， Ningbo University， Ningbo， Zhejiang 315202， China）

Abstract： Aiming at the insufficient public opinion monitoring work， combined with transmission characteristics of public opinion information in colleges， the whole scheme of constructing public opinion monitoring system is presented. Information retrieval technology based on Nutch searching engine is applied to campus network. Information collection technology based on Meta search engine is used on the Internet. The keywords feature library matching is used for automatic experiment monitoring and the public opinion information is found timely and accurately. In addition， the dealing methods such as monitoring， analysis， guide and feedback are discussed to form perfect coping mechanisms.

Key words： public opinion； Lucene； Nutch； meta search engine； information retrieval

0 引言

高校師生是網絡利用率極高的一個群體，也是網絡輿情的主要生成力量和影響對象。高校網絡輿情的形成原因主要有三方面：一是由于國內外相關熱點問題的觸發，二是校內外突發事件的網上討論，三是與高校師生利益密切相關事情的網上訴求。近年來，由于社會上網絡輿情導致政府信任危機的事件不斷發生，高校也逐漸重視了網絡輿情突發事件的應對機制研究。同時，隨著公安部對網絡信息安全工作的逐步加強，高校利用自身技術優勢，自主構建輿情監測系統并建立一套完善的應對機制正逐漸成為高校網絡信息安全工作的重點。因此，在新形勢下，遭遇突發事件，高校如何能以最快的速度收集網絡上相關信息，跟蹤事態發展， 及時向有關部門通報，防范網絡不良輿情的快速擴散和演化，并建立相應的響應機制，實現對網絡輿情的有效管理與控制，使健康的網絡輿情成為維護高校穩定，推動社會文明發展的動力，已經成為當前亟需解決的重要課題。

高校的網絡輿情信息主要來自兩部分，一是內部獨立的校園網絡，二是外部開放的互聯網絡。隨著高校校園信息化建設的深入發展，校園網中網站、論壇、博客等平臺上信息資源數量呈指數級增長，僅依靠人工檢索和信息審核的方式無法有效實現對網絡輿情信息的監測，急需利用技術手段實現對海量網絡信息的挖掘與分析，快速匯總成輿情信息；互聯網上信息量十分巨大，通過垂直搜索引擎方式所獲取的與高校相關的信息往往存在查全率不高的缺陷。高校網絡輿情的監測，既要考慮信息采集的深度和廣度，又要提高系統的精度與準度；同時對于發現的輿情信息，要能夠做到快速定位，有效控制。本系統針對上述高校網絡輿情監測工作的不足，并結合網絡輿情傳播特點，提出了構建高校網絡輿情監測系統的整體方案，并探討高校面對網絡輿情在監測、分析、引導和反饋等環節的處理方法，從而形成完善的應對機制。

1 系統體系結構

高校網絡輿情監測系統主要包括三個功能模塊，分別是：校園網輿情信息采集模塊、互聯網輿情信息采集模塊、網絡輿情分析與預警模塊，體系結構如圖1所示。

圖1 高校網絡輿情檢測系統體系結構

由于高校對校園網絡具有較大的控制權限，一部分信息數據可利用各種信息系統的管理平臺與數據庫的訪問權限來獲取；另一部分可利用網絡爬蟲從網頁數據中獲取，系統基于Nutch搜索引擎技術對校園網內數據進行信息采集，采集的深度與廣度都達到了較好的效果。對于互聯網上的海量網絡信息，如果采用垂直搜索引擎進行數據采集，所獲取的數據質量不高，為此系統采用元搜索引擎技術來獲取互聯網信息，既提高了信息采集的針對性又擴大了采集范圍。此外，對于某些特定的互聯網網站，可以采取以上兩種方式相結合的監測方式，同時采用網絡爬蟲與元搜索引擎技術，來提高系統的監測精度。

網絡輿情分析與預警模塊采用關鍵詞特征庫匹配方式和機器學習算法自動進行網絡輿情監測，實現對輿情信息及時準確的發現，并與短信預警等系統接口實現對接，實現輿情信息的實時發送。

2 系統主要功能模塊

2.1 Nutch搜索引擎與校園網信息檢索

Nutch是一個開源的Java實現的Web搜索引擎，其在Lucene基礎上添加了網頁數據抓取功能，提供了構建搜索引擎所需的基本工具模塊，包括網絡爬蟲、文本分析、分詞工具、建立索引、搜索功能和結果過濾等。Lucene是一個高性能、可伸縮的信息搜索庫，可為Nutch提供了文本索引和搜索的API，也可為應用程序添加索引和搜索功能，通過Lucene的數據庫接口直接從數據庫中取出數據，用API 建立索引并提供搜索接口。利用Nutch搜索引擎作為校園網輿情信息采集工具，不但可以縮短開發周期，提高開發效率，而且通過其內部的接口和插件機制可以實現對校園網數據的高質量采集。網絡爬蟲模塊用來實現對校園網內網頁文件的信息采集；Lucene接口實現與各種異構數據庫的連接；利用Nutch的插件機制，采用POI插件和PDFBox插件來實現對Word、Excel、PDF等文檔的讀取。通過上述三種方式可以實現對校園網內多種異構數據源的信息采集。

2.2 元搜索引擎與互聯網信息采集

元搜索引擎是建立在獨立搜索引擎之上的搜索引擎。元搜索引擎沒有自己的爬蟲系統和索引系統，數據全部來自于不同的成員搜索引擎（例如 Baidu， Google， Bing等），元搜索引擎將用戶的搜索請求轉發給多個成員搜索引擎，對成員搜索引擎的查詢結果進行篩選與去重操作后返回給用戶。將元搜索引擎應用于系統可有效提高互聯網范圍內輿情信息采集的廣度、精度和速度。各獨立搜索引擎查詢接口的格式和編碼并不相同，首先要將元搜索引擎中的檢索條件轉換為各獨立成員搜索引擎能夠接受的格式，并通過各自的查詢接口提交，然后對獲得的HTML源文件格式的檢索結果進行分析、處理，如百度搜索引擎返回結果中所包含的em、href標簽，通過對上述標簽信息的解析與提取，可以獲得與之相對應的鏈接地址、網頁標題以及部分說明文字，將上述信息處理為結構化數據后存放到相應的數據庫中。再通過對不同獨立成員搜索引擎所獲取的輿情信息的鏈接地址和網頁標題等信息的對比和有效性檢測來實現結果的篩選和去重，然后將最終結果提交給Nutch的文檔分析與分詞模塊，建立索引。

2.3 文檔分析與中文分詞

信息檢索的基礎是文檔分析，而文檔分析在很大程度上依賴于分詞模塊對語言的處理。文檔分析是信息采集完成后的首要任務，Nutch中的文本分析模塊能夠完成對各異構文件中結構化標記語言的處理，得到純文本文件。Nutch自帶的CJK分詞模塊在中文分詞的效率和準確度上不能滿足實際需要。為此，在對比了JE分詞、Paoding分詞和ICTCLAS分詞等多款中文分詞模塊后，Paoding分詞由于其開源性和良好的分詞效果被本系統采用，并通過Nutch的插件機制集成到系統當中。其原理是Nutch中的抽象類Analyzer類實現了配置和插入中文分詞模塊的接口，該抽象類中定義了一個公有的抽象方法tokenStream（String fieldname，Reader reader）返回的類型是TokenStream。Paoding分詞的分詞類返回類型也是TokenStream，故只需將參數fieldName和reader作為Paoding分詞的輸入參數并將其結果返回給Analyzer類即可。

2.4 信息索引與檢索

系統為校園網和互聯網內的多個異構數據源分別建立了各自的索引文件，為有效整合索引文件，并將其作為統一的索引庫提供給輿情分析與預警模塊，需要對索引文件進行優化。索引優化其實是將多個索引文件合并成單個文件的過程，目的是減少索引文件的數量，并且能在搜索時減少讀取索引文件的時間。Nutch中的IndexWrite類提供了optimize方法實現該優化操作。索引優化完成后，利用Nutch中的MultiSearcher類可實現對優化后索引的統一檢索功能，檢索結果會以一種指定的順序合并起來。針對高校網絡輿情信息的特點，綜合考慮信息相關度，時效性和訪問量等因素后，系統采用了自定義的排序機制，Lucene的文本相關度公式作為信息檢索的主要排序依據，輔助以信息時間和訪問次數作為重要的排序因子，系統通過Lucene的激勵因子boost值來改變文檔得分，從而調整文檔的出現順序。

2.5 信息預警

系統采用關鍵詞特征庫匹配與機器學習算法相結合的方式對輿情信息進行預警。在對特征庫內的關鍵詞進行組合后，對輿情信息索引庫進行檢索，獲取與之相關的信息，再通過與數據庫中歷史記錄的比對得到最新發現的輿情信息。對新發現的輿情信息通過聚類算法對信息進行分類，從而獲得輿情信息的分析結果；系統提供了良好的人機交互接口與信息展示界面，預警信息通過短信接口發送給網絡輿情監測人員，做到輿情信息的及時發現、快速預警。

3 應對機制研究

高校網絡輿情除了要依靠技術手段進行防范與監測外，還要構建合理的網絡輿情應急響應組織的架構。網絡輿情突發性強、傳播速度快，因此高校必須整合各部門資源，成立專門的網絡輿情應急響應小組，其組織結構圖如圖2所示，由校領導直接擔任組長，以黨委宣傳部為核心，校辦、學工部和網絡中心為重要組成成員，其他部門密切配合，建立起一支高效的網絡輿情應急響應隊伍。網絡輿情事件一旦發生，應立即啟動應急預案，預案應包括信息收集、分析應對、部門聯動和引導反饋四個環節。各部門由網絡輿情應急響應小組統一領導，預案中的各環節可同時啟動，要實現技術手段與思想教育工作并重，防止事態擴大，力爭快速及時的化解輿情危機。

圖2 網絡輿情應急響應小組組織結構圖