當前，現(xiàn)代的電力系統(tǒng)的日?？煽窟\行，都*依賴于高度信息化的網(wǎng)絡通信與安全防護。如果電力網(wǎng)絡或者相關管理信息系統(tǒng)遭到破壞，就會導致電力系統(tǒng)不能正常運行，甚至導致癱瘓。近年來，入侵檢測系統(tǒng)、防火墻、防病毒軟件、網(wǎng)絡隔離、加解密軟硬件、訪問控制和vpn等網(wǎng)絡安全技術或產(chǎn)品在電力行業(yè)得到了廣泛應用，大大增強了電力企業(yè)抵御外部攻擊的能力。傳統(tǒng)的電力系統(tǒng)依靠不同的安全設備進行防御，這些設備根據(jù)網(wǎng)絡攻擊檢測情況，每天會產(chǎn)生大量的攻擊日志和流量信息。如文獻[4]中指出某電力系統(tǒng)面臨的實際安全問題：信息外網(wǎng)日均產(chǎn)生互聯(lián)網(wǎng)流量高達5.51t，日均攔截非法訪問3萬余次，查殺病毒100萬余個，阻斷網(wǎng)站攻擊18萬余次。
利用網(wǎng)絡安全流量與日志信息進行系統(tǒng)安全分析在國內(nèi)外研究中越來越普遍和受到重視。如：文獻[5]設計并開發(fā)了一套基于日志分析的電力信通網(wǎng)絡安全預警系統(tǒng)，該預警系統(tǒng)可對信息通信系統(tǒng)中不同設備的日志進行采集和統(tǒng)一管理，實現(xiàn)對信息通信系統(tǒng)的威脅檢測和安全預警。文獻[6]指出在網(wǎng)絡安全建議使用大數(shù)據(jù)的新安全日志系統(tǒng)，通過分析主要it基礎設施的網(wǎng)絡、系統(tǒng)、應用服務所產(chǎn)生的安全與數(shù)據(jù)事件之間的關系，增強安全智能。文獻[7]已經(jīng)通過對多源、異構網(wǎng)絡安全檢測日志信息進行采集、利用多種方式進行分析，從而尋找合理可信的網(wǎng)絡安全風險整體態(tài)勢感知。
1電力系統(tǒng)安全流量與日志分析處理
當前，我國現(xiàn)有的電力系統(tǒng)安全防御普遍沒有做到立體防御，更多的是線式堆砌模型，就是針對不同的安全風險，購買了大量不同的安全檢測設備或軟件，每個設備互不相同，且都產(chǎn)生各次的檢測日志和數(shù)據(jù)流信息，設備間或軟件間無法直接溝通與協(xié)同控制。
1.1流量日志數(shù)據(jù)來源日志消息，是指在特定的操作系統(tǒng)下引發(fā)系統(tǒng)，設備、軟件生成的記錄。由于電力系統(tǒng)包含多種不同安全設備，不用的數(shù)據(jù)傳輸網(wǎng)絡，根據(jù)流量日志信息來源，可以將電力系統(tǒng)日志大致分為：網(wǎng)絡設備日志、安全檢測設備日志、主機（服務器）日志、應用系統(tǒng)（數(shù)據(jù)庫）和業(yè)務系統(tǒng)日志等。根據(jù)日志信息格式大致可以分為：traf?clog，welf和syslog和二進制。其中，traf?clog是設備保存的基于流量的日志，該日志彌補了syslog中沒有流量信息的確定。welf（webtrendsenhancedlogformat）是webtrends專有的格式，很多的防火墻都支持的日志格式。syslog是在unix平臺下提出的，其格式比較簡單，主要由時間戳、日志來源和日志描述三部分構成。
1.2流量日志數(shù)據(jù)預處理日志信息預處理重在消除“數(shù)據(jù)孤島”，建立電力系統(tǒng)安全日志整體協(xié)同融合能力，并形成安全監(jiān)管、控制的全量數(shù)據(jù)資產(chǎn)。1.2.1數(shù)據(jù)清洗數(shù)據(jù)清洗是指對數(shù)據(jù)進行重新審查和校驗的過程，目的在于刪除重復信息、糾正存在的錯誤，并提供數(shù)據(jù)一致性。當前，電力系統(tǒng)的原始日志數(shù)據(jù)存在噪聲多、缺失數(shù)據(jù)嚴重、數(shù)據(jù)重復率高等缺點，且數(shù)據(jù)格式不統(tǒng)一，故需要根據(jù)需要進行原始數(shù)據(jù)清洗工作。1.2.2數(shù)據(jù)標準化電力系統(tǒng)安全日志數(shù)據(jù)格式眾多，不能簡單的采用一種數(shù)據(jù)格式進行標準化，因為單一的數(shù)據(jù)格式要么包含的屬性過多，導致數(shù)據(jù)可讀性差，難以處理；要么屬性過少，難以準確呈現(xiàn)網(wǎng)絡攻擊安全特征，降低檢測能力。因此，為了便于將多源、異構的安全設備日志標準化，首先建立安全日志的“元數(shù)據(jù)”信息，并且將元數(shù)據(jù)格式標準統(tǒng)一。
2大數(shù)據(jù)安全流量日志平臺構建
參照大數(shù)據(jù)在其他多源、異構系統(tǒng)的成功應用研究和大數(shù)據(jù)本身的技術優(yōu)勢，本文提出的基于大數(shù)據(jù)的電力系統(tǒng)安全多源流量日志分析平臺分為多源異構數(shù)據(jù)層、大數(shù)據(jù)存儲層、大數(shù)據(jù)分析挖掘層、數(shù)據(jù)展示層。2.1原始數(shù)據(jù)層該層主要完成來自原始日志信息的采集。主要包括網(wǎng)絡流量設備日志（如交換機、路由器等）、網(wǎng)絡安全設備日志（如防火墻、入侵檢測設備等）、主機設備日志（linux、windows等）、漏洞信息（網(wǎng)絡掃描nessus、x-scan等）。2.2大數(shù)據(jù)存儲層該層主要完成對原始采集的日志信息進行大數(shù)據(jù)存儲，主要通過flume、sqoop、kafka和storm結合使用方法完成。其中，數(shù)據(jù)流的實時處理，通過sqoop組件導入到hbase中存儲，利用kafka的生產(chǎn)、消費者和代理模式，使用flume作為日志收集系統(tǒng)，將收集到的數(shù)據(jù)輸送到kafka中間件，以供storm去實時消費計算。離線數(shù)據(jù)基于hdfs的海量分布式存儲體系，本平臺選用默認的64m數(shù)據(jù)塊的存儲單位，對采集的小文件進行歸并處理，滿足每個文件64m的規(guī)模大小。hbase是當前非常流行的海量分布式開源數(shù)據(jù)庫系統(tǒng)。hbase采用列式存儲。部分經(jīng)過計算分析整理后的日志或數(shù)據(jù)流數(shù)據(jù)存儲到hbase中。對于結構化的元數(shù)據(jù)信息，本平臺選用mysql數(shù)據(jù)庫進行存儲。關系型數(shù)據(jù)和非關系型數(shù)據(jù)之間的關聯(lián)導入導出操作，我們采用sqoop進行數(shù)據(jù)轉換。2.3大數(shù)據(jù)分析挖掘層為了能夠對電力系統(tǒng)安全日志數(shù)據(jù)進行基于大數(shù)據(jù)的分析和處理，選取spark+hadoop結合的方法實現(xiàn)。spark的核心組件包括rdd（resilientdistributeddatasets）、scheduler、storage、shuf?e四部分：rdd是spark核心精髓的部分，spark將所有數(shù)據(jù)都抽象成rdd。scheduler是spark的調(diào)度機制，分為dagscheduler和taskscheduler。storage模塊主要管理緩存后的rdd、shuf?e和broadcast數(shù)據(jù)。為了實現(xiàn)電力系統(tǒng)安全日志的關聯(lián)、聚類和異常等分析，本平臺選取mahout機器學習相關算法進行日志信息分類、聚類、關聯(lián)分析等操作。2.4數(shù)據(jù)展示層為了能夠直觀、快捷的將電力系統(tǒng)面臨的安全威脅展示出來，本平臺通過web形式展示。展示內(nèi)容主要包括：安全態(tài)勢感知內(nèi)容、威脅情報與資源共享、攻擊擴散關聯(lián)路徑分析、智能檢索等。展示平臺主要采用html5，javascript，css，j2ee或者nodejs，angularjs，highcharts等技術實現(xiàn)。
3實驗及分析
為了驗證基于大數(shù)據(jù)的電力系統(tǒng)安全流量與日志處理框架的有效性，本文收集了防火墻、交換機、堡壘機等設備產(chǎn)生的流量日志，如交換機syslog流量日志原始數(shù)據(jù)如表1所示，接著基于大數(shù)據(jù)平臺，完成日志分析處理，流程圖如圖1所示。實驗選取cloudera來搭建實驗環(huán)境，cloudera包括hdfs、mapreduce、hive、pig、hbase、zookeeper、sqoop等，簡化了大數(shù)據(jù)平臺的安裝、使用難度。實驗環(huán)境包括：vmware虛擬機、操作系統(tǒng)centos6.5x64、cloudermanager5.14.0、cdh5.14.0。實驗采取*分布式配置，包括1個master節(jié)點和2個slave節(jié)點。實驗選取不同大小的syslog日志，比較sql查詢與hadoop平臺的處理效率。檢測結果如表2所示。在2.68m時，mysql查詢效率高于hive的查詢效率。隨著數(shù)據(jù)量增大，hive的查詢效率要好于mysql，數(shù)據(jù)規(guī)模越大，hive查詢統(tǒng)計效率越明顯。這是因為，當數(shù)據(jù)量小時，mysql的延時低，而hive查詢是利用mapreduce算法，相對延時比較高；而當數(shù)據(jù)規(guī)模增大到10萬條以上，mysql需要逐條計算，耗時長，且容易出錯；hive采用并行計算，將大規(guī)模數(shù)據(jù)計算切分為多個小規(guī)模的分塊數(shù)據(jù)，每個分塊單獨計算，整體時間少。該實驗充分驗證了采用hadoop大數(shù)據(jù)平臺并行處理相比傳統(tǒng)串行處理有非常明顯的效率和存儲優(yōu)勢。