當前全球已進入大數(shù)據(jù)時代,數(shù)據(jù)量巨大,增長速度極快,類型豐富,單元價值極小但規(guī)模價值很大。據(jù)IDC研究報告的分析和預測,2013全球數(shù)據(jù)總量為4.4ZB,在未來7年會以40%以上的速度增長,到2020年數(shù)據(jù)總量大約40ZB。從目前行業(yè)的角度可以看到大數(shù)據(jù)快速發(fā)展已經(jīng)成為各行各業(yè)關(guān)注的重要焦點。
當前全球已進入大數(shù)據(jù)時代,數(shù)據(jù)量巨大,增長速度極快,類型豐富,單元價值極小但規(guī)模價值很大。據(jù)IDC研究報告的分析和預測,2013全球數(shù)據(jù)總量為4.4ZB,在未來7年會以40%以上的速度增長,到2020年數(shù)據(jù)總量大約40ZB。從目前行業(yè)的角度可以看到大數(shù)據(jù)快速發(fā)展已經(jīng)成為各行各業(yè)關(guān)注的重要焦點。
近幾年,國家高度重視并大力促進大數(shù)據(jù)發(fā)展,具體體現(xiàn)在以下幾個標志性事件:
2014年12月,成立的大數(shù)據(jù)標準工作組,我司作為信標委成員單位參與了大數(shù)據(jù)標準的編寫;
2015年貴陽數(shù)博會;
國務院51號文;
大數(shù)據(jù)發(fā)展行動綱要的發(fā)布;
2016年初十三五規(guī)劃中的國家大數(shù)據(jù)戰(zhàn)略;
天融信大數(shù)據(jù)分析系統(tǒng)具有自主知識產(chǎn)權(quán)。系統(tǒng)提供一套完整的數(shù)據(jù)收集框架,選用成熟的大數(shù)據(jù)存儲架構(gòu),提供一套可視化的挖掘分析工具,可靈活調(diào)整分析過程,發(fā)現(xiàn)數(shù)據(jù)價值。在數(shù)據(jù)分析結(jié)果輸出提供一套可視化的展示平臺,便于管理者獲取分析結(jié)果。
大數(shù)據(jù)分析系統(tǒng)架構(gòu)由多層組成,包括數(shù)據(jù)源、數(shù)據(jù)采集層、數(shù)據(jù)存儲與計算層、數(shù)據(jù)建模與分析層、展示層。系統(tǒng)的數(shù)據(jù)來源支持網(wǎng)絡設備、安全設備、服務器、操作系統(tǒng)等。系統(tǒng)提供多種數(shù)據(jù)交換的接口,實現(xiàn)數(shù)據(jù)的快速匯入,同時對匯入的數(shù)據(jù)進行去隱私化、歸一化、過濾、歸并等進行數(shù)據(jù)的清洗。數(shù)據(jù)存儲與計算層提供分布式文件存儲系統(tǒng)、數(shù)據(jù)倉庫、分布式數(shù)據(jù)計算存儲、非關(guān)系數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫等。數(shù)據(jù)建模與分析層是整個大數(shù)據(jù)分析的核心功能層,主要實現(xiàn)可視化模型管理、分析模型庫、分析任務調(diào)度管理、分析數(shù)據(jù)匯入管理等主要功能。展示層提供人機交互的界面,提供可視化的展示。
模塊化設計思想
大數(shù)據(jù)分析系統(tǒng)整個架構(gòu)包括數(shù)據(jù)采集、存儲、分析、展示四個方面。各個模塊之間可以獨立部署也可以進行耦合組合。
海量數(shù)據(jù)處理能力
支持對PB級海量數(shù)據(jù)進行數(shù)據(jù)匯入、存儲、分析、展示,并進行數(shù)據(jù)的關(guān)聯(lián)分析,從多維度深層次挖掘關(guān)聯(lián)安全事件,從中發(fā)現(xiàn)有價值信息。平臺采用分布式處理技術(shù),其數(shù)據(jù)處理能力支持通過橫向擴展硬件服務器而增加。
采用可視化建模技術(shù)
具有可視化建模能力,平臺已經(jīng)預置了豐富的可視化建模算子,利用對算子靈活的拖拽操作,完成數(shù)據(jù)分析場景的構(gòu)建??梢暬<夹g(shù)根據(jù)實際業(yè)務需求,梳理要處理的數(shù)據(jù)以及選取處理算子,再自由組合算子,生成新模型,能為應對可變性較大數(shù)據(jù)分析業(yè)務提供極大的便利??梢暬<夹g(shù)支持模型的導入、導出,能重復利用已有的模型經(jīng)驗。平臺通過算子庫預置豐富基本算子,包括輸入算子、字段處理算子、記錄處理算子、數(shù)據(jù)集處理算子等。
采用集成化展示技術(shù)
為用戶提供綜合性且靈活可變的分析展示視圖。必須支持對儀表進行管理,支持多儀表組、支持儀表組增刪、支持儀表組中增刪儀表盤。支持多屏顯示、支持對儀表增刪拖拽移動、支持儀表數(shù)據(jù)源和展示屬性配置、支持儀表盤展示結(jié)果生成報表、支持儀表盤自動刷新。支持統(tǒng)計型圖表包括餅狀圖、環(huán)形圖、柱狀圖、橫條圖、線形圖、面積圖、熱點圖、散點圖等,支持關(guān)系型圖表包括樹形圖、力導向圖、群絡圖、視網(wǎng)膜圖等。
提供開放的情報共享機制
大數(shù)據(jù)分析系統(tǒng)庫包括:漏洞、惡意IP、惡意域名等。態(tài)勢感知系統(tǒng)通過天融信安全團隊和系統(tǒng)使用發(fā)現(xiàn)的情報數(shù)據(jù)。情報數(shù)據(jù)也支持第三方機構(gòu)的數(shù)據(jù)。所以整個態(tài)勢感知系統(tǒng)實現(xiàn)情報來源擴展和情報內(nèi)容的擴展。
網(wǎng)絡安全態(tài)勢分析
通過大數(shù)據(jù)分析平臺對客戶單位的網(wǎng)絡的安全防護體系進行梳理,收集安全數(shù)據(jù),通過多維的數(shù)據(jù)分析,統(tǒng)計各項態(tài)勢指標結(jié)果,最終呈現(xiàn)客戶單位的安全態(tài)勢。
網(wǎng)絡安全問題發(fā)現(xiàn)
通過大數(shù)據(jù)分析平臺收集客戶單位的安全問題分析有價值的數(shù)據(jù),進行數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)挖掘分析,發(fā)現(xiàn)客戶單位各種潛在的安全問題。
業(yè)務數(shù)據(jù)價值挖掘
通過大數(shù)據(jù)分析分析平臺收集客戶單位海量的業(yè)務數(shù)據(jù),根據(jù)業(yè)務數(shù)據(jù)范圍和特點建立挖掘模型,挖掘?qū)ζ髽I(yè)有決策價值的數(shù)據(jù)。