隨著云時代的來臨，大數(shù)據(jù) (BigData) 吸引了越來越多的關(guān)注，數(shù)據(jù)已成為一種資源，企業(yè)內(nèi)部的經(jīng)營交易信息、互聯(lián)網(wǎng)世界中的商品物流信息、人人交互信息、位置信息、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等產(chǎn)生的信息無時無刻不在產(chǎn)生著大量數(shù)據(jù)，其數(shù)量將遠遠超越現(xiàn)有企業(yè) IT 架構(gòu)的承載能力。中培偉業(yè)IT常青樹有關(guān)專家將在這里將重點分析傳統(tǒng)企業(yè)級分析系統(tǒng)向大數(shù)據(jù)分析系統(tǒng)演進的必然性。

傳統(tǒng)架構(gòu)的約束與困局

數(shù)據(jù)尤其是大數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來，大數(shù)據(jù)的累積效應(yīng)正給整個IT業(yè)帶來變革。特別是云概念和大數(shù)據(jù)技術(shù)的深入發(fā)展，日均GB、TB級的數(shù)據(jù)量對企業(yè)級大數(shù)據(jù)壓力與日俱增，而IDC的大規(guī)模建設(shè)更是加劇了這一趨勢。

目前，傳統(tǒng)的小型機+傳統(tǒng)盤陣+關(guān)系型數(shù)據(jù)庫的IOE架構(gòu)存在著一定的弊端，無法適應(yīng)當前企業(yè)級大數(shù)據(jù)平臺的需求，具體表現(xiàn)在：

數(shù)據(jù)源匱乏：數(shù)據(jù)主要來源于業(yè)務(wù)支撐域各系統(tǒng)、支撐服務(wù)對象較少，數(shù)據(jù)質(zhì)量不高，無法滿足對企業(yè)管理、市場營銷支持、網(wǎng)絡(luò)生產(chǎn)管理等全面支撐；

維護費用偏高：不能滿足大數(shù)據(jù)時代低成本要求、傳統(tǒng)的小型機盤陣架構(gòu)所占用的機房空間、耗電量、散熱量及每年高額的維保費用偏高，與綠色節(jié)能減排的宗旨相違背；

架構(gòu)層面不夠靈活：擴展性不足，設(shè)備性能的提升依賴于設(shè)備硬件的擴展及軟件的升級，小型機的單機擴展能力有限，當應(yīng)用資源需求超越小型機的極限時，小型機就變得無能為力。同時小型機價格比較昂貴，性價比差，多套主機共享一套存儲的集中處理模式對于系統(tǒng)的運行、I/O口讀寫速率都造成極大的負荷；

數(shù)據(jù)庫瓶頸：目前Gb和Gn等接口的部分信令數(shù)據(jù)，經(jīng)過爬蟲系統(tǒng)提取的互聯(lián)網(wǎng)URL等數(shù)據(jù)存在著大量非結(jié)構(gòu)化數(shù)據(jù)，而目前存在的數(shù)據(jù)庫多為Oracle和DB2類的關(guān)系型數(shù)據(jù)庫，非關(guān)系型數(shù)據(jù)庫技術(shù)并未被得到深化應(yīng)用。

應(yīng)用層缺乏實時性：目前上層應(yīng)用多為離線處理或準實時性，影響用戶感知，支撐服務(wù)對象較少。

由此可見，現(xiàn)有的企業(yè)級分析系統(tǒng)的發(fā)展并不能與未來企業(yè)信息化發(fā)展的腳步同步；而分析系統(tǒng)的數(shù)據(jù)特點決定其與大數(shù)據(jù)技術(shù)的結(jié)合的必要性。因此，逐步完善企業(yè)級分析系統(tǒng)，構(gòu)建數(shù)據(jù)融合的大數(shù)據(jù)平臺是今后企業(yè)大數(shù)據(jù)平臺的發(fā)展趨勢之一。

基于大數(shù)據(jù)企業(yè)級分析系統(tǒng)演進的必然性

基于大數(shù)據(jù)企業(yè)級分析系統(tǒng)是在現(xiàn)有的企業(yè)IT架構(gòu)基礎(chǔ)上進行補充完善，滿足系統(tǒng)建設(shè)的平滑過渡；包括架構(gòu)調(diào)整，數(shù)據(jù)源的擴充、整合、統(tǒng)一及平臺的對外開放等。傳統(tǒng)分析系統(tǒng)與基于大數(shù)據(jù)的分析系統(tǒng)的差異性如表一所示。

表一、分析系統(tǒng)比較

圖一是典型的基于大數(shù)據(jù)的企業(yè)級分析系統(tǒng)架構(gòu)，包括數(shù)據(jù)源、采集層、數(shù)據(jù)層、能力層和應(yīng)用層。

圖一、基于大數(shù)據(jù)的企業(yè)分析系統(tǒng)架構(gòu)

對現(xiàn)有傳統(tǒng)的IT架構(gòu)演進過程如圖二所示，主要包括如下步驟：

擴充數(shù)據(jù)源，沉淀企業(yè)數(shù)據(jù)資產(chǎn)：逐步打通B、M、O三域壁壘，構(gòu)建IT共享資源池，具體可采用大二層技術(shù)來擴展二層網(wǎng)絡(luò)，逐步將三域納入同一個大二層范圍內(nèi)，一方面有利于擴大分析系統(tǒng)數(shù)據(jù)源，另一方面更有利于同一個大二層下的云化實施，此外為用戶曾將基礎(chǔ)屬性數(shù)據(jù)，實現(xiàn)企業(yè)大數(shù)據(jù)平臺多維全量的用戶數(shù)據(jù)，包括：基礎(chǔ)屬性、位置信息、用戶喜好標簽，更便于實時精準營銷，提高用戶粘性，延長用戶生命周期。

采用云ETL替代傳統(tǒng)ETL，構(gòu)建企業(yè)級的采集平臺。ETL指針對數(shù)據(jù)源進行提取（Extract）、轉(zhuǎn)置（Transform）、加載（Load）。在分析系統(tǒng)中原有ETL智能實現(xiàn)對業(yè)務(wù)單域數(shù)據(jù)的采集處理、為實現(xiàn)對全域數(shù)據(jù)的采集，構(gòu)建企業(yè)級云ETL采集層。

圖二、分析系統(tǒng)演進過程

加大X86系統(tǒng)占比，逐步實現(xiàn)由小型機向X86服務(wù)器的遷移。根據(jù)分析系統(tǒng)定義的不同重要級別，例如可按照等級由高到低的順序?qū)?shù)據(jù)庫、采集、重要應(yīng)用、一般應(yīng)用等來逐步實施。并且，由于數(shù)據(jù)庫體量龐大，對設(shè)備要求較高且目前業(yè)界并無針對數(shù)據(jù)庫X86化的專有成熟技術(shù)，需謹慎考慮數(shù)據(jù)庫的X86 化。目前階段建議采用混搭、多架構(gòu)并存的模式：對于不同的數(shù)據(jù)類型部署不同架構(gòu)，除傳統(tǒng)基礎(chǔ)數(shù)據(jù)倉庫外，搭建適配各類數(shù)據(jù)庫的專有數(shù)據(jù)倉庫。針對關(guān)系型數(shù)據(jù)庫盡量部署MPP腳骨，以優(yōu)化架構(gòu)，針對非結(jié)構(gòu)化數(shù)據(jù)庫實施Hadoop技術(shù)。對于關(guān)系型事務(wù)處理類數(shù)據(jù)，為保持系統(tǒng)的平滑過渡，可維持原有關(guān)系型數(shù)據(jù)庫，保持原有架構(gòu)；互聯(lián)網(wǎng)信令類數(shù)據(jù)，由于隨機性加大，關(guān)聯(lián)性小，可采用非結(jié)構(gòu)化數(shù)據(jù)庫技術(shù)（如Hadoop）；分析挖掘類數(shù)據(jù)，如非實時性的歷史數(shù)據(jù)庫，需充分進行數(shù)據(jù)挖掘，關(guān)聯(lián)匯總，需調(diào)整原有架構(gòu)，可部署MPP架構(gòu)。

大數(shù)據(jù)時代已經(jīng)到來，正促進著信息技術(shù)與各行業(yè)的深度融合；針對企業(yè)級數(shù)據(jù)分析系統(tǒng)的局限性和短板，提出應(yīng)對的解決措施和今后建設(shè)思路。基于大數(shù)據(jù)技術(shù)的企業(yè)級分析系統(tǒng)的建設(shè)涉及范圍廣、影響意義深遠，并非短期可以實現(xiàn)。結(jié)合企業(yè)IT現(xiàn)狀，合理規(guī)劃、逐步演進。建企業(yè)級大數(shù)據(jù)分析系統(tǒng)，利用和深挖傳統(tǒng)IT系統(tǒng)把握機遇，迎接挑戰(zhàn)，釋放出數(shù)據(jù)的巨大能量是發(fā)展的重中之重，也無疑是大數(shù)據(jù)時代的發(fā)展任務(wù)之一。