隨著大數(shù)據(jù)重要性的日益提高，數(shù)據(jù)處理的挑戰(zhàn)變得尤為突出。其中，數(shù)據(jù)處理對于所有數(shù)據(jù)系統(tǒng)都是必不可少的。在數(shù)據(jù)處理系統(tǒng)中，數(shù)據(jù)源是多種多樣的，并且數(shù)據(jù)量很大。如何確保數(shù)據(jù)處理的可靠性和如何避免重復(fù)數(shù)據(jù)，以及如何確保數(shù)據(jù)質(zhì)量，這就需要數(shù)據(jù)處理系統(tǒng)需要一定的技術(shù)。那么大數(shù)據(jù)處理系統(tǒng)需要攻克的技術(shù)點(diǎn)有哪些？

現(xiàn)有的大數(shù)據(jù)處理系統(tǒng)可以分為兩類：批處理大數(shù)據(jù)系統(tǒng)與流處理大數(shù)據(jù)系統(tǒng)。以Hadoop為代表的批處理大數(shù)據(jù)系統(tǒng)需先將數(shù)據(jù)匯聚成批，經(jīng)批量預(yù)處理后加載至分析型數(shù)據(jù)倉庫中，以進(jìn)行高性能實(shí)時(shí)查詢。這類系統(tǒng)雖然可對完整大數(shù)據(jù)集實(shí)現(xiàn)高效的即席查詢，但無法查詢到最新的實(shí)時(shí)數(shù)據(jù)，存在數(shù)據(jù)遲滯高等問題。

相較于批處理大數(shù)據(jù)系統(tǒng)，以Spark Streaming、Storm、Flink為代表的流處理大數(shù)據(jù)系統(tǒng)將實(shí)時(shí)數(shù)據(jù)通過流處理，逐條加載至高性能內(nèi)存數(shù)據(jù)庫中進(jìn)行查詢。此類系統(tǒng)可以對最新實(shí)時(shí)數(shù)據(jù)實(shí)現(xiàn)高效預(yù)設(shè)分析處理模型的查詢，數(shù)據(jù)遲滯低。然而受限于內(nèi)存容量，系統(tǒng)需丟棄原始?xì)v史數(shù)據(jù)，無法在完整大數(shù)據(jù)集上支持Ad-Hoc查詢分析處理。因此，研發(fā)具有快速、高效、智能且自主可控特點(diǎn)的流式大數(shù)據(jù)實(shí)時(shí)處理技術(shù)與平臺是當(dāng)務(wù)之急。

　　大數(shù)據(jù)處理系統(tǒng)需要攻克的技術(shù)點(diǎn)有哪些？

實(shí)現(xiàn)一個(gè)融合批處理和流處理兩類系統(tǒng)且對應(yīng)用透明的系統(tǒng)級方案，需要攻克以下幾個(gè)技術(shù)難點(diǎn)。

　　1.復(fù)雜指標(biāo)的增量計(jì)算

盡管計(jì)數(shù)、求和、平均等指標(biāo)能夠依靠查詢結(jié)果合并實(shí)現(xiàn)，然而方差、標(biāo)準(zhǔn)差、熵等大部分復(fù)雜指標(biāo)無法依靠簡單合并完成查詢結(jié)果的融合。再者，當(dāng)查詢涉及熱點(diǎn)數(shù)據(jù)維度及長周期時(shí)間窗口的復(fù)雜指標(biāo)時(shí)，多次重新計(jì)算會帶來巨大的計(jì)算開銷。

　　2.基于分布式內(nèi)存的并行計(jì)算

采用粗放的調(diào)度策略會造成內(nèi)存資源的極大浪費(fèi)，亟須研究實(shí)現(xiàn)一種細(xì)粒度的基于進(jìn)度實(shí)時(shí)感知的融合存儲策略，以極大地優(yōu)化和提升融合系統(tǒng)的內(nèi)存使用效率。

　　3.多尺度時(shí)間窗口漂移的動(dòng)態(tài)數(shù)據(jù)處理

來自業(yè)務(wù)系統(tǒng)的數(shù)據(jù)查詢請求會涉及多種尺度的時(shí)間窗口，如“最近5筆刷卡交易的金額”“最近10 min內(nèi)密碼重試次數(shù)”“過去10年的月均交易額”等。每次查詢請求都重新計(jì)算結(jié)果會對系統(tǒng)性能造成極大的影響，亟須研究實(shí)現(xiàn)一種支持多種時(shí)間窗口尺度、多種窗口漂移方式的動(dòng)態(tài)數(shù)據(jù)實(shí)時(shí)處理方法，以快速響應(yīng)來自業(yè)務(wù)系統(tǒng)的即席查詢請求。

　　4.高可用、高可擴(kuò)展的內(nèi)存計(jì)算

基于內(nèi)存介質(zhì)能夠大大提升數(shù)據(jù)分析及處理能力，然而由于其易揮發(fā)的特性，一般需要采用多副本的方式來實(shí)現(xiàn)基于內(nèi)存的高可用方案，這使得“如何確保不同副本的一致性”成為一個(gè)待解決的問題。此外，在集群內(nèi)存不足或者部分節(jié)點(diǎn)失效時(shí)，“如何讓集群在不間斷提供服務(wù)的同時(shí)重新平衡”同樣是一個(gè)待解決的技術(shù)難題。亟須研究分布式多副本一致性協(xié)議以及自平衡的智能分區(qū)算法，以進(jìn)一步提升流處理集群的可用性以及可擴(kuò)展性。

“流立方”流式大數(shù)據(jù)實(shí)時(shí)處理技術(shù)在上述領(lǐng)域取得了一系列突破，該技術(shù)提供基于時(shí)間窗口漂移的動(dòng)態(tài)數(shù)據(jù)快速處理，支持計(jì)數(shù)、求和、平均、最大、最小、方差、標(biāo)準(zhǔn)差、K階中心矩、遞增/遞減、最大連續(xù)遞增/遞減、唯一性判別、采集、過濾等多種分布式統(tǒng)計(jì)計(jì)算模型，并且實(shí)現(xiàn)了復(fù)雜事件、上下文處理等實(shí)時(shí)分析處理模型集的高效管理技術(shù)。

上述就是關(guān)于大數(shù)據(jù)處理系統(tǒng)需要攻克的技術(shù)點(diǎn)有哪些的全部內(nèi)容介紹，想了解更多關(guān)于大數(shù)據(jù)的信息，請繼續(xù)關(guān)注中培偉業(yè)。