眾所周知,如今是大數(shù)據(jù)時(shí)代,但是要說起大數(shù)據(jù)是如何產(chǎn)生的卻是很多人不清楚的。要想知道這個(gè)問題,首先讓我了解一下數(shù)據(jù)吧。數(shù)據(jù)是通過RFID射頻數(shù)據(jù),傳感器數(shù)據(jù),社交網(wǎng)絡(luò)交互數(shù)據(jù)和移動(dòng)Internet數(shù)據(jù)獲得的各種類型的結(jié)構(gòu)化,半結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù),數(shù)據(jù)是大數(shù)據(jù)知識(shí)服務(wù)模型的基礎(chǔ)。重點(diǎn)是突破大數(shù)據(jù)收集技術(shù),例如分布式高速和高可靠性數(shù)據(jù)的爬網(wǎng)或收集以及高速數(shù)據(jù)全成像;突破性的大數(shù)據(jù)集成技術(shù),例如高速數(shù)據(jù)分析,轉(zhuǎn)換和加載;設(shè)計(jì)質(zhì)量評(píng)估模型并開發(fā)數(shù)據(jù)質(zhì)量技術(shù)。
大數(shù)據(jù)是如何產(chǎn)生的?
大數(shù)據(jù)是信息通信技術(shù)發(fā)展積累至今,按照自身技術(shù)發(fā)展邏輯,從提高生產(chǎn)效率向更高級(jí)智能階段的自然生長(zhǎng)。無處不在的信息感知和采集終端為我們采集了海量的數(shù)據(jù),而以云計(jì)算為代表的計(jì)算技術(shù)的不斷進(jìn)步,為我們提供了強(qiáng)大的計(jì)算能力。
從采用數(shù)據(jù)庫(kù)作為數(shù)據(jù)管理的主要方式開始,人類社會(huì)的數(shù)據(jù)產(chǎn)生方式大致經(jīng)歷了 3 個(gè)階段,而正是數(shù)據(jù)產(chǎn)生方式的巨大變化才最終導(dǎo)致大數(shù)據(jù)的產(chǎn)生。
1.運(yùn)營(yíng)式系統(tǒng)階段。
數(shù)據(jù)庫(kù)的出現(xiàn)使得數(shù)據(jù)管理的復(fù)雜度大大降低,在實(shí)際使用中,數(shù)據(jù)庫(kù)大多為運(yùn)營(yíng)系統(tǒng)所采用,作為運(yùn)營(yíng)系統(tǒng)的數(shù)據(jù)管理子系統(tǒng),如超市的銷售記錄系統(tǒng)、銀行的交易記錄系統(tǒng)、醫(yī)院病人的醫(yī)療記錄等。
人類社會(huì)數(shù)據(jù)量的第一次大的飛躍正是在運(yùn)營(yíng)式系統(tǒng)開始廣泛使用數(shù)據(jù)庫(kù)時(shí)開始的。這個(gè)階段的最主要特點(diǎn)是,數(shù)據(jù)的產(chǎn)生往往伴隨著一定的運(yùn)營(yíng)活動(dòng);而且數(shù)據(jù)是記錄在數(shù)據(jù)庫(kù)中的,例如,商店每售出一件產(chǎn)品就會(huì)在數(shù)據(jù)庫(kù)中產(chǎn)生一條相應(yīng)的銷售記錄。這種數(shù)據(jù)的產(chǎn)生方式是被動(dòng)的。
2.用戶原創(chuàng)內(nèi)容階段。
互聯(lián)網(wǎng)的誕生促使人類社會(huì)數(shù)據(jù)量出現(xiàn)第二次大的飛躍,但是真正的數(shù)據(jù)爆發(fā)產(chǎn)生于 Web 2.0 時(shí)代,而 Web 2.0 的最重要標(biāo)志就是用戶原創(chuàng)內(nèi)容。這類數(shù)據(jù)近幾年一直呈現(xiàn)爆炸性的增長(zhǎng)。
主要有以下兩個(gè)方面的原因。
· 是以博客、微博和微信為代表的新型社交網(wǎng)絡(luò)的岀現(xiàn)和快速發(fā)展,使得用戶產(chǎn)生數(shù)據(jù)的意愿更加強(qiáng)烈。
· 是以智能手機(jī)、平板電腦為代表的新型移動(dòng)設(shè)備的出現(xiàn),這些易攜帶、全天候接入網(wǎng)絡(luò)的移動(dòng)設(shè)備使得人們?cè)诰W(wǎng)上發(fā)表自己意見的途徑更為便捷。這個(gè)階段的數(shù)據(jù)產(chǎn)生方式是主動(dòng)的。
3.感知式系統(tǒng)階段。
人類社會(huì)數(shù)據(jù)量第三次大的飛躍最終導(dǎo)致了大數(shù)據(jù)的產(chǎn)生,今天我們正處于這個(gè)階段。這次飛躍的根本原因在于感知式系統(tǒng)的廣泛使用。
隨著技術(shù)的發(fā)展,人們已經(jīng)有能力制造極其微小的帶有處理功能的傳感器,并開始將這些設(shè)備廣泛地布置于社會(huì)的各個(gè)角落,通過這些設(shè)備來對(duì)整個(gè)社會(huì)的運(yùn)轉(zhuǎn)進(jìn)行監(jiān)控。這些設(shè)備會(huì)源源不斷地產(chǎn)生新數(shù)據(jù),這種數(shù)據(jù)的產(chǎn)生方式是自動(dòng)的。
簡(jiǎn)單來說,數(shù)據(jù)產(chǎn)生經(jīng)歷了被動(dòng)、主動(dòng)和自動(dòng)三個(gè)階段。這些被動(dòng)、主動(dòng)和自動(dòng)的數(shù)據(jù)共同構(gòu)成了大數(shù)據(jù)的數(shù)據(jù)來源,但其中自動(dòng)式的數(shù)據(jù)才是大數(shù)據(jù)產(chǎn)生的最根本原因。
上述三個(gè)階段就是大數(shù)據(jù)的產(chǎn)生過程,通過上述閱讀,相信大家已經(jīng)知道大數(shù)據(jù)是如何產(chǎn)生的了吧,想了解更多關(guān)于大數(shù)據(jù)的信息,請(qǐng)就繼續(xù)關(guān)注中培偉業(yè)。