云計算、物聯(lián)網(wǎng)等新興信息技術(shù)和應(yīng)用模式的快速發(fā)展，推動人類社會邁入大數(shù)據(jù)新時代。一般意義上，大數(shù)據(jù)是指利用現(xiàn)有理論、方法、技術(shù)和工具難以在可接受的時間內(nèi)完成分析計算、整體呈現(xiàn)高價值的海量復(fù)雜數(shù)據(jù)集合。

       大數(shù)據(jù)蘊(yùn)含大信息，大信息提煉大知識，大知識將在更高的層面、以更廣的視角、在更大的范圍內(nèi)幫助用戶提高洞察力、提升決策力，為人類社會創(chuàng)造前所未有的大 價值。但與此同時，這些總量極大的價值往往隱藏在大數(shù)據(jù)中，表現(xiàn)出了價值密度極低、分布極其不規(guī)律、信息隱藏程度極深、發(fā)現(xiàn)有用價值極其困難等鮮明特性， 這些特征必然為大數(shù)據(jù)的計算帶來前所未有的挑戰(zhàn)和機(jī)遇。

       大數(shù)據(jù)的計算模式主要分為批量計算(batch computing)、流式計算(stream computing)、交互計算(interactive computing)、圖計算(graph computing)等。其中，流式計算和批量計算是兩種主要的大數(shù)據(jù)計算模式，分別適用于不同的大數(shù)據(jù)應(yīng)用場景。對于先存儲后計算，實(shí)時性要求不高，同 時數(shù)據(jù)的準(zhǔn)確性、全面性更為重要的應(yīng)用場景，批量計算更加適合；對于無需先存儲，可以直接進(jìn)行數(shù)據(jù)計算，實(shí)時性要求很嚴(yán)格，但數(shù)據(jù)的精確度往往不太苛刻的 應(yīng)用場景，流式計算具有明顯優(yōu)勢。

       流式計算中，數(shù)據(jù)往往是最近一個時間窗口內(nèi)的增量數(shù)據(jù)，因此數(shù)據(jù)時延往往較短，實(shí)時性較強(qiáng)，但數(shù)據(jù)的信息量往往相對較少，只限于一個時間窗口內(nèi)的信息，不 具有全量信息。流式計算和批量計算具有明顯的優(yōu)劣互補(bǔ)特征，在多種應(yīng)用場合下可以將兩者結(jié)合起來使用，通過發(fā)揮流式計算的實(shí)時性優(yōu)勢和批量計算的計算精度 優(yōu)勢，滿足多種應(yīng)用場景在不同階段的數(shù)據(jù)計算要求。

       通常情況下，大數(shù)據(jù)流式計算場景具有以下鮮明特征：

       在流式計算環(huán)境中，數(shù)據(jù)是以元組為單位，以連續(xù)數(shù)據(jù)流的形態(tài)，持續(xù)地到達(dá)大數(shù)據(jù)流式計算平臺。數(shù)據(jù)并不是一次全部可用，不能夠一次得到全量數(shù)據(jù)，只能在不同的時間點(diǎn)，以增量的方式，逐步得到相應(yīng)數(shù)據(jù)。

       數(shù)據(jù)源往往是多個，在進(jìn)行數(shù)據(jù)流重放的過程中，數(shù)據(jù)流中各個元組間的相對順序是不能控制的。也就是說，在數(shù)據(jù)流重放過程中，得到完全相同的數(shù)據(jù)流（相同的數(shù)據(jù)元組和相同的元組順序）是很困難的，甚至是不可能的。

       數(shù)據(jù)流的流速是高速的，且隨著時間在不斷動態(tài)變化。這種變化主要體現(xiàn)在兩個方面，一個方面是數(shù)據(jù)流流速大小在不同時間點(diǎn)的變化，這就需要系統(tǒng)可以彈性、動 態(tài)地適應(yīng)數(shù)據(jù)流的變化，實(shí)現(xiàn)系統(tǒng)中資源、能耗的高效利用；另一方面是數(shù)據(jù)流中各個元組內(nèi)容（語義）在不同時間點(diǎn)的變化，即概念漂移，這就需要處理數(shù)據(jù)流的 有向任務(wù)圖可以及時識別、動態(tài)更新和有效適應(yīng)這種語義層面上的變化。

       實(shí)時分析和處理數(shù)據(jù)流是至關(guān)重要的，在數(shù)據(jù)流中，其生命周期的時效性往往很短，數(shù)據(jù)的時間價值也更加重要。所有數(shù)據(jù)流到來后，均需要實(shí)時處理，并實(shí)時產(chǎn)生 相應(yīng)結(jié)果，進(jìn)行反饋，所有的數(shù)據(jù)元組也僅會被處理一次。雖然部分?jǐn)?shù)據(jù)可能以批量的形式被存儲下來，但也只是為了滿足后續(xù)其他場景下的應(yīng)用需求。

       數(shù)據(jù)流是無窮無盡的，只要有數(shù)據(jù)源在不斷產(chǎn)生數(shù)據(jù)，數(shù)據(jù)流就會持續(xù)不斷地到來。這也就需要流式計算系統(tǒng)永遠(yuǎn)在線運(yùn)行，時刻準(zhǔn)備接收和處理到來的數(shù)據(jù)流。在線運(yùn)行是流式計算系統(tǒng)的一個常態(tài)，一旦系統(tǒng)上線后，所有對該系統(tǒng)的調(diào)整和優(yōu)化也將在在線環(huán)境中開展和完成。

       多個不同應(yīng)用會通過各自的有向任務(wù)圖進(jìn)行表示，并將被部署在一個大數(shù)據(jù)計算平臺中，如圖1所示，這就需要整個計算平臺可以有效地為各個有向任務(wù)圖分配合理 資源，并保證滿足用戶服務(wù)級目標(biāo)。同時各個資源間需要公平地競爭資源、合理地共享資源，特別是要滿足不同時間點(diǎn)各應(yīng)用間系統(tǒng)資源的公平使用。

       在大數(shù)據(jù)時代，數(shù)據(jù)的時效性日益突出，數(shù)據(jù)的流式特征更加明顯，越來越多的應(yīng)用場景需要部署在流式計算平臺中。大數(shù)據(jù)流式計算作為大數(shù)據(jù)計算的一種形態(tài)，其重要性也在不斷提升。
 

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://m.oesoe.com/

本文標(biāo)題：剖析大數(shù)據(jù)流式計算場景特征

本文網(wǎng)址：http://m.oesoe.com/html/solutions/14019319153.html