而且這個訂閱也應(yīng)該是個性化的，容許應(yīng)用設(shè)置過濾條件，比如只訂閱某個物理量五分鐘的平均值。7.和歷史數(shù)據(jù)處理合二為一實時數(shù)據(jù)和歷史數(shù)據(jù)的處理要合二為一。實時數(shù)據(jù)在緩存里，歷史數(shù)據(jù)在持久化存儲介質(zhì)里，而且可能依據(jù)時長，保留在不同存儲介質(zhì)里。系統(tǒng)應(yīng)該隱藏背后的存儲，給用戶和應(yīng)用呈現(xiàn)的是同一個接口和界面。無論是訪問新采集的數(shù)據(jù)還是十年前的老數(shù)據(jù)，除輸入的時間參數(shù)不同之外，其余應(yīng)該是一樣的。8.數(shù)據(jù)持續(xù)穩(wěn)定寫入需要保證數(shù)據(jù)能持續(xù)穩(wěn)定寫入。對于物聯(lián)網(wǎng)系統(tǒng)，數(shù)據(jù)流量往往是平穩(wěn)的，因此數(shù)據(jù)寫入所需要的資源往往是可以估算的。但是變化的是查詢、分析，特別是即席查詢，有可能耗費很大的系統(tǒng)資源，不可控。因此系統(tǒng)必須保證分配足夠的資源以確保數(shù)據(jù)能夠?qū)懭胂到y(tǒng)而不被丟失。準(zhǔn)確的說，系統(tǒng)必須是一個寫優(yōu)先系統(tǒng)。9.數(shù)據(jù)多維度分析需要對數(shù)據(jù)支持靈活的多維度分析。對于聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)，需要進(jìn)行各種維度的統(tǒng)計分析，比如從設(shè)備所處的地域進(jìn)行分析，從設(shè)備的型號、供應(yīng)商進(jìn)行分析，從設(shè)備所使用的人員進(jìn)行分析等等。而且這些維度的分析是無法事先想好的，而是在實際運營過程中，根據(jù)業(yè)務(wù)發(fā)展的需求定下來的。從設(shè)備所處的地域進(jìn)行分析，從設(shè)備的型號、供應(yīng)商進(jìn)行分析。舟山智慧路燈物聯(lián)網(wǎng)大數(shù)據(jù)平臺軟件開發(fā)

9.數(shù)據(jù)多維度分析需要對數(shù)據(jù)支持靈活的多維度分析。對于聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)，需要進(jìn)行各種維度的統(tǒng)計分析，比如從設(shè)備所處的地域進(jìn)行分析，從設(shè)備的型號、供應(yīng)商進(jìn)行分析，從設(shè)備所使用的人員進(jìn)行分析等等。而且這些維度的分析是無法事先想好的，而是在實際運營過程中，根據(jù)業(yè)務(wù)發(fā)展的需求定下來的。因此物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)需要一個靈活的機(jī)制增加某個維度的分析。10.支持?jǐn)?shù)據(jù)計算需要支持?jǐn)?shù)據(jù)降頻、插值、特殊函數(shù)計算等操作。原始數(shù)據(jù)的采集可能頻次挺高，但具體分析時，往往不需要對原始收據(jù)進(jìn)行，而是數(shù)據(jù)降頻之后。系統(tǒng)需要提供高效的數(shù)據(jù)降頻操作。設(shè)備是很難同步的，不同設(shè)備采集數(shù)據(jù)的時間點是很難對齊的，因此分析一個特定時間點的值，往往需要插值才能解決，系統(tǒng)需要提供線性插值、設(shè)置固定值等多種插值策略才行。工業(yè)互聯(lián)網(wǎng)里，除通用的統(tǒng)計操作之外，往往還需要支持一些特殊函數(shù)，比如時間加權(quán)平均。衢州智慧城市物聯(lián)網(wǎng)大數(shù)據(jù)平臺提供商物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量巨大，*中國而言，就有5億多臺智能電表，每臺電表每隔15分鐘采集一次數(shù)據(jù)。

7.和歷史數(shù)據(jù)處理合二為一實時數(shù)據(jù)和歷史數(shù)據(jù)的處理要合二為一。實時數(shù)據(jù)在緩存里，歷史數(shù)據(jù)在持久化存儲介質(zhì)里，而且可能依據(jù)時長，保留在不同存儲介質(zhì)里。系統(tǒng)應(yīng)該隱藏背后的存儲，給用戶和應(yīng)用呈現(xiàn)的是同一個接口和界面。無論是訪問新采集的數(shù)據(jù)還是十年前的老數(shù)據(jù)，除輸入的時間參數(shù)不同之外，其余應(yīng)該是一樣的。8.數(shù)據(jù)持續(xù)穩(wěn)定寫入需要保證數(shù)據(jù)能持續(xù)穩(wěn)定寫入。對于物聯(lián)網(wǎng)系統(tǒng)，數(shù)據(jù)流量往往是平穩(wěn)的，因此數(shù)據(jù)寫入所需要的資源往往是可以估算的。但是變化的是查詢、分析，特別是即席查詢，有可能耗費很大的系統(tǒng)資源，不可控。因此系統(tǒng)必須保證分配足夠的資源以確保數(shù)據(jù)能夠?qū)懭胂到y(tǒng)而不被丟失。準(zhǔn)確的說，系統(tǒng)必須是一個寫優(yōu)先系統(tǒng)。

   數(shù)據(jù)處理：數(shù)據(jù)處理包括實時計算和離線計算兩種。TIZASTAR采用Storm作為實時處理引擎，并在它的基礎(chǔ)上包裝了自己的實時計算服務(wù)，可以支持應(yīng)用層的調(diào)度和管理?；趯崟r計算服務(wù)可以很容易實現(xiàn)對物聯(lián)網(wǎng)數(shù)據(jù)的清洗、解析、報警等實時的處理。離線計算支持MapReduce和Hive等，主要用于對物聯(lián)網(wǎng)數(shù)據(jù)做日/周/月/年等多個時間維度做報表分析和數(shù)據(jù)挖掘，并將結(jié)果輸出到關(guān)系數(shù)據(jù)庫中?！駭?shù)據(jù)交換接口：數(shù)據(jù)交換接口支持SQL、Restful、Thrift和JavaAPI等，用戶可以根據(jù)實際情況靈活選擇數(shù)據(jù)交換的方式。數(shù)據(jù)交換的內(nèi)容包括物聯(lián)網(wǎng)終端的當(dāng)前狀態(tài)、物聯(lián)網(wǎng)終端的歷史狀態(tài)/軌跡、指令下發(fā)、數(shù)據(jù)訂閱與發(fā)布等等。●平臺管理：平臺管理包括監(jiān)控報警和管理UI。監(jiān)控報警采用Ganglia和Nagios結(jié)合的形式，包括硬件級別（服務(wù)器、cpu、內(nèi)存、磁盤等）、進(jìn)程級別（進(jìn)程不存在、端口***異常等）、關(guān)鍵業(yè)務(wù)指標(biāo)（中間隊列的元素數(shù)、網(wǎng)關(guān)建立的tcp連接數(shù)等）等三個級別。管理UI包括界面化安裝部署、用戶管理、終端管理、集群管理、數(shù)據(jù)接入管理、實時和離線計算任務(wù)界面化管理。系統(tǒng)應(yīng)該隱藏背后的存儲，給用戶和應(yīng)用呈現(xiàn)的是同一個接口和界面。

數(shù)據(jù)接入服務(wù)（DIS）：數(shù)據(jù)接入服務(wù)（Data Ingestion Service）為處理或分析流數(shù)據(jù)的自定義應(yīng)用程序構(gòu)建數(shù)據(jù)流管道，主要解決云服務(wù)外的數(shù)據(jù)實時傳輸?shù)皆品?wù)內(nèi)的問題。數(shù)據(jù)接入服務(wù)每小時可從數(shù)十萬種數(shù)據(jù)源（如IoT數(shù)據(jù)采集、日志和定位追蹤事件、網(wǎng)站點擊流、社交媒體源等）中連續(xù)捕獲、傳送和存儲數(shù)TB數(shù)據(jù)。實時流計算服務(wù)（CS）：實時流計算服務(wù)（Cloud Stream Service），是運行在公有云上的實時流式大數(shù)據(jù)分析服務(wù)，全托管的方式用戶無需感知計算集群，只需聚焦于Stream SQL業(yè)務(wù)，即時執(zhí)行作業(yè)。而且這些維度的分析是無法事先想好的，而是在實際運營過程中，根據(jù)業(yè)務(wù)發(fā)展的需求定下來的。舟山物聯(lián)網(wǎng)大數(shù)據(jù)平臺綜合服務(wù)

需要支持邊云協(xié)同。要有一套靈活的機(jī)制將邊緣計算節(jié)點的數(shù)據(jù)上傳到云端。舟山智慧路燈物聯(lián)網(wǎng)大數(shù)據(jù)平臺軟件開發(fā)

趨勢二：與云計算的深度結(jié)合大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計算技術(shù)緊密結(jié)合，預(yù)計未來兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，也將一齊助力大數(shù)據(jù)**，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。趨勢三：科學(xué)理論的突破隨著大數(shù)據(jù)的快速發(fā)展，就像計算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)**。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實現(xiàn)科學(xué)技術(shù)上的突破。趨勢四：數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會催生一批與之相關(guān)的新的就業(yè)崗位。與此同時，基于數(shù)據(jù)這個基礎(chǔ)平臺，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的**一環(huán)。舟山智慧路燈物聯(lián)網(wǎng)大數(shù)據(jù)平臺軟件開發(fā)