數(shù)據(jù)處理:數(shù)據(jù)處理包括實(shí)時(shí)計(jì)算和離線計(jì)算兩種。TIZASTAR采用Storm作為實(shí)時(shí)處理引擎,并在它的基礎(chǔ)上包裝了自己的實(shí)時(shí)計(jì)算服務(wù),可以支持應(yīng)用層的調(diào)度和管理?;趯?shí)時(shí)計(jì)算服務(wù)可以很容易實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的清洗、解析、報(bào)警等實(shí)時(shí)的處理。離線計(jì)算支持MapReduce和Hive等,主要用于對(duì)物聯(lián)網(wǎng)數(shù)據(jù)做日/周/月/年等多個(gè)時(shí)間維度做報(bào)表分析和數(shù)據(jù)挖掘,并將結(jié)果輸出到關(guān)系數(shù)據(jù)庫(kù)中?!駭?shù)據(jù)交換接口:數(shù)據(jù)交換接口支持SQL、Restful、Thrift和JavaAPI等,用戶可以根據(jù)實(shí)際情況靈活選擇數(shù)據(jù)交換的方式。數(shù)據(jù)交換的內(nèi)容包括物聯(lián)網(wǎng)終端的當(dāng)前狀態(tài)、物聯(lián)網(wǎng)終端的歷史狀態(tài)/軌跡、指令下發(fā)、數(shù)據(jù)訂閱與發(fā)布等等?!衿脚_(tái)管理:平臺(tái)管理包括監(jiān)控報(bào)警和管理UI。監(jiān)控報(bào)警采用Ganglia和Nagios結(jié)合的形式,包括硬件級(jí)別(服務(wù)器、cpu、內(nèi)存、磁盤(pán)等)、進(jìn)程級(jí)別(進(jìn)程不存在、端口***異常等)、關(guān)鍵業(yè)務(wù)指標(biāo)(中間隊(duì)列的元素?cái)?shù)、網(wǎng)關(guān)建立的tcp連接數(shù)等)等三個(gè)級(jí)別。管理UI包括界面化安裝部署、用戶管理、終端管理、集群管理、數(shù)據(jù)接入管理、實(shí)時(shí)和離線計(jì)算任務(wù)界面化管理。 原始數(shù)據(jù)的采集可能頻次挺高,但具體分析時(shí),往往不需要對(duì)原始收據(jù)進(jìn)行,而是數(shù)據(jù)降頻之后。上海綜合能源物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)研發(fā)
實(shí)時(shí)數(shù)據(jù)有些數(shù)據(jù)的實(shí)時(shí)性很強(qiáng),如果沒(méi)有及時(shí)分析處理就會(huì)失去價(jià)值,甚至可能造成損失,我們稱之為實(shí)時(shí)數(shù)據(jù)。典型的實(shí)時(shí)數(shù)據(jù)包括設(shè)備位置信息、設(shè)備實(shí)時(shí)狀態(tài)等,應(yīng)用于實(shí)時(shí)監(jiān)控、實(shí)時(shí)告警等場(chǎng)景,例如,車(chē)輛實(shí)時(shí)上報(bào)位置數(shù)據(jù),實(shí)時(shí)分析后呈現(xiàn)到交通監(jiān)控中心的大屏上,交通**根據(jù)實(shí)時(shí)數(shù)據(jù)下達(dá)各種交通控制決策,如紅綠燈時(shí)間調(diào)整等。為了實(shí)現(xiàn)高實(shí)時(shí)性,我們可以采用實(shí)時(shí)流分析方案,從物聯(lián)網(wǎng)平臺(tái)對(duì)外的數(shù)據(jù)通道中實(shí)時(shí)提取流動(dòng)數(shù)據(jù),分析和處理之后再輸出至數(shù)據(jù)通道繼續(xù)流轉(zhuǎn),保證呈現(xiàn)的數(shù)據(jù)永遠(yuǎn)是**“新鮮”的。時(shí)序數(shù)據(jù)有些數(shù)據(jù)實(shí)時(shí)性沒(méi)那么強(qiáng),但是和時(shí)間順序強(qiáng)相關(guān),分析后的數(shù)據(jù)需要分類(lèi)后按時(shí)序儲(chǔ)存,并提供按時(shí)序?yàn)g覽、查詢數(shù)據(jù)的能力,我們稱之為時(shí)序數(shù)據(jù)。典型的時(shí)序數(shù)據(jù)包括設(shè)備移動(dòng)軌跡、**價(jià)格曲線等,應(yīng)用于行為分析、趨勢(shì)預(yù)測(cè)等場(chǎng)景,例如,基于物聯(lián)網(wǎng)的公路監(jiān)控系統(tǒng)保存了近期所有車(chē)輛的行駛軌跡,警方可隨時(shí)從中提取指定嫌疑人車(chē)輛的形式的軌跡,推測(cè)出嫌疑人的目的地,從而進(jìn)行包抄逮捕。時(shí)序數(shù)據(jù)的分析一般依賴于時(shí)序數(shù)據(jù)庫(kù),數(shù)據(jù)保存至?xí)r序數(shù)據(jù)庫(kù)進(jìn)行分類(lèi)與排序,再由其他應(yīng)用或服務(wù)從數(shù)據(jù)庫(kù)中獲取進(jìn)行進(jìn)一步處理。 南通物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)哪個(gè)好用比如智能電表,如果系統(tǒng)出問(wèn)題,直接導(dǎo)致的是千家萬(wàn)戶無(wú)法正常用電。
在物聯(lián)網(wǎng)時(shí)代,數(shù)量龐大的“物”會(huì)產(chǎn)生PB級(jí)的海量數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)處理服務(wù)的處理速度已無(wú)法跟上數(shù)據(jù)產(chǎn)生的速度。如果沒(méi)法及時(shí)分析與利用這龐大的物聯(lián)網(wǎng)設(shè)備數(shù)據(jù),就無(wú)法將數(shù)據(jù)的價(jià)值比較大化,大數(shù)據(jù)分析能力的建設(shè)對(duì)物聯(lián)網(wǎng)企業(yè)來(lái)說(shuō)又成為了一個(gè)新的挑戰(zhàn)。針對(duì)這種情況,大數(shù)據(jù)處理服務(wù)應(yīng)運(yùn)而生。服務(wù)提供商提供大數(shù)據(jù)處理平臺(tái),為企業(yè)消除了大數(shù)據(jù)處理的效率問(wèn)題和可靠性問(wèn)題,讓企業(yè)能夠?qū)W⒂谖锫?lián)網(wǎng)數(shù)據(jù)的分析與利用。時(shí)序數(shù)據(jù)有些數(shù)據(jù)實(shí)時(shí)性沒(méi)那么強(qiáng),但是和時(shí)間順序強(qiáng)相關(guān),分析后的數(shù)據(jù)需要分類(lèi)后按時(shí)序儲(chǔ)存,并提供按時(shí)序?yàn)g覽、查詢數(shù)據(jù)的能力,我們稱之為時(shí)序數(shù)據(jù)。典型的時(shí)序數(shù)據(jù)包括設(shè)備移動(dòng)軌跡、**價(jià)格曲線等,應(yīng)用于行為分析、趨勢(shì)預(yù)測(cè)等場(chǎng)景,例如,基于物聯(lián)網(wǎng)的公路監(jiān)控系統(tǒng)保存了近期所有車(chē)輛的行駛軌跡,警方可隨時(shí)從中提取指定嫌疑人車(chē)輛的形式的軌跡,推測(cè)出嫌疑人的目的地,從而進(jìn)行包抄逮捕。時(shí)序數(shù)據(jù)的分析一般依賴于時(shí)序數(shù)據(jù)庫(kù),數(shù)據(jù)保存至?xí)r序數(shù)據(jù)庫(kù)進(jìn)行分類(lèi)與排序,再由其他應(yīng)用或服務(wù)從數(shù)據(jù)庫(kù)中獲取進(jìn)行進(jìn)一步處理。
13.開(kāi)放的系統(tǒng)必須是開(kāi)放的。系統(tǒng)需要支持業(yè)界流行的標(biāo)準(zhǔn)SQL,提供各種語(yǔ)言開(kāi)發(fā)接口,包括C/C++,Java,Go,Python,RESTful等等,也需要支持Spark,R,Matlab等等,方便集成各種機(jī)器學(xué)習(xí)、人工智能算法或其他應(yīng)用,讓大數(shù)據(jù)處理平臺(tái)能夠不斷擴(kuò)展,而不是成為一個(gè)孤島。14.支持異構(gòu)環(huán)境系統(tǒng)必須支持異構(gòu)環(huán)境。大數(shù)據(jù)平臺(tái)的搭建是一個(gè)長(zhǎng)期的工作,每個(gè)批次采購(gòu)的服務(wù)器和存儲(chǔ)設(shè)備都會(huì)不一樣,系統(tǒng)必須支持各種檔次、各種不同配置的服務(wù)器和存儲(chǔ)設(shè)備并存。15.支持邊云協(xié)同需要支持邊云協(xié)同。要有一套靈活的機(jī)制將邊緣計(jì)算節(jié)點(diǎn)的數(shù)據(jù)上傳到云端,根據(jù)具體需要,可以將原始數(shù)據(jù),或加工計(jì)算后的數(shù)據(jù),或**符合過(guò)濾條件的數(shù)據(jù)同步到云端,而且隨時(shí)可以取消,更改策略。 便于私有化部署。因?yàn)楹芏嗥髽I(yè)出于安全以及各種因素的考慮,希望采用私有化部署。
高效分布式必須是高效的分布式系統(tǒng)。物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量巨大,*中國(guó)而言,就有5億多臺(tái)智能電表,每臺(tái)電表每隔15分鐘采集一次數(shù)據(jù),***全國(guó)智能電表就會(huì)產(chǎn)生500多億條記錄。這么大的數(shù)據(jù)量,任何一臺(tái)服務(wù)器都無(wú)能力處理,因此處理系統(tǒng)必須是分布式的,水平擴(kuò)展的。為降低成本,一個(gè)節(jié)點(diǎn)的處理性能必須是高效的,需要支持?jǐn)?shù)據(jù)的快速寫(xiě)入和快速查詢。2.實(shí)時(shí)處理必須是實(shí)時(shí)處理的系統(tǒng)?;ヂ?lián)網(wǎng)大數(shù)據(jù)處理,大家所熟悉的場(chǎng)景是用戶畫(huà)像、推薦系統(tǒng)、輿情分析等等,這些場(chǎng)景并不需要什么實(shí)時(shí)性,批處理即可。但是對(duì)于物聯(lián)網(wǎng)場(chǎng)景,需要基于采集的數(shù)據(jù)做實(shí)時(shí)預(yù)警、決策,延時(shí)要控制在秒級(jí)以內(nèi)。如果計(jì)算沒(méi)有實(shí)時(shí)性,物聯(lián)網(wǎng)的商業(yè)價(jià)值就大打折扣。 需要通過(guò)將一個(gè)或多個(gè)設(shè)備產(chǎn)生的數(shù)據(jù)流進(jìn)行實(shí)時(shí)聚合計(jì)算。深圳設(shè)備物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)開(kāi)發(fā)
系統(tǒng)需要提供一高效機(jī)制,讓用戶可以獲取全部、或符合過(guò)濾條件的部分設(shè)備的***狀態(tài)。上海綜合能源物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)研發(fā)
13.必須是開(kāi)放的。系統(tǒng)需要支持業(yè)界流行的標(biāo)準(zhǔn)SQL,提供各種語(yǔ)言開(kāi)發(fā)接口,包括C/C++,Java,Go,Python,RESTful等等,也需要支持Spark,R,Matlab等等,方便集成各種機(jī)器學(xué)習(xí)、人工智能算法或其他應(yīng)用,讓大數(shù)據(jù)處理平臺(tái)能夠不斷擴(kuò)展,而不是成為一個(gè)孤島。14.系統(tǒng)必須支持異構(gòu)環(huán)境。大數(shù)據(jù)平臺(tái)的搭建是一個(gè)長(zhǎng)期的工作,每個(gè)批次采購(gòu)的服務(wù)器和存儲(chǔ)設(shè)備都會(huì)不一樣,系統(tǒng)必須支持各種檔次、各種不同配置的服務(wù)器和存儲(chǔ)設(shè)備并存。15.需要支持邊云協(xié)同。要有一套靈活的機(jī)制將邊緣計(jì)算節(jié)點(diǎn)的數(shù)據(jù)上傳到云端,根據(jù)具體需要,可以將原始數(shù)據(jù),或加工計(jì)算后的數(shù)據(jù),或**符合過(guò)濾條件的數(shù)據(jù)同步到云端,而且隨時(shí)可以取消,更改策略。 上海綜合能源物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)研發(fā)
上海奧暢智能科技有限公司屬于數(shù)碼、電腦的高新企業(yè),技術(shù)力量雄厚。奧暢科技是一家私營(yíng)合伙企業(yè)企業(yè),一直“以人為本,服務(wù)于社會(huì)”的經(jīng)營(yíng)理念;“誠(chéng)守信譽(yù),持續(xù)發(fā)展”的質(zhì)量方針。公司始終堅(jiān)持客戶需求優(yōu)先的原則,致力于提供高質(zhì)量的人臉識(shí)別,物聯(lián)網(wǎng),現(xiàn)實(shí)增強(qiáng),機(jī)器人。奧暢科技順應(yīng)時(shí)代發(fā)展和市場(chǎng)需求,通過(guò)**技術(shù),力圖保證高規(guī)格高質(zhì)量的人臉識(shí)別,物聯(lián)網(wǎng),現(xiàn)實(shí)增強(qiáng),機(jī)器人。