在DWS中創(chuàng)建一個(gè)集群并完成基本配置。創(chuàng)建兩條DIS通道,我們分別稱之為輸入通道和輸出通道,然后為輸出通道創(chuàng)建一個(gè)轉(zhuǎn)儲(chǔ)任務(wù),將數(shù)據(jù)轉(zhuǎn)儲(chǔ)至DWS的集群。轉(zhuǎn)儲(chǔ)時(shí)會(huì)使用OBS桶臨時(shí)存儲(chǔ)轉(zhuǎn)儲(chǔ)數(shù)據(jù),若沒(méi)有OBS桶請(qǐng)創(chuàng)建一個(gè)。在設(shè)備接入服務(wù)中創(chuàng)建一條規(guī)則,將設(shè)備上報(bào)數(shù)據(jù)轉(zhuǎn)發(fā)至DIS的輸入通道。在CS中創(chuàng)建一個(gè)作業(yè),實(shí)現(xiàn)從DIS輸入通道中獲取數(shù)據(jù),分析處理后輸出至DIS輸出通道的功能。在DLV中創(chuàng)建數(shù)據(jù)連接從DWS中獲取數(shù)據(jù),再創(chuàng)建數(shù)據(jù)大屏將數(shù)據(jù)可視化展示。將上報(bào)數(shù)據(jù)的設(shè)備接入物聯(lián)網(wǎng)平臺(tái)(設(shè)備接入服務(wù)),并控制其上報(bào)數(shù)據(jù)。詳細(xì)操作指導(dǎo)請(qǐng)參考各個(gè)服務(wù)的幫助文檔,本文不再贅述。--------離線分析方案--------。 需要支持邊云協(xié)同。要有一套靈活的機(jī)制將邊緣計(jì)算節(jié)點(diǎn)的數(shù)據(jù)上傳到云端。麗水消防物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)產(chǎn)品介紹
7.和歷史數(shù)據(jù)處理合二為一實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)的處理要合二為一。實(shí)時(shí)數(shù)據(jù)在緩存里,歷史數(shù)據(jù)在持久化存儲(chǔ)介質(zhì)里,而且可能依據(jù)時(shí)長(zhǎng),保留在不同存儲(chǔ)介質(zhì)里。系統(tǒng)應(yīng)該隱藏背后的存儲(chǔ),給用戶和應(yīng)用呈現(xiàn)的是同一個(gè)接口和界面。無(wú)論是訪問(wèn)新采集的數(shù)據(jù)還是十年前的老數(shù)據(jù),除輸入的時(shí)間參數(shù)不同之外,其余應(yīng)該是一樣的。8.數(shù)據(jù)持續(xù)穩(wěn)定寫入需要保證數(shù)據(jù)能持續(xù)穩(wěn)定寫入。對(duì)于物聯(lián)網(wǎng)系統(tǒng),數(shù)據(jù)流量往往是平穩(wěn)的,因此數(shù)據(jù)寫入所需要的資源往往是可以估算的。但是變化的是查詢、分析,特別是即席查詢,有可能耗費(fèi)很大的系統(tǒng)資源,不可控。因此系統(tǒng)必須保證分配足夠的資源以確保數(shù)據(jù)能夠?qū)懭胂到y(tǒng)而不被丟失。準(zhǔn)確的說(shuō),系統(tǒng)必須是一個(gè)寫優(yōu)先系統(tǒng)。9.數(shù)據(jù)多維度分析需要對(duì)數(shù)據(jù)支持靈活的多維度分析。對(duì)于聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù),需要進(jìn)行各種維度的統(tǒng)計(jì)分析,比如從設(shè)備所處的地域進(jìn)行分析,從設(shè)備的型號(hào)、供應(yīng)商進(jìn)行分析,從設(shè)備所使用的人員進(jìn)行分析等等。而且這些維度的分析是無(wú)法事先想好的,而是在實(shí)際運(yùn)營(yíng)過(guò)程中,根據(jù)業(yè)務(wù)發(fā)展的需求定下來(lái)的。因此物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)需要一個(gè)靈活的機(jī)制增加某個(gè)維度的分析。 杭州現(xiàn)代化物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)解決方案工業(yè)互聯(lián)網(wǎng)里,除通用的統(tǒng)計(jì)操作之外,往往還需要支持一些特殊函數(shù),比如時(shí)間加權(quán)平均。
而且這個(gè)訂閱也應(yīng)該是個(gè)性化的,容許應(yīng)用設(shè)置過(guò)濾條件,比如只訂閱某個(gè)物理量五分鐘的平均值。7.和歷史數(shù)據(jù)處理合二為一實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)的處理要合二為一。實(shí)時(shí)數(shù)據(jù)在緩存里,歷史數(shù)據(jù)在持久化存儲(chǔ)介質(zhì)里,而且可能依據(jù)時(shí)長(zhǎng),保留在不同存儲(chǔ)介質(zhì)里。系統(tǒng)應(yīng)該隱藏背后的存儲(chǔ),給用戶和應(yīng)用呈現(xiàn)的是同一個(gè)接口和界面。無(wú)論是訪問(wèn)新采集的數(shù)據(jù)還是十年前的老數(shù)據(jù),除輸入的時(shí)間參數(shù)不同之外,其余應(yīng)該是一樣的。8.數(shù)據(jù)持續(xù)穩(wěn)定寫入需要保證數(shù)據(jù)能持續(xù)穩(wěn)定寫入。對(duì)于物聯(lián)網(wǎng)系統(tǒng),數(shù)據(jù)流量往往是平穩(wěn)的,因此數(shù)據(jù)寫入所需要的資源往往是可以估算的。但是變化的是查詢、分析,特別是即席查詢,有可能耗費(fèi)很大的系統(tǒng)資源,不可控。因此系統(tǒng)必須保證分配足夠的資源以確保數(shù)據(jù)能夠?qū)懭胂到y(tǒng)而不被丟失。準(zhǔn)確的說(shuō),系統(tǒng)必須是一個(gè)寫優(yōu)先系統(tǒng)。9.數(shù)據(jù)多維度分析需要對(duì)數(shù)據(jù)支持靈活的多維度分析。對(duì)于聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù),需要進(jìn)行各種維度的統(tǒng)計(jì)分析,比如從設(shè)備所處的地域進(jìn)行分析,從設(shè)備的型號(hào)、供應(yīng)商進(jìn)行分析,從設(shè)備所使用的人員進(jìn)行分析等等。而且這些維度的分析是無(wú)法事先想好的,而是在實(shí)際運(yùn)營(yíng)過(guò)程中,根據(jù)業(yè)務(wù)發(fā)展的需求定下來(lái)的。
因此物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)需要一個(gè)靈活的機(jī)制增加某個(gè)維度的分析。10.支持?jǐn)?shù)據(jù)計(jì)算需要支持?jǐn)?shù)據(jù)降頻、插值、特殊函數(shù)計(jì)算等操作。原始數(shù)據(jù)的采集可能頻次挺高,但具體分析時(shí),往往不需要對(duì)原始收據(jù)進(jìn)行,而是數(shù)據(jù)降頻之后。系統(tǒng)需要提供高效的數(shù)據(jù)降頻操作。設(shè)備是很難同步的,不同設(shè)備采集數(shù)據(jù)的時(shí)間點(diǎn)是很難對(duì)齊的,因此分析一個(gè)特定時(shí)間點(diǎn)的值,往往需要插值才能解決,系統(tǒng)需要提供線性插值、設(shè)置固定值等多種插值策略才行。工業(yè)互聯(lián)網(wǎng)里,除通用的統(tǒng)計(jì)操作之外,往往還需要支持一些特殊函數(shù),比如時(shí)間加權(quán)平均。11.即席分析和查詢需要支持即席分析和查詢。為提高大數(shù)據(jù)分析師的工作效率,系統(tǒng)應(yīng)該提供一命令行工具或容許用戶通過(guò)其他工具,執(zhí)行SQL查詢,而不是非要通過(guò)編程接口。查詢分析的結(jié)果可以很方便的導(dǎo)出,再制作成各種圖標(biāo)。12.靈活數(shù)據(jù)管理策略需要提供靈活的數(shù)據(jù)管理策略。一個(gè)大的系統(tǒng),采集的數(shù)據(jù)種類繁多,而且除采集的原始數(shù)據(jù)外,還有大量的衍生數(shù)據(jù)。這些數(shù)據(jù)各自有不同的特點(diǎn),有的采集頻次高,有的要求保留時(shí)間長(zhǎng),有的需要多個(gè)副本以保證更高的安全性,有的需要能快速訪問(wèn)。因此物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)必須提供多種策略,讓用戶可以根據(jù)特點(diǎn)進(jìn)行選擇和配置。對(duì)于物聯(lián)網(wǎng)場(chǎng)景,需要基于采集的數(shù)據(jù)做實(shí)時(shí)預(yù)警、決策,延時(shí)要控制在秒級(jí)以內(nèi)。
離線數(shù)據(jù)
還有一些數(shù)據(jù),對(duì)于實(shí)時(shí)性和有序性的要求都沒(méi)那么強(qiáng),分析時(shí)數(shù)據(jù)已經(jīng)固化,我們稱之為離線數(shù)據(jù)。典型的離線數(shù)據(jù)包括產(chǎn)品銷量數(shù)據(jù)、景點(diǎn)游客數(shù)據(jù)等,應(yīng)用于統(tǒng)計(jì)分析,總結(jié)盤點(diǎn)等場(chǎng)景,例如,物聯(lián)網(wǎng)平臺(tái)將自動(dòng)售貨機(jī)上報(bào)的**匯總后保存,然后定期使用大數(shù)據(jù)分析平臺(tái)分析**,以報(bào)表形式呈現(xiàn)給廠家,協(xié)助廠家進(jìn)行銷售策略的調(diào)整。離線分析的挑戰(zhàn)主要在于龐大的數(shù)據(jù)量,一般會(huì)采用分布式處理的方案來(lái)提升海量數(shù)據(jù)分析的效率。
設(shè)備接入服務(wù):設(shè)備接入是華為OceanConnect物聯(lián)網(wǎng)平臺(tái)對(duì)海量設(shè)備進(jìn)行聯(lián)接、數(shù)據(jù)采集/轉(zhuǎn)發(fā)、遠(yuǎn)程控制的云服務(wù)??蓪?shí)現(xiàn)海量設(shè)備與云端之間雙向通信連接、設(shè)備數(shù)據(jù)采集上云,支持上層應(yīng)用通過(guò)調(diào)用API遠(yuǎn)程控制設(shè)備,還提供了與華為云其他云服務(wù)無(wú)縫對(duì)接的規(guī)則引擎,可應(yīng)用于各種物聯(lián)網(wǎng)場(chǎng)景。設(shè)備接入服務(wù)還可以搭配設(shè)備管理服務(wù)使用,可實(shí)現(xiàn)產(chǎn)品模型定義、設(shè)備生命周期可視化管理,提供強(qiáng)大的面向行業(yè)應(yīng)用開(kāi)放能力,幫助企業(yè)快速構(gòu)建創(chuàng)新的物聯(lián)網(wǎng)業(yè)務(wù)。
必須是實(shí)時(shí)處理的系統(tǒng)。浙江建筑工程物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)私人定做
需要保證數(shù)據(jù)能持續(xù)穩(wěn)定寫入。麗水消防物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)產(chǎn)品介紹
4.需要高效的緩存功能。絕大部分場(chǎng)景,都需要能快速獲取設(shè)備當(dāng)前狀態(tài)或其他信息,用以報(bào)警、大屏展示或其他。系統(tǒng)需要提供一高效機(jī)制,讓用戶可以獲取全部、或符合過(guò)濾條件的部分設(shè)備的***狀態(tài)。5.需要實(shí)時(shí)流式計(jì)算。各種實(shí)時(shí)預(yù)警或預(yù)測(cè)已經(jīng)不是簡(jiǎn)單的基于某一個(gè)閾值進(jìn)行,而是需要通過(guò)將一個(gè)或多個(gè)設(shè)備產(chǎn)生的數(shù)據(jù)流進(jìn)行實(shí)時(shí)聚合計(jì)算,不只是基于一個(gè)時(shí)間點(diǎn)、而是基于一個(gè)時(shí)間窗口進(jìn)行計(jì)算。不僅如此,計(jì)算的需求也相當(dāng)復(fù)雜,因場(chǎng)景而異,應(yīng)容許用戶自定義函數(shù)進(jìn)行計(jì)算。6.需要支持?jǐn)?shù)據(jù)訂閱。與通用大數(shù)據(jù)平臺(tái)比較一致,同一組數(shù)據(jù)往往有很多應(yīng)用都需要,因此系統(tǒng)應(yīng)該提供訂閱功能,只要有新的數(shù)據(jù)更新,就應(yīng)該實(shí)時(shí)提醒應(yīng)用。而且這個(gè)訂閱也應(yīng)該是個(gè)性化的,容許應(yīng)用設(shè)置過(guò)濾條件,比如只訂閱某個(gè)物理量五分鐘的平均值。 麗水消防物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)產(chǎn)品介紹
上海奧暢智能科技有限公司位于上海市普陀區(qū)祁連山南路2891弄盛源科技園C311,擁有一支專業(yè)的技術(shù)團(tuán)隊(duì)。KorRich,科睿齊是上海奧暢智能科技有限公司的主營(yíng)品牌,是專業(yè)的奧暢科技是一家以人工智能(AI)為的應(yīng)用解決方案提供商,以人臉識(shí)別、行為分析、語(yǔ)言分析、數(shù)據(jù)分析、智能感應(yīng)、機(jī)器人、物聯(lián)網(wǎng)等技術(shù)為基礎(chǔ)為多個(gè)領(lǐng)域打造專業(yè)智能的行業(yè)應(yīng)用方案,有旗下人臉識(shí)別品牌KorRich(科睿齊),奧暢科技堅(jiān)持從用戶角度出發(fā),為用戶解決實(shí)際問(wèn)題,解決行業(yè)痛點(diǎn),是一家可以為用戶提供定制型應(yīng)用方案,。從事智能科技,信息科技,物聯(lián)網(wǎng)科技,新能源技術(shù),環(huán)??萍?工業(yè)自動(dòng)化技術(shù),計(jì)算機(jī)軟硬件技術(shù),光電科技.通訊技術(shù)領(lǐng)域技術(shù)開(kāi)發(fā),技術(shù)轉(zhuǎn)讓,技術(shù)咨詢,技術(shù)服務(wù)及銷售公司,擁有自己**的技術(shù)體系。公司堅(jiān)持以客戶為中心、奧暢科技是一家以人工智能(AI)為的應(yīng)用解決方案提供商,以人臉識(shí)別、行為分析、語(yǔ)言分析、數(shù)據(jù)分析、智能感應(yīng)、機(jī)器人、物聯(lián)網(wǎng)等技術(shù)為基礎(chǔ)為多個(gè)領(lǐng)域打造專業(yè)智能的行業(yè)應(yīng)用方案,有旗下人臉識(shí)別品牌KorRich(科睿齊),奧暢科技堅(jiān)持從用戶角度出發(fā),為用戶解決實(shí)際問(wèn)題,解決行業(yè)痛點(diǎn),是一家可以為用戶提供定制型應(yīng)用方案,。從事智能科技,信息科技,物聯(lián)網(wǎng)科技,新能源技術(shù),環(huán)保科技,工業(yè)自動(dòng)化技術(shù),計(jì)算機(jī)軟硬件技術(shù),光電科技.通訊技術(shù)領(lǐng)域技術(shù)開(kāi)發(fā),技術(shù)轉(zhuǎn)讓,技術(shù)咨詢,技術(shù)服務(wù)及銷售市場(chǎng)為導(dǎo)向,重信譽(yù),保質(zhì)量,想客戶之所想,急用戶之所急,全力以赴滿足客戶的一切需要。自公司成立以來(lái),一直秉承“以質(zhì)量求生存,以信譽(yù)求發(fā)展”的經(jīng)營(yíng)理念,始終堅(jiān)持以客戶的需求和滿意為重點(diǎn),為客戶提供良好的人臉識(shí)別,物聯(lián)網(wǎng),現(xiàn)實(shí)增強(qiáng),機(jī)器人,從而使公司不斷發(fā)展壯大。