離線數(shù)據(jù)
還有一些數(shù)據(jù),對(duì)于實(shí)時(shí)性和有序性的要求都沒(méi)那么強(qiáng),分析時(shí)數(shù)據(jù)已經(jīng)固化,我們稱(chēng)之為離線數(shù)據(jù)。典型的離線數(shù)據(jù)包括產(chǎn)品銷(xiāo)量數(shù)據(jù)、景點(diǎn)游客數(shù)據(jù)等,應(yīng)用于統(tǒng)計(jì)分析,總結(jié)盤(pán)點(diǎn)等場(chǎng)景,例如,物聯(lián)網(wǎng)平臺(tái)將自動(dòng)售貨機(jī)上報(bào)的**匯總后保存,然后定期使用大數(shù)據(jù)分析平臺(tái)分析**,以報(bào)表形式呈現(xiàn)給廠家,協(xié)助廠家進(jìn)行銷(xiāo)售策略的調(diào)整。離線分析的挑戰(zhàn)主要在于龐大的數(shù)據(jù)量,一般會(huì)采用分布式處理的方案來(lái)提升海量數(shù)據(jù)分析的效率。
在本文中,我們將為您重點(diǎn)介紹實(shí)時(shí)分析和離線分析兩種方案,時(shí)序分析方案我們下次再分享(具有物聯(lián)網(wǎng)時(shí)序分析能力的華為云數(shù)據(jù)分析服務(wù)后續(xù)也將上線,敬請(qǐng)期待)。
設(shè)備接入服務(wù):設(shè)備接入是華為OceanConnect物聯(lián)網(wǎng)平臺(tái)對(duì)海量設(shè)備進(jìn)行聯(lián)接、數(shù)據(jù)采集/轉(zhuǎn)發(fā)、遠(yuǎn)程控制的云服務(wù)。可實(shí)現(xiàn)海量設(shè)備與云端之間雙向通信連接、設(shè)備數(shù)據(jù)采集上云,支持上層應(yīng)用通過(guò)調(diào)用API遠(yuǎn)程控制設(shè)備,還提供了與華為云其他云服務(wù)無(wú)縫對(duì)接的規(guī)則引擎,可應(yīng)用于各種物聯(lián)網(wǎng)場(chǎng)景。設(shè)備接入服務(wù)還可以搭配設(shè)備管理服務(wù)使用,可實(shí)現(xiàn)產(chǎn)品模型定義、設(shè)備生命周期可視化管理,提供強(qiáng)大的面向行業(yè)應(yīng)用開(kāi)放能力,幫助企業(yè)快速構(gòu)建創(chuàng)新的物聯(lián)網(wǎng)業(yè)務(wù)。
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS):數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DataWarehouseService)是一種基于公有云基礎(chǔ)架構(gòu)和平臺(tái)的在線數(shù)據(jù)處理數(shù)據(jù)庫(kù),提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)。DWS是基于華為融合數(shù)據(jù)倉(cāng)庫(kù)GaussDB產(chǎn)品的云原生服務(wù),兼容標(biāo)準(zhǔn)ANSISQL99和SQL2003,同時(shí)兼容PostgreSQL/Oracle數(shù)據(jù)庫(kù)生態(tài),為各行業(yè)PB級(jí)海量大數(shù)據(jù)分析提供有競(jìng)爭(zhēng)力的解決方案。數(shù)據(jù)可視化服務(wù)(DLV):數(shù)據(jù)可視化服務(wù)(DataLakeVisualization)是一站式數(shù)據(jù)可視化平臺(tái),適配云上云下多種數(shù)據(jù)源,提供豐富多樣的2D、3D可視化組件,采用拖拽式自由布局,旨在幫助您快速定制和應(yīng)用屬于您自己的數(shù)據(jù)大屏。該方案的數(shù)據(jù)流向如下:物聯(lián)網(wǎng)平臺(tái)將設(shè)備上報(bào)的數(shù)據(jù)通過(guò)規(guī)則引擎功能轉(zhuǎn)發(fā)至數(shù)據(jù)接入服務(wù)(DIS)。實(shí)時(shí)流計(jì)算服務(wù)(CS)從DIS的通道中獲取實(shí)時(shí)數(shù)據(jù),通過(guò)SQL語(yǔ)句分析并處理后,再寫(xiě)入另一個(gè)DIS通道。DIS以對(duì)象存儲(chǔ)服務(wù)(OBS)為中介將分析結(jié)果轉(zhuǎn)儲(chǔ)至數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)。數(shù)據(jù)可視化服務(wù)(DLV)讀取分析結(jié)果呈現(xiàn)為可視化報(bào)表。 能源物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)產(chǎn)品介紹需要單一的后臺(tái)管理系統(tǒng)。
國(guó)內(nèi)物聯(lián)網(wǎng)市場(chǎng)規(guī)模不斷擴(kuò)大,產(chǎn)業(yè)體系日趨完善,**驅(qū)動(dòng)項(xiàng)目發(fā)展迅速。2015年我國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模達(dá)到7500億元人民幣,同比增長(zhǎng)。預(yù)計(jì)到2020年,中國(guó)物聯(lián)網(wǎng)的整體規(guī)模將超過(guò)。隨著行業(yè)標(biāo)準(zhǔn)完善、技術(shù)不斷進(jìn)步、國(guó)家政策扶持,中國(guó)的物聯(lián)網(wǎng)產(chǎn)業(yè)將延續(xù)良好的發(fā)展勢(shì)頭,為經(jīng)濟(jì)持續(xù)穩(wěn)定增長(zhǎng)提供新的動(dòng)力。移動(dòng)互聯(lián)向萬(wàn)物互聯(lián)的擴(kuò)展浪潮,將使我國(guó)創(chuàng)造出相比于互聯(lián)網(wǎng)更大的市場(chǎng)空間和產(chǎn)業(yè)機(jī)遇。想了解更多的行業(yè)信息可以看看中投顧問(wèn)的網(wǎng)站,中投顧問(wèn)是中國(guó)專(zhuān)注于產(chǎn)業(yè)研究與產(chǎn)業(yè)戰(zhàn)略咨詢(xún)的服務(wù)機(jī)構(gòu);16年產(chǎn)業(yè)研究經(jīng)驗(yàn)積累,長(zhǎng)期**信息技術(shù)、現(xiàn)代農(nóng)業(yè)、投資環(huán)境、食品飲料、輕工業(yè)、汽車(chē)及零部件、能源電力、零售物流、交通運(yùn)輸、金融保險(xiǎn)等超過(guò)19個(gè)重點(diǎn)行業(yè)以及半導(dǎo)體、大健康、物聯(lián)網(wǎng)、人工智能、無(wú)人機(jī)、學(xué)前教育、民營(yíng)銀行、新能源、鋰電池等50余個(gè)細(xì)分領(lǐng)域。每年發(fā)布和更新1000多份行業(yè)研究報(bào)告,其中始發(fā)超過(guò)100份新興領(lǐng)域行業(yè)研究報(bào)告。
近年來(lái),我國(guó)**密切關(guān)注農(nóng)業(yè)大數(shù)據(jù)的建立與發(fā)展。自2012年起,中國(guó)開(kāi)始重點(diǎn)關(guān)注「智慧農(nóng)業(yè)」的發(fā)展并推出「精細(xì)農(nóng)業(yè)」技術(shù);2016年,《「十三五」全國(guó)農(nóng)業(yè)農(nóng)村信息發(fā)展規(guī)劃》指出,要加快推動(dòng)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展,統(tǒng)籌推進(jìn)農(nóng)業(yè)農(nóng)村電子商務(wù)發(fā)展,創(chuàng)新流通方式,打造新業(yè)態(tài);2017年,***印發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》中,明確要求推進(jìn)各地區(qū)、各行業(yè)、各領(lǐng)域涉農(nóng)數(shù)據(jù)資源的共享開(kāi)放,加快農(nóng)業(yè)大數(shù)據(jù)關(guān)鍵技術(shù)研發(fā),推動(dòng)農(nóng)業(yè)資源要素?cái)?shù)據(jù)共享;2018年我國(guó)**又提出關(guān)于實(shí)施鄉(xiāng)村振興戰(zhàn)略的意見(jiàn),其中提到要大力發(fā)展數(shù)字農(nóng)業(yè),實(shí)施智慧農(nóng)業(yè)農(nóng)林水利工程,推進(jìn)物聯(lián)網(wǎng)試驗(yàn)示范和遙感技術(shù)應(yīng)用;2019年,**一號(hào)文件提出要深入推進(jìn)「互聯(lián)網(wǎng)+農(nóng)業(yè)」,擴(kuò)大農(nóng)業(yè)物聯(lián)網(wǎng)示范應(yīng)用,推進(jìn)重要農(nóng)產(chǎn)品全產(chǎn)業(yè)鏈大數(shù)據(jù)建設(shè),加強(qiáng)國(guó)家數(shù)字農(nóng)業(yè)農(nóng)村系統(tǒng)建設(shè)。 如果計(jì)算沒(méi)有實(shí)時(shí)性,物聯(lián)網(wǎng)的商業(yè)價(jià)值就大打折扣。
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS):數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DataWarehouseService)是一種基于公有云基礎(chǔ)架構(gòu)和平臺(tái)的在線數(shù)據(jù)處理數(shù)據(jù)庫(kù),提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)。DWS是基于華為融合數(shù)據(jù)倉(cāng)庫(kù)GaussDB產(chǎn)品的云原生服務(wù),兼容標(biāo)準(zhǔn)ANSISQL99和SQL2003,同時(shí)兼容PostgreSQL/Oracle數(shù)據(jù)庫(kù)生態(tài),為各行業(yè)PB級(jí)海量大數(shù)據(jù)分析提供有競(jìng)爭(zhēng)力的解決方案。數(shù)據(jù)可視化服務(wù)(DLV):數(shù)據(jù)可視化服務(wù)(DataLakeVisualization)是一站式數(shù)據(jù)可視化平臺(tái),適配云上云下多種數(shù)據(jù)源,提供豐富多樣的2D、3D可視化組件,采用拖拽式自由布局,旨在幫助您快速定制和應(yīng)用屬于您自己的數(shù)據(jù)大屏。
該方案的數(shù)據(jù)流向如下:
物聯(lián)網(wǎng)平臺(tái)將設(shè)備上報(bào)的數(shù)據(jù)通過(guò)規(guī)則引擎功能轉(zhuǎn)發(fā)至數(shù)據(jù)接入服務(wù)(DIS)。實(shí)時(shí)流計(jì)算服務(wù)(CS)從DIS的通道中獲取實(shí)時(shí)數(shù)據(jù),通過(guò)SQL語(yǔ)句分析并處理后,再寫(xiě)入另一個(gè)DIS通道。DIS以對(duì)象存儲(chǔ)服務(wù)(OBS)為中介將分析結(jié)果轉(zhuǎn)儲(chǔ)至數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)。數(shù)據(jù)可視化服務(wù)(DLV)讀取分析結(jié)果呈現(xiàn)為可視化報(bào)表。
需要通過(guò)將一個(gè)或多個(gè)設(shè)備產(chǎn)生的數(shù)據(jù)流進(jìn)行實(shí)時(shí)聚合計(jì)算。嘉興安全物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)提供商需要支持?jǐn)?shù)據(jù)訂閱。與通用大數(shù)據(jù)平臺(tái)比較一致,同一組數(shù)據(jù)往往有很多應(yīng)用都需要。杭州能源物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)銷(xiāo)售
物聯(lián)網(wǎng)是一個(gè)很寬泛的概念,是指各種設(shè)備、機(jī)器都通過(guò)互聯(lián)網(wǎng)連接起來(lái),車(chē)聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等都屬于物聯(lián)網(wǎng)范疇。根據(jù)Gartner報(bào)告,聯(lián)網(wǎng)的設(shè)備在2019年已經(jīng)超過(guò)142億,預(yù)計(jì)2021年將達(dá)到250億,這是一個(gè)巨大的數(shù)量。毫無(wú)疑問(wèn),我們需要一個(gè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)來(lái)處理這些聯(lián)網(wǎng)設(shè)備產(chǎn)生的海量數(shù)據(jù)。1.必須是高效的分布式系統(tǒng)。物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量巨大,*中國(guó)而言,就有5億多臺(tái)智能電表,每臺(tái)電表每隔15分鐘采集一次數(shù)據(jù),***全國(guó)智能電表就會(huì)產(chǎn)生500多億條記錄。這么大的數(shù)據(jù)量,任何一臺(tái)服務(wù)器都無(wú)能力處理,因此處理系統(tǒng)必須是分布式的,水平擴(kuò)展的。為降低成本,一個(gè)節(jié)點(diǎn)的處理性能必須是高效的,需要支持?jǐn)?shù)據(jù)的快速寫(xiě)入和快速查詢(xún)。 杭州能源物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)銷(xiāo)售
上海奧暢智能科技有限公司一直專(zhuān)注于奧暢科技是一家以人工智能(AI)為的應(yīng)用解決方案提供商,以人臉識(shí)別、行為分析、語(yǔ)言分析、數(shù)據(jù)分析、智能感應(yīng)、機(jī)器人、物聯(lián)網(wǎng)等技術(shù)為基礎(chǔ)為多個(gè)領(lǐng)域打造專(zhuān)業(yè)智能的行業(yè)應(yīng)用方案,有旗下人臉識(shí)別品牌KorRich(科睿齊),奧暢科技堅(jiān)持從用戶(hù)角度出發(fā),為用戶(hù)解決實(shí)際問(wèn)題,解決行業(yè)痛點(diǎn),是一家可以為用戶(hù)提供定制型應(yīng)用方案,。從事智能科技,信息科技,物聯(lián)網(wǎng)科技,新能源技術(shù),環(huán)??萍?工業(yè)自動(dòng)化技術(shù),計(jì)算機(jī)軟硬件技術(shù),光電科技.通訊技術(shù)領(lǐng)域技術(shù)開(kāi)發(fā),技術(shù)轉(zhuǎn)讓,技術(shù)咨詢(xún),技術(shù)服務(wù)及銷(xiāo)售,是一家數(shù)碼、電腦的企業(yè),擁有自己**的技術(shù)體系。一批專(zhuān)業(yè)的技術(shù)團(tuán)隊(duì),是實(shí)現(xiàn)企業(yè)戰(zhàn)略目標(biāo)的基礎(chǔ),是企業(yè)持續(xù)發(fā)展的動(dòng)力。誠(chéng)實(shí)、守信是對(duì)企業(yè)的經(jīng)營(yíng)要求,也是我們做人的基本準(zhǔn)則。公司致力于打造***的人臉識(shí)別,物聯(lián)網(wǎng),現(xiàn)實(shí)增強(qiáng),機(jī)器人。公司憑著雄厚的技術(shù)力量、飽滿(mǎn)的工作態(tài)度、扎實(shí)的工作作風(fēng)、良好的職業(yè)道德,樹(shù)立了良好的人臉識(shí)別,物聯(lián)網(wǎng),現(xiàn)實(shí)增強(qiáng),機(jī)器人形象,贏得了社會(huì)各界的信任和認(rèn)可。