在城市水務行業中,各省市水務集團與水務公司作為國有資產管理和基礎設施投資運營主體,負責城鎮供水、排水防汛、污水處理、中水回用、河道運維、污泥處置、海水淡化、水務工程建設等各類水務相關業務。根據國務院國資委與各地方國資委新基建數字化轉型以及智慧水務規劃的目標任務,各水務運營主體提出了通過數字化轉型提升集團生產效能,助推水務事業高質量發展的要求。

水務業務的數字化轉型過程可分為「數據先行、夯實基礎」、「資源整合、管理提升」、「管理創新、戰略發展」三個階段實施。 而構建一個物聯網統一接入系統則是「數據先行,夯實基礎」階段的重要任務。

本文將分享青島研博結合 EMQ 物聯網數據基礎設施軟件構建智慧水務平臺產品的實踐經驗。

水務數字化的現狀與問題

廠站建設不標準

廠站數據未實現實時數據集中監管,各個廠站自控系統建設標準未統一,網絡部署無規劃,各個廠站 PLC 和組態軟件的點表沒有統一的標準規范,制約了數據匯聚及大數據分析應用,不利于數據挖掘工作。

抄表標準不統一,系統壁壘嚴重

隨著各供水企業遠傳水表數量逐漸增多,各水表廠家的數據傳輸標準不統一,導致遠傳水表不能互換;各水表廠家各自搭建了抄表平臺,存在抄表平臺重復建設和數據壁壘問題,不利于集團統一管理。

數據質量無法支撐大數據平臺

部分水務集團規劃建設了集團大數據中心實現數據統一治理,大數據中心必須有高質量的感知層數據支撐。由于廠站數據、抄表數據以及其他業務數據沒有統一接入規范,數據質量參差不齊。各類數據分散在各個系統中,很難形成可為大數據中心提供實時性強,格式規范的數據源。

青島研博水務物聯網統一接入系統建設思路

為了更好地服務于當前水務數字化轉型的需求,青島研博提出了基于物聯網技術實現水務物聯網統一接入系統的建設思路:

廠站數據在邊緣側統一采集并規范化處理上報

為了解決廠站生產數據分散和數據壁壘問題,通過將已有廠站、管網的各類工業自動化設備與系統的數據在廠站邊緣側進行實時采集,數據格式統一處理,將各廠站數據統一接入到上層的物聯網統一接入系統中。

從各個廠站上傳周期需要根據現場的物理設備進行確認,但一般速率都比較快。每個廠站要采集的數據都不相同,點數不同,以其中某廠站為例,需要接入各種類型設備。 如某大型廠站主站設備包括:攪拌器,內回流泵(遠程就地、故障、手動自動,開、停),電動閥門(閥位、開度、開到位、關到位、故障),生物池空氣閥門(調節閥、閥位),外回流池,刮泥機,液位計,流量計,進口氨氮,氨氮硝氮一體機,溶解氧探頭,ORP(測試微生物),MLSS(污泥濃度); 子站設備包括:鼓風機流量,壓力,鼓風機,計量泵,液位計,卸料泵,混合泵,電動閥,流量計。大廠站采集點位在幾千點,小型廠站采集點規模也在在幾百點。

在實際項目中,廠區可以分為新建廠區和老廠區兩種,老廠區基本上 PLC 比較老舊,而且不可以對現有 PLC 程序進行改造,需要對接廠區現有 SCADA 系統(一般對接 OPC-DA 接口)將數據采集出來后進行數據格式轉換,然后上傳到物聯網統一接入系統中。新建廠區可以要求新建廠區的 PLC 支持 OPC UA 協議或者 Modbus TCP 協議,通過對接這兩種協議將數據上傳到物聯網統一接入平臺。

遠傳水表統一接入

針對抄表平臺重復建設和數據壁壘問題,通過建立一套不受硬件廠商限制,實現不同品牌遠傳水表接入的數據采集系統,具備對各供水企業遠傳水表數據統一接入的能力。 物聯網統一接入系統可以通過不同的通信方式,同時支持 TCP、UDP、MQTT、COAP 等物聯網通訊協議連接感知層設備、工程系統和運營商物聯網平臺等系統進行對接、采集與數據匯聚。

接入數據匯聚,統一處理,對接大數據平臺

通過建設物聯網統一接入系統,將海量水務設備數據匯聚在數據中心。在平臺數據匯聚層進行對各類數據按照水務運營部門對數據源格式進行統一處理,并實時對接后臺的大數據中心的數據服務接口,從而支撐水務大數據分析的需求。

基于 EMQ 數據基礎設施軟件的云邊結合水務物聯網接入實施方案

綜合上述方案與需求,統一接入物聯網平臺主要需要具備以下能力:

• 邊緣側各類工控協議的對接,邊緣數據處理以及與數據中心平臺實時對接上報數據;

• 平臺側多種物聯網設備與各類物聯網協議統一接入,并且提供對接第三方數據平臺能力;

• 平臺高可靠海量數據匯聚,低時延低實時數據處理與北向大數據平臺對接能力;

青島研博在評估考察了各類基礎軟件能力后,選擇了采用 EMQ 的云邊整體數據接入產品作為研博平臺的數據底座。具體實施方案如下:

廠站數據采集

廠站通過部署支持標準 Linux 的工業網關硬件配合安裝 EMQ 邊緣工業協議網關軟件 Neuron ,將網關接入廠站的生產網絡中,然后通過配置 Neuron 以及現場 PLC 和 SCADA 系統通信獲取數據。

為了符合水務運營部門對廠站數據上報格式的統一化要求,在邊緣側的工業網關中安裝 EMQ 提供的輕量級流數據處理引擎 eKuiper,在廠站本地將數據格式轉換為標準的上行報文格式。

eKuiper 規則配置參考:

最終廠站數據報文將以 JSON 格式呈現:

{
    "time": 1629963922278,    "topic": "Up/NABSPAP/79120285/61404601/Sensor",    "deviceTag": "61404601",    "productKey": "79120285",    "groupId": "NABSPAP",    "deviceId": "123456789012345678",    "Data": [
        { 
            "Value": "92",            "Name": "FLOW",            "Error_Number": 0
        },
        {
            "Value": "92",            "Name": "ZLJFLOW",            "Error_Number": 0
        }
    ],
    "channelId": "0",    "protocol": "MQTT"}

廠站內網通過運營商專網服務對接上級單位生產網。邊緣網關通過 MQTT 協議將標準化的廠站數據報文實時發給到生產網中 EMQX 的 MQTT 集群服務中。在生產網與辦公網之間,通過 EMQX 集群橋接方式穿越防火墻進行數據實時橋接,最終將實時數據寫到辦公網中的 EMQX 集群中。

水表數據采集

通常水表數據采集包括大表與戶表兩大類,新型的大表與戶表采用可以 MQTT 協議直接對接統一數據平臺。 表計上報的 MQTT Payload 通過水務運營管理部門的統一規劃的上行報文規范進行數據傳輸。戶表上傳周期每天一次、大表半小時上傳一次。

每個戶表數據包含:

每個大表數據包含:

現有表計主要為直連設備 NB 水表與 M-Bus 水表以及采集網關,對接方式有以下三種方案:

• 水表與采集網關符合水務運營主體制定的統一接入規范直接上傳

由營銷系統通過配表操作,向物聯網統一接入系統推送新增或更換表具信息。物聯網統一接入系統按統一接入規范進行對接;

• NB 水表通過運營商平臺上傳數據

由營銷系統通過配表操作,向物聯網統一接入系統推送新增或更換表具信息。 物聯網統一接入系統按照運營商上行協議,進行數據對接,但運營商平臺傳送數據類型需符合統一接入規范;

• 通過自定義上行協議與系統對接

現實業務中存在某些國際品牌,如西門子,只能通過廠家自定義上行協議與系統對接的設備。由營銷系統通過配表操作,向物聯網統一接入系統推送新增或更換表具信息,物聯網統一接入系統按照廠家自定義上行協議進行對接。

作為較大的市級水務系統,表計大約在幾十萬臺左右,結合廠站數據以及其他類型設備,需要系統可以支持百萬設備并發連接能力。EMQX 作為高性能物聯網消息中間件,在平臺接入層提供了海量數據統一匯聚能力。由于水務平臺系統的業務關鍵性,需要采用 EMQX 多節點集群滿足了系統高可用需要,避免接入層的單點故障。

EMQX 內置提供了 MQTT 協議接入、NB 設備常用的 CoAP/LwM2M 協議接入、運營商 HTTP RestAPI 接入數據接入。同時,EMQX 針對企業私有協議提供了協議擴展能力,青島研博通過自研開發 EMQX 私有協議插件,實現了一套平臺全協議棧統一接入。

平臺數據處理與北向數據對接

通過對水務廠站與水表數據的統一接入,可以將設備數據匯聚到集團 EMQX 集群中。在設備數據對接北向大數據平臺前,可以按要求在 EMQX 中對原始數據進行清洗與整理,使數據規范化。

由于每種設備協議的不同采集的數據格式也是千差萬別,為了方便后續對數據的有效使用,需要對數據統一構建數據模型?；?EMQX 內置的高性能實時規則引擎,數據被篩選后形成預處理數據,將數據的各個維度(時間、空間、業務)等進行標準化處理,構建統一設備數據模型。有了統一的數據模型以后,可以更好的支撐后續的數據計算和大數據分析。設備統一規范參考結構如下:

通過 EMQX 規則引擎的處理后的數據,一方面對接大數據平臺的大數據服務(如 Kafka 服務),另一方面數據存儲到本地的時序數據庫中,實現了對數據的實時分流。以下為 EMQX 規則引擎配置:

性能測試

為了確保統一接入系統性能,我們對產品進行了模擬性能測試。測試模擬 10 萬臺設備連接雙節點 EMQX 到 Kafka 和 TDengine,模擬每臺設備間隔一分鐘發兩條數據,主要關注平均響應時間不高于 100 毫秒,吞吐量不低于 1000TPS,響應成功率不低于百分之 99.999%。

測試報告如下:

到本文截稿日,本方案已經在各地區實際項目中接入各類大小水廠數十個,采集點超過 300000 點,表計設備超過 50000 個。青島研博打造的統一接入系統,為應用層實現了對水表各類設備的統一設備管理、智能配置等平臺能力。同時,每月為上層大數據平臺提供超過 1TB 的高質量實時數據。

研博水務物聯網管理平臺

青島研博基于自身在數據可視化方面多年積累,結合統一接入平臺實時數據,實現了對水務系統各個網點和廠站的實時數據大屏展示、分區數據自定義展示能力,為水務運營主體的業務精細化管理與快速業務決策提供有力支撐。

除了提供產品,青島研博在物聯網統一接入系統項目實施過程中,通過對每個廠站詳細調研以及基于工業物聯網技術架構實現的廠站數據實時采集架構改造,針對存在的問題編制了廠站建設改造指導方案,為新廠站及現有廠站自動化改造提供建設規范,從根本上解決了水廠數據無法統一匯聚的問題。

原創文章,作者:EMQ,如若轉載,請注明出處:https://www.emqx.com/zh/blog/emq-helps-qingdao-yanbo-build-a-smart-water-platform

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。