工業互聯網基于開源數據庫的實踐與創新--王丁丁.pdf

《工業互聯網基于開源數據庫的實踐與創新--王丁丁.pdf》由會員分享，可在線閱讀，更多相關《工業互聯網基于開源數據庫的實踐與創新--王丁丁.pdf（16頁珍藏版）》請在三個皮匠報告上搜索。

1、PostgreSQL中文社區第13屆PostgreSQL中國技術大會聚焦云端創新匯聚智慧共享BOE工業互聯網DBAOracle postgreSQL ACE王丁丁工業互聯網基于開源數據庫的實踐與創新PostgreSQL中文社區國產化的推進時序應用場景03向量應用場景04工業數據治理0102PostgreSQL中文社區目錄contents01工業數據治理PostgreSQL中文社區PostgreSQL中文社區01 工業數據治理工業互聯網創新發展不斷突破向前，從建到用、從量到質，賦能、賦值、賦智作用愈發凸顯。通過技術突破和產業推廣，工業互聯網作為新型工業化數字底座的共識已經基本形成。以人工智能和大

2、數據技術為核心，打造人機物全面互聯，數據共享互聯互通，真正實現制造協同、產能協同、產業協同、產融協同，提供了一站式服務，實現合作共贏。安徽特色產業新質生產力PostgreSQL中文社區01 工業數據治理第一階段：平臺建設 試點應用，新建數據中臺著落區，大數據區，組成邏輯數據中臺第二階段：應用普及 深化提高，數據中臺加入數據倉庫區，多維分析區，歷史數據區,核心系統進入資產管理，推動企業數字化分析應用第三階段：創新增效，數據中臺根據應用需求加入實時數據區、實驗數據區可視搜索數據開放數據服務自助分析自助搜索標簽數據探索傳感器IOT郵件文本圖片WebERP CRM SRM MES PLM TQMS H

3、R 結構化數據源非結構化數據源數據源實時數據處理能力非結構化數據流式數據結構化數據EDW數據倉庫區BDZ 大數據區計算存儲HDFS HBASEHive Map-Reduce SparkRDZ實時數據區實時流處理StormSpark Streaming規則引擎數據處理中心CM多維分析區MPPImpalaRDZ實時數據區實時離線處理案例：OGG同步數據到Kafka,Doris消費MPPDorisRedisLDZ實驗數據區Tensorflow/SAS/R/Python分類關聯聚類預測BDZ大數據區（非結構）語義分析圖分析圖片分析NLPInformatica OGG CDC半、非結構化數據Flume

4、Sqoop Kettle半、非結構化實時數據Kafka FlumeSDI 原始數據著陸區GreenPlumMPP結構化數據處理能力非結構化數據處理能力HDZ歷史數據區02國產化的推進PostgreSQL中文社區PostgreSQL中文社區02 國產化推進MES（制造執行系統）、ERP（企業資源規劃）、SCM（供應鏈管理）、WMS（倉庫管理系統）、APS（高級計劃和排程）、SCADA（監控控制與數據獲?。?、PLM（產品生命周期管理）、QMS（質量管理系統）、CRM（客戶關系管理）、EAM（企業資產管理）這些系統各自針對企業的不同運營方面提供專門的管理和控制功能。它們可以相互補充和集成，形成一個全

5、面、高效和協同的企業運營環境。決策層運營層支持層工業互聯網應用架構PostgreSQL中文社區02 國產化推進原有架構1.共享存儲：Oracle RAC集群中的所有節點都連接到共享存儲設備2.高可用性：Oracle RAC集群提供了故障容錯功能國產化架構：Cluster Manager（CM）是 openGauss 集群管理組件，是 openGauss 集群高可用的保障DB1DB2存存儲Private NetworkPublic NetworkSAN NetworkOracle RAC實例級別容災03時序應用場景PostgreSQL中文社區PostgreSQL中文社區03 時序應用場景隨著物聯

6、網的發展，時序數據庫的需求越來越多，比如水文監控、工廠的設備監控、國家安全相關的數據監控、通訊監控、金融行業指標數據、傳感器數據等。在互聯網行業中，也有著非常多的時序數據，例如用戶訪問網站的行為軌跡，應用程序產生的日志數據等等。PostgreSQL中文社區03 時序應用場景對于TimescaleDB來說，在功能的豐富程度上戰勝了排名更靠前的幾位選手，但是對于性能上可能處于下風，因此TimescaleDB如何持續地發展下去、如何發展地更好，除了探尋在性能等綜合素質方面的提升外，在PostgreSQL的肩膀上怎么樣更好地適應現代化需求才是重中之重。時序數據庫應該具備的特點總結如下1.壓縮能力2.自

7、動rotate3.支持分片，水平擴展4.自動擴展分區，5.插入性能6.分區可刪除7.易用性(SQL接口)8.類型豐富9.高效分析能力04向量應用場景PostgreSQL中文社區PostgreSQL中文社區04 向量應用場景數據庫有事務處理（OLTP）與數據分析（OLAP）兩大核心場景，向量數據庫自然也不例外。典型的事務處理場景包括：知識庫，問答，推薦系統，人臉識別，圖片搜索等等。知識問答：給出一個自然語言描述的問題，返回與這些輸入最為接近的結果；以圖搜圖：給定一張圖片，找出與這張圖片在邏輯上最接近的其他相關圖片。向量數據庫的核心思想是將文本轉換成向量，然后將向量存儲在數據庫中，當用戶輸入問題時

8、，將問題轉換成向量，然后在數據庫中搜索最相似的向量和上下文，最后將文本返回給用戶。PostgreSQL 提供使用 extension 的方式來擴展數據庫的功能，例如 pgvector12 來開啟向量搜索的功能。它不僅支持精確和相似性搜索，還支持余弦相似度等相似性測量算法。最重要的是，它是附加在 PostgreSQL 上的，因此可以利用 PostgreSQL 的所有功能，例如 ACID 事務、并發控制、備份和恢復等。還擁有所有的 PostgreSQL 客戶端庫，因此可以使用任何語言的 PostgreSQL 客戶端來訪問它?？梢詼p少開發者的學習成本和服務的維護成本。PostgreSQL中文社區04

9、 向量應用場景1.人臉識別向量數據庫可以存儲大量的人臉向量數據，并通過向量索引技術實現快速的人臉識別和比對。2.圖像搜索向量數據庫可以存儲大量的圖像向量數據，并通過向量索引技術實現快速的圖像搜索和相似度匹配。3.音頻識別向量數據庫可以存儲大量的音頻向量數據，并通過向量索引技術實現快速的音頻識別和匹配。4.自然語言處理向量數據庫可以存儲大量的文本向量數據，并通過向量索引技術實現快速的文本搜索和相似度匹配。5.推薦系統向量數據庫可以存儲大量的用戶向量和物品向量數據，并通過向量索引技術實現快速的推薦和相似度匹配。6.數據挖掘向量數據庫可以存儲大量的向量數據，并通過向量索引技術實現快速的數據挖掘和分析。PostgreSQL中文社區感謝聆聽！