2019年DAMS中國數據智能管理峰會：PG去O非你莫屬.pdf

《2019年DAMS中國數據智能管理峰會：PG去O非你莫屬.pdf》由會員分享，可在線閱讀，更多相關《2019年DAMS中國數據智能管理峰會：PG去O非你莫屬.pdf（41頁珍藏版）》請在三個皮匠報告上搜索。

1、2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會PG去“O”，非你莫屬2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會目錄 PG社區的獨特性 PG的商業能力和創新能力 PG 新版本與新特性 PG on 云2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會獨特性學生為什么應該學學生為什么應該學PG,PG與其他數據庫有哪些獨特性與其他數據庫有哪些獨特性,為什么為什么PG是數據庫的未來？是數據庫的未來？https:/ 社區分析社區分析-為什么為什么PostgreSQL社區幾乎不可能被任社區幾乎不可能被任何一個商業公司、國家所控制？何一個商業公司、國

2、家所控制？https:/ 國國 數數 據據 智智 能能 管管 理理 峰峰 會會社區獨特性如果：99%的開源數據庫都是被商業公司控制的那么：PG是那1%商業數據庫商業數據庫-1為什么要開源？2為什么改協議？逐利，培養背書群體，擴大生態，收割收割大客戶。上云是大趨勢，“云開源數據庫服務”吞噬開源數據庫市場，用戶更多選擇的是云服務，而不是商業開源數據庫的企業版。商業開源公司與云發生利益沖突，改協議是必然的。PG為什么沒有被商業公司控制？純社區純社區2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會sponsors 國家

3、國家日本3德國3美國11英國1瑞典1澳大利亞2法國1俄羅斯22019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會他們為什么要持續貢獻核心代碼？數據庫廠商 推一款新的商業數據庫，通常都需要背書，小廠產品，誰為你背書？1、有技術的廠商，很難挑戰已有數據庫市場格局。2、有渠道的廠商，需要抓住窗口期，快速占領市場，避免重復造輪子，需要一款可以無法律風險，二次分發的開源數據庫。唯有PG。貢獻核心代碼，社區所有的用戶都可以為之背書 數據庫服務|DaaS服務提供商 開源產品的服務提供商，能力如何體現？架構能力？優化能力？管理能力

4、？FIX BUG的能力？背書2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會他們為什么要持續貢獻核心代碼？最終用戶希望社區長久，期望可以享受免費的、可持續發展的可持續發展的、開源的、不被任何商業公司、不被任何國家控制的企業級的數據庫。去O(貴)，去DB2去sybase(產品下市、無法再升級、支持)不靠數據庫賺錢1、PG用到人越多，越多人背書，使用越靠譜（事實證明是如此，比商業數據庫還靠譜），2、拋磚引玉，企業投入2個研發持續貢獻(一年可能一兩百萬)，實際上整個PG社區有數千人在貢獻，對最終用戶來說，簡直賺到了。使用商業數據庫，除了使用商業數據庫，除了LICENSE等成本，依舊

5、需要投管理、研等成本，依舊需要投管理、研發、外包資源，一年數千萬甚至上億。發、外包資源，一年數千萬甚至上億。公司越大，越有動力去貢獻社區。公司越大，越有動力去貢獻社區。從趨勢來看，給從趨勢來看，給PG貢獻代貢獻代碼的大客戶只會越來越多。碼的大客戶只會越來越多。云廠商開源數據庫紛紛改協議數據庫市場巨大自研是最佳選擇自研的問題：需要培養生態，需要市場背書，需要大量研發資源，可能需要重復造輪子？BASE PG，1 免去自己培養生態，2 避免重復造輪子，3 PG 的代碼基礎非常不錯(開源界“O”)防止其他廠商控制PG失去市場主導能力(AWS,google,IBM,微軟都已進入sponsor行列)201

6、9中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會開源許可獨特性-活雷鋒PG的開源許可是類BSD許可?？梢噪S意分發，閉源或開源。2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會架構獨特性 PG采用了開放接口的設計，例如 type,operator,index,storage,language,fdw,custom scan,sample,hook等 PG是最具擴展能力的數據庫（基于PG的圖數據庫、流數據庫、GIS、時序數據庫、推薦數據庫、搜索引擎等。圍繞PG的應用垂直化插件機器學習、圖像識別、分詞、向量計算、MPP等。）基本上都是使用PG擴展接口擴展出來的2019中

7、中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會商業趨勢1、全球都在提高安全、合規、正版化意識2、PG是去O首選3、PG是數據庫廠商首選，避免重復造輪子，前面說了PG的功能覆蓋度高，是很好的基礎。同時擴展性很強很容易做出行業特色行業特色，最重要的是它的開源許可允許任意的使用（分發、閉源）。4、PG 是云首選很多開源數據庫的背后有商業公司，商業公司如果和云廠商沒有很好的合作協議。云廠商拿去賣，客戶被帶上云，數據庫廠商的利益與與云廠商的利益發生沖突的概率非常大。商業數據庫廠商被迫修改許可協議是一種手段。商業數據庫廠商被迫修改許可協議是一種手段。PG是純社區開源數據庫，沒有修改協議的動機。是

8、純社區開源數據庫，沒有修改協議的動機。PG的協議干凈，是云廠商首的協議干凈，是云廠商首選。選。2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會技術趨勢 1、PG是多模數據庫，因為它的開放性，可以隨意擴展。例如前面提到的諸多插件，使得PG是目前最強度大的多模數據庫。2、內置并行計算 3、支持存儲引擎擴展(12)。4、對芯片友好，例如ARM芯片的支持。以上4點滿足市場的既要又要還要的需求：既要既要SQL通用性，又要通用性，又要NOSQL擴展性，擴展性，還要多模開發便捷性。還要多模開發便捷性。既要既要OLTP又要又要OLAP。2019中中 國國 數數 據據 智智 能能 管管 理理

9、峰峰 會會目錄 PG社區的獨特性 PG的商業價值與創新價值 PG 新版本與新特性 PG on 云2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會多模Oracle兼容企業級混合負載創新價值商用價值0丟失+高可用:quorum based sync repl安全:SSLSQL防火墻TDE(13)彈性:插件化 shard 模塊化擴展性能:32C TPCC 100萬+并行計算OLTP、OLAP、SMP并行計算、GPU并行計算、實時分析、列存儲、JIT、向量計算時空、GIS、圖像文本、時序、向量相似、圖譜流計算、異構、機器學習、多維計算、shard降低遷移成本。社區版：ora2pg+o

10、rafce阿里云版：ADAM+PPAS2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會目錄 PG社區的獨特性 PG的商業能力和創新能力 PG 新版本與新特性 PG on 云2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會PG版本發布節奏2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會PG 11 分區表增強 并行計算增強 btree index include索引葉子附加屬性 添加字段（含默認值）更快 支持存儲過程2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會分區表增強 hash分區 支持觸發器 支持默認分區 允許修改分區

11、字段2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會并行計算增強 https:/ 36個CASE,平均20倍倍提升 create table|mview as,create index hash join,hash agg,parallel multi-phase agg2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會2019中中 國國 數數 據據 智智 能能 管

12、管 理理 峰峰 會會btree index include索引葉子附加屬性https:/ index idx_t1_1 on t1(id)include(c1,c2,c3,info,crt_time);2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會添加字段（含默認值）更快https:/ 國國 數數 據據 智智 能能 管管 理理 峰峰 會會支持存儲過程https:/www.postgresql.org/docs/11/sql-createprocedure.htmlCREATE OR REPLACE PROCEDUREname(argmode argname argtype

13、DEFAULT|=default_expr ,.)LANGUAGE lang_name|TRANSFORM FOR TYPE type_name ,.|EXTERNAL SECURITY INVOKER|EXTERNAL SECURITY DEFINER|SET configuration_parameter TO value|=value|FROM CURRENT|AS definition|AS obj_file,link_symbol.https:/ 支持事務 commit|rollback2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會PG 12 AM接口 分區表-大

14、量分區性能提升 GiST index include索引葉子附加屬性 CTE 物化、非物化 日志采樣 COPY WHERE2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會AM接口https:/ 122019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會 zedstore(列存)zheap(支持回滾段)2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會分區表-大量分區性能提升1000個分區、469倍https:/ 國國 數數 據據 智智 能能 管管 理理 峰峰 會會GiST index include索引葉子附加屬性 軌跡，時空搜索 按結果集（索引）

15、聚集存儲，消除回表IO放大。2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會CTE 物化、非物化https:/ 非物化-條件下推WITH w AS NOT MATERIALIZED(SELECT*FROM big_table)SELECT*FROM w AS w1 JOIN w AS w2 ON w1.key=w2.ref WHERE w2.key=123;2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會日志采樣https:/ 國國 數數 據據 智智 能能 管管 理理 峰峰 會會COPY WHERE https:/ 國國 數數 據據 智智 能能 管管 理理

16、峰峰 會會pluggable AMzheaphttps:/ transaction idszheap will prevent bloat(a)by allowing in-place updates in common cases and (b)by reusing space as soon as a transaction that has performed a delete or non-in-place-update has committed.Reduce write amplification both by avoiding rewrites of heap pages an

17、d by making it possible to do an update that touches indexed columns without updating every index.Reduce the tuple size by (a)shrinking the tuple header and (b)eliminating most alignment padding.In-place updates will be supported except when (a)the new tuple is larger than the old tuple and the incr

18、ease in size makes it impossible to fit the larger tuple onto the same page or (b)some column is modified which is covered by an index that has not been modified to support“delete-marking”.We have not begun work on delete-marking support for indexes yet,but intend to support it at least for btree in

19、dexes.2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會pluggable AMzedstorehttps:/ improvement for queries selecting subset of columns(reduced IO).*Reduced on-disk footprint compared to heap table.Shorter tuple headers and also leveraging compression of similar type data*Be first-class citizen in the Postgres archi

20、tecture(tables data can just independently live in columnar storage)and not be at arms length though an opaque interface.*Fully MVCC compliant-basically all operations supported similar to heap,like update,delete,serializable transactions etc.*All Indexes supported*Hybrid row-column store,where some

21、 columns are stored together,and others separately.Provide flexibility of granularity on how to divide the columns.Columns accessed together can be stored together.*Provide better control over bloat(using zheap)*Eliminate need for separate toast tables*Faster add/drop column or changing data type of

22、 column by avoiding full rewrite of the table.2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會目錄 PG社區的獨特性 PG的商業能力和創新能力 PG 新版本與新特性 PG on 云2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會【Oracle深度兼容深度兼容】內置ORACLE兼容(for Oracle)【OLTP+OLAP混合混合負載負載】內置并行計算內置會話級資源隔離【智能駕駛智能駕駛】內置AAS性能洞察內置SQL防火墻內置索引推薦阿里云OSS海量對象存儲【冷熱分離冷熱分離】分級存儲。歷史數據想存多久就存多久。

23、ADBMAXCompute函數計算阿里云POLARDB v2.0 發布兼容Oracle|PostgreSQL云生態無縫對接【云原生云原生】讀寫分離共享存儲計算節點可擴展到1408核存儲可擴展到100TB2019中中 國國 數數 據據 智智 能能 管管 理理 峰峰 會會還有很多很多很多很多很多很多牛逼的特性!Previewhttps:/ Noteshttps:/www.postgresql.org/docs/11/release-11.htmlhttps:/www.postgresql.org/docs/12/release-12.html功能矩陣https:/www.postgresql.org/about/featurematrix/大量學習資料https:/ 國國 數數 據據 智智 能能 管管 理理 峰峰 會會THANK YOU!