專場6.5-數字化時代MySQL數據歸檔系統建設思路與實踐-馮光普.pdf

《專場6.5-數字化時代MySQL數據歸檔系統建設思路與實踐-馮光普.pdf》由會員分享，可在線閱讀，更多相關《專場6.5-數字化時代MySQL數據歸檔系統建設思路與實踐-馮光普.pdf（24頁珍藏版）》請在三個皮匠報告上搜索。

1、數字化時代MySQL數據歸檔系統建設思路與實踐馮光普 多點DMALL數據庫團隊負責人大事小做，大事變成小事小事大做，則小事變成大事陶行知1.DBA面臨的歸檔挑戰：安全、效率、成本2.歸檔存儲選型、成本分析、如何利用云原生優勢3.歸檔工具/平臺建設實踐，面向研發自助交付4.對數據冷熱分離技術未來展望Contents多點DMALL數據團隊負責人MySQL、TiDB、Redis、MongoDB數據庫平臺：為研發體系輸出規范化流程及服務DB中間件，雙活架構更早，阿里巴巴數據庫AliSQL團隊馮光普1.DBA面臨的歸檔挑戰：安全、效率、成本2.歸檔存儲選型、成本分析、如何利用云原生優勢3.歸檔工具/平臺

2、建設實踐，面向研發自助交付4.對數據冷熱分離技術未來展望Contentso 云端集中式數據存儲o 人、貨、場數字化，數據大量產生o 系統持續迭代、數據快速增長供應鏈以“需求預測、流程在線、數據協同”為核心系統的敏捷供應鏈能力商品以“智能選品、可視化陳列、AI自動補貨”為核心系統的智能商品決策能力品牌基于全渠道零售數據，結合多點品牌家系統，助力品牌商費效比提升與營銷活動渠道下沉門店以“員工在線、智能調度、任務協同、量化管理”為核心系統的門店經營能力會員以數字會員、精準營銷、全渠道觸達、ROI追蹤”為核心系統的會員運營能力零售數字化-SaaS場景-24個存儲節點-60TB數據某生產TiDB集群（從

3、多個上游MySQL同步聚合數據），上線不到一年成本DBA面臨的歸檔挑戰：安全、效率、成本安全效率成本o 大批量數據歸檔，存穩定性風險，焦慮o 數據增長，歸檔頻繁，疲于應對o 冷數據存儲成本越來越高，壓力大1.DBA面臨的歸檔挑戰：安全、效率、成本2.歸檔成本分析、存儲選型、利用云原生優勢3.歸檔工具/平臺建設實踐，面向研發自助交付4.對數據冷熱分離技術未來展望Contents歸檔成本分析資源成本管理成本頻繁歸檔數據找回容量管理持續增長冗余可靠冷備/文件在線/實例性能歸檔存儲/需求支持在線查詢-無須從冷備中恢復-可接受的查詢性能兼容MySQL-MySQL協議（TiDB）-數據類型兼容便宜對象存儲

4、易擴展-彈性擴容-無限容量可靠歸檔存儲/選型特點S3存儲引擎，表轉儲成S3后只讀塊設備Aria引擎-對象存儲S3表云原生數倉、AP能力好需做轉換/映射：表定義、字段類型優勢表定義、數據類型一致；索引可用壓縮率高（10 x）支持幾乎所有公有云廠商對象存儲數據壓縮率高（10 x）適用歸檔少量數據，表不超過本地塊設備在線點查（二級索引）歸檔大量數據（10TB+）、可持續歸檔在線分析（Parquet）對象存儲歸檔存儲/壓縮mysql alter table po_historyENGINE=S3 COMPRESSION_ALGORITHM=zlib;mysql show create table po

5、_history;CREATE TABLE po_history(id bigint(20)NOT NULL AUTO_INCREMENT,shop_name varchar(40)DEFAULT,.closed smallint(6)DEFAULT,PRIMARY KEY(id),)ENGINE=S3 COMPRESSION_ALGORITHM=zlib mysql select count(*)from po_history;+-+|count(*)|+-+|8281892|+-+1 row in set(0.14 sec)2969330InnoDBS3在線SQL查詢運維友好對象存儲無限容

6、量歸檔存儲/降本效果SSD價格HDD價格騰訊云對象存儲COSCloud Storage Service使用對象存儲價格降至10%數據壓縮（3x10 x）存儲空間降至20%成本降低98%+12對象存儲S3價格1.DBA面臨的歸檔挑戰：安全、效率、成本2.歸檔成本分析、存儲選型、利用云原生優勢3.歸檔工具/平臺建設實踐，面向研發自助交付4.對數據冷熱分離技術未來展望Contentspt-archiver的問題-bulk模式下（load file），遇到JSON字段特殊字符，處理有異常-串行方式執行SELECT-INSERT-DELETE，難以發揮目標端性能-批量數據量太多，可能導致源端故障、主從延

7、遲-批量數據量太少，目標端Databend中會產生大量snapshot，歸檔執行越來越慢歸檔工具/需求保護源端可自適應調整執行速率源端讀取目標端寫入解耦發揮目的端性能歸檔工具/實現MySQL/TiDBMariaDB S3/DatabendSELECT limit NINSERT into DELETE from SELECT limit NSELECT limit N234batch 10MBflow controlCREATE table1table transform(type,index)for Databendchannelasyncmemory limit歸檔工具/性能單個并發歸檔速

8、率：16MB/s（16K rows/s,1KB/row），1.3TB/day歸檔流程及平臺化業務審批DBA審批自動授權研發自助查詢歸檔任務目標：最大程度實現自動化流程，賦能DBA、研發體系研發提歸檔工單工單化、自助化、智能化-全自動流程-24小時安全運行-研發自助查歸檔數據數據增長預警系統1.DBA面臨的歸檔挑戰：安全、效率、成本2.歸檔成本分析、存儲選型、利用云原生優勢3.歸檔工具/平臺建設實踐，面向研發自助交付4.對數據冷熱分離技術未來展望Contents源庫未來技術展望1.源/目的數據一致性-SELECT 與 DELETE 之間有更新導致-關鍵機制：binlog_rows_query_log_events2.透明冷熱分離-面向程序無感（僅性能有差異）-比如：TiDB placement rulesbinlogbinlogbinlog/*ARCHIVE_DELETE*/DELETE FROM DELETEfilterto INSERT歸檔目標庫binlog總結效率-流程自動化、智能化-在線查詢冷數據，自助化成本-對象存儲，很難更便宜-免運維，DBA心智負擔低安全-數據可靠性高（12個9）-可用性高（4個9）質量-流控機制，保護源端-7*24小時運行流程歸檔工具歸檔存儲