有效降本：如何像用自來水一樣使用數據庫？.pdf

1、有效降本：如何像用自來水一樣使用數據庫TDSQL-C Serverless 突破極致彈性騰訊高級工程師 楊玨吉TDSQL-C Serverless-特點與架構TDSQL-C Serverless-應用與場景總結展望目錄TDSQL-C Serverless-架構與特點Serverless=FaaS+BaaS函數即服務 FaaS（函數計算）無需運維 以 API 形式提供服務 實時彈性伸縮 按調用次數計費 無使用無費用 高可用用戶瀏覽器CDN靜態內容動態內容對象存儲函數計算云數據庫后端即服務 BaaS 無需運維 以 API 形式提供服務 按實際使用計費(訪問次數)無使用無費用 高可用傳統數據庫 Se

2、rverless 矛盾點目前常用業界云數據庫 幫助開發者實現高可用、自動備份固定規格，開發者需要提前發起擴縮容固定規格，計算進程常駐，無請求時依然收費傳統云數據庫存儲資源 90%計算資源 10%傳統云數據庫存儲資源 10%計算資源 90%同機部署計算和存儲，剩余資源難以利用云原生數據庫 TDSQL-C-計算存儲分離計算層 TXSQL存儲層TXSTORE存儲池80%90%10%60%解耦計算與存儲，資源利用率高，跨機擴容快VSTDSQL-C Serverless 架構監控資源使用情況-觸發擴縮容-暫停計算層-上報計費接入層收到請求后，恢復計算層用戶訪問監控與計費計算層 TXSQL存儲層DBSTO

3、RE管控平臺接入層按使用量計費以實際使用的負載進行計費，開發者無需為自己沒有使用到的資源付費自動擴縮容根據業務負載擴縮容實例，開發者無需預測負載并提前擴容資源無使用無費用無數據請求時，不對計算資源計費TDSQL-C Serverless 三大特性-像用自來水一樣自動擴縮容根據業務負載擴縮容實例，開發者無需預測負載并提前擴容資源自動擴縮容 購買時指定最小-最大規格 CPU、內存資源限制到最大規格 CPU、內存不存在擴容時間 Buffer pool 根據監控分鐘級調整TDSQL-C Serverless 三大特性-像用自來水一樣 可滴水可傾瀉CPUMem資源限制為 1核 2G 低負載CPU 使用

4、0.1 核Buffer pool 使用 1G其他內存 使用 100MB 高負載-觸發擴容前CPU 使用 1 核Buffer pool 使用 1G其他內存 使用 500MB 高負載-觸發擴容后CPU 使用 1.8 核Buffer pool 使用 2G其他內存 使用 500MB資源限制為 2核 4G其他方案：比如:1核 2G,2 核 4G自動擴縮容根據業務負載擴縮容實例，開發者無需預測負載并提前擴容資源自動擴縮容 購買時指定最小-最大規格 CPU、內存資源限制到最大規格 CPU、內存不存在擴容時間 Buffer pool 根據監控分鐘級調整TDSQL-C Serverless 三大特性-像用自來水

5、一樣 可滴水可傾瀉CPUMem 低負載CPU 使用 0.1 核Buffer pool 使用 1G其他內存 使用 100MB 高負載-觸發擴容前CPU 使用 1.8 核Buffer pool 使用 1G其他內存 使用 500MB 高負載-觸發擴容后CPU 使用 1.8 核Buffer pool 使用 2G其他內存 使用 500MB資源限制為 2核 4GTDSQL-C Serverless 方案：比如:1核 2G,2 核 4G按使用量進行計費 每 5 秒進行一次資源使用采樣 CCU（TDSQL-C Compute Unit）=max(CPU,MEM/2,最小規格)按實時的 CCU 進行計費按使用量

6、計費以實際使用的負載進行計費，開發者無需為自己沒有使用到的資源付費TDSQL-C Serverless 三大特性-像用自來水一樣 精準的計量時刻點CPU(核)MEM(GB)最小規格(核)CCU10:1200.10.25(0.25核 0.5G 內存)0.2510:1331.00.25310:1801.60.250.8TDSQL-C Serverless 三大特性-像用自來水一樣 隨開隨關無使用無費用 10 分鐘內沒有用戶連接，回收計算資源，無計算資源扣費 收到用戶請求時，自動喚醒計算資源，繼續提供數據庫服務無使用無費用無數據請求時，不對計算資源計費用戶訪問監控與計費計算層 TXSQL存儲層DBS

7、TORE管控平臺接入層TDSQL-C Serverless 三大特性-像用自來水一樣 隨開隨關無使用無費用 10 分鐘內沒有用戶連接，回收計算資源，無計算資源扣費 收到用戶請求時，自動喚醒計算資源，繼續提供數據庫服務無使用無費用無數據請求時，不對計算資源計費用戶訪問監控與計費存儲層DBSTORE管控平臺接入層CCU=0,存儲按實際占用量計費TDSQL-C Serverless 三大特性-像用自來水一樣 隨開隨關無使用無費用無數據請求時，不對計算資源計費無使用無費用 TXSQL 啟動加速 快速恢復：廣播小表獲取 VDL（最后連續一致性日志點）BP并行初始化：多線程初始化 BP chunk+laz

8、y 初始化 block mutex 事務系統并行化：多線程加載 undo pageRunning階段：vdl推進后，將該vdl值異步持久化到后端（last-vdl）Recovery階段：從后端獲取last-vdl(checkpoint)廣播所有相關小表獲取=last-vdl的lsn序列(lsn1,len1)(lsn2,len2)使用敗者樹獲取最后連續點(vdl)給有大于vdl日志的小表發送truncate命令進行日志截斷vdllast-vdl寫日志日志下沉TDSQL-C 計算存儲分離架構設計原則-復用云上已有的成熟組件計算層-基于 TXSQL 內核，復用bugfix和新特性-物理復制：準實時同

9、步redo到備機(1ms)-日志下沉：通過 dbclient 組件，實現日志分發存儲層-統一存儲平臺：基于 CBS 打造 HiSTOR 存儲平臺數據安全：復用副本同步，故障自動遷移，數據校驗備份/回檔：快照以MB粒度并發（速度達GB/s）成本：提供SSD、混存、EC版本，滿足多種場景-可計算存儲：增加 dbstore 插件數據多版本：通過日志回放，返回指定版本數據算子下推：加速條件查詢存儲層TXSTORE存儲層TXSTOREDBStore存儲層TXSTORE存儲層TXSTOREDBStoreTXSQL RWDBClientTXSQL RODBClient同步 Redo計算層存儲層讀 PageC

10、OS寫 Redo備份TDSQL-C Serverless-應用與場景應用場景-慢查詢大固定規格將承擔更多成本小固定規格將無法滿足慢查詢性能，甚至影響在線業務業務偶發慢查詢-通常消耗較多 CPU 資源應用場景-定時任務大固定規格將承擔更多成本小固定規格將無法滿足全表掃描性能，甚至影響在線業務每天夜間清理過期數據、生成報表等每個月初計算上月的賬單應用場景-歸檔數據庫業務數據長期不訪問-不對 CPU 和內存進行計費相比與直接存對象存儲，當用戶想使用時可以立刻提供更強的分析能力應用場景-低頻訪問的業務如-個人博客-垂直社區論壇-微信小程序與云函數、云開發、微信云托管有深入的合作每天 20 次左右的請求

11、，請求結束后無計算資源收費應用場景-開發測試環境工作時間：周一至周五的工作時間使用時則收費下班時間：夜間以及周末不使用不收費應用場景-低頻訪問的業務最低 0.25 核-助力微服務提供強隔離實例總結展望初創企業述求：-低成本：按 CPU 使用量收費，無使用無費用-減少運維人力：單主節點高可用，智能管家診斷 SQL-迭代試錯快：發貨速度快，回檔 GB 每秒，擱置項目暫停實例-用戶數激增：自動擴縮容-小微項目：小規格實例如果說中小企業是一片片沿溪而耕的農田總結展望展望：-冷啟動優化：進一步地降低冷啟動時間，不需要重試-進一步降低存儲成本：長久暫停后，存儲轉存對象存儲TDSQL-C Serverless：-自動擴縮容：瞬間能達到最大規格負載-按使用量計費：按 CPU 使用量，單位秒粒度-無使用無費用：冷啟動 2 秒那么我們的愿景就是建一座大壩來管理好上游的水資源，用來灌溉下游企業謝謝觀看THANKS