蔡岳毅-基于ClickHouse+StarRocks構建支撐千億級數據量的高可用查詢引擎（15頁）.pdf

1、 全球敏捷運維峰會 廣州站基于ClickHouse+StarRocks構建支撐千億級數據量的高可用查詢引擎演講人：蔡岳毅 全球敏捷運維峰會 廣州站1.為什么選擇ClickHouse/StarRocks；2.ClickHouse/StarRocks的高可用架構；3.如何合理的應用ClickHouse的優點，StarRocks 如何來補充ClickHouse 的短板；4.ClickHouse的調優，運維介紹；5.應用總結；全球敏捷運維峰會 廣州站根據實際業務場景需要來選擇1.不固定的查詢條件，不固定的匯總條件；2.數據量日益增量，每天要更新的數據量也不斷增大；3.業務場景不斷增多，涉及面越來越廣；

2、4.需要保證高可用并秒出；5.從Sql，Es，CrateDB，Kylin，Ingite，MongoDB，Hbase 不斷的研究，實踐；全球敏捷運維峰會 廣州站ClickHouse 的特點優點：優點：1.數據壓縮比高，存儲成本相對非常低；2.支持常用的SQL語法，寫入速度非?？?，適用于大量的數據更新；3.依賴稀疏索引，列式存儲，cpu/內存的充分利用造就了優秀的計算能力，并且不用考慮左側原則；缺點：缺點：1.不支持事務，沒有真正的update/delete；2.不支持高并發，可以根據實際情況修改qps相關配置文件；全球敏捷運維峰會 廣州站StarRocks的特點優點：優點：1.支持標準的SQL語

3、法，兼容MySql協議；2.MPP架構，擴縮容非常簡單方便；3.支持高并發查詢；4.跨機房部署，實現最低成本的DR缺點：缺點：1.不支持大規模的批處理；2.支持insert into，但最理想的是消費Kafka；全球敏捷運維峰會 廣州站ClickHouse/StarRocks在酒店數據智能平臺的架構 全球敏捷運維峰會 廣州站ClickHouse的全量數據同步流程 1.清空A_temp表，將最新的數據從Hive通過ETL導入到A_temp表;2.將A rename 成A_temp_temp;3.將A_temp rename成 A;4.將A_ temp_temp rename成 A_temp;其他

4、方式：1.采用 waterdrop 的方式大幅提升寫入速度；2.直接讀Hdfs文件的方式，但內存波動較大；全球敏捷運維峰會 廣州站ClickHouse的增量數據同步流程傳統方式：1.將最近3個月的數據從Hive通過ETL入到A_temp表;2.將A表中3個月之前的數據select into到A_temp表；3.將A rename 成A_temp_temp;4.將A_temp rename成 A;5.將A_ temp_temp rename成 A_temp;非傳統：在第2步采用：ALTER TABLE A REPLACE PARTITION 分區名 FROM A_temp 全球敏捷運維峰會 廣州

5、站針對ClickHouse的保護機制1.被動緩存；2.主動緩存；全球敏捷運維峰會 廣州站ClickHouse集群架構虛擬集群最少兩臺機器在不同的機房；數據獨立，多寫，相互不干擾；數據讀取通過應用程序做負載平衡；靈活創建不同的虛擬集群用于適當的場合；隨時調整服務器，新增/縮減服務器；分布式：k8s的集群式部署 全球敏捷運維峰會 廣州站采用ClickHouse后平臺的查詢性能system.query_logsystem.query_log表，記錄已經表，記錄已經執行的查詢記錄執行的查詢記錄query：執行的詳細SQL，查詢相關記錄可以根據SQL關鍵字篩選該字段query_duration_ms：執

6、行時間memory_usage：占用內存read_rows和read_bytes：讀取行數和大小result_rows和result_bytes：結果行數和大小以上信息可以簡單對比SQL執行效果 全球敏捷運維峰會 廣州站采用ClickHouse后平臺的查詢性能 全球敏捷運維峰會 廣州站ClickHouse應用小結數據導入之前要評估好分區字段；數據導入時根據分區做好Order By；左右表join的時候要注意數據量的變化；是否采用分布式；監控好服務器的cpu/內存波動/system.query_log；數據存儲磁盤盡量采用ssd；減少數據中文本信息的冗余存儲；特別適用于數據量大，查詢頻次可控的場景，如數據分析，埋點日志系統；全球敏捷運維峰會 廣州站StarRocks應用小結發揮分布式的優勢，要提前做好分區字段規劃；支持各種join，語法會相對clickhouse簡單很多；一個sql可以多處用；建立好守護進程以及節點監控；全球敏捷運維峰會 廣州站THANK YOU！