劉煒-2023RustChinaConf大會.pdf

1、第三屆中國Rust開發者大會使用Rust與ClickHouse構建高效可靠的日志系統劉煒騰訊云（專有云）自我介紹系統介紹整體架構系統實現遇到問題大綱自我介紹自我介紹大齡碼農做過嵌入式/CDN/數據庫開發從C/C+到Rust現在在騰訊云（專有云）從事日志系統的開發自我介紹PhoTto/image/chart系統介紹系統介紹系統介紹 屬于騰訊專有云PaaS平臺(TCS)承接TCS底座日志 從Loki=Menicus 提供日志的搜索/報警/處理等功能系統介紹 為什么放棄 Loki 資源占用過大 統計/計算能力比較弱 組件過多，排查問題比較困難 商業使用不友好的開源協議 為什么選擇Mencius+Cl

2、ickHouse 存儲計算與業務分離 計算/統計能力更強 資源占用更小，性能更好 更友好的開源協議系統介紹 多種接入方式 Agent Client 查詢 LogQL OpenTSDB 其他功能 多租戶 自定義索引 多維度統計 鑒權.系統介紹 寫入每天 100G 磁盤壓縮比 1:13 內存Mencius200M左右ClickHouse2G以下 接入端 API Gateway 日志服務(Mencius)存儲(ClickHouse)整體架構 協議層 處理層 計算層 存儲層系統實現協議層支持協議Loki寫入Json/ProtoBuf查詢LogQLLog QueriesMetric QueriesOpe

3、nTSDB統計/計算協議層 Parser 手寫 為什么？LogQL=Token=AST=SQL 測試 Fuzz testing處理層Processor初始化靜態/動態執行讀/寫結構prediccateprocess(&self,streams:Streams)-Streams類型修改原始數據抽取原始數據字段Json/LogFmt計算層大部分計算交給ClickHouseAggregation operatorsVector 的計算報警使用Binary operator,=Vector matching匹配兩個Vector存儲層WAL移植LevelDB的 WAL定長的 BlockBatch 寫入 ClickHouseFlush Worker異步任務定時刷新 WAL清理策略Schema同步轉換SQL存儲層ClickHouse使用Array來保存 Labels物化列Lowcardinality(String)加速查詢Skipping Indexes日志全文索引問題RustLifetime侵入性比較強庫質量參差不齊ClickHouse 可運維性弱 強Schema帶來不夠靈活的缺點全文索引支持比較弱Thank you！