騰訊云TCHouse-D 開源共建與商業化成功之路.pdf

《騰訊云TCHouse-D 開源共建與商業化成功之路.pdf》由會員分享，可在線閱讀，更多相關《騰訊云TCHouse-D 開源共建與商業化成功之路.pdf（20頁珍藏版）》請在三個皮匠報告上搜索。

1、騰訊云 TCHouse-D：開源共建與商業化成功之路李德Apache Doris PMC 成員騰訊云 TCHouse-D 研發負責人Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit A

2、sia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023李德原百度 Palo 團隊核心開發者和開源技術負責人Apache Doris PMC 成員Apache Doris Committer騰訊云 TCHouse-D 研發負責人Doris Summit Asia 2023Doris Summit Asia 2023Doris Su

3、mmit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023

4、Doris Summit Asia 2023Doris Summit Asia 2023騰訊云 TCHouse-D：穩定可用的企業級實時數據倉庫開箱即用簡單易用高并發查詢性能卓越彈性伸縮安全可靠Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris

5、 Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023目錄2.TCHouse-D 如何做到企業級穩定可用3.開源共建、開放共贏1.構建企業級實時數據倉庫平臺的思考Doris Summit Asia 2023Doris Summit Asia 2023Doris Sum

6、mit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023D

7、oris Summit Asia 2023Doris Summit Asia 20231構建企業級實時數據倉庫平臺的思考Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 20

8、23Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023企業級需求與開源項目之間的差異除了產品文檔以外，企業客戶對于文檔內容有更高的質量要求，并需要有更多的使用示例與實踐資料，以充分幫助客戶更好地掌握產品使用。更完善的產品資料及時的支持響應開源項目選擇上下游項目適配時會充分考慮共性需求，而企業客戶真實需求多種多樣、可能存在歷史包袱，為了與已有

9、系統兼容需要進行定制化改造。上下游生態的兼容適配開源項目往往采取社區協同開發模式，通過快速迭代來引入新特性，而企業客戶更追求穩定可用、非必要情況下會少升級以避免對線上業務的影響。更加穩定可靠開源項目往往采取基于異步的郵件溝通模式，支持力度很大程度依賴開源項目維護者的人力投入，而企業客戶選擇付費、往往需要有更高的響應要求。Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris S

10、ummit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris 支持豐富的數據生態，也帶來更多兼容性要求兼容MySQL，兼容大數據生態My

11、SQL高度兼容MySQL協議，使用標準SQL。所有對MySQL生態友好的傳統數倉業務，Doris都非常適合承接，可以直接融入到數倉生態中使用。多種數據源和多種數據導入方式以及對騰訊云生態工具的支持多種數據源&多種導入方式Stream Load（本地文件）、Broker Load（HDFS數據）、S3 Load（對象存儲COS）、Routine Load（Kafka 數據）、Flink Connector（支持exactly-once）、Spark Connector、MySQL數據寫入、使用DataX導入、從 Logstash 導入跨源數據融合，聯邦查詢Doris on ESDoris 可以讀

12、取 Elasticsearch 中存儲的數據，為Elasticsearch 提供強大的分布式 SQL 查詢層。Doris on Hive/Iceberg/Hudi支持多源數據目錄，幫助企業完成湖倉一體架構。HadoopDoris不依賴其他組件，但兼容Hadoop體系，例如Flink、spark、kafka、ES、Hive等，非常適合簡化數據鏈路，降低運維成本，并能夠進行Hadoop數倉加速。ODBC/JDBC數據庫支持 Multi-Catalog/外表方式查詢支持ODBC/JDBC 協議的所有數據庫Doris+Oceanus/DataInLong支持通過Oceanus實時寫入doris，具備低

13、代碼ETL、分庫分表、整庫同步等能力通過WeData/InLong實時/離線寫入、數倉開發Doris+BI騰訊云 Doris 與騰訊云 BI 無縫連接，支持白屏化操作，3分鐘進行數據探索和數據報表。Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Dor

14、is Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023快速版本迭代的背后，代碼質量和版本穩定性同樣經受考驗Doris 0.15（2021.11）Doris 1.1（2022.06）Doris 1.2（2022.12）Doris 2.0（2023.08）700+項優

15、化和修復動態分區Unique模型支持Update 語法CTAS 語法支持支持直接對接 Canal Server 同步 MySQL binlog 數據Stream load支持事務提交Spark-Doris-Connector 支持數據寫入 Doris1790+項優化和修復支持通過 Flink CDC 同步更新和刪除數據Hive 和 Iceberg 外表引入向量化執行引擎Spark Load 支持 Parquet 和 Orc 文件引入 MemTracker 避免 OOM支持數據隨機分布3670+項優化和修復全面的向量化,查詢性能 3-11 倍的提升Merge-on-Write 的數據更新模式Mu

16、lti-Catalog 多源數據目錄引入了 Light Schema Change 輕量表結構變更Java UDF 和 Romote UDF Array 數組類型和 JSONB 類型4595+項優化和修復盲測性能 10 倍+全新查詢優化器倒排索引支持行存支持，點查詢并發能力提升 20 倍自適應的并行執行模型跨集群數據復制Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris S

17、ummit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris 社區版本迭代快速演進Doris 開發主分支1.2.0-1.2.70.151

18、.0.01.1.0-1.1.51.10.142021.020.14 發布，有近60 位貢獻者提交了390 項優化和修復。2022.031.0.0 發布，是迄今為止對 Apache Doris 核心代碼重構幅度最大的一個版本！有 114 位 Contributor 為 Apache Doris 提交了超過 660 項優化和修復2021.110.15發布，有 99 位 貢獻者提交了近 700 項優化和修復2022.06 2022.121.02022.122023.08版本貢獻人數PR 數目1.1.0904201.1.1723381.1.2371701.1.327891.1.428621.1.519

19、51共計11301.2.0 發布，有近 118 位貢獻者提交了超 2400 項優化和修復1.22.0版本貢獻人數PR 數目1.2.011824001.2.1451891.2.2522181.2.3521991.2.4683211.2.520331.2.6521691.2.750142共計3671版本貢獻人數PR 數目2.0.027541002.0.1694012.0.24594共計45952023.01 2023.092.0.0 發布：10倍性能提升全新CBO引入行存2.0.0-2.0.2倒排索引Pipiline執行器冷熱分層Doris Summit Asia 2023Doris Summit

20、 Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Dori

21、s Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 20232TCHouse-D 如何做到企業級穩定可用Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia

22、2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023騰訊云上線企業級產品后的經驗總結25%15%5%20%35%功能豐富帶來的兼容性適配：從導入、外表到多源數據目錄的生態支持應對企業客戶的更高響應時效：包括POC和售后完善監控告警和增加巡檢更充分的測試和最完善的文檔需求社區快速迭代版本與企業

23、級穩定產品的平衡：兩年內社區發布多個性能功能全面進化的版本企業級產品需要針對客戶需求提供更高效與更穩定的服務Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Dori

24、s Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023過去兩年對 TCHouse-D 運維中的客戶問題進行分類整理工單問題 1200+我們對包括工單、POC 和100多個技術支持群的所有約1400個問題進行了分析調研和分類整理POC 和技術群的問題200+兼容性問題25%現有系統未滿足的用戶新需求10%服務或技術支持問題20%客戶問題5%監控告警資源問

25、題5%產品或文檔缺陷35%Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023D

26、oris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023客戶問題分類整理表一大類別小類別應對策略具體描述產品或文檔缺陷（35%）內核功能缺陷測試復現、開發需求排期OOM、Core dump 各種功能缺陷等等管控功能缺陷測試復現、開發需求排期管控功能的各種缺陷生態功能缺陷測試復現、開發需求排期Doris 周邊生態，包括與開源組件和騰訊云上產品的生態打通中的各種功能缺陷操作系統或者鏡像配置參數問題測試復現、開發需求排期例如需要添加路由等文

27、檔手冊缺陷確認和需求排期文檔手冊中錯誤、遺漏等問題兼容性問題（25%）升級內核版本導致的兼容性問題測試復現、開發需求排期新舊版本由于功能、配置差異導致的問題與 Hadoop 生態的兼容性問題測試復現、開發需求排期與不同組件版本配合使用中的兼容性問題與騰訊云產品的兼容性問題測試復現、開發需求排期與騰訊云產品，例如inlong、wedata、EMR、Oceaneas等產品的兼容性問題現有系統未滿足的用戶新需求（10%）產品功能和性能需求需求單排期用戶根據自己的需要提出的對產品功能和新能的新需求最佳實踐文檔需求需求單排期在配置或者使用某項功能時缺乏的文檔指導內核版本升級需求需求單排期用戶主動或者被要

28、求的內核版本升級需求報錯信息不明確需求單排期內核和管控報的錯誤無法幫助用戶接下來的操作性能優化需求需求單排期性能調優最佳實踐文檔性能未達到用戶預期的問題，例如購買集群、導入數據、查詢、遷移性能不如用戶預期Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023

29、Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023客戶問題分類整理表二大類別小類別應對策略具體描述服務或技術支持問題（20%）產品使用咨詢產品文檔騰訊云官網 Doris 產品的文檔POC 支持問題POC研發支持POC 過程中發現的各種問題監控告警和巡檢缺

30、失管控排期開發監控告警和巡檢未發現，但是應該支持的功能遷移問題最佳實踐文檔遷移工具開發從ADB、Holo、自建Doris、CK等各種其他數倉遷移過來的過程中出現的問題客戶問題（5%）客戶使用姿勢問題最佳實踐文檔包括使用姿勢不對或者輸入有錯誤客戶自身環境等問題最佳實踐文檔客戶自身原因導致的問題，大部分也可以通過提供最佳時間文檔指導用戶避免犯錯監控告警資源問題（5%）內存、CPU或負載高集群巡檢自動拉工單由于查詢或者寫入導致的負載高系統盤、數據盤打滿集群巡檢自動拉工單系統盤打滿需要運維分析處理；數據盤打滿需要告知用戶，用戶決定是清理部分數據還是擴容磁盤磁盤、網絡等軟硬件故障集群巡檢自動拉工單磁盤、

31、網絡、虛機等軟硬件故障導致的問題Doris 監控指標異常集群巡檢自動拉工單監控指標異常導致的問題Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summ

32、it Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023TCHouse-D 企業級穩定性版本開發迭代1、分類整理、確定范圍2、調研測評、列出代辦3.解決問題、保障穩定基于社區 Doris 內核版本演進文檔補全穩定/新(實驗性)/禁用功能點清單性能基線測試報告重新整理完善產品文檔完善最佳實踐文檔和售后培訓材料改進服務POC 研發一對一支持重保群+VIP群+工單 機制監

33、控告警+自動巡檢+人工處理需求開發穩定性修復需求開發管控穩定性增強修復需求開發內核各版本功能點明細管控和生態需求明細內核開發需求明細產品文檔改進和新增列表最佳實踐文檔新增列表監控項分類明細客戶歷史問題分類整理內核各版本功能點 140+監控告警巡檢項40+技術支持客戶服務產品文檔最佳實踐220+管控生態功能點 100+用戶問題1400+Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023

34、Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023TCHouse-D 基于 Apache Doris 的內核版本演進Dor

35、is 社區開發主線TCHouse-D 開發主線1.2.61.2.61.2.71.2.71.22.02.01.22.0.12.0.1與社區 Apache Doris 保持 100%兼容對客戶需求的開發進主維護+社區共建動態跟進重安全漏洞和 bug fix提供穩定的版本并進長周期持通過監控和巡檢預見性發現并解決問題全托管、包運維式持新業務上線和產品使咨詢、培訓，以及全位的售后持穩定功能未充分測試潛在bug新增功能圖例1.2.81.2.8引社區的修復保持與社區兼容cherry-pick 合穩定功能的bug修復不合潛在bug功能點合，輸出檔未充分測試已有功能點改動測試后決定是否合新增功能點Doris

36、Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 20

37、23Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 20233開源共建的一些探索和思考Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 202

38、3Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023從社區到商業化：開源軟件如何取得成功Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia

39、 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Sum

40、mit Asia 2023Community Over Code：立足社區、回饋社區，與社區一同成長在騰訊云TCHouse-D商業化獲得成功的同時，也將投入更多資源回饋社區，提升 Apache Doris 社區在全球范圍的技術影響力。商業化成功反哺社區截止目前已經培養了2名Committer、十余位Contributor，貢獻了Paimon Catalog等重要特性，后續仍將深度參與社區貢獻。培養多名Committer和貢獻者在多個外部大會進行技術布道，聯合主辦 Doris Summit Asia 2023 首屆線下峰會，積極投身于社區推廣宣傳。積極參與社區活動將騰訊云TCHouse-D在服務

41、客戶過程中遇到的需求與問題進行沉淀，及時反饋至社區，并參與社區的聯合研發以及文檔優化工作。需求反饋、代碼貢獻與文檔共建Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 202

42、3Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023獲取更多社區動態與最佳實踐Doris Summit 峰會官網：doris- Doris Summit 峰會回放：https:/ Doris 官網：doris.apache.orgApache Doris GitHub： Doris 官方平臺：Doris Summit Asia 2023Do

43、ris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023