陶建輝-TDengine的創新與最佳應用場景（46頁）.pdf

1、 全球敏捷運維峰會 廣州站TDengine 的創新與最佳應用場景陶建輝 濤思數據創始人 全球敏捷運維峰會 廣州站大數據時代數據采集后被源源不斷的發往云端 全球敏捷運維峰會 廣州站通用大數據方案的挑戰：低效、復雜、高成本通常將開源的 Kafka,Redis,HBase,MongoDB,Cassandra,ES,Hadoop,Spark，Zookeeper 等大數據軟件拼裝起來，利用集群來處理海量數據。因牽涉到多種系統，每種系統有自己的開發語言和工具，開發精力花在了系統聯調上，而且數據的一致性難以保證。開發效率低非結構化數據技術來處理結構化數據，整體性能不夠，系統資源消耗大。因為多套系統，數據需要

2、在各系統之間傳輸，造成額外的運行代價。運行效率差每個系統都有自己的運維后臺，帶來更高的運維代價，出問題后難以跟蹤解決，系統的不穩定性大幅上升。運維復雜集成復雜，得不到專業服務，項目實施周期長，導致人力攀升，利潤縮水。應用推向市場慢 全球敏捷運維峰會 廣州站12346789510數據都是結構化的所有采集的數據都是時序的一個采集點的數據源是唯一的的數據很少有更新或刪除操作數據一般是按到期日期來刪除的數據以寫操作為主，讀操作為輔數據流量平穩，可以較為準確的計算數據都有統計、聚合等實時計算操作數據一定是指定時間段和指定區域查找的數據量巨大，一天的數據量就超過100億條物聯網、IT運維監測數據特征：時序

3、空間數據 全球敏捷運維峰會 廣州站TDengine 應運而生 全球敏捷運維峰會 廣州站TDengine:All in One的時序大數據平臺消 息 隊 列自帶消息隊列，無需 Kafka 或其他 MQ緩 存所有設備最新記錄實時返回數 據 庫實時數據庫，歷史數據庫操作合一透明流 式 計 算對一個或多個數據流實時聚合計算數 據 訂 閱最新的數據可實時推送到應用為時序數據處理提供全棧解決方案，無需再集成Kafka,Redis,Spark,HBase,Zookeeper等軟件，大幅降低系統架構的復雜度，而且極大提高數據處理的性能TDengine提供的功能 全球敏捷運維峰會 廣州站TDengine的產品競

4、爭力定義了創新的時序數據存儲結構，通過采用無鎖設計和多核技術，TDengine 讓數據插入和讀出的速度比現有通用數據庫高了1010倍倍以上。完整對比測試報告，請參閱：十倍以上的性能提升總擁有成本大幅下降由于超強性能，計算資源不到通用大數據方案的1/5；通過列式存儲和先進的壓縮算法，存儲空間不到通用數據庫的1/10。不用再集成Kafka,Redis,Spark,HBase等系列軟件，系統架構大幅簡化，產品研發成本大幅下降。全球敏捷運維峰會 廣州站TDengine 技術創新之處 全球敏捷運維峰會 廣州站TDengine ClusterV5V3V4V8dnode1 M1V7V6V2dnode 4V5

5、V7M0V4dnode 2V5V6V3V8dnode 5V2V7V6V8dnode 0dnode 3V3V2V4M2TAOSCAPPTAOSCAPP無單點故障多副本實時同步自動負載均衡無中心化水平擴展TDengine 系統結構 全球敏捷運維峰會 廣州站TDengine 的創新之一數據模型：一個數據采集點一張表 全球敏捷運維峰會 廣州站數據是時序的，都帶有時間戳數據是結構化的，而且以數字型為主除非固件更新，結構不會改變每個采集點都帶有靜態屬性標簽由于網絡或其他原因，每個采集點的數據到達服務器的時間是無法控制的，但每個采集點的采集數據到達服務器的相對順序是基本有保證的設備 ID時間戳采集數據標簽D

6、evice IDTime StampCurrentVoltagePhaseLocation Typed100115385486850003.132200.31BJ.chaoyang1d100215385486851008.212190.82BJ.haidian2d100115385486860003.112190.35BJ.chaoyang1d100315385486830005.411100.53BJ.daxing1d100215385486861008.112230.81BJ.haidian2d100215385486871308.152150.85BJ.haidian2d10011538

7、5486870003.152230.32BJ.chaoyang1d100315385486840005.511120.54BJ.daxing1d100315385486850005.601090.53BJ.daxing1d100215385486881008.192180.87BJ.haidian2d100315385486860005.621080.56BJ.daxing1d100115385486885003.192210.31BJ.chaoyang1很顯著的特點 物聯網典型場景：智能電表 全球敏捷運維峰會 廣州站設備ID:D1001,標簽 loc:BJ.chaoyang type:1Ti

8、me stamp CurrentVoltagePhase15385486850003.132200.3115385486860003.112230.3515385486870003.152190.3215385486885003.192210.33每張表里的記錄按時間自動排序新數據記錄的寫入變成簡單的追加操作數值按列的變化范圍更小設備ID、標簽不會重復存儲設備ID:D1002,標簽 loc:BJ.haidian type:2設備ID:D1003,標簽 loc:BJ.daxing type:2Time stamp CurrentVoltagePhase15385486851008.212190.

9、8215385486861008.112230.8115385486871308.152150.8515385486881008.192180.87Time stamp CurrentVoltagePhase15385486830005.411000.5315385486840005.511090.5415385486850005.601120.5315385486860005.621080.56一個采集點一張表帶來的直接變化一個數據采集點一張表 全球敏捷運維峰會 廣州站每張表的記錄按塊存儲每個數據塊包含一定數量的記錄條數每個數據塊帶有預計算0 1 2 3 4 5012345每個數據塊帶有sc

10、hema一張表往往有多個數據塊系統有塊索引，根據起止時間，迅速找到數據塊表的存儲：一塊一塊，塊內連續存儲 全球敏捷運維峰會 廣州站Time stampCurrentVoltagePhase15385486850003.132200.3115385486860003.112230.3515385486870003.152190.3215385486885003.192210.3315385486850001538548686000153854868700015385486885003.133.113.153.192202232192210.310.350.320.33大幅提高壓縮率：同一列數據相

11、近，便于壓縮；不同數據類型可采用不同壓縮算法大幅提高分析性能：時序數據的分析，往往是針對一個采集量在一個時間范圍段進行的。如果行式存儲，會讀取大量的無效數據15385486850003.132200.3115385486860003.112230.3515385486870003.152190.3215385486885003.192210.33Column-based StoreRow-based Store塊內數據采用列式存儲 全球敏捷運維峰會 廣州站 一個數據采集點一張表 一張表的數據按塊連續存儲 數據塊內采取列式存儲保證了單個數據采集點的插入和查詢效率是最好的TDengine 通過采用

12、以下幾點策略 全球敏捷運維峰會 廣州站TDengine 的創新之二超級表：多個數據采集點的高效聚合 全球敏捷運維峰會 廣州站 描述一張超級表，即一個數據采集點類型，需要定義 采集量的數據結構 schema 靜態標簽的數據結構 schema 為一個具體數據采集點創建表 以超級表為模板，表的schema就是超級表的采集量schema 給靜態標簽指定具體值超級表：用以描述某一種類型的數據采集點 全球敏捷運維峰會 廣州站create table smeter(ts timestamp,current float,voltage int,phase float)tags(loc binary(20),t

13、ype int);為智能電表這個設備類型建立一個 STable,采集量有電流、電壓和相位，標簽有位置和類型create table t1 using smeter tags(BJ.chaoyang,1);create table t2 using smeter tags(BJ.haidian,2);create table t3 using smeter tags(BJ.daxing,1);create table t4 using smeter tags(BJ.chaoyang,2);create table t5 using smeter tags(SH.pudong,1);create

14、table t6 using smeter tags(SH.Hongqiao,1);用 smeter做模板，為6個智能電表創建6張表，地理位置標簽為北京朝陽、海淀、上海浦東等TDengine超級表使用實例 全球敏捷運維峰會 廣州站Select avg(voltage),max(current)from smeters where loc=“BJ.chaoyang”查詢北京朝陽區所有智能電表的電壓平均值和電流最大值 超級表可以象普通表一樣查詢，但可以指定標簽的過濾條件 標簽可以多至128個，每個標簽代表一個維度 標簽可以事后增加、刪除、修改。這樣數據建模時，可以先不確定標簽或分析維度 每個標簽，

15、可以是一樹狀結構，比如 北京.朝陽.望京，這樣便于縮小搜索范圍Select avg(voltage)from smeters where type=1 and loc like“BJ%”查詢北京類型為1的智能電表的電壓平均值通過超級表進行聚合查詢、多維分析 全球敏捷運維峰會 廣州站標簽存儲策略：標簽數據單獨存儲，與時序數據完全分離 采用Key-Value型存儲，便于增刪改操作 每個數據采集點一條標簽記錄 標簽記錄集中在一起存儲，并建有索引優勢：與典型的NoSQL數據庫相比，因為不重復存儲標簽值，大幅節省存儲空間 做多維聚合分析時，先標簽過濾，找到需要聚合的采集點，大幅減少聚合的數據集 標簽記錄

16、總條數等于采集點的數目，但總量不大，可全內存處理，進一步提升查詢效率標簽的存儲 全球敏捷運維峰會 廣州站234516本質上，Tag Data是Dimension Table,而TS Data是Facts Table。換一個角度看，超級表的設計是兩級索引結構，一級索引是標簽，用于過濾數據采集點。二級索引是時間戳，用于過濾采集的時序數據6.TDengine將結果返回給App1.App向TDengine發起查詢請求主要流程：2.TDengine將標簽過濾條件發往標簽數據處理模塊3.標簽查詢模塊將符合過濾條件的采集點列表返回4.TDengine通知時序數據處理模塊對選擇的采集點在指定的時間段進行聚合操

17、作5.TDengine收到聚合后的結果Tag DataTime Series DataTDengineAppTDengine聚合計算流程 全球敏捷運維峰會 廣州站 大幅節省標簽的存儲空間 大幅提升多個數據采集點的聚合效率 讓多維分析方便、高效TDengine 是一強大的多維分析工具TDengine 通過超級表的設計 全球敏捷運維峰會 廣州站TDengine其他亮點其他亮點 全球敏捷運維峰會 廣州站實際場景中，經常需要將一段時間的數據進行聚合，比如downsampling,采樣頻率為一秒一次，但最終只記錄一分鐘的平均值。TDengine引入關鍵詞interval,以進行時間軸上的聚合操作。時間軸

18、的聚合既可以針對單獨一張表，也可以針對符合標簽過濾條件的一組表進行。select avg(voltage)from t1 interval(5m);查詢智能電表t1記錄的電壓每五分鐘的平均值select avg(voltage)from smeter where loc like“BJ%”interval(5m);查詢北京所有智能電表記錄的溫度每五分鐘的平均值TDengine 時間軸上的數據聚合 全球敏捷運維峰會 廣州站目前支持Avg,Max,Min,Percentile,Sum,Count,Dev,First,Last,Diff,Scale,WAvg,Spread等操作。計算是針對時間段，同

19、時可針對一張表或符合過濾條件的一組表進行聚合。實時計算的衍生數據可以實時寫入新的表，方便后續的查詢操作。衍生數據還可以與其他原始數據或其他衍生數據進行各種聚合計算，生成新的數據。select avg(voltage)from smeter where loc like BJ%interval(5m)sliding(1m);每隔一分鐘計算北京剛剛過去的五分鐘的電壓平均值create table d1 as select avg(voltage)from smeter where loc like BJ%interval(5m)sliding(1m);每分鐘計算一次北京剛過去的5分鐘的電壓平均值，

20、并寫入新的表d1TDengine 實時 Stream 計算 全球敏捷運維峰會 廣州站類似流行的Kafka，應用可以訂閱數據流，只要數據有更新，應用將得到及時通知訂閱時，應用只要指定表名（可以是超級表）和開始時間即可,還可指定過濾條件APP 1APP 2APP 3Meter數據采集點Meter數據采集點TDengineCluster數據訂閱 全球敏捷運維峰會 廣州站極冷數據熱數據溫數據冷數據最近1小時內最近10天最近6月最近3年按照時間自動遷移數據到不同存儲介質，只需簡單配置時間范圍和對應存儲路徑。內 存固態硬盤本地硬盤S3TDengine 數據的多級存儲 全球敏捷運維峰會 廣州站16,100+

21、Star 數4,100+Fork 數8,000+PR&Issue 數單機版開源集群版開源2019.07.122020.08.03項目開源時間Star 數據Fork 數據InfluxDB201322,2003,000OpenTSDB20114,5001,200TimeScale201711, 全球敏捷運維峰會 廣州站 全球敏捷運維峰會 廣州站TDengine 最佳應用場景 全球敏捷運維峰會 廣州站順豐科技大數據監控：改造前 全球敏捷運維峰會 廣州站順豐科技大數據監控：改造后 全球敏捷運維峰會 廣州站寫入性能：集群寫入速度最高達到90w條/s，通常情況為20w條/s查詢性能（OpenTSDB需要十

22、幾秒）在使用預計算函數情況下，查詢p99都在0.7秒以內在做大跨度（6個月）非預計算查詢情況下，首次查詢耗時在十秒左右，后續類似查詢耗時會有大幅下降（2-3s）成本方面服務器物理機從21臺降至3臺所需存儲空間約為OpenTSDB+HBase的1/10采用TDengine之后的表現 全球敏捷運維峰會 廣州站得物流量監控 全球敏捷運維峰會 廣州站大批量寫入，耗時基本在10ms可以通過調整SQL語句進一步優化存儲容量：壓縮率達10%查詢性能優異采用TDengine之后的表現 全球敏捷運維峰會 廣州站同花順組合管理業務 全球敏捷運維峰會 廣州站理想汽車車聯網場景 全球敏捷運維峰會 廣州站Telegra

23、f+TDengine+Grafana 組合：無需代碼、搭建一個高效的IT運維監測平臺GrafanaTelegraf CPURAMNETNGIX DB Telegraf CPURAMNETNGIX DBTDengine集 群(替換InfluxDB)InfluxDB用戶 全球敏捷運維峰會 廣州站 集 群：TDengine集群開源，而InfluxDB集群閉源 寫入速度：TDengine是InfluxDB的2-8倍 查詢速度：TDengine是InfluxDB的1-20倍，特別是歷史數據查詢，差異明顯 存儲效率：TDengine存儲空間是InfluxDB的50%緩 存：TDengine具備緩存，不需要

24、安裝redis與InfluxDB相比的優勢 全球敏捷運維峰會 廣州站簡單三步1.將TDengine 與濤思數據提供開源的 BLM 同時部署2.將Telegraf指向InfluxDB的URL改為BLM即可3.在Grafana里配置濤思數據提供的對應dashboard，或自己重新配置不用寫任何代碼，輕松搞定從InfluxDB遷移的成本 全球敏捷運維峰會 廣州站collectd/statd+TDengine+Grafana 組合：無需代碼、搭建一個高效的IT運維監測平臺Grafanacollectd/statd CPURAMNETNGIX DB collectd/statd CPURAMNETNGI

25、X DBTDengine集 群(替換OpenTSDB)OpenTSDB用戶 全球敏捷運維峰會 廣州站 部 署：部署極其簡單，不用HBase,Zookeeper等臃腫龐大的系統 寫入速度：TDengine是OpenTSDB的10倍以上 查詢速度：TDengine是OpenTSDB的10倍以上 存儲效率：TDengine存儲空間是OpenTSDB的10%緩 存：TDengine具備緩存，不需要安裝redis 流式計算：TDengine支持連續查詢，無需第三方軟件與OpenTSDB相比的優勢 全球敏捷運維峰會 廣州站簡單三步1.將TDengine 與濤思數據提供開源的 BLM 同時部署2.將coll

26、ectd/statd等Agent指向OpenDB的URL改為BLM即可3.在Grafana里配置濤思數據提供的對應dashboard，或自己重新配置不用寫任何代碼，輕松搞定從OpenTSDB遷移的成本 全球敏捷運維峰會 廣州站對象：市值或估值在10億美金以上的公司，有時序數據處理的場景和需求。計劃的價值：1.產品賦能：利用TDengine提升時序數據處理能力，大幅降低TOC2.原廠支持：濤思數據免費提供2年企業級技術支持，免除后顧之憂3.人才培養：濤思數據輸送講師，幫助企業專家深入掌握TDengine4.品牌推廣：與參加企業聯合進行品牌推廣活動，提升影響力燈塔計劃 全球敏捷運維峰會 廣州站北京

27、濤思數據科技有限公司(TAOS Data)專注時序空間數據的采集、存儲、查詢、計算和分析。不依賴任何開源或第三方軟件，開發了擁有自主知識產權、自主可控的高性能分布式時序空間數據引擎TDengine，公司于2017年6月獲得明勢資本和蠻子基金的天使投資，后續又獲得GGV、紅杉中國、經緯中國、永輝瑞金等多家專業機構近7000萬美元投資。About TAOS Data北京望京保利國際廣場公司創始人陶建輝在美國留學工作十多年后，回國創業，曾成功創辦了“和信”與“快樂媽咪”兩家高科技企業。公司研發團隊全部畢業于名牌大學，都擁有碩士或博士學歷，在分布式計算、數據存儲和數據庫上有多年的研發經驗。全球敏捷運維峰會 廣州站THANK YOU！