字節跳動Serverless容災實踐

1、劃和展望規劃和展望經典案例分享經典案例分享專項測試平臺建設分享大綱主辦方,背景和團隊介紹規劃和展望經典案例分享專項測試平臺建設分享目錄主辦方,背景,全景式優化和提升短視頻體驗短視頻用戶的整個體驗周期是什么商店下載安裝啟動應用,登錄,瀏覽視頻。

2、能團隊負責人履歷,先后就職于騰訊,百度等互聯公司專業,主要從事工程效能質量保障領域相關作,包括工程效能服務化,算法應用研究,質量保障團隊管理等2019年加字節跳動請插入您的照片講師簡講師簡介介,主辦方,目錄講師簡介背景AI技術賦能反饋中臺的。

3、未來規劃整體介紹在字節跳動的發展歷程,開源,開始基于,分支構建內部的平臺,基于,的平臺上線,上線基于,平臺,上線基于,平臺,貢獻一名,批流一體落地基于,的擴展,擴展,計算列,聲明,自定義,維表。

4、涌現大量測試方法論和工具鏈服務化建設,這兩年在國內互聯網界,智能測試方興未艾,結合字節跳動互娛質量保障的實踐,介紹下AI是怎么賦能智能測試的,剪映,抖音官方剪輯工具產品目標,n國際化出海n核心剪輯工具,剪同款,出海演示Demo,剪同款模板剪。

5、量覆蓋率監測數據傳輸產品拆分數據聚合覆蓋率計算倉庫源碼關聯報告存儲編譯平臺上傳插樁信息覆蓋率插樁產物部署執上報數據新建全量查看全量名單數據消費新建增量查看增量名單被插樁模塊模塊1模塊2起區間增量運算數據匹配增量分析代碼克隆商3,0,多業務多。

6、rowingrequirementswithfi,edresourcesNeedtoachievemorewithlessbatteryconsumptionImplementationcomple,ityAlmostmonolithica。

7、任務,需求,延遲敏感,時效性要求高,規則動態更新數據分流場景需求,要求,不接受斷流,數據延遲,分流規則動態更新抖音埋點電商直播短視頻抖音埋點電商直播短視頻數據流挑戰任務規模大峰值流量超億秒流量大數據鏈路最上游業務多需求變化頻繁業務多穩定性時。

8、大量的數據量和計算量,EB級別海量的存儲空間每天平均70PB數據的增量每秒鐘百萬次數的實時推薦請求超過400萬核的流式計算資源,500萬核的批式計算資源巨大的挑戰巨大的挑戰目前目前遇到的遇到的典型問題典型問題一,一,數據和系統冗余問題數據和。

9、成方每日超過,用戶通過第三方平臺集成的方式間接使用,風神,發展歷程,查詢,可視化查詢豐富的展現形式數據集便捷的數據導入項目中心用戶,權限管理大屏移動端更豐富的展示形式開放平臺更方便地被集成多語言多時區更好地服務海外用戶儀表盤多圖表的展示和分。

10、天埋點量1億,秒峰值流量埋點成本治理背景,為什么要治理埋點機器資源成本運維SLA埋點成本治理背景,在字節內取得的效果與收益應用于抖音,頭條等多個業務,覆蓋85,業務通過無用埋點下線,在2021年節省成本近億元通過埋點分級,節省100,PBH。

11、地保障治理大目標,無法顧及業務個性需求ROI評估,治理收益,時間周期,業務影響人員能力參差不齊,對齊目標和優先級困難治理操作依靠人,規范對人的偏差操作容忍度低組織文化差異,數據治理落地的方法,挑戰,成效各異角色多,范圍廣,鏈路長治理目標對齊。

12、接受斷流,數據延遲2,分流規則動態更新業務場景,容災降級,需求1,支持多機房容災部署2,具備機房間快速切流能力3,具備服務降級能力埋點數據流遇到的挑戰,流量大業務多穩定性治理成本治理埋點數據流建設實踐02,ETL鏈路建設,發展歷程,2018。

13、不可避免的會出現一些偏臨時,偏剛性的要求和機制,在完成合規要求的同時,必須兼顧內部業務運轉的效率治理原則保證合規,兼顧效率字節跳動大數據安全產品體系,安全原則法律法規制度國家安全法數據安全法個人信息保護法個人數據使用規范數據權限審批流程PI。

14、務現狀與背景介紹架構簡介環境管理與組件服務統一的日志監控告警業務現狀與背景介紹背景介紹組件繁多大數據領域很多工作都需要眾多組件配合完成部署復雜部署一套完整的生產環境需要管理復雜的依賴條件和配置輸入環境耦合組件與所在環境耦合嚴重,移植困難云原。

15、自研單集群節點,單集群數據量,三機房架構階段三,全面支持近在線業務單集群節點,單集群數據量,多機房架構字節跳動架構,及限流,白名單統計基線配置元數據,如,等,層為聯邦集群提供全局統一的目錄視圖限流熔斷權限元數據層,版本,共享的存儲數據層,數。