《千萬Feeds流系統的存儲技術揭秘-飛天技術匯(17頁).pdf》由會員分享,可在線閱讀,更多相關《千萬Feeds流系統的存儲技術揭秘-飛天技術匯(17頁).pdf(17頁珍藏版)》請在三個皮匠報告上搜索。
1、千萬Feeds流系統的存儲技術揭秘高級技術專家 木洛飛天技術匯-存儲和數據庫專場概念介紹Feeds流系統架構TableStore Timeline概念介紹 FeedFeed:實時消息:實時消息 FeedsFeeds流:實時流:實時推送推送的的有序有序的可的可擴散擴散的消息流的消息流 消息排序:時間線、消息排序:時間線、RankRank基本概念常見Feeds應用朋友圈功能需求功能需求 人與人之間組建好友關系人與人之間組建好友關系 朋友圈用于查看好友圈內的人發送的所朋友圈用于查看好友圈內的人發送的所有消息,按更新時間排序有消息,按更新時間排序 廣告系統可向朋友圈內插入廣告消息廣告系統可向朋友圈內插
2、入廣告消息 個人相冊用于查看個人發送的所有消息個人相冊用于查看個人發送的所有消息Feeds流系統架構系統架構端端 發送和接收消息發送和接收消息接入層接入層 一組無狀態消息服務器一組無狀態消息服務器 直接與后臺服務通信直接與后臺服務通信后臺服務后臺服務 消息系統消息系統:對消息做持久化;:對消息做持久化;根據好友關系將消息同步給所根據好友關系將消息同步給所有好友有好友 廣告系統廣告系統:根據人群畫像,定:根據人群畫像,定向廣告投放向廣告投放系統設計要點數據特征讀多寫少(100:1)簡單模型弱關系型波峰波谷式訪問消息存儲在線永久存儲,高可靠海量消息(PB級,萬億行)消息同步海量消息(千萬TPS)實
3、時、多端同步同步模型:寫擴散 vs 讀擴散NoSQL解決方案傳統關系型數據庫表格存儲(分布式NoSQL)容量TB 10PB服務能力十萬TPS千萬TPS分布式支持分庫分表原生支持售賣模式按規格計費按量計費數據模型關系型,強Schema弱關系型,弱SchemaTableStore Timeline Timeline 每個消息擁有一個順序ID(SeqId),保證SeqId的遞增性。支持根據某個SeqId進行隨機定位,正序或逆序讀取特定范圍內的數據。消息推送和消息存儲使用相同的模型Timeline模型TableStore(分布式NoSQL數據庫)BigTable模型LSM存儲引擎(極大優化寫)容量型提
4、供低成本存儲,高性能型提供低延遲讀PB級存儲,毫秒級延遲消息存儲庫存儲每個人的個人相冊數據PB級數據低成本永久存儲消息同步庫寫擴散寫入消息到用戶收件箱,要求提供高并發寫及低延遲讀存儲每個用戶的收件箱數據,數據生命周期為半年基于Timeline的消息系統 低成本、海量數據存儲:PB級數據存儲,提供數據生命周期管理。高并發、低延遲讀:毫秒級消息寫入和同步延遲,支持千萬TPS。簡易編程模型:提供簡單的抽象模型(TableStore Timeline),理解和實現簡單。TableStore Timelinehttps:/ 入門指南 場景及解決方案 數據通道 開發實踐 高可用建設 技術分享TableStore場景白皮書掃碼掃碼進釘釘交流群進釘釘交流群 架構討論 存儲模型設計 使用問題反饋 直接與開發交流 用戶間共享經驗TableStore專家服務THANKS飛天技術匯-存儲和數據庫專場