《Redis集群演進的心路歷程(24頁).pdf》由會員分享,可在線閱讀,更多相關《Redis集群演進的心路歷程(24頁).pdf(24頁珍藏版)》請在三個皮匠報告上搜索。
1、從2.x到3.0時代王新春平安健康互聯網 技術保障團隊Redis集群演化的心路歷程基于Redis 2.x的KV存儲Redis 3.0 Cluster時代Redis Client的改進目 錄content大數據平臺中的KV存儲KV存儲OLAP引擎報表數據監控系統開發平臺主數據權限實時離線調度數據庫Hadoop/Hive離線計算Storm/Spark(準)實時計算報表流量分析運營分析畫像在線服務應用/安全數據打點數據KV存儲的基本要求1.大容量,支持TB級別存儲2.高性能3.功能豐富一、基于Redis 2.x的KV存儲優勢:水平擴展缺點:不滿足在線核心業務SLA(99.9%響應 0tryRando
2、mNode=trueJedisMovedDataExceptionrenewSlotCacheToo many Cluster redirections?YNw.lockToo many Cluster redirections?Solution:redirections=1為解決集群遷移、擴容和節點主從切換的訪問失敗1.后臺定期renewSlotCache2.增加SocketTimeoutException計數器,超過閾值,觸發renewSlotCache3.當前同一slot的connection已經在renewSlotCache,則等待結果并返回基于node級別的multi 和pipeline+pipelineWithNode+mutiWithNode開發使用建議Key設計TTLHash VS JSONhash/list/set/sorted set的Item數量Value序列化操作的時間復雜度o(1)?o(n)?Redis Next?SSD 非易失性存儲