飛天操作系統中國科技的創新力量（21頁）.pdf

《飛天操作系統中國科技的創新力量（21頁）.pdf》由會員分享，可在線閱讀，更多相關《飛天操作系統中國科技的創新力量（21頁）.pdf（21頁珍藏版）》請在三個皮匠報告上搜索。

1、唐 洪 阿里云首席架構師飛天 互聯網規模的操作系統Apsara:an Internet-scale Operating System互聯網規模的基礎設施RegionRegionRegionRegionRegion阿里巴巴骨干網阿里巴巴傳輸網邊際網絡Internet-scale Infrastructure大陸五個區域：華北（兩個）、華南、華東（兩個）大陸以外十個區域：香港、新加坡、美西、美東、日本、印度、迪拜、德國、悉尼、臺灣邊際網絡：全球600多POP節點、帶寬儲備超過20T應用商店輸入輸出系統調用賬號管理 權限控制 OS內核PC硬件云市場接入層：數據傳輸、內容發布、網絡接入云服務層：云服務

2、的Web API云服務層：賬號、認證授權、計量、結算內核層：數據中心級別的集群計算系統物理層：互聯網規模的基礎設施PC 操作系統飛天云市場：VM鏡像、容器鏡像、編排模版、API服務計算數據庫存儲網絡連接編排服務：彈性伸縮、資源編排、通知隊列、分布式事務管理數據智能：商業智能、數據開發、人工智能安全服務：秘鑰管理、云盾遍布全球的幾十個數據中心、數百個POP節點云市場云服務層：云服務的Web API云服務層：賬號、認證授權、計量、結算內核層：數據中心級別的集群計算系統物理層：互聯網規模的基礎設施接入層：數據傳輸、內容發布、網絡接入數據傳輸內容分發網絡接入分布式協同日志采集監控報警、跟蹤診斷盤古：分

3、布式存儲管理伏羲：分布式資源調度天 基 自動化運維安全管理賬號認證授權計量結算兼容MapReduce支持SQL、流計算、圖計算開源托管產品：Hadoop MapReduce、Hive、Pig、Spark計算ACSECSMaxComputeFunctionCompute 輕量 重量/Compute 離線、容量EBSNASOSSOSS-IAOAS存儲/Storage 實時、在線分布式：AnalyticDB、OceanBase、PetaData單機：RDS開源托管產品：Redis、MongoDB、HBase、Greenplum關系型數據庫弱結構 強關系OCSTableStore數據庫/Databas

4、e VPC互聯VPCSLBNAT網關網絡/Networking 低擾的高精度監控跟蹤默認開啟、7x24、秒級采樣 全精度用戶請求跟蹤High-resolution Monitoring and Tracing with Minimum Overhead 基于共享內存的數據采集：多進程并發無鎖寫入，zero-copy 時間戳獲?。?3ns vs 40ns 隨機標識生成：4ns vs 16ns 支持每秒上百萬事件的采集 指令級別的性能優化Instruction-level Optimization 自動化運維挑戰 Challenges of Autonomous Operation 硬件上架應用部

5、署應用啟動應用遷移硬件下架幽靈節點 灰度發布 線上調試OS克隆OS升級應用升級天基：從批處理到狀態機 Tianji:from Batch Step Processing to State Machine將部署、升級、遷移變成常態 精準控制系統運行狀態天基Master部署、升級、擴容、下線、配置變更預期狀態當前狀態AgentAgentAgentAgentAgent面向恢復的計算模型 Recovery-oriented Computing Model執行計劃統一的存儲管理 基于Paxos的高可用架構 單集群一萬臺服務器，十億級文件數，EB級別存儲空間盤古：分布式存儲管理 Pangu:Distrib

6、uted Storage ManagementCSCSCSCSPaxos默認三副本數據冗余，分布在不同機架，數據可靠性達到10個9 支持跨數據中心的副本分布數據可靠是最高優先級 Data Reliability is the Highest Priority糾刪碼模式數據冗余：同樣數據可靠性，存儲開銷從3x降低到1.375x數據可靠是最高優先級 Data Reliability is the Highest Priority端到端的數據校驗：防止數據讀寫鏈路上的任何環節的問題導致數據發生錯誤數據可靠是最高優先級 Data Reliability is the Highest Priority并

7、發冗余恢復：確保故障后數據即刻恢復冗余數據可靠是最高優先級 Data Reliability is the Highest Priority恢復速度受限于硬盤寫入帶寬 最快27小時恢復冗余 前臺應用無法讀寫硬件替換原地恢復 Hardware Replacement with in-place Recovery8TB8TB8TB8TB8TB8TB8TB8TB恢復速度與集群規模成反比關系 萬臺規模集群，不到一分鐘恢復冗余 前端應用完全無感知 盤古：并發冗余恢復 Pangu:Parallel Redundancy Recovery with Traffic Throttling 資源調度的挑戰 Ch

8、allenges of Resource Scheduling負載均衡 復雜的調度約束萬臺集群規模 多維度資源請求 額度控制資源調度增量調度：一次請求、多次分配Fuxi Master單集群規模一萬臺，10萬個進程，毫秒級響應2015年排序競賽四項冠軍，100TB排序377秒完成APP MasterAPP WorkerAPP WorkerAPP WorkerAPP WorkerAPP WorkerAPP Master兩級調度：批發零售日常利用率:5%vs 54%峰值利用率:22%vs 64%彈性額度 離線在線混合調度兼顧效率與公平 Achieving Efficiency and Fairnes

9、s額度超售實際使用額度拉伸30%10%10%20%20%40%30%50%50%27%80%30%30%60%53%總和150%70%90%130%100%資源復用率額度收縮互聯網規模的操作系統規模 Scale性能 Performance效率 Efficiency高可靠 Reliability 高可用 High Availability 開放 Openness指令級的性能優化 毫秒級資源調度響應 2015年排序競賽四項冠軍，100TB排序377秒完成彈性額度 離線在線混合調度 基于糾刪碼的數據冗余基于Paxos的高可用設計 高可用架構設計，無故障單點標準化的Web API接口 豐富的產品體系 支持基于開源軟件的托管服務 云市場支持四大類云服務模式自動化的部署升級、擴容修復 默認三副本數據冗余 端到端的數據校驗 并發的冗余復制管理互聯網規模的基礎設施 數據中心級別的計算內核，單集群規模達到1萬臺Alibaba Cloud,More than just cloud為了無法計算的價值