2019年運營商網絡運維工程師的SRE轉型之路.pdf

1、GOP S 全 球 運 維 大 會 2019上 海 站GOP S 全 球 運 維 大 會 2019上 海 站運營商網絡運維工程師的轉型之路GOP S 全 球 運 維 大 會 2019上 海 站目錄我們是網絡運維工程師1我們遇到了點小麻煩2我們的SRE轉型之路3目錄GOP S 全 球 運 維 大 會 2019上 海 站維護的設備：廠家定制，專有軟硬件的通信設備。程控交換機核心路由器高端防火墻3GPP標準核心網元我們是網絡運維工程師GOP S 全 球 運 維 大 會 2019上 海 站我們是網絡運維工程師我們眼中的世界：路由、協議、網元、信令、局數據GOP S 全 球 運 維 大 會 2019上

2、海 站我們是網絡運維工程師應急響應對故障和投訴的緊急處理網絡優化提升網絡性能，提高用戶滿意度日常運維保證網絡穩定運行我們的工作內容GOP S 全 球 運 維 大 會 2019上 海 站我們是網絡運維工程師典型的垂直式行政組織結構中國移動浙江公司網絡部部室1部室2部室3部室4二級部三級部GOP S 全 球 運 維 大 會 2019上 海 站我們是網絡運維工程師考核機制：KPI為導向的負向激勵GOP S 全 球 運 維 大 會 2019上 海 站我們是網絡運維工程師人員技能：IT開發和設備維護技能弱，但是對IT開發轉型充滿熱情。8%73%19%運維開發轉型興趣調查工作太忙了，沒時間沒精力有助于技能

3、轉型，有興趣參與非常愿意參加到自研工作中去興趣調查對IT開發有較大熱情占18%，有興趣的占73%，共144人愿意參與運維開發工作。幾乎所有人員都有編程經驗，但是其他技能較弱基礎編程數據庫操作python語言Linux操作版本控制工具IT開發技能總體技能調查GOP S 全 球 運 維 大 會 2019上 海 站目錄我們是網絡運維工程師1我們遇到了點小麻煩2我們的SRE轉型之路3目錄GOP S 全 球 運 維 大 會 2019上 海 站網絡運維人的窘境通信技術發展越來越快，網絡運維的壓力和責任越來越大物 聯 網車 聯 網遠 程 醫 療 萬物互聯，斷網相當于斷水斷電 網絡故障會造成重大人身和財產損失

4、 網絡故障會威脅病人生命運維噩夢GOP S 全 球 運 維 大 會 2019上 海 站網絡運維人的窘境運維手段原始，大量工作處于人肉運維階段；對標先進互聯網公司，我們還有很長的路要走。數據與AI技術的洞察能力使工具貼合運維提升生產效率，同時降低人工操作失誤。各類數據、組件、流程等標準化，便于快速更新迭代。l大量運維工作以工具為主，釋放人力l以人工為主，工具為輔。l標準化、自動化、智能化：正在不斷建設和探索。lDevOps：研發運維模式 SRE：運維實踐 Cloud Native：技術架構l廠家定制開發：煙囪式架構，開發由第三方廠家完成，開發響應慢l需求和開發跨部門協作：存在部室“膜”標準化自動

5、化智能化互聯網公司我們GOP S 全 球 運 維 大 會 2019上 海 站網絡運維人的窘境設備越來越多，但是人不見多。2014到2019年，語音核心網元增加了80%，但是運維人員僅增加12%。4.00%4.17%8.00%11.11%13.33%17.65%0.00%3.33%0.00%3.23%3.13%6.06%0.00%2.00%4.00%6.00%8.00%10.00%12.00%14.00%16.00%18.00%20.00%201420152016201720182019網元增量與運維人員增量對比圖網元增量運維人員增量事兒越來越多，頭發越來越少GOP S 全 球 運 維 大 會

6、2019上 海 站網絡運維人的窘境雖然支撐系統平臺手段眾多，但日常維護中仍存在大量的手工冗余操作01廠家平臺針對新需求和自身缺陷的開發周期、落地時間長02現有平臺封閉，不具備開放性GOP S 全 球 運 維 大 會 2019上 海 站網絡運維人的窘境網絡設備正在向IT云化演進，網絡運維人亟需轉變思維。GOP S 全 球 運 維 大 會 2019上 海 站網絡運維人的窘境復雜的云化架構有時發生故障根本無從查起，詭異的故障無法用科學解釋。無法用科學解釋的時候，迷信就出現了技術更新快故障影響大網絡設備多相對人力少自動化水平低云化結構復雜故障現象詭異網絡運維人壓力山大GOP S 全 球 運 維 大 會

7、 2019上 海 站目錄我們是網絡運維工程師1我們遇到了點小麻煩2我們的SRE轉型之路3 轉變思想 明確目標 打造SRE生態圈目錄GOP S 全 球 運 維 大 會 2019上 海 站轉變思想SRE是Google對DevOps的實踐總結SRE的終極目標：系統穩定SRE團隊的組成：1）50%60%軟件工程師，2）其他具備85%99%軟件技能，且具備一定程度其他IT技能的工程師。SRE模型的優勢：1）運維人數相對少；2）開發團隊和運維團隊的沖突焦點消除；3）SRE團隊和研發團隊之間的成員可以自由流動。SRE模型的問題：符合SRE的人才難招聘GOP S 全 球 運 維 大 會 2019上 海 站轉變

8、思想SRE運維的特點通過主動運維思維將運維經驗、最佳實踐、方式、流程、方法都固化成代碼，減少瑣事。通過自動化運維來應對規模性擴張和復雜度上升的運維環境。結合專業化能力，通過寫工具，參與系統設計，參與可靠性的提高，來打通與支撐團隊的反饋回路。SRE人員的特點從內心鄙視重復性、體力性的勞動愿意做主動性的工作減少重復性勞動有開發能力GOP S 全 球 運 維 大 會 2019上 海 站轉變思想SRE理念是DevOps的具體表現形式。DevOps和SRE是道，DevOps工具是術DevOpsSREDevOps工具GOP S 全 球 運 維 大 會 2019上 海 站確立目標SRE團隊的目標：提倡主動運

9、維思維，以運維開發為手段，依托SRE運維模式，提升運維人員ICT技能,支撐各專業高效運維。建立合適的組織架構，打開晉升通道，減少行政束縛；改善人員培養體系，提升個人競爭力；改進激勵機制，獲得資源傾斜，打開收入上升通道。錢多建立日常工作框架，支撐日常開發工作，將瑣事自動化，減少工作量；通過SRE的開發支撐體系將降低開發門檻，提升開發效率?；钌倬W絡運維人也有自己的終極目標GOP S 全 球 運 維 大 會 2019上 海 站建立良好的生態圈通過5種手段建立SRE工作機制，形成良好的SRE生態圈。建 立 OKR 導 向 的正向 激 勵 績 效 傾斜 制 度 建 立 議 事 會負責制的半 剛 性 組

10、織架構制度 建 立 開 發 機 制 關 注 安 全 模 式 I T 需 求 歸 口 建 立 技 術 規 范 開 發 和 部 署 環 境 支撐 D e vOps 工具 支撐 現 有 平 臺 解 耦 數 據 源 開 放激勵制度開發支撐環境組織框架日常工作框架 課 程 培 訓 技 能 評 定 經 驗 分 享 業 界 大 拿 講 課人員培養GOP S 全 球 運 維 大 會 2019上 海 站建立組織架構建立議事會負責制的半剛性組織架構制度：組長組長組長SRE負責人組員組員組員組員組員組員.工作小組工作小組工作小組SRE技術負責人技術專家技術專家開發工程師DevOps工程師SRE技術支援團隊SRE議事

11、會GOP S 全 球 運 維 大 會 2019上 海 站改進激勵制度建立OKR導向的正向激勵績效傾斜制度三級主管SRE負責人技術專家專業主管運維人員三級主管專業主管運維人員SRE技術負責人工作小組部門領導GOP S 全 球 運 維 大 會 2019上 海 站專注人員培養SRE主要面向存量運維人員，推動IT化人員轉型存量運維人員新員工講座交流開發技能培訓幫傳帶促進轉型SRE制定新員工培訓規范納入新員工培訓體系初級SRESRE人員講座交流開發技能培訓練習實踐高級SRE提升n 技能培養：培養方向：依托IT和CT能力培養體系，針對SRE人員、存量運維人員、新員工、協維人員制定不同的人員培養體系專注人員

12、培養0246810主動運維能力IT開發能力基礎運維能力SRE實踐表現團隊貢獻n 人員成長：u 從5個維度，21個評分項對SRE成員進行客觀的綜合評定，產生自畫像。u SRE成員輸出個人OKR并納入年度工作目標。人員培養和創新GOP S 全 球 運 維 大 會 2019上 海 站完善日常工作框架建立SRE日常工作框架，確定技術規范，避免技術債務。完成技術選型使用Python開發規定Python框架和庫的使用范圍和版本參與協同或牽頭應用開發需求實現需求統一歸口，避免重復開發，實現能力共享。建立需求歸口機制建立開源軟件安全評估準入機制聯合安全部探索開源安全防護新方法建立安全應對機制代碼開發規范API

13、調用規范平臺開放性規范開發模式規范：小應用自開發、大應用聯合開發建立開發規范部署方式傾向于容器化和微服務化通用公共組件抽象后微服務化部署建立部署規范GOP S 全 球 運 維 大 會 2019上 海 站搭建開發支撐環境通過建平臺、解耦合兩部分工作來搭建SRE的開發支撐環境。GOP S 全 球 運 維 大 會 2019上 海 站搭建開發支撐環境推進原有支撐平臺部分重構，使孤立封閉的、豎井式的平臺解耦成開放、可擴展的運維開發支撐平臺。解耦合2界面呈現業務功能數據接口應用能力層數據共享層公共能力層業務邏輯層呈現層界面1界面2前端插件業務邏輯1業務邏輯2功能插件公共能力1公共能力2能力插件數據服務1數

14、據服務2自研數據接口孤立封閉、豎井式的平臺開放的接口開放的接口開放的接口解耦開放、可擴展的運維開發支撐平臺網易有數網頁模板應用案例：iMaintOSS4.0能力層自研能力層其他應用系統應用案例：場景監控、態勢感知、ICUT共享中心Zabbix(sre)解耦u支撐平臺分層解耦，各層間接口開放：通過開放接口，平臺功能可供自研工具調用，提升開發效率。u共性的功能點進行獨立，形成公共能力：同構調用公共能力降低開發難度。u支撐平臺開放架構，可擴展插件：可以開發自研插件植入平臺，擴展平臺功能，降低投資成本。GOP S 全 球 運 維 大 會 2019上 海 站SRE階段工作成果SRE團隊經過1年多的建設已出具成果，共培養SRE團隊成員30人，完成開發需求32個。需求實現快基于開放解耦的平臺進行搭積木式二次開發，單個功能點開發平均僅需2個小時，需求到上線時間縮短551倍。痛點切入準010203040102運維專家轉型開發人員，網絡痛點了然于心。Cause劣化靈敏感知、節點負荷異常檢測等應用能迅速感知異常，早于用戶投訴15分鐘發現并完成故障處理，保證業務穩定。人力大解放機器換人，完成32個運維應用開發，大量運維工作自動化，值班人員減少55%。壓力大釋放0304逐步接受與信任系統，具體的運維工作逐步轉交給自動化系統完成，釋放運維人員壓力。逐步過渡到系統干運維，運維人干系統。