1、目錄CATALOG前言 創作團隊名單0101第一章 前言3.1 通用大社交媒體3.1.1 文字與圖像社交3.1.2 視頻與直播社交050508第三章 云上社交典型場景與架構2.1 社交媒體曾是什么2.2 現代社交發展及需求2.2.1 社交的發展及分類2.2.2 現代社交的特點2.2.3 現代社交的需求2.3 社交會是什么020303030404第二章 社交發展與趨勢4.1 社交平臺可靠性 4.1.1 行業質量監控指標 4.1.2 質量指標衡量標準4.2 社交流量潮汐性4.2.1 基礎資源滿足潮汐性分析 4.2.2 某客戶基礎資源彈性方案4.2.3 云上成本優化4.3 關鍵時刻保障4.3.1 圖
2、片業務保障方案4.3.2 直播業務保障方案4.3.3 熱點事件護航保障流程4.3.4 重大活動和賽事保障424243474750517171727578第四章 云上社交保障與服務案例第五章 展望3.2 細分領域社交3.2.1 母嬰場景3.2.2 電商場景3.2.3 陌生社交3.2.4 其他場景3.3 社交安全3.3.1 社交內容安全3.3.2 云上數據信息安全14141928303131371、前言 從印刷、電報、電話、電視再到互聯網,不僅地域和時區早已經不是社交的障礙。即便是有著不同文化和母語的人們,都可以在互聯網上順暢交流,這就是云上社交的魅力。而今,隨著經濟和科學技術的發展,社交網絡也正
3、在以人們無法想象的速度增長。愈發龐大的用戶群體產生的需求也是多種多樣的,從文字到圖片,從短視頻到直播,從VR/AR到元宇宙,社交媒體的形式變得五花八門;從校園到職場,從潮流到育兒,從熟人圈子到陌生人私密交流,人們現實生活中的所有社交場景也均被一一映射到了社交媒體上。而這些需求和場景的實現,都需要更先進、更穩定、更敏捷的技術進行支持,才能夠使用戶高效地在社交媒體上進行內容分享。同時,隨著這些社交網站上數據的快速增長,數據和安全層面的處理和管理變成了非常重要的問題。云計算的(IaaS、PaaS、云安全以及視頻云等)各種能力也完美地契合了社交多樣性、大數據及安全的發展需求。云上社交,呈現出了前所未有
4、的活力。創作團隊名單顧問組成員:萬誼平、袁浩鈞、陳威、張強、李昶、高媛、吳思婷、曹德翊、曹慕杰 主編團隊:林萬境、黃偉政、羅世杰、張雯、董池、張效禹、孫海波、劉志云、袁榮鑫吳海林、田君磊文字編校:秦揚、羅宇紅排版設計:李一帥、謝秀婷01 云上社交行業技術服務白皮書云上社交行業技術服務白皮書2、社交發展與趨勢2.1 社交媒體曾是什么社交媒體并不是現代社會的新興事物,當信息沿著社會關系的網絡在人際間進行傳播的時候,當信息被來自四面八方的人們進行討論的時候,當信息將人們分立成意見不同的團隊的時候,社交媒體就已經悄然的形成了;社交的本質就是通過不同的內容介質、形式進行自我表達、與他人交流并且得到反饋的
5、過程。因為社交是人自然活動中的必然需求,而傳播這一需求的介質,自然就是社交媒體了。在互聯網時代到來之前的社交媒體,有以下兩個大的階段:傳統介質時代:通過書寫、篆刻、印刷等方式在介質上進行信息的保存和傳遞。在中國的印刷術以及活字印刷術之前,信息的傳遞只能依靠手寫進行傳遞,而在紙張被發明之前,承載信息的媒介是竹子之類的“重物”,所謂學富五車所承載的信息可能不都不能填滿現在計算機存儲的1Mb;印刷傳遞,傳統的活字印刷以及后來的機械印刷,雖然在一定程度上提高了信息產生和傳播的速率,但是時間和空間仍十分受限;傳播速率低下,溝通效率慢,人們對于信息傳播和討論的參與度弱。在這個時代,內容的產生者都相對固定,
6、而且信息只能進行單向傳播,人們根據內容進行小范圍的學習和討論,都是傳統介質時代的特點。電子介質時代:隨著電子信息存儲介質的發明,信息可以在電子設備上進行保存和傳遞;在電子媒體時代的初期收音機和電視可以較為快捷的進行信息的傳播,引起人們之間的溝通,但是仍舊存在內容制作者相對固定、單向傳播,時效性低以及難互動的問題;而隨著電腦、互聯網以及社交軟件的發展,在自媒體時代,每個人都可以成為內容的生產者。通信的及時性得到了極大的提升,社交的范圍也隨之越來越廣。通過上面介質的變遷,場所也逐漸的不再是限制,由村落到廣場,由咖啡館到網吧,只要有網絡,無論在哪里都可以隨時隨地與他人進行交流。云上社交行業技術服務白
7、皮書 022.2 現代社交發展及需求2.2.1 社交的發展及分類在互聯網時代,社交是人們工作和生活中,用來豐富自己、拓展生活邊界、擴充人脈的必然需求;從互聯網的社交媒體的發展歷程可以被主要的分為三個階段:社交網絡建立,社交網站的崛起,社交軟件的爆發;在社交行業發展過程中,社交產品越來越豐富,有的以內容作為社交載體,有的通過通訊工具定義自己,有的則成為了辦公利器,更多的則是想要在特定的場景借助社交發揮更大的價值;基于以上不同的情況,可以將現在的社交媒體分為三個大類,內容社交、場景社交以及工具社交:1、內容社交:是以圖文、視頻等內容載體的社交平臺,如微博、抖音、快手等大的社交平臺;2、場景社交:這
8、也的社交媒體通常專注于某一個垂直領域,如母嬰場景,年輕人潮文化的場景,職場場景,還有諸如旅游、游戲、運動、校園等各個垂直領域;3、工具社交:以即時通訊為基礎功能,如熟人之間的辦公社交工具釘釘,以及陌生人之間的社交工具。2.2.2 現代社交的特點目前消費互聯網依托于強大的信息與數據處理能力,以及多樣化的移動終端的發展,在電子商務、社交網絡、搜索引擎等行業出現規?;l展態勢,并形成各自的生態圈。以提供個性娛樂為主要方式,在短時間內迅速吸引眼球。社交媒體包含了一個十分寬泛的領域,尤其隨著移動互聯網的發展,社交媒體也得到了長足的發展?,F在社交媒體,有時也被稱為web2.0,有著去中心化,開放、共享的理
9、念。其形式包03 云上社交行業技術服務白皮書云上社交行業技術服務白皮書括:博客、微博、IM軟件、照片分享、知識分享、視頻分享、論壇等等形式。具有以下幾種特點:1、信息傳播模式效率高,內容裂變性強;2、用戶參與門檻低,覆蓋面廣,人人都是內容的生產者;3、用戶意見聲量提升,反饋速度快,話題交互性強。2.2.3 現代社交的需求隨著社交媒體傳播效率的不斷提升和覆蓋人群范圍的不斷擴張,依托互聯網發聲,變成了普通民眾參與社會公共話題討論的重要路徑。社交媒體已經發展成為了社會治理的重要組成和補充,在修復社會監督鏈條中也發揮了獨特的價值;近年來,伴隨著社交媒體的發展,在各個社交平臺上的虛假信息開始逐漸泛濫,詐
10、騙案件也層出不窮,而著名的“殺豬盤”則就是醞釀在社交媒體之上的。社交網站上的內容安全和信息安全則成了現代社交的剛需之一,這影響到了使用者的生命和財產安全,平臺本身的信譽度和美譽度,以及社會的公序良俗。2.3 社交會是什么從大環境上來看,國家基建水平提升,5G的普及以及流量的降價,移動互聯網產品得到了長足的發展和市場爭奪的白熱化;從用戶視角來看:1、時間碎片化:信息時代注意力的廣度增加,但是深度和關注某一內容的時長降低;2、生活節奏加快:地鐵通勤,排隊等待等、碎片時間;所以社交媒體的頻繁消息推送,抖音、微博、IM通信,內容、營銷都需要適應碎片化的時間。公共云更好的為社交方向的企業提供了極致的彈性
11、IaaS,豐富多樣的PaaS和SaaS解決方案。云上社交行業技術服務白皮書 043、云上社交典型場景與架構3.1 通用大社交媒體3.1.1 文字與圖像社交3.1.1.1 典型平臺簡介某平臺是一個典型的文字與圖片為主的社交媒體,該平臺是基于用戶關系的社交媒體平臺,是一個用戶可以通過電腦、手機等多種移動終端接入,以文字、圖片、視頻等多媒體形式,實現信息的即時分享、傳播互動的社交媒體。每個人都可以創作并發布圖文內容,人人都是世界的主角。該平臺基于公開平臺架構,使用戶能夠公開實時發表內容,通過裂變式傳播,讓用戶之間進行互動并與世界緊密相連。從財報中我們可以看出在2021年,平臺月活躍用戶達5.73億,
12、月活躍用戶中來自移動端比例達到94%;日活躍用戶達到2.48億,日活躍用戶規模同比凈增2300萬。目前微博基于openDCP平臺已具備較強的多云管理平臺能力,包括IDC,阿里云等公共云廠商,能夠快速構建業務應用,并保證足夠的彈性。3.1.1.2 內容推薦架構3.1.1.2.1 客戶需求基于實時計算(Flink)構建在線機器學習引擎。3.1.1.2.2 客戶價值1、業務上:支持熱門流、關系流、動態流、正文頁、視頻推薦等多個業務場景在線機器學習需求,取得較好業務效果。2、性能上:達到了開源Flink的2倍以上,節省大量資源。Blink商業化產品功能,將樣本處理性能提升2.4倍。3、穩定性上:目前在
13、線樣本,模型訓練作業穩定性為99.5%。05 云上社交行業技術服務白皮書云上社交行業技術服務白皮書3.1.1.2.3 解決方案在線機器學習實時計算解決方案:阿里云首個實時計算在線機器學習場景解決方案落地。采用VVP(Ververica Platform)on ACK混合云解決方案,解決性能、運維問題。開創性將淘寶搜索在線推薦平臺先進經驗(Blink實時計算引擎)在某社交媒體客戶的在線推薦平臺上成功復制。促進Flink云原生產品商業化,復制更多客戶。3.1.1.3 圖片存儲架構3.1.1.3.1 客戶痛點以某圖文社交平臺為例,自該圖文社交平臺上線以來,其在線用戶數一直處于爆發式增長的狀態。截止2
14、019年中,該平臺的月活躍人數幾乎可以達到5億的級別,平均日活躍用戶數為2億多。業務的急速增長對該客戶的原有技術體系造成了極大的沖擊,例如:云上社交行業技術服務白皮書 061、流量激增:一些已知的業務高峰場景例如:重要節日、重要活動等場景則會帶來巨大的流量挑戰,這些業務場景的主要特點是:瞬間峰值高、持續時間短。每一次峰值事件的互動時間在3小時左右,而明星事件等業務,流量經常會增加至原來幾倍的瞬間峰值。2、流量峰谷差大:社交媒體與人們生活作息時間緊密相關,在奔波忙碌的午后,人們專心工作無暇分享生活,流量請求量平緩;在閑暇安逸的傍晚,人們紛紛掏出手機查看當日的新鮮事,流量請求量激增。在生活的一朝一
15、夕背后,該圖文社交平臺的負載有著明顯的波峰波谷,且峰值相差5倍以上。應對流量激增問題,平臺的開發者的傳統應對手段,主要通過以下幾種方式:1、提前申請足夠的設備保證冗余。2、降級非核心及周邊的業務。但以上解決方案需要提前預知相關IT成本,造成業務負載飽和度不一及擴縮容流程繁瑣且周期長等問題。如何在用戶量飛速增長、熱點事件流量激增及請求有明顯波峰波谷的情況下,既不影響用戶體驗,又不增加服務器成本投入是該平臺開發人員的當務之急。3.1.1.3.2 解決方案07 云上社交行業技術服務白皮書云上社交行業技術服務白皮書公有云Serverless架構具有應對爆發式峰值流量的優點。函數計算是阿里云提供的Ser
16、verless計算平臺,函數計算可以根據請求量動態分配執行環境,毫秒級調度計算資源,確保在負載高時保持穩定的延時,在負載低時有較高的資源利用率,且只會對代碼運行時使用的計算資源付費。函數計算還可以與對象存儲服務無縫集成,可以方便地對存儲在對象存儲中的圖片進行實時處理。該圖文社交平臺使用函數計算的彈性擴容、事件觸發、按量付費的特性部署圖片處理業務,將用戶上傳的圖片存儲到對象存儲中,編寫函數實現個性化的圖片處理。當平臺用戶通過客戶端獲取圖片時,請求通過阿里云CDN回源到函數計算,函數從對象存儲中下載原圖,根據客戶端類型實時處理成預期規格的圖片,并將結果圖片返回。3.1.1.3.3 架構效果函數計算
17、可以毫秒級伸縮計算資源確保應用在熱點事件發生時仍能穩定地運行,使用戶體驗不受訪問次數的影響。通過函數計算運行圖片處理服務,客戶實現了持續的成本節省。無需再為平滑處理業務高峰帶來的流量激增而提前預留大量閑置機器資源,同時開發人員無需花費精力管理及維護基礎設施,只需集中精力與產品團隊合作提升業務價值。隨著社交平臺活躍用戶數不斷增加,客戶的業務規模不斷擴張,函數計算可以自動彈性地分配更多執行環境以支撐社交業務的持續發展。3.1.2 視頻與直播社交3.1.2.1 視頻與直播社交概念及發展視頻直播相對于文字圖片具有更加豐富的內容展現和實時互動的特性,近年來視頻直播是網民參與最多、活躍度最高的娛樂休閑方式
18、。視頻直播平臺已經成為當下網民普遍展示自我和溝通的平臺。同時直播的發展培育了一批引領潮流的優質創作者,網紅經濟正在快速發展。!云上社交行業技術服務白皮書 08與傳統的互聯網社交平臺相比,視頻直播展示形式多樣、內容更加豐富、互動性更強。隨著技術的快速發展直播有了更加豐富的場景和素材選擇,同時主播和觀眾的身份也可以快速的轉換。以上特點大大增強了參與者的體感,促成了全民直播的熱潮興起。在這股浪潮中每個人既是主播也是觀眾,視頻直播成為了一種新的社交方式。3.1.2.2 阿里云視頻直播業務近年來直播產業不斷發展,正在全面賦能電商、文娛、體育、旅游、教育等眾多行業。2021年我國共有超過7億網絡直播用戶,
19、超55%直播用戶每天都收看直播。直播給人們的生活帶來便利,同時也成了一種新的社交方式。阿里云視頻直播是基于卓越的內容接入與分發網絡和大規模分布式實時視頻處理技術打造的音視頻直播平臺。提供易接入、低延遲、高并發、高清流程、端云一體的音視頻直播服務。阿里云擁有遍布全球的2800余個邊緣節點,超過150T帶寬、9大直播中心,支持千萬級直播并發。全球各地的直播流可實現就近接入,利用全球實時音視頻通信網傳輸至指定直播中心進行內容分發,實現秒級時延和地域1%卡頓率的直播。3.1.2.2.1 阿里云直播業務整體架構09 云上社交行業技術服務白皮書云上社交行業技術服務白皮書1、主播通過采集設備采集直播內容后,
20、通過推流SDK推送直播流,視頻直播服務通過邊緣推流的方式將直播流推送至阿里云直播中心,推送的視頻流通過CDN邊緣節點進行加速保證上行傳輸的穩定性。2、視頻流推送至阿里云直播中心后,可按需對視頻流進行轉碼、時移、錄制、截圖等處理。3、處理好的視頻流通過CDN內容分發網絡,下發至觀眾的設備中進行播放。移動端的播放設備可以集成阿里云提供的播放器SDK進行開發。4、直播視頻除了可以進行轉碼截圖等操作外,還可以進行直播轉點播的操作,將錄制下來的視頻轉至點播系統中再進行點播播放和短視頻云剪輯。方便直播與短視頻內容生產和點播的聯動。3.1.2.2.2 推流方案1、直推:主播推流到阿里云作為直播源站,并在阿里
21、云直播中心進行時移、轉碼、切片、錄制等處理。當有觀眾拉流時通過阿里云CDN邊緣節點接入,會經過調度找到源流/轉碼流進行播放。云上社交行業技術服務白皮書 102、回源:主播推流到客戶自建源站,當觀眾拉流時通過阿里云CDN邊緣節點接入并向直播中心發起請求,觸發直播中心向客戶源站回源拉流。當有觀眾拉流時通過阿里云CDN邊緣節點接入,通過一系列的處理和調度后,找到源流進行播放。3、轉推:主播推流到阿里云作為源站,阿里云直播中心在進行視頻流處理的同時向其他供應商推一路源流,并通過其CDN系統向發起拉流請求的觀眾播放。3.1.2.2.3 視頻流處理1、轉碼:直播轉碼是將視頻碼流轉換成另一個視頻碼流功能。通
22、過轉碼,可以改變原始碼流的編碼格式、分辨率、幀率、碼率等參數,從而適應不同終端和網絡環境的播放。以適配不同的網絡帶寬、不同的終端處理能力、不同的延時要求,滿足不同的用戶需求。11 云上社交行業技術服務白皮書云上社交行業技術服務白皮書2、錄制:視頻直播錄制功能,就是將直播中心接收到的推流數據進行錄制,將錄制后的數據以HLS協議的封裝格式,保存至您指定的存儲位置。支持M3U8(同時會有.ts分片文件)、MP4、FLV格式。直播錄制支持將直播內容錄制至VOD或OSS。錄制到VOD可以聯動使用VOD的云剪輯、媒資管理、播控管理等能力。3、時移:直播時移是支持用戶在觀看直播時隨時回顧過去精彩內容的功能,
23、支持毫秒級的時移回看顆粒度。強校驗保障,避免直播信號源時間戳錯誤導致的時移回看臟數據,播放不連續問題。4、截圖:視頻截圖服務支持直播視頻按照設定的時間間隔對正在直播的視頻進行截圖,保存至指定的OSS存儲位置。比如視頻直播的封面刷新后會發生變化,都是靠截圖來實現的。5、流分發:直播平臺的觀眾來自全球的不同地域和不同運營商網絡,為給這些數量眾多、地域分布廣泛的觀眾提供高質量、低時延的視頻直播服務,直播流的分發就依賴于內容分發網絡(CDN)??蛻舳死髡埱筮^程如下圖所示:云上社交行業技術服務白皮書 12當終端用戶請求視頻流時,首先向Local DNS發起請求拉流域名對應的IP。Local1DNS檢查
24、緩存中是否有拉流域名的IP地址記錄。如有則直接返回給終端用戶;如沒有則向網站授權DNS請求域名的解析記錄。當網站授權DNS解析拉流域名后,返回域名的CNAME。Local1DNS向阿里云CDN的DNS調度系統請求拉流域名解析記錄,阿里云CDN的DNS調度系統將為其分配最佳節點IP地址。Local DNS獲取阿里云CDN的DNS調度系統返回的最佳節點IP地址。Local DNS將最佳節點IP地址返回給用戶,用戶獲取到最佳節點IP地址。用戶向最佳節點IP地址發起對視頻流的訪問請求。如該節點已緩存該資源,則會將請求的資源直接返回給用戶,如未緩存或緩存的資源已經失效,則節點將會向源站發起對該資源的請求
25、。除以上調度分發方式之外,直播中常用的還有302調度和httpdns調度。相對于DNS調度302調度和httpdns調度的顆粒度更小、調度更加準確。3.1.2.2.4 直播監控阿里云具有直播全鏈路多維度監控能力,對直播關鍵指標進行多方位實時監控,為高質量的直播服務保駕護航。1、卡頓率:監控域名維度直播卡頓率,及時發現直播卡頓數據波動,快速優化服務質量。2、回源統計:統計實時回源帶寬、流量、狀態碼,為優化回源,減輕源站壓力提供重要參考。3、流量帶寬:具有域名維度推流、拉流上下行帶寬監控數據,并通過同時段環比、前后N分鐘環比等方式檢測異常波動。4、命中率:實時邊緣節點命中率統計,對于提高命中率、優
26、化首幀時間和減少回源具有重要意義。5、狀態碼:通過狀態碼監控發現推拉流異常波動,對于4xx、5xx狀態碼上升等13 云上社交行業技術服務白皮書云上社交行業技術服務白皮書異常情況實時發現、快速處置。并通過同時段環比、N分鐘環比等方式獲取周期質量波動數據以供分析。6、全鏈路:展現單路直播流從推流到拉流的全鏈路情況,并可以分段查看幀率、碼率等指標。3.2 細分領域社交3.2.1 母嬰場景3.2.1.1 母嬰社交的概念及發展在三孩、雙減、“房住不炒”等利好政策的推動下,母嬰市場迎來了新的發展機遇。根據艾媒咨詢數據顯示,2021年中國母嬰市場規模將超過48000億元,預計2024年將超過76000億元。
27、目前中國母嬰行業已走入存量市場,但隨著母嬰群體消費意識逐漸前置,早階母嬰消費市場潛力不斷被開發,母嬰消費周期的拉長刺激了母嬰消費市場持續增長。隨著母嬰市場的蓬勃發展,母嬰行業相關細分領域的服務不斷完善升級,所提供的服務能夠滿足絕大多數母嬰群體的需求,但母嬰服務的同質化等問題未能得到有效解決,使得母嬰群體在孕育過程中對服務存在一定質疑,其中在懷孕期間普遍存在的多種焦慮尤為突出。數據顯示,在孕期有71.3%的母嬰群體對孕育知識的缺乏表示焦慮,其中由于目前互聯網信息過載,母嬰群體甄別母嬰知識時需要耗費較多時間和精力,如何獲取專業有效的孕育知識成為了孕母群體的一大痛點。為了解決孕母群體對于專業性信息獲
28、取的困難,滿足母嬰群體科學孕育、效率育兒的需求,包括社交分享平臺、短視頻平臺等泛人群使用場景以及母嬰社區、母嬰論壇等垂直型場景都開始通過專家背書、母嬰達人推薦等形式發布專業性母嬰內容。而其中,母嬰垂直平臺通過在行業內垂直領域的深耕經驗,從最初的“社區+知識”發展模式演變成“社交+口碑+知識”型綜合平臺,憑借母嬰信息的多元化、專業化及集云上社交行業技術服務白皮書 14中化,母嬰垂直平臺獲得的信任度較高,成為母嬰群體孕育期必不可少的社交工具。2021年中國備孕群體數量達到6237萬對,早階母嬰群體呈現多元化特點,高學歷媽媽、職場媽媽規模不斷壯大,中國早階人群母嬰消費潛力市場規模的成長迅速。數據顯示
29、,2021年中國早階人群母嬰消費潛力市場規模達到10071.6億元。早階母嬰群體身處于互聯網時代,對線上相關母嬰平臺的需求較為強烈、依賴性強、使用頻次高,具有借助線上母嬰平臺滿足資訊獲取、懷孕及育兒記錄、交流分享、母嬰商品挑選對比等多種訴求。其中母嬰群體在不同階段上的社交需求存在在較大的差異:在懷孕早期,母嬰群體主要討論購買孕婦服飾和孕期保健品;在懷孕中期,對于胎兒健康狀態的探討則十分火熱;在懷孕晚期,對于嬰幼兒用品和產后護理用品受歡迎;而在寶寶出生之后,如何育兒這又成為了連接每一位媽媽的話題;母嬰群體不同階段的不同需求,得以使母嬰社交平臺不斷發展。3.2.1.2 某母嬰社交平臺介紹某母嬰平臺
30、是中國非常知名的母嬰品牌,也是中國最大最活躍的母嬰社區之一,該平臺整個月活用戶達到1.39個億,移動端的月活也達到數千萬??蛻舻闹饕脩羰菍殝屓巳?,尤其是年輕的寶媽人群。作為母嬰類社區平臺,致力于連接及服務年輕家庭。在其平臺中,2021年月均活躍用戶(MAU)總數就達到1點多億。并在2007年推出官方平臺,目標就是為中國的準父母又或者是年輕父母搭建一個相互交流的在線平臺。在經過15年的發展歷程中,早在中國母嬰在線平臺中樹立起更受信賴的品牌,并于2018年11月27日成功登陸港股。時至今日,該母嬰平臺在強大的社交功能和優質的內容上為年輕的家庭建立起一個充滿活力的社區。在平臺上,提供了全面的產品和
31、服務,滿足中國年輕家庭的四個基本需求:學習、分享、記錄和購物。由手機APP和PC及WAP端官網組成,是用戶流量及核心變現的主要門戶。從注冊用戶獲得十分寶貴的核心生育數據。生態系統中的用戶互動產生大量行為數據??傮w而言,該母嬰平臺擁有中國較大的母嬰群體商業數據庫。優質而龐大的用戶數據有助于進一步了解用戶的信息、精凖定位用戶需求、更準確地個人15 云上社交行業技術服務白皮書云上社交行業技術服務白皮書化用戶體驗、開拓新產品和服務品類。目前,母嬰企業面臨著諸多困境,急需轉型升級。在前臺方面,難以實現“人貨場”的統一,而后臺難以實現“人財物”平衡的問題。同時,在新興的互聯網營銷活動中獲取的新客無法參與過
32、程管控,會員畫像單一阻礙了企業對會員全生命周期開發。通過阿里云大數據平臺構建了個性化的大數據架構,并在此基礎上使用AI和深度學習技術實現了一些業務工具,進而支撐業務展開,實現業務價值。切實將客戶生命周期寬度和深度做得更好,不斷提升客戶滿意度和回頭率。3.2.1.2.1 需求分析寶媽在整個育兒階段其實有很多的需求,這些需求囊括起來主要是4個:1、獲取知識,與專家交流育兒其實是一門學問,涉及到的知識是方方面面的,如何的把這些專業的知識,通過非常大眾化的普及化的方式去傳達給我們的用戶,其實是一個很重要的課題。主要是通過非常專業的像PGC、UGC等編輯力量,把非常迎合需求的全面的育兒知識,通過各種方式
33、易于讓寶媽去接受。2、分享經驗,與寶媽交流寶媽人群其實情感非常細膩,然后有非常強的渴望去分享自己的育兒經驗,然后也特別愿意與其他的寶媽去互動。因為寶媽之間的信任感是天生的,所以我們主要通過社區的方式去滿足寶媽的這種相互之間溝通交流、互助以及互動的需求。3、記錄成長,與家人交流隨著寶寶的長大,記錄是特別重要的一件事情,我們常說陪伴是最長情的告白,那么對寶寶尤其如此,因為記錄不僅僅是記錄寶寶的成長,也記錄媽媽的成長,這種成長是雙向的,那么這種成長對寶寶是一種非常特殊的禮物,我們是通過小時光和其他很多記錄的工具,去滿足用戶的這樣一種需求。4、購買產品,與消費者交流寶媽的購物需求,尤其是在某一領域,像
34、奶粉、紙尿褲這些品類,其實是寶媽的一個剛需,提供了一個在線的商城,其實更重要的是有海量的內容,有大量的UGC云上社交行業技術服務白皮書 16的討論,寶媽可以通過這些用戶的真實反饋,去發掘去判斷什么樣的品牌和什么樣的產品是適合自己的小孩子的。然后能夠天然的通過一種社區的形式,建立起用戶和品牌之間的一種連接,解決很多產品品牌的核心的信任問題。通過以上針對寶媽所闡述的四大核心需求,其需求都是個性化的,如何更好的滿足用戶的個性化需求,需要通過大數據的方法和技術去做。3.2.1.2.2 某母嬰平臺所特有的兩個大數據說到大數據,其實這是一個耳熟能詳的話題,很多人都非常熟悉,下面從兩個方面介紹該母嬰平臺所特
35、有的兩個大數據。1、關于媽媽的核心生育數據。什么是生育數據?你當前懷孕多少天了,然后寶寶什么時候出生,預產期是什么時候,寶寶當前多大了,我們是可以精確到天的,然后這個數據是非常準確的。其實我們每天都會有很多寶媽用戶現在正在產房里,等待生命的誕生。然后我們明天也會看到他們很多的報喜帖,其實基于用戶的一種真實的運營數據,我們是不需要猜測對吧?我們就可以非常精準的知道在這樣一個階段,用戶需求是什么,然后有針對性的去滿足她們,通過一些產品或者服務。2、社區有非常海量的UGC內容加PGC內容,然后用戶在這些內容上的行為,還有用戶之間的互動,讓積累了海量的行為數據。這種行為數據不是一種泛領域的,而是母嬰領
36、域的,那么這里面有很多不是泛領域能夠解決的一些問題,包括媽媽之間的一些討論等等?;诤诵纳托袨閿祿?,精準秒回用戶畫像,優化用戶體驗,提升轉化效率。17 云上社交行業技術服務白皮書云上社交行業技術服務白皮書根據這兩大核心數據,可以構建一個非常完整的也是非常全面的某一領域的畫像體系?;谶@個畫像體系,第一個會非常好的去服務我們的最大用戶,也就是寶媽人群,第二個對于的B端客戶也是有巨大的價值,一個是提升整個商業投放的效率、轉化率等,另外一個就是可以通過反向的數據驅動,可以發現更多用戶的潛在需求,那么這對B端客戶的營銷有著巨大的商業價值。3.2.1.2.3 母嬰社交云上大數據倉庫某母嬰平臺作為中國
37、最大、最活躍的母嬰類社區平臺。作為最早做互聯網2C的社區平臺之一,其很早就建立了自己的IDC集群,而且規模越來越大。早期該母嬰平臺使用的是自建的大數據體系,從數據的產生,數據的傳輸、存儲、計算,然后到整個數據服務,再到整個上層的應用,包括BI報表以及數據分析工具等,根據其集群水位高,性能差,亟待大數據綜合治理以及IDC大數據每年投入成本高,希望降本提效的多重需求下,從大數據平臺上云整體“降本增效”的方案快速切入,遷移到大數據MaxCompute、實時計算、DataWorks后,部分任務有10倍以上的性能提升,存儲從自建Hadoop13PB降到900T,利用Flink實時數據處理能力,將該母嬰平
38、臺現有的場景實時化(“基于用戶ID維度和內容類型的實時行為”、“獲取用戶的實時群聊ID”及“獲取文章的實時發布信息”),并且基于Flink進行實時推薦增加轉化率。大數據平臺整體成本節省30%以上。云上社交行業技術服務白皮書 18使用阿里云的一些技術,總結起來,其實主要是有幾點收益:1、從成本角度,從硬件、運維以及整個操作的成本綜合評估下來,可以節省40%左右。2、從產品角度,因為采用了阿里云大數據技術棧,這些技術棧對開發者來說還是非常友好的,使很多開發者長期以來面臨的痛點得到了實際的解決,實現了超大規模實時,離線計算和數據治理,比如前面說的DataWorks一站式開發平臺,就對開發效率有著顯著
39、的提升;3、從云計算的底層來說,該平臺可以很好的享受它的一些安全性,整個彈性、可伸縮性等。因為業務流量有時也會突增,在這種場景下是能夠天然的享受到云服務的好處。例如該母嬰平臺對GPU的使用,以前都需要自己進行購買,現在可以按需使用阿里云的GPU,在技術的使用效率上有了很大的提升。3.2.2 電商場景3.2.2.1 社交電商概念及發展社交電商就是依托社交關系而進行買賣交易的電商。是電子商務的一種新的衍生模式,通過社交互動、來輔助商品的購買和銷售行為,并將關注、分享、溝通、討論、互動等社交化的元素應用于電子商務交易過程的現象。19 云上社交行業技術服務白皮書云上社交行業技術服務白皮書數據上云社交電
40、商平臺類型有B2C的拼購類社交電商、內容類社交電商,S2B2C的會員制社交電商、社區拼團等。社交電商和傳統電商的區別在于流量的獲取/分發方式。社交電商是利用朋友圈進行熟人買賣的商品交易,大大降低銷售初期的破冰行為成本。主要秘訣就是獲取關注博取流量,不難看出流量越多,利潤越大,但是在推銷時期要花費很多的代價例如金錢去獲取流量曝光,其中會有平臺這個中間商獲取中間費用,獲取關注越多銷售幾率、商品賣得越好。傳統電商例如微商是沒有流量這個入口的,它主要表現為人與人的信任,如果口碑好了大家互相信任相互傳播自然而然就買你的商品了。例如,依托微信等社交網絡做營銷的,都可以理解為社交電商,微商也是社交電商。社交
41、電商的本質在于依托社交鏈條的裂變式效應擴大用戶規模和轉化機會。云上社交行業技術服務白皮書 20社交電商消費者特點消費者特點追隨他人分享體驗評價瀏覽商品分享和復購購買決策產生購買興趣種草快遞促成購買兌換并推薦傳統電商主動搜索多渠道查詢對比下單購買評價社交首選購買路徑傳統購買路徑提供分享與推薦獎勵通過會員邀請的獎勵機制和傭金獎勵,讓消費者更愿意在社交網絡進行推薦。向消費者提供適當好處讓他們緊密地融入基于社交媒體的忠誠計劃中基于信任關系/內容推薦選擇消費者在產生購物需求時通常已種草某特定商品。導致購買效率提升選擇社交關系中口碑好的大品牌消費者或許不相信廣告本身,但會相信來自網紅、大V和朋友的推薦非計
42、劃性需求,發現式購買消費者在社交分享和內容的驅動下,從注意到興趣,產生非計劃性購買需求更容易刺激消費者產生沖動型消費購物后分享意識弱對購物的分享以評價為主,主動傳播意愿不強等待打折活動由于“618”和“雙11”等打折節的活動力度大,消費者傾向于在價格最好的時候在購買基于商品銷量及口碑選擇消費者在眾多貨架式陳列的商品中進行選擇,尾商品難以進入消費者視線計劃性消,搜索式購買消費者在購物前通常已有基本的購買目標,在電商平臺對購物目標進行搜索尋找商品。3.2.2.1.1 社交電商的四個類型1、拼購類社交電商拼購類電商基于社交關系的團購低價和分享導向型電商。其目標用戶是對價格敏感的用戶,比如某平臺整體平
43、均客單價僅42.5元,遠低于傳統電商平臺100-500元的平均客單價,拼購類社交電商以生活用品、服飾等消費頻次高、受眾廣的大眾流通性商品為主。拼購類電商核心功能就是拼團,花費一次引流成本吸引用戶主動開團,用戶為了盡快達成訂單會自主將其分享至自己的社交關系鏈中,拼團信息在傳播的過程中也有可能吸引其他用戶再次開團,傳播次數和訂單數實現裂變式增長。概念定義:2人及以上的用戶,通過拼團減價模式,激發用戶分享形成自傳播。模式特點:以低價為核心吸引力,每個用戶成為一個傳播點,再以大額訂單降低上游供應鏈及物流成本。流量來源:關系鏈(熟人社交)。目標用戶:價格敏感型用戶。適用商品:個性化弱、普遍適用、單價較低
44、的商品。2、會員分銷類社交電商會員制電商是個人微商的升級版,早期個人微商模式下,個人店主需要自己完成商品采購、定價、銷售、售后全消費流程;而在會員制電商模式下,由分銷平臺(S)提供標準化的全產業鏈服務,店主只需要利用社交關系進行分享和推薦就可以獲得收入。會員分銷類電商核心功能就是店主的招募和分銷,來自于分銷裂變帶來的獲客紅利,平臺通過有吸引力的晉升及激勵機制讓店主獲益,推動店主進行拉新和商品推廣,有效降低了平臺的獲客與維護成本。概念定義:S2B2C模式,平臺負責從選品、配送和售后等全供應鏈流程。通過銷售提成刺激用戶成為分銷商,利用其自有社交關系進行分享裂變,實現“自購省錢,分享賺錢”。21 云
45、上社交行業技術服務白皮書云上社交行業技術服務白皮書模式特點:通過分銷機制,讓用戶主動邀請熟人加入形成關系鏈,平臺統一提供 貨、倉、配及售后服務。流量來源:關系鏈(熟人社交)。目標用戶:有分銷能力及意愿的人群。適用商品:有一定毛利空間的商品。3、社區團購社區團購平臺提供倉儲、物流、售后支持,由社區團長負責社區運營,主要包括社群運營、訂單收集、商品推廣及貨物分發;社區團購是微信商業化所帶來電商紅利,依托于小程序的興起,商業功能逐步完善為社區團購發展奠定基礎。概念定義:以社區為基礎,社區居民加入社群后通過微信小程序等工具下訂單,社區團購平臺在第二天將商品統一配送至團長處,消費者上門自取或由團長進行最
46、后一公里的配送的團購模式。模式特點:以團長為基點,降低獲客、運營及物流成本;預售制及集采集銷的模 式提升供應鏈效率。流量來源:關系鏈(熟人社交)。目標用戶:家庭用戶。適用商品:復購率高的日常家庭生活用品。4、內容類社交電商為了滿足年輕人碎片化、個性化的消費需求,電商和內容產業鏈正逐漸走向融合,通過內容了影響消費者決策,引導消費者的購物行為;內容社交電商即指通過形式多樣的內容引導消費者進行購物;內容類電商核心點就是內容的產出,通過帖子、直播、短視頻等豐富的形式吸引用戶,形成從“發現-購買-分享-發現”的完整閉環。概念定義:通過形式多樣的內容引導消費者進行購物,實現商品與內容的協同,從而提升電商營
47、銷效果。云上社交行業技術服務白皮書 22模式特點:形成發現-購買-分享的商業閉環,通過內容運營激發用戶購買熱情,同時反過來進一步了解用戶喜好。3.2.2.1.2 社交電商行業生命周期分布未來,在零售端的跨境電商將以互動式、娛樂式的商業模式來吸引買家,實現流量導入。社交電商的出現,使得購物趨向于場景化,在與人社交、娛樂的互動中產生需求、解決需求、極大地提高了用戶購物的體驗感,更好地適應了消費者消費觀念的變化。3.2.2.2 社交電商架構說明3.2.2.2.1 社交電商從業務需求到架構設計電商業務的S2B2C模式需要打通供應鏈到C端用戶的路徑,技術上需要做多平臺對接,應用業務邏輯實現分層服務化接口
48、,數據庫采用分布式架構承接高并發訪問。供應鏈采用自主控制供應商、貨源和物流,技術上對服務進行隔離,業務實施微服務改造,數據庫具備平滑切分能力。社交流量通過社交載體引流、裂變和傳播,通過業務入口限流能力、數據庫快速擴容能力來應對流量尖刺。分銷通過平臺分銷、賦能小B微商來落地,技術上通過分析業務與C端業務解偶、數據庫層進行冷熱數據分層來做精準營銷。23 云上社交行業技術服務白皮書云上社交行業技術服務白皮書3.2.2.2.2 社交電商業務架構電商業務的架構一般分為前臺業務、雙中臺、PaaS層中臺組件、IaaS層基礎資源、以及后臺系統。前臺業務主要是面向用戶的APP、小程序、天貓旗艦店等。雙中臺包括業
49、務中臺和數據中臺。業務中臺主要有會員中心、商品中心、訂單中心、庫存中心、評論中心、物流中心和傭金中心(社交電商)等。數據中臺負責全域數據匯聚、數據融合加工、數據治理體系、以及數據開放共享。PaaS層中臺組件包括分布式消息隊列、全局事務管理、分布式監控、數據庫及工具等。其中數據庫相關產品是雙中臺業務的的核心基礎組件。IaaS層基礎資源主要是彈性計算、網絡、存儲等。后臺系統有ERP、OA、WMS 等。3.2.2.3 某個社交電商介紹3.2.2.3.1 業務簡介某電商開創性的推出了先鑒別,再發貨的購物流程,對電商貨品實現了“強中心化的平臺監管”機制,探索出電商平臺交易新模式。正品潮流電商和潮流生活社
50、區是平臺的兩大核心服務。平臺商品品類已經覆蓋潮鞋、潮服潮搭、手表、配飾、潮云上社交行業技術服務白皮書 24玩、3C數碼、家居家電、美妝、汽車等。作為新一代潮流網購社區,該APP聚集了新、潮、酷、炫的各類商品,也是各類潮流品牌發售和運營的首選陣地。同時作為年輕的潮流生活社區,該APP聚集了一大批熱愛球鞋、潮品穿搭和潮流文化的愛好者,該APP社區通過持續沉淀潮流話題內容,正在成為年輕用戶的潮流風向標和發聲陣地。該APP在傳統電商模式的基礎上增加鑒別真假與查驗瑕疵的服務,首創“先鑒別,后發貨”的購物流程,以“強中心化”的平臺定位把控商品質量?;诖?,保證用戶在收到在APP購買的商品前,該商品已經通過
51、多道鑒別查驗工序中的“層層關卡”,得到全面的查驗鑒別,為用戶提供“多重鑒別,正品保障”的全新網購體驗。3.2.2.3.2 部署架構25 云上社交行業技術服務白皮書云上社交行業技術服務白皮書3.2.2.4 某個社區電商介紹3.2.2.4.1 業務簡介某平臺是中國最大的體育互聯網平臺,為用戶提供體育新聞、互動社區、電子商務、賽事活動等服務。擁有2.3億的日均訪問量,1.8億的全平臺月均活躍用戶,以及近1.2億的APP裝機量。作為國內互聯網體育的領導者和體育互動娛樂行業新平臺建設者,該平臺將為所有喜愛體育的人們提供完整的覆蓋線上線下的多樣化服務、內容和應用,同時致力于幫助其他企業和機構在該生態系統中
52、尋求最大化的商業價值與創新機會。平臺自建的APP一直堅持以體育社區為核心的方案,通過對體育賽事的再次開拓形成以文字和視頻為主的直播賽事為自身的價值主張,將自身的產品致力于為體育賽事提供最好、最完善、最準確的專業賽事報道和賽后的評論。該APP并不是像當初的籃球論壇一樣主要以廣告收入為主,而是主要以球迷為中心并且堅定加強線上和線下的聯系,更加注重用戶的體驗感,通過一系列的手段來提升用戶使用APP的流暢感,這樣得到了很多用戶的支持,而且該平臺舉辦的“路人王”比賽吸引了很多的籃球愛好者的參與,從而無形的提升該APP在人們心中的地位。其中龐大的用戶群是平臺創造、傳遞以及宣傳的重要載體,該平臺以其強大的數
53、據庫支撐,還有龐大的體育愛好者的支持,為用戶提供良好的體育盛宴,提供最準確的CBA、NBA、西甲、中超、英超、F1方程式賽車、羽毛球等比賽,讓用戶隨時隨地去了解到該場比賽的具體信息,是用戶使用率最高的體育類應用APP。并且在版權允許的情況下用戶高質量的UGC(UserGeneratedContent,用戶的生產內容)和在線上的互動也是該APP不斷發展向上的核心資源之一,這也是該APP有別于其他的體育應用類APP的特點。其中APP里面對于比賽的直播解析也是很多人選擇其進行觀看比賽的重要原因之一。直播解析是由對籃球非常熱愛且專業知識過硬的工作人員所組成,解說起來幽默風趣但又不失主題,就好像當年科比
54、退役之戰時,觀看比賽的用戶一度高達800萬。由于該APP具有較高的知名度,因此獲得大量的融資和贊助。如2015年的時候麥迪云上社交行業技術服務白皮書 26中國行的最后一戰在上海舉辦,就是其和淘寶等合作商進行合作的一款活動,并成功銷售了大量的周邊商品。3.2.2.4.2 業務挑戰作為國內最大的體育互聯網平臺,用戶希望其IT基礎架構能夠快速響應業務發展的需求:1、資源彈性伸縮:電商板塊應用拉新,NBA季后賽等熱點會導致流量突增,業務功能上線要求資源快速就緒,線下機房資源無法實現快速彈性擴容。2、用戶體驗優化:需要為用戶提供快速穩定的訪問體驗,并且通過全方位數據對用戶進行精確的畫像。3、數據價值提升
55、:需要通過對各種數據的采集,并且進行實時的建模分析,實現對數據的價值變現。4、架構可用性:業務的發展對基礎設施架構的穩定性和可靠性提出了更高的要求,線下IDC自建基礎架構從技術團隊的資源和保障能力上難以滿足。3.2.2.4.3 解決方案經過幾年的試用和考察,某客戶最終決定將全站業務遷移上云,并在此基礎上進一步構建云原生應用,充分利用阿里云高性能、低成本、高可用、易維護的優勢,適應未來業務發展的需要。1、通過RDS/Redis/POLARDB的彈性伸縮能力,快速響應業務資源需求。2、借助DTS的實時數據同步能力,實現數據從交易系統到分析系統的實時同步,并借助分析型數據庫AnalyticDB對數據
56、進行實時分析。數據庫遷移上云,通過DTS的單向/雙向同步能力,實現業務快速上云切換。憑借云上的全棧性能優化,包括接入、應用部署和數據庫響應的優化,顯著提升了用戶的訪問體驗。27 云上社交行業技術服務白皮書云上社交行業技術服務白皮書3.2.3 陌生社交3.2.3.1 陌生社交的概念及發展陌生社交1995年從美國萌芽,千禧年初盛行于國內,并隨著移動互聯網浪潮進入高速發展階段,智能手機大規模普及,陌生社交進入井噴。20年間,它似乎一直處在旋渦之中,又一直飛在風口之上。廣告、會員和虛擬物品等增值服務,是現階段陌生人社交平臺最廣泛采取的營收手段。其他附屬功能的搭建也成了關鍵,留住用戶之后,就可以加快商業
57、化的腳步了,用一些可以快速創收的生意來穩定平臺的發展。云上社交行業技術服務白皮書 28比如目前一些APP在用戶較為穩定之后,就用直播當作自身發展的第二曲線。有的APP雖然基于社交,但后續逐漸開辟了虛擬商品交易、電商交易等方面業務。眼下,陌生人社交APP仍需探索出一套可靠且符合平臺調性的盈利模式,才不會使“靈魂社交”成為空中樓閣。近年來,我國陌生人社交用戶規模不斷增長,2016年達到4.88億,2020年接近6.5億人。孤獨催生了“孤獨生意”,熟人世界里無處排遣的孤獨感,滋生了陌生人社交這個千億元級別的市場。數據顯示,我國目前有超過1300家從事陌生人社交相關業務的企業。其中,近4成的陌生人社交
58、相關企業成立于5年之內。從行業分布來看,陌生人社交相關企業主要分布在軟件和信息技術服務業、以及科技推廣和應用服務業,占比分別為29%和42%。3.2.3.2 陌生社交架構說明3.2.3.2.1 安全架構陌生社交業務發展迅速,自身在DDOS方面的要求較高,如果無法應對DDOS攻擊則會產生較大的風險,通過以下解決方案來對云上的資源進行保護;IM業務場景:通過阿里云新BGP高仿,對后端ECS進行防護,保障4層業務安全;API業務場景:由于需要Http1DNS,同時需要Https證書雙向認證,因此采用防護包的方式進行防護,提升流量入口SLB的防護閾值;通過對不同業務的不同防護方案,使得客戶的核心IM業
59、務更加的穩定,可以專注于其他功能的開發;29 云上社交行業技術服務白皮書云上社交行業技術服務白皮書3.2.3.2.2 數據湖架構社交網絡的大數據分析需要使用多種類型、大規模的用戶相關數據,去深度挖掘出多種社交屬性,通過智能算法,分析出用戶多維度特征,根據用戶畫像去匹配出合適的其他用戶和內容,智能推薦是某陌生社交APP一個核心能力。這就需要存儲大量的社交訪問行為數據,并且需要不定期的去使用新模型重新計算已有的數據。隨著應用的長期運行和用戶數增加到億級別,累積的各類相關數據已經達到了新的規模,此類數據的長期存儲成本優化對于應用的長期發展非常重要。Facebook非常成功的讓客戶能夠查看從注冊到現在
60、的整個過程的回憶器能力,讓社交應用中,對于用戶長期行為記錄的保存在社交場景中被非常重視,不能通過簡單的通過刪除歷史數據,去降低這些數據的存儲成本。平衡存儲成本和持續的挖掘數據潛力,成為了客戶在業務長期發展中亟需解決的一個難題。采取分層存儲的模式進行數據存儲:采用OSS多種存儲類型結合使用方式,對于新產生的熱數據使用標準類型OSS,對于生成后達到預定義時間的數據,通過OSS Lifecycle能力沉降到低頻、歸檔類型,當模型、算法更新后需要重新計算,只需要解凍冷數據,就可以和使用標準類型數據相同方式進行數據處理。3.2.4 其他場景3.2.4.1 游戲社交某第三人稱射擊游戲做到了從游戲到社交,該
61、游戲是一款將“射擊”與“建造”融為一體的大逃殺游戲。在不斷的發展中這款游戲擁有了更為豐富的模式,其內容逐漸突破了原有的槍戰、競爭等元素,讓玩家得以感受,在虛擬世界與他人進行互動和社交的樂趣;在內容上,這款游戲打破了各個主機平臺之間不互通的牢籠,讓內容更為共享;在交互上,不斷地有歌手在該游戲中舉辦演唱會,甚至有電影導演在游戲中進行新電影的宣發,這無疑進一步打破了虛擬與現實的邊界。同時在娛樂之外,這款游戲還有可以通過個人的創造來實現經濟上的盈利,甚至可以自己設計場景來供其他玩家來游云上社交行業技術服務白皮書 30游玩。讓游戲不再僅僅是游戲,而更多的具有社交的功能。3.2.4.2 職場社交 職場社交
62、隨著互聯網和云端技術的發展,也在不斷演變?,F在企業的員工不僅要與全國、全球的客戶保持密切的溝通,即使是同一公司的同事,也會因為職場不同遍布在全國各地。為了滿足日益增長的職場社交需求,一個高效的社交平臺就顯得尤為重要。釘釘就是一個典型的職場社交平臺,因為它不僅是一個協同辦公平臺,更是一個應用開發平臺,同時下聯基礎設施,上聯行業的應用,溝通讓工作更加順利。3.3 社交安全社交媒體在滿足用戶社交需求的同時,也擔任著維持平臺上內容安全、保護平臺數據安全、保障用戶隱私安全等責任。我國的網絡安全法規定,網絡社交平臺屬于網絡服務提供者,負有相應的網絡安全管理義務和提醒義務等法定義務,主要是協助執法、內容信息
63、監管、用戶數據保護等。3.3.1 社交內容安全3.3.1.1 社交內容安全需求分析早在2018年,西雅圖時報撰稿人Dick Lily在一篇名為“社交媒體的算法將我們帶入了黑暗、分裂的兔子洞”的文章指出:“社交媒體平臺利用算法來迎合我們對“刺激”的需求 我們的擔憂,我們的恐懼,還有我們對某些事物的厭惡,它驅使我們不停地點擊,這樣他們就可以向我們展示廣告?!鄙缃幻襟w導致極端主義,傳播偏見和仇恨,并可能導致暴力。這種現象的根源在于算法的應用。紐約時報在一篇報導中提到,“算法決定每個用戶看到的動態,它的核心使命是推廣能夠最大化用戶參與度的內容。研究發現,凡是能夠挑動憤怒以及恐懼等負面、原始的情緒的帖子
64、,其閱讀數量將會激增?!钡聡囊豁椦芯勘砻?,在近幾年反移民暴力事件發生后,僅31 云上社交行業技術服務白皮書云上社交行業技術服務白皮書靠單一的內容頁面并不能起到煽動作用,而一旦用戶登陸某個頁面,Facebook和YouTube的算法便會逐步深入右翼宣傳。印第安納大學信息學與計算機科學教授Filippo1Menczer在一篇文章中提到,由于集體預測通常比個人預測更準確,人們在做出決策時傾向于依據他人的行動、意見和偏好作為指引。在數百萬年的進化過程中,這種傾向以“認知偏差”的形式被編碼到人類大腦中,比如“跟風效應”。人們模仿鄰居、跟隨贏家、跟隨大多數。這種“群體智慧”(The Wisdom of
65、The Crowds)的有效性建立在一個假設之上,即群體是由不同的、獨立的來源組成的?;ヂ摼W科技使得人們能夠獲取到來自不計其數的素不相識的人的信息。由于人們傾向于與相似的人交往,他們的在線社群不再多樣化。這將人們推入同質化的社區 通常被稱為“回音室”(The Echo Chamber Effect)。而“群體智慧”在這一場景中不再有效。Tom1Nichols曾在專家之死一書中指出,高等教育的商品化、互聯網領域的內容過剩,以及媒體行業的娛樂化使人們“無知卻很自信”,大眾對專家的抵觸使得越來越多的專家陷入一種“社會性死亡”。由此,反智主義盛行?!吧缃幻襟w被用來傳播錯誤信息放大問題、模仿社會運動、推
66、動陰謀”,一名哈佛大學的研究主管甚至表示,“錯誤信息是社交媒體的一個特征,而不是漏洞?!痹谶@個信息膨脹時代,內容安全有位重要。同時法律法規及既為用戶維權有法可依提供了基礎,也為行業內各個社交平臺敲響了警鐘,預防是比事后補救更好的解決方法,平臺構建更健全的內容審核機制和審核吐啊對的重要性可謂是不言而喻的。3.3.1.2 阿里內容安全能力隨著社交媒體上用戶量、用戶創造和傳播的內容的不斷增加,內容安全的重要性也隨之不斷上升。各社交平臺可以從零開始自建內容安全能力,也可以依托于阿里云積累的多種云上內容安全能力,一起來保障云上社交的內容安全。阿里云為云上業務提供的內容安全能力有:內容檢測API、OSS違
67、規檢測和站點檢測等功能,其中每個功能都能適用于多種場景。3.3.1.2.1 內容檢測API云上社交行業技術服務白皮書 32應用場景描述圖片違規內容檢測視頻違規內容檢測文本垃圾內容檢測檢測圖片違規或識別圖片中的不良信息。具體支持以下場景:智能鑒黃 暴恐涉政檢測 圖文違規檢測 二維碼檢測 不良場景檢測(圖片中無內容、畫中畫、吸煙、車內直播)logo檢測檢測視頻中的違規內容或不良信息。具體支持以下場景:智能鑒黃 涉政暴恐檢測 圖文違規檢測 不良場景檢測(例如黑屏、白屏)logo檢測檢測文本中的違規或不良內容,具體包括以下場景:廣告內容檢測 涉政暴恐檢測 辱罵內容檢測 色情內容檢測 灌水內容檢測 無意
68、義內容檢測 違禁品內容檢測 不良場景內容檢測(保護未成年場景,支持拜金炫富、追星應援、負面情緒、負面誘導等檢測場景)自定義關鍵詞檢測語音垃圾內容檢測檢測語音中的違規或不良內容,具體包括以下場景:廣告內容檢測 涉政暴恐檢測 辱罵內容檢測 色情內容檢測 灌水內容檢測 無意義內容檢測 違禁品內容檢測 不良場景內容檢測(保護未成年場景,支持拜金炫富、追星應援、負面情緒、負面誘導等檢測場景)自定義關鍵詞檢測文件垃圾內容檢測檢測文件中的違規或不良內容,具體包括以下場景:porn:鑒黃 ad:廣告 terrorism:暴恐涉政 sface:敏感人臉 qrcode:二維碼 live:不良場景(圖片中無內容、畫
69、中畫、吸煙、車內直播;視頻黑屏、白屏)logo:logo識別33 云上社交行業技術服務白皮書云上社交行業技術服務白皮書3.3.1.2.1 OSS違規檢測應用場景描述網頁垃圾內容檢測圖文OCR識別檢測網頁中的違規或不良內容,具體包括以下場景:porn:鑒黃 ad:廣告 terrorism:暴恐涉政 live:不良場景(圖片中無內容、畫中畫、吸煙、車內直播;視頻黑屏、白屏)識別圖片中的各種文字信息(結構化或非結構化信息)。支持識別的結構化卡證對象包括:身份證 護照 銀行卡 營業執照 增值稅發票 行駛證 駕駛證 車牌 車輛Vin碼視頻質檢檢測根據給定的視頻,檢測文件中是否有模糊、拼接、低亮度、黑屏、
70、靜幀等質量問題。相似圖檢索根據給定的圖片到用戶自定義圖庫檢索相似的TOP N張圖片。圖片標簽識別識別圖片中的主體,并輸出對應的標簽。人臉識別人臉識別包括以下能力:人臉屬性檢測 人臉比對 活體翻拍檢測 圖片敏感人臉識別 視頻敏感人臉識別 自定義人臉檢索應用場景描述檢測阿里云對象存儲OSS服務中的圖片、視頻、語音是否包含色情、涉政等違規內容檢測OSS存儲空間中的違規內容,支持增量內容自動檢測或存量內容手動掃描。云上社交行業技術服務白皮書 34OSS違規檢測能夠檢測阿里云對象存儲OSS服務中的圖片、視頻、語音是否包含色情、涉政等違規內容,并可以自動凍結檢測出的違規內容(禁止通過公網訪問這些違規內容)
71、,幫助您規避可能遇到的內容違規風險。功能介紹OSS違規檢測支持檢測指定OSS1Bucket中的增量內容和存量內容,即增量掃描和存量掃描。該功能無需您開發,只需要少許頁面配置即可接入使用。增量掃描開啟增量掃描后,當您在OSS1Bucket上傳了新的圖片、視頻、語音時,內容安全將自動檢測新增的圖片、視頻是否存在違規。增量掃描一次配置即可長期生效。存量掃描存量掃描目前不支持自動檢測,需要您手動創建掃描任務。創建后,內容安全將在指定時間,一次性掃描您指定的OSS1Bucket已有的圖片、視頻、語音文件是否存在違規。使用流程3.3.1.2.2 站點檢測應用場景描述站點內容風險檢測定期自動檢查網站首頁或全
72、站中存在的違規內容,支持檢測的風險場景如下:首頁篡改 色情低俗 涉政暴恐 垃圾廣告 用戶自定義關鍵詞 用戶自定義相似圖授權訪問oss存儲空間授權內容安全能夠讀取您的oss對象存儲服務tmpsample bucket權限。查詢掃描結果當您完成增量掃描任務后,您可以隨時在內容安全控制臺查看掃描結果,并根據掃描結果執行自助審核。查詢掃描結果當您完成增量掃描任務后,您可以隨時在內容安全控制臺查看掃描結果,并根據掃描結果執行自助審核。設置增量掃描任務通過增量掃描設置,您可以對指定OSS Bucket中新增的圖片、文本和視頻自動進行違規檢測。35 云上社交行業技術服務白皮書云上社交行業技術服務白皮書站點檢
73、測服務幫助您定期檢查網站首頁和全站內容,及時發現您的網站在內容安全方面可能存在的風險(例如,首頁篡改、掛馬暗鏈、色情低俗、涉政暴恐等),并向您展示違規內容的具體地址,幫助您查看和修復。1、功能描述站點檢測的對象是您的網站上的網頁和圖片,以URL數量進行計數。在單個網站的一個檢測周期內,站點檢測支持的最大檢測容量為10萬個URL。站點檢測包含首頁檢測和全站檢測功能。首頁檢測:定期對您網站的首頁進行檢測,展示最近一次的檢查結果。檢查結果涵蓋首頁篡改、掛馬暗鏈、色情低俗、涉政暴恐等風險提示,并提供源碼、文本、圖片三類呈現方式,供您參照和整改。全站檢測:定期對您網站域名下的網頁進行自動化全站內容檢測,
74、展示最近一次的檢查結果。檢查結果涵蓋掛馬暗鏈、色情低俗、涉政暴恐等風險提示,并提供源碼、文本、圖片三類呈現方式,供您參照和整改。2、使用流程站點檢測服務定期檢查您的網站首頁和全站內容,及時發現您的網站在內容安全方面可能存在的風險(例如首頁篡改、掛馬暗鏈、色情低俗、涉政暴恐等),并向您展示違規內容的具體地址,幫助您查看和修復。您可以設置消息通知,獲取實時的站點首頁風險提醒。在使用站點檢測功能之前,您需要先購買站點檢測實例。購買實例后,需要將實例綁定到您的站點、添加要檢測的網站域名和首頁地址、設定首頁和全站檢測的頻率,并完成網站鑒權。完成設置后,系統將定期按照您設定的頻率對首頁和全站內容(包含網頁
75、源碼、文本和圖片)進行檢測。如果發現有風險,將按照您設定的消息接收方式通知您,您也可以登錄內容安全控制臺查看檢測結果。購買站點檢測實例首次使用內容安全站點檢測功能,您需要先購買站點檢測實例。查詢檢測結果您可以隨時在控制臺上查看站點檢測 結果,對存在風險的URL進行處理。創建站點檢測任務您需要創建站點檢測任務,綁定并驗證您要檢測的站點。站點驗證通過后,檢測實例會自動 開始檢測。云上社交行業技術服務白皮書 363.3.2 云上數據信息安全3.3.2.1 云上數據安全需求分析刑法第286條規定網絡服務提供者不履行法律、行政法規規定的信息網絡安全管理義務,經監管部門負責令采取改正措施而拒不改正的行為,
76、具有“致使違法信息大量傳播”的情形,“致使用戶信息泄露,造成嚴重后果”的情形,“致使刑事案件證據滅失,情節嚴重”的情形,“有其他嚴重情節”的情形均構成犯罪。無論是處于法律法規,還是人們對于隱私的保護,社交媒體平臺對信息安全保護的重要性是不言而喻的。云上安全問題本質上都是由線下傳統安全問題衍生而來的,但由于云計算平臺的相對開放性又引入了新的安全風險。例如,虛擬機逃逸造成新的安全威脅,原本封閉的IDC需要開放新的通道而造成防護邊界模糊,本地的身份認證系統與云上集成的風險,云產品配置錯誤或云賬號AccessKey使用不當導致的數據泄漏風險,因缺乏專業云安全運營人員導致云上安全防護形同虛設等風險。3.
77、3.2.2 云上安全防護體系3.3.2.2.1 遷云安全設計用戶在擬向云計算平臺遷移或部署其業務和數據時,應選擇通過第三方安全審查或認證的云服務商,確保其滿足云計算安全服務能力和合規能力的要求。企業應對各種需要IT支持的業務和流程進行投入產出比(ROI)分析,而風險與收益的評估也同樣重要,還應考慮合規和隱私保護的影響。云上安全防護策略是企業上云和云上資產管理的起點,提前定義完善的防護策略將顯著降低被攻擊或數據泄漏的風險。云上安全防護策略應考慮組織規模、組織業務安全需求、防護目標、防護邊界、合規和法律等因素。在評估得到要部署的云上業務形態后,即需要分析和定義云上資產。37 云上社交行業技術服務白
78、皮書云上社交行業技術服務白皮書3.3.2.2.2 云上安全防護體系原則及框架1、云上資產訪問和管理應遵從以下云上安全原則:網絡隔離(縱深防御):通過云產品的安全隔離和訪問控制功能,實現網絡、系統、應用和數據不同維度的隔離以實現縱深防御。認證授權(最小權限):僅授權使用者必須的云賬戶和子賬戶權限,并開啟雙因素認證措施和關鍵操作二次認證能力。安全加密(開啟加密措施):通過傳輸加密和存儲加密措施實現數據在云上全程加密。監控告警:通過日志和監控措施及時發現配置變動、異常登錄和操作、數據泄露以及異常攻擊等。阿里云提供了全面的安全基礎設施能力,覆蓋虛擬化安全、主機安全、應用安全、數據安全、業務安全以及各種
79、監控審計措施的云盾系列安全產品,滿足云上安全合規和風控需求。其中,以賬戶為核心的身份認證措施是云上安全的核心,正確地設置云賬戶能消除大部分安全風險;以加密為基礎的防護措施是云上安全的基石,正確使用KMS系統能降低數據泄露的風險。下面主要介紹阿里云訪問控制(RAM)和密鑰管理服務(KMS)最佳實踐。2、阿里云提供了以下兩類身份認證服務:云盾應用身份服務IDaaS(Alibaba Cloud Identity as a Service,簡稱IDaaS),是阿里云為企業用戶提供的一套集中式身份、權限、應用管理服務,幫助用戶整合部署在本地或云端的內部辦公系統、業務系統及三方SaaS系統的所有身份,實現
80、一個賬號打通所有應用服務。訪問控制(Resource Access Management,簡稱RAM)是阿里云提供的一項管理用戶身份與資源訪問權限的服務,RAM是阿里云資源認證的核心。3、密鑰管理服務(Key1Management1Service,簡稱KMS)是云上數據安全的核心,提供密鑰的安全托管、密碼運算等基本功能,內置密鑰輪轉等安全實踐,同時支持其他云產品通過一方集成的方式對云產品管理的用戶數據進行加密保護。主要提供以下兩種能力:云上社交行業技術服務白皮書 38主密鑰在線加解密:用戶可以直接調用KMS的API,使用指定的用戶主密鑰(CMK)來加密、解密數據。這種場景適用于少量(少于6KB
81、)數據的加解密,用戶的數據會通過安全信道傳遞到KMS服務端,對應的結果將在服務端完成加密、解密后通過安全信道返回給用戶。信封本地加解密數據:用戶可以直接調用KMS的API,使用指定的用戶主密鑰(CMK)來產生數據密鑰,并自行使用數據密鑰在本地加解密數據。這種場景適用于大量數據的加解密,用戶無需通過網絡傳輸大量數據,可以低成本的實現大量數據的加解密。3.3.2.2.3 云上數據生命周期管理敏感數據主要包括客戶資料、技術資料、個人信息等高價值數據,這些數據以不同形式存在于資產中。敏感數據的泄露會給企業帶來嚴重的經濟和品牌損失。因此數據安全是云上數據的核心能力,我們建議根據數據安全能力成熟度模型(D
82、ata security capability maturity model,簡稱DSMM),將數據按照其生命周期分階段采用不同的能力評估等級,分為數據采集安全、數據傳輸安全、數據存儲安全、數據處理安全、數據交換安全、數據銷毀安全六個階段。DSMM從組織建設、制度流程、技術工具、人員能力四個安全能力維度的建設進行綜合考量。DSMM劃分成了1-5個等級,依次為非正式執行級、計劃跟蹤級、充分定義級、量化控制級、持續優化級,形成一個三維立體模型,全方面對數據安全進行能力建設。阿里云建議云上數據安全參考DSMM進行安全防護,制定數據安全策略,通過組織、人員和技術推動數據安全落地。具體操作,請參見阿里云
83、企業上云數據安全最佳實踐(https:/www.ali- 云上社交行業技術服務白皮書云上社交行業技術服務白皮書快速發現和定位敏感數據,追蹤敏感數據的使用情況,并根據選擇的安全管理規則,呈現系統化的數據總覽圖,以確保實時了解資產數據的安全狀態。此外,DataWorks以及MaxCompute也支持數據的分類分級和打標工作。2、數據傳輸安全阿里云產品控制臺訪問均通過HTTPS加密。各產品均對外提供加密的HTTPS的Endpoint供API調用,全鏈路通信進行SSL/TLS安全加密處理。強烈建議SLB、CDN、OSS、RDS、MaxCompute、Datahub等常用產品開啟鏈路加密功能。3、數據存
84、儲安全落盤加密主要指數據以加密的狀態落盤存儲,其中又分為默認服務密鑰落盤加密和自選秘鑰加密,其安全強度逐次增強。阿里云ECS云盤、RDS for MySQL、RDS for SQLSever、OSS、RDS for PostgreSQL、NAS、MaxCompute、TableStore等產品均提供了存儲加密能力。云服務器ECS中的云盤:支持服務密鑰和BYOK密鑰落盤加密云數據庫MongoDB版:支持TDE服務密鑰落盤加密云數據庫RDS for MySQL版:支持服務密鑰和BYOK密鑰落盤加密云數據庫RDS for SQLServer版:支持服務密鑰和BYOK密鑰落盤加密云數據庫RDS for
85、 PostgreSQL云盤版:支持服務密鑰和BYOK密鑰落盤加密通用文件存儲(NAS):支持服務密鑰落盤加密OSS:支持服務密鑰和BYOK密鑰落盤加密MaxCompute:支持項目(Project)級別與表(Table)級別加密,支持服務密鑰和BYOK密鑰落盤加密(即將上線)表格存儲(TableStore):支持服務密鑰和BYOK密鑰落盤加密(后者即將上線)4、數據處理安全阿里云不同產品提供了不同層次的數據處理安全能力。例如,MaxCoumpute和Dataworks提供了安全沙箱的隔離能力、OSS通過不同ACL策略進行讀寫分離,不同產品間數據處理通過RAM權限管理進行隔離和控制,通過安全組和
86、VPC進行數據處理環境的隔離。此外,還可以通過敏感數據保護(SDDP)和DataWorks保護傘監控云云上社交行業技術服務白皮書 40理環境的隔離。此外,還可以通過敏感數據保護(SDDP)和DataWorks保護傘監控云上數據權限變動和異常情況、以及對敏感數據進行脫敏處理,保障數據處理安全。5、數據交換安全數據的價值是通過交換和共享來實現的。阿里云上數據交換建議通過脫敏、隔離、以及API網關的形式進行數據交換,以可用不可見的方式實現數據共享。對于大數據場景,建議在MaxCompute或DataWorks中開啟項目保護模式實現數據的下載控制,通過可信設置保障數據交換安全。6、數據銷毀安全阿里云建
87、立了對設備全生命周期(包含接收、保存、安置、維護、轉移以及重用或報廢)的安全管理。設備的訪問控制和運行狀況監控有著嚴格管理,并定期進行設備維護和盤點。特別是當設備重用或報廢時,阿里云會對存儲介質進行覆寫、消磁或折彎等數據清除處理。阿里云的數據清除技術滿足行業標準,清除操作留有完整記錄,確保用戶數據不被未授權訪問。RDS:在控制臺釋放實例或者刪除數據庫。更多詳細信息,請參見刪除數據庫(https:/ drop table xxx命令。MaxCompute:在DataWorks上執行delete project命令(異步操作)。Datahub:控制臺刪除project和topic,次日凌晨4點會自
88、動刪除。OSS:控制臺刪除文件,然后回收站刪除,刪除bucket。更多詳細信息,請參見刪除文件(https:/ 云上社交行業技術服務白皮書云上社交行業技術服務白皮書4、云上社交保障與服務案例4.1 社交平臺可靠性 基于社交媒體類直播點播場景,通過對于當前主流頭部客戶質量監控體系模型進行提煉,輸出了客戶端日志上報數據推薦、質量監控通用指標及報警方式建議??蓭椭嚓P業務同學更清晰了解媒體類客戶質量核心訴求,并為多媒體客戶提供質量監控系統參考。4.1.1 行業質量監控指標4.1.1.1 公共檢測平臺PK關鍵指標直播點播都是如何做的質量評估的?我們先來看看公共監測工具基調-流媒體監測關鍵指標:緩沖前準
89、備時間:從開始監測到第一次緩沖出現的時間,包含了DNS解析時間、發出數據 請求及接收第一個數據包的時間。緩沖時間:流媒體播放器處于首次緩沖狀態待續的總時間。再緩沖時間:流媒體播放器在播放過程中出現了緩沖所花費的時間。等待時間:等于連接時間+首次緩沖時間+所有再緩沖時間;是一個重要的指標,系統用此值來表示流媒體文件監測的性能。用戶體驗指數:反映用戶實際播放體驗的綜合指標,等于等待時間(秒)+(緩沖次數-1),等待時間越長,緩沖次數越多,用戶體驗指數表現越差。再緩沖次數:流媒體播放器在播放過程中出現了緩沖所花費的次數。4.1.1.2 社交媒體行業頭部客戶關鍵指標再來看看多媒體行業頭部客戶的關鍵指標
90、:云上社交行業技術服務白皮書 42某頭部短視頻客戶直播:開播失敗率、首幀時間、百秒卡頓sum、百秒卡頓avg、百秒卡頓 次數、百秒重試次數某游戲直播客戶直播:秒開率、中度卡、重度卡、黑屏比、p2p卡比、flv卡比、adr卡比、ios 卡比、webh5 卡比某政企客戶直播:卡頓率、錯誤率某游戲直播客戶直播:卡頓率、拉流失敗、秒開失敗、平均延遲某頭部短視頻客戶直播:下載失敗率、下載速度、慢速下載率、視頻準備時間、開播故障率、卡頓次數、卡頓率 卡頓時長某頭部短視頻客戶點播:卡頓率、中斷率、錯誤率,某游戲直播客戶點播:成功率某政企客戶點播:卡頓率、錯誤率某頭部在線視頻網站點播:卡頓率4.1.1.3 共
91、性關鍵指標簡介直播通用:開播失敗率、卡頓率、秒開率點播通用:卡頓率、錯誤率、失敗率4.1.2 質量指標衡量標準4.1.2.1 背景 對于應用而言,應用業務質量的數據源通常會有兩個,一個是來自服務器 server的日志,一個是來自客戶端的日志。但是由于服務端server的日志只能記錄服務端一側的事件,對于請求發出但未抵達服務端的請求,客戶端的環境信息等無法觸達,如果僅依賴于服務端日志,將使得對于統計整體業務的運行情況以及對于部分異常場景的追蹤變得困難??蛻舳巳罩咀鳛槌绦蜻\行狀態和路徑的記錄,是進行統計和追蹤重現問題的重要依據。因此規范的日志打印和合理的日志獲取流程具有重要意義。43 云上社交行業
92、技術服務白皮書云上社交行業技術服務白皮書另一方面,要對社交中直播和點播的質量進行具體量化的分析,才能找到更好進行監控,以及有助于定向優化,進而提升平臺的穩定性。4.1.2.2 某平臺質量檢測方式4.1.2.2.1 直播評分方式各項指標加權平均算法如下:總分=百秒卡頓次數*5+百秒卡頓時長*5+拉流成功率單項分*30+端到端延遲*15+視頻渲染百秒卡頓時長*15+視頻渲染百秒卡頓次數*10+首幀時間單項分*20。如果存在多個CDN廠商,會進行歸一化處理,方式如下:百秒卡頓次數、百秒卡頓時長、視頻渲染百秒卡頓時長、視頻渲染百秒卡頓次數、拉流成功率歸一化:性能最好的 CDN 供應商的分數為 100,
93、其他的為數值與性能最好的 CDN 供應商的比 值。0=單項分=100。首幀算法調整:按照區間打分。首幀時間分值首針時間650msdiff 50msdiff 100msdiff 200msdiff=400ms分值100分100分80分60分40分0分云上社交行業技術服務白皮書 44端到端延時調整:按照區間打分4.1.2.2.2 直播質量日報指標說明 首幀時間分值端到端延時=8.5 s分值100分-1分90分-1分70分0分首幀時間分值名稱百秒卡頓時長百秒卡頓次數首幀時長拉流成功率端到端延遲視頻渲染百秒卡頓時長視頻渲染百秒卡頓次數數據來源客戶端打點日志客戶端打點日志客戶端日志客戶端日志客戶端日志客
94、戶端日志客戶端日志說明&算式參考avg(百秒卡頓時長)avg(百秒卡頓次數)avg(首幀時長)參考算式:count(is_stream_reciv ed:1)/count(*)avg(端到端延遲)avg(視頻渲染百秒卡頓時長)avg(視頻渲染百秒卡頓次數)45 云上社交行業技術服務白皮書云上社交行業技術服務白皮書4.1.2.2.3 點播評分方式各項指標加權平均:總分=錯誤率/3+中斷率/3+卡頓率/3 4.1.2.2.4 點播質量日報指標說明各項指標算法及說明:單位時間:每5分鐘為一個單位。首幀時間:從用戶開始播放到出現首幀畫面的時長,單位時間:毫秒??D:在播放過程中出現的網絡卡頓次數,一次
95、播放中,不論卡頓多少次,都計數為1次。未起播:用戶請求多次播放地址均未加載成功,計數為1次。播放中斷:用戶在播放過程中,因網絡等原因未成功繼續播放,計數為1次。錯誤數:指響應5XX狀態碼、連接超時的請求。播放失敗:用戶請求多次主備播放地址均未播放成功,計數為1次。百秒卡頓時長:用戶每播放100秒視頻所經歷的卡頓時長,單位時間:毫秒。4.1.2.3 質量告警方式和內容4.1.2.3.1 告警平臺除了質量的評價標準和日報,還需要及時發現問題、定位問題的能力,而這就需要精確有效而多樣的告警方式。而一般都會選用郵件+IM工具,而有些大的客戶也會選用自建平臺進行質量的實時監控。直播指標:某頭部短視頻客戶
96、:審核實時流成功率、拉流成功率、時移失敗率、錯誤率、百秒卡頓時長、直播首推成功率某頭部短視頻客戶:卡頓率、開播失敗率云上社交行業技術服務白皮書 46點播指標:某頭部短視頻客戶:卡頓率、下載耗時、中斷率、未播放離開、失敗率、成功率某頭部短視頻客戶:下載失敗率、下載失敗率,慢速下載率、quic_fallback_占比、quic_占比4.1.2.3.2 告警內容直播告警內容(平臺IM+郵件)上行告警方式:主播名稱 線路 卡頓率占比 卡原因 流名稱舉例:時間主播告警主播xxx,線路3當前感官卡頓率為:60%卡原因:轉碼環節,流名稱:http:/xxx下行告警方式:業務類型域名時間地區運營商卡頓率占比開
97、播失敗率占比觀看人數開播失敗率狀態持續時間舉例:NOTI直播質量監控直播域名03-19 11:30新疆-電信:當前卡頓率24.13%,開播失敗率3.78%,觀看行為數1090;卡頓率超過閾值。點播告警內容(IM+郵件)下行告警方式:業務類型域名時間地區運營商終端類型下載量下載失敗率占比下載失敗 率日同比變化 持續時間舉例:WARN 短視頻下載監控點播域名03-19 06:20寧夏-VIDEO-移動-WIFI:當前下載失敗率9.60%,下載量9624.0;下載失敗率日同比變化125.1%。4.2 社交流量潮汐性4.2.1 基礎資源滿足潮汐性分析在熱點頻發的社交媒體上,擴容的速度和成功率成了剛需,
98、要求快、穩、省,這三個指標第一眼看仿佛是對于擴容的需求,但是對于熱點過后的社交平臺,縮容也有47 云上社交行業技術服務白皮書云上社交行業技術服務白皮書著類似的要求,快速,穩定以及成本節??;一般的社交媒體每日、周末或者節假日之間有波峰波谷,資源會有擴容和縮容的需求;如果熱點事件時候,流量暴增,熱點過后急需縮容;彈性方案分析如下:1、自建IDC-最大供應型如下圖所示,虛線部分是客戶業務高峰期和低谷期需求的模擬曲線,而飽和型就是資源最大供應模型,此模型主要是為了保障波峰時業務的穩定性。由于為了滿足波峰的需求,需要IDC提前準備冗余的資源,因此該資源供應模型的問題也極為明顯,不僅前期資源浪費驗證,而且
99、在業務的低峰期,有大量的在線資源被浪費。2、自建IDC-按需擴容型如下圖所示,相同虛線部分為客戶業務需求的簡易模擬曲線,而按需擴容型則再開始時只要滿足夠用,前期投入成本低,且能夠滿足一般的需求。云上社交行業技術服務白皮書 48由于社交媒體發展會比較迅速,前期按需求建設雖然起到了節約成本的效果,但是隨著業務的不斷發展,業務水位提高,資源不能滿足需求時,就需要進行臨時擴容。該方案在前期有較小資源浪費,但是在高峰時會有業務損失,見上圖中的虛線與實線的交叉部分。而擴容之后,在業務低峰期也有最大供應型一樣的資源浪費。3、云計算-按需彈性模型云計算的彈性模型,可以按照業務模型進行彈性擴容和縮容,業務架構需
100、要設置為可以橫向擴展的模式。詳細模型如下圖所示:49 云上社交行業技術服務白皮書云上社交行業技術服務白皮書雖然自建IDC也可以采用專有云進行彈性,但是宿主機也是物理服務器,需要提供最大供應的能力才能實現按需彈性,這樣也會造成資源浪費。而公共云則完美的解決了社交媒體流量潮汐,熱點時間突破預估等一般和特殊場景的需求,而且可以按需進行資源的擴展和縮容,高峰期提供充分資源已保障業務安穩,低峰期進行橫向縮容減少成本開支。4.2.2 某客戶基礎資源彈性方案某社交平臺發布信息快速,信息傳播速度快,基礎設施支撐面臨巨大挑戰,為了支撐彈性需求,該社交平臺通過多年的自主研發,構建了基于Docker的混合云架構,通
101、過公有云的能力支持彈性擴容?;诎⒗镌频腅CS的彈性能力,客戶業務高峰期的穩定性也不斷提升。而ECS作為IaaS層的能力提供,是有存在能力上限的。需要考慮更快、更省、更穩定的方案?;赟erverless&容器化的彈性計算服務,可以支撐客戶更高的彈性訴求。云上社交行業技術服務白皮書 50免運維的IaaS層服務,用戶不需要購買和管理ECS,可以直接在阿里云上運行容器/Pod;從購買ECS,然后部署容器(ECS模式),到直接部署容器(ECI模式),無縫對接容器服務Kubernetes;基于Kata的安全沙箱容器,提供VM級別的安全和資源隔離,深度整合優化的輕量級虛擬化解決方案,啟動更快,效率更高。
102、從2016年,100臺ECS擴容需要14分鐘,到2019年10分鐘2000天的ECS彈性速度。到2020年ASK的使用,實現了500實例/30S的速度。再到2022的今天,推動客戶使用了更加安全高效的ASK Pro版本,經過壓測不僅在速度上進一步提升,安全可靠性提升、10000臺的高并發的同時還帶來了更加公平的調度。4.2.3 云上成本優化社交媒體云上流量的潮汐性,不僅需要架構上為成本進行優化,還需要對云上各種資源進行成本優化的分析和方案制定,這樣才能“用好云”,實現在云上的高質量發展。4.2.3.1 成本優化意識4.2.3.1.1 資源投入和業務產出趨勢圖51 云上社交行業技術服務白皮書云上
103、社交行業技術服務白皮書4.2.3.1.2 成本意識和業務階段4.2.3.2 成本優化方法論在進行將本增效的過程中,首先我們要注意的是,成本的管理并不是在方案實施以后才需要關注的,而是在設計方案的時候就應該考慮了。成本優化和業務上云邏輯一致,成本控制和優化需要事先規劃,事中分析,并且做好事后評估,然后不斷地滾動迭代,向前邁進。因為任何方案一開始都不可能是完美的,需要一直進行回顧,并且不斷地,與時俱進。首幀時間分值業務階段探索期進攻期發展期變革期業務特點驗證模式,從0到1市場占有率是唯一目標穩居市場TOPN,業務成熟增速放緩、轉型或變革成本管理意識粗放式管理,只控制上限糧草先行,不控制成本閱讀財報
104、,關注成本問題降本增效,開始控制成本云上社交行業技術服務白皮書 524.2.3.3 成本優化流程4.2.3.3.1 確立成本優化方法論凡事預則立,不預則廢。在做一件事之前,要充分評估整個工作完整生命周期的要素,并進行整體工作框架的設計,一個科學的方法論是十分有必要的。成本優化遵循的是一個行業內成熟的PDCA的方法論,即Plan、Do、Check、Act,在每個階段都又有對應的二次迭代和微循環。在Plan計劃階段要做的事:建立意識、確定目標、分析現狀、確定評價指標。在Do執行階段要做的事:分解原子項目、確定方案、落實到人、優化原子指標。在Check檢查階段要做的事:規定動作檢查、行動結果評估、系
105、統問題定位、修正標準動作。在Act優化處理階段要做的事:定期復盤、形成報告、迭代認知、升級方法論、下階段目標。4.2.3.3.2 計劃規劃階段(Plan)53 云上社交行業技術服務白皮書云上社交行業技術服務白皮書在這個階段的核心目標是:用盡量精簡可量化的指標來衡量工作,盡量控制在2-3個。很多工作之所以最后失敗,是由于很多時候相關人員根本沒有辦法用具體可衡量的指標來衡量自己的工作。如果沒有提前制訂好可量化的指標,對于工作結果,只能有一個“定性”的認識(比如很好,很不錯,不好,較差),而無法做到“定量”,進而無法進行針對性的優化和迭代。對于面臨成本優化,或者將本增效的研發、運維和財務的工作人員來
106、講,不能得出一個定量的結果,是不夠科學的,執行的優化動作也是不具說服性的;具體如何確定評價指標,或者確定哪些指標作為將本增效的工作目標,其實也是一門學問。這個階段的幾個建議步驟為:建立意識:這個是團隊Leader的首要責任:1、明確成本控制是不是一件真正有意義和價值的事;2、要讓團隊成員明白自己在資源上花了多少錢;3、要做到大家認知一致。雖然見到過一些團隊在提倡成本控制,但是落實到具體行動時,卻流于形式或者無從下手,最后只能停留在口頭上,并沒有產生實際的效果。確定目標:這個過程相對宏觀,也可以認為是“定性”的階段。在這個階段要明確的就是,在成本控制這件事上,后續動作要解決的問題是什么?比如有些
107、團隊是總體成本偏高,但有些團隊總成本并不高,而是應該增加成本,有些團隊是非核心服務消耗的成本偏高,這些目標都需要經過團隊成員討論后得到一致的結果。在后續階段的迭代中,也可以進行不斷地修正。就像“客戶永遠不知道自己的需求”一樣,很多人是不清楚自己的目標的,可以使用SMART原則來明確目標。分析現狀:對成本這件事,羅列相關的數據,盡可能多地幫助自己做判斷。自己團隊在成本優化這件事上,處在哪一個階段,哪些工作有可能被進一步優化,在此階段要明確出來。確定評價指標:對于不同的專業序列,甚至對于同一專業序列的不同人員,大家對于成本的評價指標都不一樣。這個階段要做到最終的收斂,把團隊未來成本優化的結果,用明
108、確的數據表示出來。比如在到餐研發團隊中,我們確認了2個優化的核心指標:總成本、總訂單成本。后續大家所有努力的目標,如果跟這兩個指標沒有關系或者弱相關,都可以忽略。云上社交行業技術服務白皮書 54本階段最大的經驗是“知易行難”,雖然拍腦袋想出來一兩個方向和目標很容易,但是最后用數據論證現狀時,如何判斷自己這個指標是“優秀”、“良好”還是“不及格”?對標的團隊是誰?為什么對標的對象是TA?都是需要從人員規模、業務階段、業務量、行業特點等方面考慮仔細,也需要想清楚,其工作量甚至不比實際干活階段小。4.2.3.3.3 執行階段(Do)在執行階段的流程是:分解原子項目、確定方案、落實到人、優化原子指標。
109、在這里包括兩個核心要素:1、把核心指標相關的工作向下一層分解;2、在下一層,找到具體的人來執行,這個人要具備將自己負責的指標繼續分解到更細的能力,類似于我們說的樹狀結構。這樣層層地分解下去,每一層的葉子節點都可以找到對應的負責人。這種“總分”結構,在一本經典教材金字塔原理中也有詳細的闡述。分解原子項目:在本階段要建立一個完全細化的分級結構,用金字塔原理中的MECE不重不漏原則,將工作內容分解到最細的可控粒度。至于按哪個維度進行拆分,不同的團隊或者業務可能會有不同的原則,比如有些團隊直接按子團隊進行拆分,有些團隊按業務進行拆分,有些團隊按流程進行拆分。從較多團隊通用的角度,成本控制這件事,可以簡
110、單的將指標分解到二級指標,包括“自身使用的成本”和“被分攤的成本”。其中,“自身使用的成本”是指,為了滿足自己業務的需要,由本技術團隊申請或者使用資源產生的成本;“被分攤的成本”是指,由于根據某種計算邏輯,間接使用了其他團隊的資源,為其他技術團隊承擔一部分成本費用,比如常見的資源包括公司其他團隊開發的廣告、投放、風控、安全等系統。如果可以分拆到具體的系統,則每個系統又可以繼續向下拆分到更細粒度的構成項目,每個節點都是一個小的“總分”結構,按這個邏輯繼續向下分解,可以分為“可落地的最細粒度的成本”和“可落地的最細粒度的分攤成本”。再根據開篇描述的方法,確定每個原子的評價指標,無法量化的項目都是“
111、耍流氓”。這樣就形成了一個更完整的金字塔結構,如下圖所示:55 云上社交行業技術服務白皮書云上社交行業技術服務白皮書確定方案:根據上面的金字塔結構,每個原子指標,都需要專業的同學來評價分析,確定如何進行優化。比如,系統主機的成本,主要集中在虛擬機+存儲這樣的資源上,衡量的指標可以確定為“資源利用率”和“單訂單成本”。為了解決“資源利用率”這個原子指標,就需要考慮目前的空閑機器是否可以下線,在線的服務是否可以優化或者合并;為了解決“單訂單成本”這個指標,可以考慮分析下系統架構,跟核心流程處理有關的服務是否可以更加高效或者抽象出來成為服務中臺,這樣就可以釋放一些煙囪式的建設資源,使得核心處理能力更
112、加集中、高效。類似這樣將所有的解決方案整合起來,就形成了最后的解決方案。落實到人:有了方案之后,一定要確定唯一的Owner(主R),根據經驗,主R只有一個會比較好,否則會造成“責”、“權”、“利”分割不清。在這個過程中,也是培養團隊技術能力和架構能力的好機會。優化指標:不同的方案,實施的周期和代價不同,各個主R深入到不同專業后,會對目前的資源指標有分析和反饋。有可能理論上所有的指標都需要優化,也有可能一些指標已經很好了,這時候要甄別出來哪些資源指標的實施“杠桿率”比較高。建議應用80/20原則進行分析,即某些指標投入20%的資源和精力可以解決最后80%的核心問題,保證投入適合的工作量帶來較高的
113、產出。對于沒有解決方案的資源或者實施難度過大的資源,建議果斷放棄或者擱置。云上社交行業技術服務白皮書 56在具體實踐中,我們可以把以上的過程,再次用一個金字塔結構來表述,如下圖所示:建立了以上的結構,就可以根據各個專業的不同,對各自的指標進行優化了,如果最細一級的指標被成功優化之后,最上層的指標一定會有下降。因為上述指標都有其各自深層次的業務、技術,甚至是財務上的邏輯,故在此把一些需要關注的概念再贅述一下。很多公司每個技術團隊的機器成本,在財務上叫做“網站運維成本”,從頂層可以分為兩類構成因素,就是“自己產生的成本”和“被分攤的成本”兩大類。跟自己有關的繼續向下鉆取,可以分為交易相關的資源成本
114、(跟業務流程相關的)以及跟分析有關的大數據成本(分析、算法、決策相關)。4.2.3.3.4 檢查(Check)在這個階段,建議關注以下結果:規定動作檢查:規定的方案是否執行?相關的同學是否按照規定的動作進行了相對應的行動?這個階段只關注過程不關注結果,而且更多的是關注執行人、配合方、時間點,用項目管理的思路來運營。57 云上社交行業技術服務白皮書云上社交行業技術服務白皮書結果評估:之前梳理出來的指標是否得到了優化?這個過程是在驗證結果,各項指標中得到優化和未優化的都要整理出詳細的List,有些指標如“資源利用率”是立即可以查看結果的,有些結果是需要周期性的時間才能獲得。在這個基礎上可以繼續深入
115、反向思考,按“指標定義是否有問題-方案制定是否有問題-執行人是否有問題-配合方是否有問題”這個流程來進行評估。系統問題定位:在這個過程中,可以做到小范圍閉環,建議針對某個指標的優化方案可以設計多套,方案A不行馬上迭代成方案B,快速試錯,找到合理的方案。修正標準動作:在執行的過程中,很多方案和動作,都是在一線現場發現和修正的,不需要等待大規模復盤的時候再提出問題和總結,主R要具備這樣的意識,在執行過程中多說多問,找到關鍵要素,相信每個同學都有過這樣的經歷。經歷過某個完整項目生命周期的同學,往往也是團隊內成長最快的骨干。4.2.3.3.5 復盤總結,繼續迭代(Act)定期復盤:復盤是一個非常重要的
116、能力,個人以為,復盤總結的能力在某種程度上也代表了自己的“抽象能力+思考能力+管理能力”,關于復盤的方法論書籍很多,這里不再進行贅述。在這個階段,個人建議關注的點在于兩個“知道”:“知道自己不知道”,通過復盤掌握了成本優化的方法、框架、方案、團隊素質、結果;“不知道自己知道”,通過一些結果,知道了自己原來一直是在正確的道路上還是在錯誤的道路上前進,把帶有“運氣”成分的成功,升華成為一種未來的“習慣性成功”。形成報告:讓第一次看到這個報告的人,也能通過一兩次實踐,學會成本優化這件事。迭代認知:將之前的過程開始深化和迭代,也是再次進行PDCA的過程,反復打磨自己的抽象能力、思考能力、管理能力,使自
117、己工作深度、廣度的ROI繼續提升。在迭代過程中,總會有一些驚喜和收獲。從個人來說,原來以為成本項目僅僅是個管理項目,在不斷通過技術手段取得成本優化的過程中,收獲了對架構、技術的理解,并且很多時候需要用創新的手段來解決前人未曾突破的問題,另外還收獲了7項跟架構升級、數據壓縮、技術處理有關技術專利,也是技術能力提升的一個佐證。云上社交行業技術服務白皮書 584.2.3.4 成本優化實施4.2.3.4.1 成本的組成4.2.3.4.2 計算成本計算成本,在阿里云上的計算能力是通過ECS去提供的,云服務器ECS(Elas-tic1Compute1Service)是阿里云提供的性能卓越、穩定可靠、彈性擴
118、展的IaaS(Infra-structure as a Service)級別云計算服務。云服務器ECS免去了用戶采購IT硬件的前期準備,讓用戶可以像使用水、電、天然氣等公共資源一樣便捷、高效地使用服務器,實現計算資源的即開即用和彈性伸縮。4.2.3.4.2.1 計算產品架構59 云上社交行業技術服務白皮書云上社交行業技術服務白皮書4.2.3.4.2.2 計算成本分析其中ECS的成本結構可以分為擁有成本和運維成本兩部分,我們再進行成本優化的時候主要是針對擁有成本展開:云上社交行業技術服務白皮書 601、計費方式:成本項資源類型計費說明相關文檔計費方式以實例規格的形式提供,包括vCPU和內存,收取
119、實例規格費用。計算資源計費鏡像計費塊存儲計費公網帶寬計費快照計費根據鏡像類型以及使用情況決定是否收費。按快照容量和存儲時長收取費用。按云盤容量和使用時長收取費用。說明本地盤與特定實例規格綁定,不支持單獨購買,費用已計入實例費用。使用固定公網IP訪問公網時,僅收取公網出網帶寬費用。說明如果使用彈性公網IP或NAT網關訪問公網,計費相關詳情參見EIP計費概述或NAT網關計費說明。計算成本計算資源(vCPU和內存)鏡像塊存儲公網帶寬快照存儲成本存儲成本存儲成本存儲成本包年包月按量付費按量付費+預留實例券按量付費預付費存儲包存儲容量單位包SCU包年包月按量付費按量付費+預留實例券搶占式實例節省計劃按固
120、定帶寬按使用流量包年包月按量付費存儲容量單位包節省計劃2、計費方式對比:3、計費方式選擇:61 云上社交行業技術服務白皮書云上社交行業技術服務白皮書所有操作與購買的某臺實例綁定。資源和賬單解耦,搭配按量付費實例靈活使用??蛇x全預付、部分預付或0預付。相比按量付費有一定優惠,靈活性極佳,但價格比預留實例劵略高。搭配按量付費實例使用。按量付費實例可隨時釋放。釋放后再創建新實例,節省計劃照常抵扣。抵扣按量付費實例賬單,可用于固定的Web服務、數據庫等。資源和賬單解耦,搭配按量付費實例靈活使用??蛇x全預付、部分預付或0預付。相比按量付費有一定優惠,價格與包年包月相近。搭配按量付費實例使用。按量付費實例
121、可隨時釋放。釋放后再創建新實例,預留實例券照常抵扣。抵扣按量付費實例賬單,可用于固定的Web服務、數據庫等。所有操作與購買的某臺實例綁定。后付費,按秒計費,按小時出賬。后付費,按秒計費,按小時出賬。適用于固定的7*24服務,例如Web服務、數據庫等。相比其它方式價格最高。價格隨市場供需變化而浮動,可低至按量付費的1折。用戶可以隨時釋放實例用戶主動釋放或系統自動釋放。搶占式實例存在回收機制,出保護期后可能會被自動釋放。所有操作與購買的某臺實例綁定。預付費,一次性付清。應對爆發業務,例如臨時擴展、測試、科學計算等。應對爆發業務,例如臨時擴展、測試、科學計算等。相比按量付費有較大優惠。用戶主動釋放或
122、系統自動釋放。到期前需要申請退訂或者轉換為按量付費實例釋放。到期后未及時續費,實例將自動釋放。使用方式付費方式價格特點釋放實例應用場景包年包月對比項按量付費預留實例劵節省計劃搶占式實例4、典型場景示例4.2.3.4.2.3 成本優化建議ECS成本優化建議,使用云服務器ECS時,推薦您從以下方面管理成本:1、前置優化方法:云上社交行業技術服務白皮書 62業務類型共振型平穩型突刺型混部型業務相對比較平穩,無明顯的波峰波谷。多個業務,不同業務在不同時間段對算力的要求不同,優先級不同。多套環境交替使用(如藍綠部署),在線、離線、Job任務型混合部署。按量付費+節省計劃(或預留實例劵)。各個業務之間關聯
123、不大,具有突發性。平穩型在線業務,如內部OA系統。事件型業務、Job任務、仿真任務。包年包月。按量付費+節省計劃(或預留實例劵)。按量付費。高頻突刺部分可適當搭配節省計劃(或預留實例劵)各個業務間有關聯,流量增長后各業務對資源的訴求同時增長。熱點事件、電商大促、泛互聯網流量高峰。按量付費+節省計劃(或預留實例劵)。業務特征場景舉例推薦計費方式做好設計,針對不同的業務選擇合適的實例類型和大??;對可預測的長周期業務可以選擇包年包月的進行將本,少量計算可以使用lambda(請求數量+使用時間),無服務的計算盡量使用spot。2、業務優化方法:歸集成本:通過混部等手段,如在離線混部,在在線業務波谷的時
124、候進行離線業務的處理,實現多個項目進行成本的分攤;升級換代:同等價格,將單機的運算能力提升,進而減少機器的總體數量以起到將本增效的作用;優化資源:實時監控計算使用率,優化資源的一些參考指標,在滿足以下所有條件時,可以考慮關閉虛擬機:CPU利用率最大值的第95個百分位數小于3%、7天內的網絡利用率低于 2%,內存壓力低于閾值;如果可以在較小的實例規格,或使用較少數量的實例中容納當前負載,則顧問會考慮重設虛擬機大小,以使非面向用戶的工作負荷的當前負載利用率不超過80%,面向用戶的工作負荷的負載利用率不超過 40%;容器化:對云上的ECS資源再次進行切分,充分利用所有資源。3、其他優化方法:充分利用
125、免費的資源或者打折資源(雙十一雙十二活動打折等)實現自動化運維(彈性伸縮、運維編排、資源編排等)4.2.3.4.3 存儲成本4.2.3.4.3.1存儲產品阿里云提供了豐富多樣的存儲產品63 云上社交行業技術服務白皮書云上社交行業技術服務白皮書其中常用的存儲方式:文件存儲NAS、對象存儲OSS、塊存儲EBS;4.2.3.4.3.2 費用分析存儲產品的計費方式及對應的計費規則如下表所示:(不同產品可能有差異)通過不同方式創建云盤時,支持的計費方式不同:隨ECS實例創建的云盤,計費方式和ECS實例相同。為已有實例創建并掛載云盤,包年包月實例支持包年包月和按量付費云盤,按量付費實例僅支持按量付費云盤。
126、計費規則相關文檔包年包月按量付費儲存容量單位包 計費方式包年包月按量付費存儲容量單位包SCU一種預付費資源包,可以自動匹配云盤,并抵儲的按量付費賬單。費用=容量*單價*購買時長費用=容量*單價*購買時長云上社交行業技術服務白皮書 64單獨創建云盤,且暫時不掛載到實例,計費方式僅支持按量付費。對象存儲產品收費方式比較復雜,具體參考:https:/ 網絡成本時延訪問模式上千個ECS通過POSIX接口并發訪問,隨機讀寫數百萬客戶端通過WEB并發,追加寫單ECS通過POSIX接口訪問,隨機讀寫吞吐數百Gbps數百Gbps數百Gbps儲存產品文件存儲NAS對象存儲OSS塊存儲EBS極低時延(微秒級)較低
127、時延(幾十毫秒級)低時延(毫秒級)65 云上社交行業技術服務白皮書云上社交行業技術服務白皮書4.2.3.4.4.1 網絡產品在阿里云上提供了多樣的網絡產品:主要的網絡產品有:負載均衡SLB、NAT網關、彈性公網IP和貢獻帶寬包等;其中最常用的網絡產品就是負載均衡SLB,負載均衡SLB(Server1Load1Balanc-er)是一種對流量進行按需分發的服務,通過將流量分發到不同的后端服務器來擴展應用系統的吞吐能力,并且可以消除系統中的單點故障,提升應用系統的可用性。根據不同的業務和應用場景,阿里云服務均衡SLB支持以下三個類型的負載均衡:1、應用型負載均衡ALB(Application Lo
128、ad Balancer):專門面向七層,提供超強的業務處理性能,例如HTTPS卸載能力。單實例每秒查詢數QPS(Query1Per Second)可達100萬次。同時ALB提供基于內容的高級路由特性,例如基于HTTP報頭、Cookie和查詢字符串進行轉發、重定向和重寫等,是阿里云官方云原生Ingress網關。2、網絡型負載均衡NLB(Network1Load1Balancer):面向萬物互聯時代推出的新一代四層負載均衡,支持超高性能和自動彈性能力,單實例可以達到1億并發連接,幫您輕松應對高并發業務。NLB面向海量終端上連、高并發消息服務、音視頻傳云上社交行業技術服務白皮書 66輸等業務場景針對
129、性地推出了TCPSSL卸載、新建連接限速、多端口監聽等高級特性,在物聯網MQTTS加密卸載、抗洪峰上聯等場景為用戶提供多種輔助手段,是適合IoT業務的新一代負載均衡。3、傳統型負載均衡CLB(Classic1Load1Balancer):支持TCP、UDP、HTTP和HTTPS協議,具備良好的四層處理能力,以及基礎的七層處理能力。4.2.3.4.4.2 費用分析以CLB為例,規格分析如下:實例費=實例單價(元/小時)使用時長 實例使用時長是實例從創建到被釋放的時間。流量費=流量單價(元/GB)使用流量 公網流量為公網出流量(下行流量),公網入流量(上行流量)不計入費用。按流量計費的公網SLB實
130、例按小時計費,以日結算。使用時間不足一小時,按一小時計算。規格費:性能保障型實例規格費按量收取,即不論您選擇何種規格,實例規格費均按照您實際使用的規格收取。詳情參見規格費(https:/ 云上社交行業技術服務白皮書云上社交行業技術服務白皮書實例計費方式實例類型公網計費方式按使用量計費按使用流量計費按使用流量計費按固定帶寬計費不涉及公網私網不涉及公網私網按規格計費slb.s3.large以上規格,不含slb.s3.large規格)。性能保障型實例的三個關鍵指標如下,不同規格的實例,性能指標也不同。詳情參見性能保障型實例FAQ(https:/ Per Second(CPS)每秒新建連接數定義了新建
131、連接的速率。當新建連接的速率超過規格定義的每秒新建連接數時,新建連接請求將被丟棄。每秒查詢數-Query1Per1Second(QPS)每秒請求數是七層監聽特有的概念,指的是每秒可以完成的HTTP/HTTPS的查詢(請求)的數量。當請求速率超過規格所定義的每秒查詢數時,新建連接請求將被丟棄。性能保障型實例規格費按使用量收取,即不論您選擇何種規格,實例規格費均按照您實際使用的規格收取。如果實例的實際性能指標在兩個規格之間,按照較大規格的費用計算(向上取整原則)。例如,您選擇了超強型I(slb.s3.large)規格(最大連接數1,000,000;CPS 500,000;QPS 50,000)。該
132、實例在某小時內各項指標產生的實際峰值如下:從最大連接數維度看,90,000超過slb.s2.small規格中最大連接數50,000的上限,但未達到slb.s2.medium規格中最大連接數100,000的上限,因此從最大連接數維度計算,該小時規格為slb.s2.medium。從每秒新建連接數(CPS)維度看,4,000超過slb.s1.small規格中CPS 3,000的上限,但未到達slb.s2.small規格中CPS 5,000的上限,因此從CPS維度計算,該小時規格為slb.s2.small。從每秒查詢數(QPS)維度看,11,000超過slb.s2.medium規格中QPS 10,00
133、0的上限,但未達到slb.s3.small中QPS 20,000的上限,因此從QPS維度計算,該小時規格為slb.s3.small。綜合以上三個維度,QPS指標的規格(slb.s3.small)最大,因此將云上社交行業技術服務白皮書 68因此,按量付費的性能保障型實例具有自動彈性伸縮(或計費)的能力。您在購買時所選的規格,是性能的上限,例如您選擇高階型II(slb.s3.medium),那么意味著,您的實例最大可以達到的規格上限就是高階型II(slb.s3.medium)。按流量計費實例:實例帶寬請參見帶寬峰值限制(https:/help.ali- 費用計算器(可以通過計算器計算具體消耗成本)
134、:https:/ 新計費模式介紹LCU(Loadbalancer Capacity Unit)計費模式:比如ALB和NLB,均推出了更加靈活的按照使用量計費的邏輯,其費用由三部分組成:實例費、性能容量單位LCU(Loadbalancer1Capacity1Unit)費和公網網絡費。實例費計算方式:QPS維度的規格作為該小時實例的綜合規格,該小時內該實例將按照slb.s3.small規格進行計費。以后每小時規格費均按照上述方式計算,如下圖所示:69 云上社交行業技術服務白皮書云上社交行業技術服務白皮書實例費=實例單價(元/小時)計費時長(小時)LCU計算方式:每小時LCU費=LCU單價(元/個)
135、每小時LCU個數 每小時LCU個數=max新建連接數LCU個數,并發連接數LCU個數,處理流量LCU個數公網網絡費計算方式:私網的SLB實例不收取公網網絡費用,只有購買公網SLB實例的時候才會收取公網網絡費用。公網SLB通過彈性公網IP(EIP)提供公網能力,選擇公網SLB將會收取EIP實例費、帶寬與流量費用。不同的產品應用場景不同,所以擁LCU有不同的LCU設定,ALB的LCU規格:https:/ 網絡成本優化建議1、前置優化方法:盡量選用私有IP,或者私網SLB+彈性公網IP的方式,這樣的組合可以結合共享帶寬包,以達到資源共享的目的;盡量減少跨AZ數據復制;根據不同的業務場景,選擇不同的S
136、LB;根據流量模型,使用共享帶寬包,或者95帶寬包等有折扣的方式;2、業務優化方法:使用數據壓縮,在可能的情況下,盡量壓縮數據,以減少傳輸的時間和費用。監控網絡流量的使用,實時監控網絡的流量和費用,防止突發的人為或者意外的大規模數據傳輸而導致成本飆升;及時巡檢釋放不用的資源,比如彈性IP,減少浪費;同時針對重點的資源開啟釋放保護功能,防止被誤刪除;優化傳輸協議。云上社交行業技術服務白皮書 703、其他優化方法:選擇LCU等按使用量計費的方式進行成本的降低。4.2.3.4.5 應用和管理成本優化1、系統類型的選擇:Linux VS Windows;2、應用架構的選擇:分層架構VS微服務;3、服務
137、模式的選擇:ECS、K8S容器、ACK、ASK。4.3 關鍵時刻保障4.3.1 圖片業務保障方案社交網絡最重要的就是內容的分享,視頻、圖片的存儲和展示。針對客戶的圖床業務,進行了專項保障方案梳理。首先確認需要進行保障的域名,核實域名的調度域,然后確認圖片源站以及配置。針對圖片業務的各個環節可能出現的問題,進行不同的預案準備:1、當前源站為了保證源站有彈性能里,在重大節日期間,源站只保留函數計算源站;函數計算評估源站能力可以滿足客戶的帶寬和QPS能力。2、自建源站出問題當自建CDN出現回源問題后,自建回源會切到阿里的邊緣,通過阿里邊緣回源函數計算。3、函數計算源站出問題客戶側:如客戶當前自建CD
138、N回源是到阿里邊緣的話,需要客戶先切回自建;阿里側:按照與客戶約定好的自建源站,按照權重進行切換;并且將函數計算源站的優先級降低。4、圖片業務降級預案71 云上社交行業技術服務白皮書云上社交行業技術服務白皮書5、日志降級緊急情況下可以對圖片業務的日志進行關閉,第二天再進行補齊。降級后,通知到相關客戶,以客戶群進行信息同步。4.3.2 直播業務保障方案隨著直播的發展,越來越多的觀眾習慣于從網絡直播來獲取自己關注的內容。目前互聯網直播已經成為晚會、演唱會、重大賽事的重要轉播途徑。相對于普通的直播場次這類活動幾乎是全民熱點,觀看人次多、并發大,對于直播平臺和云服務廠商都是一個考驗。因此針對熱度高的重
139、大直播阿里云推出重大直播保障護航方案。4.3.2.1 保障方案及流程1、重保流程如下保障前與直播平臺確認活動時間、活動域名、發布點、流名、轉碼模板、資源占用預估等信息,以上信息確認后按照既有的保障流程啟動保障。云上社交行業技術服務白皮書 722、重保工具直播重保流大屏功能:73 云上社交行業技術服務白皮書云上社交行業技術服務白皮書階段活動前活動當日資源檢查監控大盤數據展示正常天眼數據檢查系統自查:推流節點檢查、轉碼模板檢查、域名配置檢查、推拉流測試資源評估和準備數據播報檢查現場及online保障人員確認大屏監控幀率、碼率、卡頓、拉流成功率監控九宮格重保流合流開關播告警狀態碼告警資源監控告警應急
140、預案準備應急演練直播流全鏈路信息檢查推流節點重點保障直播流預熱資源監控監播值守告警監控異常情況處理活動數據信息匯總保障總結活動結束活動期間開播前預備監控配置保障演練告警配置分項操作3、九宮格監播視頻直播提供廣目監播功能,可隨時監控線上直播效果與質量,并對幀率碼率變化、音視頻同步、延遲和卡頓等異常情況時進行告警,為各類專業直播保障護航。云上社交行業技術服務白皮書 744、信息播報4.3.3 熱點事件護航保障流程4.3.3.1 明確護航目標明確本次活動在業務上最終需要達到什么樣的目標即可符合預期。護航目標主要包含整體業務活動目標明確與整體活動架構方案確認,通俗來講在護航前需要對客戶的業務架構、應用
141、架構、數據架構、技術架構等進行梳理及對保障方案進行確認,并通過壓測數據對本次活動的流量等指標進行評估,通過不斷探底來確保云上可以完美承載業務壓力即為護航目標。75 云上社交行業技術服務白皮書云上社交行業技術服務白皮書云上護航服務checklist護航流程護航目標對焦/活動預估流量/訪問量(QPS/TPS)安全風控(DDOS峰值、WEB防護)高峰時間點保障方案溝通+活動駐場支持,其余遠程保障為主業務目標確認技術目標確認活動日期確認保障方式確認檢查項任務評估負責人開始時間完成時間備注及問題風險4.3.3.2 設計護航方案護航方案的設計理念,1、確??蛻魳I務無損的在云上運行,2、確保服務的即時性,拉
142、通產品7*24小時保障護航,3、設計相關的應急預案,在業務有損的情況下有效回滾恢復。云上社交行業技術服務白皮書 76安全風險識別驗收復盤多因素認證、操作審計、訪問控制驗收報告確認整體驗收復盤保障得失,總結經驗,沉淀流程工具大促復盤方案確認方案確認安全產品接入狀態業務安全堡壘機訪問權限*賬戶安全賬戶安全資源風險識別ECS、RDS、SLB、RedisDRDS、MQ、ES等CPU/MEM/IOPS/磁盤空間等核心實例梳理資源使用率巡檢系統容量分析資源需求評估,提前一個月報備阿里云阿里云為客戶準備并預留資源資源需求報備資源準備預留護航應急方案重點大項預案預熱各個產品的緊急落地預案播報流程、問題升級流程
143、告警推送/風險巡檢同步ECS、SLB等監控大盤及告警配置ECS、SLB等應急人員名單提前預案緊急預案現場預案護航群預警監控告警配置護航群建設應急人員監控告警項配置服務大盤事項描述責任人計劃完成時間 實際完成時間備注/4.3.3.5 護航大屏大屏功能:可以實時關注客戶業務實例的資源使用及網絡情況,并能實時關注客戶側保有量從而間接體現出業務高峰期所對應云上的壓力。為上云的客戶提供了,可擴展性、可復制性的便利。4.3.3.3 風險巡檢及評估通過架構梳理及全鏈路評估,對架構及全鏈路風險進行識別,達到風險提前規避的作用。4.3.3.4 護航事件記錄記錄護航時間段出現的事件、風險及重點時間節點等,在后續可
144、以根據記錄的問題進行針對性復盤。77 云上社交行業技術服務白皮書云上社交行業技術服務白皮書活動巡檢風險*風險描述風險等級高中低風險規避方案責任人風險規避時間備注護航事件記錄日期事件描述責任人是否解決備注4.3.4 重大活動和賽事保障4.3.4.1 保障概述重大活動和頂級賽事期間阿里云對客戶業務提供全程業務護航保障服務,針對客戶業務特性和資源使用情況提前梳理風險點并制定保障方案,確保期間業務平穩運行。4.3.4.2 保障信息同步保障前阿里云與客戶共同確認保障時間段以及保障期間管控動作,確認資源需求、變更管控、在線值守、信息同步機制等。4.3.4.3 巡檢與風險治理云上社交行業技術服務白皮書 78
145、業務類型巡檢項結論無風險無風險無風險無風險無風險無風險無風險無風險無風險無風險無風險電力、空調、油料儲備機房物理設施物理網絡設備、水位。云網絡實例規格、水位。計算資源容量、水位、風險。云盤、OSS水位;容量和QPS情況。安全產品規格合理,各類產品配置齊全。容量檢查,帶寬儲備充足。容量檢查,滿足預估突發請求。核實護航域名,配置監控告警。數據上報接口測試,數據正常上報。域名證書檢查。網絡計算存儲安全CDNDCDN監控接口客戶證書79 云上社交行業技術服務白皮書云上社交行業技術服務白皮書4.3.4.4 應急預案4.3.4.5 保障演練阿里云保障團隊根據保障業務類型選定多個場景進行全鏈路保障演練。演練
146、前后端團隊按照實戰場景觸發問題上報、問題升級、應急處置等各個環節,驗證機制流程和各項預案的有效性。4.3.4.6 保障值守序號異常情況預案應急響應,執行快恢和兜底方案。批量卡頓或拉流失敗9配置告警,重保團隊響應處理直播推流異常8根據大盤水位決策承接或切量直播點播整體帶寬超限7配置告警,重保團隊響應處理單個域名或節點異常6配置告警,重保團隊響應處理OSS狀態碼異常5產研響應處理存儲水位異常4自動限速并通知客戶,客戶調整流量云網絡水位異常3通知客戶,業務流量調度 物理網絡水位異常2確保油運行正常,有量儲備充足??照{系統備份正常。機房電力、空凋等物理環境異常。1姓名聯系方式職責張XX保障總指揮客戶服
147、務負責人-值班長客戶服務工程師解決方案負責人李XX王XX趙XX/5、展望在整體趨勢上:社交媒體是信息的傳播主要渠道,隨著用戶數的不斷攀升,社會責任也會越來越重;在商業生態上:由于社交媒體是一個流量的入口,不同的流量變現的商業模式都會在這里進行嘗試,除了目前已有的廣告、電商、知識付費等業務,未來隨著元宇宙和NFT的發展,每個人都可以在社交媒體上創造屬于自己的價值;在技術發展上:隨著機器學習、大數據、AR/VR以及通訊技術的發展,更加便利、沉浸式以及多元化的社交方式必然會出現;云計算促進了數以億計的用戶與社交網站之間更便利連接,它還解決了視頻、音頻等海量內容的快速存儲需求?,F在,我們將繼續進行云計算能力邊界的探索,以更好的為用戶提供高質量的云計算服務,如更穩定靈活的計算資源、高效安全的數據存儲、數據傳輸、數據處理和數據管理能力。未來,我們將繼續針對百行百業的業務特點進行分析,以更好的云為用戶提供更好的云計算服務。云上社交行業技術服務白皮書 80