2017年第六屆全球軟件案例研究峰會嘉賓演講PPT合集.rar

1、A.I.時代職 場 趨 勢 洞 察Reid Hoffman 里德霍夫曼創始人Jeff Weiner 杰夫韋納CEO領英的故事2003.52011.52014.22015.42016.620052006成功登陸紐交所宣布進入中國，簡體中文版上線，啟用中文名 領英收購在線教育公司微軟宣布以262億美元收購 LinkedIn正式上線發布第一批產品線：職位與用戶訂閱開始打造職業檔案數據庫，當年實現贏利2017.9領英中國會員總數突破3600萬為全球30億勞動力中的每一位創造經濟機會進而創建世界首個經濟圖譜愿景就業并拓展職業生涯建立有價值的人脈網絡一手掌握專業新聞和資訊用戶價值招聘營銷銷售企業價值領英全

2、球經濟圖譜數據來源：LinkedIn全球職場大數據50K技能11M工作18M公司29K學校530M用戶動態190B領英在AI上的投入領英AI學院高效的機器學習知識樞紐全方位的用戶體驗AI是領英產品的DNA職位人脈知識洞察推廣站內信企業推廣內容知識樞紐以最自然的方式為用戶提供解答和洞察您好，我們注意到您在【某項技能】上有豐富的經驗，我們組里也有一位您的前同事【某位領英會員】，相信您會是這個職位很棒的人選！發郵件用戶：怎樣能與微軟工程師建立聯系？領英：您可以查看下面這幅人才流動圖譜解答問題自然語言理解表征學習強化學習AI高效的機器學習使端到端的機器學習更加簡單快捷建模不同的模型組成部分和產品功能的

3、部署部署對大量不同的模型進行實驗維護持續監測模型的健康，對問題進行排查A.I.技能滲透指數AI+對非科技行業的滲透已經顯現數據來源：LinkedIn全球職場大數據AI+對非科技行業的滲透已經顯現數據來源：LinkedIn全球職場大數據A.I.對非高科技行業中各職能產生不同影響數據來源：LinkedIn全球職場大數據A.I.應用招聘案例提交LinkedIn個人檔案鏈接，由算法自動篩選簡歷。Step 1 提交申請12個小游戲貫穿著認知神經科學的黃金標準，測試候選者的專注能力、閱讀能力以及情感領悟。Step 2 在線游戲測試通過智能設備的攝像頭，做答時的關鍵詞、語音語調、舉止表情甚至包括細微之處都將

4、被A.I.記錄下來成為分析對象，最終由算法把契合的候選人挑選出來。Step 3 A.I.視頻面試最終是這場面試中唯一有人工介入的環節，候選者會被邀請到辦公室進行一整天的工作體驗，由應聘人員決定是否錄用他們。Step 4 真人考察數據來源：Business insider/Unilever 案例全球AI領域人才報告核心發現華人力量崛起華人在全球AI領域的影響力廣泛而深遠需求激增AI領域人才爭奪無處不在投資新風口人工智能領域卻已有深厚積淀投資新風口，人工智能領域卻已有深厚積淀報告核心發現全球AI領域技術人才分布地圖AI領域從業者數量數據來源：LinkedIn全球人才大數據全球AI領域技術人才超19

5、0萬美國占據半壁江山，中國排名第7+190萬投資新風口，人工智能領域卻已有深厚積淀圖：美國與全球AI領域從業者從業年限分布對比數據來源：LinkedIn全球人才大數據需求激增，AI領域人才爭奪無處不在報告核心發現AI領域人才需求量急速增長基礎層研究人才成為最大人才需求點全球人工智能細分領域人才需求量排名2014-2016年間領英發布的AI職位數量5萬44萬2014年2016年領英發布的AI職位數量數據來源：LinkedIn全球人才大數據AI領域人才爭奪無處不在企業與高?！盃帄Z”人才圖：中國高校及研究所AI領域人才流入流出比數據來源：LinkedIn全球人才大數據*人才流入流出比=人才凈流入數量

6、/人才凈流出數量圖：當前AI從業者中，曾有過高校和研究所工作經歷的人才占比25%10%美 國中 國海外華人AI力量崛起報告核心發現顏水成國際知名計算機視覺與深度學習專家現任奇虎360人工智能研究院院長及首席科學家任小楓計算機視覺頂級科學家前亞馬遜級別最高的華人科學家現任阿里巴巴iDST首席科學家和副院長華人力量在全球人工智能領域崛起吳恩達drive.ai 董事會成員/Coursera 聯合創始人王剛現任阿里人工智能實驗室杰出科學家Co-founder of Coursera;Adjunct Professor of Stanford University;formerly head of Ba

7、idu AI Group/Google Brain 全球AI領域領先國家華人占比圖：全球AI領域領先國家華人占比數據來源：LinkedIn全球人才大數據*注：該部分“華人”定義為“華裔、華僑以及在海外工作的華人”華人人數占比全球華人AI人才數量達14萬14萬數據來源：LinkedIn全球人才大數據*注：按照該校畢業生在AI領域的從業人數排名全球培養華人AI 從業者最多的 Top15 高?？▋然仿〈髮W1加州大學伯克利分校2哥倫比亞大學紐約分校3斯坦福大學4南加利福尼亞大學5新加坡國立大學6加拿大滑鐵盧大學7伊利諾大學香檳分校8加州大學洛杉磯分校9多倫多大學10佐治亞理工學院11清華大學加州大學

8、圣地亞哥分校13南洋理工大學14麻省理工學院1512美國20.6%盡管華人力量在全球AI人才領域已經形成了較大影響力，但華人在海外就職的職場天花板仍不可忽視圖：中美及華人、華裔總監及以上職位AI從業者人數占比海外華人及華裔10.7%中國19.5%華人在海外就職仍面臨職場天花板數據來源：LinkedIn全球人才大數據吸引海外人才打造可持續的海外人才戰略突破關鍵技術把握AI技術創新的核“芯”培養本地人才高校與企業“聯姻”對中國AI技術和人才發展的三點洞察推動高校與企業“聯姻”，培養本地人才AI產業洞察數據來源：LinkedIn全球人才大數據人工智能人才培養成本較高擁有 10 年以上從業經驗的人才比

9、率擁有碩士及以上學歷的人才比率中國 AI 領域人才 與信息技術行業人才 對比62%33%38%15%數據來源：LinkedIn全球人才大數據推動高校與企業“聯姻”中國AI 人才培養Top10高校排行上海交通大學1清華大學2北京大學3浙江大學4復旦大學5北京郵電大學6北京航空航天大學7華中科技大學8哈爾濱工業大學9同濟大學10高校企業算法算力+數據+突破關鍵技術，把握AI創新的核“芯”AI產業洞察吸引海外人才，打造可持續的海外人才戰略AI產業洞察吸引海外AI人才2013-2016年，海外留學歸國人才數量在以平均每年14%的比例增長2013-2016年，擁有海外工作經驗的從業者來到中國的人數也在持

10、續增長14%10%年平均增長率年平均增長率圖：擁有海外工作經歷的AI技術人才主要來源國分布（中國）數據來源：LinkedIn全球人才大數據吸引海外AI人才數據來源：LinkedIn全球人才大數據圖：中美AI人才TOP 10城市（地區）分布基于大數據的海外引才戰略海外人才吸引為企業實現海外高層次人才吸引，搭建及儲備海外人才庫海外雇主品牌推廣通過目標人群的宣傳推廣，提升海外雇主品牌影響力基于人才大數據的海外人才戰略通過領英大數據，為企業海外戰略發展提供目標人才數據分析/人才地圖、人才吸引戰略咨詢及決策?1,000+中國企業及政府客戶THANKSGoogle如何利用如何利用OKR幫助團隊挑戰不可能的

11、任務幫助團隊挑戰不可能的任務Google的創新成果創新，意味著挑戰不可能的任務。難點在哪里？牛人愿意干活兒但是不敢干活兒企業管理人才沒有牛人干活兒有牛人但是不愿意干活兒企業文化123Google支持創新的幾項管理方法如何讓公司每個人發揮出最大潛力？企業管理團隊建設如何打造世界最一流人才隊伍？如何做到世界最成功？企業文化123團隊建設：如何打造世界最一流的人才隊伍招聘方法要選擇自主性強的創造力個體1晉升態度要完全達到下一級要求才能升職2鼓勵內部轉崗不需要經理同意3團隊建設：如何打造世界最一流的人才隊伍對待離職態度培訓員工互相教授學習積極的歡迎回來45企業管理：如何做到世界最成功產品方針鼓勵辯論用

12、OKR制定高目標強調登月和10倍效果不鼓勵高壓的決策方式數據驅動123企業管理：如何做到世界最成功同時投資于長線和短線產品快速且不短視內部孵化決策方法不由一個人來決定創新基因投資456企業文化：如何讓公司每一個人都發揮出最大的力量評價體系心理提供安全感較為平等的上下級關系經理也要被下級評價12企業文化：如何讓公司每一個人都發揮出最大的力量透明文化職業發展20%時間的創新機會內部高管交流會每個人的日程都是公開的34總結：Google的創新之道團隊建設：吸引自驅型人才并給予最大化自由度企業管理：自下而上管理，內部孵化，長短線結合和數據驅動的產品方針企業文化：扁平透明，開放創新VMware中國研發技

13、術總監云原生應用的現代化部署2現代應用為數字化提供支持現代應用為數字化提供支持企業紛紛改變業務模式，轉向使用云原生應用不斷變化的成本結不斷變化的成本結構構移動設備和連接性移動設備和連接性無處不在的嵌入式無處不在的嵌入式傳感器傳感器全球規模的運維全球規模的運維3提高工作效率提高工作效率開發人員和 IT 部門采用容器應對市場機會開發人員提高功能特性的速度減少支出運維人員提高服務級別降低成本我們正身處 IT 行業重大結構性變革之際。CPU軟件軟件系統系統大型機（20 世紀 70 年代）計算的演變計算的演變PC 革命（20 世紀 90 年代）軟件軟件系統系統CPU大型機（20 世紀 70 年代）CPU

14、軟件軟件系統系統計算的演變計算的演變云計算（當今）軟件軟件大型機（20 世紀 70 年代）PC 革命（20 世紀 90 年代）CPU軟件軟件系統系統軟件軟件系統系統CPU計算的演變計算的演變8我們的現狀及未來發展方向我們的現狀及未來發展方向VMware 客戶問卷調查結果2016 201756%62%5%使用公有云77%63%6%最終實現擁有多個公有云的期望在公有云中運行的工作負載占比9云計算演變：虛擬化數據中心云計算演變：虛擬化數據中心應用應用虛擬化虛擬化+IaaS管理和運維管理和運維Cloud FoundationNSXvSANvSphere硬件硬件服務器服務器存儲存儲網絡網絡10云計算演變

15、：混合云云計算演變：混合云Cloud Foundation應用應用硬件硬件服務器服務器網絡網絡存儲存儲NSXvSANvSphereVMware Cloud Services on AWS本地部署數據中心本地部署數據中心虛擬化虛擬化+IaaS管理和運維管理和運維管理和運維管理和運維AWS 存儲存儲AWS 服務器服務器AWS 網絡網絡Cloud FoundationNSXvSANvSphere11云計算演變：多種云云計算演變：多種云硬件硬件EC2AzureGCPXENHyper-VKVM虛擬化虛擬化+IaaSCloud FoundationCloud FoundationVMware Cloud

16、Services on AWS本地部署數據中心本地部署數據中心原生原生Amazon原生原生Azure原生原生Google管理和運維管理和運維管理和運維管理和運維應用應用錯誤錯誤錯誤的虛擬機格式錯誤的虛擬機格式錯誤的網絡連接錯誤的網絡連接存儲不同存儲不同權限管理權限管理私有云私有云12云計算演變：容器云計算演變：容器虛擬化虛擬化+IaaS硬件硬件容器容器容器引擎容器引擎管理和運維管理和運維EC2AzureGCPXENHyper-VKVMCloud FoundationCloud Foundation容器引擎容器引擎容器引擎容器引擎容器引擎容器引擎容器引擎容器引擎管理和運維管理和運維應用應用容器容

17、器容器容器容器容器私有云私有云13云計算演變：容器云計算演變：容器虛擬化虛擬化+IaaS硬件硬件AWSAzureGoogleCloud容器容器私有云私有云VMware Cloud on AWS容器引擎容器引擎容器引擎容器引擎容器引擎容器引擎容器引擎容器引擎容器引擎容器引擎應用應用容器容器容器容器容器容器私有云私有云14容器的優勢容器的優勢簡單快速啟動環境輕量級只需最少的資源可移植能夠自由移植15向容器化的轉變將分“兩波”實施，最初側重于 Web 應用新封裝新封裝新架構新架構面向企業的容器使用情形面向企業的容器使用情形微服務和容器16客戶管理客戶管理REST API客戶客戶Web UIeStor

18、eREST API支付支付客戶管理客戶管理REST API通知通知REST APIREST API移動用戶移動用戶開發人員開發人員Web 瀏覽器瀏覽器API 網關網關微服務17容器容器容器和網絡安全性扁平的容器網絡為攻擊者創造機會。18網站網站網站網站網站網站網站網站VaultVault端口端口80Internet內部網絡內部網絡數據庫數據庫機密信息機密信息網站網站Vault數據庫數據庫容器-我們是否還需要 Hypervisor？NSX 提供微分段、可見性和集成19網站網站網站網站網站網站網站網站VaultVault內部網絡內部網絡數據庫數據庫物理網絡基礎架構物理網絡基礎架構蜜罐系統蜜罐系統數

19、據中心數據中心掃描儀掃描儀微分段微分段警報警報連接到數據中心連接到數據中心端口端口80Internet網站網站Hypervisor將本地部署 NSX 延展到云公司需要跨公有云延展網絡本地部署本地部署應用應用本地部署本地部署應用應用本地部署本地部署應用應用本地部署本地部署應用應用本地部署本地部署應用應用本地部署本地部署應用應用本地部署本地部署應用應用本地部署本地部署應用應用Amazon應用應用Amazon應用應用Internet21VMWARE CLOUD INFRASTRUCTURE公有云 IaaS可見性運維自動化安全性監管云計算管理VMWARE CLOUD SERVICES云原生應用銷售就緒

20、時間 創新 擴展能力 競爭優勢現有應用降低成本 安全性 可靠性 控制力容器虛擬機VMWARE CLOUD在任何云環境和任何設備上運行、管理、連接和保護任何應用Cloud ProviderVMware Cloud on AWSCloud Foundationfor VMware一致的運維管理和運維 跨云for VMware Solutions一致的基礎架構虛擬機基礎架構 容器基礎架構謝謝！人工智能時代的研發戰略演進產品創新產品創新體體驗設計驗設計產品運營產品運營工程文化工程文化團隊變革團隊變革目目標管理標管理算法算法實踐實踐架構演架構演進進人工智能人工智能大前端大前端數據科學數據科學研研發工具發

21、工具質量管理質量管理智能運智能運維維DevOps能夠生存下來的物種，并不是那些最強壯的，也不是那些最聰明的，而是那些對變化作出快速反應的。查爾斯羅伯特達爾文年度精選100案例實踐榜單從傳統項目轉型敏捷，你只需要兩天平安科技研發管理部敏捷教練 古月2 平安科技講師介紹古月平安科技敏捷教練、培訓師曾做過開發、測試、項目經理七年敏捷團隊輔導經驗國家二級心理咨詢師、NLP執行師3 平安科技大綱大綱 平安的轉型故事 QPS實踐案例 QPS的4W1H QPS實施中的注意事項4 平安科技業務與業務與IT-焦灼的雙方焦灼的雙方開發：“沒有需求文檔就不開工”產品經理拼命加班寫文檔三個月就要上線！5 平安科技業務

22、與業務與IT-從對立到合作從對立到合作6 平安科技業務與業務與IT-合作的成果合作的成果識別風險、依賴需求條目化區分需求優先級直銷銀行項目3個月4個月發布內測正式上線500萬用戶QPS12個月7 平安科技原稱Quick Start，源自Thoughtworks，由外部敏捷教練引入；通過業務流程和場景建模把需求細化，盡早識別問題、風險和依賴；使用Workshop驅動，可視化交流，確保信息對稱和溝通效果；多角色共同參與，增進業務和開發互信，促進團隊協作；使用固定時間盒來提升團隊工作效率什么是項目快速計劃和啟動（什么是項目快速計劃和啟動（QPS）8 平安科技QPS之星火燎原之星火燎原2017年201

23、6年2015年2014年2060120400培訓實踐跟進13615受訓人數引導QPS次數大規模敏捷試點培養QPS引導者精益創業+QPS設計思維+精益創業+QPS+敏捷交付+DevOps85%的項目由QPS導入敏捷9 平安科技QPS工作坊工作坊10 平安科技QPS案例案例愿景目標愿景目標11 平安科技WhoWhyHowWhatQPS案例案例影響地圖影響地圖12 平安科技QPS案例案例場景場景&流程建模流程建模13 平安科技QPS案例案例迭代計劃迭代計劃14 平安科技QPS案例案例風險矩陣風險矩陣影響程度發生概率關聯需求和開發任務確定風險Owner制定緩解預案15 平安科技QPS案例案例技術方案技

24、術方案16 平安科技QPS-大型項目實施大型項目實施案例案例17 平安科技QPSWhenWhoWhereWhatHow何時引入？誰來參加？工作坊的場地應用哪些方法？如何引導？QPS的的4W1H18 平安科技QPS 何時引入？何時引入？創意激發假設驗證創新設計思維精益創業QPS迭代0迭代1迭代N.時間業務開發19 平安科技QPS 誰來參加？誰來參加？時間業務開發 決策者 產品負責人 技術負責人 執行者 團隊成員 支持者 項目領導 領域專家 用戶代表20 平安科技QPS 哪些方法？哪些方法？理解業務 用戶畫像 愿景目標 電梯對話 精益畫布業務建模 場景建模 業務流程建模 影響地圖故事地圖 用戶故事

25、地圖 MoSCoW 快速估算 迭代計劃其他產出 迭代0計劃 成本估算 風險矩陣 依賴分析 技術方案 問題跟進輸入過程輸出21 平安科技QPS 如何引導？如何引導？準備啟動開展收尾u 會議進展u 會議過程u 會議節奏u 參會者狀態保持中立、積極聆聽控制時間和流程確保討論圍繞主題提問和復述協助澄清觀點和假設，確保高效溝通收集和整合想法歸納總結22 平安科技敏捷的協作模式敏捷的協作模式業務和IT緊密協作，建立互信；跨功能團隊，能端到端交付業務價值；打破部門墻，共同攜手，一致面向客戶。23 平安科技跨功能團隊組建跨功能團隊組建24 平安科技QPS與敏捷與敏捷方法集成方法集成25 平安科技QPS 實施的

26、注意事項實施的注意事項1.關鍵角色的加入2.引導者的人選3.QPS的輸入準備4.QPS后的跟進26 平安科技Thanks!傳統行業工具軟件如何結合互聯網進行產品轉型簡介股票代碼股票代碼002410廣聯達是數字建筑平臺服務商廣聯達是數字建筑平臺服務商為客戶提供數字建筑全生命周期的信息化解決方案為客戶提供數字建筑全生命周期的信息化解決方案我們的客戶建設單位設計院所中介公司設材廠商政府單位物業公司高等院校施工企業監管設計交易運維施工數廣聯達（產品+服務）通州區北京城市副中心北京地鐵廣州周大福金融中心上海世博展覽館天津117大廈首都機場葛洲壩水利工程中央電視臺首都新機場三門核電站昆明火車站岳陽洞庭湖大

27、橋海南中線高速華潤深圳灣國際商業中心我們的產品為之貢獻分享大綱 案例背景和簡述 我們是怎么做的 總結和教訓 未來的展望案例背景 廣聯達公司是一家從事建筑行業信息化服務的軟件提供商，其傳統的主流的產品一直以單機版軟件為主，主要靠新客戶和老客戶升級獲取收入，在成長期發展很快。隨著公司的發展及行業的變化，廣聯達公司在增量市場面臨巨大的增長瓶頸，而另一方面在存量市場又背負越來越大的維護和服務的巨大壓力 互聯網+的興起和各種行業顛覆給公司帶來了巨大的生存壓力 公司迫切需要結合互聯網研發新一代產品來解決產品創新、防顛覆問題，同時給用戶提供更好的產品和服務，完成自身的轉型（平臺提供商）案例簡述 傳統行業產品

28、怎么與互聯網結合實現產品轉型，是一個涉及到研營銷服管等各個環節的系統工程，需要各個團隊的配合。本案例重點闡述的是產品的設計和研發環節 本案例會具體闡述 工具產品如何向“云+端+大數據”產品過渡的思考 內容涉及到工具產品如何結合互聯網，如何設計云服務，如何在各種終端上相互配合，如何完成大數據積累和再利用，為個人和企業積累數據資產等內容 本案例中所描述的產品從立項到上市歷時3年，完成了前后端技術平臺，產品平臺和正式產品的研發，目前已經交付用戶使用案例的特殊性建筑行業信息化服務商百萬級小眾客戶群上市公司傳統工具軟件要平穩過渡，穩定收入用戶群體信息技術比較落后我們的技術棧與互聯網技術棧不同用戶規模與消

29、費互聯網沒法比挑戰：技術、業務設計 以及 參考案例我們怎么做？-設計的方向+互聯網互聯網+思考：對廣聯達這種垂直領域的專業公司，哪一種切入方式更合適？擴展自己vs顛覆自己我們怎么做？-微軟的借鑒意義我們怎么做？-為什么要云+端傳統軟件公司為什么多選擇“云+端”作為連接互聯網的方式？1）習慣，大量存量用戶習慣了傳統的工具軟件，軟件公司想保持連續性2）基因，更習慣傳統的軟件工具開發方式，完全顛覆自己需要魄力且風險大3）技術棧，在工具上附加云的價值，實現難度更小我們怎么做？-用戶憑什么會接受云+端？軟件企業的訴求（難關痛）用戶的訴求（難關痛）共贏我們怎么做？-技術上 云+端 要回答的幾個問題1.用戶

30、的軟硬件環境如何 有網無網？網速帶寬情況？硬件配置如何？2.端云如何切分？提供哪些端？端之間業務如何劃分？怎么配合？端與云之間的業務如何劃分？輕端？重端？端產品的技術選型如何？團隊是否支撐 3.端云如何發展？端和云發展節奏是否一致？是否需要獨立發展？端和云分別的變化點在什么地方？由于技術棧差異，端和云從架構上要不要解耦？如何解耦？如何支持云服務的不斷增加擴展？4.云基礎的設計決策？云基礎設施需要哪些？（IaaS層+應用層）自建云基礎設施 vs 租用公有云設施？是否有私有云和混合云的需求？如何統一？5.云服務關鍵技術選型？開發框架如何選型？服務端文件存儲方案？文件版本管理？數據庫選型?HA的設計

31、 PCMobileWeb造價云（數據中心）任務協同項目協同部門協同企業數據/工作協作企業數據積累各種終端的應用協同辦公支持豐富的云服務最新的N端產品企業端個人端我們怎么做？-業務上 提供入云的核心價值對企業：核心業務依托云服務實現任務、項目及跨部門協同，實現數據互通，提升企業效率，積累企業資產對個人：解決作業層核心的工作需求，同時提供協同辦公、增值提效的云服務滿足日常辦公需求增值提效崗位協作個人 多端一云 豐富云應用 個人數據積累項目 項目空間協作 打通上下游數據企業 協同辦公 大數據積累 企業數據挖掘應用我們怎么做？-上云路徑我們怎么做？-個人端產品設計 總體示意圖開放的產品平臺開放的產品平

32、臺基礎業務增值服務A模塊B模塊C模塊D模塊E模塊云應用上傳上傳下載下載云指標云指標工具端XXXX應用應用云云報表報表云云指標指標云云模板模板云云存儲存儲XXXX應用應用XXXX應用應用XXXX應用應用XXXX應用應用數據倉庫數據倉庫瀏覽、協同瀏覽、協同審批審批移動端Web端大大數據挖掘數據挖掘數據積累數據積累多端建設多端建設（入口）（入口）大大數據建設數據建設云建設云建設管理資產管理資產我們怎么做？-個人端產品設計 開放平臺開放的產品平臺開放的產品平臺基礎業務增值服務A模塊B模塊C模塊D模塊E模塊云指標云指標工具端XXXX應用應用1 1、業務變與不變的挑戰、業務變與不變的挑戰-傳統業務是穩定的

33、，產品要穩定-云的業務是易變的，需要不斷升級2 2、技術技術棧的挑戰棧的挑戰-傳統業務端開發技術（如C+、Qt、Delphi）-云業務互聯網技術（如spring，mc，mysql）3 3、組織管理的挑戰、組織管理的挑戰-產品解耦合-第三方增值服務我們怎么做？-個人端產品設計 開放平臺應用容器云指標開放平臺XX應用產品模塊產品平臺技術平臺操作隔離層我們怎么做？-個人端產品設計 大數據建設數據集市數據集市行為數據行為數據大數據大數據平臺平臺業務數據業務數據數據倉庫數據倉庫指標指標數據數據應用應用數據數據云指標云指標XXXX應用應用端開放平臺端開放平臺大大數據價值閉環數據價值閉環大數據目標：建立用戶

34、-企業-項目三級主數據結構，建立用戶/企業畫像，挖掘數據的核心應用價值挑戰：數據合法性和冷啟動問題我們怎么做？-個人端產品設計 移動端資訊信息協同辦公分享傳遞建設思路：擴展工具端能力解決痛點（碎片辦公場景、協同場景、分享場景等）聚焦（少、精），單點突破快速迭代消息傳遞數據查看移動端移動端我們怎么做？-個人端產品設計 Web端個人和企個人和企業數據管業數據管理平臺理平臺企業級協企業級協同應用平同應用平臺臺建設思路：拉用戶工程上云聚焦數據資產及應用價值逐步實現業務從端到云轉移我們怎么做？-個人端產品設計 云服務公有云（商業iaas/paas）私有云（輕量級組件）用戶中心授權中心應用中心基礎層造價云

35、云服務云報表云指標云模板云存儲云構件云檢查XX應用XX應用XX應用XX應用XX應用XX服務企業空間應用空間文件服務協作服務曲折教訓1.1.轉型過程賦予太轉型過程賦予太多訴求多訴求換語言（換語言（D D-C+C+）換換平臺平臺產品業務變化產品業務變化大大滿足轉型要求滿足轉型要求滿足上市時間要求滿足上市時間要求2.2.準備準備不夠充分不夠充分人員人員儲備儲備不足不足技術技術棧棧差異，領頭人差異，領頭人技術儲備技術儲備不足不足公共公共組件、組件、代碼代碼專項專項技術預技術預研研業務研究不足業務研究不足特特別是別是云業務云業務3.3.上線時間要求高上線時間要求高進度進度要求要求高高版本穩定時間短版本穩

36、定時間短缺乏足夠充分的市場驗證缺乏足夠充分的市場驗證變量增多，失敗風險增大變量增多，失敗風險增大技術研發與產品研發同步技術研發與產品研發同步人員融入和人員融入和培養培養難度難度大大缺乏互聯網業務經驗缺乏互聯網業務經驗如果產品質量有問題會嚴重如果產品質量有問題會嚴重影影響用戶口碑響用戶口碑經驗小結1、入云的關鍵是 解決用戶的核心業務問題，利用互聯網來擴展產品的能力-發揮現有產品優勢-通過云擴展自身的優勢2、分產品、分階段逐步轉型-要生存要發展，不能走極端-要有足夠的耐心，給產品打磨和驗證的時間3、人才儲備-原公司人才與互聯網精英結合最好，缺失一方都有問題以客戶為中心，解決核心訴求，打造好用的產品

37、是轉型的關鍵廣聯達的產品轉型是圍繞解決用戶核心價值來展開的，包括“研營銷服管”各階段的轉型，基本思路是以現有業務為基礎，利用互聯網相關技術和理念，打通產業鏈上下游，解決用戶、企業、項目等核心業務價值，提供集中、協同和數據資產管理等新能力，通過將用戶核心業務（難關痛，高頻）逐步入云的方式來打通線下和線上應用，最終實現云端轉型，提供實時在線的產品和服務核心方法論總結下一步要做 以數據為中心，進一步完善 產品在項目級及企業級工作協同，打通整個上下游先知：人工智能助力Fintech反欺詐2017-11-11金融科技企業面臨的欺詐風險CHAPTER1金融與科技的結晶金融的本質：資源的最合理化應用互聯網技

38、術：交易的邊界成本趨向“零”金融科技：用大數據、云計算等技術實現的資金融通、支付、投資和信息中介服務?,T?50+?PII?中國信用貸款行業分層10APR20小花錢包功夫貸小贏卡貸卡卡貸平安I貸給你花20APR40宜人貸你我貸馬上金融拍拍貸閃電借款40APR80APR80現金巴士信用錢包發薪貸手機貸用錢寶借錢快小企鵝現金白卡貸款王叮當貸飛貸名校貸久融金融投哪網信通袋讀秒我來貸閃銀省唄還唄APR10合作產品36個PrimeNear primeSub-primeAPR:Annual Percentage Rate 年化利率資料來源：招股說明書，網貸之家現金貸產品期限和額度分布宜人貸：極速信任-自動

39、化信用評估?金融科技企業面臨的欺詐風險人群團體化地區集中化方式多樣化工具智能化P2P欺詐市場環境：國內外公司競相進入反欺詐市場國外公司：1.硅谷新興反欺詐數據公司多2.基于機器學習提供新型反欺詐服務3.傳統征信公司入場國內公司:1.涉足反欺詐市場的公司多，傳統征信公司入場2.新興創業公司興起3.借款平臺開始對外輸出其自身的反欺詐能力9先知：人工智能與人工調查結合反欺詐CHAPTER2YEP:建立數據驅動反欺詐能力結合全網數據繪制關系圖譜風險評分600(好用戶)動拒貸調查進信審先知反欺詐云平臺實時數據采集實時數據處理SDK用戶行為數據消費數據通話數據三方數據知識圖譜實時欺詐發現欺詐調查工具欺詐評

40、分模型反欺詐云平臺規則引擎團伙挖掘欺詐用戶預警中介發現團伙監控&預警先知核心能力模型預警EnsembleEnsemble LearningLearningActiveActive LearningLearningDeepDeep LearningLearning0102規則引擎反欺詐規則反欺詐規則規則組合策略規則組合策略規則規則引擎引擎04調查工具搜索：注冊搜索：注冊、進件、進件、關系圖譜、關系圖譜等等預警異常信息提示預警異常信息提示用戶用戶詳情：身份詳情：身份、設備、地理、設備、地理、通話、支付等一系列信息通話、支付等一系列信息展示展示團伙信息展示團伙信息展示03團伙挖掘中介挖掘中介挖掘團伙

41、監控團伙監控用戶用戶預警預警UnsupervisedUnsupervised LearningLearningSemiSemi-SupervisedSupervised LearningLearning如何快速評估欺詐風險？SDK行為數據采集 運營商數據 電商消費數據 信用卡消費數據 第三方數據數據采集機器學習欺詐評分 Ensemble Learning Active Learning Unsupervised Learning 用戶欺詐評分 團伙風險評分SENT EVENTSGET RISK SCORE采集SDK數據用于識別欺詐事件PHONE:18612586949NAME:MikeADRE

42、SS:Chaoyang,BeijingIP:123.89.21.10IMEI：447769804451095Mac:00-80-C2-00-00-1AOS：android 4.3Model:Oppo R7.734457618592設備激活注冊賬戶查看新手引導點擊貸款點擊提交初審退出申請數據采集層數據處理層數據應用層Android端iOS端WEB端H5端離線T+1計算實時計算運營安全反欺詐反作弊設備數據行為數據地理位置反欺詐多模型融合技術 機器學習技術：GBDT、RF等模型調參+模型集成Stacking-特征工程技術：統計變換、時序處理、屬性分類、分組處理、交叉特征 圖譜挖掘技術：應用于圖特征提

43、取險控制數據字塔消費通訊社交為信結合人工調查自動化模型學習 實時新增欺詐標注，快速反饋回模型訓練（6個月-1天）Week 1Week 2Week 4Innocent usersFraudulent usersInnocent usersFraudulent usersInnocent usersFraudulent usersRisk ScoreRisk ScoreMost RiskyLeast RiskyMost RiskyLeast RiskyLeast RiskyAuto ApproveManual ReviewAuto Reject%of users with that Risk Sc

44、ore基于圖譜挖掘的團伙欺詐監控與預警CHAPTER3知識圖譜技術是人工智能的另一條路徑陳華鈞博士關于金融知識圖譜的若干思考：http:/ 知識圖譜提供了從“關系”的角度去分析問題的能力-預防黑天鵝事件-識別虛假關聯性構建知識圖譜應用于中介識別和團伙監控 疑似中介識別 團伙監控&預警：成團算法、團伙等級、團伙特征監控 關聯騙貸團伙用戶提報知識圖譜體系應用場景層面智能搜索、反欺詐、貸后管理、營銷分析、運營支撐 等數據整合層面信用數據、金融消費數據、行為數據、社交數據、網絡安全、第三方數據 等圖數據庫neo4j系統支持層面特征工程、模型開發、異常監控、推薦系統 等Spark+Hadoop+Grap

45、hX+Mllib+Streaming+TensorFlow金融知識圖譜FinGraph利用團伙挖掘技術監控欺詐團伙團伙監控超400萬申請超4000萬用戶超2億電話FinGraph知識圖譜黑名單用戶灰名單用戶拒貸用戶逾期用戶其他標簽傳播iSLPA成團算法Label Propagation based Community Detection Algorithm with DparkHLPA:A hybrid label propagation algorithm to find communities in large-scale networks先知反欺詐平臺架構反欺詐工具平臺SDK數據消費數據

46、通信數據進件用戶評分模型/規則引擎預警用戶/預警團伙反欺詐調查人員進件用戶數據(行為數據、設備數據、資格數據等)數據層模型層工具層用戶層Neo4j/HDFS/Hbase/Mysql/RedisKafka存儲層中介/團伙監控引擎Spark StreamingImpalaMap Reduce數據處理層第三方數據總結：人工智能幫助Fintech挽回大量欺詐損失60%+欺詐認定率欺詐認定率上億元上億元已挽回潛在欺詐損失已挽回潛在欺詐損失反欺詐模型反欺詐規則圖譜事件提報調查工具1.采集SDK數據用于識別欺詐事件2.使用機器學習反欺詐建模技術融合多種模型3.結合人工調查與機器學習主動學習欺詐標注4.構建知

47、識圖譜應用于中介識別和團伙監控以上數據截止到2017-08-2631.82%32.91%39.25%40.39%41.13%43.81%54.24%60.18%Jan-17 Feb-17 Mar-17 Apr-17 May-17 Jun-17 Jul-17 Aug-17 欺詐認定率欺詐認定率基于場景的產品設計驅動增長增長要解決的問題從0到1用戶規?；掷m&NextWHATWHEREHOWGrowth業務模式數據驅動場景產品Growth的三個關鍵回到用戶場景做增長用戶是誰存在痛點的非泛化人群特征什么場景產生需求行為與問題如何接觸產品建立場景中的連接點使用產品、重復核心體驗百度出行票：場景產品完成

48、從0到1破局百度出行票的用戶價格信息操作方便飛機出行信息信任可靠影響用戶購票體驗的因素1低頻、小白2即時性購買3難激發、可引導場景入口矩陣固定入口：用戶不care非高頻：即需即用多入口：引導需求承接針對用戶特性的產品設計快懶不懂用戶1最簡流程：免登陸、低價推薦2輔助決策：最關心信息3保障承諾：出票、退款、保險結果：8個月，完成業務破局2,500,0003,500,0004,500,0005,500,0006,500,0007,500,0000補貼實現3.5倍增長1/5人力、1/2時間，趕超競對摩拜小程序：線下場景增長飛躍產品核心流程開鎖騎車關鎖掃碼最便捷騎行體驗？回到場景：用戶的痛點掃碼下載注

49、冊押金開鎖1室外、線下：APP下載流量、時間3注冊：手機號、身份驗證2用誰掃碼：尋找打開，時間成本4押金：金錢門檻、信任成本用完即走無需下載LBS基于位置服務超級應用最高頻信用|數據真實用戶小程序：流量紅利如何利用摩拜小程序的迭代掃碼下載注冊押金開鎖1無需下載APP，微信掃一掃Step2微信授權手機號，無需驗證Step3小程序用戶免押金，實名即可騎車Step時間|金錢時間金錢|信任找到用戶使用產品的主要場景針對關鍵路徑減少用戶成本，最簡化核心體驗謀劃完整周期的用戶引導總結場景與體驗的探索PeopleProductGrowth基于場景連接Thanks頭疼，技術氛圍究竟怎么來？目錄-緣起-技術團隊

50、的文化-技術團隊的氛圍-總結一、緣起團隊中的聲音-我ca，竟然我績效丌合格-我ca，竟然我晉升沒通過-唉，太沒技術含量了，我丌想再改velocity模版了-唉，太沒意思了，三年一直做這一個東西-除了關注人和事，要關注文化和氛圍二、技術團隊的文化你在做員工時，不喜歡什么樣的領導？我討厭的領導-討厭當面一套，背面一套-我希望制度公開-拿著我的業績，寫好看的ppt去邀功-我希望公平-出事拿兄弟當擋箭牌-丌說有擔當，至少公正-呼吁加班，自己先閃-丌說身先士卒，至少一致對待-晉升靠拍馬屁-我希望進離政治，簡單一點-公平透明，簡單可信兄弟們為何愿意跟著我干？-夢想？人格魅力？-有前途機會？有錢途？-公平透

51、明，簡單可信實踐：技術晉級怎么玩？實踐：季度評優怎么玩？你在做員工時，希望收獲什么？我希望收獲-技術上的成長和提高-有沒有幫劣員工成長-業務上的了解和迚步-有沒有幫劣員工解決業務問題-好的職業發展機會-有沒有給員工平臺，機會實踐：績效面談，為何反彈？實踐：幫他成長，還是辭退？三、技術團隊的氛圍想做一些重構，pm卻不理解-重構APP，分層抽象，沉淀公共組件，提高未來編碼效率-重構數據訪問，加入緩存，使得架構結構更合理-重構passport，統一第三方聯合登錄破解：目標一致，數據說話，以理服人除了說做什么，還要說什么效果-重構APP-降低xx%APP安裝包大小，提高下載時間-重構數據訪問，加入緩存

52、-降低yy%訪問速度，提升用戶體驗-重構passport，統一第三方聯合登錄-之前每次項目都有5人日的passport開發，一次解決，一勞永逸研發與測試的沖突-研發目標“千行bug率低亍xx”，測試目標“千行bug率高亍xx”-“編譯都編譯丌過，你這提測的毛線呀”（注意：研發的KPI是“提測延期率”）-“我知道性能丌行，你說我改哪里”破解：目標一致，制度合理，分工明確研發與測試理應一家人-研發目標“千行bug率低亍xx”，測試目標“千行bug率高亍xx”-以業務/項目為最終一致目標-“編譯都編譯丌過，你這提測的毛線呀”-同上-“我知道性能丌行，你說我改哪里”-研發為性能負責一直加班，項目卻總還

53、是延期-需求評審-PM找RD要排期-RD根據經驗拍排期，PM丌信仸argue，討價還價后確定排期-RD按照排期執行，完丌成-RD反饋，丌能如期完成，PM說“排期是你排的”-PM向老大反饋，RD丌給力-RD加班-多輪過后，離職破解：設計評審，任務分解，責任到人這就是我的工作狀態，心情很差-開發中，測試中，上線中-需求都還在變化-全是bug，一直在改線上bug-老子要瘋了-頁面都改了多少次版了，項目都做了無數個了-業務指標卻沒有變化，這幫產品行丌行呀破解：流程制度該有要有，大家一起為業務負責哪些是必要的-丌是說需求丌讓改，要有代價的改-總由研發手勱改數據庫的高頻勱作，做成功能-線上bug也需要有處

54、理流程-項目必須有效果預期，效果跟蹤感覺技術上沒有提升-一直在做業務，感覺沒有意思-我有干貨，沒有平臺能夠講一講-我想學習，沒有平臺能夠學習破解：業務系統多思考抽象，技術夜校只有自己，會是職業發展的瓶頸-系統是否運行正常，監控告警完善嗎？Bug定位是否快速，腳本完善嗎？系統指標體系，數據完善嗎？-晚上丌加班，開技術夜校，給專家和新人以平臺分享和學習四、總結可以馬上回去做的-公平的晉級制度-公平的評優制度-確定目標，提供支持，跟蹤目標，績效丌反彈-培訕+轉崗，給人第二次機會-技術重構要說明對業務的好處，讓pm認可-研發和測試目標一致，研發為性能負責-項目丌能拍時間點，一定要加入需求評審環節-項目

55、要有預期，需求修改要有代價，項目效果要有跟蹤-技術夜校愛箱怎樣誕生的？為什么要做音箱?Wi-Fi音箱銷量遠不如藍牙音箱“不愛聽音樂”音樂資源沒有付費的意愿用戶需要什么？娛樂：音樂、廣播 資訊：問天氣、新聞 控制 提醒，鬧鐘感動人心，價格厚道超出預期的音質 買的起，用的上 控制用戶的預期“一句話的事兒”語音交互帶來的體驗革命 VUI 與 GUI她叫什么名字？喚醒詞是喚醒要求、人設形象、語言習慣，三者的平衡 被否決：中性的，外語，疊字，重復詞 喚醒詞演進：小米AI音箱=AI=小愛小愛的黑科技自研團隊語音信號處理 語音識別團隊 自然語言處理團隊 自研是質量的重要基石開放的技術合作麥克風陣列降噪算法

56、語音識別引擎 自然語言的垂域 人工合成語音 數據清洗和標注喚醒近千人次的錄音采集 人工嘴模擬測試 各種家庭噪音0%25%50%75%100%1米3米喚醒率喚醒率88%90%誤喚醒控制誤喚醒比喚醒更重要 聲源距離1米，播放噪聲組合 48小時測試05101520人民的名義新聞訪談演唱會0000云端語音識別多ASR融合策略 從88%-97%遠場與近場70%80%90%100%遠場近場字正確率字正確率98%97%自然語言處理投入大量的人力 用戶意圖分析 支持各種說法 快速迭代，自動化測試 建設精品庫米家設備Open Home架構輕松支持新設備上線 房間信息同步：“打開客廳的燈”內置場景和自定義場景：“

57、早上好”、“我回來了”有機的IOT生態設備傳感器：溫度查詢，濾芯查詢 控制電視小愛同學“再見，我會一直在這里等你?！睓C器智能時代的思考與實踐阿里巴巴人工智能實驗室人工智能 VS 機器智能人工智能實驗室3人類科技的不斷發展和加速 從工具到機器從使用工具到使用火人類用幾十萬年從鐵制工具到熱兵器時代人類用了幾萬年從駕馭馬車到蒸汽機人類用了幾千年從蒸汽動力到電力人類用了上百年從計算機誕生人類每十年取得的成就，超過以往所有的成就人工智能實驗室4機器時代 不斷進步的人機交互鍵盤鼠標 學電腦觸摸屏 語音識別 理解人人工智能實驗室5機器交互的進化到機器來理解人從人去適應機器人工智能實驗室6機器智能的核心01端

58、云云端一體人類意圖理解和反饋交互方式的入口人工智能實驗室7機器智能的基本要素01數據從端到云，從云到端02算法通往智慧的一小步03服務機器智能的能力輸出人工智能實驗室8云端一體帶來的生態變化EXEAPPSKILLPC時代開放生態機器智能服務生態移動互聯網應用生態人工智能實驗室9天貓精靈的誕生我在，你說。天貓精靈 X1010203普惠從工具到機器，操控智能設備的人群從工程人員普及到老人和孩子自由強大的云端服務整合，突破應用服務的界限，給人以自由。服務于人云端一體的產品將擺脫單一功能化的限制，滿足人的場景需求為第一要務終端交互入口云智慧大腦云端一體天貓精靈的實現原則 重新定義音箱人工智能實驗室11

59、天貓精靈X1的終端定位與設計 關于普惠輕便簡潔親和智能輕便體積小巧，放在家里沒有很強的入侵感。簡潔最少的按鍵，一鍵靜音，一鍵配網。親和反射式燈光設計，不傷眼，類膚材質，觸摸舒服。智能一句話說完，簡單直接。人工智能實驗室12天貓精靈云端和服務的整合 關于自由支付出行快遞購物音樂ASR0102030405聲紋支付以用戶為核心，構建個人和家庭的舒適娛樂視聽全方位接入音樂和視頻資源，在上市之初就打通了蝦米音樂、天貓魔盒、阿里生活服務支持手機話費、快遞查詢、訂餐等各種家庭控制打通阿里智能家居1000多個品類，隨時語音全鏈路從云端的語音，語義到播報，全部進行場人工智能實驗室13天貓精靈云端一體的產品體驗

60、服務于人從感知到識別到服務，機器智能的進化從我能提供什么服務到人們需要什么服務?；趯Σ煌巳?，老人，孩子，成人的識別來做語音的對話反饋、推薦、學習和服務。從以功能為中心的產品，轉變為以人為中心，構建不同場景和服務的產品。生態用戶產品尋找下一個 機器智能產品應該服務于人，而不是超越于人。機器智能將延展人類的能力，而不是超越人類的智慧。?Bing ZhuNov 2017TOP 100?TOP 100?1,200,000,000?85%?31%?34?TOP 100?68.3%?14.2%2015?perpetual?Office 365?TOP 100?Office 365Office 97,O

61、ffice XP,Office 2007.TOP 100?Office 365Office 97,Office XP,Office 2007.?TOP 100?TOP 100?TOP 100?Office 365!TOP 100?!?TOP 100?!?TOP 100?WHY?TOP 100?“?”?45%?TOP 100?HOOK MODEL BY NIR)?HOOK MODEL BY NIR)?HOOK MODEL BY NIR)?HOOK MODEL BY NIR)?5?Retain the same information architecture as the Desktop Rib

62、bon,using Ribbon tabs and chunks to organize the command space.Maintain the same order of commands as in the Desktop Ribbon,across Ribbon tabs and within each tab.Reuse the same icon metaphors and tab/chunk/command labels as in the Desktop Ribbon.?Reduce visual complexityReduce unnecessary navigatio

63、n and information overloadAvoid duplication when it is detrimental to the user experienceUse data(SQM)to inform the scaling(nesting)order of commandsMinimize occlusion of content caused by the UI or the users hand.Device/OS appropriate1.Explore north-star commanding system 2.Start with the 2013 Desk

64、top Client command set and organization3.Remove non-V1 commands and serialize to a single row per the modern,touch Ribbon design4.Rationalize meaningless differences across apps and fix oddities5.Define scaling logic,informed by usage data6.Justify potential changes/optimizations with data.Examples:

65、Removing the Clipboard chunk from the Home tab frees up space for a few commands that are more commonly invoked via the Ribbon,which would otherwise get nested in an overflow.Eliminating the References tab in Word by moving its only two V1 commands(Footnote and Endnote)to the Insert tab alleviates t

66、he space pressure in the Upper Ribbon1.79%(4.39)3.02%(2.98)25.08%(5.29)0.78%(6.09)1.24%(4.7)16.2%(4.1)11.1%(3.44)34.8%(4.36)21.8%(7.51)3.8%(1.82)3.63%(2.97)1.18%(1.58)0.97%(1.47)35.28%(7.66)9.38%(2.38)_%(_)_%(_)8.07%(1.81)31.9%(2.27)23.9%(2.08)5.5%(2.06)-%(2.03)7.34%(2.76)9.81%(5.63)-%(5.31)1.88%(2.

67、26)11.7%(3.32)4.24%(2.52)_%(_)2.96%(3.64)3.64%(4.04)3.15%(2.34)-%(1.84)1.58%(1.45)1.2%(1.36)0.96%(1.32)KEYX%of users who used this command at least once within this tab(Y)Avg.usage per user-day for users who use this commandX%Win32 data(Y)Win32 data_%Data n/a(_)Data n/aX%(Y)_%(_)By making familiarit

68、y with Desktop the driving force behind the Modern Ribbon design,we allow users to carry over their knowledge of our apps commanding to our modern apps,and perform common tasks in a similar manner,as well as adding more modern functions with same patterns.11/10/1751Office Experience OrganizationThe

69、Lower Ribbon scaling logic of the Modern Ribbon was designed to be more granular,allowing individual or subsets of commands within a chunk to lose their labels or drop off gradually into overflow callouts.?NOV 2017?NOV 2017?NOV 2017?NOV 2017NOV 2017NOV 2017Background:Background:Target users:K12 teac

70、hers,students,parentsScenarios:communication,collaboration,sharingA product to bridge the gap of schools scenarios Vs Office365s generic experienceCross-platform solutionMobile client is based on Wechat enterprise accountTwo thresholds for adoption:Two thresholds for adoption:Follow Wechat enterpris

71、e accountBind(sign in)Office 365 account?6?3?5?Original design:Original design:followed Wechat accountBind Office 365 accountReceive notificationsRead messagesData Telemetry findings from pilot school:Data Telemetry findings from pilot school:Significant amount of prospective users quit before the s

72、econd threshold(Office365 account binding)Amount of usersUX flowUsers being reachedUsers successfully followed WechataccountUsers successfully bind Office365 account100%84%42%Revised design:Revised design:followed Wechat accountBind Office 365 accountRead messagesReceive notificationsWillingness of

73、explorationUX flowImpact factor of going up:Impact factor of going up:Find a useful featureExperience a friendly interactionBe given an incentiveNeed to complete a taskImpact factor of going down:Impact factor of going down:Sign up,sign inPaymentExperience bad usabilityTurn up the willingness by a t

74、riggerThen ask user to complete a bothering task?Wechat red pack“Golden Egg”Video chat with sexy girlsFree minutes of skype call if sign upDownload APP to get higher speed accessHaoDaiFu:Y4F23-T9R7Q-MFPTR-H7PGD-VBCR4?4.?TOP 100?NOV 20170%25%50%75%100%Consistent ExperienceInconsistent ExperiencePerce

75、ntage of People Successfully Locate the Command under DistractionNew userAcquisitionMAUDormant userActivateChurnChurnResurrectionThank you?10%?50%USB?MULTIMEDIA?200320062006MXMusic CardMIni PlayerMX?MXMX2?3.15mmMX2?2012?MOBI LE?2?Note6MX6PRO 6PRO 7?100+?QQ?UC?QQ?4%?13%?2%?6.5?-?Flyme?Flyme?Flyme?Fly

76、me?Flyme?FlymeFlyme?SECURITY?SECURITY?2013SECURITY?2014SECURITY?2015SECURITY?2016SECURITY?360?SECURITY?APP STORE?APP STORE?98%APP STORE?360?APP STORE?“?“?“?QQ?t?Flyme os?THE END新時代下的開放生態垂類到平臺的進化移動互聯網開放使命智能硬件消費升級 萬物互聯新零售用互聯網的效率回到線下CBA驅動AI+大數據+云計算出行社交金融生活云服務大數據體育水電煤賬號加速器支付平臺支持運營支持服務支持行業資訊政策扶持推廣方案流量投資媒

77、體宣傳AI開放平臺分類消息推送賬號服務應用統計云測服務檢查更新3D touch免短信驗證開放云開發小米卡包應用推廣全局搜索小米流量小米網盟流量變現日歷提醒紅包服務運營應用商店小米游戲直達服務小米VR路由器插件智能家庭電視應用商店水滴平臺上架小米開放業務小米手機應用安裝 來自小米應用商店95%小米推送全平臺 億月活8.550W22億2016累計分成全球開發者基于Hybrid框架的新生態直達服務公司技術框架平臺GooglePWA,Instant AppsFacebookReact Native騰訊微信小程序阿里Weex云OS,螞蟻應用百度輕應用DCloud流應用白鷺LarkProgress Sof

78、twareNative Script小米直達服務行業趨勢強留存低成本低折損重體驗易傳播直達服務的優勢直達服務1.曝光2.點擊3.激活60%APP3.下載6.激活4.安裝2.點擊1.曝光5.點擊100%車主無憂車主無憂餓了么一點資訊直達服務與APP完整度一致互動百科尋醫問藥桌面安裝量最高提升 倍27次日留存率提升 倍250家內測開發者直達服務現有場景瀏覽器全局搜索URL全場景應用商店系統短信語音全新掃一掃圖片近場藍牙攝像頭智能助理智能硬件車載智能系統NFC智能點選下一代場景海外市場永遠相信美好的事情即將發生?Artificial Intelligence?-?Touch 1.0Touch 2.0

79、Touch 3.0Voice1.0?2 17年8月8日 8-h Aug 2 17我在，你說 Im listening?HIFI?Oneshot?WT?CCg?n26?f?4?2*?4?B9G?2*?B9G?b?d?o?20?b?l60?6?5?2?8?Um?S?N?4./?e?DLih?AA?A?H?*6?1-Rc?e?2A?E?75*2A?E?IG?e?ae?03M?BADI?E?AliGenie Inside一i式語音系統服務All-in-ONE Voice System ServiceAliGenie 開Al平臺Already in AliGenieAliGenie?9容服務商應用提6商

80、智能家居設備商9容快速接80人gG制化接8Content ProviderFast access systemService Providerin-person serviceSmart Home設備快速接8Fast accessAliGenie 開Al平臺Already in AliGenieAliGenie Inside一i式語音系統服務All-in-ONE Voice System Service支持幾2所有1流芯片 1-6麥7風芯片方案Support most 1-6 MIC SolutionHardware Solutionh4方案Chip Solution支持芯片Technique

81、 Support技術服務t店Hoteln旅Travelu售RetailAliGenie?CHAPTER1?ETA?CHAPTER1.1?=?a?t?sA?3?E?h?B?1?E?C?1?e?/2?B?4h?1?4hXD?B?/2?B?0?5?1?E?C?1?E?C?1?E?C?1?E?C?1?E?C?sA?1?e?A?A?C?B?-?-?-?-?-0?A?64?C?EB21D?X?A?A?A?A?-?0?CHAPTER1.2?-?-?cpo?Net Promoter Score?1?0?%?2?.?4?0-10?0?10?Class01074242589124487539?CHAPTER2?C

82、HAPTER3?用戶至上從智能家居終端的戰爭中脫穎而出AlexaAlexa?Alexa智能音箱美國現狀70%24%6%美國語音助手市場份額美國語音助手市場份額亞馬遜 echo谷歌 GoogleHome其他數據來源：eMarketer,2017,April總銷量AlexaLeadershipPrinciples用戶至上Alexa產品方向三個維度產品個體產品線生態系統家庭場景，遠景交互深耕VUI交互從音樂入手 Echo 一代，二代。Echo dot,Echo TapEcho show,Echo spot 增加交互場景覆蓋Skills 第三方市場聯盟Cortana等 2017 至今echo的發展階段

83、探索階段Prime會員$99購買音箱探索性嘗試培養用戶習慣野蠻增長市場競爭布局生態2015.6$169正式版發售2016.3 Echo dot,Echo tap 發售對標Sonas play等傳統藍牙音箱2016.11 GoogleHome 發售2016.10 Dot2代 發售2016.12 圣誕促銷2017.7 Prime day大促銷2016.11 技能突破一萬2017.9 echo show發布2017.9即將發售echo2代，echo spot,echo plus,echobutton,echo connect2017.10 AI to AI:聯盟Cortana2017.4 技能突破1

84、.5萬Alexa2014.11 2015.52016.10-20172015.6 2016.10產品本身產品本身產品線產品線生態系統生態系統Alexa打造產品自身探索&野蠻生長12014-2016Alexa創立團隊儲備：Fire phone的失敗音箱？智能&VUI時代Alexa創立Alexa培養用戶音箱對標Sonos play 1Prime會員半價嘗鮮智能音箱接入Amazonmusic,Pandora連接智能家居好用的智能音箱性能穩定比功能強大更重要更短的精準喚醒Itsaspeakeraboveeverythingelse.知名科技網站TheVerge評論Alexa瘋狂增長數據來源：鄒大濕Al

85、exa第一階段戰果數據來源：StrategyAnalytics2016年全球無線音箱出貨量Alexa多樣的產品線競爭階段22016-2017AlexaGoogle Home 入局70%24%6%2017 Q1亞馬遜 echo谷歌 GoogleHome其他87%11%2%2016 Q4亞馬遜 echo谷歌 GoogleHome其他數據來源：StrategyAnalytics,Emarketer美國智能音箱市場份額Alexa與Google競爭的弱勢數據來源：StoneTempleAlexaecho的產品線布局音質高音質中音質低50100150200250300dotTapEchoshowSonos

86、playGooglehomeechoEcho 2代Echo plusApplehomepod價格Alexaecho的產品線布局交互距離遠交互距離近不便攜帶便于攜帶EchoshowEchospotEchobuttonEchoTapEcho.GoogleHomeEchoDotApplehomepodEcho connectAlexa第二階段戰果2017 Q1 出貨量2017 Q3 出貨量Alexa生態系統多方位布局32017 至今Alexa技能應用市場的增長Alexa技能的高速增長Alexa家庭場景全覆蓋多空間多設備多人物Alexa語音交互場景全覆蓋AVSAlexa1234與語音助手聯盟2017.

87、9 與微軟Cortana正式可以互通Alexa與音箱制造商聯盟2017.8 和Anker合作推出的Eufy音箱2017.7 放出了Sonos Beta版的Alexa技能與開發者聯盟2017.4 AWS 開放Lex服務與智能家居硬件商聯盟2017.7 宣布與Intel共同開發智能家居解決方案聯盟Alexa總結定義產品擴張產品線打造生態圈工程實踐售后反饋用戶至上Alexa“大姐夫”的想象力Alexa“大姐夫”的想象力Thanks!共同推進人工智能時代華為百人團隊精益看板演進變革之路Agenda華為研發面臨的挑戰 為什么選擇精益看板？百人團隊實施案例分享華為研發面臨的挑戰企業客戶運營商個人客戶在互聯

88、網時代背景下 快速響應客戶需求，適應變化！為什么選擇精益看板？1.從當前的狀況開始 2.追求增量、漸進式變革 3.初始時，尊重現有的角色、職責和頭銜因為.Kanban is a Meta-Process！“元流程”因為.一種提升研發吞吐量的方法看板是.排隊理論-Littles LawThroughput(吞吐量)=WIP(在制品)Leadtime(前置時間)Leadtime（前置時間）Worktime+Waittime排隊理論-Littles LawThroughput(吞吐量)=WIP(在制品)Leadtime(前置時間)WIPLeadtime ThroughputLeadtime（前置時間

89、）Worktime+Waittime一種持續改進的機制看板是.待辦設計開發進行中完成測試發布423！待辦設計開發進行中完成測試發布423！排隊待辦設計開發進行中完成測試發布423！排隊瓶頸待辦設計開發進行中完成測試發布423！排隊瓶頸阻塞百人團隊實施案例分享PerformanceTime引入看板小勝利困局分析改進走在正確的路上團隊歷程業務痛點1市場增加 需求增大2需求變化快 需要快速響應目前的研發無法滿足市場的需求，以及快速的響應變化引入看板建立看板運作看板價值流映射+顯示化流轉規則限制在制品加速流動改進價值流拉動式開發消除瓶頸分析請求分配產能價值流映射產品級看板團隊級看板BacklogDes

90、ignDevelopmentSITDoneBacklogDesignCoding/LLTSDVDone團隊1團隊N。需求向下分解狀態向上卷積建立看板顯示化流轉規則建立看板待辦設計開發進行中完成測試發布規則：1、2、3、規則：1、2、3、規則：1、2、3、自働化建立看板自働化建立看板內建質量限制在制品建立看板待辦設計開發進行中完成測試發布規則：1、2、3、規則：1、2、3、規則：1、2、3、342限制在制品建立看板Resource EfficencyFlow EfficencyHighLowHighLow限制在制品建立看板Resource EfficencyFlow EfficencyHighL

91、owHighLow限制在制品建立看板Resource EfficencyFlow EfficencyHighLowHighLow從關注資源效率到關注流動效率運作看板待辦設計開發進行中完成測試發布423！運作看板待辦設計開發進行中完成測試發布423！需求填充運作看板待辦設計開發進行中完成測試發布423！需求填充看板站會運作看板待辦設計開發進行中完成測試發布423！排隊需求填充看板站會運作看板待辦設計開發進行中完成測試發布423！排隊阻塞需求填充看板站會運作看板待辦設計開發進行中完成測試發布423！排隊阻塞需求填充看板站會加速流動運作看板待辦設計開發進行中完成測試發布423！排隊瓶頸阻塞需求填充看

92、板站會加速流動運作看板待辦設計開發進行中完成測試發布423！排隊瓶頸阻塞需求填充看板站會加速流動消除瓶頸運作看板待辦設計開發進行中完成測試發布423！排隊瓶頸阻塞需求填充看板站會拉動式開發加速流動消除瓶頸運作看板待辦設計開發進行中完成測試發布423！排隊瓶頸阻塞需求填充看板站會拉動式開發加速流動消除瓶頸APDC改進價值流運作看板建立規則，行動一致看板怎么了？運作看板BacklogSelectedCoding/LLTReady For SDVSDVDone看板怎么了？運作看板BacklogSelectedCoding/LLTReady For SDVSDVDone排隊回顧改進運作看板通過數據驅動

93、的回顧會議進行價值流的改進討論累積流圖散點圖回顧改進運作看板通過數據驅動的回顧會議進行價值流的改進討論累積流圖散點圖減小SDV的批量，每周進行SDV測試小勝利缺陷趨勢吞吐量0123456提升30%困 局破 局破局一 分析請求分配產能破局一 分析請求分配產能需求池運營版本：快速發布火車版本決策破局二 找回需求PL領域1PL領域2PL領域N團隊級看板產品級看板。版本經理測試團隊破局二 找回需求PL領域1PL領域2PL領域N團隊級看板產品級看板。版本經理測試團隊版本經理設計開發測試FO特性視角，端到端拉通特性視角，端到端拉通破局三 減小批量PIPI準備 10D澄清設計 5D編碼檢視 10DSDV 5

94、DSIT 7D回歸 7D破局三 減小批量PIPI準備 10D澄清設計 5D編碼檢視 10DSDV 5DSIT 7D回歸 7D1、按周填充，減少SDV批量（按周或按需），減小SIT批量（每個PI 2-3次），加速價值流動 2、質量保證前移，減小風險 3、減少了fix的時間段，增加編碼時間，提升吞吐量走在正確的路上How To Find Me QQ:31524932 WeChat:elginchenLets Stop Starting,Start Finishing!停止啟動，聚焦完成！Thank YouHow To Find Me QQ:31524932 WeChat:elginchenLets

95、 Stop Starting,Start Finishing!停止啟動，聚焦完成！精益創新與快速交付價值勇氣時間價值精益消除浪費消除浪費價值流圖完整的解決方案延遲決策延遲決策保持可能快速交付快速交付排隊理論優化整體優化整體系統思考Set-based design內建質量內建質量基礎規程持續驗證關注學習關注學習產品&流程尊重個人尊重個人團隊伙伴顧客確定價值|識別價值流|價值流動|拉動|盡善盡美精益思想價值觀溝通(Communication)簡單(Simplicity)反饋(Feedback)勇氣(Courage)尊重(Respect)極限編程DevOps精益方法|敏捷開發|持續交付|自動化運維來

96、源：張樂”DevOps的道法術器“安全涌現VUCA易變性Volatility-Unexpected-Unstable-UnknownDuration不確定性Uncertainty-Cause is unknown-Outcome is unknown-Impact is unknown復雜性Complexity-Many interconnectedcomponents-Volume of informationoverwhelming模糊性Ambiguity-Little or no information-Unclear relationshipsVUCA勇氣|專注涌現|賦能價值|流動安全

97、|創新精益|思想時間|有效Thank You試玉七年百將多-項目管理隊伍建設側記組織級項目管理的復雜性項目軸系統軸項目項目1項目2項目3項目項目nV1.0V2.0V3.0V n.0V1.0V2.0V3.0V n.0V1.0V2.0V3.0V n.0V1.0V2.0V3.0V n.0V1.0V2.0V3.0V n.0應用系統應用系統1應用系統應用系統2應用系統應用系統2應用系統應用系統n項目管理隊伍建設-背景人才管理機制資深資深級級高級高級中級中級初級初級企業質量管理體系知識與技能IT與金融業務知識與技能項目管理知識與技能項目經理能力成長與發展留：資格晉升與激勵育：資格保持與培訓用：資格匹配項目

98、需要選：能力評估與認證項目經理能力素質模型通用管理知識與技能項目管理隊伍建設-機制維護管理項目管理任務與資源管理維護管理項目管理任務與資源管理組織級部門級產品/項目級項目管理部項目管理小組產品經理/項目經理總部分部分部項目管理體系管理模式項目管理隊伍建設-體系如何立項？任務如何排期？任務如何管理?開通工作登記？啟動階段計劃執控制收尾啟動單項目管理項目管理隊伍建設-問對項目預算?編制計劃？外購資源？規劃階段計劃執控制收尾啟動單項目管理項目管理隊伍建設-問對工作登記？進度監控?成本監控？問題風險管理？外購資源監控？配置管理？執行與監控階段計劃執控制收尾啟動單項目管理項目管理隊伍建設-問對預算VS成

99、本？外購資源結算？項目結項?收尾階段計劃執控制收尾啟動單項目管理項目管理隊伍建設-問對項目管理隊伍建設-軍規第1章任務排期與項目立項第3章項目執行與監控第5章項目中的外包管理第6章項目UAT測試第7章投產演練和投產支持第8章項目結項第4章項目外購技術資源管理u 包括項目計劃制定、計劃變更、工作分配與工時登記等。第2章項目計劃管理與工作分配2.1項目計劃管理2.1.1總體要求2.1.2制訂項目計劃2.1.3細化項目計劃2.1.4 變更項目計劃2.1.5常見問題及典型問題2.2 項目工作分配與管理2.2.1項目工作分配職責要求2.2.2工作分配管理流程簡述2.2.3 模塊外包類的工時分配2.2.4

100、 用戶手冊2.2.5 常見問題及典型案例項目管理隊伍建設-軍規項目健康度評估時間進度數據檢查項目風險質量性能SPI 進度執行指數MDI 里程碑延遲狀態指標項目范圍成本預算健康度指標CPI 成本執行指數WCP 工作量完成率QPPO 質量和過程性能目標DRP 缺陷排除目標達成概率CPK 工作量偏差目標達成能力值QAI 質量保證審計指標RII 風險標識指數SMI 范圍可管理指標MDQI 工時數據質量指標-補登、未確認工時RDQI 資源數據質量指標-本地資源、過度分配項目管理隊伍建設-手段項目健康度評估項目管理隊伍建設-手段組織級項目管理信息系統中心視圖分中心視圖部門視圖中心全景圖生產任務狀態團隊視圖

101、重點任務進展情況生產任務明細項目快訊分中心/部門全景圖重點任務進展情況進行中的生產任務生產任務狀態生產任務明細生產任務狀態生產任務明細團隊全景圖當前延期工作項目類維護類項目視圖生產任務全景圖技術資源全景圖生產任務全景圖技術資源全景圖生產任務全景圖技術資源全景圖進行中的生產任務項目基本信息項目狀態信息項目計劃信息項目執行信息項目預測信息CPI/SPI趨勢圖當前的問題風險延遲工作項目健康度評估項目掙值分析近期完成開發近期完成投產團隊任務/資源分布系統管理項目類別配置重點項目配置藍圖二期一階段配置近期開發與投產配置項目管理隊伍建設-手段人才隊伍建設項目管理隊伍建設-成效A型資深高級B型資深高級中級C

102、型高級中級初級D型中級初級12,0%44,1%141,5%306,11%503人,17%資深高級中級初級報名審核筆試面試審批項目經理級別與項目類型匹配項目經理隊伍規模及結構項目經理認證項目經理培養項目經理訓練營豐富的教學方式完備的課程體系 項目管理知識培訓 項目經理訓練營 中軟電子學苑 項目管理手冊 項目管理過程解讀 項目計劃編制實踐 項目執行與監控 批次管理以批次集成管理為核心，以項目集/群為對象的全流程管理機制，在新核心系統建設過程中得到廣泛應用，自新核心1.0開始，已成功應用于20個批次的實施工作，涉及開發工作量超過30萬人天，任務數量超過1000項，項目超過150個，產品超過160個=

103、黑六省=項目：14產品：29任務：27工作量：1570黑吉蒙晉贛皖黑吉蒙晉贛皖=豫瓊魯=項目：17產品：49任務：38工作量：7175豫瓊魯豫瓊魯=京津遼=項目：36產品：73任務：74工作量：21741京津遼京津遼=藍圖3.0=項目：63產品：87任務：127工作量：33559藍圖藍圖3.0=閩浙甬=項目：48產品：67任務：172工作量：36199閩浙甬閩浙甬=滬蘇吳=項目：75產品：105任務：135工作量：46057滬蘇吳滬蘇吳=湘鄂桂=項目：46產品：79任務：76工作量：44127湘鄂桂湘鄂桂=粵深=項目：91產品：39任務：72工作量：37961粵深粵深=總部=項目：121產品：

104、42任務：66工作量：43457總部=西南=項目：22產品：55任務：52工作量：3238西北西北西南西南河北需求需求設計設計開發開發測試測試項目集管理實踐成果項目管理隊伍建設-成效內部信息化系統持續發展，在需求管理、生產任務管理、技術管理、質量管理、項目管理、運營管理等方面，有效支撐了組織的開發及管理活動。n知識管理系統n組織級項目管理系統n度量分析平臺n配置管理系統n測試管理系統n信息化系統建設實踐成果項目管理隊伍建設-成效請鼓掌，謝謝！聯想全球制造大數據平臺的架構演進及技術創新2017/112目錄關于聯想大數據聯想制造大數據平臺架構演進之路目錄CONTENT3聯想大數據發展歷程設備數據采

105、集與分析基于移動設備、手機、APP數據的采集與分析大數據平臺首次發布聯想數據分析挖掘平臺Avatar正式發布2012.8數據科學家團隊香港數據科學家團隊成立陸續建立北京、成都團隊APP及用戶行為分析提供300余個APP300M用戶數據分析2013.82014.62010.122013.12PB級大數據應用調優PB級Hadoop平臺應用及性能調優2014.12延伸服務至海外2015.5全球數據服務支持全球設備及2000個應用的數據服務2015.10產品化、規?；瘮祿_到9PB,支持聯想業務的大數據服務器到達2000臺商業化產品發行（LEAP）面向第三方提供大數據商業服務，提供工業智能的整體解決方

106、案2016.3平臺 1.0平臺 2.0平臺 3.04幫助聯想建立企業全價值鏈業務優化能力，成為企業“外腦”全生命周期的數據分析和產品管理工廠生產出貨銷售渠道銷售中間商出售用戶使用用戶服務產品與營銷 產品分析 品牌管理 營銷管理 訂單管理 生產過程 供應鏈管理 新品上線 產品質量 物流運輸管理 貨品調配管理 渠道銷量管理 渠道庫存管理 合作伙伴管理 銷售過程分析 經銷商關系管理 經銷商庫存分析 用戶激活 網點備貨 線下配送 設備使用 用戶反饋 用戶畫像5圍繞聯想業務運營建成各類大數據分析專題500+個應用分析實時產品分析產品激活,用戶行為跟蹤,系統優化,設備畫像應用數據分析&服務經營輿情分析市場

107、矩陣,渠道優化,公眾情緒從各個評論網站獲取手機的評價正向評價/反向評價售后服務效率客服中心優化,部件預測優化,新產品引進優化產品市場分析從手機出貨到渠道-渠道到客戶-客戶開機激活的監控渠道店面熱力圖基于店面camera采集數據，分析店面布局、客流量、客戶對產品的關注度產品質量管理設備質量預警，備件預測360用戶洞察用戶畫像,設備畫像,聯想分析,用戶反饋 2016 Lenovo.All rights reserved.62017 Lenovo Internal.All rights reserved.數據平臺 1.0大數據技術應用的啟蒙與拓荒7主要解決的問題 應用的細粒度分析，幫助業務建立量化分

108、析能力 定制化的統一Dashboard，分析軟件和設備的日活，留存，關鍵路徑，軟件異常等設備開發設備開發和優化和優化實時激活分析銷售地域分析用戶輿情分析設備用戶分析應用使用分析軟件版本管理無線質量分析系統錯誤分析內存可用性分析開關機分析平均無故障時間用戶試用產品深度分析關鍵部件質量分析產品管理產品管理產品質量產品質量提升提升產品質量預測81.0 架構圖（20102014），以整合好開源技術為主要目標數據采集數據計算ETLReaperHiveDevice/Apps HDFS數據分析HadoopProcess&SQLSparkZookeeperYarnKafkaReal-time EngineRe

109、dis定制化 UI9創新：全圖形化集群配置管理，實現了千臺集群的可視化運維全圖形化平臺運維主機管理：提供快速配置大數據集群主機腳本，批量初始化服務器環境、拷貝安裝平臺介質；服務管理：支持向導式平臺配置，對主機、服務等快速配置；服務配置：根據選取的服務，自動檢測資源匹配度，如CPU、內存資源是否符合服務啟動需要；HA配置：提供全組件的HA服務與配置管理，包括Manager節點在內10創新：SQL的一站式圖形化編輯和執行工具，實現了計算引擎的透明化 Supports multiple data sources:MySQL,Impala,Spark,Hiveselect data sourcesvi

110、ew data tablesedit SQL statementexecute SQL statementview query historyadd data source11創新：新的流程調度引擎，替換Oozie，實現萬條計算任務的圖形化調度和管理 Conveniently define the process,view process status,re-execute process.create new processprocess queryview process instance12平臺1.0架構的主要問題 幾顆老鼠屎，壞了一鍋湯 單層的集群架構，上千臺各種配置的服務器放在一起，

111、難于性能優化和定位問題 Yarn配置參數極其復雜，后續難于維護 開源軟件更新太快，互相之間的版本關聯難于管理 裸奔的元數據 數據缺少安全保護，這時的Hadoop沒有滿足要求的安全框架 只有設備/應用數據，沒有企業數據 實時性差 大多是批量計算任務，無法為實時業務決策做出支持 業務人員不會編程 數據應用需要開發基礎，無法幫助沒有任何編程能力的業務分析人員132017 Lenovo Internal.All rights reserved.平臺2.0大數據全球化部署，全面整合企業數據之路14業務需求業務需求平臺能力平臺能力聯想統一數據聯想統一數據平臺平臺全球數據整合:存儲企業的全球運維、設備+云、

112、客戶數據（屬性，行為數據）、外部數據用戶案例用戶案例數據平臺數據平臺數據源數據源企業內數據分析能力企業內數據分析能力:數據倉庫，數據集市的建設，提供智能報表工具、算法包、多維分析支持等全球數據治理全球數據治理:數據本地采集，本地計算，遵守當地國家有關用戶數據的法律法規，清洗后的脫敏數據統一匯總分析，保證數據一致性，完整性132設備和軟件應用企業數據外部數據MESLenovo phoneDesktopDetachableSmart assistantMoto phone電腦管家電腦管家應用中心應用中心LC eCommLC Comm.LC ServiceLI eCommLI Comm.LI Ser

113、v.DCG server供應鏈產品市場和銷售服務財務/人力資源客戶畫像精準營銷流失率預測部件預測預防性維護每日損益報告需求預測采購分析新品立項分析持續改進功能優化數據治理和數據存儲即席查詢BI報告多維分析深度學習平臺2.0 企業數據智能需求的爆發15全球化部署挑戰：需要構建滿足企業不同場景應用需求的混合云架構，并達到安全可管理的業務目標工作負載工作負載多數據中心工作負載的調度和遷移0%20%40%60%80%100%120%140%160%180%200%公有云負載私有云負載北京數據中心天津數據中心弗吉尼亞數據中心芝加哥數據中心工作負載工作負載公有云私有云工作負載SPARKHadoop結構化存

114、儲云存儲設備鏡像用戶數據Native File System interface Hadoop Compatible FS interface Native Key-Value Interface FUSE Compatible FS interface 分布式統一虛擬文件系統AWS S3AzureAli OSSHDFSGlusterFSNFS多數據中心協同運作易于整合多個數據中心資源，提高擴展性資源協同調度，消除數據中心孤島統一管理，提高運維效率全局資源優化配置，降低運營成本解決異地的災備問題數據中心的優勢互補可以有效整合底層HDFS/S3/CEPH等異構文件系統，并對上層應用一共統一的文件

115、接口；可以整合異地的文件系統，支持跨數據中心文件系統的建立支持分層讀取，預讀取，利用緩存技術大幅提高文件系統的性能。公有云與私有云負載遷移統一虛擬文件系統在業務高峰期，自動把高峰期工作負載或流量，轉移到公有云，利用共有云更高的計算能力，可以緩解對內部私有云的壓力和需求。有效的利用公有云API完成工作負載的遷移、智能DNS技術，完善應用程序架構，以適應新型的混合云的模式16MPP&OLAP 分析框架SparkKylin平臺2.0 架構，多個分立的小規模集群，每個承擔不同的計算任務數據同步分地域數據采集數據計算ETLKafkaA&P DeviceEdge ServerHiveChina Devic

116、e數據中心AHDFSHttpFSRedis數據中心BHttpFS匯總集群ETLHttpFSE&M&A DeviceAmerica Device數據中心CHttpFS數據中心DHttpFS數據分析、BI報表KafkaEdge ServerHDFSKafkaEdge ServerHDFSKafkaEdge ServerHDFSHiveLEAP SQLKafkaETLHiveETLHiveETLHiveStormKafkaTask scheduler StormKafkaStormKafka實時數據流離線數據流PCG QlikMBG QlikDCG QlikReal-time DashboardSt

117、ormRedisRedisRedisSqoop17創新：通過擴展Hive和Spark，建立專有虛擬文件系統，實現跨集群數據增量同步SqoopHttpFSTian Jing Data CenterHiveHiveChicago Data CenterHiveTian Jing Sum ClusterHiveMySqlHttpFSHttpFSSqoopSqoopSqoopTask ScheduleFrankfurt Data CenterTask ScheduleHiveHttpFSTask ScheduleHong Kong Data CenterTask ScheduleHttpFS18創新：

118、引入ELK，構建全面的日志數據采集和實時分析的能力Beats社交媒體系統進程事件數據 自定義 beat數據倉庫Web APIs日志文件傳感器Hadoop生態系統ES-HadoopKafkaRedis消息隊列Logstash節點(X)Elasticsearch主節點(3)接收節點(X)數據節點 Hot(X)數據節點 Warm(X)定制化 UIKibana實例(X)LDAPSSOAD身份認證監控通知19整合各種開源方案，實現全面的系統資源業務監控能力采用多種開源和定制化的監控工具，從基礎架構層到應用層進行端到端的監控，可以在5分鐘內發現故障，并通過短信、郵件等多種方式報警，并由724小時服務的運維

119、團隊在第一時間響應。監控層監控目標監控參數基礎架構層服務器CPU,Disk,Memory,I/O數據庫SQL Performance,DB Usage,Running parameters網絡Bandwidth,Ping Delay,F5,Firewall,Switch statistics 應用層標準服務Http,SSH,Download Etc.定制化Login,Register,Pay Etc.Report&Fupan監控工具監控點報警手段Zabbix/Falcon服務器/存儲/數據庫/應用等郵件網頁短信電話Cacti帶寬監控Smokeping網絡質量監控Capacity Watch容量

120、監控NetworkBench全球網絡性能監控20創新：通過開源Cube計算增強，彌補三方報表工具短板，實現業務報表快速構建能力KylinInstance 1Instance 2Instance 3Instance 4數據倉庫拉取數據集群監控多維查詢DateDevice TypeGeo資源隔離Project A Configuration FilesProject N Configuration Files自動檢測項目計算資源配置Data Segment 1Data Segment NCube任務觸發任務管理任務監控DateDevice TypeGeoCube 設計Kylin 管理自定義BI工具

121、查詢引擎JDBC/ODBCNginx適配器Rest API項目A 項目B 項目C 21創新：覆蓋硬件、系統平臺到大數據服務的一體化的安全管理方案Sentry：集中式安全管理框架，用戶授權和數據權限控制，支持細粒度的數據訪問控制，擴展多租戶管理和資源隔離Kerberos:使用客戶端/服務端架構和DES對稱加密技術，實現數據節點授權，通過服務端的強授權和組件保證平臺的內部安全大數據服務平臺SparkMap ReduceHDFS系統平臺OSKernelBIOS系統安全TCM技術：可信測量系統，統一身份認證，信息加密和解密保護技術，芯片級的可信支持框架防火墻技術：阻止網絡攻擊和偵測、防護網絡漏洞反病毒

122、技術：掃描和偵測，殺除病毒系統安全：系統訪問策略，升級補丁策略，運維策略等日志審查可信芯片安全技術安全管理LDAP授權：支持LDAP協議，支持集成企業內部已有的LDAP服務數據管理：數據生命周期管理，覆蓋自數據產生、采集、傳輸、存儲、加工，分享到銷毀的全生命周期的管理用戶管理授權管理隱私管理平臺監控數據管理網絡安全22創新：新的數據ETL工具，兼容各種企業信息系統，實現異構數據資產整合數據集成平臺：全圖形化化開發與管理界面；豐富的ETL數據處理組件；豐富的數據介入適配器，可對接各類商業產品，如SAP、Oracle等管理軟件，及各類數據庫；豐富的接口支持，支持JDBC/ODBC、http、ftp

123、、消息隊列等多種數據傳輸方式；支持Oracle、SqlServer、DB2等商用數據庫，也支持MySQL、MongoDB、PostgreSQL等開源數據庫，支持結構化和非結構化數據獲??；支持XML、TXT等文本格式數據的處理與解析；支持Hive，Spark，Impala，Habse等Hadoop生態技術及組件；強大的開發環境，支持運行、調試、日志跟蹤、結果預覽，支持工程的導入、導出等；23實時流計算能力重新設計，支持億級用戶和設備的實時全程追溯能力Data Upload ServiceETLMass Storage SystemAnalysis ReportReal-Time Response

124、Real-TimeJudgementLogs ExtractLogs IndexLogsAnalytics ComputingOther Data實時數據源Data TransferData Statistics IntegrateReal-Time ReportingReal-Time Result CacheReal-time incremental processingMOLAPIncremental index storageStormSpark StreamingRedisFlumeHDFSSpark SQLSparkHIVEKafkaElasticsearchLogstashKib

125、anahbaseKylinNear-lineOfflineSpark Streaming24平臺2.0架構的主要問題工廠里面的數據也需要整合，如何處理來自生產設備和工控系統的實時時序數據，并改進生產工藝海量的數據，如何在不同業務之間實現共享和數據隔離，公司級的數據字典和元數據如何支持廣泛的OLAP場景，使得企業的IT資產得以復用如何提供業務彈性，為突發任務調動足量的計算資源如何復制聯想的工業智能經驗，為外部服務252017 Lenovo Internal.All rights reserved.平臺3.0傳統企業數據智能深化轉型與商業化之路262015 Lenovo Internal.All

126、rights reserved.在聯想建成新的數據智能化平臺，多源數據，統一平臺、敏捷智能統一數據平臺結構化+非結構化、OLTP+OLAP、實時計算、并行計算、圖分析、多源異構、數據治理、數據安全、數據隱私、數據交易敏捷智能算法、模型、多維分析、機器學習、人工智能設備傳感器MESPLMDMSCRMERP智能終端企業傳統IT系統HRIIOT網關數據集成客戶經營、產品創新、運營效率提升、業務模式升級27創新：突破工業場景實時分析，實現各種生產設備和產線系統的數據接入和實時場景化分析上位機/工控機工業網關工業/實時 數據庫Log AgentGateway AgentDB Agent消息引擎智能設備工

127、業智能模型數據預處理邊緣計算流計算引擎LEAPAgentMQTTAgent業務規則告警規則ModelBusMQTT/HTTPTCP/IPPLCJDBC/ODBC/OPC設備邊緣采集時序數據平臺設備網關MES/SCADA邊緣管理/設計器工業時序數據庫工業大數據LEAP Tools分布式文件系統批量計算框架實時分析框架計算調度引擎數據倉庫工具元數據管理工具業務看板/應用優化聯想智能化生產工序，實現基于班組級別的實時預測性（7分鐘內出結果）監控28聯想工業實時分析框架物聯網數據采集和處理過程的標準化，構建符合物聯網海量異構數據特征的大數據、物聯網平臺管理架構，建設物聯網全生命周期平臺實時流處理工業物

128、聯網IIoT接入百萬傳感器的實時采集能力；500MB/s數據實時預警與分析能力；EdgeServer物聯網接入Real-Time Analysis實時流處理工業模型應用機器學習模型應用實現了基于時間序列的傳感器數據優化，可以支持秒粒度的突發事件預警工業領域預置模型：異常識別、穩態等，模型隨著聯想案例的積累不斷豐富29創新：元數據管理工具，實現數據資產的字典化管理，支持數據接口發布/分享元數據平臺元數據管理：提供LEAP平臺內全部元數據信息的集中、可視化管理，實現對元數據信息的快速定位、查詢與檢索；數據質量管理：構建數據標準、數據質量校驗規則及質量分析報告；數據生命周期管理：實現對數據的分級定位

129、，從采集到銷毀的全生命周期跟蹤及管理；血緣分析與影響分析302017 Lenovo Internal.All rights reserved.創新：增強Spark，使其支持企業OLAP場景，支持存儲過程和CRUD操作WEB-UIClient APIJDBCSHELLSQL Server語法解析SQL PARSESQL ANALYZERSQL OPTIMIZER Oracle語法解析SQL PARSESQL ANALYZERSQL OPTIMIZERTransaction Mgr.事務并發控制分布式CRUD存儲過程語法解析變量、函數、游標邏輯執行并行執行SPARK 執行引擎多租戶&資源管理數據安

130、全控制HDFSSpark MPP SQL Engine用戶權限管理計算資源管理ODBC31實現數據CRUD原理上次事務，數據合并后的存儲目錄新的事務，變化數據存儲目錄僅對特定格式的ORC表有事務處理功能，事務處理的主要操作為增刪改；操作時開啟事務模式，SET transaction.type=SparkMPP;ORC表必須是分桶表，在表屬性里需要加上TBLPROPERTIES(“transactional”=“true”)，以標識這是一個要用作事務操作的表；桶的個數對事務處理的性能有關鍵性的影響，一般是CPU個數的倍數，并且每個桶平均的大小不要超過200MB或者一百萬行記錄數據變化時 記錄增加

131、 將新增記錄直接寫入新的delta_$transid_x目錄內bucket文件；記錄更新 將更新內容做為新記錄，寫入新的delta_$transid_x目錄內bucket文件；記錄刪除 將刪除內容做為null記錄，寫入新的delta_$transid_x目錄內bucket文件；每條記錄增加的信息：操作類型,原始事務id,rowId,當前的事務ID 周期性Compaction 新增文件數量大小監控，當達到一定數據時自動合并 定時控制，周期性合并2017 Lenovo Internal.All rights reserved.HDFS原始存儲結構Spark MPP方案HDFS存儲結構32數據遷移與

132、計算兼容，全面支持存儲過程適配選擇SQL解析器SQL ServerOracleMySQL.g4語法規則AST(抽象語法樹)check/optimizeSpark 可以識別的SQL語句，DDL，DMLResultsetxml、自定義格式Antlr4SQL Server語法文件Hive meta庫提交DDL/DML SQL語法樹(TreeNode)可執行語法樹(TreeNode)Visitor(rewrite/transform)語法分析(SqlParse)詞法分析(Lexer)SPARK執行Node預定義規則Executor Engine(迭代遍歷TreeNode)函數、游標、存儲過程、定義變量

133、用戶輸入SQLRebulidResultset2017 Lenovo Internal.All rights reserved.SQL執行過程SQL解析過程33創新：使用Docker技術，輕量化Hadoop，使其支持業務彈性計算Web AppKubernetes serverLoginAuthData ManagerSubmit TaskTaskMonitoringVisit pod portCustomImageTLS 雙向認證計費REST APICommand line資源管理任務調度Image RepositorySpark 2.0Python 2.6Spark 2.1Python 2.

134、7Python 2.7RJdk 8LEAP ClusterUser adminHDFSData HubTask SentryKubernetes ClusterResource PoolspodContainerTaskpodContainerTaskpodContainerTaskpodContainerTaskpodContainerTaskpodContainerTaskpodContainerTaskPodDocker EngineDocker EngineDocker EnginePhysics MachinePhysics MachinePhysics Machine分配Task生

135、成執行環境數據讀寫提交Task選擇鏡像數據管理不需要Yarn了，資源按照最小粒度分配，相對物理機，僅5%左右的性能衰減34創新：通過預制的領域分析場景，將企業最佳業務經驗固化和升華 集成化：具有開放式深度集成第三方工具、算法等的特點 場景化：具有算法庫應用場景的深度集成特點預置多維業務分析框架一站式的數據智能工具 針對工業領域的多維分析框架，支持汽車，生產，能源，煙草，零售等多個行業的快速領域分析和系統建模需要，降低IT人員的使用門檻35聯想大數據技術啟動商業化，提供工業智能一站式解決方案獲取層分析層數據集成平臺 LEAP DataHub物聯網采集LEAP Edge終端采集批量導入網絡爬蟲源數

136、據傳感器音頻視頻設備日志文本社交網絡MESSCMCRM實時能力查詢、分析、交互業務層輿情分析預防性維護智慧政務精準醫療智能交通智能供應鏈客戶洞察整合層HDFS分布式存儲系統No SQL統一資源調度管理分布式計算框架數據倉庫MPP時序數據庫內存數據庫圖數據庫服務層搜索可視化第三方工具數據治理平臺LEAP DataGov元數據數據安全數據資產數據標準數據質量數據檢索大數據計算平臺LEAP HD知識庫預測庫深度學習分布式框架TensorFlow機器學習工具箱ML Toolkit優化庫數據智能平臺LEAP AI查詢分析一站式運維可信計算引擎LEAP Trusted可信認證可信平臺可信服務器可信BIOS

137、可信網絡可信應用ERP流式采集36-客戶分析、精準營銷、服務優化-產品分析、流程再造、運營指導-收入預測、財務分析、資產配置企業如何借助大數據來應對行業與趨勢帶來的挑戰如何基于跨業數據來創新各種行業場景下的數據價值和商業模式根據業務需求進行系統集成，提供定制化的研發與實施服務整合數據資產，并保障數據的質量和業務可用性攜手ISV與客戶共同創建一個企業級的大數據平臺基于數據來描述、研究、解決以及評估業務痛點問題基于企業大數據平臺進行提供統一的運維支撐平臺與體系-系統集成服務-定制開發服務-系統實施服務-硬件數據中心-大數據軟件平臺-咨詢規劃-組織與流程重構-工具軟件-運維管控平臺-運維服務-行業理

138、解、宏觀價值闡述-大數據整體架構設計-企業大數據實施路線圖-對內價值與對外變現-數據產品創新與合作-商業模式創新與生態企業級大數據平臺，聯想大數據基礎平臺規劃設計數據分析系統集成數據變現平臺建設數據管控統一運維LEAP聯想以大數據為依托的工業智能優化，為客戶、合作伙伴提供多樣的產品和服務374小時15天/150+人某500強藥企 醫藥流通渠道管理，通過自然語言替換傳統人力，實現渠道自動化管理，準確率和效率的飛躍傳統醫藥分銷管理模式業務價值 業代上報數據五花八門 完全依賴增加人力進行密集型勞動 數據處理智能化 產品良率大幅提升人工處理？后臺數據處理團隊難以分辨處理??？人工處理有疲勞性，準確率不理

139、想！技術優勢1高性能數據處理提高服務質量3高準率降低80%人力2智能化脫離人工，自主學習 超高數據處理性能準確率突破人工處理全量數據分析人工智能數據處理專家經驗固化巡店數據手寫拍照上傳口語化、縮寫、地域性簡稱情況嚴重數據處理團隊隨著業務擴張，人員不斷增加處理效率低下，勞動強度高！團隊流失率高，熟練員工難以挽留！外部數據自身數據深度學習92%準確率38傳統生產計劃排產模式業務價值 訂單式生產 數據來源單一，排產計劃話語權不足 數據擴展 增加外部擴展數據？價格定制經驗依賴性強??？下游車企客戶銷量波動大技術優勢更專業的科學家，優化算法、提升效率高準率每年節約上千萬的費用深度學習&外部數據提升分析準確

140、率客戶向鋼廠下單生產計劃執行無法有效預測市場的快速需求波動庫存壓力大、采購成本增加下游廠商申請見單生產剩余產能進庫存下游波動導致鋼材庫存備貨成本增高結合上下游數據，通過定制化算法，打破經驗至上理論降低庫存成本，降本增效，提升了業務判斷準確性協助客戶分區域對22個產品進行分析，人工智能數據分析準確率大大提高了傳統模式下的預測精度，實現企業的降本增效某大型鋼企-特種鋼需求預測，打破經驗至上，利用數據智能準確把握未來趨勢，優化排產降本增效132下游汽車銷售數據宏觀&鋼材行業數據網絡輿情數據自身運營數據網絡輿情分析歷史銷售回歸綜合預測模型39某大型銀行 業代運營與風險管控，突破物聯網，對業代行為實時掌

141、控、智能識別、主動預警傳統立柜業務智能識別、保證合規 無法了解實時業務代表行為-撒出去就失控 一站式快速搭建物聯網平臺。實現全量數據的分層采集。實現價值1標定最佳業務行為樣板3助力PCG、DCG形成合力2基于人工智能的行為識別與預警 移動設備、業務代表、金融行業應用數據分層采集，全量數據實時分析與展現。通過人工智能分析提前進行風險預測。找出業務代表行為模式優質樣，實現KPI制定靈敏化。4技術獨特，公開招標無友商應標 業務面臨違規風險-金融業務違規帶來巨大損失 金融行業競爭激烈-離柜業務效率必須提升業代都在哪？都在干什么？是不是在開展業務？業務是如此展開的？信息泄密！未執行“三親”辦理！假造客戶

142、身份！惡意金融欺詐！業務代表表現參差不齊，單一KPI指標與培訓方案效果差。40說到最后聯想大數據平臺的演進來源于一個傳統企業的摸索實踐，走了很多彎路大數據開源技術處在快速發展的過程中，仍有很多不足，需要大家一起貢獻力量大數據和人工智能技術可以很好幫助傳統企業轉型升級，這一切剛剛起步，這將是我們中國人的機會舌尖上的設計如何提高B端產品的用戶體驗EUEEUE團隊個人EUEEUEEUE?EUEEUE漂亮有趣好用設計中的“色”設計中的“香”設計中的“味”場景化分析場景化分析簡單設計中的“場景”簡單一 設計中的“場景”?手工錄入憑證效率低手工錄入憑證效率低智能憑證中心智能憑證中心想要移動辦公，想要移動辦

143、公，否則沒法陪孩子否則沒法陪孩子多端應用多端應用新手不知道如何報稅新手不知道如何報稅一鍵報稅一鍵報稅報稅信息報稅信息容易出錯容易出錯一鍵取票一鍵取票?漂亮一 設計中的“色”?有趣設計中的香?情感化設計流程?好用 設計中的“味”?黑盒模式白盒模式?12.5%?基本功能分類功能T3好會計會計制度07準則13小準則非盈利基礎憑證輔助核算數量核算外幣核算期末結轉自定義結轉財務報表三大表現金流量自動生成管理報表費用統計、經營統計、應收應付統計固定資產固定資產折舊出納管理現金銀行日記賬發票管理發票認證測算一鍵報稅傳遞財務報表?EUE融合知識圖譜的文本異構信息網絡構建以及在機器學習中的應用北京大學信息科學技

144、術學院機器機器學習和文本挖掘研究學習和文本挖掘研究 發表論文190多篇，Google學術上的論文他引 4180多篇次，H因子 28 2018 2021，知識圖譜輔助的垂直領域自動人機對話系統框架研究，國家自然科學基金面上項目，張銘為負責人。2017 2020面向全流程智慧健康管理決策的多源異構大數據融合方法研究，國家自然科學基金重點項目，張銘為北大課題組負責人。培養的博士生唐建2017年秋入職 加拿大Montreal大學,在深度學習三大創始人之一Bengjio領導的MILA組任 AssistantProfessorhttps:/mila.umontreal.ca/JianTang，Zhaosh

145、i Meng，XuanLong Nguyen，Qiaozhu Mei，MingZhang，UnderstandingtheLimitingFactorsofTopicModelingviaPosteriorContractionAnalysis，The31stInternationalConferenceonMachineLearning(ICML2014)，最佳論文獎，2014.6.21-2014.6.26，EI，他引97JianTang，Jingzhou Liu，MingZhang，Qiaozhu Mei，VisualizingLarge-scaleandHigh-dimensionalD

146、ata，WWW2016.04.11-2016.04.15，最佳論文提名，他引29 JianTang,Meng Qu,Mingzhe Wang,MingZhang,JunYan,Qiaozhu Mei.LINE:Large-scaleInformationNetworkEmbedding.WWW2015,1067-1077.EI，他引271提綱北京大學信息科學技術學院3構建理論融合知識圖譜構建文本異構信息網絡相關應用基于文本異構信息網絡的挖掘算法實例研究動機文本表示與文本挖掘算法問題文本&標簽訓練分類器做預測一個經典的文本挖掘任務，對很多應有都很有用！社交網絡分析,健康,機器閱讀 傳統的方法:4

147、文本文本挖掘經典任務：文本分類文本表示:5On Feb.8,Dong Nguyen announced thathe would be removing his hit game FlappyBird from both the iOS and Android appstores,saying that the success of the gameis something he never wanted.Some fansof the game took it personally,replyingthat they would either kill Nguyen or killthems

148、elves if he followed through with hisdecision.Frank Lantz,the director of the New YorkUniversityGameCenter,saidthatNguyens meltdown resembles how someactors or musicians behave.People likethat can go a little bonkers after beingexposed to this kind of interest andattention,he told ABC News.Especiall

149、ywhen theres a healthy dose of Internettrolls.7 February 2014 is going to be a great dayin the history of Russia with the upcomingXXII Winter Olympics 2014 in Sochi.As theclimate in Russia is subtropical,hence youwould love to watch ice capped mountainsfrom the beautiful beaches of Sochi.2014Winter

150、Olympics would be an ultimateevent for you to share your joys,emotionsandthewinningmomentsofyourfavourite sports champions.If you arereally an obsessive fan of Winter Olympicsgames then you should definitely bookyour ticket to confirm your presence inwinter Olympics 2014 which are going tobe held in

151、 the provincial town,Sochi.SochiOrganizing committee(SOOC)would beresponsible for the organization of thisgreat international multi sport event from7 to 23 February 2014.Flappy BirdiOSAndroidappsstoresgamemusiciansRussiaWinterOlympicsSochimountainsbeachessportschampionsMobileGamesSports詞袋模型 Bag-of-w

152、ords基于知識的文本分類DongNguyenannouncedthathewouldberemovinghishitgameFlappy Bird fromboththeiOS andAndroid appstores,sayingthatthesuccessofthegame issomethingheneverwanted.Somefansofthegame tookitpersonally,replyingthattheywouldeitherkillNguyenorkillthemselvesifhefollowedthroughwithhisdecision.選擇標簽:Class1

153、orClass2?6MobileGameor Sports標簽 包含了豐富的語義信息！傳統分類聚類方法基本上沒有用到標簽信息每一個文檔只是被標記為“文檔 ID”文本挖掘算法問題北京大學信息科學技術學院7專家標注花費高只有大公司能夠雇傭得起很多專家眾包簡單的任務低質量依然花費高半監督/遷移學習不是通用的很多不同的領域快速變化的領域知識圖譜的定義知識圖譜的定義 一個知識圖譜K由三元組（斷言）（e1,p,e2）E R E組成 令E表示實體集合（例如，奧巴馬）R表示屬性或者關系集合（例如，出生地點）例如（奧巴馬，出生地點，檀香山）基于知識圖譜的文本表示9這兩個文本是否屬于同一類？OnFeb.10,20

154、07,Obamaannounced hiscandidacyforPresidentoftheUnitedStatesinfrontoftheOldStateCapitollocatedinSpringfield,Illinois.Bushportrayedhimselfasacompassionateconservative,implyinghewas moresuitablethanotherRepublicanstogotolead theUnitedStates.ObamaFebcandidacy announcedPresidentBushcompassionateleadRepub

155、licansportrayedObamaOld State Capitol Feb.10,2007United StatesSpringfield,IllinoisBush“政治”詞語文本地點時間政治家異構信息網絡包含多類型的節點和邊。實體，鏈接和類型含有豐富的信息！但是傳統的方法并沒有使用這些信息！1，實體(UnitedStates)而不是詞(United,States)，實體的類型（國家）知識圖譜詞語文本2，通過UnitedStates連接實體Obama和Bush，他們之間原本沒有連接文本挖掘 vs.基于異構信息網絡的文本挖掘10知識圖譜文本&標簽文本挖掘算法文本異構信息網絡基于文本異構信

156、息網絡的文本挖掘算法傳統的文本挖掘基于文本異構信息網絡的文本挖掘文本文本異構信息網絡&標簽知識圖譜基于文本異構信息網絡的提供間接標簽提供實體，關系以及類型受限的應用&領域不受限的應用&領域不受限的提綱北京大學信息科學技術學院11構建理論融合知識圖譜構建文本異構信息網絡相關應用基于文本異構信息網絡的挖掘算法實例研究動機文本表示與文本挖掘算法問題構建理論：融合知識圖譜構建文本異構信息網絡北京大學信息科學技術學院12知識圖譜輔助的文本領域知識生成結合領域知識的文本異構信息網絡表示應用:基于知識圖譜的機器學習和文本挖掘13輔助機器學習算法DocumentsimilarityinICDM15Docume

157、ntclusteringinKDD15DocumentclassificationinAAAI16Itemrecommendation,ongoing領域文本tweets,blogs,websites,medical,psychology更有效的機器學習和文本挖掘RelationclusteringinIJCAI15SimilaritysearchinSDM16ParaphrasinginACL13Datatyperefinement,ongoing知識圖譜ObamaispresidentofUnitedStatesofAmericaPeople.BarackObamaCountry.USA交

158、操作People.BarackObamaPresidentofCountry.Country.USA詞典詞典詞典PresidentofCountryPresidentofCountry.Country.USA連接知識圖譜輔助的文本領域知識生成：無監督的文本語義分析北京大學信息科學技術學院14ObamaispresidentofUnitedStatesofAmericaPeople.BarackObamaCountry.USA交操作People.BarackObamaPresidentofCountry.Country.USA詞典詞典詞典PresidentofCountryPresidentof

159、Country.Country.USA連接使用ReVerb在ClueWeb09上跑出的短語或詞ThomasLin跟Freebase中的實體相對應的實體二元：知識庫中長度為1或者2的路徑一元：Type.x或者Profession.x 對每個句子單元，候選的邏輯表達式超過一個，并且不能排序 無監督的方式 使用一個先進的命名實體識別工具L.Ratinov etal.CoNLL 2009發現最長的命名實體。只對最長的命名實體生成中間的邏輯表達式。15不是America或UnitedStates詞典知識圖譜輔助的文本領域知識生成：無監督的文本語義分析構建理論：融合知識圖譜構建文本異構信息網絡北京大學信息

160、科學技術學院16知識圖譜輔助的文本領域知識生成結合領域知識的文本異構信息網絡表示表示形式相關工作基于扁平特征詞袋作為特征詞袋模型Bollegala et.al.,WWW 2009,主題模型Andrew et.al.,ICML 2003。實體作為特征使用知識圖譜中的實體作為特征Gabrilovich et.al.,IJCAI 2005,概念化Song et.al.,IJCAI 2015,顯示的語義相關分析Hu et.al.,KDD 2009?；诰W絡結構基于詞的網絡基于詞的圖結構Wanget.al.,ADMA2005;Hassan et.al.,ICSC2007;Rousseauet.al.,A

161、CL2015。異構信息網絡使用文本異構信息網絡表示文本Wang et.al.,KDD2015;ICDM2015;TKDD2016。17結合領域知識的文本異構信息網絡表示文檔詞語命名實體類型1表示文檔中名字的類型,例如,人的名字.不是實體類型(異構信息網絡中節點的類型).異構信息網絡中的兩種實體類型命名實體類型2命名實體類型3命名實體類型T一個描述真實世界數據的有效模型！文本異構信息網絡模式:對于一個網絡元數據級別的描述，其中的節點類型包含文本以及詞語。結合領域知識的文本異構信息網絡表示Capturinghigher-orderrelationsOnFeb.10,2007,Obamaannoun

162、ced hiscandidacyforPresidentoftheUnitedStatesinfrontoftheOldStateCapitollocatedinSpringfield,Illinois.Bushportrayedhimselfasacompassionateconservative,implyinghewas moresuitablethanotherRepublicanstogotolead theUnitedStates.ObamaFebcandidacyannouncedPresidentBushcompassionateleadRepublicansportrayed

163、ObamaOldStateCapitolFeb.10,2007UnitedStatesSpringfield,IllinoisBushWordDocumentLocationDatePoliticianDocumentPoliticianCountryPoliticianDocumentContainsContainsDocumentBaseballSportsBaseballDocumentContainsContainsAffiliationInAffiliationInDocumentMilitaryGovernmentMilitaryDocumentContainsContainsDe

164、partmentOfDepartmentOf19元路徑:網絡模式中一條路徑/鏈接，其長度定義為路徑中邊的數量 Sun et al.,2011挑戰北京大學信息科學技術學院20#1:如何同時生成大量的元路徑?以前的研究集中在一條元路徑上，那么枚舉整個原始圖是有意義的。但在真實的情況下，如果需要同時生成成千上萬的元路徑需要怎么做？#2:我們如何決定元路徑的權重？以前的研究將元路徑的權重都平等對待。但在真實的情況下，每條元路徑對于不同的領域的貢獻是不同的。文本異構信息網絡上元路徑獨立隨機游走生成原理：根據輸入的文本集，找到一個稠密的子圖，保留原圖中每一個節點都是跟其余的節點有大的相連度的節點。為每一個

165、文本在異構信息網絡上計算個性化PageRank。隨機游走會在藍色的部分的子圖停止。算法概要基于文檔跳轉集D以及元路徑預定義長度，運行個性化PageRank(近似種子節點的連接性。按照個性化PageRank從大到小的順序對節點進行排序。交換節點并且找到一個稠密的子圖。使用子圖而不是原始的完全圖計算節點之間元路徑的數量。本地圖種子文本集基于文本異構信息網絡的文本挖掘知識圖譜文本異構信息網絡基于文本異構信息網絡的文本挖掘算法文本異構信息網絡知識圖譜基于文本異構信息網絡的提供間接標簽提供實體，關系以及類型不受限的應用&領域不受限的提綱北京大學信息科學技術學院23構建理論融合知識圖譜構建文本異構信息網絡

166、相關應用基于文本異構信息網絡的挖掘算法實例研究動機文本表示與文本挖掘算法問題基于一階元路徑約束的聚類模型24異構信息網絡劃分文檔聚類 1文檔聚類 2文檔詞語命名實體類型1命名實體類型2命名實體類型3命名實體類型TIncorporatingWorldKnowledgetoDocumentClustering viaHeterogeneousInformationNetworks.KDD15一階元路徑的生成與選擇：基于元路徑獨立隨機游走生成與選擇方法進行。文檔詞語發明異構信息網絡劃分文檔聚類 1文檔聚類 2人物地點機構基于一階元路徑約束的聚類模型 使用命名實體類型作為異構信息網絡中實體的類型.得到

167、一個更加稠密的圖.25Larry Page人物創始者 企業家命名實體類型層次結構文檔詞語發明異構信息網絡劃分文檔聚類 1文檔聚類 2人物地點機構基于一階元路徑約束的聚類模型 使用命名實體類型作為異構信息網絡中實體的類型.得到一個更加稠密的圖.使用命名實體子類型或者屬性作為模型的一階元路徑約束.能夠更好的發現文檔的主題和聚類.26Larry Page人物創始者 企業家人物企業家年齡性別機構教育命名實體類型層次結構命名實體的屬性命名實體子類型文本分類結果27平均準確性模型SVMHINSVMHIN+KnowSimIndefSVMHIN+KnowSimSVM設置DWDDWD+MetaPathDWDDW

168、D+MetaPath+WordEmbedding20NG-SIM91.60%92.32%92.68%92.65%93.38%91.67%20NG-DIF97.20%97.83%98.01%98.13%98.45%98.27%GCAG-SIM94.82%95.29%96.04%95.63%98.10%96.81%GCAT-DIF91.19%90.70%91.88%91.63%93.51%90.64%發現#1:所有基于DWD+MP的核方法都比SVMHIN的效果好將元路徑的結構信息當做一個整體來考慮要比當做扁平的特征的效果好。發現#2:IndefSVMHIN+KnowSim總是比SVMHIN+Kno

169、wSim的效果好非半正定核對于支持向量機來說不是最好的選擇。發現#3:IndefSVMHIN+KnowSim比SVM+WE的效果好知識包含更多文本之間相似度的語義信息。訓練數據規模的影響8085909510020%40%60%80%100IndefSVM-HIN+KnowSimSVM-HIN+KnowSimSVM-HIN北京大學信息科學技術學院28使用更少的訓練數據，外部知識圖譜中的知識能夠幫助我們提高文本分類的準確性。知識圖譜輔助的領域知識生成結合領域知識的異構信息網絡表示基于異構信息網絡的機器學習數據&知識圖譜異構信息網絡構建通用問題領域特定問題VS.結構化表示無結構化表示VS.復雜推理大

170、規模推斷VS.總結：融合知識圖譜的網絡模型北京大學信息科學技術學院29未來研究展望30DocumentsimilarityinICDM15DocumentclusteringinKDD15DocumentclassificationinAAAI16Itemrecommendation,ongoingtweets,blogs,websites,medical,psychologyRelationclusteringinIJCAI15SimilaritysearchinSDM16ParaphrasinginACL13Datatyperefinement,ongoingKnowledgeNetwor

171、kedlearningDeeplearning哪些領域更需要結構化的信息如果知識圖譜中缺乏領域知識呢輔助機器學習算法領域文本更有效的機器學習和文本挖掘知識圖譜圖卷積網絡（圖卷積網絡（GCNGCN）:知識圖譜+深度學習輸入圖信號詞袋模型特征抽取卷積層分類全連接層輸出信號標簽ConvolutionalNeuralNetworksonGraphswithFastLocalizedSpectralFiltering.NIPS16圖信號過濾1.卷積變換2.非線性激活函數圖粒度粗化1.降采樣2.池化操作總結https:/ 數據北京大學信息科學技術學院32問題融合知識圖譜進行文本挖掘方法基于融合知識圖譜的文

172、本異構信息網絡構建及應用系統開源文本異構信息網絡構建的源碼以及數據謝謝!J相關研究成果1Chenguang Wang,YizhouSun,Yanglei Song,JiaweiHan,YangqiuSong,LidanWang,andMingZhang:RelSim:RelSim:RelationSimilaritySearchinSchema-RichHeterogeneousInformationNetworks.Proc.2016SIAMInt.Conf.onDataMining(SDM16).2ChenguangWang,YangqiuSong,HaoranLi,MingZhang,a

173、ndJiawei Han:TextClassificationwithHeterogeneousInformationNetworkKernels.Proc.2016AAAIConf.onArtificialIntelligence(AAAI16).3ChenguangWang,YangqiuSong,HaoranLi,MingZhang,andJiaweiHan:KnowSim:ADocumentSimilarityMeasureonStructuredHeterogeneousInformationNetworks.Proc.of2014IEEEInt.Conf.onDataMining(

174、ICDM15).4Chenguang Wang,YangqiuSong,AhmedEl-Kishky,DanRoth,MingZhang,andJiawei Han:IncorporatingWorldKnowledgetoDocumentClustering viaHeterogeneousInformationNetworks.Proc.2015ACMSIGKDDInt.Conf.onKnowledgeDiscoveryandDataMining(KDD15).5Chenguang Wang,YangqiuSong,DanRoth,ChiWang,Jiawei Han,Heng Ji,an

175、dMingZhang:ConstrainedInformation-TheoreticTripartiteGraphClusteringtoIdentifySemanticallySimilarRelations.Proc.2015Int.JointConf.onArtificialIntelligence(IJCAI15).6Chenguang Wang,YangqiuSong,HaoranLi,MingZhang,andJiaweiHan:OnDefining SimilarityMeasuresforTextsinHeterogeneousInformationNetworks.Proc

176、.2016ACMInt.Conf.onInformationandKnowledgeManagement(CIKM16)(underreview).7ChenguangWang,YangqiuSong,AhmedEl-Kishky,DanRoth,MingZhang,andJiaweiHan:Worldknowledgeasindirectsupervisionfordocumentclustering.ACMTransactionsonKnowledgeDiscoveryfromData(TKDD16)(accepted).8YangqiuSong,Chenguang Wang,MingZh

177、angandHailong Sun:SpectralLabelRefinementforNoisyandMissingTextLabels.Proc.2015AAAIConf.onArtificialIntelligence(AAAI15).9Dakui Sheng,Chenguang Wang,andMingZhang.Efficientrelationgenerationinheterogeneousinformationnetworks.Proc.of2016IEEEInt.Conf.onDataMining(ICDM16)(underreview).北京大學信息科學技術學院34主要參考

178、文獻1Wang,C.;Song,Y.;El-Kishky,A.;Roth,D.;Zhang,M.;andHan,J.2015.Incorporatingworldknowledgetodocumentclusteringviaheterogeneousinformationnetworks.InKDD,12151224.2Wang,C.;Song,Y.;Li,H.;Zhang,M.;andHan,J.2015b.Knowsim:Adocumentsimilaritymeasureonstructuredheterogeneousinformationnetworks.InICDM.3Wang,

179、C.;Song,Y.;Roth,D.;Wang,C.;Han,J.;Ji,H.;andZhang,M.2015c.Constrainedinformation-theoretictripartitegraphclusteringtoidentifysemanticallysimilarrelations.InIJCAI.4Gabrilovich,E.,andMarkovitch,S.2005.Featuregenerationfortextcategorizationusingworldknowledge.InIJCAI,10481053.5Song,Y.;Wang,H.;Wang,Z.;Li

180、,H.;andChen,W.2011.Shorttextconceptualizationusingaprobabilisticknowledgebase.InIJCAI,23302336.6Andersen,R.;Chung,F.;andLang,K.2006.Localgraphpartitioningusingpagerankvectors.InFOCS,475486.7Gabrilovich,E.,andMarkovitch,S.2006.Overcomingthebrittlenessbottleneckusingwikipedia:Enhancingtextcategorizati

181、onwithencyclopedicknowledge.InAAAI,13011306.8He,X.;Cai,D.;andNiyogi,P.2006.Laplacianscoreforfeatureselection.InNIPS.507514.9Hotho,A.;Staab,S.;andStumme,G.2003.Ontologiesimprovetextdocumentclustering.InICDM,541544.10Hu,X.;Zhang,X.;Lu,C.;Park,E.K.;andZhou,X.2009b.Exploitingwikipediaasexternalknowledge

182、fordocumentclustering.InKDD,389396.11Schuhmacher,M.,andPonzetto,S.P.2014.Knowledge-basedgraphdocumentmodeling.InWSDM,543552.12Sun,Y.,andHan,J.2012.Miningheterogeneousinformationnetworks:principlesandmethodologies.SynthesisLecturesonDataMiningandKnowledgeDiscovery3(2):1159.13MicheleBanko,MichaelJCafa

183、rella,StephenSoderland,MatthewBroadhead,andOrenEtzioni.Openinformationextractionfortheweb.InIJCAI,pages26702676,2007.14DanushkaTBollegala,YutakaMatsuo,andMitsuruIshizuka.Measuringthesimilaritybetweenimplicitsemanticrelationsfromtheweb.InWWW,pages651660,2009.15Ming-WeiChang,Lev-ArieRatinov,andDanRoth

184、.Structuredlearningwithconstrainedconditionalmodels.MachineLearning,88(3):399431,2012.16Inderjit SDhillon,SubramanyamMallela,andDharmendraSModha.Information-theoreticco-clustering.InKDD,pages8998,2003.17YangqiuSong,ShimeiPan,ShixiaLiu,FuruWei,M.X.Zhou,andWeihongQian.Constrainedtextcoclusteringwithsu

185、pervisedandunsupervisedconstraints.TKDE,25(6):12271239,June2013.北京大學信息科學技術學院35?/?/?/iPhone?Education EDX/TEDxHousing AirbnbEmployment Fiverr/EtsyEquity&Justice UshahidiTransportaction Blablacar/CarpoolingCar Buzzcar?iPhone?221?4?/?1?/?0%20%40%60%80%38.9%44%61%77.8%?“?”?/?/?2?/?/?8?iPhone?/?/?/?/?/?B

186、2C?C2C?3?“?”?7?600?15?“?”?“?”?99?,?30?/?15?餓了么異地多活改造架構和基礎組件實現第三部分：多活 5 大基礎組件第二部分：多活的設計思路第一部分：為什么要做多活第四部分：經驗總結 餓了為什么要做多活？技術投入服務擴展 故障損失業務規模代價避免故障損失2能夠應對整個機房級別的故障 的高可用級別擴展能力1服務可以擴展到多個機房 不再受限于單機房容量調研和出方案集中開發 演練上線從去年9月份開始，調研和設計方案，最終輸出一份簡單，并且易操作的改造手冊，指導研發進行改造調研和方案設計集中開發2月份到6月份，進入小黑屋模式集中開發，調集了各個團隊的開發力量，協同合

187、力完成大規模的改造演練上線日常維護6月份-8月份，開始上線的過程，即需要謹慎的推進，也要有堅定的信心。改造工具，步步為營的檢查，解決每個錯誤。也要堅定的進行切換演練，即使有風險。6個月4個月2個月 所有的中間件都為多活做了改造，新開發了多活5大中間件更新多個核心中間件平均每月3.5次切換2017年，從6月份到9月份，一共發生了14次多活切換多機房容量擴展目前建成北京和上海兩地機房，正在建設云上第三機房全部產研團隊參與多活研發過程中，餓了么的幾乎所有研發團隊都有參與多活目前狀態大范圍的網絡訪問問題，有時候會在一個數據中心發生網絡出口問題基礎服務出錯全局性的基礎服務問題，時有發生日常演練每周進行常

188、規的機房切換測試應對大促壓力大促之前，合理分配流量，避免熱點重大更新有重大的更新，先在一個空機房進行，確認無誤后，在發布到其他機房混合云方案在公有云上構建ezone,可以隨時擴展服務能力典型的切換場景 多活的主要挑戰物理距離導致的傳輸延遲（30ms）這個小小的延遲決定了我們需要巨大的改造跨地域網絡的可靠性更低定義機房的邊界，避免跨機房調用同城 or 異地多活？同城多活 or 異地多活同城多活異地多活整體投入高（機房投入+同城專線）很高（機房投入+異地專線）實現復雜度低（依賴垮機房調用）高（需要減少機房間的交互，清理調用邊界）可以擴展到多機房中（只能在同城增加機房）高（可以在全國選擇機房，甚至擴

189、展到全球）服務可用性低（降低現有可用性）高（可以應對機房級故障）對現有架構的影響低（跨機房調用）高（業務需要改造）對服務質量的影響能夠保證實時和服務質量降低實時性，增加延遲的風險數據復制第二部分：多活的設計思路一致性保證業務改造兜底和問題預防流量路由服務劃分基本原則業務特點 餓了么的業務特點瀏覽下單商戶接單物流配送用戶騎手商家用戶查看指定位置附近的美食，選擇后下單支付商家接單，系統安排騎手配送騎手需要盡快把食物送達倒用戶手中3個主要角色：用戶、商家和騎手用戶檢索到附近的食物，下單支付商家立刻接單，并開始制作食物騎手到店取單，并限時送到客戶手中有嚴格的時間要求，在幾十分鐘內完成餓了么的業務有兩個

190、核心特性，地域性和實時性 Next：基于這兩個特性，我們得出了多活基本原則餓了么的業務特點決定了異地多活的設計：餓了么異地多活的基本原則基本原則優先保證系統可用，讓用戶可以下單吃飯，容忍暫時數據不一致，事后修復2 可用性優先3 保證正確性在確?？捎玫那闆r下，需要對數據做保護以避免錯誤1 業務內聚一個訂單的旅單過程在一個機房中完成以減少可能的延遲4 業務可感業務團隊修改邏輯，能夠識別出業務單元的邊界，只處理本單元的數據，打造強大的業務狀態機，能發現和糾正錯誤 各種異常 Case 處理業界常用異地多活方案貼合業務的基本原則全公司各團隊協作實施餓了么多活 服務劃分對服務進行分區，讓發生業務關系的用戶

191、，商戶，騎手能夠內聚到同一個 ezone 中一個訂單的履單流程在一個機房完成基于地理位置作劃分（Sharding）每個分片（Sharding）有一個確定的地理圍欄可以保證時效，對網絡故障不敏感服務劃分方法是我們方案中比較特殊的地方特殊性來源于餓了么的業務特點 Next：流量如何分配到正確的分區 地理劃分的常見問題問題一：按照什么地理規則劃分，才能保證讓地理上接近的用戶被劃分到同一個機房？答：大體基于行政區劃，因為區劃邊界基本都是非商業區；結合現有數據分析，做一些局部調整問題二：用戶是會動的，如果用戶從北京到了上海，那么劃分規則應該怎么應對？答：各個機房全量數據，用戶的數據在另外一個機房只有1s

192、的延遲，不受用戶移動影響為什么不簡單點，按照用戶的ID來切分？答：參考餓了么業務兩個核心特性，地域性和實時性，用ID劃分，則難以保證這兩點。流量路由為每個請求都帶上了分流標簽（Sharding Key）API Router 把Sharding Key轉換為對應的 Shard IDShard ID 被映射到對應的機房由GZS（Globa Zone Service）統一維護地理圍欄，映射關系，切換動作通知.Next:彈性的路由方案云機房北京機房上海機房API Router用戶app、商戶app、騎手appShardingKey:地理位置，商戶ID，訂單IDGZSSHARD#7SHARD#15API

193、 RouterAPI Router云機房API RouterAPI RouterAPI Router 靈活的邏輯路由方案并不是所有的調用都能直接關聯到某個地理位置上要減少業務改造成本中間件支持邏輯 Sharding Key到物理 Shard ID 的轉換業務不用關心的 Sharding 邏輯單一規則，彈性實現Next:多中心全量數據實現核心Sharding Key：地理位置用戶地理位置商戶地理位置騎手地理位置路由邏輯API RouterGZS邏輯 Sharding Key地理位置商戶ID騎手團隊ID訂單ID網格運單最終路由機房EZONE各種邏輯Shading Key最終被轉換為和某個地理位置相

194、關的數據地理位置被映射為某個 Sharding ID并對應到一個 EZone。數據復制MYSQL 數據實時雙向復制（DRC）ZooKeeper 雙向復制消息隊列復制Next：強一致數據區的實現上海機房其他落地數據北京機房其他落地數據ezone db instance強一致數據區global zone數據global zone數據DB雙向復制sharding#4sharding#3sharding#1sharding#1ezone db instancesharding#4sharding#3sharding#1sharding#1zookeeperMessage QueuezookeeperM

195、essage QueueZK復制消息復制RedisRedisAction復制DRC 復制工具 強一致保證（Global Zone）個別一致性要求很高的場景Globa Zone是一種跨機房的讀寫分離機制基于數據庫訪問層（DAL）業務無感知Next：整體結構上海機房北京機房GZSDALDALDB global zoneMasterSlaveServiceService讀寫寫入讀取讀寫Failover 多活整體結構北京機房上海機房ezone#2服務集群sharding#4sharding#3ezone#1服務集群強一致數據區global zone數據global zone數據sharding#1sh

196、arding#1雙向數據復制 DRC ZK RMQ內部調用路由 SOAProxy云端流量路由 API Router用戶流量sharding#4sharding#3sharding#1sharding#1用戶 商戶騎手流量請求流量路由GZS 業務需要準備一些數據修復邏輯，在萬一發生不一致時，手工或者自動糾正數據。兜底修復4調用鏈改造2改造調用鏈，讓 Sharding 信息能夠在整個調用過程傳遞，為中間件提供信息后臺任務1后臺任務可以過濾掉非本 ezone 的數據，但過濾邏輯由中間件提供。業務改造切換感知3可以在發生切換時，執行特定的邏輯，觸發一些動作，中間件發出通知流量路由和分發數據復制工具DA

197、LDRCSOA ProxyGZSAPI Router21543第三部分：多活5大基礎組件多活信息的全局協調器SOA 調用路由數據訪問和兜底 多活5大基礎組件北京機房上海機房ezone#2服務集群sharding#4sharding#3ezone#1服務集群5 強一致數據區（DAL）global zone數據global zone數據sharding#1sharding#13 雙向數據復制 DRC ZK RMQ4 內部調用路由 SOAProxy1 云端流量路由 API Router用戶流量sharding#4sharding#3sharding#1sharding#1用戶 商戶騎手流量請求流量路

198、由2 GZS API RouterAPI Router 部署在云環境中作為 HTTP API 流量入口識別歸屬 shard，并轉發到對應的 ezone兼容老的無法修改的 APIAPI Router 支持多種路由鍵APIRouter北京機房Netty NIO用戶app、商戶app、騎手appGZS ServiceHTTP Pizza兼容老APIGZS SDKRequest SchedulerRouter Filter Global Zone Service（GZS）GZS 維護著整個多活的路由表地理圍欄信息，shard 到 ezone 的歸屬信息，商鋪ID訂單ID 等路由邏輯層到的映射關系。GZ

199、S 通過在 SDK 端建立 Cache映射關系發生變化實時推送切換機房的操作也在 GZS 控制臺中完成北京機房GZS SDKGSZ SDKGZS ServiceMemory/Disk CacheAPP IDAPP IDAPP IDDALAPIRouterDRCSOA ProxyGZS ServiceGZS Service多機房同步GZS Console SOA ProxySOA Proxy 實現了對 SOA 調用的路由，執行和 API Router 相似的邏輯，但只用在機房之間進行通信的場景。業務使用 SOA Proxy 需要對代碼做一些修改，把路由信息加入到調用的上下文中。上海機房北京機房S

200、OA ProxyAPPService AService Bezone db instanceMirrorService AGZS Data Replication Center（DRC）實時雙向復制 Mysql 數據跨機房延遲在 1s 以內提供了基于時間的沖突解決方案數據變更的通知除了DRC，我們還有 ZK復制工具RMQ 復制工具Redis 復制工具Data Applyreplicator(master)Source MYSQLTarget MYSQLEventBuffer(MMAP)Mysql 復制協議RMQClient SDKRedisKafkaAggregate MYSQL Data A

201、ccess Layer（DAL）DAL 支撐了 Globa Zone 功能路由錯誤兜底，保證數據正確性寫入錯誤保護DALAPPDAL GroupJDBC APPAPPDAL GroupDB MasterSharding DBSharding DBSharding DBShardingDB Slave讀寫分離DB Slave多活過程的經驗總結多團隊協同規則需要簡單制定簡單的改造點 CheckList（7 項），明確修改范圍，才好協作層層檢查實時上報錯誤路由錯誤，數據寫入錯誤，總是不可避免，需要中間件檢查多活邏輯不要侵入業務代碼雖然需要業務改造，但一定業務代碼中不可以有多活邏輯大膽而頻繁的演練沒做好之前，處處提防出錯，做好之后，頻繁演練，發現問題不要過分追求完美無缺目前還沒有非常好的天然支持多活的開源基礎設施，接受這個事實，先做不完美的實現貼合業務需要的分區方法才是成功的真正保證貼合業務制定分區方案謝謝