AI-First Software DevelopmentScott Shaw,APAC CTO,Thoughtworks 2024 Thoughtworks|Confidential 2 2024 Thoughtworks|Confidential AI-First Software DevelopmentAI-First Software DevelopmentScott ShawAPAC Regional CTO 2024 Thoughtworks|Confidential McKinsey predicts McKinsey predicts software engineering software engineering will be the business will be the business function most function most impacted by impacted by Generative AIGenerative AI4 2024 Thoughtworks|Confidential Can we finally just Can weEngineering Platforms in PracticeScott Shaw,APAC CTO,Thoughtworks2 2024 ThoughtworksWhy are we still talking about platforms in 2024?2024 Thoughtworks“Platform Engineering provides a curated set of tools,capabilities and processes packaged for easy consumption by developers and end users.It will increase end users productivity and reduce the burden on development teams.”Gartner,2023https:/ 2024 Thoughtworks 2024 ThoughtworksIndustry-wide focus on engineering productivityNot really 2024 ThoughtAI AI 編程顛覆編程顛覆 IT IT 生產力生產力丁宇阿里云云原生應用平臺負責人 云原生應用架構演進云原生應用架構演進互聯網分布式架構微服務Serverless 架構服務化/模塊化/免運維企業級應用架構單體應用云原生技術帶來生產力飛躍云原生技術帶來生產力飛躍應用研發應用研發生命周期生命周期設計業務需求產品需求設計開發+自測集成+驗證灰度+生產發布線上運維開發交付運維企業對技術紅利的追求是無止境的程序員產能和軟件研發效率程序員產能和軟件研發效率成為企業競爭發展的瓶頸之一設計、研發側過去十多年沒有發生根本性變化,如何提效?容運用最小企業架構構建業務平臺丁杰Thoughtworks 中國區企業架構與云事業部 總監咨詢師業務平臺應該承載什么能力業務平臺應該承載什么能力、發揮什么價值發揮什么價值?令人失望的平臺令人失望的平臺“我們現在系統用得挺好的,你先讓其他部門先用吧?”“你們這次就把以前功能全部重做了一遍,還做漏了一些功能,還沒有以前好用!”“我們也在用企業架構的方法,但是知識體系非常龐大、非常重,大家常常陷入爭議難有定論?!薄拔覀冃枰罅康臅r間梳理流程、確認需求,產出很多但成果緩慢,一直這么下去我可能都不在了?!边\用企業架構的建從安全角度,看AGI到來的可能性朱雀安全 付山陽曾任:平安銀行信息安全部總經理曾任:騰訊云安全負責人曾任:yy安全通信公司技術合伙人曾任:開源網安副總裁&合伙人信息安全行業經驗19+19+年在國內外主流信息安全會議發表主旨演講11次。制定信通院安全標準和OWASP安全項目共 5 5 項申請并授予發明專利1313項 2018 年 帶領平安口袋銀行團隊獲得“亞洲銀行家中國區最佳安全項目獎”,安全性指標國內第一安全性指標國內第一 2016年,GEEKPWN黑客比賽上,全球首次全球首次遠程入侵人形機器人NAO 2019 全球安全開源組織 Owasp-區塊鏈安全 t知乎數據庫降本增效實戰代曉磊/知乎數據庫架構負責人0101 降本增效概述降本增效概述0202 常用數據庫降本增效方案常用數據庫降本增效方案0303 知乎數據庫降本增效實戰知乎數據庫降本增效實戰0404 總結和展望總結和展望01 數據庫降本增效概述01 數據庫降本增效概述01 數據庫降本增效概述02 常用數據庫降本增效方案02 常用數據庫降本增效方案02 常用數據庫降本增效方案02 常用數據庫降本增效方案02 常用數據庫降本增效方案02 常用數據庫降本增效方案03 知乎數據庫降本增效實戰03 知乎數據庫降本增效實戰03 知乎數據庫降本增效實戰 實例備份策全鏈路監控在根因分析和業務監控中的應用群核科技(酷家樂)云原生觀測與SRE技術專家/何碧宏何碧宏何碧宏 目前為群核科技(酷家樂)云原生觀測與SRE團隊負責人、技術專家,穩定性委員會成員,參與 SRE、公司SaaS系統穩定性保障工作。此前在諾基亞工作十年,參與過諾基亞DevOps平臺的架構和搭建。講師介紹演講提綱群核科技(酷家樂)SaaS系統及云原生觀測系統(Tetris)簡介全鏈路系統監控Why-大型微服務系統遇到的問題How-基于調用鏈與圖數據庫構建實時全鏈路系統監控全鏈路系統監控在警報風暴根因分析、全鏈路優化、變更影響分析中的應用彈性可伸縮海量工作流引擎建設實踐騰訊 架構師/葉彬目錄背景工作流引擎技術選型高可用架構落地實踐落地場景與取得效果下一步計劃與思考一、背景什么是工作流即工作流程的計算模型,為完成一個業務目標,所需要經歷的一系列步驟,通常用流程圖來表示日志下載規則加載規則匹配開始結束(業界通常用BPMN流程圖來描述一個工作流)示例:服務器硬件故障自動診斷流程,日志下載 規則庫加載 策略匹配非工作流模式下系統實現class LogsLoadTask void handle()doLogsLoad();rulesLoadTask.handle();非工作流模式下,原始需求:日志下載 規則庫加載 大模型在融合通信中的應用實踐網易云信 周梁偉關于我們AI 內容檢測智能風控實名核驗安全加固安全咨詢服務即時通訊視頻云短信輕舟微服務輕舟中間件七魚智能客服智能洞察私域增長數據開發與治理平臺有數BI大數據基礎平臺指標平臺ChatBI全棧低代碼開發平臺智能開發助理軟件資產市場融合網易二十余年數字化與智能化技術積累和經驗沉淀,面向娛樂、社交、零售、金融以及游戲等行業,提供數字內容風控、融合通信和云原生 PaaS、服務營銷一體化、全鏈路數據開發治理及分析、應用智能開發等解決方案,已累計服務超過百萬家企業客戶。目錄01 云信Pa字節跳動觀測智能化之路服務端觀測平臺負責人/孔羅星Dev Infra-APM/服務端觀測平臺負責人個人&團隊介紹13年APM領域經驗,21年加入字節后開始負責服務端觀測平臺團隊面向整個字節內部開發者提供觀測平臺,與多個團隊協同構建Metrics/Traces/Logs/Events等數據埋點&加工鏈路&存儲,并基于此提供一站式的監控、報警、日志、鏈路追蹤、根因分析等產品化能力What、Why服務端一站式智能觀測平臺業務和架構配合團隊KitexHertzJet RPCMesh日常排障、性能分析架構治理優化穩定性、容災、大促成本優化服務場景APM as a Service微服務/基網易云音樂智能監控探索與實踐網易云音樂/宋東輝 浙江大學碩士畢業之后,加入支付寶,參與螞蟻端穩定性 Sapienz 項目建設,數字內容治理項目核心成員,雙12大促主要質量負責人之一。2021年加入網易云音樂,負責云音樂大數據質量和效能建設,發起并牽頭多方共建DataOps項目和智能監控項目。網易云音樂/宋東輝資深測試開發工程師目目 錄錄Contents1 1、背景簡介背景簡介2 2、方案介紹、方案介紹3 3、落地效果、落地效果4 4、未來展望、未來展望1 1、背景簡介、背景簡介1.11.1、云音樂大數據治理現狀、云音樂大數據治理現狀大數據的框架大數vivo日活千萬級的活動平臺設計之道vivo互聯網架構師/康雄01 平臺介紹02 架構演進03 多業務中心04 AI探索落地05 未來展望目錄CONTENS以SaaS+PaaS服務 、能同時支撐五大用戶群(廣告主、線下、游戲CP、線上運營、中小企業)的綜合運營平臺廣告營銷智慧零售vivo開發者APP運營活動企業客戶為200+游戲CP提供平臺支撐代理線下運營支撐公司各大APP運營為廣告提供創意工具為外部企業提供能力接入vivo活動平臺業務概覽業務體量3500W+PV全年活動場次2W+全年搭建H5頁面12W+平臺用戶4000+產品形態產品形態活動樣例領券類領券類答題類答題類抽獎類抽獎成本優先的技術架構Shopee海量商品系統的治理挑戰和應對之策/張俊杰關于我關于我 目前負責商品系統商品系統后端研發的工作張俊杰張俊杰 2019年加入Shopee 減肥并不難減肥并不難,關鍵在于找到關鍵在于找到正確的方法并實踐正確的方法并實踐。減肥是一個持續的過程減肥是一個持續的過程,我們可以我們可以借鑒他人借鑒他人的經驗的經驗,避免走彎路避免走彎路,并增強信心并增強信心。目錄目錄1 海量商品系統的海量商品系統的背景和背景和挑戰挑戰2 海量商品系統的應對海量商品系統的應對-緩存篇緩存篇3 海量商品系統的應對海量商品系統的高彈性、高性能SMS網關突變流量應對實戰阿里云 云通信架構師/張松然困知勉行 出自論語2011年加入京東,2019年進入阿里云,一直工作在網關實時通信方向,先后負責過 APP、SMS 網關的開發,專注于云原生高可用架構演進,目前擔任融合通信方向的架構師。目錄目錄0101 SMSSMS通信的不斷演變通信的不斷演變0202 架構重塑架構重塑0303 性能之巔性能之巔0404 未來展望未來展望PartPart 1.1.SMSSMS通信的不斷演變通信的不斷演變挑戰:突變流量如何確認SMS網關穩定高效?SMS短信網關是通信網絡中負責收發短信的核心系統5 5萬級萬級并發量大并發量大K8s上的數據庫私有云之旅:KubeBlocks架構設計與實踐曹偉丨 云猿生數據創始人/CEO前阿里云數據庫總經理(研究員),阿里云RDS的架構師,云原生數據庫PolarDB創始人。中國計算機學會數據庫專委會、開源專委會執行專委,獲得 2020 年中國電子學會科技進步一等獎,在 SIGMOD、VLDB、ICDE、FAST、USENIX ATC 等數據庫與存儲國際頂級學術會議發表論文 20 余篇。云猿生數據創始人/CEO演講者:曹偉內容大綱 公共云公共云、私有云私有云,K8sK8s和數據庫的和數據庫的演進演進趨勢趨勢 數據庫私有云平臺案例數據庫私有云平臺案例 dbPaaSdbPaaS的挑大模型時代數據庫技術創新自我介紹個人著作大數據架構詳解獲得 2017 電子工業出版社優秀作者獎公眾號大數據和云計算技術百度智能云數據庫產品總架構師數據庫與大模型01DB4AI:向量數據庫02AI4DB:數據庫運維應用03目 錄4數據庫與大模型數據庫行業發展史概覽基礎設施應用場景數據庫1950s大型機1970s小型機1990sPC機+局域網2000s數據中心+互聯網2015云+端+4G2023GPU+AI國防科學研究大型商業應用企業信息化ERP/CRM/財務企業BI個人辦公個人娛樂媒體搜索電子商務社交新媒體移動App云計算物聯網在線辦公、教育娛樂、短視頻AI原生應用JasperMidjo 2024 富士康科技集團 著作權所有。集團智慧制造轉型之路集團智慧制造轉型之路52521 1/1/2 2/5252 2024 富士康科技集團 著作權所有。目錄目錄52523 3/1.1.集團簡介集團簡介2.2.集團智造轉型的戰略及目標集團智造轉型的戰略及目標3.3.集團集團智造轉型的挑戰及解決之道智造轉型的挑戰及解決之道4.4.共同引領智慧制造新航向共同引領智慧制造新航向3/2024 富士康科技集團 著作權所有。攜攜手手 全球標竿客全球標竿客戶戶 共同創共同創造造 全方位智慧生活全方位智慧生活長長 期期穩穩 定定發發 展展 科科 技技國國 際際愿景及宗旨愿景及宗旨4eBay Risk Real Time Feature StoreJie LiSenior ManagereBay Payments&RiskRisk RulesBLOCKDO NOTHINGREMEDYRisk CheckAI Models(Tree+DNN)Sync/AsyncAI ModelTrainingAI Model SimulationRisk Rule SimulationAI ModelReal Time InferenceAI Model Batch InferenceRisk Rule Real Time InferenceOnlineOfflineeBay Risk Real TimeFeature StoreAgendaRequirements from AI ModelsRequirements from Risk RulesTechnical HighlightsRequirements from AI ModelsPoint in Time Value Generation for New Features(Offline)Low Latency電子簽章技術在實現數字化轉型與綠色發展目標中的關鍵作用法大大產品研發中心總經理/李琳 21年軟件研發與團隊管理工作經歷,涉及通信、互聯網、企業SaaS等多個領域,在互聯網技術架構、網絡安全、CA與電子簽名等方面有豐富的實戰經驗法大大產品研發中心總經理/李琳 安全高效的電子合同智能簽管平臺數據來源:數據來源:IDCIDC中國電子簽約軟件市場份額報告中國電子簽約軟件市場份額報告行業份額NO.1標桿企業客戶超4000家日均簽章調用超2000萬次超87億份法大大簡介 法大大是安全高效的電子合同智能簽管平臺,致力為企業、政府和個人提供基如何穩定高效地利用 k8s 集群資源Shopee 云原生技術專家/李鶴我們是誰東南亞,臺灣,巴西領先的電子商務平臺我們是誰Google Play所有購物 App 中用戶總花費時間第一所有購物 App 中平均月活第二所有 App 中最佳品牌第五強大的品牌認知度,持續增長個人簡介kubernetes,karmada member2016 今,since v1.4集群管理,編排調度,資源利用率優化GithubID:likakuli訂閱號:云原生散修blog:https:/內容簡介數據驅動能力增強差異化混部彈性伸縮01020304浪費量化風險量化Insight Store調度重調度基于時區混部差異化SLO混部資源預測CAHPAKubernetes Copyright 版權所有 華院 華院認知智能引擎平臺華院認知智能引擎平臺落地實踐落地實踐3ConfidentialCopyright UniDT.com賦能企業數字化、智能化華院使命華院使命讓世界更智慧華院愿景華院愿景華院計算技術(上海)股份有限公司(簡稱“華院計算”),成立于2002年,是中國認知智能技術的開拓者。公司以算法研究、算法創新和算法應用為以算法研究、算法創新和算法應用為核心核心:基于數學應用與計算技術發展,聚焦認知智能技術、創新自研底層算法;聚焦認知智能技術、創新自研底層算法;基于認知智能引擎平臺的場景應用,為智能制造、社會zlinzlin(林兆祥)騰訊云CLS日志引擎研發負責人 T13工程師2024-06-14降本九成降本九成,提效十倍提效十倍 統一資源池重塑統一資源池重塑CLS規模紅利規模紅利1.百PB規模日志業務挑戰及應對成本、檢索、分析:三大核心能力10倍級提升2.統一資源池重塑云服務規模紅利降本九成:IO資源池優化成本近90%提效十倍:算力資源池提升分析能力數十倍技術路線討論:統一資源池 VS 超大規模集群 VS 彈性擴縮容3.方法論:數據驅動理論模型優化法探索優化理論邊界,CLS連續實現10倍級優化的底層邏輯目錄1.百百PB規模日志業務挑戰及應對規模日志業務挑戰及大模型加速走向真運營安恒信息/梁浩目錄目錄Content安全運營的現狀分析0101大模型如何改變安全運營現狀0202大模型應用效果總結0303安全運營的現狀分析01安全運營普遍需求落實網絡安全監測預警和通報制度,建立健全網絡安全風險評估和應急機制,有效識別和消除安全隱患,落實管理和技術舉措,保障安全策略動態有效性、滿足安全合規需求。識別、評估和管理所面臨的安全風險,并采取必要的措施并采取必要的措施來降低風險。通過網絡安全運維,防范各種網絡安全威脅,確保網絡的安全性和可用性,使網絡系統的安全性得到持續維護和提升。在一些江 螞蟻集團 2024/06Lowcode x AI云鳳蝶的思考與實踐綱.AI 對 Lowcode 業的沖擊.業界變化趨勢洞察三.云鳳蝶產品與技術實踐四.總結與展望AI 輔助編程速發展對話式應成百花放編輯態+AI=輔助提效運時+AI=?垂直業務+AI=?運時+AI=?垂直業務+AI=?提示詞程微調multi agentRAGCursor:AI 輔助編程CodeRabbit/Ellipsis:AI 代碼 reviewAI 輔助編程速發展、AI 對 LowCode 業的沖擊Devin/SWE-agent:AI 程序員清華開源 ChatDev:AI 游戲公司、AI 對 LowCode 業的沖擊V0:對話式前端成marblism:對話式全棧應成(React/NodeJS)galileo:對話式設計稿成對話3+1,全方位打造 AI 時代最受企業歡迎的超級員工沈斌沈斌 眾安銀行首席架構師個人簡介個人簡介眾安銀行首席架構師,兼技術委員會主席眾安銀行首席架構師,兼技術委員會主席,超過 15 年互聯網從業經驗,長期從事架構和技術管理工作,擅長領域包括人工智能企業應用、微服務架構、敏捷流程實踐等。曾就職于 eBay,以及國內知名互聯網醫療獨角獸公司。MJuSDMJuSDMJuSDMJuSDMAbout ZAStrengthening of digital finance product suiteJan 22SFC Type 1(Dealing in Securities)license obtainedMar 20Official launch ofMay 20HK Digital Life I引擎veRTC場景下可云邊通信實踐字節跳動/游望秋綱veRTC云邊協同場景 veRTC云邊協同的特點和挑戰 veRTC可云邊通信架構介紹veRTC業務場景直播連視頻會議互動課堂游戲語云游戲物聯veRTCReal Time Communication實時視頻特點全球范圍內的實時視頻互動veRTC全球化架構全球實時視頻云1.邊緣全球下沉,戶就近接2.全球實時流媒體傳輸3.全球實時信令傳輸4.邊緣計算,云邊協同1.戶就近接,進推流4.戶就近接邊緣從云端獲取流信息,進拉流2.業務邏輯邊緣本地處理3.信令數據從邊同步到云端在云端進全球同步5.媒體流傳輸邊緣服務器云端數據中邊緣就近接大模型時代的工業質檢方法論騰訊云工業質檢產品負責人 王剛 2024.06初心:騰訊優圖的AI積累,如何在工業視覺場景產生價值?15+行業解決方案90+騰訊明星產品業務線接入1000+全球專利30億+次/天 日均服務調用量專注人臉人體、工業AI、圖像識別、OCR等視覺AI領域的前沿研究和落地應用2014年11月2020年12月2015年4月2017年3月2017年3月2017年4月2017年8月2018年4月2018年10月2019年9月2020年5月2021年1月上海市科技進步二等獎開源移動端推理框架TNN時序動作分析DBG算法在ActivityNet上獲得世界第一在國際權威人臉檢測數據集Wider Face、FDDB上億級流量挑戰下的高可用架構設計與實踐億級流量挑戰下的高可用架構設計與實踐攜程門票攜程門票目錄目錄01.系統概述系統概述02.營銷活動的特點營銷活動的特點03.交易系統在大流量下的架構應對策略交易系統在大流量下的架構應對策略04.如何讓高可用具備如何讓高可用具備“可持續性可持續性”?05.總結總結背景|設計原則|目標及范圍熟知的大流量場景穩|準|快|海外訪問性能優化架構健康度治理|穩定性保障體系參與過的大流量場景參與過的大流量場景系統概述系統概述秒殺秒殺/活動活動搶菜疫情疫情 搶菜搶菜雙雙1111門票門票/演唱會演唱會節假日寧德核電基于大模型的AI講師開發實踐人工智能實驗室負責人/王澍1、不是供應商;2、不能現場演示;3、不是計算機背景。為什么這么做?為什么沒成功?目錄以GPT為代表人工智能技術,可以為核電做什么?核電這樣復雜成熟保守的領域,如何引入大模型?核電從業者AIGC基礎薄弱,如何迎接挑戰?1.以GPT為代表人工智能技術,可以為核電做什么?大模型開發與應用實踐寬泛地說:1、“替”人們做曾經做過的事。2、“幫”人們做之前做不了的事。具體說呢:?本著第一性原理來思考這件事 在探索和解決問題時回歸到最基本、不可簡化的事實,鼓勵從零思模型融付類企業ToC應探索與落地平安壹錢包 王良OPEN AI chatGPTWhats APPinstagramTikTok電話機TwitterChat GPT2個9個2.5年3.5年5.5年16年75 年100000000+2個戶破億80%到 2026 年,接成式 AI 或模型的企業前期調研確定未來AI模型未來的前景是明確的AI必然會重構世界確定現在要想不掉隊就必須現在進不確定落地選擇什么場景?解決什么需求?降本增效還是擴收益?什么技術?開源閉源?。找落地場景找落地場景的思路從最熟悉的領域讓AI學習最優秀員的能,再讓它輔助其他員,實現降本增效“本”進 “本”出不要求全,將任務拆解,先解決任務,大模型場景下智算平臺的設計與優化實踐肖松2024.06.14不同時期對智算平臺的需求2引言客戶客戶B B我的模型跑起來耗時長,能加速嗎?我的模型跑起來耗時長,能加速嗎?客戶客戶A A我資源比較少,幾十卡的規模,如何提升卡的利用率?我資源比較少,幾十卡的規模,如何提升卡的利用率?客戶客戶C C我想跑大模型,需要多少資源?網絡如何構建?多長時間能跑完?我想跑大模型,需要多少資源?網絡如何構建?多長時間能跑完?客戶客戶D D國產卡怎么用?能否與國產卡怎么用?能否與 NVNV 卡一起使用?卡一起使用?20182024目錄0101大模型時代,智 2024 Thoughtworks 大模型時代的AI能力工程化肖然肖然 ArchSummit 2024 2024 Thoughtworks|Confidential 2 2024 Thoughtworks 3李開復在2023年3月19日發布Project AI 2.0時談到AI 1.0和AI 2.0的關鍵變化Source:量子位AI應用的成本越低,AI應用的范圍越大AI 進入2.0時代當具備跨領域知識的基礎模型出現之后,微調適應不同領域任務的AI模型的成本極低海量數據標注海量數據標注VSVS自監督學習自監督學習單一領域任務單一領域任務VSVS基礎模型基礎模型(跨領域知識的跨領域知識的)高成本模型訓練高成本模型訓練VSVS低成本模型微調低成本模飛槳框架技術創新之路百度杰出架構師/胡曉光目錄動靜統一自動并行飛槳框架關鍵技術飛槳框架總體設計飛槳框架總體設計人工智能技術棧模型層模型層框架層框架層芯片層芯片層應用層應用層New Bing百度新搜索MidjourneyChatGPTGeminiTPU深度學習框架核心功能易用的開發接口 數據抽象:Tensor 操作抽象:Operator Python,Numpy 避免了解硬件底層開發接口,如Cuda C,cuDNN,cuBlas等自動微分功能 只需要寫神經網絡的前向,通過鏈式法則自動計算Loss關于參數的梯度 高階自動微分 前向自動微分多硬件 隔離硬件差異,如Cuda C,oneAPI,XTDK,BangC等分布式Data Warebase-加速企業數據智能化ProtonBase 技術VP/胡月軍目錄0101 /企業數字化背景和趨勢企業數字化背景和趨勢0202 /Why Data Warebase?/Why Data Warebase?0303 /Data/Data WarebaseWarebase 系統架構系統架構0404 /Data Warebase/Data Warebase 關鍵技術關鍵技術05/05/企業私域數據智能化探索企業私域數據智能化探索企業數據資產的DIKW模型用于預測、決策并符合價值觀的知識智慧智慧有上下文、可被解釋的信息知識知識建模后的數據信息信息基本經營的數字化表征數據數據結結構構化化技術實現價值挖掘抽抽象象數據處理歷程智能化無極低代碼 UI可視化的 AIGC落地與實踐苑宗鶴 騰訊高級前端開發工程師介紹無極低代碼介紹無極低代碼大家眼中的低代碼可視化方式拖拽一些PC應用疑問:能做多復雜的系統?只用可視化拖拽夠用嗎?應用展示應用展示ERPERP進存銷系統進存銷系統 進貨、庫存和銷售管理系統 配套訂單跟蹤、采購流程設計、審批流程、復雜報表分析等應用展示應用展示開放平臺開放平臺/禮包配置禮包配置 一個開放平臺,提供給用戶管理、運營APP應用的渠道內容 例如:活動、禮包、禮券等,并提供對應的數據看板,展示渠道活動的運營數據應用展示應用展示APPAPP頁卡運空白演示Lorem ipsum dolor sit amet,consectetur adipisicing elit.騰訊騰訊AngelPTMAngelPTM大模型訓練框架優化與實踐大模型訓練框架優化與實踐支撐混元大模型訓練的訓練框架支撐混元大模型訓練的訓練框架薛金寶薛金寶2022024 4.6 631 1大模型發展趨勢和訓練面臨的挑戰大模型成為人工智能發展的重要方向大模型成為人工智能發展的重要方向模型參數規模指數級增長生成式大模型突飛猛進,5年時間,模型參數規模增長100萬倍,達到萬億量級Scaling Law1:數據越多、模型越大,模型學習能力越強,模型效果越好1OpenAI“Scaling Laws for Neura騰訊云安燈AI大模型應用實踐與探索許小川騰訊云安燈什么是騰訊云安燈什么是騰訊云安燈基于ITIL4SaaS源自精益思想豐田生成方式助力企業數字化轉型引用來源:互聯網;axelos官網已構建 騰訊云 x 伙伴 x 客戶 的“協作網絡”什么是騰訊云安燈什么是騰訊云安燈什么是騰訊云安燈什么是騰訊云安燈核心模塊業務流程管理BPMITSMITOMFSM數據可視管理離線分析在線分析BI看板AI應用提效Chatbot客情感知共性識別知識管理.全渠道接入企業微信內部服務號SlackTGWebWebIM熱線.項目實施管理客戶支持管理內部協作管理現場調度管理研發過程管理業務場景舉例B站容器平臺混部和容量管理實踐B站資深開發/許龍大綱各類混部場景的實踐方案CPU在離線混部:在線+轉碼、在線+大數據CPU潮汐混部:推搜+大數據GPU常態混部:推理+轉碼GPU潮汐混部:推理+訓練容量管理的實踐方案彈性伸縮:VPA和HPA合池:quota管理、算力標準化容量運營與可視化服務器網絡存儲自建IDC云主機云專線云存儲公有云容器運行時鏡像倉庫k8s組件CNI/CSI資源調度混部框架集群管理容量管理發布平臺機器學習平臺邊緣計算平臺批處理平臺主站在線業務直播廣告電商視頻轉碼離線業務AI訓練大數據容器引擎層業務層平臺層基礎設施層CPU核數:大模型增強下的圖智能在金融場景的應用Fabarta圖智能解決方案架構師/賈志鵬目錄圖智能技術在金融領域典型應用圖智能技術當前遇到的挑戰如何結合大模型技術和圖智能技術應對挑戰案例分享圖智能技術圖智能技術一圖觀萬物,一圖勝千言一圖觀萬物,一圖勝千言什么是圖?基于圖論以點 (實體)和邊 (關系)描述現實世界中個體和個體之間網絡關系的數據結構。有哪些圖技術?圖數據庫、圖計算引擎、圖可視化、圖分析什么是圖數據庫?圖數據庫是基于實體和關系建模的數據庫系統。以點、邊為基礎存儲單元,以高效存儲、查詢圖數據為第一設計原理的數據XAIAI 時代時代 架構先行架構先行趙鈺瑩趙鈺瑩InfoQ 極客傳媒 副總經理XXXXXXXXXAIGCAIGC 學習地圖學習地圖&AI AI 大模型技能圖譜大模型技能圖譜AIAIG GC C 學學習習地地圖圖XX企業企業 AIGC AIGC 應用程度測評應用程度測評 特別支持:XX企業企業 AIGC AIGC 人才領先的解決方案飛輪人才領先的解決方案飛輪基于人才糧倉模型以及企業 AIGC 成熟度自測結果,極客時間面向企業內 AI 各層級人才,推出了“企業 AIGC 人才領先的解決方案”XXAIGC AIGC 人才能力建設學習地圖人才能力建設學習地圖下載學習地圖XXAIGC AIGC 人才能力建設學習地降本增效利器:快手 CPU&GPU 超大規模在離線混部落地實踐快手/容器云技術中心/辛文背景與趨勢1 背景與挑戰2 利用提升最佳實踐CPU混部篇3 利用率提升最佳實踐GPU混部篇4 未來規劃及展望目錄頁Contents在離線混部架構搭建CPU在離線混部 CPU潮汐混部計量計費2019202020192020GPU虛擬化與GPU混部AI訓練與潮汐混部隔離能力提升20212021 20222022擴量與精細化快手混部生態發展歷程快手混部生態發展歷程資源合池多場景統一調度全局彈性能力擴量服務畫像及AI資源預測20232023 后續后續全局資源效率混部生態啟動 快速發展的業務:給資源供給帶爆發式增長業務的高可用架構優化之路鄧學祥目錄目錄Contents0 01 1爆發式增長業務的穩定性挑戰0 02 2爆發式增長業務的穩定性應對之道0 04 4降爆炸半徑自研Service Mesh實現去中心化網關0 03 3異地多活交易單元化技術架構爆發式增長業務的穩定性挑戰0 01 1主題主題SUBJECT中間件及基礎設施龐大Infrastructure 規模大中間件復雜業務架構復雜X因素多業務子系統多下游二方/三方依賴多變更引發的故障非變更引發的故障穩定性挑戰 業務系統神龍架構盤古存儲AliOs洛神網絡調度日志服務容災監控服務分布式數據庫HSFTairMetaq容器基礎設施云資源云操此圖片為AI生成2About me 鄭巖,from 華為云BP&IT團隊山東人深圳4年SAP,9年華為華為云數智使能團隊負責人AI+知識 +數據+TA終身學習者通過本次分享,你可以了解到:華為云客服AI“養成之路”華為云客服AI落地過程中,遇到的“三道坎”及解題方法在企業中應用AI大模型的“避坑指南”目錄1.探路篇:華為云客服AI助手工作復盤2.避坑篇:在企業內部應用AI大模型的思考5華為云客服業務背景:最重要的客戶觸點之一,如何持續提升用戶體驗和問題閉環效率?官網智能客服客戶客服坐席SRE1.坐席專員流失率高,經驗沉淀困難2.業務復雜、變化快,輕量級大語言模型與AI安全極安云(深圳)科技有限公司鄭明AI技術新浪潮:大模型的崛起與挑戰巨大的計算資源和能源消耗復雜性對抗性攻擊挑挑戰輕量級大語言模型:AI安全領域的新動力第一時間內識別潛在的安全威脅更好地理解能力、更精準靈活性和可擴展性132輕量級大語言模型:是AI領域的一個創新方向核心特性:高效性和靈活性技術手段的革新:模型壓縮技術、量化技術、剪枝技術、知識蒸餾輕量級大語言模型:定義、特性與技術革新輕量級大語言模型:發展歷史與技術突破減少參數量模型壓縮量化技術剪枝技術知識蒸餾123入侵檢測異常檢測與早期EventMesh Function:面向事件流處理的Serverless新火花微眾銀行 陳廣勝01020304050607事件分類事件分類市場和客戶反饋事件市場和客戶反饋事件金融行業金融行業:市場數據更新、價格波動通知。零售行業零售行業:客戶反饋、促銷活動反饋。制造行業制造行業:供應商交貨、原材料庫存更新。安全和合規事安全和合規事件件醫療行業醫療行業:安全報警、記錄更新。教育行業教育行業:校園安全報警、進出記錄。制造行業制造行業:質量檢測結果、合格和不合格產品標記。智能家居智能家居:安全報警、環境監測。預約和排程事件預約和排程事件醫療微眾銀行大模型助效研發實踐AI為主角、人為助手的協作模式微眾銀行:黃葉飛目錄目錄研發流程面臨的主要問題研發流程面臨的主要問題大模型在研發效能上的初步探索大模型在研發效能上的初步探索大模型輔助研發遇到的困難大模型輔助研發遇到的困難Agent離不開的離不開的RAGMulti-Agents實現研發流程提效實現研發流程提效讓讓AI成為主角的人機交互方式成為主角的人機交互方式研發流程面臨的主要問題研發流程面臨的主要問題?銀行內部研發效率主要體現在其復雜性上:人員、產品、監管事情應接不暇復雜復雜復雜復雜內部研發效率主要體現在其復雜天翼云云網產品事業部研發專家 黃堅大規模智算集群的管理與性能調優實踐演講嘉賓介紹研發方向:研發方向:云原生、AI算力基礎設施重點關注:重點關注:AI智算平臺研發工作大規模智算集群的性能診斷和調優國產算力生態適配黃堅 天翼云研發專家目錄大規模智算集群的痛點問題運維及管理實戰思路和方案云驍智算平臺及落地實踐智算平臺未來展望目錄大規模智算集群的痛點問題大規模智算集群的痛點問題運維及管理實戰思路和方案云驍智算平臺及落地實踐智算平臺未來展望大模型分布式訓練Ref:Megatron-LM:Training Multi-Billion Parameter LanguagAI浪潮下架構師的4個關鍵可遷移技能及提升技巧阿里云 CIO產品線 首席架構師/黃永法我的職業經歷與觀察我的職業經歷與觀察7年技術架構師業務架構師至今5年產品解決方案架構師(Specialist)7年解決方案架構師(Presale)我的觀察:那些優秀的架構師往往具備很突出的可遷移技能。The LinkedIn research clearly points out that while hiring managers always look for technical skills and job experience,it is the soft skills that drive success.92%of respondents say soft skills are more important than technical skill。(5,165 破局破局 升維升維 革新革新大大模型時代的數字員工模型時代的數字員工重塑業務流程、知識體系和組織范式重塑業務流程、知識體系和組織范式/科大訊飛科大訊飛 黃鵬黃鵬自我介紹(自我介紹(About MeAbout Me)AIAI技術賦能的思考者和實踐者。希望讓技術賦能的思考者和實踐者。希望讓AIAI如水般智慧,善利萬物,賦能千行百業。如水般智慧,善利萬物,賦能千行百業??拼笥嶏w科大訊飛 企業數字化業務群研發部總監企業數字化業務群研發部總監 黃鵬黃鵬先后參與并主導開發推薦系統、企業級大數先后參與并主導開發推薦系統、企業級大數據平臺和