1、基于云原生的測試左移技術實踐 儲培七牛云 儲培 七牛云云存儲質量保障負責人 / 測試開發專家 / 開源參與者 專注質量保障,工程效能提升,云原生持續交付等領域 Email: 關于我 不一樣的測試左移 細看提測&打回這件事 測試左移技術實踐 基于PR的全量集測回歸 基于PR的增量覆蓋率精準分析 基于PR的受影響服務精準反饋 敏捷的長時間穩定性測試 擁抱開源 Agenda 不一樣的測試左移 從點狀問題出發,看七牛云業務效率的同學如何做升維,落地一個不一樣的測試左移 細看提測&打回這件事 0201 提測/打回 測試測試 手動修改服務配置 部署服務并自動回。
2、測試團隊 提效之戰 喬 梁 一個測試團隊的發展歷程 持續交付2.0 20112019 2001 200 : 3 2010 EP1.0 谷歌軟件測試之道& Google Testing Blog & mike-bland Blog Engineering Productivity at Google | https:/ 2013 EP2.0 SETI 2016 30000? : 2100 201720062007 SET TE QA 2005 1000 : 50+ TS Testing Google 測試工程師 TE 軟件測試開發工程師 SWE 軟件測試開發工程師 SET 更加關注于質量的提升 測試覆蓋率的增加 寫代碼的目的是可以讓 SWE 測試自己的功能。 增加功能、提高性能 產品專家、質量顧問、風險分析師 有的TE需要編寫大量的代碼。
3、阿里巴巴全球化測試技術分享 王彬 胡君園 AliExpress 業務 AE業務始于全球化框架, 目前覆蓋全球200+個國家和1億+買家 全球化測試痛點&挑戰 全球化測試痛點&挑戰 本地化測試環境 語種多 鏈路長 多語言 本地網絡 風俗習慣 體驗 國家分布廣 機型碎片化 全球機型 適配 18個語種 場景多 復雜200+ 國家 25000+ 機型 多國家/多網絡/多語言/多幣種/多時區 適配復雜 工作量大 成本高、難度大 多機房 預發環境瓶頸 灰度發布 研發環境 多機房發布互不影響 環境復雜 全球化適配 1340(80%全球用戶) VS 150(80%國內用戶) 3000+3000+25000+25000+ 100+100。
4、流量回放在酷家樂的演進歷程 肖昌奔-酷家樂 廠商: 在面臨系統重構、拆分、中臺化時,如何有效高效的進行回歸測試 是個很大的難點 。 基于這點,我們結合了公司內部的一些資源平臺,實踐了一套流量回放的體系, 已經在多條業務線有較好的實踐。 PREFACE 前言 廠商: CONTENT 0101 背景 0202 演進歷程 0 03 3 總結展望 酷家樂架構 廠商: 服務粒度細化 中臺化趨勢 前后端分離 系統重構如何快速回歸? 1 2 3 4 5 如何高效率的進行有效測試? 。 如何提高提測質量?最好讓開發自測,測試不介入測試 如何盡可能廣的覆蓋測試范圍? 廠商: 挑戰。
5、技術創新驅動質效合一 PerfMa-楊靖 目錄 01 02 03 跳出質量看質量本質 打破常規,跳出井口,會發現天空有那么大 新一代質量效能平臺如何為提質增效破局 組織形式與技術能力上的創新,如何從傳統質測中突圍,為提質增效破局 創新實踐與成效 分享各行業在質量保障領域的技術創新帶來的業務價值 江湖傳說“靈魂三問”: 1.為什么這個 Bug 測不出來? 2.測試怎么測的,到底會不會測? 3.測試快點??!為什么總是測試拖后腿,最后才報 Bug? 從穩定性視角看質量 各行業已從信息化時代轉向數字化時代,意味著所有技術都將面向用戶編程,為不斷滿。
6、從0到1,機器學習產品的精益質量 艾輝 機器學習測試入門與實踐作者 1.機器學習基礎知識的概述 2.機器學習產品的測試痛點 3.機器學習測試方法的演進 4.機器學習測試技術的實踐 5.測試開發技術的轉型升級 CONTENTS 1.1 AI的主要應用場景 1.2 機器學習的常見名詞解釋(一) 過擬合:一味追求對訓練數據的預測 能力,模型復雜度高于真實模型,泛 化能力差。 欠擬合:模型沒有很好的捕捉到數 據特征,不能很好的擬合數據。 模型:抽象數據,描述客觀世界規律的數學模型。 通過數據分析,找到了其中規律,此規律即是模型。 訓練:從數據中分析得。
7、騰訊WeTest測試中臺構建 張得俊 騰訊WeTest后臺技術負責人 目錄 目錄 CONTENTS 01WeTest測試中臺概覽 02中臺構建過程 03如何構建穩定的環境支撐 04如何用PaaS應對海量的需求 健康碼遠程會議口罩預約 100+100萬+次 遠程測試戰疫政務和醫療小程序 1萬倍承載提升 口罩預約 廠商 WeTest DevOps測試中臺架構 DevOps自動化測試中臺能力 流水線集成 支持藍盾、Gaia、Jenkins 等主 流CI/CD平臺接入Pipeline。 提供開放化插件/工具鏈快速集成 應用。 中臺內獨立完成測試流水線串聯 自動化測試和監控 支持各種常用編程語言的自動化測試;單 元測試、。
8、手淘AIOps實戰-消息全鏈路智能監控 阿里巴巴-董福銘(吾銘)、黃?。ǘ苟梗?手淘消息業務場景、系統架構 手淘消息全鏈路穩定性保障 異常檢測在全鏈路體系實踐經驗 Holmes異常檢測平臺 未來展望 Q&A 目錄 電商消息業務場景 場景:社交互動、 客服溝通、交易提醒、優惠通知、品牌資訊 標:打造新零售業務商業連接,幫助消費者進消費決策 目錄 電商消息業務場景 消息鏈路面臨問題 全鏈路質量保障 全鏈路排查 打造手淘消息全鏈路智能監控排查系統,賦能消息及上 層業務,實現業務指標實時監控、輿情智能分析、端到 端全鏈路自動排查,有效縮短。
9、AI技術在小程序生態質量保障方向的 落地實踐 許喆俊 自我介紹 百度資深測試開發工程師 小程序生態質量保障體系的項目落地 部分核心算法的研究與開發 百度小程序生態質量保障體系建設背景 小程序業務特點 數量多 QAQA扮演角色 n 在快速迭代的節奏下,保障小程序開源框架的質量 n 內部業務線的自研小程序進行智能交付能力建設 宿主多分發場景多 對內對外 n 保障線上小程序整體質量,降低線上紅線問題 n 參與小程序權益等級建設,為小程序分發助力 百度小程序生態質量保障體系全景圖 保障百度小程序整體生態質量 開源聯盟宿主準入開發者質效。
10、會及 TesterHome 社區介紹 組委會及社區代表 陳恒捷 累計參會者累計參與企業累計分享議題 MTSC會 200+1000+1W+ 參會者 講師正式議題 本屆會 55601000+ MTSC深圳站第年 收到議題 84 議題增加100%,會場擴倍,只為更多能起交流學習 會主辦 由群軟件測試程師利業余時間義務維護的技術社區 前國內最的測試技術交流社區,也是最具 Geek 范的測試精英公益社區。 社區管理團隊 全員業余償參與,靠的是中的熱和家的持 各地沙組織者 在家的幫助下,線下沙得以遍地開花 活躍戶 0 4000 8000 12000 16000 2017201820192020 注冊戶:5萬+ 公眾號:3.3萬。
11、質量團隊升級三步走 學而思網校 - 李寧 質量團隊升級指的是什么 測試質量難以保證 作為下游持續承壓 團隊協作缺少話語權 線上問題的背鍋俠 困境目標 前瞻性規劃人員能力提升工具平臺建設 不浮于表面的測試深入 交付全過程質量把控 持續推動過程改進 全面掌控線上質量 三步走戰略 乙方甲方 第一步:前瞻性規劃 常見 問題 明確 目標 保障 落地 前瞻性 規劃 目標不清 目光短視 閉門造車 當前問題 行業趨勢 未來愿景 應對長期挑戰 避免重復建設 加速團隊成長 多學多看 量體裁衣 量力而行 識別質量體系九大能力域 度量體系 l 指標定義 l 數據采。
12、解放客戶端UI兼容性測試雙手的利器 Hydra 趙磊 Hydra的象征意義 Hydra 希臘神話中的九頭蛇 就像Hydra的每個頭能夠自如地單獨、 同時咬住獵物一樣,我們的Hydra能夠 讓你自如地同時操控一臺、多臺手機, 就如同自己的手操控一樣。 Hydra想要解決什么問題 目前移動端的手工兼容性測試,需要測試 人員純手工點擊一臺手機,執行測試用例。 根據不同的階段有不同的工作量: 1. 功能測試階段:12人,少量自采 手機(13臺),總計測試時間約在 1020小時,階段耗時12天。 2. 上線前全功能/驗證階段:14人, 自采手機(512臺),共計測試時間 在205。
13、有贊支付團隊SRE體系建設 山貓 SRE是什么 Site Reliability Engineering(站點可靠性工程師) 概念來源: SRE Google運維解密,Google對系統穩定性、高可用、 團隊持續迭代和持續建設的一種體系化解決方案 一句話理解: 通過各種手段增加系統的穩定性 為什么要做SRE 建設SRE體系前后,有贊支付團隊穩定性指標變化 年份年份穩定性故障數量穩定性故障數量可用服務時間可用服務時間 201810+99.92% 2019699.96% 2020199.99% 為什么要做SRE 怎么做SRE 哪個角色更適合推動SRE體系建設 運維 技術能力強;不熟悉業務 開發 技術能力強;熟悉自身業。
14、在復雜元素間尋找平衡 - AI在游戲數值與平衡分析中的應用 王君樂 騰訊游戲 平衡性 游戲數值設計中的難題 策略 / 回合制 / 卡牌類游 戲 操作難度低 游戲元素高度復雜 種族、技能、屬性、道具、 職業, 游戲玩法介紹 方案介紹 確認目標,問題拆解 算法方案設計 結果分析與展示 擴展與總結 內容大綱 思路 嘗試過的方案和踩過的坑 效果驗證 更多應用場景的探索 戰歌競技場 / Chess Rush 自走棋 2019年開始火起來的游戲品類 玩家: 排兵布陣,搭配棋子 合理利用資源 棋子自動進行戰斗 背景:游戲玩法簡介 8 * 8 的棋盤雙方各占一半(4 * 8) 每。
15、全命周期的質量度量 ThoughtWorks 于曉南 程 Why When How Case Study 3 ThoughtWorks 2020 Commercial in Confidence 為什么度量? 何時度量? 如何度量質量? 度量案例 ThoughtWorks 2020 Commercial in Confidence 度量現狀 4 隨機 效 主觀 不可量化 不可復 沒有參考價值 5 ThoughtWorks 2020 Commercial in Confidence 沒有度量場景1 “我們公司的軟件測試活動較隨機,測試產出 的缺陷也沒有統管理起來?!?“那如何來度量軟件質量呢?” “憑主觀印象拍腦袋吧近期線上問題少,就 覺得質量好。之前剛上線個版本,線上問 題多,就覺得。
16、業務數據監控從0到1 張咪 背景 問題 1 業務數 據監控 方案 2 業務數 據監控 實踐 3 展望 思考 4 大綱 1背景問題 一、業務背景 二、質量體系建設 三、線上監控體系 大綱 業務背景 快 穩 體量大、迭代快、變化多 0101 OPTION 0202 OPTION 0303 OPTION 邏輯復雜、涉及資金交易、用戶敏感 線上Bad Case頻發 質量保障體系建設 線下(Aglie Testing)線上(TestOps) 目標 缺陷預防、快速迭代 保障服務穩定性 基礎質量 保障 上線(Test in Production) 把控風險 發布標準 灰度 發布 效果評估 用例設計CR 接口測試 Diff測試測試分層 線上問題 專項測試。
17、圍繞價值交付的DevOps下測試發展與定位 TestOps 云層 陳霽TestOps測試運維架構師 DevOps、敏捷測試資深專家 阿里巴巴研發效能事業部認證解決方案架構師,騰訊 課堂認證講師、Exin認證DevOps講師、華為云/阿里云 MVP 測試敏捷化白皮書項目經理、ACP 、 ASM、 DOM、SA5、阿里云DevOps專家、TMMI會員。 如果想證明什么東西重要就去掉它試試! 于是在家半年貌似公司好好的 然后就“去”QA了 我作為世界上最焦慮的男人 變還是不變這是個問題 王總焦慮的都不是我們這種月入3000塊 應該關心的事情 “測”什么,怎么“測”,才能質效合一 錯一步可。
18、網易智能UI自動化測試實踐 葛鋒 網易杭研質量與測試總監 1. 團隊與個人介紹 2. UI 自動化測試現狀痛點 3. 智能UI自動化測試解決方案 4. 實施過程經驗總結 5. UI自動化能力延展 目錄 網易 網易易測團隊介紹 p隸屬于網易杭州研究院,職責主要是支撐網易集團互聯網產品線的底層測 試平臺能力; p基于網易互聯網測試經驗,輸出測試平臺體系,幫助外部企業成功實現產 品質量與測試效能的提升。 p業務線系統測試人員提出一線需求,平臺實現特性幫助業務線提效,平臺 側也會融入業界前沿測試技術,反補業務線,因此整體是個“活水”機 制。 p易測。
19、基于智能探索的兼容測試 賴勇輝 講師介紹講師介紹 賴勇輝賴勇輝 騰騰訊訊 品管品管TuringLabTuringLab中心中心UIUI自動化測試負責人自動化測試負責人 支持支持WeTestWeTest適配自動化測試適配自動化測試 負責騰訊開源工具負責騰訊開源工具GameAISDKGameAISDK( (https:/ ) 內內 容容 兼容測試的特性兼容測試的特性 智能探索的實現智能探索的實現 兼容測試的特性兼容測試的特性 移動端的兼容測試移動端的兼容測試 定義:硬件、系統和軟件的兼容定義:硬件、系統和軟件的兼容 挑戰:挑戰: 測試任務重:品牌、機型眾多,測試設備數量多(測試。
20、智能游戲測試 陳贏峰 網易伏羲實驗室 網易雷火測試中心 智能游戲測試 伏羲實驗室 2017年9月成立 中國第一個游戲人工智能實驗室 愿景:點亮游戲未來 專注于成果落地 與清華,浙大,南大,天大深度合作 智能游戲測試 AI平臺Big Data & Computing Platform 強化學習 Reinforcement Learning 用戶畫像 User Persona 圖像動作 Computer Vision & Graphics 虛擬人 Virtual Human 自然語言處理 Natural Language Processing 游戲測試是游戲開發環節中的重要一環 保證游戲質量 避免運營事故 提高玩家的游戲體驗 Reversed 智能游戲測試 廠商 https:。
21、華為終端游戲測試之路 華為公司黃然 黃然 北航計算機專業碩士,先后就職于AMD、華為公司。曾 從事Radeon圖形驅動開發達9年,2016年加入華為終端, 一直從事游戲調優和圖形渲染相關的開發和測試工作。工作 以來,一直聚焦在圖形渲染領域,已經累計13年GPU軟硬件 相關工作經驗。 華為消費者BG軟件部,圖形圖像技術專家 游戲測試初期(-2017) 01 游戲測試中期(2018-2019) 02 游戲測試后期(2020-) 03 游戲測試能力全棧建設 04 目 錄 游戲測試初期(-2017) 01 游戲測試之初面臨的挑戰 公司內部開發和測試的對話: 測試:王者榮耀有點卡,幀率不達。
22、微眾研發效能改進 -數據度量體系 QualityManagementSystemQualityManagementSystem 工作經歷:微眾銀行、阿里巴巴、騰訊 工作領域:金融、互聯網 工作內容:質量管理、測試 目標:結合業內知名精益度量、精益管理等理論,推動團隊內研發效能的提升。 COCONTENTSNTENTS 提質增效 基礎建設、過程改進 平臺建設 度量、過程預警 實踐案例 實踐、經驗 數據度量 度量的目標是改進 持續發展的方向 最佳實踐 提質增效 提質增效的四個關鍵點 0101 0303 0202 0404 基礎建設 開發/測試環境 組件、工具 數據倉庫 研發規范 收集整理、更新維護 培訓和宣。
23、UI自動化測試效率提升之法 騰訊 方李志 講師簡介 騰訊學院中級講師 騰訊游戲高級測試工程師 曾任WeTest自動化測試團隊負責人 主導開發了智能探索測試框架 一張全景圖 框架接口層 對象庫 面板層 業務邏輯層 UI對象識別UI對象操作 執行框架 測試用例 分布式調度 測試框架 用戶腳本 執行調度 提升UI對象識別效率 控件識別:輔助識別 祖先對象兄弟對象參考對象 利用輔助對象縮小查找范圍 控件識別:緩存機制 窗口關閉 緩存祖先對象屬性 前提假設: 同一個UI對象會被多次操作 窗口未關閉 Win32API: 緩存句柄 測試樁: 緩存實例引用 緩存可以提。
24、網易游戲AI平衡性測試平臺 袁冬生 高柳洋 林澤聰 網易游戲 平衡性測試、平臺設計 袁冬生 網易游戲 平衡性有多重要? 初代彼岸花勸退大量玩家迫于平衡性刪除的召喚師技能 平衡性問題對于游戲的影響甚至遠超一個嚴重bug 網易游戲 數值投放的平衡性 構建數學模型(任何新加入的投放都能融入整個循環) 網易游戲 核心玩法(戰斗)的平衡性 網易游戲 創造表現和體驗的多樣性 打破行動空間的絕對平衡 博弈框架平衡 核心玩法(戰斗)的平衡性 核心戰斗平衡性的本質是行動空間求解(即,最優策略循環,讓任何行為都有解) 框架邊界的認定?新機制。
25、企業微信測試效能提升實踐 蔣劍琴 05 04 03 02 01 整體優化效果 效率提升:回歸測試 質量提升:新特性測試 測試方案 項目背景 目錄 項目背景 介紹企業微信研發要求 項目背景 5 企業微信 對內:高效安全扭轉信息 多行業方案 對外:連接1111億微信用戶 全平臺支持 IM日程會議 微文檔微盤 匯報直播郵箱打卡審批 客戶聯系客戶群客戶朋友圈 小程序企業支付 項目背景 6 每天3030個新特性 每月1 1大版本+2+2小版本 四端同時發布 0 0事故容忍 持續降低漏測率 ToCToC的發布速度ToBToB的質量要求 測試方案 主要的測試方法和流程 測試方案- -基礎測試。
26、探索手游前端性能測試最佳實踐 曾 平 廠商 1 2 3 4 5 手游前端性能測試的意義和背景介紹 手游前端性能測試、分析Roadmap及整體解決方案 前端性能測試分析工具鏈建設實踐 手游項目性能測試優化方案探索&實戰經驗分享 小結 CONTENTS 廠商 一、手游前端性能測試的意義和背景介紹 近年來手游產業發展迅速,逐漸由之前的輕度、休閑類轉而向中重度手游發展,越來越多大型端游也改編成手游,如:斗 戰神、熱血傳奇、天涯明月刀等。 iOS暢銷榜TOP20手游情況 廠商 一、手游前端性能測試的意義和背景介紹 手游市場充分競爭的情況下,對游戲品質的要。
27、中國太保自動化測試探索之路 彭春紅 2015-至今 中國太保 2011-2015 中國惠普 1、中國太保自動化測試發展歷程 2、中國太保自動化測試平臺建設 3、中國太保自動化測試推廣方案 4、中國太保自動化測試常見問題 5、中國太保自動化測試實踐成果 6、中國太保自動化測試未來愿景 主要內容主要內容 1.1、中國太保自動化測試發展歷程 簡單錄制回放 使用使用工具工具 20112011 數據驅動 搭建框架搭建框架 20122012 關鍵字驅動 自然語言編程 平臺建設平臺建設 20152015 云測試 智能管理 平臺平臺升級升級 20192019 1.2、自動化測試初級階段(2011) 。
28、鴻蒙分布式測試框架建設之路 華為技術有限公司 曾文科 廠商 全場景體驗對分布式系統的訴求 HarmonyOS測試框架解決方案 構筑匹配分布式系統的測試能力 數據來源: statista 個人終端越來越多 全場景體驗是贏取未來的制高點 15.41 17.68 20.35 23.14 26.66 30.73 35.82 42.62 51.11 62.12 75.44 0 10 20 30 40 50 60 70 80 20152016201720182019202020212022202320242025 全球IoT設備數量(十億) 1.84 3.47 6.58 9.27 0 1 2 3 4 5 6 7 8 9 10 2010201520202025 數據來源: statista; researchgate 人均持有設備統計和預測(臺) 廠商 100+10,。
29、分布式場景下“超級終端”體驗測試實踐 華為技術有限公司 曾堅 旅途分享 家庭場景 出行場景 手機+車 手機+TV+攝像頭+音箱 廠商 戶外直播、視頻通話 手機+攝像頭 手機+平板/PC 攝像頭攝像頭 手機手機 辦公協同 華為全場景智慧生活 多端協同的“超級終端”體驗 8 輔入口 1 主入口 N 智能硬件 手機是連接人與信息、人與場景的最佳 工具,是智慧時代的最核心入口 以手機用戶為中心,拉通PC、TV、手 表、車機等終端的聯動,讓主要生活場 景的體驗更佳、增強粘性 全場景智慧化生活圈 智慧生活包含豐富的細分場景和碎片化 服務,賦能全場景、聚合。
30、廠商: 廠商: 自我介紹 廠商: 廠商: 研發體系和面臨挑戰 管理的困惑 對已經發生的故障需要持續改進 管理人員關注的效率、成本、 質量無法衡量 工程師無法快速高效的發布, 項目延期和緊急發布較多 SQA人員無法了解研發過程和 狀態,數據不可度量,無法實 施改進 效能提升困難 新的故障演練手段 研發效能豎井問題較多 跨部門協同困難,溝通成本高 迭代交付周期較長,質量較差 研發過程問題 彌補基于埋點、業務監控的手段 公司10條+業務線,研發 過程流程規范不統一 需求、任務、開發、測 試、發布無法閉環,生產 問題反饋較慢 沒有完善。
31、云集持續交付平臺演進 羅豪宇 廠商 個人介紹個人介紹 目前主要負責公司的持續交付平臺,質量運營平臺(觀星),覆蓋率平臺的研發;有3年的 平臺開發經驗,4年測試相關經驗,對于DevOps,數據倉庫建設有深刻的理解與實戰經驗。 羅宇(羅豪宇) 資深JAVA開發工程師 廠商 目錄目錄 手工操作時期 1 半自動化時期 2 持續集成時期 3 持續交付時期4 廠商 01 手工操作時期 廠商 (開發) mvn package 手工打包放在svn上 (測試) 通過ssh連接服務器 (測試) ftp上傳包到服務器 (測試) Kill殺死之前進程 (測試) nohup java jar啟 動項目 (運維) 。
32、 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 單測生成技術在召回異常問題中的應用實踐 王冬冬 ? ? ? ? ? ? ? ? 提綱 背景介紹 技術探索 實踐成果 技術延伸 ? ? ? ? ? ? ? ? 背景介紹 ? ? ? ? ? ? ? ? 線上出現系統core、crash等異常問題時,產品收益、用戶體驗, QA口碑都受到影響 不是測 過了嗎 線上之前不 是已經跑了 半年都沒事 嗎 是不是線 上打開方 式不對 太難定位了 剛推全一個 功能不會出 core吧 收入報警 了 用戶吐槽 了 為此有了一系列的異常召回手段: 如基于壓力測試、功能測試、單測、 靜態掃描的異常測試 你以為很了解它們了 實際仍會悄。
33、中間件技術 在百度云原生測試的應用實踐 1 技術趨勢 Technological trends 2 測試挑戰 Testing challenges 3 設計思路 Design thinking 4應用場景 Application scenarios 目錄 CONTENTS 百度資深測試工程師,曾主導百度搜索引 擎的系統測試、異常測試、仿真測試等工 作,近幾年主導開發的百度測試中間件技 術在測試的各個階段都有大量的應用, 獲得3篇技術專利 百度測試中間件為搜索QA完全自主研發, 采用數據面+控制面+數據中心的架構設計, 與業界架構(google istio)同一時期提出, 異曲同工,集成8大基礎能力,覆蓋9大開 發、測試場景。