2019年AI產品的全局質量與工程效率構建之路.pdf

《2019年AI產品的全局質量與工程效率構建之路.pdf》由會員分享，可在線閱讀，更多相關《2019年AI產品的全局質量與工程效率構建之路.pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、中國軟件技術大會 CHINA SOFTWARE TECHNOLOGY CONFERENCE AI產品的全局質量與工程效率生態構建之路 AI產品的全局質量與工程效率生態構建之路 好未來AI工程院質量與工程效率負責人 好未來AI工程院質量與工程效率負責人 分享議程分享議程 項目架構概覽 全局質量生態體系 代碼質量建設 數據質量建設 模型質量建設 自動化測試的T+0實踐 穩定性測試常態化實踐 自動探壓測試實踐 集群并行化測試自動化實踐 線上質量建設 運營數據分析 工程效率賦能工具鏈體系建設 項目架構概覽項目架構概覽 數據平臺 訓練平臺 標注平臺 數據回流 AI模型 圖像 語音 NLP 工程化&模型加

2、速和優化 AI能力 語音評測 OCR 舉手識別 紅線詞檢測 流利度檢測 PaaS平臺 鑒權 負載均衡 彈性伸縮 熔斷 流量監控 AI業務 AI課堂 拍照解題 智能講題 智能監課 機器翻譯 全局質量全局質量生態生態體系體系 代碼代碼質量質量 數據數據質量質量 模型模型質量質量 產品產品質量質量 線上線上質量質量 運營運營分析分析 代碼質量代碼質量 靜態代碼掃描與通知靜態代碼掃描與通知 通過設置git web hook來實現提交代碼即觸發靜態掃描 開發MNS消息通知系統，當掃描結束時，會抽取掃描主要信息并發送至及時消息通知群 代碼質量閾值：漏洞：0 Bug：0 復雜度：20 代碼質量代碼質量 缺陷

3、密度統計看板缺陷密度統計看板 統計代碼改動行數與bug數量*權重，繪出缺陷密度趨勢圖 統計每個版本代碼改動行數 統計每個版本缺陷個數 計算出每千行代碼的缺陷個數缺陷密度 構建質量與趨勢統計看板構建質量與趨勢統計看板 統計日構建次數與失敗狀態，繪出構建質量趨勢圖 測試代碼覆蓋率統計分析測試代碼覆蓋率統計分析 通過jacoco,python coverage等工具對代碼覆蓋率進行統計分析 C+:OpenCppCoverage Java:Jacoco 數據質量數據質量-算法數據預處理算法數據預處理 數據回流 轉碼切分 FFmpeg 去高相似度 漢明距離算法 去模糊 SMD2算法 去低相關性 CTPN

4、算法 自動旋轉正位 Inception V4 上傳FTP/Nexus 有價值數據參數化選擇 數據送標 原始圖片：原始圖片：干凈圖片：干凈圖片：臟圖片：臟圖片：AIAI算法模型質量算法模型質量 模型模型指標測試自動化指標測試自動化 對算法模型進行精確度、準確度、召回率等指標的測試，并通過matplotlib繪圖和生成表格，顯示在Jenkins頁面上 AIAI算法模型質量算法模型質量 算法穩定性測試自動化算法穩定性測試自動化 產品質量產品質量APIAPI測試自動化測試自動化 API回歸測試結果反饋周期從2 2天天降低至降低至180180秒秒 產品質量產品質量 自動化測試的自動化測試的T+0T+0實

5、踐實踐 1.編寫API用例設計文檔 2.基于文檔秒級生成接口自動化用例 3.自動化流水線一鍵生成 產品質量產品質量 穩定性測試常態化實踐穩定性測試常態化實踐 開發穩定性測試狀態展示平臺 通過Jenkins每10分鐘觸發一次穩定性測試用例集 產品質量產品質量 性能測試自動化探壓工具性能測試自動化探壓工具 根據每次負載測試的輸出（error rate），動態調整升壓或降壓節奏，實現無人值守的負載探壓測試自動化 產品質量產品質量 集群并行化測試自動化實踐集群并行化測試自動化實踐 線上質量線上質量 多維度告警與監控體系多維度告警與監控體系 Zabbix+Grafana實現非容器化主機監控告警 ELK+Grafana實現非容器化服務與日志監控告警 Prometheus+Grafana實現容器化主機與pod服務監控告警 線上質量線上質量 運營數據分析運營數據分析 工程效率賦能工具鏈體系建設工程效率賦能工具鏈體系建設 構建與測試節點環境容器化構建與測試節點環境容器化 未來工作展望未來工作展望 用AI來測試AI AITest 壓測平臺與瓶頸智能定位 AIOps 全方位預警、事故定位與流量預測系統AIOps 深入測試即服務建設 TaaS