《百度智能云:2021年“云智一體”技術與應用解析系列白皮書——企業AI開發篇(60頁).pdf》由會員分享,可在線閱讀,更多相關《百度智能云:2021年“云智一體”技術與應用解析系列白皮書——企業AI開發篇(60頁).pdf(60頁珍藏版)》請在三個皮匠報告上搜索。
1、目 錄CONTENS一、云智一體,促進數字化轉型與智能化升級一步到位1.1產業智能化,數字經濟發展新階段1.2百度智能云戰略升級1.3云智一體的百度智能云架構2.0,加速產業智能化二、構建適應未來發展趨勢的AI開發平臺2.1場景先行2.2自主創新2.3效能為要三、云智一體的AI開發全棧模式 四、適合跑AI的云:AI開發基礎設施4.1AI計算層4.2AI存儲層4.3AI容器層五、飛槳企業版:AI開發雙平臺5.1零門檻AI開發平臺:EasyDL5.2全功能AI開發平臺:BML六、企業AI能力生產與集中化管理平臺:AI中臺 七、云智一體AI開發全棧模式的行業實踐7.1打造國網人工智能平臺,推動電網智
2、能化應用7.2為陜西漢中插上翅膀,AI助力打贏精準脫貧戰7.3更多行業案例參考八、關于本報告020303040506060708 12141719202435414950566061云智一體,促進數字化轉型與智能化升級一步到位 1.1 產業智能化,數字經濟發展新階段當前,我們正處在科技創新和產業發展最好的時代,以人工智能、大數據、云計算、5G等為代表的新一代信息技術蓬勃發展,驅動新一輪科技革命和產業變革。在產業應用新興技術和數據資源轉型升級的過程中,數字化是基礎;而隨著人工智能等新一代信息技術的發展,以及數據的爆發式增長,產業加快應用智能技術,從海量數據中發現規律、訓練模型、提煉知識,促進產出
3、增加和效率提升,實現企業生產經營的智能化,進而實現整個產業的智能化升級。因此,數字經濟既包括數字化轉型,也包括智能化升級,產業智能化是數字經濟發展的新階段。1.2 百度智能云戰略升級百度是擁有強大互聯網基礎的領先AI公司。從成立的第一天起,百度搜索引擎就與人工智能、云計算等技術息息相關。經過多年的技術積累和產業實踐,百度已形成了全面布局,從基礎的算力和數據技術、深度學習算法及框架,到語音、視覺、自然語言處理等感知、認知技術,以及飛槳深度學習開源開放平臺等,具備云智一體的獨特優勢?;诎俣鹊募夹g優勢和對產業發展的洞察,經過跟合作伙伴的共同成長與產業實踐,百度智能云的戰略升級為:以“云計算為基礎”
4、支撐企業數字化轉型,以“人工智能為引擎”加速產業智能化升級,云智一體“賦能千行百業”,促進經濟高質量發展。云智一體的“云”為數字化轉型提供安全、穩定、靈活的數字化底座,“智能化引擎”為智能化升級提供領先的創新技術和平臺。我們推薦客戶數字化轉型與智能化升級一起做,一步到位,這樣效率更高,效果更好。同時,如果客戶只做數字化轉型,我們有豐富的云計算產品可以支持;或者客戶已經有了數字化基礎,我們的智能化引擎也可以助力智能化應用。百度智能云的“云”,不僅為數字化轉型提供安全穩定、彈性靈活的云計算服務,同時也是適合跑AI的云,我們稱之為“AI原生云”,繼承云原生的優勢,面向AI場景,提供極致彈性的高性能異
5、構算力,打造簡潔、高效的AI應用開發架構?!霸浦且惑w”的智,是百度將深耕十余年的AI技術,以及AI賦能產業的實踐經驗,沉淀為助力產業智能化升級的技術、平臺及方法論,是以加速產業智能化升級為己任、懂場景的AI?!霸浦且惑w”技術與應用解析 企業AI開發篇020302“云智一體”技術與應用解析企業AI開發篇云智一體,促進數字化轉型與智能化升級一步到位 1.1 產業智能化,數字經濟發展新階段當前,我們正處在科技創新和產業發展最好的時代,以人工智能、大數據、云計算、5G等為代表的新一代信息技術蓬勃發展,驅動新一輪科技革命和產業變革。在產業應用新興技術和數據資源轉型升級的過程中,數字化是基礎;而隨著人工智
6、能等新一代信息技術的發展,以及數據的爆發式增長,產業加快應用智能技術,從海量數據中發現規律、訓練模型、提煉知識,促進產出增加和效率提升,實現企業生產經營的智能化,進而實現整個產業的智能化升級。因此,數字經濟既包括數字化轉型,也包括智能化升級,產業智能化是數字經濟發展的新階段。1.2 百度智能云戰略升級百度是擁有強大互聯網基礎的領先AI公司。從成立的第一天起,百度搜索引擎就與人工智能、云計算等技術息息相關。經過多年的技術積累和產業實踐,百度已形成了全面布局,從基礎的算力和數據技術、深度學習算法及框架,到語音、視覺、自然語言處理等感知、認知技術,以及飛槳深度學習開源開放平臺等,具備云智一體的獨特優
7、勢?;诎俣鹊募夹g優勢和對產業發展的洞察,經過跟合作伙伴的共同成長與產業實踐,百度智能云的戰略升級為:以“云計算為基礎”支撐企業數字化轉型,以“人工智能為引擎”加速產業智能化升級,云智一體“賦能千行百業”,促進經濟高質量發展。云智一體的“云”為數字化轉型提供安全、穩定、靈活的數字化底座,“智能化引擎”為智能化升級提供領先的創新技術和平臺。我們推薦客戶數字化轉型與智能化升級一起做,一步到位,這樣效率更高,效果更好。同時,如果客戶只做數字化轉型,我們有豐富的云計算產品可以支持;或者客戶已經有了數字化基礎,我們的智能化引擎也可以助力智能化應用。百度智能云的“云”,不僅為數字化轉型提供安全穩定、彈性靈
8、活的云計算服務,同時也是適合跑AI的云,我們稱之為“AI原生云”,繼承云原生的優勢,面向AI場景,提供極致彈性的高性能異構算力,打造簡潔、高效的AI應用開發架構?!霸浦且惑w”的智,是百度將深耕十余年的AI技術,以及AI賦能產業的實踐經驗,沉淀為助力產業智能化升級的技術、平臺及方法論,是以加速產業智能化升級為己任、懂場景的AI?!霸浦且惑w”技術與應用解析 企業AI開發篇020302“云智一體”技術與應用解析企業AI開發篇1.3 云智一體的百度智能云架構2.0,加速產業智能化基于百度智能云的戰略升級,云智一體的百度智能云架構2.0同時發布,包含數字化底座、智能化引擎和全場景應用(如圖1.3-1所示
9、)。數字化底座,包括基礎云、數據庫、物聯網、邊緣計算、區塊鏈等基礎平臺,以及視頻云、大數據、云原生開發和地圖服務等;同時還有安全模塊,為技術創新和產業轉型升級保駕護航。在數字化底座之上是智能化引擎,百度自主研發的飛槳深度學習平臺為核心,軟硬一體AI大生產平臺-百度大腦為支撐,包括AI中臺和知識中臺等。智能化引擎與行業深度融合,幫助企業建設自己的智能化中臺,助力智能化升級?;跀底只鬃椭悄芑?,百度智能云深入行業場景,打造智能應用,同時與生態伙伴一起,在制造、能源、城市、金融、醫療、媒體等領域,助力數字化轉型和智能化升級一步到位。構建適應未來發展趨勢的AI開發平臺 我們希望以百度智能云為紐
10、帶,聯合技術和產業生態伙伴,通過開源開放平臺降低AI開發的門檻,加快人工智能融入傳統產業,幫助越來越多的行業大步快跑,加入產業智能化的大潮。百度智能云:全新發布架構2.0(圖1.3-1)智能化引擎全場景應用智能客服企業搜索智能辦公智能推薦工業質檢智能創作智慧城市智慧交通智慧金融智能制造智慧能源智慧媒體智慧醫療數字化底座云為底座 飛槳為核 生態為翼AI中臺知識中臺軟硬一體AI大生產平臺產業級深度學習開源開放平臺存儲網絡大數據服務視頻云云原生開發服務區塊鏈數據庫物聯網邊緣計算基礎云安全地圖服務計算“云智一體”技術與應用解析 企業AI開發篇04051.3 云智一體的百度智能云架構2.0,加速產業智能
11、化基于百度智能云的戰略升級,云智一體的百度智能云架構2.0同時發布,包含數字化底座、智能化引擎和全場景應用(如圖1.3-1所示)。數字化底座,包括基礎云、數據庫、物聯網、邊緣計算、區塊鏈等基礎平臺,以及視頻云、大數據、云原生開發和地圖服務等;同時還有安全模塊,為技術創新和產業轉型升級保駕護航。在數字化底座之上是智能化引擎,百度自主研發的飛槳深度學習平臺為核心,軟硬一體AI大生產平臺-百度大腦為支撐,包括AI中臺和知識中臺等。智能化引擎與行業深度融合,幫助企業建設自己的智能化中臺,助力智能化升級?;跀底只鬃椭悄芑?,百度智能云深入行業場景,打造智能應用,同時與生態伙伴一起,在制造、能源、
12、城市、金融、醫療、媒體等領域,助力數字化轉型和智能化升級一步到位。構建適應未來發展趨勢的AI開發平臺 我們希望以百度智能云為紐帶,聯合技術和產業生態伙伴,通過開源開放平臺降低AI開發的門檻,加快人工智能融入傳統產業,幫助越來越多的行業大步快跑,加入產業智能化的大潮。百度智能云:全新發布架構2.0(圖1.3-1)智能化引擎全場景應用智能客服企業搜索智能辦公智能推薦工業質檢智能創作智慧城市智慧交通智慧金融智能制造智慧能源智慧媒體智慧醫療數字化底座云為底座 飛槳為核 生態為翼AI中臺知識中臺軟硬一體AI大生產平臺產業級深度學習開源開放平臺存儲網絡大數據服務視頻云云原生開發服務區塊鏈數據庫物聯網邊緣計
13、算基礎云安全地圖服務計算“云智一體”技術與應用解析 企業AI開發篇0405隨著數據量的激增、算法的突破、算力的爆發,人工智能技術進入了快速發展期,迎來了與產業應用場景廣泛結合的新階段。因此,在企業數字化和智能化的轉型過程中,亟需構建一套與應用場景相結合、靈活易用、效能為先的適應未來發展趨勢的AI開發平臺。在業務需求的牽引下,通過十余年的技術積累,百度自研深度學習框架、構建人工智能平臺、結合對集群和算力的管理與調度,逐漸形成了業內領先的云智一體的AI開發全棧模式。因此,百度不僅是資深的AI開發平臺使用者,同時也是AI開發平臺的提供者。在企業使用人工智能賦能業務場景的過程中,相信大多數企業和開發者
14、都在思考自己到底需要一個什么樣的AI開發平臺,如何有效地開展AI開發工作?我們認為可以從如下三個方面分析:2.1 場景先行使人工智能充分發揮價值和作用的前提,是要與實際的應用場景相結合。根據業務場景對需求進行定義,是成功進行AI算法模型開發的基礎。百度在過去多年為企業提供服務的過程中發現,超過80%的需求都需要根據實際應用場景進行定制。同時,在AI開發過程中,使用與應用場景相配套的流程工具是提高AI算法模型開發效率的關鍵。例如,百度的AI開發平臺,面向質檢、巡檢、OCR、遙感圖像分析、文本分類、文本處理、情感分析、商品檢測等系列場景,都建設了一系列配套的組件、算法和工具,有效地幫助企業建立以場
15、景導向、業務應用為前提的AI開發基礎。2.2 自主創新AI開發是一個動態進化的過程,是在與應用場景持續交互的過程中,通過不斷獲得反饋、獲取動態新數據,持續進行迭代優化的過程。同時,人工智能的應用場景非常分散,并且需要與業務邏輯緊密結合。因此,對于企業和開發者而言,需要有足夠靈活、易用的平臺進行自主創新。在靈活性方面,適應未來發展趨勢的AI開發平臺,需要廣泛地適配各類主流硬件,充分發揮各種硬件的能力且具有足夠靈活性。百度飛槳企業版是業內芯片適配最廣泛的AI開發平臺,廣泛適配包括飛騰、華為、百度昆侖等在內的國產芯片和服務器,這使得人工智能的創新應用可以建立在充分的靈活性基礎之上。在易用性方面,適應
16、未來發展趨勢的AI開發平臺,應該不僅能夠支持算法工程師、數據科學家等專業開發人員進行便捷的模型開發和訓練,也應該能夠支持業務一線人員等零基礎的開發者參與到AI開發過程中來。百度飛槳企業版,面向不同的使用者,既提供全功能開發模式滿足資深研發人員的開發需求,也提供適合一線業務人員的零門檻模式,使得專業AI開發的部分更極致,同時又能充分發揮更多的創造力。2.3 效能為要AI開發相較于傳統的軟件開發而言,從數據獲取、數據標注、數據增強、模型開發、模型訓練、模型評估到模型部署各個環節更加的復雜和多維。適應未來發展趨勢的AI開發平臺,應該具備從多個層面優化資源調度、提升開發效能的能力。在開發層面,除了全流
17、程端到端的開發支持,更重要的是在每個環節中貼心為開發人員打造的細節。在百度飛槳企業版中,例如數據標注環節的智能清洗和自動標注能力,大幅降低標注成本;又如預置的大規模預訓練模型和遷移學習能力,使得更少數據更好效果成為可能;再如基于數據閉環實現模型的持續迭代優化等能力,在各個環節中提升AI開發的效率、縮短開發周期。在算力層面,縱向從AI芯片、AI服務器、AI容器到AI開發平臺,應該做到全方位、集中式的AI算力管理。百度AI開發全棧模式,提供高密度的算力集中管理、多樣的AI計算套餐、先進的調度系統、開放的算力生態,可實現對算力成本的極致優化。綜上所述,人工智能技術從理論創新、技術突破、到工程實現,還
18、有很多想象空間與未知領域可探索,企業在選擇并建設適應未來發展趨勢的AI開發平臺方面,建議關注“場景先行、自主創新、效能為要“三個關鍵要素,進行統一規劃和建設。這樣不僅可以保障數據與模型資產的統一積累、沉淀和復用,更重要的是,還可以系統性的獲得算法、工程等方面的最新成果,使企業能夠在更高的基座上進行創新實踐?!霸浦且惑w”技術與應用解析 企業AI開發篇0607隨著數據量的激增、算法的突破、算力的爆發,人工智能技術進入了快速發展期,迎來了與產業應用場景廣泛結合的新階段。因此,在企業數字化和智能化的轉型過程中,亟需構建一套與應用場景相結合、靈活易用、效能為先的適應未來發展趨勢的AI開發平臺。在業務需求
19、的牽引下,通過十余年的技術積累,百度自研深度學習框架、構建人工智能平臺、結合對集群和算力的管理與調度,逐漸形成了業內領先的云智一體的AI開發全棧模式。因此,百度不僅是資深的AI開發平臺使用者,同時也是AI開發平臺的提供者。在企業使用人工智能賦能業務場景的過程中,相信大多數企業和開發者都在思考自己到底需要一個什么樣的AI開發平臺,如何有效地開展AI開發工作?我們認為可以從如下三個方面分析:2.1 場景先行使人工智能充分發揮價值和作用的前提,是要與實際的應用場景相結合。根據業務場景對需求進行定義,是成功進行AI算法模型開發的基礎。百度在過去多年為企業提供服務的過程中發現,超過80%的需求都需要根據
20、實際應用場景進行定制。同時,在AI開發過程中,使用與應用場景相配套的流程工具是提高AI算法模型開發效率的關鍵。例如,百度的AI開發平臺,面向質檢、巡檢、OCR、遙感圖像分析、文本分類、文本處理、情感分析、商品檢測等系列場景,都建設了一系列配套的組件、算法和工具,有效地幫助企業建立以場景導向、業務應用為前提的AI開發基礎。2.2 自主創新AI開發是一個動態進化的過程,是在與應用場景持續交互的過程中,通過不斷獲得反饋、獲取動態新數據,持續進行迭代優化的過程。同時,人工智能的應用場景非常分散,并且需要與業務邏輯緊密結合。因此,對于企業和開發者而言,需要有足夠靈活、易用的平臺進行自主創新。在靈活性方面
21、,適應未來發展趨勢的AI開發平臺,需要廣泛地適配各類主流硬件,充分發揮各種硬件的能力且具有足夠靈活性。百度飛槳企業版是業內芯片適配最廣泛的AI開發平臺,廣泛適配包括飛騰、華為、百度昆侖等在內的國產芯片和服務器,這使得人工智能的創新應用可以建立在充分的靈活性基礎之上。在易用性方面,適應未來發展趨勢的AI開發平臺,應該不僅能夠支持算法工程師、數據科學家等專業開發人員進行便捷的模型開發和訓練,也應該能夠支持業務一線人員等零基礎的開發者參與到AI開發過程中來。百度飛槳企業版,面向不同的使用者,既提供全功能開發模式滿足資深研發人員的開發需求,也提供適合一線業務人員的零門檻模式,使得專業AI開發的部分更極
22、致,同時又能充分發揮更多的創造力。2.3 效能為要AI開發相較于傳統的軟件開發而言,從數據獲取、數據標注、數據增強、模型開發、模型訓練、模型評估到模型部署各個環節更加的復雜和多維。適應未來發展趨勢的AI開發平臺,應該具備從多個層面優化資源調度、提升開發效能的能力。在開發層面,除了全流程端到端的開發支持,更重要的是在每個環節中貼心為開發人員打造的細節。在百度飛槳企業版中,例如數據標注環節的智能清洗和自動標注能力,大幅降低標注成本;又如預置的大規模預訓練模型和遷移學習能力,使得更少數據更好效果成為可能;再如基于數據閉環實現模型的持續迭代優化等能力,在各個環節中提升AI開發的效率、縮短開發周期。在算
23、力層面,縱向從AI芯片、AI服務器、AI容器到AI開發平臺,應該做到全方位、集中式的AI算力管理。百度AI開發全棧模式,提供高密度的算力集中管理、多樣的AI計算套餐、先進的調度系統、開放的算力生態,可實現對算力成本的極致優化。綜上所述,人工智能技術從理論創新、技術突破、到工程實現,還有很多想象空間與未知領域可探索,企業在選擇并建設適應未來發展趨勢的AI開發平臺方面,建議關注“場景先行、自主創新、效能為要“三個關鍵要素,進行統一規劃和建設。這樣不僅可以保障數據與模型資產的統一積累、沉淀和復用,更重要的是,還可以系統性的獲得算法、工程等方面的最新成果,使企業能夠在更高的基座上進行創新實踐?!霸浦且?/p>
24、體”技術與應用解析 企業AI開發篇0607云智一體的AI開發全棧模式 08企業數字化、產業智能化需要與云計算、人工智能等技術進行深度結合。由于各類企業的智能化需求都是多種多樣的,很多需求需要定制,很難用通用的AI模型去滿足所有需求。根據2018年百度與波士頓咨詢公司的聯合調研,市場上86%的需求為定制AI需求。定制模型的數量從2017年至2020年激增了6倍之多(如圖3-1所示)。因此,對企業而言,需要根據自己的需求進行模型開發。市場上的需求為定制AI需求2017至2020年定制模型數量非定制AI需求定制AI需求2017201820192020數據來源:2018年百度與波士頓咨詢公司的聯合調研
25、數據來源:百度AI開放平臺(圖3-1)86%翻6倍產業智能化正與AI技術深度結合86%14%09“云智一體”技術與應用解析企業AI開發篇云智一體的AI開發全棧模式 08企業數字化、產業智能化需要與云計算、人工智能等技術進行深度結合。由于各類企業的智能化需求都是多種多樣的,很多需求需要定制,很難用通用的AI模型去滿足所有需求。根據2018年百度與波士頓咨詢公司的聯合調研,市場上86%的需求為定制AI需求。定制模型的數量從2017年至2020年激增了6倍之多(如圖3-1所示)。因此,對企業而言,需要根據自己的需求進行模型開發。市場上的需求為定制AI需求2017至2020年定制模型數量非定制AI需求
26、定制AI需求2017201820192020數據來源:2018年百度與波士頓咨詢公司的聯合調研數據來源:百度AI開放平臺(圖3-1)86%翻6倍產業智能化正與AI技術深度結合86%14%09“云智一體”技術與應用解析企業AI開發篇正是因為AI模型定制需求的激增,企業對自己的AI開發能力也提出了更高的要求(如圖3-2所示)。一方面,對AI模型精度和AI開發效率有了更高的要求;另一方面,對AI算力資源的需求也呈現爆發式的增長。AI開發是一個非常消耗資源和能源的過程,企業亟需一套高性價比、高性能、高利用率的AI開發基礎設施硬件,從而在AI開發過程中達到效能和成本的最佳平衡點。(圖3-2)高質量數據高
27、精度效果高易用工具高性能高性價比高利用率效能成本對精度與開發效率的高要求對AI算力資源的爆發需求智能應用需求爆發,對AI開發提出了更高要求在AI開發過程中,涉及從數據收集、數據預處理、數據標注、模型訓練、模型評估和模型部署等一系列任務。在這一系列過程中,不僅需要對所有流程調優、最大化提升開發人員的研發效率。而且,AI模型的訓練和推理都需要大量的算力資源支持、并且要合理高效地利用這些龐大的算力資源來提升機器資源利用效率。這些都需要一套高性能、高效能、適應未來發展趨勢的AI開發平臺來提供。具體來說,在智能時代,適應未來發展趨勢的AI開發平臺需要提供如下能力:在算力資源方面,要對接和管理好性能、高利
28、用率、高性價比的AI算力資源在研發效率方面,要提供全流程的優化和開發效率的調優針對企業的實際業務場景和定制需求,提供整體的解決方案對此,百度智能云“云智一體的AI開發全棧模式”(如圖3-3所示),能夠很好的滿足上述需求。百度作為AI原生公司,基于百度全球領先的 AI 技術和生態優勢,從基礎硬件、存儲、容器、開發平臺,到上層AI模型和應用的每個環節都融入了“云智一體”,為企業提供滿足實際業務場景需求的、低成本高效率、全流程AI開發支持的全棧解決方案,加速產業智能化升級。在全棧產品架構設計方面,百度智能云“云智一體”將“AI基礎設施”和“AI開發雙平臺”緊密結(圖3-3)百度“云智一體”AI開發全
29、棧產品架構AI開發框架PaddlePaddle、TensorFlow、PyTorch等主流深度學習和機器學習開發框架AI開發平臺數據處理零門檻AI開發平臺EasyDL全功能AI開發平臺BML模型訓練模型管理模型部署AI存儲數據上云對象存儲BOS+AI加速對象存儲BOS高速Cache智能處理AI計算X-MAN百度太行.高性能計算實例RDMAGPU百度昆侖InfiniBandAI容器GPU調度集群管理容器CCE+AI優化AI作業調度容器網絡彈性訓練容器存儲AI加速引擎鏡像倉庫智能應用工業能源金融互聯網智能硬件零售合在一起:百度智能云“AI開發基礎設施”,是針對AI開發過程進行AI優化和AI加速等特
30、殊調優后的AI計算、AI存儲、AI容器等基礎設施。調優后的“AI開發基礎設施“使“AI開發平臺”的訓練速度更快、精確度更高、模型效果更優。是業內適合跑AI的云。百度智能云“AI開發雙平臺”,是基于百度飛槳(PaddlePaddle)深度學習開源平臺,推出的企業版AI開發平臺,包括面向各類開發者的零門檻開發平臺EasyDL和全功能開發平臺BML。百度“AI開發雙平臺”可幫助各類用戶實現數據處理、模型訓練、模型管理、模型部署全流程全棧式的開發和部署。同時,百度智能云“AI中臺”,是為企業構建的一套AI能力的生產和集中化管理的平臺。AI中臺的核心包括了AI服務運行平臺、AI開發平臺、AI樣本中心、A
31、I模型中心和AI資產共享平臺五大產品模塊,結合與之配套的完善的計算資源管理、數據資源接入等運維管理體系,幫助企業實現集約化的AI能力的生產和管理、實現統籌的企業智能化升級?!霸浦且惑w”技術與應用解析 企業AI開發篇1011正是因為AI模型定制需求的激增,企業對自己的AI開發能力也提出了更高的要求(如圖3-2所示)。一方面,對AI模型精度和AI開發效率有了更高的要求;另一方面,對AI算力資源的需求也呈現爆發式的增長。AI開發是一個非常消耗資源和能源的過程,企業亟需一套高性價比、高性能、高利用率的AI開發基礎設施硬件,從而在AI開發過程中達到效能和成本的最佳平衡點。(圖3-2)高質量數據高精度效果
32、高易用工具高性能高性價比高利用率效能成本對精度與開發效率的高要求對AI算力資源的爆發需求智能應用需求爆發,對AI開發提出了更高要求在AI開發過程中,涉及從數據收集、數據預處理、數據標注、模型訓練、模型評估和模型部署等一系列任務。在這一系列過程中,不僅需要對所有流程調優、最大化提升開發人員的研發效率。而且,AI模型的訓練和推理都需要大量的算力資源支持、并且要合理高效地利用這些龐大的算力資源來提升機器資源利用效率。這些都需要一套高性能、高效能、適應未來發展趨勢的AI開發平臺來提供。具體來說,在智能時代,適應未來發展趨勢的AI開發平臺需要提供如下能力:在算力資源方面,要對接和管理好性能、高利用率、高
33、性價比的AI算力資源在研發效率方面,要提供全流程的優化和開發效率的調優針對企業的實際業務場景和定制需求,提供整體的解決方案對此,百度智能云“云智一體的AI開發全棧模式”(如圖3-3所示),能夠很好的滿足上述需求。百度作為AI原生公司,基于百度全球領先的 AI 技術和生態優勢,從基礎硬件、存儲、容器、開發平臺,到上層AI模型和應用的每個環節都融入了“云智一體”,為企業提供滿足實際業務場景需求的、低成本高效率、全流程AI開發支持的全棧解決方案,加速產業智能化升級。在全棧產品架構設計方面,百度智能云“云智一體”將“AI基礎設施”和“AI開發雙平臺”緊密結(圖3-3)百度“云智一體”AI開發全棧產品架
34、構AI開發框架PaddlePaddle、TensorFlow、PyTorch等主流深度學習和機器學習開發框架AI開發平臺數據處理零門檻AI開發平臺EasyDL全功能AI開發平臺BML模型訓練模型管理模型部署AI存儲數據上云對象存儲BOS+AI加速對象存儲BOS高速Cache智能處理AI計算X-MAN百度太行.高性能計算實例RDMAGPU百度昆侖InfiniBandAI容器GPU調度集群管理容器CCE+AI優化AI作業調度容器網絡彈性訓練容器存儲AI加速引擎鏡像倉庫智能應用工業能源金融互聯網智能硬件零售合在一起:百度智能云“AI開發基礎設施”,是針對AI開發過程進行AI優化和AI加速等特殊調優后
35、的AI計算、AI存儲、AI容器等基礎設施。調優后的“AI開發基礎設施“使“AI開發平臺”的訓練速度更快、精確度更高、模型效果更優。是業內適合跑AI的云。百度智能云“AI開發雙平臺”,是基于百度飛槳(PaddlePaddle)深度學習開源平臺,推出的企業版AI開發平臺,包括面向各類開發者的零門檻開發平臺EasyDL和全功能開發平臺BML。百度“AI開發雙平臺”可幫助各類用戶實現數據處理、模型訓練、模型管理、模型部署全流程全棧式的開發和部署。同時,百度智能云“AI中臺”,是為企業構建的一套AI能力的生產和集中化管理的平臺。AI中臺的核心包括了AI服務運行平臺、AI開發平臺、AI樣本中心、AI模型中
36、心和AI資產共享平臺五大產品模塊,結合與之配套的完善的計算資源管理、數據資源接入等運維管理體系,幫助企業實現集約化的AI能力的生產和管理、實現統籌的企業智能化升級?!霸浦且惑w”技術與應用解析 企業AI開發篇1011適合跑AI的云:AI開發基礎設施 在企業數字化的過程中,“數據上云”已成為企業和行業的共識。企業的智能化和數字化是一項系統性工程,包括構建算力、存儲、網絡等基礎設施,這些都是AI開發及應用必不可少的重要環節。得益于近年來算法、算力、數據等多方面的突破性進展,AI技術在各行業的應用越來越廣泛。AI開發工程的發展也趨于追求更大的數據和模型、更快的訓練速度,這也意味著需要投入更多的資金(如
37、圖4-1所示)。(圖4-1)AI開發工程領域的發展趨勢如何選擇高性能、高性價比、高利用率的“云”,是企業智能化和業務創新過程中需要考慮的重要因素(如圖4-2所示)。對此,百度智能云的AI開發基礎設施,作為業內適合跑AI的云,系統化的滿足企業在AI開發過程中對AI開發基礎設施的高性能、高性價比、高利用率的需求。行業對AI開發基礎設施的訴求(圖4-2)高性能更大的數據和模型高性價比更快的訓練高利用率更高的投入13“云智一體”技術與應用解析企業AI開發篇12適合跑AI的云:AI開發基礎設施 在企業數字化的過程中,“數據上云”已成為企業和行業的共識。企業的智能化和數字化是一項系統性工程,包括構建算力、
38、存儲、網絡等基礎設施,這些都是AI開發及應用必不可少的重要環節。得益于近年來算法、算力、數據等多方面的突破性進展,AI技術在各行業的應用越來越廣泛。AI開發工程的發展也趨于追求更大的數據和模型、更快的訓練速度,這也意味著需要投入更多的資金(如圖4-1所示)。(圖4-1)AI開發工程領域的發展趨勢如何選擇高性能、高性價比、高利用率的“云”,是企業智能化和業務創新過程中需要考慮的重要因素(如圖4-2所示)。對此,百度智能云的AI開發基礎設施,作為業內適合跑AI的云,系統化的滿足企業在AI開發過程中對AI開發基礎設施的高性能、高性價比、高利用率的需求。行業對AI開發基礎設施的訴求(圖4-2)高性能更
39、大的數據和模型高性價比更快的訓練高利用率更高的投入13“云智一體”技術與應用解析企業AI開發篇12百度昆侖AI芯片,算力進一步提升百度智能云AI高性能計算服務(如圖4.1-1所示),主要包含以下三個特點:(圖4.1-2)AI高性能計算服務(圖4.1-1)豐富AI芯片類型X-MAN AI超級服務器百度太行.彈性裸金屬自研百度昆侖AI芯片多規格商業GPU/FPGA第一款四路AI服務器CPU性能提升50%+GPU多卡NVLink高速通信統一新一代百度太行計算架構云產品無縫接入零損耗高性能百度昆侖1百度昆侖2已量產在百度搜索引擎全量部署相比T4GPU性能在不同模型下提升1.53x2021年量產采用7n
40、m先進工藝性能比昆侖1提升3x百度智能云通過AI計算、AI存儲、AI容器三層設施,構建的軟硬一體、高性價比的“AI開發基礎設施”(如圖4-3所示):AI計算層:為AI開發過程提供高性能、高性價比的算力支撐AI存儲層:在AI開發過程中提供對數據的快速處理、高速存儲、極速分析等能力AI容器層:對AI開發工程中的資源配置和任務進行統一管理百度智能云軟硬一體高性價比AI開發基礎設施(圖4-3)AI存儲數據上云對象存儲BOS+AI加速對象存儲BOS高速Cache智能處理AI計算X-MAN百度太行.高性能計算實例RDMAGPU百度昆侖InfiniBandAI容器GPU調度集群管理容器CCE+AI優化AI作
41、業調度容器網絡彈性訓練容器存儲AI加速引擎鏡像倉庫4.1 AI計算層百度智能云AI高性能計算服務,是基于百度自主研發的硬件虛擬化技術,重構的百度智能云的算力基礎設施,同時擁有云服務器的資源彈性和物理機的高性能體驗,滿足AI原生時代對海量算力的需求。搭配百度自研百度昆侖AI芯片、以及英偉達TelsaGPU等,滿足AI應用各場景需求、提供高性價比的算力支持。特點一 支持豐富的AI芯片類型:包括百度自研的百度昆侖芯片以及行業多規格的主流數據中心級GPU,以滿足不同場景、不同性價比的AI算力需求。在芯片領域,百度自研的百度昆侖芯片目前已發布兩代產品(如圖4.1-2所示)。其中百度昆侖1已經到了大規模部
42、署階段,已在智慧城市、計算中心等領域得到了大規模應用。2021年量產的百度昆侖2,采用7nm先進工藝,較百度昆侖1性能提升約3倍?!霸浦且惑w”技術與應用解析 企業AI開發篇1415百度昆侖AI芯片,算力進一步提升百度智能云AI高性能計算服務(如圖4.1-1所示),主要包含以下三個特點:(圖4.1-2)AI高性能計算服務(圖4.1-1)豐富AI芯片類型X-MAN AI超級服務器百度太行.彈性裸金屬自研百度昆侖AI芯片多規格商業GPU/FPGA第一款四路AI服務器CPU性能提升50%+GPU多卡NVLink高速通信統一新一代百度太行計算架構云產品無縫接入零損耗高性能百度昆侖1百度昆侖2已量產在百度
43、搜索引擎全量部署相比T4GPU性能在不同模型下提升1.53x2021年量產采用7nm先進工藝性能比昆侖1提升3x百度智能云通過AI計算、AI存儲、AI容器三層設施,構建的軟硬一體、高性價比的“AI開發基礎設施”(如圖4-3所示):AI計算層:為AI開發過程提供高性能、高性價比的算力支撐AI存儲層:在AI開發過程中提供對數據的快速處理、高速存儲、極速分析等能力AI容器層:對AI開發工程中的資源配置和任務進行統一管理百度智能云軟硬一體高性價比AI開發基礎設施(圖4-3)AI存儲數據上云對象存儲BOS+AI加速對象存儲BOS高速Cache智能處理AI計算X-MAN百度太行.高性能計算實例RDMAGP
44、U百度昆侖InfiniBandAI容器GPU調度集群管理容器CCE+AI優化AI作業調度容器網絡彈性訓練容器存儲AI加速引擎鏡像倉庫4.1 AI計算層百度智能云AI高性能計算服務,是基于百度自主研發的硬件虛擬化技術,重構的百度智能云的算力基礎設施,同時擁有云服務器的資源彈性和物理機的高性能體驗,滿足AI原生時代對海量算力的需求。搭配百度自研百度昆侖AI芯片、以及英偉達TelsaGPU等,滿足AI應用各場景需求、提供高性價比的算力支持。特點一 支持豐富的AI芯片類型:包括百度自研的百度昆侖芯片以及行業多規格的主流數據中心級GPU,以滿足不同場景、不同性價比的AI算力需求。在芯片領域,百度自研的百
45、度昆侖芯片目前已發布兩代產品(如圖4.1-2所示)。其中百度昆侖1已經到了大規模部署階段,已在智慧城市、計算中心等領域得到了大規模應用。2021年量產的百度昆侖2,采用7nm先進工藝,較百度昆侖1性能提升約3倍?!霸浦且惑w”技術與應用解析 企業AI開發篇1415特點二支持X-MAN架構超級服務器:百度自研X-MAN架構服務器,支持Intel/AMD旗艦CPU以及高速異構加速卡專屬總線通信。除了標準的2路服務器配置,X-MAN是第一款能夠搭配4路CPU的超級AI計算機。在CPU高負載業務中,能更好的釋放GPU能力,讓CPU不再成為GPU利用率的約束。特點三搭配百度太行智能網卡:高性能計算實例的服
46、務器資源百分百服務于業務本身,實現云上零損耗的高性能實例,給予客戶物理機級別的性能體驗。并且,實例能無縫銜接云存儲、云網絡、大數據,充分發揮AI超級服務器的算力和能力,為企業提供高性能、多規格、高性價比的算力服務。在AI超級計算機領域,百度自研的“百度太行”彈性裸金屬服務器,將百度云存儲、云網絡、云大數據產品無縫融合,充分發揮AI超級服務器的算力和能力,其算力能力在云上的結構和形態(如圖4.1-3所示):NVSwitchGPU0GPU1GPU2GPU3GPU4GPU5GPU6300GB NVLink100Gb IB/RoCE25Gb/100Gb VPC接入GPU7云服務器高速對象存儲彈性裸金屬
47、服務器RDMAVPC百度太行-高性能計算實例云上架構圖(圖4.1-3)面向AI計算的存儲服務(圖4.2-1)4.2 AI存儲層AI存儲層的核心是基于百度的對象存儲服務以及面向AI場景的加速和處理能力,解決客戶AI開發過程中的數據存儲和分析問題。為此,百度智能云特別提出了面向AI計算的存儲服務架構,并分為如下幾個層面(如圖4.2-1所示)數據上云:幫助客戶數據快速高效上云,百度既提供面向離線傳輸的磁盤傳輸方式,也提供面向在線的CloudFlow產品,支持客戶創建各種模型的在線傳輸任務。離線傳輸支持單臺百TB的數據遷移能力,在線數據流轉CloudFlow兼容業界7種對象存儲接口。數據存儲:百度以對
48、象存儲為核心提供高性價比的存儲服務。百度對象存儲提供業界最全的4級數據存儲,并提供智能的生命周期管理和業界領先的讀寫性能,滿足客戶在大數據場景下的性價比需求(如圖4.2-2所示)。智能高速處理數據安全流轉上云離線傳輸BOSCloudFlow百度智能云A云T云私有云大規模數據對象存儲BOS高速Cache標準存儲低頻存儲冷存儲歸檔存儲高性價比低OPEXRegionBRegionNRegionA高速介質元數據加速智能處理AI處理圖片音視頻文檔數據預加載緩存管理AI 加速智能處理數據存儲數據上云如上圖所示,左側為基于X-MAN的AI服務器單機多卡內部結構,單臺服務器可支持八路GPU板卡的統一管理與資源
49、調度,GPU之間通過NVLINK、NVSwitch進行高速專屬總線數據交互。右圖為多節點高性能計算實例拓撲,這些計算節點之間,通過100G/200G RDMA網絡高速互聯,完成高速計算任務,以及通過25G/100GVPC虛擬網絡與云上其他服務器實例和BOS存儲進行通信。不論是單機多卡通信、跨節點多機多卡通信以及與云的上其他產品通信,百度太行彈性高性能計算實例均構建了整套高速AI基礎設施,滿足大模型通訊需求?!霸浦且惑w”技術與應用解析 企業AI開發篇1617特點二支持X-MAN架構超級服務器:百度自研X-MAN架構服務器,支持Intel/AMD旗艦CPU以及高速異構加速卡專屬總線通信。除了標準的
50、2路服務器配置,X-MAN是第一款能夠搭配4路CPU的超級AI計算機。在CPU高負載業務中,能更好的釋放GPU能力,讓CPU不再成為GPU利用率的約束。特點三搭配百度太行智能網卡:高性能計算實例的服務器資源百分百服務于業務本身,實現云上零損耗的高性能實例,給予客戶物理機級別的性能體驗。并且,實例能無縫銜接云存儲、云網絡、大數據,充分發揮AI超級服務器的算力和能力,為企業提供高性能、多規格、高性價比的算力服務。在AI超級計算機領域,百度自研的“百度太行”彈性裸金屬服務器,將百度云存儲、云網絡、云大數據產品無縫融合,充分發揮AI超級服務器的算力和能力,其算力能力在云上的結構和形態(如圖4.1-3所
51、示):NVSwitchGPU0GPU1GPU2GPU3GPU4GPU5GPU6300GB NVLink100Gb IB/RoCE25Gb/100Gb VPC接入GPU7云服務器高速對象存儲彈性裸金屬服務器RDMAVPC百度太行-高性能計算實例云上架構圖(圖4.1-3)面向AI計算的存儲服務(圖4.2-1)4.2 AI存儲層AI存儲層的核心是基于百度的對象存儲服務以及面向AI場景的加速和處理能力,解決客戶AI開發過程中的數據存儲和分析問題。為此,百度智能云特別提出了面向AI計算的存儲服務架構,并分為如下幾個層面(如圖4.2-1所示)數據上云:幫助客戶數據快速高效上云,百度既提供面向離線傳輸的磁盤
52、傳輸方式,也提供面向在線的CloudFlow產品,支持客戶創建各種模型的在線傳輸任務。離線傳輸支持單臺百TB的數據遷移能力,在線數據流轉CloudFlow兼容業界7種對象存儲接口。數據存儲:百度以對象存儲為核心提供高性價比的存儲服務。百度對象存儲提供業界最全的4級數據存儲,并提供智能的生命周期管理和業界領先的讀寫性能,滿足客戶在大數據場景下的性價比需求(如圖4.2-2所示)。智能高速處理數據安全流轉上云離線傳輸BOSCloudFlow百度智能云A云T云私有云大規模數據對象存儲BOS高速Cache標準存儲低頻存儲冷存儲歸檔存儲高性價比低OPEXRegionBRegionNRegionA高速介質元
53、數據加速智能處理AI處理圖片音視頻文檔數據預加載緩存管理AI 加速智能處理數據存儲數據上云如上圖所示,左側為基于X-MAN的AI服務器單機多卡內部結構,單臺服務器可支持八路GPU板卡的統一管理與資源調度,GPU之間通過NVLINK、NVSwitch進行高速專屬總線數據交互。右圖為多節點高性能計算實例拓撲,這些計算節點之間,通過100G/200G RDMA網絡高速互聯,完成高速計算任務,以及通過25G/100GVPC虛擬網絡與云上其他服務器實例和BOS存儲進行通信。不論是單機多卡通信、跨節點多機多卡通信以及與云的上其他產品通信,百度太行彈性高性能計算實例均構建了整套高速AI基礎設施,滿足大模型通
54、訊需求?!霸浦且惑w”技術與應用解析 企業AI開發篇1617AI加速智能處理:在加速層面,百度提供基于全閃存介質的高速存儲產品和針對元數據加速的Cache服務,以提供更高性能的存儲能力,同時也在對象存儲上默認集成了一些AI智能處理能力。百度的高速緩存能力,在一些場景下訓練速度能提升4倍以上,同時也融合集成了幾十種智能處理能力。此外,針對視頻、圖像、大容量文件等類型,百度智能云在BOS側更好的封裝集成了百度相關的AI能力,包括幾十項圖像的審核能力,以及圖像增強和特效能力,這些特有能力的集成,能夠輕松的降低編碼復雜度(如圖4.2-3所示)。用戶可以直接通過BOS的事件觸發框架,在數據訪問或者數據上傳
55、時,通過統一的接口拓展和調用這些智能處理能力、及時得到AI處理的效果,讓數據分析和存儲更近,降低管理、運維的復雜性。(圖4.2-2)(圖4.2-3)面向AI計算的存儲系統特性云智融合的數據智能處理4級數據存儲,業內最全生命周期智能生命周期管理,業內領先的讀寫性能高效存儲離線傳輸單臺百TB數據遷移CloudFlow兼容七種常見對象存儲接口智能高速緩存,大訓練集訓練4倍速提升,幾十種智能處理能力融合智能處理快捷上云4.3 AI容器層百度智能云的AI容器服務(如圖4.3-1所示),提供GPU顯存和算力的共享與隔離,集成PaddlePaddle、TensorFlow、Pytorch等主流深度學習框架,
56、支持AI任務編排、管理等。百度智能云的AI容器服務的關鍵特性主要有三點(如圖4.3-2所示):支持GPU的共享能力,支持用戶進行1/2、1/4等顆粒度的GPU算力資源管理。在AI作業的調度層面,支持Gang、Spread、Binpack等調度算法,以及針對NVLink等GPU架構感知調度能力。在加速引擎層面,提供算子和通信加速引擎,算子加速在具體場景下可以提升數倍的推理效率,通信庫可以支持千卡規模的通信加速能力。(圖4.3-1)(圖4.3-2)AI容器服務AI容器服務特性AI 優化GPU共享調度GPU架構感知GPU調度AI作業調度作業優先級調度作業調度容錯彈性伸縮彈性訓練加速引擎AI專屬鏡像A
57、I專項優化容器基礎設施X-MAN百度昆侖計算云服務器BCC百度太行RoCEVPC網絡高速CacheBOS存儲容器 通用能力集群生命周期管理節點自動擴容節點組管理容器網絡流量接入容器存儲用戶管理RBAC角色管理OIDC鏡像管理安全掃描鏡像遷移集群管理容器網絡與存儲訪問控制鏡像管理GPU 容器虛擬化GPU資源二分之一、四分之一等粒度管理AI 容器調度Gang、Spread和Binpack調度,NVLink/Klink等GPU/XPU架構感知調度加速引擎支持通信加速和算子加速引擎,通信庫可支持千卡規模,算子加速提升數倍推理效率數據+AI處理全面融合業務易集成30+處理能力融合集成10+AI圖像審核能
58、力10+AI圖像增強和特效一鍵封裝觸發數據處理,實時高效數據訪問+處理統一接口圖形化一站式管理,業務運維成本低融合智能處理的對象存儲BOS圖片音頻文本視頻OCR圖片處理音視頻處理VCS智能封面智能效果智能場景智感超清修復增強圖審服務視頻審核服務智能標簽音頻審核服務“云智一體”技術與應用解析 企業AI開發篇1819AI加速智能處理:在加速層面,百度提供基于全閃存介質的高速存儲產品和針對元數據加速的Cache服務,以提供更高性能的存儲能力,同時也在對象存儲上默認集成了一些AI智能處理能力。百度的高速緩存能力,在一些場景下訓練速度能提升4倍以上,同時也融合集成了幾十種智能處理能力。此外,針對視頻、圖
59、像、大容量文件等類型,百度智能云在BOS側更好的封裝集成了百度相關的AI能力,包括幾十項圖像的審核能力,以及圖像增強和特效能力,這些特有能力的集成,能夠輕松的降低編碼復雜度(如圖4.2-3所示)。用戶可以直接通過BOS的事件觸發框架,在數據訪問或者數據上傳時,通過統一的接口拓展和調用這些智能處理能力、及時得到AI處理的效果,讓數據分析和存儲更近,降低管理、運維的復雜性。(圖4.2-2)(圖4.2-3)面向AI計算的存儲系統特性云智融合的數據智能處理4級數據存儲,業內最全生命周期智能生命周期管理,業內領先的讀寫性能高效存儲離線傳輸單臺百TB數據遷移CloudFlow兼容七種常見對象存儲接口智能高
60、速緩存,大訓練集訓練4倍速提升,幾十種智能處理能力融合智能處理快捷上云4.3 AI容器層百度智能云的AI容器服務(如圖4.3-1所示),提供GPU顯存和算力的共享與隔離,集成PaddlePaddle、TensorFlow、Pytorch等主流深度學習框架,支持AI任務編排、管理等。百度智能云的AI容器服務的關鍵特性主要有三點(如圖4.3-2所示):支持GPU的共享能力,支持用戶進行1/2、1/4等顆粒度的GPU算力資源管理。在AI作業的調度層面,支持Gang、Spread、Binpack等調度算法,以及針對NVLink等GPU架構感知調度能力。在加速引擎層面,提供算子和通信加速引擎,算子加速在
61、具體場景下可以提升數倍的推理效率,通信庫可以支持千卡規模的通信加速能力。(圖4.3-1)(圖4.3-2)AI容器服務AI容器服務特性AI 優化GPU共享調度GPU架構感知GPU調度AI作業調度作業優先級調度作業調度容錯彈性伸縮彈性訓練加速引擎AI專屬鏡像AI專項優化容器基礎設施X-MAN百度昆侖計算云服務器BCC百度太行RoCEVPC網絡高速CacheBOS存儲容器 通用能力集群生命周期管理節點自動擴容節點組管理容器網絡流量接入容器存儲用戶管理RBAC角色管理OIDC鏡像管理安全掃描鏡像遷移集群管理容器網絡與存儲訪問控制鏡像管理GPU 容器虛擬化GPU資源二分之一、四分之一等粒度管理AI 容器
62、調度Gang、Spread和Binpack調度,NVLink/Klink等GPU/XPU架構感知調度加速引擎支持通信加速和算子加速引擎,通信庫可支持千卡規模,算子加速提升數倍推理效率數據+AI處理全面融合業務易集成30+處理能力融合集成10+AI圖像審核能力10+AI圖像增強和特效一鍵封裝觸發數據處理,實時高效數據訪問+處理統一接口圖形化一站式管理,業務運維成本低融合智能處理的對象存儲BOS圖片音頻文本視頻OCR圖片處理音視頻處理VCS智能封面智能效果智能場景智感超清修復增強圖審服務視頻審核服務智能標簽音頻審核服務“云智一體”技術與應用解析 企業AI開發篇1819飛槳(PaddlePaddle
63、)是中國首個自主研發、功能豐富、開源開放的產業級深度學習平臺,由飛槳深度學習開源平臺和飛槳企業版兩大版塊構成。其中,飛槳深度學習開源平臺部分,包含核心框架、基礎模型庫、端到端開發套件與工具組件,持續開源核心能力,為產業、學術、科研創新提供基礎底座。飛槳企業版則是基于飛槳開源深度學習平臺,包含零門檻AI開發平臺EasyDL和全功能AI開發平臺BML。企業通過這套AI開發雙平臺,就可以在各種應用上發揮人工智能的價值,包括工業、能源、金融、互聯網、智能硬件和零售等領域。AI開發是一個非常系統的工程,僅僅通過寫幾行代碼,無法得到一個滿意的模型效果。企業需要從基礎資源、機器管理、分析工具、配置管理、流程
64、管理、監控等多個方面都投入非常大的精力。除此之外,AI開發的流程包括數據獲取、特征提取、模型選擇、模型評估、模型部署、推理服務等很長的過程(如圖5-1所示)。AI開發是一個系統工程數據獲取特征提取模型選擇模型評估參數調優模型部署模型訓練推理服務配置管理機器資源管理流程管理工具服務基礎設施監控分析工具核心算法開發和調優只占一部分工作數據獲取/標注/處理、模型部署往往耗時耗力基礎設施和工具必不可少(圖5-1)飛槳企業版:AI開發雙平臺 2120“云智一體”技術與應用解析企業AI開發篇飛槳(PaddlePaddle)是中國首個自主研發、功能豐富、開源開放的產業級深度學習平臺,由飛槳深度學習開源平臺和
65、飛槳企業版兩大版塊構成。其中,飛槳深度學習開源平臺部分,包含核心框架、基礎模型庫、端到端開發套件與工具組件,持續開源核心能力,為產業、學術、科研創新提供基礎底座。飛槳企業版則是基于飛槳開源深度學習平臺,包含零門檻AI開發平臺EasyDL和全功能AI開發平臺BML。企業通過這套AI開發雙平臺,就可以在各種應用上發揮人工智能的價值,包括工業、能源、金融、互聯網、智能硬件和零售等領域。AI開發是一個非常系統的工程,僅僅通過寫幾行代碼,無法得到一個滿意的模型效果。企業需要從基礎資源、機器管理、分析工具、配置管理、流程管理、監控等多個方面都投入非常大的精力。除此之外,AI開發的流程包括數據獲取、特征提取
66、、模型選擇、模型評估、模型部署、推理服務等很長的過程(如圖5-1所示)。AI開發是一個系統工程數據獲取特征提取模型選擇模型評估參數調優模型部署模型訓練推理服務配置管理機器資源管理流程管理工具服務基礎設施監控分析工具核心算法開發和調優只占一部分工作數據獲取/標注/處理、模型部署往往耗時耗力基礎設施和工具必不可少(圖5-1)飛槳企業版:AI開發雙平臺 2120“云智一體”技術與應用解析企業AI開發篇百度更關注AI應用開發者的細分需求百度更關注AI算法開發者的細分需求(圖5-2)(圖5-3)百度通過關注AI開發者在AI開發過程中的細分需求,發現在百度AI開發平臺上有兩類開發者:第一類開發者是AI應用
67、開發者(如圖5-2所示),他們非常熟悉自己的業務、并且發現可以通過人工智能技術實現效率的提升,但他們對于人工智能的技術并不是特別熟悉和了解,因此他們非常希望自己提供業務數據、通過一個AI開發平臺做簡單的、自動的特征提取、模型選擇、參數調優后得到一個滿意的AI模型,并且能部署在各個硬件平臺上。第二類開發者是AI算法開發者(如圖5-3所示),他們更關注的是算法的效果,他們在特征提取、模型選擇、參數優化、模型訓練等這些步驟里,會投入更多的精力。數據獲取特征提取模型選擇模型評估參數調優模型部署模型訓練推理服務配置管理機器資源管理流程管理工具服務基礎設施監控分析工具AI能力定制少量數據、簡單易用AI 模
68、型AI 應用開發者0.01.00.90.80.70.60.50.40.30.20.10.00.10.20.30.40.50.60.70.80.91.0ExcellentGoodWorthlessFalse positive rateTrue positive rateAI算法開發強大的集成開發環境AI 算法開發者數據獲取特征提取模型選擇模型評估參數調優模型部署模型訓練推理服務配置管理機器資源管理流程管理工具服務基礎設施監控分析工具百度智能云推出的飛槳企業版:AI開發雙平臺(如圖5-4所示),可以很好的同時滿足這兩類AI開發者的需求。飛槳企業版將模型訓練、算法庫、模型訓練、模型倉庫、數據處理、數
69、據標注等核心功能聚合形成能力中心,同時產生了兩個不同的開發界面:一個是零門檻開發平臺EasyDL,EasyDL更關注的是從數據輸入、模型輸出的簡單易用的效果,并且預置了很多視頻、圖像、文本、語音、OCR等等場景化的算法模型;另外一個是全功能AI開發平臺BML,BML面向AI算法開發者提供了非常多的建模方式、預置模型方式、可視化建模等,充分滿足算法開發者對開發效率的要求、以及在開發過程中對輔助工具的需求。飛槳企業版-AI 開發雙平臺模式(圖5-4)資源管理模型部署模型倉庫算法庫+框架數據標注模型訓練零門檻EasyDL面向AI應用開發者BML面向AI算法開發者數據處理視頻圖像文本語音OCR結構化數
70、據商品檢測Notebook建模Pipeline建模預置模型調參可視化建模模型產線建模實驗管理全功能“云智一體”技術與應用解析 企業AI開發篇2223百度更關注AI應用開發者的細分需求百度更關注AI算法開發者的細分需求(圖5-2)(圖5-3)百度通過關注AI開發者在AI開發過程中的細分需求,發現在百度AI開發平臺上有兩類開發者:第一類開發者是AI應用開發者(如圖5-2所示),他們非常熟悉自己的業務、并且發現可以通過人工智能技術實現效率的提升,但他們對于人工智能的技術并不是特別熟悉和了解,因此他們非常希望自己提供業務數據、通過一個AI開發平臺做簡單的、自動的特征提取、模型選擇、參數調優后得到一個滿
71、意的AI模型,并且能部署在各個硬件平臺上。第二類開發者是AI算法開發者(如圖5-3所示),他們更關注的是算法的效果,他們在特征提取、模型選擇、參數優化、模型訓練等這些步驟里,會投入更多的精力。數據獲取特征提取模型選擇模型評估參數調優模型部署模型訓練推理服務配置管理機器資源管理流程管理工具服務基礎設施監控分析工具AI能力定制少量數據、簡單易用AI 模型AI 應用開發者0.01.00.90.80.70.60.50.40.30.20.10.00.10.20.30.40.50.60.70.80.91.0ExcellentGoodWorthlessFalse positive rateTrue posi
72、tive rateAI算法開發強大的集成開發環境AI 算法開發者數據獲取特征提取模型選擇模型評估參數調優模型部署模型訓練推理服務配置管理機器資源管理流程管理工具服務基礎設施監控分析工具百度智能云推出的飛槳企業版:AI開發雙平臺(如圖5-4所示),可以很好的同時滿足這兩類AI開發者的需求。飛槳企業版將模型訓練、算法庫、模型訓練、模型倉庫、數據處理、數據標注等核心功能聚合形成能力中心,同時產生了兩個不同的開發界面:一個是零門檻開發平臺EasyDL,EasyDL更關注的是從數據輸入、模型輸出的簡單易用的效果,并且預置了很多視頻、圖像、文本、語音、OCR等等場景化的算法模型;另外一個是全功能AI開發平
73、臺BML,BML面向AI算法開發者提供了非常多的建模方式、預置模型方式、可視化建模等,充分滿足算法開發者對開發效率的要求、以及在開發過程中對輔助工具的需求。飛槳企業版-AI 開發雙平臺模式(圖5-4)資源管理模型部署模型倉庫算法庫+框架數據標注模型訓練零門檻EasyDL面向AI應用開發者BML面向AI算法開發者數據處理視頻圖像文本語音OCR結構化數據商品檢測Notebook建模Pipeline建模預置模型調參可視化建模模型產線建模實驗管理全功能“云智一體”技術與應用解析 企業AI開發篇22235.1 零基礎AI開發平臺:EasyDL百度智能云2017年推出的零門檻AI開發平臺-EasyDL,是
74、業內最早推出的自動化機器學習平臺。根據全球權威咨詢機構 IDC(國際數據公司)2021 年 6 月發布的中國深度學習框架和平臺市場份額報告顯示,百度的“零門檻AI開發平臺EasyDL”繼連續兩年位列中國機器學習平臺市場份額第一之后,2021上半年繼續保持第一(如圖5.1-1所示)。(圖5.1-1)數據來源:IDC深度學習框架和平臺市場份額2021.6數據來源:IDC百度EasyDL中國機器學習平臺市場份額(2021.6)EasyDL的操作使用非常簡單易用。開發者僅需準備好與業務相關的數據,輸入至EasyDL平臺后,EasyDL就會對數據進行處理,在這個過程中,EasyDL提供了非常多的自動化的
75、工具,包括AutoDL、超大規模預訓練模型等,讓數據通過EasyDL自動生產能夠應用于業務的模型。還可通過EasyDL的模型部署功能,最終把此模型應用到工業質檢、生產安全等多個領域(如圖5.1-2所示)。(圖5.1-2)以零件分揀業務場景為例EasyDL 零門檻 AI 開發平臺以一個零件分撿業務舉例子,最快15分鐘就可以定制一個AI服務(如圖5.1-3所示)。通過選擇模型類型,物體檢測,上傳標注的數據,模型訓練,便可產出優秀的模型效果,最終集成在軟硬一體的硬件上使用。EasyDL 最快15分鐘即可獲取定制 AI 服務(圖5.1-3)數據準備模型訓練AutoDL工具數據采集數據清洗數據擴充數據標
76、注可視化管理數據回流圖片文本視頻音頻結構化數據模型部署公有云部署私有化部署設備端部署軟硬一體部署應用構建工業質檢安全生產智能硬件零售快消互聯網AutoDL Transfer遷移學習 AutoDL Finetuner自動超參搜索Auto Augment自動數據增強超大規模預訓練模型分布式訓練加速適應產業應用算法集合場景自適應訓練優化模型評估與歸因分析視覺語義(飛槳文心 ERNIE)多種效果/性能算法選型選擇模型類型集成使用上傳并標注數據物體檢測模型發布模型發布為設備端 SDK集成在 EdgeBoard中離線計算訓練模型選擇高精度算法mAP96.92%完成65張包含螺絲螺母數據的標注“云智一體”技
77、術與應用解析 企業AI開發篇24255.1 零基礎AI開發平臺:EasyDL百度智能云2017年推出的零門檻AI開發平臺-EasyDL,是業內最早推出的自動化機器學習平臺。根據全球權威咨詢機構 IDC(國際數據公司)2021 年 6 月發布的中國深度學習框架和平臺市場份額報告顯示,百度的“零門檻AI開發平臺EasyDL”繼連續兩年位列中國機器學習平臺市場份額第一之后,2021上半年繼續保持第一(如圖5.1-1所示)。(圖5.1-1)數據來源:IDC深度學習框架和平臺市場份額2021.6數據來源:IDC百度EasyDL中國機器學習平臺市場份額(2021.6)EasyDL的操作使用非常簡單易用。開
78、發者僅需準備好與業務相關的數據,輸入至EasyDL平臺后,EasyDL就會對數據進行處理,在這個過程中,EasyDL提供了非常多的自動化的工具,包括AutoDL、超大規模預訓練模型等,讓數據通過EasyDL自動生產能夠應用于業務的模型。還可通過EasyDL的模型部署功能,最終把此模型應用到工業質檢、生產安全等多個領域(如圖5.1-2所示)。(圖5.1-2)以零件分揀業務場景為例EasyDL 零門檻 AI 開發平臺以一個零件分撿業務舉例子,最快15分鐘就可以定制一個AI服務(如圖5.1-3所示)。通過選擇模型類型,物體檢測,上傳標注的數據,模型訓練,便可產出優秀的模型效果,最終集成在軟硬一體的硬
79、件上使用。EasyDL 最快15分鐘即可獲取定制 AI 服務(圖5.1-3)數據準備模型訓練AutoDL工具數據采集數據清洗數據擴充數據標注可視化管理數據回流圖片文本視頻音頻結構化數據模型部署公有云部署私有化部署設備端部署軟硬一體部署應用構建工業質檢安全生產智能硬件零售快消互聯網AutoDL Transfer遷移學習 AutoDL Finetuner自動超參搜索Auto Augment自動數據增強超大規模預訓練模型分布式訓練加速適應產業應用算法集合場景自適應訓練優化模型評估與歸因分析視覺語義(飛槳文心 ERNIE)多種效果/性能算法選型選擇模型類型集成使用上傳并標注數據物體檢測模型發布模型發布
80、為設備端 SDK集成在 EdgeBoard中離線計算訓練模型選擇高精度算法mAP96.92%完成65張包含螺絲螺母數據的標注“云智一體”技術與應用解析 企業AI開發篇2425EasyDL作為零門檻的AI開發平臺,針對AI應用開發者的核心訴求(如圖5.1-4所示),在AI開發及部署過程中做了非常貼心的細節優化,為這類開發過程提供了非常豐富的任務場景,而且提供便捷的數據標注服務,同時考慮到開發者對訓練效果的高要求,提供超高精度的模型訓練效果,在模型訓練完成后提供靈活的模型部署方案,以便開發者實現在各種場景的部署和應用。(圖5.1-4)AI應用開發者的核心訴求豐富任務場景便捷的數據服務超高精度訓練效
81、果靈活部署方案零門檻AI開發平臺EasyDL,支持圖像、文本、視頻、語音、OCR、結構化數據、零售行業版7大方向,17種任務類型(如圖5.1-5所示),支持公有云、本地服務部署、設備端、軟硬一體四種部署方案,已服務超過90萬用戶。綜上所述,簡單易用的EasyDL,其全景功能,主要可分為數據服務、模型訓練、模型部署三個大部分。EasyDL 豐富任務場景-7大方向、16種任務類型(圖5.1-5)圖像分類物體檢測圖像分割圖像OCR模板定制聲音分類零售行業版文本分類單標簽文本分類多標簽情感傾向分析文本實體抽取文本實體關系抽取文本視頻視頻分類目標跟蹤OCR語音識別語音結構化數據時序預測表格數據預測商品檢
82、測EasyDL 智能數據服務-EasyData(圖5.1-6)EasyDL全景功能的第一部分是“數據服務”EasyDL不僅可提供豐富的任務場景模型,而且在數據處理方面還內置了強大的EasyData,業內首個智能數據服務平臺(如圖5.1-6所示)。對于機器學習的數據來說分兩個大部分,一是數據獲取,二是數據處理。這兩個部分都非常耗時,尤其是非結構化數據的獲取,往往會涉及到采集端的硬件選型和設備調試,由于不同的應用場景對數據的要求不同,對硬件規格的需求也不同,開發者一旦選錯方案,就會嚴重耽誤開發周期。EasyData提供了軟硬一體的數據采集方案,很大程度避免了開發者自行硬件選型和對接開發的成本。同時
83、EasyData還在數據標注處理方面提供全流程的智能化方案,開發者可通過EasyDL進行軟硬一體的數據采集、自動數據清洗/擴充、智能數據標注,整個過程使手工操作的成本減少75%。模型訓練與發布反復且耗時人力成本高 周期長軟硬一體數據采集數據采集周期從周提升到小時自動數據清洗/擴充人工處理成本降低80%數據需求量降低90%智能數據標注數據標注量降低70%支持多人標注自動數據閉環手工操作減少75%硬件選型硬件調試數據獲取難例挖掘數據擴充數據傳輸數據標注模型訓練服務部署模型迭代“云智一體”技術與應用解析 企業AI開發篇2627EasyDL作為零門檻的AI開發平臺,針對AI應用開發者的核心訴求(如圖5
84、.1-4所示),在AI開發及部署過程中做了非常貼心的細節優化,為這類開發過程提供了非常豐富的任務場景,而且提供便捷的數據標注服務,同時考慮到開發者對訓練效果的高要求,提供超高精度的模型訓練效果,在模型訓練完成后提供靈活的模型部署方案,以便開發者實現在各種場景的部署和應用。(圖5.1-4)AI應用開發者的核心訴求豐富任務場景便捷的數據服務超高精度訓練效果靈活部署方案零門檻AI開發平臺EasyDL,支持圖像、文本、視頻、語音、OCR、結構化數據、零售行業版7大方向,17種任務類型(如圖5.1-5所示),支持公有云、本地服務部署、設備端、軟硬一體四種部署方案,已服務超過90萬用戶。綜上所述,簡單易用
85、的EasyDL,其全景功能,主要可分為數據服務、模型訓練、模型部署三個大部分。EasyDL 豐富任務場景-7大方向、16種任務類型(圖5.1-5)圖像分類物體檢測圖像分割圖像OCR模板定制聲音分類零售行業版文本分類單標簽文本分類多標簽情感傾向分析文本實體抽取文本實體關系抽取文本視頻視頻分類目標跟蹤OCR語音識別語音結構化數據時序預測表格數據預測商品檢測EasyDL 智能數據服務-EasyData(圖5.1-6)EasyDL全景功能的第一部分是“數據服務”EasyDL不僅可提供豐富的任務場景模型,而且在數據處理方面還內置了強大的EasyData,業內首個智能數據服務平臺(如圖5.1-6所示)。對
86、于機器學習的數據來說分兩個大部分,一是數據獲取,二是數據處理。這兩個部分都非常耗時,尤其是非結構化數據的獲取,往往會涉及到采集端的硬件選型和設備調試,由于不同的應用場景對數據的要求不同,對硬件規格的需求也不同,開發者一旦選錯方案,就會嚴重耽誤開發周期。EasyData提供了軟硬一體的數據采集方案,很大程度避免了開發者自行硬件選型和對接開發的成本。同時EasyData還在數據標注處理方面提供全流程的智能化方案,開發者可通過EasyDL進行軟硬一體的數據采集、自動數據清洗/擴充、智能數據標注,整個過程使手工操作的成本減少75%。模型訓練與發布反復且耗時人力成本高 周期長軟硬一體數據采集數據采集周期
87、從周提升到小時自動數據清洗/擴充人工處理成本降低80%數據需求量降低90%智能數據標注數據標注量降低70%支持多人標注自動數據閉環手工操作減少75%硬件選型硬件調試數據獲取難例挖掘數據擴充數據傳輸數據標注模型訓練服務部署模型迭代“云智一體”技術與應用解析 企業AI開發篇2627EasyDL全景功能的第二部分是“模型訓練”EasyDL預置了超大規模的圖像預訓練模型,這是EasyDL之所以能夠生產出超高精度模型的秘訣(如圖5.1-7所示)。在圖像分類預訓練模型方面,EasyDL基于海量互聯網數據,提供10萬+類tag、6500萬圖片,顯著提升了模型訓練精度;在物體檢測預訓練模型方面,EasyDL提
88、供了800+tag、170萬圖片、1000萬+檢測框,明顯提升了模型訓練平均準確率。EasyDL 超高精度訓練-預置超大規模圖像預訓練模型同時,EasyDL集成了國內外市場上都聞名遐爾的語義理解框架飛槳文心(ERNIE)。這是百度自研的超大規模自然語言處理的預訓練模型(如圖5.1-8所示)。ERNIE通過對預置數據的學習,掌握了大量的文本和語義相關的背景知識,將這些背景知識應用到自然語言處理技術NLP中,例如對話、問答、情感分析這些模型訓練任務上,可以有效提升模型效果。EasyDL超高精度的模型訓練,給開發者帶來兩方面的價值。一方面是助力業務冷啟動,企業在進行AI模型開發時,通常情況下并沒有具
89、備足夠多的數據,開發者可使用EasyDL提供的預訓練模型,再加上非常少量的樣本數據,就能夠得到比較滿意的模型效果。另一方面是提升業務效果,即使開發者已經具有足夠多的數據,EasyDL預訓練模型仍然能夠顯著提升包括NLP和CV在內的多項業務指標(如圖5.1-9所示)。EasyDL超高精度訓練-預置NLP預訓練模型ERNIE(圖5.1-8)持續學習的語義理解框架,讓企業站在海量大數據的肩膀上飛槳文心 ERNIE1500萬篇百科語料和詞語、實體知識700萬句人類對話知識3億文章因果結構關系10億搜索查詢-結果句對知識2000萬語言蘊含關系知識對話問答情感分析語言推理閱讀理解信息抽取海量中文數據、知識
90、提供核心燃料,結合NLP應用任務,持續學習、持續迭代持續學習海量知識全面提升NLP任務效果(圖5.1-7)花卉植物葉子手繪簡筆畫10個數據集8個數據集圖像分類預訓練模型,基于海量互聯網數據,10萬+類tag,6500萬圖片物體檢測預訓練模型,基于海量互聯網數據,800+tag,170萬圖片,1000萬+檢測框平均精度 7.73%TOP-1平均準確率 4.53%Iou=0.5預訓練模型77.8%68.6%87.9%分類預訓練模型98.9%76.55%91.1%ImageNet數據集檢測預訓練模型88.3%81.4%73.6%車牌照檢測游戲中物體檢測車輛與行人檢測預訓練模型76.1%80.1%66
91、.7%ImageNet數據集飛槳大規模飛槳大規?!霸浦且惑w”技術與應用解析 企業AI開發篇2829EasyDL全景功能的第二部分是“模型訓練”EasyDL預置了超大規模的圖像預訓練模型,這是EasyDL之所以能夠生產出超高精度模型的秘訣(如圖5.1-7所示)。在圖像分類預訓練模型方面,EasyDL基于海量互聯網數據,提供10萬+類tag、6500萬圖片,顯著提升了模型訓練精度;在物體檢測預訓練模型方面,EasyDL提供了800+tag、170萬圖片、1000萬+檢測框,明顯提升了模型訓練平均準確率。EasyDL 超高精度訓練-預置超大規模圖像預訓練模型同時,EasyDL集成了國內外市場上都聞名
92、遐爾的語義理解框架飛槳文心(ERNIE)。這是百度自研的超大規模自然語言處理的預訓練模型(如圖5.1-8所示)。ERNIE通過對預置數據的學習,掌握了大量的文本和語義相關的背景知識,將這些背景知識應用到自然語言處理技術NLP中,例如對話、問答、情感分析這些模型訓練任務上,可以有效提升模型效果。EasyDL超高精度的模型訓練,給開發者帶來兩方面的價值。一方面是助力業務冷啟動,企業在進行AI模型開發時,通常情況下并沒有具備足夠多的數據,開發者可使用EasyDL提供的預訓練模型,再加上非常少量的樣本數據,就能夠得到比較滿意的模型效果。另一方面是提升業務效果,即使開發者已經具有足夠多的數據,EasyD
93、L預訓練模型仍然能夠顯著提升包括NLP和CV在內的多項業務指標(如圖5.1-9所示)。EasyDL超高精度訓練-預置NLP預訓練模型ERNIE(圖5.1-8)持續學習的語義理解框架,讓企業站在海量大數據的肩膀上飛槳文心 ERNIE1500萬篇百科語料和詞語、實體知識700萬句人類對話知識3億文章因果結構關系10億搜索查詢-結果句對知識2000萬語言蘊含關系知識對話問答情感分析語言推理閱讀理解信息抽取海量中文數據、知識提供核心燃料,結合NLP應用任務,持續學習、持續迭代持續學習海量知識全面提升NLP任務效果(圖5.1-7)花卉植物葉子手繪簡筆畫10個數據集8個數據集圖像分類預訓練模型,基于海量互
94、聯網數據,10萬+類tag,6500萬圖片物體檢測預訓練模型,基于海量互聯網數據,800+tag,170萬圖片,1000萬+檢測框平均精度 7.73%TOP-1平均準確率 4.53%Iou=0.5預訓練模型77.8%68.6%87.9%分類預訓練模型98.9%76.55%91.1%ImageNet數據集檢測預訓練模型88.3%81.4%73.6%車牌照檢測游戲中物體檢測車輛與行人檢測預訓練模型76.1%80.1%66.7%ImageNet數據集飛槳大規模飛槳大規?!霸浦且惑w”技術與應用解析 企業AI開發篇2829EasyDL 訓練精度顯著提升(圖5.1-9)助力業務冷啟動25354555657
95、58595without ERNIEERNIE60 68 75 83 90 NLP情感分析任務數據量減少90%CV多個任務平均數據量減少70%0 1,000 2,000 3,000 4,000 5,000 6,000 數據量0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 4,500 數據量準確率等指標準確率、mAP等指標NLP多種任務指標顯著提升CV多種任務指標顯著提升傳統開發模式預訓練模型開發模式ImageNet預訓練百度超大規模視覺預訓練提升業務效果傳統開發模式預訓練模型開發模式在模型訓練完成后,如何判斷模型效果,這同樣也是開發者非常關注的問
96、題。EasyDL的“智能歸因”功能能夠很好的幫助開發者進行模型的調優(如圖5.1-10所示)。例如對于一個分類模型,EasyDL提供多種歸因分析,不僅可對模型的總體指標、詳細指標進行剖析,而且還提供三種常見的歸因分析工具可對模型效果進行歸因分析:歸因分析工具一:混淆矩陣。通過數據統計,不僅可以幫助開發者精準判斷模型在哪些類別上容易出錯,而且還能幫助開發者在這些類別上增加數據、調優模型效果。歸因分析工具二:熱力圖??梢苑治龀鰳颖緮祿锬P完P注的是哪些具體的地方,進一步地解釋模型的決策依據,在整圖范圍內給出影響模型識別結果的像素重要程度。歸因分析工具三:噪聲樣本挖掘。根據混淆矩陣和熱力圖,直接挖掘
97、影響模型效果的噪聲樣本,幫助開發者有針對性的進行模型迭代。經過EasyDL對模型的自動化的智能歸因分析和模型調優循環,能夠使調憂效率平均提升50%、模型精度效果平均提升21%。EasyDL超高精度訓練-智能歸因助力模型調優(圖5.1-10)模型調優效率提升50%模型精度效果提升21%5060708090100模型精度原效果補充易混淆類別數據根據熱力圖豐富干擾背景圖片根據噪聲樣本修正錯標數據1234查看詳細指標圈定精度欠佳標簽通過歸因分析洞察原因收集易混淆類別數據模型有針對性的迭代混淆矩陣噪聲樣本挖掘熱力圖指標總體指標詳細分析歸因“云智一體”技術與應用解析 企業AI開發篇3031EasyDL 訓
98、練精度顯著提升(圖5.1-9)助力業務冷啟動2535455565758595without ERNIEERNIE60 68 75 83 90 NLP情感分析任務數據量減少90%CV多個任務平均數據量減少70%0 1,000 2,000 3,000 4,000 5,000 6,000 數據量0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 4,500 數據量準確率等指標準確率、mAP等指標NLP多種任務指標顯著提升CV多種任務指標顯著提升傳統開發模式預訓練模型開發模式ImageNet預訓練百度超大規模視覺預訓練提升業務效果傳統開發模式預訓練模型開發模
99、式在模型訓練完成后,如何判斷模型效果,這同樣也是開發者非常關注的問題。EasyDL的“智能歸因”功能能夠很好的幫助開發者進行模型的調優(如圖5.1-10所示)。例如對于一個分類模型,EasyDL提供多種歸因分析,不僅可對模型的總體指標、詳細指標進行剖析,而且還提供三種常見的歸因分析工具可對模型效果進行歸因分析:歸因分析工具一:混淆矩陣。通過數據統計,不僅可以幫助開發者精準判斷模型在哪些類別上容易出錯,而且還能幫助開發者在這些類別上增加數據、調優模型效果。歸因分析工具二:熱力圖??梢苑治龀鰳颖緮祿锬P完P注的是哪些具體的地方,進一步地解釋模型的決策依據,在整圖范圍內給出影響模型識別結果的像素重要
100、程度。歸因分析工具三:噪聲樣本挖掘。根據混淆矩陣和熱力圖,直接挖掘影響模型效果的噪聲樣本,幫助開發者有針對性的進行模型迭代。經過EasyDL對模型的自動化的智能歸因分析和模型調優循環,能夠使調憂效率平均提升50%、模型精度效果平均提升21%。EasyDL超高精度訓練-智能歸因助力模型調優(圖5.1-10)模型調優效率提升50%模型精度效果提升21%5060708090100模型精度原效果補充易混淆類別數據根據熱力圖豐富干擾背景圖片根據噪聲樣本修正錯標數據1234查看詳細指標圈定精度欠佳標簽通過歸因分析洞察原因收集易混淆類別數據模型有針對性的迭代混淆矩陣噪聲樣本挖掘熱力圖指標總體指標詳細分析歸因
101、“云智一體”技術與應用解析 企業AI開發篇3031(圖5.1-12)EasyDL全景功能的第三部分是“模型部署”為了滿足不同應用場景的需求,EasyDL支持非常靈活的模型部署方式(如圖5.1-11所示)。提供公有云 API、本地服務器部署、設備端 SDK、軟硬一體產品的四大部署方式。用戶只需經過簡單的設置,就可以將訓練好的模型轉換為滿足業務場景需求的服務。在設備端SDK上,適配了NVJetson系列、Intel神經加速棒、華為NPU、華為Atlas、高通DSP、RK等超過20種主流芯片與四大操作系統,是業界適配最廣泛的AI開發平臺。其中,軟硬一體的產品矩陣,針對不同的應用需求,提供了高效能的邊
102、緣計算的節點、高性能嵌入式的AI計算方案和低成本便攜式端AI側應用(如圖5.1-12所示)。EasyDL靈活部署方案-軟硬一體產品矩陣專項適配與加速,高中低全矩陣覆蓋,輕松打造嵌入式AI應用(圖5.1-11)EasyDL 支持靈活模型部署方案公有云 API高可用云服務彈性擴縮容自動數據閉環本地服務器部署一鍵打包終身設備授權全面安全保障軟硬一體產品6款方案專項適配與加速高中低全矩陣覆蓋模型識別速度最高提升10倍設備端 SDK適配最廣泛15+芯片類型4大操作系統EasyDL-EdgeBoard(FZ)計算盒軟硬一體方案EasyDL-Jetson Xavier軟硬一體方案超高性能邊緣AI計算節點高性
103、能嵌入式AI計算方案低成本、小功耗便攜式端側AI應用EasyDL-Jetson TX2軟硬一體開發套件EasyDL-EdgeBoard(VMX)加速卡軟硬一體方案EasyDL-Jetson Nano軟硬一體開發套件EasyDL-EdgeBoard(Lite)軟硬一體方案(圖5.1-13)在端云一體的部署過程中,百度智能云提供了非常有價值的端云協同部署方案(如圖5.1-13所示)。端云協同部署基于百度開源的智能邊緣BIE框架搭建,開發者可以輕松在云端管理各類端與邊緣設備。只需集成百度邊緣套件,就可以在本地設備上輕松獲得AI模型的本地推理、視頻流接入等功能。同時在云端可以進行服務的下發和更新、報表
104、統計和節點管理等功能。端云協同部署適合具有聯網(或部分聯網)條件下的業務場景,開發者訓練好模型,僅需1分鐘,就可以將新的模型下發更新到邊緣端進行驗證或者批量部署??梢詷O大提升AI模型開發的部署效率。EasyDL端云協同的部署方案可以運行在各式各樣的智能終端,如邊緣設備終端、一體機、服務器,在這些邊緣設備上,同時還可以接入各式傳感器(如攝像機、MIC等)。結合EasyDL的公有云部署和本地服務器部署,可以方便地構建出云邊端融合的一整套AI解決方案,滿足各種業務場景下的AI應用需求。提升AI模型開發部署效率,構建云邊端融合的AI解決方案EasyDL靈活部署方案-端云協同云端服務端/邊緣設備Came
105、raMICNVRDrone日志收集自動更新統計報表配置管理狀態監控邊緣節點管理數據存儲/資源調度/計算隊列管理服務下發APP數據上行服務下行AI端服務部署短至1分鐘視頻流接入AI模型本地推理百度智能邊緣(BIE)操作系統:Windows/Linux嵌入式終端智能盒子私有服務計算集群一體機AI“云智一體”技術與應用解析 企業AI開發篇3233(圖5.1-12)EasyDL全景功能的第三部分是“模型部署”為了滿足不同應用場景的需求,EasyDL支持非常靈活的模型部署方式(如圖5.1-11所示)。提供公有云 API、本地服務器部署、設備端 SDK、軟硬一體產品的四大部署方式。用戶只需經過簡單的設置,
106、就可以將訓練好的模型轉換為滿足業務場景需求的服務。在設備端SDK上,適配了NVJetson系列、Intel神經加速棒、華為NPU、華為Atlas、高通DSP、RK等超過20種主流芯片與四大操作系統,是業界適配最廣泛的AI開發平臺。其中,軟硬一體的產品矩陣,針對不同的應用需求,提供了高效能的邊緣計算的節點、高性能嵌入式的AI計算方案和低成本便攜式端AI側應用(如圖5.1-12所示)。EasyDL靈活部署方案-軟硬一體產品矩陣專項適配與加速,高中低全矩陣覆蓋,輕松打造嵌入式AI應用(圖5.1-11)EasyDL 支持靈活模型部署方案公有云 API高可用云服務彈性擴縮容自動數據閉環本地服務器部署一鍵
107、打包終身設備授權全面安全保障軟硬一體產品6款方案專項適配與加速高中低全矩陣覆蓋模型識別速度最高提升10倍設備端 SDK適配最廣泛15+芯片類型4大操作系統EasyDL-EdgeBoard(FZ)計算盒軟硬一體方案EasyDL-Jetson Xavier軟硬一體方案超高性能邊緣AI計算節點高性能嵌入式AI計算方案低成本、小功耗便攜式端側AI應用EasyDL-Jetson TX2軟硬一體開發套件EasyDL-EdgeBoard(VMX)加速卡軟硬一體方案EasyDL-Jetson Nano軟硬一體開發套件EasyDL-EdgeBoard(Lite)軟硬一體方案(圖5.1-13)在端云一體的部署過程
108、中,百度智能云提供了非常有價值的端云協同部署方案(如圖5.1-13所示)。端云協同部署基于百度開源的智能邊緣BIE框架搭建,開發者可以輕松在云端管理各類端與邊緣設備。只需集成百度邊緣套件,就可以在本地設備上輕松獲得AI模型的本地推理、視頻流接入等功能。同時在云端可以進行服務的下發和更新、報表統計和節點管理等功能。端云協同部署適合具有聯網(或部分聯網)條件下的業務場景,開發者訓練好模型,僅需1分鐘,就可以將新的模型下發更新到邊緣端進行驗證或者批量部署??梢詷O大提升AI模型開發的部署效率。EasyDL端云協同的部署方案可以運行在各式各樣的智能終端,如邊緣設備終端、一體機、服務器,在這些邊緣設備上,
109、同時還可以接入各式傳感器(如攝像機、MIC等)。結合EasyDL的公有云部署和本地服務器部署,可以方便地構建出云邊端融合的一整套AI解決方案,滿足各種業務場景下的AI應用需求。提升AI模型開發部署效率,構建云邊端融合的AI解決方案EasyDL靈活部署方案-端云協同云端服務端/邊緣設備CameraMICNVRDrone日志收集自動更新統計報表配置管理狀態監控邊緣節點管理數據存儲/資源調度/計算隊列管理服務下發APP數據上行服務下行AI端服務部署短至1分鐘視頻流接入AI模型本地推理百度智能邊緣(BIE)操作系統:Windows/Linux嵌入式終端智能盒子私有服務計算集群一體機AI“云智一體”技術
110、與應用解析 企業AI開發篇3233最后,在模型部署完成后,EasyDL結合自研的計算圖優化、模型壓縮、端到端硬件加速、異構計算編排等機制,大幅提升本地推理性能,幫助開發者將模型高效的應用在端上(如圖5.1-14所示)。(圖5.1-14)EasyDL靈活部署-本地部署服務性能大幅提升結合自研的計算圖優化、模型壓縮、端到端硬件加速、異構計算編排等機制,大幅提升本地推理性能050010001500200025000100200300400500600700800900FasterRCNN05001000150020002500YoloV3-Darknet性能優化平均精度損失低于1%推理速度/ms推理
111、時延降低62%內存占用/MB內存/顯存占用降低60%體積/MB模型體積減少84%原始模型+論文實現推理優化加速后模型+EasyEdge推理套件原始模型優化壓縮后模型JDE原始模型優化壓縮后模型5.2 全功能AI開發平臺:BML云智一體的AI開發雙平臺:零算法AI開發平臺EasyDL是面向AI應用開發者構建的,全功能AI開發平臺BML,則是面向AI算法開發者構建的(如圖5.2-1所示)。全功能AI開發平臺BML與零門檻AI開發平臺EasyDL的架構較為接近,因為它們的核心算法和模塊是可共享的。主要區別是在于模型構建和模型管理上,BML提供了更加豐富的構建方式,提供了更好的調優工具,更好的預訓練模
112、型。在模型管理上也提供了模型存儲、模型轉化、模型評估和模型優化的功能??梢哉fBML面向專業算法開發者提供了更靈活和更強大的AI開發平臺。(圖5.2-1)BML 全功能 AI 開發平臺數據準備模型構建AutoDL工具數據采集數據清洗數據擴充數據標注可視化管理數據回流圖片文本視頻音頻結構化數據模型管理應用構建模型部署模型存儲公有云部署模型轉換私有化部署模型評估設備端部署模型優化軟硬一體部署工業質檢安全生產智能硬件零售快消互聯網AutoDL Transfer遷移學習 AutoDL Finetuner自動超參搜索Auto Augment自動數據增強超大規模預訓練模型豐富開發方式視覺主流機器學習和深度學
113、習開發框架高性價比的算力資源語義(飛槳文心 ERNIE)NoteBook 建模預置模型調參可視化建模Pipeline 建模模型產線建?!霸浦且惑w”技術與應用解析 企業AI開發篇3435最后,在模型部署完成后,EasyDL結合自研的計算圖優化、模型壓縮、端到端硬件加速、異構計算編排等機制,大幅提升本地推理性能,幫助開發者將模型高效的應用在端上(如圖5.1-14所示)。(圖5.1-14)EasyDL靈活部署-本地部署服務性能大幅提升結合自研的計算圖優化、模型壓縮、端到端硬件加速、異構計算編排等機制,大幅提升本地推理性能0500100015002000250001002003004005006007
114、00800900FasterRCNN05001000150020002500YoloV3-Darknet性能優化平均精度損失低于1%推理速度/ms推理時延降低62%內存占用/MB內存/顯存占用降低60%體積/MB模型體積減少84%原始模型+論文實現推理優化加速后模型+EasyEdge推理套件原始模型優化壓縮后模型JDE原始模型優化壓縮后模型5.2 全功能AI開發平臺:BML云智一體的AI開發雙平臺:零算法AI開發平臺EasyDL是面向AI應用開發者構建的,全功能AI開發平臺BML,則是面向AI算法開發者構建的(如圖5.2-1所示)。全功能AI開發平臺BML與零門檻AI開發平臺EasyDL的架構
115、較為接近,因為它們的核心算法和模塊是可共享的。主要區別是在于模型構建和模型管理上,BML提供了更加豐富的構建方式,提供了更好的調優工具,更好的預訓練模型。在模型管理上也提供了模型存儲、模型轉化、模型評估和模型優化的功能??梢哉fBML面向專業算法開發者提供了更靈活和更強大的AI開發平臺。(圖5.2-1)BML 全功能 AI 開發平臺數據準備模型構建AutoDL工具數據采集數據清洗數據擴充數據標注可視化管理數據回流圖片文本視頻音頻結構化數據模型管理應用構建模型部署模型存儲公有云部署模型轉換私有化部署模型評估設備端部署模型優化軟硬一體部署工業質檢安全生產智能硬件零售快消互聯網AutoDL Trans
116、fer遷移學習 AutoDL Finetuner自動超參搜索Auto Augment自動數據增強超大規模預訓練模型豐富開發方式視覺主流機器學習和深度學習開發框架高性價比的算力資源語義(飛槳文心 ERNIE)NoteBook 建模預置模型調參可視化建模Pipeline 建模模型產線建?!霸浦且惑w”技術與應用解析 企業AI開發篇3435BML 全功能 AI 開發平臺核心優勢全功能AI開發平臺BML具有以下四個核心優勢:建模方式全面、預置高性能AI套件、交付靈活、同時還提供多種國產化解決方案,為企業提供自主可控廣泛適配的AI開發平臺(如圖5.2-2所示)。(圖5.2-2)高性能AI套件靈活交付部署國
117、產解決方案建模方式全面全功能AI開發平臺BML的核心優勢一:全面的建模方式BML提供Notebook、代碼、可視化、預置模型調參等多種開發方式,能夠覆蓋多種不同的開發場景(如圖5.2-3所示)。BML 建模方式全面-覆蓋不同開發場景(圖5.2-3)超越原生Jupyter Notebook的端云開發環境支持多種框架的代碼開發可視化拖拉拽,預置豐富組件基于預訓練的低代碼建模 預置模型調參 腳本編輯器 預訓練模型 網絡 代碼 算法框架 代碼文件 啟動命令 輸出路徑 可視化 Notebook 運行 編輯 在實踐中,AI開發者在外圍基礎設施的建設方面往往需要花費80%的精力,而在最影響模型效果的核心建模
118、環節,僅占了20%的開發時間。對此,BML在“預置模型調參”的開發方式中預置了大量的網絡結構和模型,涵蓋了大多數的常見場景(如圖5.2-4所示)。這可以為AI開發者在開發過程中節約大量的開發時間、將主要精力集中在最影響模型效果的核心建模環節。(圖5.2-5)BML預置模型調參-基于預訓練的低代碼建模影響模型效果80%的環節只占20%的開發時間(圖5.2-4)清洗數據數據增強預訓練模型分布式訓練外圍基礎設施的建設需要花費80%時間,而算法工程師最關注的建模環節才是決定模型效果的關鍵模型評估模型部署核心建模核心超參易變高層網絡復雜任務網絡優化Tricks數據分片/讀取同時,BML在“預置模型調參”
119、的開發方式中,提供的自動超參搜索功能是創新基于隨機微分方程的無梯度優化的調參算法,收斂速度快,不依賴平滑性假設,并可支持大規模的并行搜索調參。在開啟自動超參搜索之后,BML線上多場景的模型精度平均可提升10%以上(如圖5.2-5所示)。自動超參搜索大幅提升模型效果自動超參搜索 創新基于隨機微分方程的無梯度優化的調參算法,收斂速度快,不依賴平滑性假設 支持大規模并行搜索調參BML線上多場景模型精度均有顯著提升隨機搜索啟發式高效搜索AutoML ServiceManagerSearchSpaceTuner收集結果TrialTrialTrialTrialTrialTrial失敗重試Trial并發實驗
120、Trial10.950.90.850.80.750.70.650.6珠寶品類識別Base自動數據增強自動數據增強+超參數搜索集裝箱卡車號牌識別模型數度香煙過濾嘴質檢“云智一體”技術與應用解析 企業AI開發篇3637BML 全功能 AI 開發平臺核心優勢全功能AI開發平臺BML具有以下四個核心優勢:建模方式全面、預置高性能AI套件、交付靈活、同時還提供多種國產化解決方案,為企業提供自主可控廣泛適配的AI開發平臺(如圖5.2-2所示)。(圖5.2-2)高性能AI套件靈活交付部署國產解決方案建模方式全面全功能AI開發平臺BML的核心優勢一:全面的建模方式BML提供Notebook、代碼、可視化、預置
121、模型調參等多種開發方式,能夠覆蓋多種不同的開發場景(如圖5.2-3所示)。BML 建模方式全面-覆蓋不同開發場景(圖5.2-3)超越原生Jupyter Notebook的端云開發環境支持多種框架的代碼開發可視化拖拉拽,預置豐富組件基于預訓練的低代碼建模 預置模型調參 腳本編輯器 預訓練模型 網絡 代碼 算法框架 代碼文件 啟動命令 輸出路徑 可視化 Notebook 運行 編輯 在實踐中,AI開發者在外圍基礎設施的建設方面往往需要花費80%的精力,而在最影響模型效果的核心建模環節,僅占了20%的開發時間。對此,BML在“預置模型調參”的開發方式中預置了大量的網絡結構和模型,涵蓋了大多數的常見場
122、景(如圖5.2-4所示)。這可以為AI開發者在開發過程中節約大量的開發時間、將主要精力集中在最影響模型效果的核心建模環節。(圖5.2-5)BML預置模型調參-基于預訓練的低代碼建模影響模型效果80%的環節只占20%的開發時間(圖5.2-4)清洗數據數據增強預訓練模型分布式訓練外圍基礎設施的建設需要花費80%時間,而算法工程師最關注的建模環節才是決定模型效果的關鍵模型評估模型部署核心建模核心超參易變高層網絡復雜任務網絡優化Tricks數據分片/讀取同時,BML在“預置模型調參”的開發方式中,提供的自動超參搜索功能是創新基于隨機微分方程的無梯度優化的調參算法,收斂速度快,不依賴平滑性假設,并可支持
123、大規模的并行搜索調參。在開啟自動超參搜索之后,BML線上多場景的模型精度平均可提升10%以上(如圖5.2-5所示)。自動超參搜索大幅提升模型效果自動超參搜索 創新基于隨機微分方程的無梯度優化的調參算法,收斂速度快,不依賴平滑性假設 支持大規模并行搜索調參BML線上多場景模型精度均有顯著提升隨機搜索啟發式高效搜索AutoML ServiceManagerSearchSpaceTuner收集結果TrialTrialTrialTrialTrialTrial失敗重試Trial并發實驗Trial10.950.90.850.80.750.70.650.6珠寶品類識別Base自動數據增強自動數據增強+超參數
124、搜索集裝箱卡車號牌識別模型數度香煙過濾嘴質檢“云智一體”技術與應用解析 企業AI開發篇3637BML預置的第二個核心套件,是飛槳文心ERNIE開發套件,飛槳的可持續學習語義學習模型(如圖5.2-8所示)。除此之外還提供三十多個算法工具,二十多個細化的預訓練模型,二十多個數據處理的工具和二十多個基礎開發的工具,使整個數據標注投入的算法、開發時長都有大幅度降低,效率大幅度提升。此外,BML還具有數據優化和增強的功能,開放超過40種算子和工業級的算法,有效提升模型效果(如圖5.2-6所示)。例如對于蘋果物體,BML可實現對它進行自動的剪切、平移、旋轉、對比度、反色等處理,讓這樣單一的樣本,自動擴展出
125、多個不同維度的樣本。實現小數據量的模型訓練也能得到較豐富的效果,使多個場景的平均精度提升7%以上。(圖5.2-8)BML 高性能 AI 套件飛槳文心(ERNIE)NLP開發套件文本分類ERNIE2.0通用模型ERNIEIE信息抽取模型ERNIETiny輕量模型情感分析文本匹配文本審核信息抽取閱讀理解問答匹配文本增強微調工具文本清洗模型蒸餾文本采樣參數搜索編碼轉換一鍵式部署其他算法工具30+預訓練模型20+數據處理工具20+基礎開發工具20+數據標注90%投入算力90%開發時長85%全功能AI開發平臺BML的核心優勢二:預置高性能AI套件BML預置了兩個核心的高性能AI套件。其中一個是高性能的機
126、器學習套件,用于數據分析機器學習場景下的加速,并且其接口具有很強的兼容性(如圖5.2-7所示)。使用高性能的機器學習套件,相比其他開源工具平均加速高達6倍以上。自動數據增強有效提升模型效果(圖5.2-6)自動數據增強剪切隨機遮擋模型數度Base自動數據增強10.950.90.850.80.750.70.650.6珠寶品類識別集裝箱卡車號牌識別香煙過濾嘴質檢BML線上多場景模型精度平均提升7%以上 開放超過40種算子,靈活配置 工業級搜索算法,搜索效率更高BML 高性能 AI 套件高性能單機引擎(圖5.2-7)測試環境:CPU 28邏輯核,intel(R)Xeon(R);Gold 5117 CP
127、U 2.00GHz;內存:256G;GPU:7卡 Tesla P40;顯存:24G;五個場景取自 Kaggle 上公開數據集050010001500200025003000相比開源工具平均加速6倍以上pandas+sklearn airlinenyc_ taxiusa_ incomefb_ biddingpilot awareness高性能單機引擎 數據分析、機器學習場景下的加速10倍于開源工具的數據處理能力兼容 Pandas/sklearn/SQL 接口“云智一體”技術與應用解析 企業AI開發篇3839BML預置的第二個核心套件,是飛槳文心ERNIE開發套件,飛槳的可持續學習語義學習模型(如
128、圖5.2-8所示)。除此之外還提供三十多個算法工具,二十多個細化的預訓練模型,二十多個數據處理的工具和二十多個基礎開發的工具,使整個數據標注投入的算法、開發時長都有大幅度降低,效率大幅度提升。此外,BML還具有數據優化和增強的功能,開放超過40種算子和工業級的算法,有效提升模型效果(如圖5.2-6所示)。例如對于蘋果物體,BML可實現對它進行自動的剪切、平移、旋轉、對比度、反色等處理,讓這樣單一的樣本,自動擴展出多個不同維度的樣本。實現小數據量的模型訓練也能得到較豐富的效果,使多個場景的平均精度提升7%以上。(圖5.2-8)BML 高性能 AI 套件飛槳文心(ERNIE)NLP開發套件文本分類
129、ERNIE2.0通用模型ERNIEIE信息抽取模型ERNIETiny輕量模型情感分析文本匹配文本審核信息抽取閱讀理解問答匹配文本增強微調工具文本清洗模型蒸餾文本采樣參數搜索編碼轉換一鍵式部署其他算法工具30+預訓練模型20+數據處理工具20+基礎開發工具20+數據標注90%投入算力90%開發時長85%全功能AI開發平臺BML的核心優勢二:預置高性能AI套件BML預置了兩個核心的高性能AI套件。其中一個是高性能的機器學習套件,用于數據分析機器學習場景下的加速,并且其接口具有很強的兼容性(如圖5.2-7所示)。使用高性能的機器學習套件,相比其他開源工具平均加速高達6倍以上。自動數據增強有效提升模型
130、效果(圖5.2-6)自動數據增強剪切隨機遮擋模型數度Base自動數據增強10.950.90.850.80.750.70.650.6珠寶品類識別集裝箱卡車號牌識別香煙過濾嘴質檢BML線上多場景模型精度平均提升7%以上 開放超過40種算子,靈活配置 工業級搜索算法,搜索效率更高BML 高性能 AI 套件高性能單機引擎(圖5.2-7)測試環境:CPU 28邏輯核,intel(R)Xeon(R);Gold 5117 CPU 2.00GHz;內存:256G;GPU:7卡 Tesla P40;顯存:24G;五個場景取自 Kaggle 上公開數據集050010001500200025003000相比開源工具
131、平均加速6倍以上pandas+sklearn airlinenyc_ taxiusa_ incomefb_ biddingpilot awareness高性能單機引擎 數據分析、機器學習場景下的加速10倍于開源工具的數據處理能力兼容 Pandas/sklearn/SQL 接口“云智一體”技術與應用解析 企業AI開發篇3839全功能AI開發平臺BML的核心優勢四:提供軟硬一體的國產化解決方案BML全面支持從國產深度學習框架飛槳,到麒麟等國產操作系統,再到國產CPU和GPU以及長城、曙光、聯想、浪潮推出的各類硬件形態,構成了一套自主可控、適配廣泛的AI開發及部署方案(如圖5.2-10所示)。其中,
132、百度自研基于天蝎的整機柜方案,對功耗、性能、散熱都做了非常多的優化,并通過模型加密、代碼加固、TPM可信鑒權、主機防護等方式強化了安全保障。(圖5.2-10)BML 一體機-自主可控 適配廣泛基于天蝎提供整機柜方案(長城、曙光、聯想、浪潮)提供通用機架式服務器方案CPU(飛騰、申威、鯤鵬、海光)ASIC/FPGA(百度昆侖、比特大陸、寒武紀)GPU(英偉達)(長城、曙光、聯想、浪潮)安全能力模型加密代碼加固TPM可信鑒權主機防護硬件形態算力支撐深度學習框架(PaddlePaddle)操作系統(麒麟、統信)企業AI能力生產與集中化管理平臺:AI中臺 全功能AI開發平臺BML的核心優勢三:靈活交付
133、BML有四種滿足不同需求的交付方式,包括公有云、私有云、混合云、一體機(如圖5.2-9所示)。(圖5.2-9)BML 靈活交付部署-四種選擇滿足不同需求混合云彈性伸縮私有云靈活集成公有云按需付費一體機即插即用“云智一體”技術與應用解析 企業AI開發篇4041全功能AI開發平臺BML的核心優勢四:提供軟硬一體的國產化解決方案BML全面支持從國產深度學習框架飛槳,到麒麟等國產操作系統,再到國產CPU和GPU以及長城、曙光、聯想、浪潮推出的各類硬件形態,構成了一套自主可控、適配廣泛的AI開發及部署方案(如圖5.2-10所示)。其中,百度自研基于天蝎的整機柜方案,對功耗、性能、散熱都做了非常多的優化,
134、并通過模型加密、代碼加固、TPM可信鑒權、主機防護等方式強化了安全保障。(圖5.2-10)BML 一體機-自主可控 適配廣泛基于天蝎提供整機柜方案(長城、曙光、聯想、浪潮)提供通用機架式服務器方案CPU(飛騰、申威、鯤鵬、海光)ASIC/FPGA(百度昆侖、比特大陸、寒武紀)GPU(英偉達)(長城、曙光、聯想、浪潮)安全能力模型加密代碼加固TPM可信鑒權主機防護硬件形態算力支撐深度學習框架(PaddlePaddle)操作系統(麒麟、統信)企業AI能力生產與集中化管理平臺:AI中臺 全功能AI開發平臺BML的核心優勢三:靈活交付BML有四種滿足不同需求的交付方式,包括公有云、私有云、混合云、一體
135、機(如圖5.2-9所示)。(圖5.2-9)BML 靈活交付部署-四種選擇滿足不同需求混合云彈性伸縮私有云靈活集成公有云按需付費一體機即插即用“云智一體”技術與應用解析 企業AI開發篇4041在上述介紹的發展過程中,特別是從一個單點垂直場景的應用探索發展到多個業務場景的全面升級過程中,企業往往會面臨來自AI能力的生產、應用和運維等方面的管理問題(如圖6-2所示),例如數據、算力、算法等AI時代的核心資產的管理和共享,有時候會面臨著核心資源形成孤島、無法實現及時的構建和共享,從而影響企業的核心經驗和資產的沉淀。另外,跨業務場景的AI能力的共用和統一升級也會面臨困難。最后,當企業建立多個智能應用的時
136、候,這些智能應用由于分散部署、分散運維,從而帶來一些資源調配上的難題。這些問題往往會導致企業的開發經驗和技術能力難以快速復用和沉淀,從而影響整個企業智能化轉型和升級的進程。(圖6-1)企業智能化升級的發展路徑第一階段應用探索第二階段垂直深化第三階段全面升級第四階段持續創新企業智能化升級的發展路徑往往會經歷四個階段(如圖6-1所示):第一階段是應用探索,即對單點AI的應用探索。第二階段是垂直深化,即在某一個業務場景中垂直深化的AI技術應用。第三階段是全面升級階段,從探索階段發展到在多個業務場景、業務流程各個環節中的全面升級,最后進入到第四個階段,持續創新的階段。AI中臺正是以上問題的解決方案,即
137、為企業構建一套AI能力的生產和集中化管理的平臺(如圖6-3所示)。AI中臺的核心包括了AI能力引擎、AI開發平臺兩部分。再結合與之配套的完善的數據管理、服務管理、全線資源運維管理體系,幫助企業構建一套智能化升級的基礎設施,通過這樣的基礎設施幫助企業實現集約化的AI能力的管理,實現統籌化的企業智能化升級。AI能力引擎,是AI中臺的核心模塊之一。百度智能云結合業務實踐,沉淀了超過330項AI技術能力和方案(如圖6-4所示),這些技術能力和方案,通過即拿即用的便利服務形態,并且結合產業的實際場景提供了多種形態的靈活部署方案,從而支撐企業在這基礎之上構建多樣化的場景應用。(圖6-3)AI中臺為企業構建
138、智能化升級必備的基礎設施企業AI能力的生產和集中化管理平臺統籌企業智能化升級集約化管理企業AI能力企業專屬人工智能平臺AI能力引擎AI開發平臺人臉圖像OCR數據管理服務管理權限管理資源管理運維管理視頻語音ARNLP場景化定制平臺KGEasyDLBML(圖6-2)企業智能化升級發展過程中的管理痛點痛點AI能力的運維數據、模型的管理與共享AI服務運行情況監控不同廠商、不同來源的模型難以集中管理多個智能應用的統一運維和資源調配存在困難痛點AI能力的應用模型部署與優化場景化應用建設采購第三方的模型,后期難以自主優化跨業務場景的AI能力共用和統一升級,實現難度高痛點AI能力的生產采購第三方模型自主開發模
139、型數據、算力、算法模型等核心資產形成孤島,資源利用效率低出現重復建設,難以形成經驗沉淀,實現共建共享“云智一體”技術與應用解析 企業AI開發篇4243在上述介紹的發展過程中,特別是從一個單點垂直場景的應用探索發展到多個業務場景的全面升級過程中,企業往往會面臨來自AI能力的生產、應用和運維等方面的管理問題(如圖6-2所示),例如數據、算力、算法等AI時代的核心資產的管理和共享,有時候會面臨著核心資源形成孤島、無法實現及時的構建和共享,從而影響企業的核心經驗和資產的沉淀。另外,跨業務場景的AI能力的共用和統一升級也會面臨困難。最后,當企業建立多個智能應用的時候,這些智能應用由于分散部署、分散運維,
140、從而帶來一些資源調配上的難題。這些問題往往會導致企業的開發經驗和技術能力難以快速復用和沉淀,從而影響整個企業智能化轉型和升級的進程。(圖6-1)企業智能化升級的發展路徑第一階段應用探索第二階段垂直深化第三階段全面升級第四階段持續創新企業智能化升級的發展路徑往往會經歷四個階段(如圖6-1所示):第一階段是應用探索,即對單點AI的應用探索。第二階段是垂直深化,即在某一個業務場景中垂直深化的AI技術應用。第三階段是全面升級階段,從探索階段發展到在多個業務場景、業務流程各個環節中的全面升級,最后進入到第四個階段,持續創新的階段。AI中臺正是以上問題的解決方案,即為企業構建一套AI能力的生產和集中化管理
141、的平臺(如圖6-3所示)。AI中臺的核心包括了AI能力引擎、AI開發平臺兩部分。再結合與之配套的完善的數據管理、服務管理、全線資源運維管理體系,幫助企業構建一套智能化升級的基礎設施,通過這樣的基礎設施幫助企業實現集約化的AI能力的管理,實現統籌化的企業智能化升級。AI能力引擎,是AI中臺的核心模塊之一。百度智能云結合業務實踐,沉淀了超過330項AI技術能力和方案(如圖6-4所示),這些技術能力和方案,通過即拿即用的便利服務形態,并且結合產業的實際場景提供了多種形態的靈活部署方案,從而支撐企業在這基礎之上構建多樣化的場景應用。(圖6-3)AI中臺為企業構建智能化升級必備的基礎設施企業AI能力的生
142、產和集中化管理平臺統籌企業智能化升級集約化管理企業AI能力企業專屬人工智能平臺AI能力引擎AI開發平臺人臉圖像OCR數據管理服務管理權限管理資源管理運維管理視頻語音ARNLP場景化定制平臺KGEasyDLBML(圖6-2)企業智能化升級發展過程中的管理痛點痛點AI能力的運維數據、模型的管理與共享AI服務運行情況監控不同廠商、不同來源的模型難以集中管理多個智能應用的統一運維和資源調配存在困難痛點AI能力的應用模型部署與優化場景化應用建設采購第三方的模型,后期難以自主優化跨業務場景的AI能力共用和統一升級,實現難度高痛點AI能力的生產采購第三方模型自主開發模型數據、算力、算法模型等核心資產形成孤島
143、,資源利用效率低出現重復建設,難以形成經驗沉淀,實現共建共享“云智一體”技術與應用解析 企業AI開發篇4243AI開發雙平臺,是AI中臺的另一個核心模塊。百度基于產業實踐的經驗,創新性的推出了EasyDL+BML雙平臺的AI開發模式,通過雙平臺的模式進一步拓展了AI模型開發的人群,極大的降低了整個AI開發過程的門檻和成本。同時面向一些垂直化的場景,百度AI中臺提供了場景化的定制平臺,例如對于對話場景,提供了智能對話定制服務平臺UNIT,幫助企業快速實現對話、問答等一些智能AI能力的生產和構建;再如對于文檔分析的場景,AI中臺提供了智能文檔分析平臺TextMind,幫助企業快速實現包括定制化文檔
144、的信息抽取、解析、比對等多樣化基于文檔分析的場景應用。(如圖6-5所示)全面、領先的AI能力引擎,支撐多樣化場景應用(圖6-4)(圖6-5)多模式AI開發平臺,助力AI能力的高效生產面向 AI 應用開發者面向 AI 算法開發者AI開發雙平臺EasyDLBML零門檻全功能智能對話定制與服務平臺智能文檔分析平臺場景化定制平臺UNITTextMind對話場景文檔場景語音視覺短語音識別極速版實時語音識別音頻文件轉寫在線合成-基礎音庫語音自訓練平臺呼叫中心語音解決方案鴻鵠語音芯片短語音識別在線合成-精品音庫語音合成語音硬件遠場語音識別離線語音合成語音識別辦公文檔營業執照公式護照銀行卡港澳通行證名片戶口本
145、出生證明儀器儀表網絡圖片文字識別通用票據彩票二維碼定額發票火車票出租車票數字通用機打手寫通用高精度含位置通用文字識別智能結構化識別文字識別通用含位置文字識別通用高精度文字識別試卷分析醫療發票增值稅表格行駛證駕駛證臺灣通行證身份證保險單銀行匯票車輛合格證車牌VIN碼機動車發票OCR自訓練行程單活體檢測人臉搜索人臉對比醫美特效人臉識別3D模型生成人臉屬性情緒識別人臉關鍵點人臉檢測AR人臉特效皮膚分析自然語言處理與知識圖譜語種識別通用/垂類翻譯語音/拍照翻譯AI同傳機器翻譯事件屬性抽取事件圖譜資訊事件判別事件相似度語言處理應用技術語言處理基礎技術對話情緒識別評論觀點抽取文章分類情感傾向分析文本糾錯文
146、本/詞義相似度詞法/句法分析文本審核地址識別詞向量表示DNN語言模型文章標簽新聞摘要動物識別植物識別菜品識別快消商品檢測地標識別花卉識別通用物體場景果蔬食材識別圖像識別LOGO識別圖像主體檢測貨幣識別紅酒識別虛擬換妝人臉融合人像互動車流統計車型識別屬性識別人像動漫化美顏濾鏡車輛分割車輛分析美發染色虛擬形象損傷識別車輛檢測圖像搜索無損放大圖像去霧圖像色彩增強圖像對比度增強拉升圖恢復商品圖檢索繪本圖檢索天空分割圖像效果增強相同圖檢索相似圖檢索圖像風格轉換黑白圖像上色作文檢索漢語檢索知識理解智能招聘/合同智能創作BGraph知識問答實體標注圖數據庫場景方案與平臺TextMind圖像審核手勢識別手部關
147、鍵點駕駛行為分析圖像質量檢測危險行為識別人體分析人體關鍵點人像分割公眾人物識別圖文審核人流量統計人體檢測/屬性惡心/廣告/水印色情/暴恐/政敏“云智一體”技術與應用解析 企業AI開發篇4445AI開發雙平臺,是AI中臺的另一個核心模塊。百度基于產業實踐的經驗,創新性的推出了EasyDL+BML雙平臺的AI開發模式,通過雙平臺的模式進一步拓展了AI模型開發的人群,極大的降低了整個AI開發過程的門檻和成本。同時面向一些垂直化的場景,百度AI中臺提供了場景化的定制平臺,例如對于對話場景,提供了智能對話定制服務平臺UNIT,幫助企業快速實現對話、問答等一些智能AI能力的生產和構建;再如對于文檔分析的場
148、景,AI中臺提供了智能文檔分析平臺TextMind,幫助企業快速實現包括定制化文檔的信息抽取、解析、比對等多樣化基于文檔分析的場景應用。(如圖6-5所示)全面、領先的AI能力引擎,支撐多樣化場景應用(圖6-4)(圖6-5)多模式AI開發平臺,助力AI能力的高效生產面向 AI 應用開發者面向 AI 算法開發者AI開發雙平臺EasyDLBML零門檻全功能智能對話定制與服務平臺智能文檔分析平臺場景化定制平臺UNITTextMind對話場景文檔場景語音視覺短語音識別極速版實時語音識別音頻文件轉寫在線合成-基礎音庫語音自訓練平臺呼叫中心語音解決方案鴻鵠語音芯片短語音識別在線合成-精品音庫語音合成語音硬件
149、遠場語音識別離線語音合成語音識別辦公文檔營業執照公式護照銀行卡港澳通行證名片戶口本出生證明儀器儀表網絡圖片文字識別通用票據彩票二維碼定額發票火車票出租車票數字通用機打手寫通用高精度含位置通用文字識別智能結構化識別文字識別通用含位置文字識別通用高精度文字識別試卷分析醫療發票增值稅表格行駛證駕駛證臺灣通行證身份證保險單銀行匯票車輛合格證車牌VIN碼機動車發票OCR自訓練行程單活體檢測人臉搜索人臉對比醫美特效人臉識別3D模型生成人臉屬性情緒識別人臉關鍵點人臉檢測AR人臉特效皮膚分析自然語言處理與知識圖譜語種識別通用/垂類翻譯語音/拍照翻譯AI同傳機器翻譯事件屬性抽取事件圖譜資訊事件判別事件相似度語言
150、處理應用技術語言處理基礎技術對話情緒識別評論觀點抽取文章分類情感傾向分析文本糾錯文本/詞義相似度詞法/句法分析文本審核地址識別詞向量表示DNN語言模型文章標簽新聞摘要動物識別植物識別菜品識別快消商品檢測地標識別花卉識別通用物體場景果蔬食材識別圖像識別LOGO識別圖像主體檢測貨幣識別紅酒識別虛擬換妝人臉融合人像互動車流統計車型識別屬性識別人像動漫化美顏濾鏡車輛分割車輛分析美發染色虛擬形象損傷識別車輛檢測圖像搜索無損放大圖像去霧圖像色彩增強圖像對比度增強拉升圖恢復商品圖檢索繪本圖檢索天空分割圖像效果增強相同圖檢索相似圖檢索圖像風格轉換黑白圖像上色作文檢索漢語檢索知識理解智能招聘/合同智能創作BGr
151、aph知識問答實體標注圖數據庫場景方案與平臺TextMind圖像審核手勢識別手部關鍵點駕駛行為分析圖像質量檢測危險行為識別人體分析人體關鍵點人像分割公眾人物識別圖文審核人流量統計人體檢測/屬性惡心/廣告/水印色情/暴恐/政敏“云智一體”技術與應用解析 企業AI開發篇4445除此之外,AI中臺還提供了一套完善的管理功能與機制(如圖6-7所示),全面提升企業運營的效能。(圖6-7)完善的管理功能與機制全面提升企業運營效能AI中臺是企業IT的智能中樞正是這樣一套AI能力的生產和集中化管理的平臺,作為企業IT的智能中樞,能夠有效的幫助企業高效實現AI能力的生產、實現集中化管理(如圖6-6所示)。(圖6
152、-6)企業中臺業務中臺客服中臺AI中臺 服務中心通用AI能力專用AI能力預測執行前臺業務應用智能巡檢安全生產監控智能質檢智能風控智能營銷辦公管理財務管理對內管理應用財務中臺運營中臺數據存儲開發中心訓練調試模型中心私有云PaaS鏡像管理中間件服務資源管理計算服務監控告警網絡服務服務管理存儲服務集群管理備份服務IaaS預測執行預測執行知識運用知識生產知識獲取知識組織知識應用知識中臺數據服務數據分析存儲計算數據資產數據中臺數據中心這套管理功能與機制包括三個方面。首先,是對資產的納管,包括數據、算法、模型的統一管理和共享,通過構建基礎設施幫助企業實現核心資產和經驗的沉淀和復用,從而構建企業核心競爭力。
153、其次,是統一服務,AI中臺幫助企業構建集合通用AI能力、場景化AI能力為一體的統一服務平臺,提供對AI服務的統一管理、注冊、接入、分發的全流程機制,從而實現便捷、靈活地支撐上層應用的快速接入。最后,是統一運維,幫助企業實現AI服務的統一監控,以及資源的統一分配和調度。因此,AI中臺作為企業IT的智能中樞,連通了企業內部的數據、知識和業務,使企業能夠更快更高效地支撐上層智能化業務的應用和智能化業務的創新。資產納管數據、算法、模型的統一 管理和共享統一服務通用AI能力、場景化AI能力,統一服務平臺統一運維統一的服務監控資源分配與調度綜上所述,百度智能云AI中臺,作為企業智能中樞,能夠為企業帶來三個
154、方面的顯著價值(如圖6-8所示):第一點,集約化管理,包括模型統一納管、樣本數據集中管理和算力資源的統籌調度。第二點,高效率生產,通過AI開發雙平臺,面向企業提供更低門檻上手、更多模式開發的高效率開發工具和生態環境。第三點,統籌化升級,幫助企業實現模型的持續應用、應用的持續集成、資產的共建共享,從而促進企業形成持續創新、不斷迭代的自身演化能力。模型統一納管樣本集中管理資源統籌調度低門檻上手多模式開發高效率協同模型持續優化應用持續集成資產共建共享集約化管理高效率生產統籌化升級在實際落地過程中,AI中臺結合行業場景的業務特點和發展狀況,已形成多個行業的AI中臺的解決方案。目前已經在媒體、金融、能源
155、、城市等多個領域沉淀了百度的行業AI中臺方案(如圖6-9所示)。例如金融領域,百度AI中臺助力郵儲銀行成立了全行級的人中智能平臺,也就是郵儲大腦模塊。再如在能源領域,百度AI中臺幫助山東電力構建了樣本管理、模型管理、開發訓練平臺、服務運行平臺等一套基礎設施。(圖6-8)AI中臺作為企業智能中樞,驅動智能化業務創新“云智一體”技術與應用解析 企業AI開發篇4647除此之外,AI中臺還提供了一套完善的管理功能與機制(如圖6-7所示),全面提升企業運營的效能。(圖6-7)完善的管理功能與機制全面提升企業運營效能AI中臺是企業IT的智能中樞正是這樣一套AI能力的生產和集中化管理的平臺,作為企業IT的智
156、能中樞,能夠有效的幫助企業高效實現AI能力的生產、實現集中化管理(如圖6-6所示)。(圖6-6)企業中臺業務中臺客服中臺AI中臺 服務中心通用AI能力專用AI能力預測執行前臺業務應用智能巡檢安全生產監控智能質檢智能風控智能營銷辦公管理財務管理對內管理應用財務中臺運營中臺數據存儲開發中心訓練調試模型中心私有云PaaS鏡像管理中間件服務資源管理計算服務監控告警網絡服務服務管理存儲服務集群管理備份服務IaaS預測執行預測執行知識運用知識生產知識獲取知識組織知識應用知識中臺數據服務數據分析存儲計算數據資產數據中臺數據中心這套管理功能與機制包括三個方面。首先,是對資產的納管,包括數據、算法、模型的統一管
157、理和共享,通過構建基礎設施幫助企業實現核心資產和經驗的沉淀和復用,從而構建企業核心競爭力。其次,是統一服務,AI中臺幫助企業構建集合通用AI能力、場景化AI能力為一體的統一服務平臺,提供對AI服務的統一管理、注冊、接入、分發的全流程機制,從而實現便捷、靈活地支撐上層應用的快速接入。最后,是統一運維,幫助企業實現AI服務的統一監控,以及資源的統一分配和調度。因此,AI中臺作為企業IT的智能中樞,連通了企業內部的數據、知識和業務,使企業能夠更快更高效地支撐上層智能化業務的應用和智能化業務的創新。資產納管數據、算法、模型的統一 管理和共享統一服務通用AI能力、場景化AI能力,統一服務平臺統一運維統一
158、的服務監控資源分配與調度綜上所述,百度智能云AI中臺,作為企業智能中樞,能夠為企業帶來三個方面的顯著價值(如圖6-8所示):第一點,集約化管理,包括模型統一納管、樣本數據集中管理和算力資源的統籌調度。第二點,高效率生產,通過AI開發雙平臺,面向企業提供更低門檻上手、更多模式開發的高效率開發工具和生態環境。第三點,統籌化升級,幫助企業實現模型的持續應用、應用的持續集成、資產的共建共享,從而促進企業形成持續創新、不斷迭代的自身演化能力。模型統一納管樣本集中管理資源統籌調度低門檻上手多模式開發高效率協同模型持續優化應用持續集成資產共建共享集約化管理高效率生產統籌化升級在實際落地過程中,AI中臺結合行
159、業場景的業務特點和發展狀況,已形成多個行業的AI中臺的解決方案。目前已經在媒體、金融、能源、城市等多個領域沉淀了百度的行業AI中臺方案(如圖6-9所示)。例如金融領域,百度AI中臺助力郵儲銀行成立了全行級的人中智能平臺,也就是郵儲大腦模塊。再如在能源領域,百度AI中臺幫助山東電力構建了樣本管理、模型管理、開發訓練平臺、服務運行平臺等一套基礎設施。(圖6-8)AI中臺作為企業智能中樞,驅動智能化業務創新“云智一體”技術與應用解析 企業AI開發篇4647百度在多個行業落地AI中臺解決方案的過程中發現,企業AI中臺的建設,不是一蹴而就的過程,而是一個持續建設、共同運營的過程。這個過程不僅包括基礎設施
160、的構建,也包括企業內的組織能力的建設、運營和優化工作(如圖6-10所示)。這其中的每一個環節,都需要百度和企業客戶投入大量精力,因此,百度一直致力于和企業客戶一起不斷地共同努力,持續創新,幫助企業實現智能化的升級。AI中臺體系建設方法論,持續建設共同運營(圖6-9)百度AI中臺行業落地方案AI中臺軟件基礎應用集成業務應用集成基礎設施構建CBA應用場景分析場景數據積累模型訓練持續優化共建共享持續運營優化組織變革流程創新人才培養組織能力建設(圖6-10)云智一體AI開發全棧模式的行業實踐 “云智一體”技術與應用解析 企業AI開發篇4849百度在多個行業落地AI中臺解決方案的過程中發現,企業AI中臺
161、的建設,不是一蹴而就的過程,而是一個持續建設、共同運營的過程。這個過程不僅包括基礎設施的構建,也包括企業內的組織能力的建設、運營和優化工作(如圖6-10所示)。這其中的每一個環節,都需要百度和企業客戶投入大量精力,因此,百度一直致力于和企業客戶一起不斷地共同努力,持續創新,幫助企業實現智能化的升級。AI中臺體系建設方法論,持續建設共同運營(圖6-9)百度AI中臺行業落地方案AI中臺軟件基礎應用集成業務應用集成基礎設施構建CBA應用場景分析場景數據積累模型訓練持續優化共建共享持續運營優化組織變革流程創新人才培養組織能力建設(圖6-10)云智一體AI開發全棧模式的行業實踐 “云智一體”技術與應用解
162、析 企業AI開發篇48497.1 打造國網人工智能平臺,推動電網智能化應用人工智能、云計算等技術在能源行業的規?;瘧谜诩铀?。隨著電網數字化和信息化技術日漸成熟,發、輸、配、用各環節數據均已實現有效采集。然而,劇增的數據量如何更高效的分析、處理、匹配,并進行更深入的挖掘和創造新的價值,這些問題也成為了中國電科院人工智能所平臺室主任王曉輝日常探索的方向。2020年,國網公司提出建成具有中國特色國際領先的能源互聯網企業的戰略目標(如圖7.1-1所示)?;谶@個戰略目標,需要實現電網、企業管理以及客戶服務的數字化的轉型。在2020年7月,國網公司召開了一次云簽約的儀式,與國內包括百度在內的多家互聯
163、網企業,簽署戰略合作協議,發布了數字新基建的十項重大任務。其中,在人工智能方面提出要構建電力人工智能平臺,助力十三個典型場景的應用。在國網公司制定十四五發展規劃的過程中,也對人工智能方面提出要求,包括突破人工智能的關鍵技術,包括開展典型的應用示范,以及在后續構建和推廣智能的電力應用系統。國網公司戰略(圖7.1-1)戰略目標0104國網公司“十四五”科技規劃突破基礎支撐技術開展典型應用示范開發業務智能化系統建設標準體系0302“數字新基建”重點建設任務電力人工智能開放平臺樣本庫、模型庫和訓練平臺運維、調試、客服等13類典型應用“2020年至2025年,基本建成具有中國特色國際領先的能源互聯網企業
164、,智能化數字化水平顯著提升,能源互聯網功能形態作用彰顯?!眹译娋W公司響應國家發展新一代人工智能的號召,落實中央關于加快新型基礎設施建設的決策部署,從公司戰略、重點建設任務、科研規劃等多角度引導和推動電力人工智能工作布局步伐。人工智能技術對于解決能源互聯網所含有的非線性、不確定性、強耦合性、多變量等特點的問題具有天然優勢,是能源互聯網的必然選擇。嘉賓王曉輝在百度智能云2021云智技術論壇AI開發專場中分享指出:對于組織架構龐大,分支機構眾多的電力行業,針對“智慧化”“智能化”的建設,更需要從全局來思考與部署。通過調研發現,國網智能化存在以下問題:首先,存在單點建設的問題,缺乏體系化。第二,有些
165、智能電網應用對基礎AI能力的實現不夠充分。比如不同業務線在構建AI能力時會采購一些硬件來實現,但實際上這些硬件不夠靈活,在技術層面上無法滿足業務需求。第三,則是對技術標準不夠統一。例如在智能巡檢的過程中,設備拍攝的方位、尺寸、關注點可能都不相同,而且拍完的照片在標注層面有時也沒形成統一的規范。這樣就導致針對同樣的場景,訓練出的模型不能共享使用等問題。最后,因為電力行業屬于傳統行業,缺乏對人工智能方面的專業技術人才,需要實現電力人員更低門檻的使用和應用AI。針對這幾方面的原因,基于百度AI中臺構建的國網人工智能平臺(如圖7.1-2所示),主要解決了以下幾方面問題:首先,構建了一套基礎能力;其次,
166、打造了自動化、可視化的工具,能讓有較少經驗或者基本沒接觸人工智能的工作人員能充分的使用平臺的能力;再者,沉淀了一些共性的模型服務,包括通用模型,例如圖像識別、人臉識別、語音、文本、知識圖譜相關的通用服務能力,并形成持續優化、持續迭代的過程。最后,基于這些服務能力,助力上層的業務應用?;诎俣華I中臺構建的國網人工智能中臺(圖7.1-2)服務公司變壓器滲漏油識別線路金具缺銷釘識別未戴安全帽違章識別計算機視覺圖像識別視頻分析自然語言處理信息檢索問答對話智能語音語音識別語音合成知識圖譜圖譜構建圖譜服務模型庫模型管理鏡像封裝樣本庫樣本標注樣本管理人工智能平臺模型訓練模型部署圖譜構建圖譜服務客戶工單分析
167、電力文本查看輿情分析預警客戶語音質檢變壓器聲紋識別設備故障診斷電網設備故障事件抽取電網事件演進關系抽取缺陷設備屬性抽取設備運維電網調度客戶服務安全管控CPU計算資源GPU計算資源存儲資源網絡資源國網云企業經營保障體系應用層服務政府服務客戶人工智能中臺服務層平臺層安全防護人才隊伍技術研究共建共享生態建設標準規范“云智一體”技術與應用解析 企業AI開發篇50517.1 打造國網人工智能平臺,推動電網智能化應用人工智能、云計算等技術在能源行業的規?;瘧谜诩铀?。隨著電網數字化和信息化技術日漸成熟,發、輸、配、用各環節數據均已實現有效采集。然而,劇增的數據量如何更高效的分析、處理、匹配,并進行更深入
168、的挖掘和創造新的價值,這些問題也成為了中國電科院人工智能所平臺室主任王曉輝日常探索的方向。2020年,國網公司提出建成具有中國特色國際領先的能源互聯網企業的戰略目標(如圖7.1-1所示)?;谶@個戰略目標,需要實現電網、企業管理以及客戶服務的數字化的轉型。在2020年7月,國網公司召開了一次云簽約的儀式,與國內包括百度在內的多家互聯網企業,簽署戰略合作協議,發布了數字新基建的十項重大任務。其中,在人工智能方面提出要構建電力人工智能平臺,助力十三個典型場景的應用。在國網公司制定十四五發展規劃的過程中,也對人工智能方面提出要求,包括突破人工智能的關鍵技術,包括開展典型的應用示范,以及在后續構建和推
169、廣智能的電力應用系統。國網公司戰略(圖7.1-1)戰略目標0104國網公司“十四五”科技規劃突破基礎支撐技術開展典型應用示范開發業務智能化系統建設標準體系0302“數字新基建”重點建設任務電力人工智能開放平臺樣本庫、模型庫和訓練平臺運維、調試、客服等13類典型應用“2020年至2025年,基本建成具有中國特色國際領先的能源互聯網企業,智能化數字化水平顯著提升,能源互聯網功能形態作用彰顯?!眹译娋W公司響應國家發展新一代人工智能的號召,落實中央關于加快新型基礎設施建設的決策部署,從公司戰略、重點建設任務、科研規劃等多角度引導和推動電力人工智能工作布局步伐。人工智能技術對于解決能源互聯網所含有的非
170、線性、不確定性、強耦合性、多變量等特點的問題具有天然優勢,是能源互聯網的必然選擇。嘉賓王曉輝在百度智能云2021云智技術論壇AI開發專場中分享指出:對于組織架構龐大,分支機構眾多的電力行業,針對“智慧化”“智能化”的建設,更需要從全局來思考與部署。通過調研發現,國網智能化存在以下問題:首先,存在單點建設的問題,缺乏體系化。第二,有些智能電網應用對基礎AI能力的實現不夠充分。比如不同業務線在構建AI能力時會采購一些硬件來實現,但實際上這些硬件不夠靈活,在技術層面上無法滿足業務需求。第三,則是對技術標準不夠統一。例如在智能巡檢的過程中,設備拍攝的方位、尺寸、關注點可能都不相同,而且拍完的照片在標注
171、層面有時也沒形成統一的規范。這樣就導致針對同樣的場景,訓練出的模型不能共享使用等問題。最后,因為電力行業屬于傳統行業,缺乏對人工智能方面的專業技術人才,需要實現電力人員更低門檻的使用和應用AI。針對這幾方面的原因,基于百度AI中臺構建的國網人工智能平臺(如圖7.1-2所示),主要解決了以下幾方面問題:首先,構建了一套基礎能力;其次,打造了自動化、可視化的工具,能讓有較少經驗或者基本沒接觸人工智能的工作人員能充分的使用平臺的能力;再者,沉淀了一些共性的模型服務,包括通用模型,例如圖像識別、人臉識別、語音、文本、知識圖譜相關的通用服務能力,并形成持續優化、持續迭代的過程。最后,基于這些服務能力,助
172、力上層的業務應用?;诎俣華I中臺構建的國網人工智能中臺(圖7.1-2)服務公司變壓器滲漏油識別線路金具缺銷釘識別未戴安全帽違章識別計算機視覺圖像識別視頻分析自然語言處理信息檢索問答對話智能語音語音識別語音合成知識圖譜圖譜構建圖譜服務模型庫模型管理鏡像封裝樣本庫樣本標注樣本管理人工智能平臺模型訓練模型部署圖譜構建圖譜服務客戶工單分析電力文本查看輿情分析預警客戶語音質檢變壓器聲紋識別設備故障診斷電網設備故障事件抽取電網事件演進關系抽取缺陷設備屬性抽取設備運維電網調度客戶服務安全管控CPU計算資源GPU計算資源存儲資源網絡資源國網云企業經營保障體系應用層服務政府服務客戶人工智能中臺服務層平臺層安全
173、防護人才隊伍技術研究共建共享生態建設標準規范“云智一體”技術與應用解析 企業AI開發篇5051通過基于百度AI中臺構建的國網人工智能中臺,國網實現了全流程協同的開發模式(如圖7.1-3所示)。使得國網的模型開發人員、應用開發人員、業務應用人員,通過使用百度提供的基礎能力和豐富的開發工具,以及各種接口服務的模式,具備了智能化的服務能力。嘉賓王曉輝同時介紹了人工智能在電力系統的一些典型應用場景(如圖7.1-4所示),例如傳統的大數據和機器學習技術,在分布式能源預測場景、包括數據治理、用戶畫像、設備畫像等場景都有典型的應用;再如計算機視覺技術,在設備巡檢、現場作業的安全管控、OCR文本識別方面應用廣
174、泛;又如自然語言處理和知識圖譜技術,在國網的企業內搜、構建電網一張圖的管理、電網調度等場景已經成熟應用;最后,智能機器人技術也已在智能應答助手、帶電作業機器人等場景進行實際使用。面向人工智能應用業務人員、模型開發人員、應用開發人員等不同用戶,開展圖像、視頻、文本、語音等電力人工智能樣本收集與標注、模型訓練、模型評估,基于成熟模型為業務應用提供在線服務。多模式開發平臺提升全流程協同效率(圖7.1-3)應用步驟應用組件應用人員業務人員需求分析數據收集數據集入庫樣本標注樣本庫模型庫人工智能平臺(訓練環境)樣本入庫樣本調用算法選擇模型訓練模型評估模型服務業務系統應用開發人員模型開發人員數據預處理多人協
175、同標注數據集管理標注質量校對可視化模型訓練模型管理模型封裝模型部署人工智能平臺(運動環境)資源配置服務管理服務監控標注質量校對算法管理人工智能在電力系統的應用場景(圖7.1-4)其中,在輸電巡檢場景中,聯研院、中國電科院等單位攻克圖像識別等關鍵技術,形成了覆蓋輸電線路本體和通道巡視的8大類29小類缺陷的智能分析模型,并通過國網云平臺實現了全公司范圍內的輸電線路人工智能圖像識別云服務,已在國網公司27個省、約300個地級市單位試點應用,獲得廣泛認可和好評(如圖7.1-5所示)。為解決輸電線路分布廣泛、戶外環境復雜,人工巡視工作繁重的問題,聯研院、中國電科院等單位攻克圖像識別等關鍵技術,形成覆蓋輸
176、電線路本體和通道巡視的8大類29小類缺陷的智能分析模型,并通過國網云平臺實現全公司范圍內的輸電線路人工智能圖像識別云服務,已在公司27個省,約300個地級市單位試點應用,獲得廣泛認可和好評。輸電設備巡檢(圖7.1-5)日均檢測圖片數量超過5000張累計發現隱患7000處常見典型缺陷識別率達到 94%運行效率是傳統人工查缺方式的60倍每月節省人力成本480萬元本體巡視通道巡視煙火施工機械闖入導地線斷股銷釘缺失機器學習計算機視覺自然語言處理電力智能機器人發電輸變電配用電電網安全與控制企業經營管理服務政府社會災害預報光伏功率預測光伏板清掃風電場巡視無人機巡線絕緣漆噴涂變電站巡檢配網帶電作業營業廳導航
177、調度智能助手RPA流程自動化應急搶修指揮主設備狀態評價作業現場預警人員姿態檢測應急指揮搶修智慧客戶服務電網狀態全息感知現場安全作業管控電網調度系統決策二次設備狀態評價電網事故智能處置上下游用戶畫像綜合能源服務智慧物資管控OCR文檔處理財務智能管控企業知識庫電力復工復產征信信貸電力天眼政務一站式服務支撐智慧城市用電服務指南分布式電源功率預測光伏風機主動運維本體與輸電通道檢測變電站智能監測運維營配調貫通治理配網重過載預警用電行為分析調度監控自動預警源網荷儲協同分析人在回路混合增強電網一張圖主設備缺陷智能分析“云智一體”技術與應用解析 企業AI開發篇5253通過基于百度AI中臺構建的國網人工智能中臺
178、,國網實現了全流程協同的開發模式(如圖7.1-3所示)。使得國網的模型開發人員、應用開發人員、業務應用人員,通過使用百度提供的基礎能力和豐富的開發工具,以及各種接口服務的模式,具備了智能化的服務能力。嘉賓王曉輝同時介紹了人工智能在電力系統的一些典型應用場景(如圖7.1-4所示),例如傳統的大數據和機器學習技術,在分布式能源預測場景、包括數據治理、用戶畫像、設備畫像等場景都有典型的應用;再如計算機視覺技術,在設備巡檢、現場作業的安全管控、OCR文本識別方面應用廣泛;又如自然語言處理和知識圖譜技術,在國網的企業內搜、構建電網一張圖的管理、電網調度等場景已經成熟應用;最后,智能機器人技術也已在智能應
179、答助手、帶電作業機器人等場景進行實際使用。面向人工智能應用業務人員、模型開發人員、應用開發人員等不同用戶,開展圖像、視頻、文本、語音等電力人工智能樣本收集與標注、模型訓練、模型評估,基于成熟模型為業務應用提供在線服務。多模式開發平臺提升全流程協同效率(圖7.1-3)應用步驟應用組件應用人員業務人員需求分析數據收集數據集入庫樣本標注樣本庫模型庫人工智能平臺(訓練環境)樣本入庫樣本調用算法選擇模型訓練模型評估模型服務業務系統應用開發人員模型開發人員數據預處理多人協同標注數據集管理標注質量校對可視化模型訓練模型管理模型封裝模型部署人工智能平臺(運動環境)資源配置服務管理服務監控標注質量校對算法管理人
180、工智能在電力系統的應用場景(圖7.1-4)其中,在輸電巡檢場景中,聯研院、中國電科院等單位攻克圖像識別等關鍵技術,形成了覆蓋輸電線路本體和通道巡視的8大類29小類缺陷的智能分析模型,并通過國網云平臺實現了全公司范圍內的輸電線路人工智能圖像識別云服務,已在國網公司27個省、約300個地級市單位試點應用,獲得廣泛認可和好評(如圖7.1-5所示)。為解決輸電線路分布廣泛、戶外環境復雜,人工巡視工作繁重的問題,聯研院、中國電科院等單位攻克圖像識別等關鍵技術,形成覆蓋輸電線路本體和通道巡視的8大類29小類缺陷的智能分析模型,并通過國網云平臺實現全公司范圍內的輸電線路人工智能圖像識別云服務,已在公司27個
181、省,約300個地級市單位試點應用,獲得廣泛認可和好評。輸電設備巡檢(圖7.1-5)日均檢測圖片數量超過5000張累計發現隱患7000處常見典型缺陷識別率達到 94%運行效率是傳統人工查缺方式的60倍每月節省人力成本480萬元本體巡視通道巡視煙火施工機械闖入導地線斷股銷釘缺失機器學習計算機視覺自然語言處理電力智能機器人發電輸變電配用電電網安全與控制企業經營管理服務政府社會災害預報光伏功率預測光伏板清掃風電場巡視無人機巡線絕緣漆噴涂變電站巡檢配網帶電作業營業廳導航調度智能助手RPA流程自動化應急搶修指揮主設備狀態評價作業現場預警人員姿態檢測應急指揮搶修智慧客戶服務電網狀態全息感知現場安全作業管控電
182、網調度系統決策二次設備狀態評價電網事故智能處置上下游用戶畫像綜合能源服務智慧物資管控OCR文檔處理財務智能管控企業知識庫電力復工復產征信信貸電力天眼政務一站式服務支撐智慧城市用電服務指南分布式電源功率預測光伏風機主動運維本體與輸電通道檢測變電站智能監測運維營配調貫通治理配網重過載預警用電行為分析調度監控自動預警源網荷儲協同分析人在回路混合增強電網一張圖主設備缺陷智能分析“云智一體”技術與應用解析 企業AI開發篇5253另外,在營銷智能客服場景中,為應對客戶日益增強的多元服務需求,國網通過構建電力客服領域知識圖譜,在95598客服熱線、國網信息系統等應用場景中,充分使用意圖識別、自然語言理解、圖
183、像識別等技術,建設了多渠道智能客服體系,為廣大電力用戶提供更高質量、高效率、便捷智能化的服務(如圖7.1-6所示)。營銷智能客服(圖7.1-6)此外,在智能調度場景中,國網公司為解決電網調度的故障處置問題,基于知識圖譜技術構建了電網故障處理系統和電網調控知識網絡,實現故障處理動態知識路徑的自動推理判斷以及提供知識檢索、問答及業務流程引導服務,知識問答準確率達到95%以上,輔助調度員進行調度運行的有效決策,有效增強了調度人員的電網事故處理能力,顯著提升了電網事故管控水平(如圖7.1-7所示)。為應對客戶多元服務需求的日益增強,國網客服中心通過構建電力客服領域知識圖譜,利用意圖識別、自然語言理解、
184、圖像識別等技術,建設了多渠道智能客服體系,為廣大電力用戶提供更高質量、高效率、便捷智能化的服務。營業廳機器人智能語音人工替代率44.88%智能在線人工替代率56.78%智能答復答復率90%95598電話客服語音智能識別與服務推薦公眾號客服機器人有效分流降低成本分流人工話務量減少人工座席需求量降低人力成本余額查詢密碼查詢密碼重置密碼重置電費查詢突發故障交費最后,嘉賓王曉輝介紹,在電力人工智能發展方面,國家電網公司提出了電力人工智能發展路線,從基礎支撐和應用層面闡明前沿技術、業務融合攻關方向,實現電網核心業務的人工智能常態化決策,邁入智慧能源系統發展期。并指出電力人工智能的未來發展路線主要有兩個階
185、段性目標。第一個階段目標,在2035年之前實現電網的數字化轉型和智能化跨越,實現電網整個業務的數字化轉型,同時將包括深度學習、強化學習、群體智能等相關的技術,納入到整個電網運行的過程中。第二個階段目標,遠期目標要實現整體電網運行的全智能化,把人工智能作為工具,全面融入到電網的運行過程中。國家電網也會加大人工智能方面技術的研發和應用的力度,也希望一方面跟百度繼續開展合作,在相關的前沿技術的攻關方面去進行合作、研發;另一方面也希望有更多的合作伙伴能和我們一起助力電網的智能化應用。(如圖7.1-8所示)為解決電網調度的故障處置問題,基于知識圖譜構建電網故障處理系統,基于電力本體知識圖譜建立統一的調控
186、知識網絡,實現故障處理動態知識路徑的自動推理判斷以及提供知識檢索、問答及業務流程引導服務,有效增強了調度人員的電網事故處理能力,提升了電網事故管控水平。調度故障智能處置(圖7.1-7)基于知識圖譜的調度知識庫知識問答準確率95%以上,知識檢索準確率98%以上電網故障判斷與處置效率提升20%以上基于知識圖譜的電網故障處理系統界面“云智一體”技術與應用解析 企業AI開發篇5455另外,在營銷智能客服場景中,為應對客戶日益增強的多元服務需求,國網通過構建電力客服領域知識圖譜,在95598客服熱線、國網信息系統等應用場景中,充分使用意圖識別、自然語言理解、圖像識別等技術,建設了多渠道智能客服體系,為廣
187、大電力用戶提供更高質量、高效率、便捷智能化的服務(如圖7.1-6所示)。營銷智能客服(圖7.1-6)此外,在智能調度場景中,國網公司為解決電網調度的故障處置問題,基于知識圖譜技術構建了電網故障處理系統和電網調控知識網絡,實現故障處理動態知識路徑的自動推理判斷以及提供知識檢索、問答及業務流程引導服務,知識問答準確率達到95%以上,輔助調度員進行調度運行的有效決策,有效增強了調度人員的電網事故處理能力,顯著提升了電網事故管控水平(如圖7.1-7所示)。為應對客戶多元服務需求的日益增強,國網客服中心通過構建電力客服領域知識圖譜,利用意圖識別、自然語言理解、圖像識別等技術,建設了多渠道智能客服體系,為
188、廣大電力用戶提供更高質量、高效率、便捷智能化的服務。營業廳機器人智能語音人工替代率44.88%智能在線人工替代率56.78%智能答復答復率90%95598電話客服語音智能識別與服務推薦公眾號客服機器人有效分流降低成本分流人工話務量減少人工座席需求量降低人力成本余額查詢密碼查詢密碼重置密碼重置電費查詢突發故障交費最后,嘉賓王曉輝介紹,在電力人工智能發展方面,國家電網公司提出了電力人工智能發展路線,從基礎支撐和應用層面闡明前沿技術、業務融合攻關方向,實現電網核心業務的人工智能常態化決策,邁入智慧能源系統發展期。并指出電力人工智能的未來發展路線主要有兩個階段性目標。第一個階段目標,在2035年之前實
189、現電網的數字化轉型和智能化跨越,實現電網整個業務的數字化轉型,同時將包括深度學習、強化學習、群體智能等相關的技術,納入到整個電網運行的過程中。第二個階段目標,遠期目標要實現整體電網運行的全智能化,把人工智能作為工具,全面融入到電網的運行過程中。國家電網也會加大人工智能方面技術的研發和應用的力度,也希望一方面跟百度繼續開展合作,在相關的前沿技術的攻關方面去進行合作、研發;另一方面也希望有更多的合作伙伴能和我們一起助力電網的智能化應用。(如圖7.1-8所示)為解決電網調度的故障處置問題,基于知識圖譜構建電網故障處理系統,基于電力本體知識圖譜建立統一的調控知識網絡,實現故障處理動態知識路徑的自動推理
190、判斷以及提供知識檢索、問答及業務流程引導服務,有效增強了調度人員的電網事故處理能力,提升了電網事故管控水平。調度故障智能處置(圖7.1-7)基于知識圖譜的調度知識庫知識問答準確率95%以上,知識檢索準確率98%以上電網故障判斷與處置效率提升20%以上基于知識圖譜的電網故障處理系統界面“云智一體”技術與應用解析 企業AI開發篇5455國家電網公司提出了電力人工智能發展路線,從基礎支撐和應用層面闡明前沿技術、業務融合攻關方向,實現電網核心業務的人工智能常態化決策,邁入智慧能源系統發展期。未來展望(圖7.1-8)7.2 為陜西漢中插上翅膀,AI助力打贏精準脫貧戰“偉大的時代造就偉大的事業,偉大的事業
191、造就偉大的人?!?021年3月27日,來北京參加“百度智能云2021云智技術論壇”的漢中市扶貧信息中心副主任劉樂,在活動現場分享過去一年“脫貧攻堅戰”的創新經驗時發出如此感慨?!?120個駐村工作隊”、“產業扶貧項目3752個”、“覆蓋貧困人口27.24萬戶”自2016年至今,漢中市累計脫貧52.4萬人,并在全省的脫貧攻堅考核中取得了三連優。漢中的扶貧“攻堅戰”打得響亮也艱辛。第一階段第二階段2035年2050年。發展路線基礎理論群體智能混合增強智能跨媒體智能電網優化控制人機融合決策業務能力知識自主發現電網優化決策核心業務人工智能常態化決策基礎與應用解決難題電網實現數字化轉型和智能化跨越,數據
192、與知識融合的人工智能技術突破,實現能源互聯網的運行自主優化與安全智能防御。電網全面數字化并實現核心業務的常態化人工智能決策。地處秦嶺、巴山之間的陜西漢中,位于中國地理幾何版圖中心,又是三大經濟圈的融合之地,四季分明、氣侯宜人,是南水北調的水源涵養地。然而受自然條件等因素制約,人口居住分散、基礎設施建設滯后、生產生活條件較差,增收難度大。漢中九縣兩區全部都曾納入扶貧范圍。嘉賓劉樂分享說:“我們在工作中發現了很多問題,比如基層工作效率不高、貧困人口識別不精準、填表造冊多、工作難實時共享等。剛開始扶貧的時候他們稱我們為表哥、表姐,因為我們整天在填表。我們后來推出了漢中市脫貧攻堅云計算平臺,核心思想是
193、數據同源、信息共享,用到云計算、百度AI智能技術?!眲酚浀脛偨拥揭昂Y選22萬戶貧困戶照片”的任務是2019年3月?!拔覀円ㄟ^照片篩選并標記出疑似飲水和住房不達標的所有居民,并要在當年10月前完成。我的第一反應就是留給我們的時間不多了!當時急得差點發動學生們幫我們人工篩選照片,后來我們就發現百度EasyDL它的低成本、易開發和零代碼,成了我們整個項目的破題之選?!保ㄈ鐖D7.2-1所示)(圖7.2-1)為什么要引入AI貧困戶“兩不愁三保障”安全飲水、安全住房是兩項核心指標,直接影響著脫貧成色,也是各級督導考核的重點,如何快速識別全市22.3萬戶貧困戶飲水、房屋是否達標迫在眉睫。EasyDL的
194、低成本、易開發、零代碼等優勢成為了破題之選。飲水 房屋 家用電器 人居環境“云智一體”技術與應用解析 企業AI開發篇5657國家電網公司提出了電力人工智能發展路線,從基礎支撐和應用層面闡明前沿技術、業務融合攻關方向,實現電網核心業務的人工智能常態化決策,邁入智慧能源系統發展期。未來展望(圖7.1-8)7.2 為陜西漢中插上翅膀,AI助力打贏精準脫貧戰“偉大的時代造就偉大的事業,偉大的事業造就偉大的人?!?021年3月27日,來北京參加“百度智能云2021云智技術論壇”的漢中市扶貧信息中心副主任劉樂,在活動現場分享過去一年“脫貧攻堅戰”的創新經驗時發出如此感慨?!?120個駐村工作隊”、“產業扶
195、貧項目3752個”、“覆蓋貧困人口27.24萬戶”自2016年至今,漢中市累計脫貧52.4萬人,并在全省的脫貧攻堅考核中取得了三連優。漢中的扶貧“攻堅戰”打得響亮也艱辛。第一階段第二階段2035年2050年。發展路線基礎理論群體智能混合增強智能跨媒體智能電網優化控制人機融合決策業務能力知識自主發現電網優化決策核心業務人工智能常態化決策基礎與應用解決難題電網實現數字化轉型和智能化跨越,數據與知識融合的人工智能技術突破,實現能源互聯網的運行自主優化與安全智能防御。電網全面數字化并實現核心業務的常態化人工智能決策。地處秦嶺、巴山之間的陜西漢中,位于中國地理幾何版圖中心,又是三大經濟圈的融合之地,四季
196、分明、氣侯宜人,是南水北調的水源涵養地。然而受自然條件等因素制約,人口居住分散、基礎設施建設滯后、生產生活條件較差,增收難度大。漢中九縣兩區全部都曾納入扶貧范圍。嘉賓劉樂分享說:“我們在工作中發現了很多問題,比如基層工作效率不高、貧困人口識別不精準、填表造冊多、工作難實時共享等。剛開始扶貧的時候他們稱我們為表哥、表姐,因為我們整天在填表。我們后來推出了漢中市脫貧攻堅云計算平臺,核心思想是數據同源、信息共享,用到云計算、百度AI智能技術?!眲酚浀脛偨拥揭昂Y選22萬戶貧困戶照片”的任務是2019年3月?!拔覀円ㄟ^照片篩選并標記出疑似飲水和住房不達標的所有居民,并要在當年10月前完成。我的第一
197、反應就是留給我們的時間不多了!當時急得差點發動學生們幫我們人工篩選照片,后來我們就發現百度EasyDL它的低成本、易開發和零代碼,成了我們整個項目的破題之選?!保ㄈ鐖D7.2-1所示)(圖7.2-1)為什么要引入AI貧困戶“兩不愁三保障”安全飲水、安全住房是兩項核心指標,直接影響著脫貧成色,也是各級督導考核的重點,如何快速識別全市22.3萬戶貧困戶飲水、房屋是否達標迫在眉睫。EasyDL的低成本、易開發、零代碼等優勢成為了破題之選。飲水 房屋 家用電器 人居環境“云智一體”技術與應用解析 企業AI開發篇5657劉樂介紹,自己將零門檻開發平臺EasyDL的開發過程總結為四個步驟:首先,進行照片篩選
198、,把認為有明顯區別的200張照片上傳到EasyDL平臺。其次,進行不斷優化和調整照片數量和照片內容。然后,為了提高準確率,同時使用EasyDL平臺的“圖像分類”和“物體檢測”功能進行交叉比對來提高準確度。最后,檢驗模型實際效果。劉樂介紹通過四個步驟,真實的識別準確率高達85%以上。隨后,漢中扶貧辦信息中心還把AI的應用實踐貫穿到整個脫貧攻堅的全過程:一方面,把識別出的數據上傳到數據庫,并為基層干部開發了一鍵篩查功能,比如讓督導考核人員、模擬第三方評估人員,為他們提供數據線索。另一方面,是在引入家庭成員指數計算范圍內,漢中扶貧辦使用EasyDL設計了一套算法,通過這套算法,每一個貧困戶得到一個值
199、,直觀地呈現并分析他的貧困程度。這套算法一共涉及五十多項指標,而通過AI來獲得數據的指標就有八項,還都是核心指標。通過對22萬戶進行計算,使用百度EasyDL點狀圖標注,得到貧困戶家庭成員指數分布圖,很大程度提高了精準扶貧的準確率。應用實踐在使用了智能的AI分析后,漢中市扶貧辦在當年就緊急將三千多戶納入到監測范圍進行重點關注與幫扶。在工作重、任務緊的“攻堅戰”中,優化資源的投入就是幫貧困戶們搶時間、搶安全。此外,百度AI在房屋的裂縫識別、人居環境、飲水環境上的準確度在85%以上。2019年漢中扶貧辦在引入百度AI之后,準確識別出部分貧困戶的住房和安全飲水風險點,并推遲了一千多戶貧困戶的當年脫貧
200、計劃,對三千多戶納入到監測范圍進行重點關注,同時對AI發現的問題點進行再次復盤,發現與真實發現情況吻合達到80%以上。但脫貧摘帽不是終點,是新生活,也是新奮斗的起點。劉樂分享到:“下一步,我們已經有了數字鄉村規劃綱要,截止2025年一定要在數字鄉村上取得重要進展。2050年全面完成數字鄉村建設,助力鄉村振興。隨著鄉村振興的開始,鄉村治理能力和鄉村數字化水平要有質的提高。近日,漢中已全面啟動實施鄉村振興戰略,列出任務圖、時間表,著力實施“八大行動”、推動“七項改革”、強化“四個保障”,為“三農”加快發展、鄉村全面振興打造新的“助推器”和“加速器”,其中,如 AI 病蟲害防治的智慧大棚建設、智慧城
201、市和鄉村網格化管理建設等等,都已提上日程。(圖7.2-3)應用成效百度AI人工智能圖像識別技術對照村7條、戶5條脫貧標準開展自動分析2019年,運用百度AI識別出部分貧困戶住房和飲水尚存風險點,推遲1507人脫貧,納入預警監測7733人。對運用百度AI、地圖技術等分析的疑似問題進行針對性督導,問題吻合度達在80%以上。對幫扶干部上傳的房屋、飲水、家居、環境照片進行掃描分 發 給 各 個 幫 扶 干部,提醒核查對裂縫住房、水源衛生條件差、生活環境惡劣等疑似不達標項自動篩查引入到家庭成員指數計算范疇(圖7.2-2)“云智一體”技術與應用解析 企業AI開發篇5859劉樂介紹,自己將零門檻開發平臺Ea
202、syDL的開發過程總結為四個步驟:首先,進行照片篩選,把認為有明顯區別的200張照片上傳到EasyDL平臺。其次,進行不斷優化和調整照片數量和照片內容。然后,為了提高準確率,同時使用EasyDL平臺的“圖像分類”和“物體檢測”功能進行交叉比對來提高準確度。最后,檢驗模型實際效果。劉樂介紹通過四個步驟,真實的識別準確率高達85%以上。隨后,漢中扶貧辦信息中心還把AI的應用實踐貫穿到整個脫貧攻堅的全過程:一方面,把識別出的數據上傳到數據庫,并為基層干部開發了一鍵篩查功能,比如讓督導考核人員、模擬第三方評估人員,為他們提供數據線索。另一方面,是在引入家庭成員指數計算范圍內,漢中扶貧辦使用EasyDL
203、設計了一套算法,通過這套算法,每一個貧困戶得到一個值,直觀地呈現并分析他的貧困程度。這套算法一共涉及五十多項指標,而通過AI來獲得數據的指標就有八項,還都是核心指標。通過對22萬戶進行計算,使用百度EasyDL點狀圖標注,得到貧困戶家庭成員指數分布圖,很大程度提高了精準扶貧的準確率。應用實踐在使用了智能的AI分析后,漢中市扶貧辦在當年就緊急將三千多戶納入到監測范圍進行重點關注與幫扶。在工作重、任務緊的“攻堅戰”中,優化資源的投入就是幫貧困戶們搶時間、搶安全。此外,百度AI在房屋的裂縫識別、人居環境、飲水環境上的準確度在85%以上。2019年漢中扶貧辦在引入百度AI之后,準確識別出部分貧困戶的住
204、房和安全飲水風險點,并推遲了一千多戶貧困戶的當年脫貧計劃,對三千多戶納入到監測范圍進行重點關注,同時對AI發現的問題點進行再次復盤,發現與真實發現情況吻合達到80%以上。但脫貧摘帽不是終點,是新生活,也是新奮斗的起點。劉樂分享到:“下一步,我們已經有了數字鄉村規劃綱要,截止2025年一定要在數字鄉村上取得重要進展。2050年全面完成數字鄉村建設,助力鄉村振興。隨著鄉村振興的開始,鄉村治理能力和鄉村數字化水平要有質的提高。近日,漢中已全面啟動實施鄉村振興戰略,列出任務圖、時間表,著力實施“八大行動”、推動“七項改革”、強化“四個保障”,為“三農”加快發展、鄉村全面振興打造新的“助推器”和“加速器
205、”,其中,如 AI 病蟲害防治的智慧大棚建設、智慧城市和鄉村網格化管理建設等等,都已提上日程。(圖7.2-3)應用成效百度AI人工智能圖像識別技術對照村7條、戶5條脫貧標準開展自動分析2019年,運用百度AI識別出部分貧困戶住房和飲水尚存風險點,推遲1507人脫貧,納入預警監測7733人。對運用百度AI、地圖技術等分析的疑似問題進行針對性督導,問題吻合度達在80%以上。對幫扶干部上傳的房屋、飲水、家居、環境照片進行掃描分 發 給 各 個 幫 扶 干部,提醒核查對裂縫住房、水源衛生條件差、生活環境惡劣等疑似不達標項自動篩查引入到家庭成員指數計算范疇(圖7.2-2)“云智一體”技術與應用解析 企業AI開發篇5859