《百度智能云：5G+AI智能工業視覺解決方案白皮書V1.0（35頁）.pdf》由會員分享，可在線閱讀，更多相關《百度智能云：5G+AI智能工業視覺解決方案白皮書V1.0（35頁）.pdf（35頁珍藏版）》請在三個皮匠報告上搜索。

1、5G+AI智能工業視覺解決方案白皮書V1.0發布日期 2020-06-20聯合編著華為技術有限公司北京百度網訊科技有限公司5G+AI5G+AI 智能工業視覺解決方案白皮書 V1.01 工業視覺發展趨勢 011.1 工業視覺概述 011.2 工業視覺的發展趨勢及挑戰 031.3 基于5G+AI的工業視覺解決方案的價值 042工業視覺發展趨勢 062.1 助力企業質量提升 062.1.1 場景1：產品在線外觀質量檢測 062.1.2 場景2：產品組裝后的防錯檢查 072.1.3 場景3：品牌商多工廠統一質檢標準 082.2 助力企業效率提升 082.2.1 場景1：生產過程物品智能分揀 082.2

2、.2 場景2：生產過程瓶頸節拍分析 092.3 助力企業安全管理 102.3.1 場景1：生產現場生產安全巡檢 102.3.2 場景2：環境監控儀表數據讀取 113 5G+AI工業視覺解決方案 123.1 工業視覺四類典型應用方案 123.2 5G+AI工業視覺解決方案架構 153.2.1 邏輯架構：系統間業務數據流 153.2.2 物理架構：現場硬件部署位置 163.3 管：圖像傳輸高經濟性方案 183.4 云：邊緣云端應用解決方案 213.5 端：現場設備5G連接方案 223.6 工廠園區5G網絡建網方案 233.6.1 3C行業網絡能力需求分析 233.6.2 工廠園區5G網絡方案介紹

3、263.7 5G+AI工業視覺應用SLA保障 284 5G+AI工業視覺未來展望 305 參考資料清單 31附錄：術語表 325G+AI智能工業視覺解決方案白皮書V1.001工業視覺發展趨勢1.1 工業視覺概述機器視覺系統是指通過機器視覺產品將被攝取目標根據像素分布和亮度、顏色等信息，轉變成數字化信號，傳送給專用的圖像處理系統，圖像處理系統對這些信號進行各種運算來抽取目標的特征，進而根據判別的結果來控制現場的設備動作。機器視覺在工業生產中應用廣泛，常用于遍布整個生產環節的四類業務應用：視覺引導與定位、模式有無識別檢測、精準測量測距、產品外觀檢測等。概括的說，工業機器視覺系統的特點是提高生產的柔

4、性和自動化程度，主要在一些不適合于人工作業的危險工作環境或人工視覺難以滿足要求的場合，常用機器視覺來替代人工視覺；同時在大批量工業生產過程中，用人工視覺檢查產品質量效率低且精度不高，用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。而且機器視覺易于實現自動化集成，軟件集成，是實現智能制造的基礎技術。在不同的應用場景中，機器視覺系統所采用的圖像采集設備、處理方式、架構組成有所不同，主要包括以下三種系統架構： 一體化智能工業相機機器視覺系統智能工業相機是近年來機器視覺領域發展較快的一項新技術。智能相機是一個兼具圖像采集、圖像處理和信息傳遞功能的小型機器視覺檢測系統，是一種嵌入式計算機視覺檢

5、測系統。它將圖像傳感器、處理模塊、通訊模塊和其他外設集成到一個單一的相機內，由于這種一體化的設計，可降低系統的復雜度，并提高可靠性，同時系統尺寸大大縮小，拓寬了機器視覺的應用領域。智能工業相機一般直接輸出圖像處理數據用于設備控制、結果顯示等，應用于某些特定的如二維碼 / 條碼識別、溫度紅外識別、視覺引導定位等場景。1基于智能工業相機的系統架構5G+AI智能工業視覺解決方案白皮書V1.002 基于工業相機和本地算力的機器視覺系統基于工控機機的機器視覺系統是目前主流的應用方案。分離式的圖片采集系統與基于工控機的處理系統架構使得該方案能廣泛適用于各類工業視覺應用場景。典型的基于工控機的工業視覺系統分

6、為圖像采集部分、圖像處理部分和運動控制部分，具體由如上圖所示的幾部分組成： 工業相機與鏡頭：成像器件，通常的視覺系統都是由一套或者多套這樣的成像系統組成，如果有多路相機，可能由系統控制切換來獲取圖像數據，也可能由同步控制同時獲取多相機通道的數據。工業相機按照芯片類型、掃描方式、分辨率大小、輸出信號方式、輸出色彩、輸出信號速度、響應頻率范圍等有著不同的分類方法，種類繁多，需要根據應用需求進行選擇； 光源：光源是影響機器視覺系統輸入的重要因素，它直接影響輸入數據的質量和應用效果； 控制單元：控制單元一般包含光電傳感器、I/O、運動控制、電平轉化單元等，用以判斷被測對象的位置和狀態，告知圖像傳感器進

7、行正確的采集或根據圖像處理結果完成對生產過程的控制； 圖像處理算力設備：工控機或 GPU 服務器，是視覺系統的核心算力，部署于靠近相機的端側，完成圖像數據的處理和絕大部分的控制邏輯，對于檢測識別類型或采用深度學習算法的應用，通常都需要高性能的 CPU/GPU，減少處理的時間。工控機內的機器視覺軟件用來完成輸入的圖像數據的處理，通過圖像識別得出結果，這個輸出的結果可能是 PASS/FAIL 信號、坐標位置、字符串等。常見的傳統機器視覺軟件以 Halcon、康耐視 VisionPro 等視覺處理軟件為平臺，實現專用（比如僅僅用于 LCD 檢測，BGA 檢測，模版對準等）或通用目的（包括定位、測量、

8、條碼 /字符識別、斑點檢測等）的視覺檢測功能。從 2017 年起基于人工智能的機器視覺軟件以百度工業視覺智能平臺、康耐視 VIDI 等為代表，提供了復雜紋理或物體表面的缺陷檢測功能。 基于 IPC 攝像機和云端算力的工業監控系統IPC（IP Camera）攝像機是由視頻編碼模塊和模擬攝像機組合而成的一類攝像機。視頻編碼模塊將模擬攝像機采集到的模擬視頻信號編碼壓縮成數字信號，從而可以直接接入網絡交換及路由設備，與云端識別 API 打通。IPC 攝像機能更簡單的實現監控特別是遠程監控、更簡單的施工和維護、更好的支持音頻、更好的支持報警聯動和更靈活的錄像存儲。IPC 攝像機在工業應用場景包括安全巡檢

9、、裝配動作合規、倉庫物料盤點計數等場景?；诠た貦C的典型機器視覺系統組成5G+AI智能工業視覺解決方案白皮書V1.0031.2 工業視覺的發展趨勢及挑戰隨著人工智能、計算機視覺等技術的不斷成熟，以及德國“工業 4.0”、日本機器人新戰略、美國先進制造伙伴計劃、中國制造 2025 等政策的不斷驅動，促使工業機器人市場持續增長，也大大促進了機器視覺產業發展。有公開數據顯示，在 2018 年，全球用于工業自動化領域的機器視覺技術市場規模達 44.4 億美元，預計 2023 年將達 122.9 億美元，年復合增長率高達 21%，市場需求巨大。隨著工業機器視覺應用越來越廣泛，被檢測對象越來越復雜，機器視

10、覺應用從傳統工業視覺向基于深度學習的 AI工業視覺過渡傳統工業視覺系統的應用實現，是在經過給定背景、光源、采集光學器材參數的特定環境下，實現對目標感知區域拍攝的數字圖像進行指定要求的處理，并提取特定的信息數據，并輸出給指定設備作為動作依據，所依賴的是預先明確的固定特征，由視覺工程師基于視覺任務的特定需求，進行目標特征的定義以及數值判斷的閥值定義的實現，這種邏輯簡單的局限性，無法適用于隨機性強、特征復雜的工作任務，如隨機出現的復雜外觀缺陷檢測。因此，目前業界越來越多的使用到能解決此類復雜特征問題的深度學習。深度學習方法 (Deep Learning) 作為傳統神經網絡的拓展，近年來在語音、圖像、

11、自然語言等的語義認知問題上取得巨大的進展，為解決視覺大數據的表示和理解問題提供了通用的框架。圖像視頻內容復雜，包含場景多樣、物體種類繁多，非受控條件下，圖像和視頻的內容受光照、姿態、遮擋等影響變化大，圖像視頻數據量大，特征維度高，部分應用需實時處理，而深度學習方法的快速發展，為解決上述問題提供了有效的途徑。深度學習算法在目前的行業普遍技術水平已經能夠達到 95% 以上的判定準確率。通過平衡漏判率和誤判率，更加嚴格地控制漏判，可以讓漏判率降到100PPM 以下，而誤判率降到 5% 以下。雖然基于深度學習的 AI 工業視覺可以解決更復雜的問題， 應用越來越廣泛， 但仍存在如下瓶頸， 制約更高速的發

12、展： 端側算力成本越來越高隨著工業相機像素越來越高，深度學習在工業視覺檢測中的應用及提升生產效率生產節拍的要求，對算力硬件性能要求越來越高，高性能 CPU/GPU 的應用也越來越廣泛，這直接導致算力成本價格直線上升。同時，一套視覺系統往往獨立部署一臺算力設備，所有算力無法共享復用，利用率往往無法達到最高。 單點系統維護成本過高固定工位單機的部署方式，使得每次對設備進行調試、軟件更新維護、監控分析都需要在本地完成，在機器視覺被工廠大規模使用的情況下，這種維護方式成本極其高昂； 數據孤島，數據不能有效共享在典型工業視覺系統解決方案中，圖像的處理在本地完成終結，生產中有效數據不能及時在各個系統間共享

13、，使得全部系統功能更新緩慢，進而影響整個生產進度； 不能很好的適應具有移動性訴求的應用場景部分工業應用場景具有移動性訴求，如安裝于機械臂的視覺定位相機，因為機械臂的移動而線纜損耗嚴重；5G+AI智能工業視覺解決方案白皮書V1.004 工廠車間有線互聯網建設成本過高、容量不足典型的工廠車間環網速率容量為 1Gbps，該容量為車間環網各類應用公用，如在環網上增加一個端口，則平均成本為超千元；該容量不足以承載典型工業相機數應用的上行大數量需求，且整體有線擴容成本非常高。 通用性、智能性和同類應用快速復制性欠佳機器視覺在通用性方面存在不足，在一些集成應用中無法搭載，一臺設備可能只適用于一家廠商或一種行

14、業，導致開發成本過高。而在智能性方面，當庫存量單位較高時，或者移動速度較快時，工業視覺在識別準確率上就難以達到要求。例如在分揀領域，工業視覺已經能夠很好地適應小規模和品類較少的固定分揀，但對于復雜堆疊物體的識別和分揀，依然有 90% 以上通過人工方式完成； 實際應用中視覺檢測準確率較低，不可自學習，動態優化盡管從一些算法的測試結果來看，工業視覺的圖像識別準確率已經能夠達到極高的水平，但要實現工業上的應用，還需要保證能夠快速完成批量化檢測，同時能夠適應多樣的環境（包括物體表面材質、工廠環境、工作距離等等）。只有在實際應用中能夠達到極小的誤檢率，工業視覺才能實現其應用預期，從而滿足客戶的標準而得以

15、推廣；基于以上機器視覺應用痛點，我們希望能夠通過 5G+AI 的創新方案來努力解決，使得工業視覺能被普適性的推廣應用，推動智能工業制造的發展。1.3 基于 5G+AI 的工業視覺解決方案的價值隨著我國 5G 商用大幕正式拉開，5G 做為“新基建”之首，成為新一代智能制造系統的關鍵使能技術。在工業領域，5G 以其特有的大帶寬、低時延，以及高可靠等特性，使得無線技術應用于現場設備實時控制、遠程維護及操控、工業高清圖像處理等工業應用新領域成為可能，同時也為未來柔性產線、柔性車間奠定了基礎；同時，5G 與 AI 的結合，更是會帶來整個社會生產方式的改變和生產力的提升。5G+AI 的智能工業視覺解決方案

16、框架5G+AI智能工業視覺解決方案白皮書V1.005 5G+AI 的工業視覺解決方案，通過端 + 5G 網絡 + 邊緣云 + 云服務的協作，將成為未來智能化工廠標配解決方案，讓工廠質量檢查和缺陷識別、設備增加眼睛提升靈活性和零部件高效測量變得簡單和高效。 實現數據互聯互通、動態閉環通過 5G 網絡連接，產線上每個工業視覺應用不再是獨立的數據孤島，帶來的價值包括但不局限于以下方面：a）工廠中央生產控制系統可以實時獲得每個被檢測對象的結果、狀態，納入全工廠生產管理系統；b）云端訓練平臺能實時獲取多個現場端的樣本圖像，快速更新及實時部署優化后模型；c）實現新檢測應用的快速部署及推廣，使能柔性生產；d

17、）實現現場設備的云端統一維護監控等； 提升設備標準化、智能化水平隨著被檢測對象復雜性的增加，越來越多的視覺檢測要依賴于深度學習算法，而深度學習需要大量的樣本及強大的GPU 能力不斷迭代訓練以提升檢測成功率；現有深度學習更多的是依靠在現場人工樣本的采集及模型的更新，推理訓練一體化的設備又大多局限于成本及特定的應用場景，極大的限制了深度學習的應用。5G+AI 的解決方案通過多點樣本的實時獲取，在云端統一架構平臺上實現推理訓練，支持快速的新模型迭代更新，能使得深度學習在工業視覺應用中被廣泛推廣，普遍提升視覺檢測成功率； 簡單、易部署，支持規模應用在工業中實現一個匹配用戶需求的視覺檢測系統，需要具備光

18、學、網絡及圖像算法的專業技能，對用戶是個不小的挑戰。 5G+AI的解決方案中將復雜的樣本標注、 圖像處理等統一在云端平臺實現， 并通過AI算法實現智能標注、 智能閉環，降低系統應用的復雜性，使得工業視覺檢測能被應用到更多的生產環節中。 提升生產效率，減少維護成本5G+AI 的解決方案能極大的提升生產效率，一方面部分工業應用場景具有移動性訴求：如安裝于機械臂的視覺定位相機，因為機械臂的頻繁移動而使線纜纏繞損耗嚴重，需要經常更換，另外如后裝視覺應用、不固定部署場景，無線傳輸的方式都可以很好的解決；另一方面，工程技術人員可以在云端進行操作維護，無需到到現場即可進行軟件更新、設備調測、功能擴展等操作，

19、能大幅降低系統維護成本，提升效率。 降低視覺規模部署低成本根據公開資料，工業是目前機器視覺應用比重最大的領域，其中又以 3C 電子制造和汽車制造為主，但也僅占到整個生產環節的 1020%，傳統工業行業占比更低；導致該結果的主要原因一方面是因為不同行業被檢測對象差別極大而技術實現困難，另一方面是因為端側一體化的視覺檢測系統成本過高限制了應用。5G+AI 的工業視覺解決方案中，可以將需要強大軟硬件算力支持的計算統一在云端平臺實現，并同時支持多類不同應用場景，端側僅部署標準的圖像采集系統，進而降低全系統部署成本；同時，遠端維護的方式也可以極大的降低系統的操作維護成本。5G+AI智能工業視覺解決方案白

20、皮書V1.006 本章節將重點從工業視覺助力企業實現全面質量管理（TQM）和數字運營管理兩個維度，分享 5G+AI 云化工業視覺應用案例。2.1 助力企業質量提升工廠質量控制體系就是為滿足產品的質量要求，而實時進行的質量測量和監督檢查系統。特別是在汽車零部件、3C產品零部件與外殼、芯片、紡織品、光伏等行業，外觀質量檢測是非常重要的一個環節，極大影響著產出產品的質量和產品產出速度，受限于大量的質檢人員個體差異和生理限制，測量工具不能將結果及時數字化和智能化等，經常導致了生產質量事故頻發，管理人員難以準確的判斷質量管控運行狀態。5G+AI 工業視覺充分發揮先進技術有優勢，被引入到零部件出廠檢、入場

21、檢、安裝檢、在線檢、抽檢和出廠檢等各個環節，解決傳統管理上的難點和痛點，助力企業質量提升。2.1.1 場景 1：產品在線外觀質量檢測以某 3C 產品供應鏈企業產品外觀檢測為例，每月人工視覺檢測人力成本超過 200 萬，質檢人力員工占比占到 20%40%，且還存在漏檢等質量問題。目前人工質檢面臨質量、成本、特殊場景應對、信息集成的問題，具體如下： 質量：人工質檢的主觀因素對判定結果的影響較大，基于視覺疲勞，會存在漏檢問題； 成本：人員流動較高，由此帶來的培訓和用工成本高，用工難招工難； 信息集成：沒有對生產數據進行有效積累和利用 , 無法后續推進流程再造和質量分析，對自動化生產流程適配較弱； 效

22、率：傳統機器視覺通過程序化計算邏輯進行視覺檢測 對此類復雜表面檢測抗干擾能力差，誤檢過高，人員復判工作量大。5G+AI 的外觀質量檢查方案，依托 AI 深度視覺檢測技術和 5G 通信技術進行融合，可在復雜紋理圖像分類和背景干擾的情況下大幅度減少漏檢誤檢，缺陷閥精確可控，同步實現檢測結果數據實時同步，實現數據模型高效快速迭代閉環，不斷提升現場模型準確率。工業視覺發展趨勢2某 3C 產品供應鏈企業生產現狀5G+AI智能工業視覺解決方案白皮書V1.0072.1.2 場景 2：產品組裝后的防錯檢查某汽車主機廠總裝車間，汽車生產的最后一道工序，還是需要依靠大量的人力對車身進行裝配，針對車燈檢測的場景，由

23、于混線生產檢測，檢測人員完全依賴經驗對車型的車型進行檢測，此外由于總裝線上的燈光干擾嚴重，檢測人員也需要避免外界光源對車燈檢測的干擾，并且檢測節拍較短，對于檢測人員的檢測速度上也是有很高的要求?，F有檢查方案如下圖所示 ; 現有方案：通過鏡子目視檢查目前傳統人工質檢面臨質量、特殊場景應對和信息集成的問題：質量：人工質檢中需要有經驗的質檢人員基于 20+ 種類型的車清楚知道什么零部件配什么車型，對人的經驗要求高，新員工不熟悉車型會存在漏檢問題；長時間在強光源場景下，需要做相關的人因防護，避免眼睛長時間接觸光源。信息集成：目前無法做到無法做到車型和車燈物料匹配，物料偏差后不可追溯。5G+AI 的質量

24、檢查方案，依托 AI 深度視覺檢測技術和 5G 通信技術進行融合，基于 MES 系統型號 BOM 數據自動識別不同車型同一款車型支持不同配置，8s 內自動完成檢測，檢測準確率 99%+，同時存儲相應的過程數據可以基于車型號可追溯。5G+AI 方案：視覺圖像檢查示例圖5G+AI智能工業視覺解決方案白皮書V1.0082.1.3 場景 3：品牌商多工廠統一質檢標準在 3C 行業、汽車行業，上游零部件加工廠家和 OEM 主機廠零部件測量標準的一致性，OEM 廠家接收零部件后如何快速、高效地按照標準抽檢零部件質量，并實時將檢測結果數字化被各業務系統調用并做到可追溯，是當前行業面臨的普遍痛點?；?OEM

25、 主機廠構建的 AI 質檢平臺和移動的標準檢測 AI-Box，通過 5G 低時延、大帶寬連接，將很好地解決當前中小型零部件來料質量控制面臨的問題。如某汽車齒轂關鍵尺寸測量和檢查設備，OEM 主機廠統一構建 AI 質檢平臺，并和零部件廠家共同定義質量標準，采用深度學習和傳統算法相結合，使用結合 5G 終端的 AI-Box 視覺檢測設備，AI-Box 的檢測后通過 5G 網絡向 AI 平臺和相關業務系統反饋檢測結果，共享檢測數據，實現高效率，高準確性，并不斷完善現有 AI 質檢模型，保證主機廠和上游零部件廠家檢測標準的一致性。AI-Box 設備支持光源、相機、鏡頭的自定義配置，采集數據的無縫對接工

26、業視覺AI 訓練平臺，并在工業視覺 AI 訓練云平臺實現數據標注和模型訓練的完整閉環，同時支持模型下發本地的驗證性測試。 2.2 助力企業效率提升生產效率即在單位時間內生產更多的高質量產品是企業核心競爭力之一，隨著消費者對產品多樣的化的需求，企業面臨規?；陌葱枭a挑戰，行業在積極探索一條生產線生產更多的產品，同時利用自動和智能化生產減少生產線工人，提升線體柔性。5G+AI 工業視覺充分發揮先進技術有優勢，即滿足多品種、小批量規?；a，又減少生產人員提升企業生產效率。2.2.1 場景 1：生產過程物品智能分揀在工業制造、物流產業等多個行業中，有很多對產品或物體進行識別檢測、分類放置的需求；傳

27、統的基于人工視覺的檢測方式，容易產生疲勞，無法一直保證很高的檢測效率， 且由于人眼本身的生理極限， 很難在速度、精度等方面達到較高的標準。因此，傳統的人工檢測方式制約了生產力水平的發展和提高，已經難以滿足生產AI-Box 應用場景5G+AI智能工業視覺解決方案白皮書V1.009生活的需要，越來越多的基于機器視覺的分揀機器人被廣泛地應用到各種各樣的工業化流水線上。即通過工業相機獲取目標圖像信息，完成對抓取目標的分揀工作。 傳統的工業機器人視覺分揀系統中利用經典的計算機視覺理論，如不變距、模板匹配、 SURF 特征等算法識別和定位工件，對現場環境和工件形狀、背景顏色有較高要求?，F場傳送帶上的工件、

28、物體，可能形狀復雜且呈現不同的姿態，而且密集擺放在一起，此種情況下經典的視覺識別與定位算法難以滿足高識別率、高精度等要求，分揀機器人將無法勝任分揀任務?；?5G+AI 的機器視覺分揀系統解決方案中，集成 5G 終端的工業相機，解決了頻繁更換網線的痛點，允許更靈活的部署方式，同時依托 5G 網絡大帶寬、高可靠的特性，將圖像回傳到云端利用深度學習 AI 檢測圖像方案，提升識別的準確率和定位精度，使得能夠適應更加復雜的分揀環境，更好的完成分揀任務。2.2.2 場景 2：生產過程瓶頸節拍分析在工廠產線有人參與的產品裝配作業中，一般的動作通常包含固定的操作流程如：伸手、握取、移物、裝配；操作人員在長時

29、間工作或被干擾后，裝配動作會出現遺漏、誤操作等問題，同時也需要需要通過動作分析來找到動作存在的問題，以改善動作的順序和方法?；诖诵枨?，隨著圖像獲取與圖像處理方法的發展，基于機器視覺的動作識別已經在視頻監控、行為識別等領域獲得廣泛應用：即基于 IPC 工業攝像機，通過視頻行為識別檢測方法，自動識別人工裝配過程中的工序是否正確，對錯誤操作實時進行報警提示，防止不合規操作發生以及發現并優化裝配動作。其中基于視頻的行為識別是指從視頻序列中提取描述動作行為模式的顯著視覺特征，然后通過機器學習與模式識別等算法進行分類和理解，來實現視頻目標的行為模式的識別。某部件人工裝配動作視覺 AI 分析實時節拍基于

30、5G+AI 的視頻人工裝配動作檢測解決方案，通過 5G 網絡回傳視頻到有強大計算能力的云平臺，通過深度學習方法解決裝配動作復雜多變，檢測成功率不高的痛點，同時基于 5G 無線網絡的靈活部署方案，使得該解決方案能被推廣到更多行業應用中。動作動作說明AI 動作識別時長伸手將手移向目的地0.43s抓取用手指可靠地控制目標物0.38s移動移動目標物0.56s定位對正待裝配目標位置1.12s裝配進行裝配動作操作6.13s5G+AI智能工業視覺解決方案白皮書V1.0102.3 助力企業安全管理2.3.1 場景 1：生產現場生產安全巡檢安全巡檢包含廠區管理、安全生產、環境監控三個方面內容，以及在這些場景中對

31、于人、車、設備等安全狀態的檢查，排查異常情況，及時解決問題和安全隱患。傳統安全巡檢主要依靠人工，無論在巡檢確定性、效率和及時性方面，都存在較為嚴重的問題：人工員管理問題：巡檢人員未按規定巡檢，隱患未能及時上報，遺漏巡檢點，紙質記錄巡檢情況；巡檢效率問題：受限檢測點位、安全性服裝等場景限制，導致人員巡檢時需要更換工具及輔助設備，效率低；及時性低：受限于安全人員數量以及廠區面積，無法做到安全隱患沒有被及時發現，一旦發生問題如火災等極端情況。 部分巡檢開始使用固定和移動攝像頭代替人工進行遠程巡檢，但整體智能化程度低，于監管安全產的攝像頭和傳感設備智能化程度較低，未能全覆蓋產的主要險點，能夠采集到的產

32、數據有限，數據分析、監測預警等智能化應尚未開展，不能很好地滿企業安全產監管的需求。5G+AI 視覺識別的智能安全巡檢方式，通過現場高清設備進行采集，借助 5G 網絡進行圖像數據回傳，通過深度學習訓練 AI 模型，實時監控現場安全狀態，從而實現對于現場的自動化安全巡檢。針對人員管理、車輛管理、安全著裝規范識別、生產機械安全監控、危險行為監測和環境監控 6 個大的場景，該方案都可以達到較高的準確率，消除人工巡檢存在的隱患。5G+AI智能工業視覺解決方案白皮書V1.0112.3.2 場景 2：環境監控儀表數據讀取在制造生產等企業中，各位安全監控儀表數據采集和監控是數字化管理的基礎，物聯網系統的構建可

33、以將設備數據進行實時采集，大大提升整體管理效率，對于異常情況進行及時報警。在構建物聯網進行數據采集的過程中，往往會遇到以下的 3 大類問題，使得物聯網監控系統構建受到很大阻礙：設備支持：一些傳統指針儀表，并不支持數字化的采集方式，無法將模擬信號轉化成數字信號，僅僅能通過儀表盤進行數據讀取，無法進行物聯網協議對接；協議開放：設備儀表廠家眾多、協議眾多，很多廠家協議并不對外開放，往往數據對接要和儀表廠商進行進一步溝通，很難得到有效支持，阻礙了儀表設備數據對接；施工周期和成本：由于受到設備協議、 場地接線等影響， 建設完備的物聯網體系周期往往較長， 如為了搭建物聯網系統進行設備更換， 成本較高。5G

34、+AI 工業視覺解決方案，通過攝像設備這類非侵入，易安裝的方式實現對于各種類型儀表的圖像采集，訓練深度學習 AI 模型，實現對于儀表的自動化數字識別和傳輸，在物聯網對接條件受到限制情況下，可繞開各類復雜協議，網絡對接的問題，直接從圖像數據中采集儀表數字。如下圖所示無論對于指針類型儀表、數字類型儀表，還是狀態燈開關指示，都可以實現儀表數據的實時采集和傳輸識別，起到物聯監控的效果。5G+AI 工業視覺：物聯數據采集解決方案5G+AI智能工業視覺解決方案白皮書V1.0123.1 工業視覺四類典型應用方案工業視覺應用中業務模型是指從輸出數據的相機端側到接收數據的處理單元側之間傳輸的數據類型、承載協議、

35、數據量、傳輸間隔等業務模型，用于輔助分析不同的系統架構實現。5G+AI 工業視覺解決方案3典型工業相機系統處理流程典型工業視覺應用系統處理流程如上圖所示。工業視覺應用系統中相機在獲得某信號觸發指令后，執行圖像采集過程，并將采集到的圖像傳輸到處理設備，在圖像識別檢測處理完成后，根據結果進行指定的執行動作；一般在確定的產線工位生產循環節拍 CT（Cycle Time ）時間下，用于視覺應用系統處理的最大時間是固定的。在不同的應用系統架構下，工業機器視覺應用業務模型包括以下四種。 基于智能工業相機實時控制 / 結果類應用方案內置圖像處理功能的智能工業相機輸出的實時圖像檢測結果可直接用于應用處理，此類

36、數據數據量小 ( Tp其中：TC : 非智能工業相機圖像傳輸前處理耗時，如對圖像的預處理、ROI 選擇、壓縮等Sf : 待傳輸圖像大??；如果是原始圖像傳輸，則與相機像素、位深有關；如果是壓縮圖像傳輸，則與圖像格式（像素、位深）、有損壓縮質量、圖像色彩豐富程度及不同的壓縮算法有關V5G : 5G 網絡所能提供的帶寬速率Ti : 在邊緣平臺上完成推理的耗時Tr : 根據推理結果從邊緣設備控制端側設備時傳輸消息耗時Tp : 為根據 CT 時間計算推導出的允許視覺處理的時間5G+AI智能工業視覺解決方案白皮書V1.0183.3 管：圖像傳輸高經濟性方案5G 網絡對比傳統有線有移動性和靈活性優勢，同樣有

37、帶寬的劣勢。以中國移動目前 2.6GHz 的 100MHz 頻段為例，按照目前 4:1 的幀配比，單終端理論上行峰值速率約為 190Mbps，如果為 7:3 幀配比，理論上行峰值速率為280Mbps；但在實際應用環境中，受各種因素影響，單終端普遍可獲得上行速率在 50100Mbps。因此，為適配當前5G 網絡能力，減少對 5G 傳輸網絡的帶寬需求，提升傳輸網絡每單位 Bit 的經濟價值，可采用如下方案解決： 圖像 ROI 摳圖方案在某些應用場景下，所檢測的目標區域相對固定在整張圖的某個區域，此時可以通過設置 ROI 區域的方式，僅采集該區域圖像，降低數據傳輸量。如下圖所示案例，通過 ROI 設

38、置所讀取的單板二維碼信息區域，可以將單幀圖像大小降低到 10% 左右。 此方案存在的缺陷在于不是所有的檢測對象都是在固定區域，比如物體表面的缺陷、瑕疵檢測，可能會出現在整幅圖的任何區域，此時則不能劃分固定區域。 圖像壓縮方案圖像壓縮方案是指在端側先進行圖像有損 / 無損壓縮，然后基于 TCP 或可靠的 UDP 傳輸協議通過 5G 網絡上傳，以達到降低對網絡帶寬需求及提高傳輸可靠性的目標，針對不同的應用需求在壓縮圖像質量、壓縮率、壓縮時間之間找到一個最佳的壓縮算法?；诖四康?，通過對視覺測量、OCR 二維碼讀取、基于 AI 的深度學習檢測等應用場景，在基于 BMP 原圖的基礎上使用廣泛使用的不同

39、壓縮質量的 JPEG 圖像對檢測結果的影響進行多項測試，測試結果表明： 對測量類視覺應用的影響根據測試結果，圖像壓縮后測量誤差最大 0.3 個像素，其中最大是指采用 JPEG 壓縮算法，在保證能進行有效測量時采用最低壓縮質量，壓縮圖像測量結果與 BMP 格式的原圖測量結果之間的誤差最大值；（該結論僅基于測試場景，不一定具備普適性，需要在每種具體的應用場景中進行測試）； 對 OCR 字符識別應用的影響有損圖像壓縮對字符識別的影響較小，在保證能檢測出來的前提下，可以采用很小的壓縮質量，壓縮率可達幾十倍；ROI 區域摳圖5G+AI智能工業視覺解決方案白皮書V1.019 對基于 AI 深度學習圖像推理

40、預測的影響有損壓縮圖像對邊緣云上進行推理結果的影響是重點測試分析場景， 針對3C及汽車行業典型的工業視覺應用場景，分析了壓縮圖像對 AI 檢測結果的影響如下： a) 模板匹配類的有無檢測某 3C 產品使用深度學習檢測工件表面硅膠點膠是否缺失，使用 2000W 像素的彩色相機，原圖大小 56.6MByte，采用 JPEG 壓縮后大小 1.5MB，檢測成功率與使用原圖相同；b) 3C 結構件檢測某 3C 精密結構件產品使用 AI 技術檢測表面外觀缺陷， 缺陷類型達到 30 種以上， 背景復雜、 缺陷類型多不規則細小，使用 500W 像素相機拍攝 6 個面 18 張圖片，使用不同壓縮質量的 JPEG

41、 圖像，針對模型檢測效果的 2 類評估指標如下：壓縮質量壓縮文件大小模型評估指標bboxMapIOU0.1模型評估指標：SegmMapIOU0.1原始圖像428 KB90.490.495%248 KB90.5(+0.1)90.4(0)75%90 KB90.5(+0.1)90.4(0)55%64 KB90.4(0)90.1(-0.3)壓縮質量壓縮文件大小模型評估指標bbox mAP50模型評估指標：segm mAP50原始圖像3.37 MB58.845.0100%1.32 MB58.9 (+0.1)45.1 (+0.1)90%0.41 MB60.2 (+1.4)46.6 + (1.6)80%0.

42、26 MB59.0 (+0.2)45.1 (+0.1)60%0.17 MB59.0 (+0.2)45.9 (+0.9)40%0.13 MB57.1 (-1.7)43.4 (-1.6)c) 手機中框 3D 檢測某手機產品使用 AI 技術檢測中框面檢測，使用不同壓縮質量的 JPEG 圖像，針對模型檢測效果的 2 類評估指標如下：5G+AI智能工業視覺解決方案白皮書V1.020d) 汽車零部件檢測使用 AI 技術對某汽車零部件進行缺陷檢測，使用不同壓縮質量的 JPEG 圖像，針對模型檢測效果的 2 類評估指標如下：壓縮質量壓縮文件大小模型評估指標bbox mAP模型評估指標：segm mAP原始圖像

43、2.5 MB0.1 / 80.830.5 / 77.0580.1 / 74.8180.5 / 68.96395%1.5 MB0.1 / 80.717(-0.113)0.5 / 76.886(-0.172)0.1 / 74.736(-0.082)0.5 / 68.815(-0.148)75%489KB0.1 / 80.292(-0.538)0.5 / 76.744(-0.314)0.1 / 74.407(-0.411)0.5 / 68.524(-0.439)55%291KB0.1 / 80.770(-0.06)0.5 / 76.351(-0.707)0.1 / 74.753(-0.065)0.5

44、 / 68.007(-0.956)根據測試結果，影響壓縮時間及壓縮后文件大小的幾個因素包括執行壓縮算法的硬件性能、壓縮前圖像的大小、有損壓縮時的壓縮質量、圖像色彩的豐富程度及采用的壓縮算法實現性能等；其中，針對有損壓縮算法，當壓縮質量40Mbps取決于具體應用10ms99.999999.9999檢測結果實時反饋下行速率2Mbps99.999999.9999Use case #Characteristic parameterInfluence quantityCommunication Service availability: target value in %Communication se

45、rvice relibility: mean time between failuresEnd-to-end latency: maximumData rate Mbit/sTransfer intervalSurvival timeUE speed # of UEsService area (note 1)1 (periodic traffic)99.9999 to 99.999999 10 years transfer interval value 50 1 ms 3 * transfer intervalstationary2 to 5100 m x 30 m x 10 m1 (aper

46、iodic traffic)99.9999 to 99.999999 10 years transfer interval value 25 1 ms (note 2)stationary2 to 5100 m x 30 m x 10 m2 (periodic traffic)99.9999 to 99.999999 10 years transfer interval value 250 1 ms 3 * transfer intervalstationary2 to 5100 m x 30 m x 10 m2 (aperiodic traffic)99.9999 to 99.999999

47、10 years transfer interval value 500 1 ms (note 2)stationary2 to 5100 m x 30 m x 10 mNOTE 1: Length x width x heightNOTE 2: Transfer interval also applies for scheduled aperiodic traffic5G+AI智能工業視覺解決方案白皮書V1.030作為新一代移動通信技術，5G 開啟了萬物廣泛互聯、人機深度交互的應用新時代。根據國際電信聯盟 (ITU) 的標準要求， 5G 包括三大應用場景：eMBB( 增強型移動寬帶 )、 m

48、MTC( 海量機器類通信 ) 和 uRLLC( 超可靠低時延通信 )。利用 5G 技術可以搭建更寬、更廣、更快和更可靠的通信基礎設施；同時，在萬物感知和萬物互聯的基礎上，可以將采集的海量數據存儲在云端，并利用云端的超強計算能力和人工智能技術對海量數據進行分析和學習，打造云端的工業大腦。5G+AI 工業視覺解決方案以 5G 與云平臺做為工廠基礎設施，選取機器視覺作為上層應用，形成端到端的整體解決方案，實現了云化控制、算法快速自優化、企業數據不出園區的安全性保障，并突破傳統機器視覺的成本高、效率上限和質量不穩定等瓶頸。算法上云讓投資成本大幅節約，高速率、低時延的網絡使得檢測更靈活，作業效率明顯提升

49、，大數據處理與深度學習協同使質量有保障的提升，云化部署讓調測、維護、擴展更便捷并讓時間大幅縮短。業界首個“5G+AI 工業視覺白皮書”的發布也為 5G+AI 應用在其他行業場景落地提供了重要參考，可以復制及應用到智慧物流、智慧水務，智慧園區等更多領域，成為工業互聯網平臺的核心能力之一。百度、華為等行業領導者將繼續深化合作，持續探索創新，以 5G 和 AI 為基礎設施，在更多工業智能化場景的開拓上不斷前行。5G+AI 工業視覺未來展望45G+AI智能工業視覺解決方案白皮書V1.0311、中國移動 5G 行業無線專網研究報告 中國移動研究院 2019.112、邊緣計算安全白皮書邊緣計算產業聯盟（E

50、CC）與工業互聯網產業聯盟（AII）聯合發布 2019.113、邊緣計算參考架構 3.0邊緣計算產業聯盟（ECC）與工業互聯網產業聯盟（AII）聯合發布 2018.114、5G+ 智能制造白皮書（2019） 中國信息通信研究院 2019.95、百度云智能工業質檢產品白皮書 V1.0參考資料清單55G+AI智能工業視覺解決方案白皮書V1.032附錄：術語表縮略語全稱說明5GThe 5th Generation mobile communication technology第五代移動通信技術eMBBEnhanced Mobile Broadband增強移動寬帶3GPPThird Generatio