《阿丘科技：2024生成式AI如何改變AI缺陷檢測的傳統范式白皮書（11頁）.pdf》由會員分享，可在線閱讀，更多相關《阿丘科技：2024生成式AI如何改變AI缺陷檢測的傳統范式白皮書（11頁）.pdf（11頁珍藏版）》請在三個皮匠報告上搜索。

1、生成式AI如何改變AI缺陷檢測的傳統范式阿丘科技產品實戰系列白皮書CONTENTS目錄01產品背景產生背景生成式AI 生成式AI帶來的客戶價值01020202實現原理實現原理0403典型應用外觀缺陷檢測裝配異常檢測 字符異常檢測異物附著檢測0606070704未來展望技術發展趨勢：數據+生成式AI行業應用拓展：以數據為中心的平臺080801（1）自動化和智能化對AI視覺的需求隨著自動化和智能化技術的快速發展，機器學習和視覺自動化技術在制造業中的應用越來越廣泛。這些技術可以幫助企業實現自動化檢測、分類、識別等任務，提高生產效率和產品質量。但機器學習和視覺自動化技術的應用需要大量的高質量數據來訓練

2、AI模型。如果沒有足夠的訓練數據，模型的性能將受到很大的影響。因此，如何快速、高效地獲取大量多樣化的數據成為了現代制造業中亟待解決的問題。（2）當下制造業所面臨的數據挑戰在當今的現代制造業中，各類廠商均面臨著諸多嚴峻的挑戰。一方面，市場競爭日益激烈，消費者對產品質量和個性化的要求不斷提高。另一方面，隨著自動化和智能化技術的快速發展，企業需要不斷進行技術升級和創新，以保持競爭力。然而，傳統數據收集和拓增方式已經無法滿足現代制造業對機器學習和視覺自動化技術的需求。首先，傳統的數據收集方式需要大量的人力、物力和時間投入。通常，企業需要對大量的產品進行實際生產、跑料拍照、人工值守才能獲得缺陷樣本，亦或

3、通過人工手動破壞，從而制造缺陷。這種方式效率低下，耗時數月，且容易出現樣本遺漏或錯判，成本高昂。其次，傳統的數據收集方式難以在可控的時間內獲得足夠多樣和高質量的數據來訓練模型。在復雜的生產環境中，數據的多樣性至關重要。不同的產品、不同的生產條件、不同的缺陷類型都需要一定量的特定數據來支撐模型的訓練。但在有限時間內收集到的數據往往具有局限性，無法涵蓋所有可能的NG情況，這就導致模型的泛化能力不足，難以應對實際生產中的各種變化。此外，訓練數據的均衡性同樣是一個重要挑戰。在實際生產中，OK樣本或常見NG通常遠多于偶發NG樣本，這種數據分布的不均衡會導致模型對NG類別的識別能力較差。例如，在缺陷檢測任

4、務中，如果訓練數據中絕大多數都是常見NG和OK樣本，模型可能會傾向于將偶發待檢樣本都判斷為正常，從而降低了對缺陷的檢出率。而且，數據集的缺陷質量、多樣性也會影響模型性能。在數據采集過程中，可能會因為設備誤差、人為錯誤或環境干擾等原因導致收集的訓練數據標準不準確或不一致；亦或者NG數據的多樣性不夠（比如光照、NG 位置、角度等），導致訓練出來的模型對訓練數據集過擬合，忽略了待檢缺陷的多種形態。這些問題如果不能及時發現和糾正，將會直接影響到模型的訓練效果和最終性能。最后，基于專業圖像編輯軟件（例如Photoshop）的數據擴充方式需要專業人員投入大量時間制作，且高度依賴人員技能，難以保證訓練數據可

5、用性。一.產品背景1.產生背景02生成式AI是一種可以創建虛擬圖像內容和想法（包括局部缺陷圖、帶產品背景的全局缺陷圖等）的AI技術。它基于大規模深度學習模型，通過分析和學習大量工業缺陷特征數據中的模式和關系，來生成原創的NG圖像。生成式AI可以幫助解決傳統NG數據收集和處理中遇到的多個挑戰:（1）降低數據生產成本傳統的數據采集方式需要大量的人力、物力和時間投入，而生成式AI技術可快速輸出合成缺陷數據和對應的標注信息，用戶無需進行實際的采集和缺陷制造工作。而且，結合特定領域或行業的缺陷理解、技術優化、數據多樣化的方法論，生成式AI技術可在短時間內生成大量的逼真的多樣化數據，為模型訓練提供充足的數

6、據源。不僅節省了人力、物料成本，還提高了數據的質量和一致性。2.生成式AI 3.生成式AI帶來的客戶價值增加數據多樣性。生成式AI可以基于有限的真實數據，生成大量的合成數據，擴充缺陷姿態的覆蓋范圍。平衡數據分布。生成偶發稀缺的缺陷類別樣本，緩解訓練數據不平衡的問題，提高模型對稀有事件的識別。提高數據質量。通過海量的預訓練，模型學習缺陷之間的內在規律，進而生成高質量、一致性強的數據樣本，減少訓練集中的噪聲和誤導。增強數據相關性?？梢愿鶕钚碌纳a狀況及時生成新的過漏檢NG，保持數據的時效性。實時數據更新隨生產環境變化定期點檢，并優化數據集，確保模型有效性和準確性標注質量缺 陷 數 據 準 確 完

7、整，保障模型學習的準確性代表性多樣性具有代表性、多樣性，使模型能適應不同生產情況，提高魯棒性均衡性保持不同類別/形態的樣本數量相對平衡，使模型學習各種缺陷樣式數據量充足的數據量提高模型泛化能力03（3）積累行業資產（4）幫助企業保持領先地位在當今快速發展的市場環境中，企業需要不斷地進行技術創新和升級，以適應市場的變化和需求。生成式AI技術為企業提供了一種高效、快速的數據生成和模型訓練方法，使企業以數據為基礎在短時間內推出更加先進和高效的產品和服務，滿足市場的需求。例如，在智能手機制造行業中，市場需求變化迅速，消費者對產品的外觀質量和性能要求不斷提高。傳統模式下，企業需要不斷地進行產線和設備升級

8、，以推出更加符合市場要求的產品，而生成數據技術可以幫助企業基于過往的缺陷認知（比如老型號手機的NG）快速生成適用于新型號零部件外觀缺陷圖像數據，用于訓練外觀缺陷檢測模型。這樣一來，客戶就可以在新產品上及時預防過往的缺陷，以及更早發現和解決產品的外觀質量問題。通過生成式AI技術，制造業用戶生成的大量高質量數據不僅可以提高模型的性能，還可以積累和管理企業的行業缺陷數據資產。生成高質量缺陷數據庫積累的行業資產可以為企業提供持續的競爭優勢。隨著時間的推移，用戶可以利用積累的大量數據進行深入的數據分析和挖掘，發現潛在的市場需求和產品優化方向，從而推出更加符合市場需求的產品和服務。例如，在消費電子供應鏈產

9、業中，某企業通過阿丘科技提供的數據生成技術積累了大量的劃痕缺陷圖像數據。這些數據可以用于分析不同類型缺陷發生的現象和可能性，同時為產品設計和生產工藝的優化提供依據。除了提高缺陷檢測的準確性和效率，還加強了自身在生產制造市場中的競爭力。提升市場競爭力（2）提高模型能力、加速模型收斂眾所周知，豐富的數據集有利于模型效果的提升。結合當下的先進技術手段，生成式AI技術產出的數據可以在虛擬環境中模擬各種不同的情況（尺寸、形態、亮度、位置等），生成大量的多樣化數據，為模型訓練提供了充足的信息輸入，進而讓模型學習到更廣泛的特征和規律，減少模型反復訓練的時間和計算資源的消耗，并提升模型的健康度。04目前，主流

10、生成式AI技術方式是使用Stable Diffusion作為基礎框架模型，Stable Diffusion是一種基于Transformer的圖像生成模型，但該模型在工業缺陷生成領域因技術落地復雜、研發成本高、效果不可控等問題尚未普遍推廣，而阿丘科技工業級智能圖像生成軟件AIDG（以下簡稱AIDG）在業界首先使用了該技術框架并克服落地效果問題。首先，阿丘科技基于行業經驗收集了大量不同尺度、不同類型的工業缺陷數據集，并在缺陷數據集中做好缺陷標注，輸出缺陷掩碼圖。接著，對Stable Diffusion模型進行預先訓練，進而讓模型認知具備了不同類型工業產品缺陷的知識，以及可能出現的缺陷模式。在對St

11、able Diffusion模型進行預訓練的過程中，阿丘科技先把有掩碼標注的缺陷圖經過一個預先訓練好的圖像編碼器，變成圖像的深度特征編碼。再經過一個符合馬爾可夫鏈的概率擴散過程，把深度特征編碼映射到與模型維度一樣、符合高斯分布的隱空間（Latent）里。同時，用預先訓練好的特征提取網絡把缺陷特征提取出來，通過交叉注意力機制引入去噪網絡里，最后再經過一個解碼器還原成圖像。對于用戶而言，首先需準備產品的某種缺陷類型的少量圖像，然后在預訓練模型基礎上，對部分網絡參數進行微調訓練，從而生成與給定樣式更像的缺陷樣本。于是，在推理階段輸入新的OK圖和對應的掩碼圖像，模型就能生成這種類型的新缺陷圖。通過上述

12、生成方式，Stable Diffusion模型可以按照預設的缺陷類型和參數，把正常的工業產品圖像作為背景或參考進行缺陷再生成。比如，在做外觀缺陷檢測任務時，可以用OK圖作為背景，生成各種臟污、劃痕、裂紋等缺陷數據，還能精確地控制缺陷的位置、大小、形狀等姿態，讓生成的缺陷數據更真實、更多樣。在利用Stable Diffusion技術生成缺陷的過程中，為了防止因為網絡太復雜但樣本量小而出現過擬合現象，阿丘科技經過理論分析和實驗驗證，選擇適當地對模型進行裁剪和修改。這樣，在保證圖像生成質量的同時，縮小了模型的規模，減少了網絡參數，提高了訓練效率和推理速度。二.實現原理輸入真實缺陷圖像對圖像逐步增加噪

13、聲基于交叉注意力的去噪網絡從高斯噪聲中逐步去噪生成仿真缺陷圖像05此生成缺陷數據的方式有三點重要作用：第一，它極大地豐富了訓練數據集。在實際生產中，收集到的真實缺陷數據往往數量有限，而且可能存在偏差。而通過Stable Diffusion生成的合成數據可以彌補這一不足，可為模型訓練提供大量的、涵蓋各種可能情況的缺陷數據，可加快模型的收斂速度，提高模型的準確性和泛化能力。第二，Stable Diffusion生成的合成數據可以在虛擬環境中模擬不同的物理條件，如光照變化、角度變化等。這使得模型能夠在不同的環境下進行訓練，更好地適應實際生產中的復雜情況。例如，在不同光照條件下生成的缺陷數據可以幫助模

14、型學習到光照對缺陷外觀的影響，從而提高在實際生產中不同光源條件下的檢測準確性。第三，Stable Diffusion可以自動進行精確標注。由于它是根據預設的缺陷類型和參數進行生成的，所以可以同時生成對應的標注位置、坐標等信息，減少了人工標注的誤差和成本，提高了數據標注的效率和準確性。2.裝配異常檢測 06在電子制造行業的組件生產環節中，電子產品的外觀質量是影響產品競爭力的重要因素之一。AIDG可生成外觀類的各種缺陷數據，如劃痕、污漬、屏幕亮點等，用于訓練外觀缺陷檢測模型。三.典型應用1.外觀缺陷檢測良品圖臟污生成圖良品圖劃痕生成圖在汽車裝配、玩具組裝等行業，裝配異?？赡軙Ξa品質量或使用場景造

15、成安全隱患。AIDG能夠快速合成出組裝環節的缺部件、裝配不牢固、錯裝等問題，生成各種裝配異常情況的數據，用于訓練或驗證模型，提高檢測的準確性、縮短驗收上線周期。良品圖缺螺絲良品圖裝配錯誤單一涂膠缺陷圖多涂膠生成缺陷圖074.異物附著檢測3.字符異常檢測（產品外刻字符）產品上的生產日期、保質期、序列號等字符標識是保證產品質量或安全的重要信息。AIDG的缺陷遷移模塊可以快速模擬包裝上的字符異常問題，提供充足的樣本，作為訓練或驗證集確保AI模型對字符標識能夠準確判定。良品圖字符重印良品圖 字符缺印產品上的異物附著是檢測時需要關鍵關注的缺陷之一，它會在一定程度上影響產品功能，例如在PCB等行業，異物就

16、可能引起導電或接觸不良。AIDG可利用其素材庫能力，處理各類產品表面的線頭、污漬、雜質等異物附著的樣本生成問題，解決異物類缺陷樣本的稀缺現狀，致力提升和檢驗AI模型的檢出能力，進而保障產品質量。原圖標簽紙08四.未來展望技術發展趨勢：數據+生成式AI行業應用拓展：以數據為中心的平臺隨著制造業的不斷發展和智能化升級，其對缺陷檢測的準確性和效率提出了更高要求。生成式AI技術通過深度學習算法和大量數據的訓練，自動生成具有高逼真度的缺陷圖像，為模型訓練提供豐富的素材。但僅有模型是不夠的，缺陷素材庫的重要性日益凸顯。一個完善的缺陷素材庫可以為生成式AI技術提供源源不斷的靈感和參考，包含各種類型的工業缺陷

17、樣本，涵蓋不同行業、不同產品的常見缺陷和罕見缺陷。例如，在汽車制造行業，一個優質的缺陷素材庫可以收集各種車身劃痕、漆面瑕疵、零部件缺陷等樣本。生成式AI技術可以利用這些優秀素材生成或改造出更多類似的缺陷圖像，幫助模型更好地識別和檢測汽車外觀缺陷。同時，缺陷素材庫還需不斷更新和擴展。隨著新的缺陷類型的出現和技術的進步，素材庫可以及時納入新的樣本，確保生成式AI技術始終保持對最新缺陷的生成或整合能力。此外，通過與用戶的互動和反饋，素材庫本身也可以不斷優化和完善，提高其適用性和實用性，并服務于制程改善、異常分析等泛質量領域。生成式AI技術能夠為企業提供高效、準確的缺陷檢測技術和分析手段。但除了數據以

18、外，如何實現以數據為中心的AI平臺則是這一技術的堅實支撐。首先，平臺將成為數據資產管理的中心。在工業生產過程中，會產生大量的生產圖像、缺陷圖像、實驗圖像、制成仿真圖等，這些產線數據經過生成式AI技術處理后，可成為寶貴的資產。一款優秀的AI平臺能夠對這些數據進行高效存儲、分類和管理，確保數據的獨立性和可用性，而企業也可隨時調用這些數據進行模型訓練和優化，不斷提升缺陷檢測的準確性和效率。其次，平臺將為生成式AI、AI檢測技術提供強大的運維支持，讓數據離模型更近，進而形成Data Centric的數據流。AI平臺必須實時監測模型的運行狀態，及時發現過漏檢，給應用側供給數據和工具并解決問題。最后，平臺還需基于數據對模型進行自動化的更新，使其適應不斷變化的生產環境和需求。關 注 公 眾 號人 工 客 服北京阿丘科技有限公司Aqrose Technology Co.,Ltd.北京市海淀區上地信息路7號弘源首著大廈3層深圳市南山區中山園路1001號TCL國際E城G4棟A座6層601室江蘇省蘇州市蘇州工業園區廣鴻大廈515室昆山市開發區金融街A座18層2024年10月