電力場景下狹小空間微型仿生巡檢機器人技術研究.pdf

《電力場景下狹小空間微型仿生巡檢機器人技術研究.pdf》由會員分享，可在線閱讀，更多相關《電力場景下狹小空間微型仿生巡檢機器人技術研究.pdf（34頁珍藏版）》請在三個皮匠報告上搜索。

1、項目負責人：宋愛國東南大學儀器科學與工程學院機器人傳感與控制技術研究所2023年6月29日研究背景朗馳輪式巡檢機器人PIR-300 變電站巡檢機器人PIR-TS210輪式巡檢機器人新松智能巡檢機器人魯能智能軌道巡檢機器人 近年來，我國提出了提高電網近年來，我國提出了提高電網自動化水平自動化水平，推動電網，推動電網智能化建設智能化建設的要求，促進了電力機器人發展。在巡檢的要求，促進了電力機器人發展。在巡檢領域，與人工巡檢或安裝固定監測設備等傳統巡檢方式相比，領域，與人工巡檢或安裝固定監測設備等傳統巡檢方式相比，移動移動巡檢機器人巡檢機器人實時性高、安全性和可靠性強，實時性高、安全性和可靠性強，可

2、以完成電站常規工作，具有巨大的價格優勢和推廣應用潛力，推動經濟社會發展?？梢酝瓿呻娬境Ｒ幑ぷ?，具有巨大的價格優勢和推廣應用潛力，推動經濟社會發展。PIR-UP200 電力巡檢機器人傳統人工巡檢面向狹小環境，尤其管道場景的適應能力潔凈管道 有污染管道l管道巡檢的必要性：管道銹蝕、沉積大量細菌、可吸入顆粒物等，影響空氣質量，容易形成傳染病源以及病毒傳播的隱藏途徑l管道環境的復雜性：狹窄、管道連接處形狀多樣，存在多分叉路口、L型、T型、十字、變徑、臺階管道機器人管道機器人人工目測人工目測研究背景l管道機器人感知的局限性：環境挑戰：弱光場景、管道的結構重復性低紋理、金屬材質鏡面反射、接觸面摩擦系數低

3、傳感器影響：視覺特征提取問題、激光雷達的誤差問題、不同管道尺寸下的光暈問題、輪速記不準確 傳感系統設計約束：空間限制、數據可靠性、多傳感器融合的有效性l管道機器人控制的局限性：運動模型復雜：需要運動規劃設計與可通過性判斷 機動性需求：避障、越障、爬坡、過彎 操作者熟練度參差與誤操作問題 控制模式單一、交互信息有限多源信息融合的感知定位技術操作者遠程遙控機器人自主控制人機共享控制優勢互補研究背景國內外研究現狀仿蚯蚓蠕動機器人PIC-Ro,日本中央大學MRINSPECT VII,韓國成均館大學多功能管道內檢測機器人,韓國成均館大學可重構輪式管道機器人,以色列本古里安大學AIRo-5.2,日本立命館

4、大學蛇形管道機器人,中山大學履帶管道作業機器人,湖南大學MAKRO 機器人,德國Fraunhofer 學院三軸差動式管道機器人,哈爾濱工業大學國外國內l管道機器人研究現狀管道機器人研究現狀國內外研究現狀管道機器人按驅動方式的分類性能對比參考:管道適應能力（小口徑管道）行進速度 過彎、爬坡、越障能力 負載能力 巡檢效率 控制的復雜程度 通信方式 續航能力l管道機器人研究現狀管道機器人研究現狀需要研究研究面向面向狹小狹小空間的管道機器人機電系統設計空間的管道機器人機電系統設計目前存在的問題：本課題面向的屬于中小型的管道，其截面多為矩形，管道網絡環境較為復雜，存在多分叉路口、L型、T型和十字、變徑、

5、臺階等，現有的管道機器人主要面向的是圓形管道，最為常用的壁壓式和輪式無法適應管道的變徑和臺階場景，常規的履帶式也因為體積過大不具備在小口徑管道的靈活運動能力。國內外研究現狀l多源信息融合的感知技術研究現狀多源信息融合的感知技術研究現狀傳感器優勢劣勢相機（單目/雙目/RGBD）安裝方便，價格便宜，視覺信息豐富對環境敏感，視場角限制、遮擋和運動模糊激光雷達（單線/多線）精度高，提供周圍空間的幾何信息，魯棒性好在相似的幾何環境中或者動態變化較大的場景中容易跟蹤丟失導致狀態估計失敗慣性測量單元低成本、輕量化、高性能、高頻率重力噪聲、零漂和溫漂問題輪速記成本低、實時性強精度有限、打滑、不平整路面多傳感器

6、融合SLAM激光SLAM:Gmapping/Cartigrapher/LOAM/LeGO-LOAM視覺SLAM:LSD-SLAM/DSO/ORB-SLAM3多傳感器融合的SLAM:VINS-Mono/FAST-LIO國內外研究現狀在ORBSLAM基礎上引入管道先驗信息作為約束（遠處陰影）,東京工業大學ORBSLAM引入管道圓柱型約束和管道直徑一致約束,英國謝菲爾德大學管道圖像去霧、去運動模糊,鄭州大學深度相機陣列三維重建,美國內布拉斯加大學l多源信息融合的感知技術研究現狀多源信息融合的感知技術研究現狀（管道環境）（管道環境）國內外研究現狀高精度點激光+IMU旋轉定位(1mm誤差),英國斯特拉斯

7、克萊德大學TOF陣列識別管道場景,英國利茲大學需要研究研究多源信息融合的管道機器人傳感系統多源信息融合的管道機器人傳感系統目前存在的問題：現有的解決方案大多是使用視覺SLAM加約束方法，且主要針對圓形管道，沒有考慮高反射率環境。金屬管道內紋理信息不明顯，特征提取魯棒差，管道內視線昏暗，需要補光，但由于管道內壁金屬表面的鏡面反射，會在視覺上形成光暈或明暗分散的現象，同時對傳統的激光雷達的測量也會有影響。視覺圖像有高光和陰影，且會隨著機器人的移動而變化，采用直接法的SLAM效果也很差。l多源信息融合的感知技術研究現狀多源信息融合的感知技術研究現狀（管道環境）（管道環境）國內外研究現狀目的：減少操作

8、者的認知負荷，避免長時間緊張的遙操作，同時提供豐富的反饋信息，使操作者能夠感受到機器人端自主控制的意圖，方便做出決策。例：解決手抖問題、解決誤操作問題操作者遠程遙控機器人自主控制人機共享控制優勢互補l 問題1：機器人的自主控制研究l 問題2：操作者遠程交互方式研究l 問題3：如何在人工輸入和自主輔助之間找到共享平衡自主控制機械系統模型（運動學模型、動力學模型）場景信息（傳感數據、場景識別、目標識別）針對任務流程設計（運動規劃）l人機共享控制技術研究現狀人機共享控制技術研究現狀國內外研究現狀l人機共享控制技術研究現狀人機共享控制技術研究現狀華南理工大學力反饋共享控制框架模糊推理共享因子機械臂目標

9、跟蹤肌電與力反饋共享控制框架人工勢場混合力移動機器人避障浙江大學國內外研究現狀l人機共享控制技術研究現狀人機共享控制技術研究現狀聽覺反饋共享控制框架經驗最優固定值共享因子機器人抓取實驗=0,0,25,0.5,0.75,1日本名古屋大學上下文推理的共享控制框架神經網絡推理共享因子手術機器人抓握英國布里斯托爾大學國內外研究現狀l人機共享控制技術研究現狀人機共享控制技術研究現狀手勢識別共享控制框架距離偏差推導共享因子機械臂目標抓取美國科羅拉多礦業學院目前存在的問題：管道機器人的控制仍停留在以遠程遙控為主的方式上，部分智能化管道機器人也局限在單一任務場景中。面向不同任務，人和機器人的權重分配策略應該根

10、據任務的難易程度改變，需要分析單個任務模式中機器人自主化程度和其單獨完成任務的期望調整權重分配。在狹窄管道環境中，傳回的圖像信息內容有限，可以通過增加輸入和反饋方式，增強系統的交互性。交互方式共享平衡力反饋、肌電、聽覺.共享因子設計（固定最優權重系數、分段函數權重、指數平滑權重）需要研究管道機器人的共享控制技術的共享控制技術主要研究內容（1）針對現有的管道機器人無法滿足小口徑管道內部的地形起伏、上下坡道、側壁障礙等環境，且機器人端需要搭載充足的傳感設備，研究研究面向面向狹小環境的狹小環境的管道巡檢機器人機電系統設計管道巡檢機器人機電系統設計，并搭建合理的傳感系統。（2）研究適用于管道環境的研究

11、適用于管道環境的多源信息融合的多源信息融合的機器人感知定位機器人感知定位技術技術,提高在弱光低紋理場景下移動機器人的環境感知能力，利用深度學習的方法提高對場景的辨識能力，實現對管道環境的建模與機器人的定位。（3）研究管道機器人的研究管道機器人的共享控制技術共享控制技術，搭建人機混合共享控制框架，分析控制的動態權重因子，發揮機器人自主性和人工決策能力的優勢，利用肌電、力反饋設備或震動反饋裝置豐富交互方式，提升機器人的避障和任務執行效率。小型化管道機器人機電系統設計感知定位技術研究人機共享控制技術研究小型化管道巡檢機器人系統組成機器人結構設計智能運動控制基本運動控制環境感知狀態估計場景建模與重定位

12、虛擬現實場景交互多模態人機交互系統平臺展示前端：后端：機器人本體遙操作控制平臺通信系統有線通信無線通信單模光纖/電力載波Wi-Fi HaLow/無線電臺 機動能力感知能力控制能力交互能力系統開發流程圖小型化管道機器人機電系統設計前后擺臂履帶：結構緊湊，地形適應能力強，控制邏輯清晰；管道巡檢機器人V1.0爬坡越障第一代管道機器人小型化管道機器人機電系統設計動力系統硬件設備軟包電池電源穩壓板行進電機導臂舵機電機扭矩維持力矩電源需求功率限制爬坡/駐坡：30越障高度：10cm行進速度：10cm/s過彎能力：90續航時間：60min主要設備尺寸：155*120*130mm重量：900g行進速度：10cm

13、/s爬坡能力：30坡面行走/駐留越障能力：11cm續航能力：1h底層控制與傳感采集stm32F1樹莓派4B基本需求小型化管道機器人機電系統設計雙擺臂管道巡檢探測機器人樣機30管道坡面運動機器人雙擺臂變構運動性能測試視頻第一代樣機與運動功能測試小型化管道機器人機電系統設計改進版改進版改進內容l 小型化：137mm*82mm*80mml 輕量化：680g（傳動優化）l 傳感升級：單線雷達-多傳感融合l 增加補光燈板：亮度可調l 增加導向輪：輔助行進與回拉（支持拖拽）手機車體導向輪設計3-5N12-15N6-8N8-10N管道環境拖拽機器人測試小型化管道機器人機電系統設計第二代樣機與運動功能測試管道

14、巡檢機器人V2.0第二代管道機器人樣機第一代第二代搭建的管道環境（最小截面120*120mm）小型化管道機器人感知系統設計傳感系統設計紅外熱像儀魚眼相機線陣固態雷達前視微型攝像頭后視微型攝像頭輪速記慣性測量單元補光燈板定位建圖場景識別異物檢測彎道（發熱源）激光雷達誤差小型化管道機器人感知系統設計12直管長度3遠程視覺場景識別雷達測量直管寬度1編號：1長：3.0m寬：0.2m高：0.2m編號：2長：未知寬：未知高：未知編號：3長：未知寬：未知高：未知數據存儲數據存儲視覺距離測量視覺距離測量基于多傳感器融合的管道定位與建模技術搭建神經網絡模型用于管道內典型場景（三通、四通、上坡、下坡、彎道等）采用

15、拓撲的方式構建具有管道幾何信息（長、寬、高）的管道地圖三通32二維地圖二維地圖場景識別精度準確率達到92.3%ResNet小型化管道機器人感知系統設計基于視覺線特征的管道機器人定位技術利用RANSAC算法提取點云線特征并計算管道寬度和機器人偏航角利用LaneNet網絡提取圖像管壁邊緣特征并建立約束提取管道連接處的豎直線特征利用相機投影模型并構建最小二乘問題解算管道高度和機器人位置定位精度優于5cm線陣激光雷達濾除離群點單目相機提取點云平行線特征時間同步管壁邊緣線特征LaneNet豎直線特征LSDRANSAC特征提取特征提取管內滅點管壁連接處豎直線特征約束管道寬度機器人偏航角管道高度機器人二維坐

16、標幾何解算相機反投影設定閾值圖像預處理小型化管道機器人感知系統設計場景識別(直管、彎道、三通、四通、變徑等)目標檢測目標檢測(邊長大于5mm的物體)準確率達到92.3%92.3%準確率達到90%90%多尺寸管道環境測試小型化管道機器人通信系統設計無線通信方案無線通信：電臺、lora(應急容錯)有線通信：光纖(拖拽救援)、電力載波（優化供電/減輕車體重量）有線通信方案Wi-Fi HaLow無線電臺Lora單模光纖電力載波共享控制系統框架后端交互平臺設計控制主端PC從端管道巡檢機器人管道巡檢機器人控制軟件管道巡檢機器人本體 激光、IMU、視覺等傳感器管道數據、機器人位姿、攝像頭視頻等信息控制指令數

17、據接收、發送與處理交互輸入虛擬機器人實時攝像頭+位姿更新+管道地圖三維模型顯示軟件多種設備顯示數據庫信息保存 讀取信息傳遞后端軟件開發流程管道構件及機器人三維建模地圖與機器人位姿數據轉換與存儲管道及機器人實時VR顯示用戶界面及機器人漫游控制高級功能模塊開發管道構件3D模型創建3ds Max機器人3D模型創建及組裝3ds Max機器人機構變形動畫制作Unity中管道/機器人虛擬模型生成地圖及位姿數據Unity坐標系轉換所建地圖存儲到服務器數據庫管道屬性信息存儲到服務器數據庫Unity與VR頭顯的通訊接口程序開發機器人位置附近管道環境模型動態加載基于管道構件拓展的快速管道建模及渲染用戶界面設計管網

18、/管道信息顯示基于ROS的虛擬機器人運動控制機器人導航與尋徑管網拓撲及管道環境顯示機器人位置/姿態顯示管道標記機器人漫游控制射線碰撞檢測及響應管道快速建模3DMAX模型弧型管道模型上坡管道模型下坡管道模型自動建模流程直管模型后端交互控制控制箱設計VR沉浸式交互系統沉浸式交互軟硬件系統框圖VR沉浸式交互系統VR交互小型化管道巡檢機器人關鍵參數參數名稱參數指標/功能機器人本體尺寸（外包絡尺寸）長137mm*寬82mm*高80mm行進速度15cm/s爬坡能力30坡面行走、坡道駐留越障能力越障高度10cm續航時間90分鐘傳感設備與感知功能傳感數據支持前后廣角可見光相機、紅外熱像儀、音頻采集、雷達、輪速計、IMU定位精度優于5cm，50m管道管道場景識別識別率優于92.3%典型目標檢測準確率優于90%其他支持可調照明、數據記錄與回放通信與控制通信方式支持光纖通信、無線電臺通信、Lora通信控制方式遙操作+局部自主控制后端交互平臺交互終端便攜式控制箱（自研）、桌面式PC、可穿戴VR多模態交互語音、手勢、手柄等交互信息視頻流、管道模型與機器人定位、機器人狀態與異常點標注安全措施與其他防護功能具備防跌落、防通信中斷與失控、防滯留的功能與容錯、IP54環境適應性支持金屬/非金屬管道、支持高反射率環境