金敏浩-開啟RT-Thread TensorFlow Lite神經網絡之旅-2024RTT全球技術大會.pptx

1、開啟RT-Thread TensorFlow Lite神經網絡之旅金敏浩，RT-Thread Open and Easy to Use Operating Systemhttps:/www.rt-thread.org內容大綱 01 什么是什么是Tensor Flow Lite02 Tensor Flow Lite的的應用應用03 Tensor Flow Lite在在Vision Board上上的應用的應用04 示例示例演示演示Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgTensor Flow Lite 介紹介紹Ten

2、sorFlow Lite(TF Lite)是谷歌推出的用于設備端推理的開源、跨平臺深度學習框架，旨在為包括 Android 和 iOS 設備、嵌入式 Linux 和微控制器在內的多個平臺提供支持。它可以將 TensorFlow 預訓練模型轉換為可以針對速度或存儲進行優化的特殊格式。它還可以幫助開發人員在移動、嵌入式和物聯網設備上運行 TensorFlow 模型。簡單來說，TensorFlow Lite 旨在將訓練好的模型部署在移動端或嵌入式終端上。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgTensor Flow L

3、ite 特點特點輕量級：啟用具有小二進制規模和快速初始化/啟動的設備上機器學習模型推理高性能：針對更快的模型加載時間進行了優化，支持硬件加速等跨平臺：支持 Android 和 iOS 設備、嵌入式 Linux 和微控制器低延遲：無需數據傳入和傳出服務器安全：任何個人數據都不會離開設備，也不會泄露隱私支持多種語言：包括 Java、Swift、Objective-C、C+和 Python豐富的示例參考：提供多平臺常見機器學習任務的端到端示例，如圖像分類、物體檢測等Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgTensor

4、Flow Lite 架構架構Tensor Flow模型Tensor Flow Lite 轉換器Tensor Flow Lite 模型（.tflite）Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgTensor Flow Lite的應用的應用圖像分割圖像分割目標檢測目標檢測語音識別語音識別數字數字分類分類Tensor Flow Lite機器學習任務Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRA8 Vision Board 機器視覺介紹板載外設

5、RA8D1BHEC(Cortex-M85內核，主頻高達480Mhz，具有2MB FLASH，1MB SRAM，MIPI-DSI）QSPI Nor-Flash W25Q64 with XIP supportedAP6212（Wi-Fi 2.4Ghz+Bluetooth5.0）32MB SDRAM 16bit max 120Mhz板載DAP-Link，支持USB-CDC與SWD調試用戶RGB-Led x1用戶按鍵 x1（可配合reset按鍵切換廠商boot）Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRA8 Vision

6、 Board 機器視覺介紹接口外配TypeC-OTG x1 （支持FS/HS，支持用戶按鍵降級至廠商boot模式）TypeC USB-Debug x1（直連DAP-Link/CDC 串口）BTB接口，用于縱向堆疊擴展板卡，充分利用空間，擴充ETH/CAN/LIN等接口LCD(RGB666)FPC 排線接口MIPI-DSI FPC 排線接口SD卡座，支持SDR25兼容樹莓派40Pin的拓展接口10bit 攝像頭 FPC 排線接口9Pin 1.27mm JTAG接口，支持外部調試器接入Open and Easy to Use Operating Systemhttps:/www.rt-thread

7、.orgRT-Thread support on RA8RT-Thread support on RA8 RT-Thread主線對RA8 BSP支持 工具鏈支持：AC6(MDK),LLVMForArm,GCC(RT-Thread Studio)FSP 更新至V5.0 設備框架：UART,GPIO,USB-HS&FS,CEU,SDHI,ETH,IIC,SPI,SCI,ADC,DAC,RTC,WDT.應用支持：兼容 OpenMV 的視覺應用。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRA8 Vision Board 融

8、合RT-Thread軟件能力q 豐富的 RT-Thread 軟件包可用q MicroPython編程，加速算法驗證q 高達 2M，1MB 的片上Flash，RAMq 高速USB加持提升圖像傳輸速度q 軟件開箱即用，可節約開發時間，加速產品上市qArm Helium 加持大幅度提升機器學習性能Open and Easy to Use Operating Systemhttps:/www.rt-thread.org微型機器學習微型機器學習(TinyML)TinyML是近幾年新興的一個領域，專注于開發可在低功耗、內存受限的設備上運行的算法和模型。TinyML并非單一的具體技術，而是一個概括詞，凡能在

9、微控制器（MCU）芯片上實現AI/ML推論工作的，都算是TinyML。LinuxEmbedded LinuxCloudEdgeMLTinyMLIOT DevicesOpen and Easy to Use Operating Systemhttps:/www.rt-thread.org微型機器學習微型機器學習(TinyML)MNIST數據集01.數據采集、數據采集、處理處理 EDGE IMPULSE02.模型訓練、模型訓練、導出導出 MicroPython OpenMV03.模型部署、功能模型部署、功能測試測試Open and Easy to Use Operating Systemhttps

10、:/www.rt-thread.org以以mnist數字識別數字識別為例為例背景介紹：開發工具：MDK5 V5.3.8，OpenMv IDE V4.0.14Demo 代碼：https:/ IMPULSE網站：圖片素材：https:/ and Easy to Use Operating Systemhttps:/www.rt-thread.orgmnist介紹介紹MNIST數據集（Mixed National Institute of Standards and Technology database）是一個用來訓練各種圖像處理系統的二進制圖像數據集，廣泛應用于機器學習中的訓練和測試。作為一個入

11、門級的計算機視覺數據集，發布20多年來，它已經被無數機器學習入門者“咀嚼”千萬遍，是最受歡迎的深度學習數據集之一。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgEDGE IMPULSEEdge Impulse是一個專門針對 TinyML 應用程序開發的平臺。憑借易于使用的基于 Web 的界面，Edge Impulse 可以說是任何人收集數據、訓練模型并最終將其部署到微控制器上的最簡單的解決方案。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgED

12、GE IMPULSE模型訓練生成特征值遷移訓練模型部署Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRT-Thread MicroPythonMicroPython 是 Python 3 編程語言的一種精簡而高效的實現，它包含 Python 標準庫的一個子集，并被優化為在微控制器和受限環境中運行。RT-Thread MicroPython 可以運行在任何搭載了 RT-Thread 操作系統并且有一定資源的嵌入式平臺上。MicroPython 可以運行在有一定資源的開發板上，給你一個低層次的 Python 操作系統，可以

13、用來控制各種電子系統。MicroPython 富有各種高級特性，比如交互式提示、任意精度整數、閉包函數、列表解析、生成器、異常處理等等。MicroPython 的目標是盡可能與普通 Python 兼容，使開發者能夠輕松地將代碼從桌面端轉移到微控制器或嵌入式系統。程序可移植性很強，因為不需要考慮底層驅動，所以程序移植變得輕松和容易。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRT-Thread MicroPython在 RT-Thread 移植的 MicroPython 版本中，實現了如下特定功能庫：micropython 實現 MicroPython 內部功能訪問與控制rtthread RT-Thread 系統功能模塊machine 硬件控制模塊PinI2CSPIUARTLCDRTCPWMADCWDTTIMERnetwork wlanOpen and Easy to Use Operating Systemhttps:/www.rt-thread.orgOpenMV IDEOpen and Easy to Use Operating Systemhttps:/www.rt-thread.io微信公眾號Vision Board 交流群