Qwen2-VL-3B模型NPU多模態部署指導與評測--基于米爾瑞芯微RK3576開發板(上)

swiftman

​隨著大語言模型（LLM）技術的快速迭代，從云端集中式部署到端側分布式運行的趨勢日益明顯。端側小型語言模型（SLM）憑借低延遲、高隱私性和離線可用的獨特優勢，正在智能設備、邊緣計算等場景中展現出巨大潛力。

    ​瑞芯微 RK3576 開發板作為一款聚焦邊緣 AI 的硬件平臺，其集成的 NPU（神經網絡處理器）能否高效支撐多模態 LLM 的本地運行？性能表現如何？

    ​

RK3576 多模態純文字：愛因斯坦有什么貢獻

[color=rgba(0, 0, 0, 0.9)]    ​

RK3576 多模態純文字：自我介紹
    ​

本文將圍繞這一核心問題展開 —— 從端側 SLM 與云端 LLM 的關鍵差異對比入手，詳解 RK3576 開發板的硬件特性與環境配置。

本文以米爾 RK3576 為例，通過實際案例演示多模態 LLM 在該平臺的部署效果，為開發者與研究者提供一份兼具實踐參考與技術洞察的端側 AI 部署指南。

    ​    ​

本文目錄

• 一、基本介紹
  
  
  • 端側 LLM 模型與云端 LLM
  • 瑞芯微 RK3576：6TOPS NPU 的能效比標桿，重新定義中端 AIoT 旗艦
  • 瑞芯微 NPU SDK：RKNN 和 RKLLM
    
    
• 二、環境準備
  
  
  • 步驟 1：登錄開發板，下載必備資料
  • 步驟 2：替換 NPU Driver 后編譯 Ubuntu 并刷機
    
    
• 三、多模態案例：支持圖像和文本交互
  
  
  • 步驟 1：環境準備
  • 步驟 2：模型的獲取、驗證與格式轉換
  • 步驟 3：修改代碼并交叉編譯可執行文件并上傳到板子上
  • 步驟 4：上傳文件到開發板
  • 性能測試 Tips
  • 多模態效果演示
    
    

• 結論
  
  

[color=rgba(0, 0, 0, 0.9)]    ​

    ​

一、基本介紹

    ​

端側 LLM 模型與云端 LLM

    ​

端側小型語言模型（SLM）與傳統云端大型語言模型（LLM）在延遲、隱私和離線可用性三個維度的對比總結。

    ​

對比維度

端側小型語言模型（SLM）

傳統云端大型語言模型（LLM）

延遲

✅ 更低延遲：
- 數據無需上傳至云端，本地處理，顯著減少網絡傳輸延遲。
- 在邊緣設備（如智能手機、Jetson）上，經過量化優化后，推理延遲可低至毫秒級。

❌ 較高延遲：
- 數據需上傳至云端服務器處理，網絡延遲不可控，尤其在網絡狀況不佳時延遲顯著增加。
- 云端 LLM 參數量大（數十億至上百億），即使計算能力強，單次推理耗時仍較高。

隱私

✅ 更高隱私性：
- 數據完全在本地處理，無需上傳至云端，避免數據泄露風險。
- 適用于敏感場景（如醫療、個人助手），滿足 GDPR 等隱私法規要求。

❌ 隱私風險較高：
- 用戶數據需上傳至云端，存在數據泄露、濫用風險。
- 即使云端承諾隱私保護，用戶仍對數據失去直接控制。

離線可用性

✅ 完全離線可用：
- 模型部署在本地設備，無需網絡連接即可運行。
- 適用于網絡不穩定或無網絡環境（如野外、航空場景）。

❌ 依賴網絡：
- 必須聯網才能訪問云端服務，無網絡時完全不可用。
- 網絡波動或云端服務故障會直接影響可用性。

    ​

總結來看，當前端側部署小語言模型特點體現在三方面：

    ​

• 延遲優化：端側 SLM 通過量化（4-bit）、硬件加速（GPU/NPU）和架構優化（如分組查詢注意力 GQA）顯著降低延遲。
• 隱私保護：常見的移動設備，如 iOS 和 Android 最新系統均集成端側模型（如 Gemini Nano），確保隱私數據不出設備。
• 離線場景：Jetson Orin 等邊緣設備可本地運行 3B 參數模型，無需聯網即可完成任務。
  
  

    ​綜上，端側 SLM 在延遲、隱私和離線可用性上均顯著優于云端 LLM。

    ​

瑞芯微 RK3576：6TOPS NPU 的能效比標桿，重新定義中端 AIoT 旗艦

    ​作為瑞芯微 2024 年推出的 AIoT 核心平臺，RK3576 基于 8nm 制程打造，集成6TOPS 自研 NPU（支持 INT4/INT8/FP16/BF16 混合精度），與旗艦芯片 RK3588 保持相同算力規格，卻以更精準的場景化設計，成為中高端邊緣設備的首選方案。

    ​

米爾 RK3576 拓展板正面接口圖，詳見產品介紹[1]

    ​據瑞芯微官方技術文檔顯示，其 NPU 采用動態稀疏化加速引擎，RK3576 采用了更先進的制程工藝等手段來降低功耗，完美平衡算力與能效。

    ​

同算力 NPU 的差異化定位

    ​盡管 RK3576 與 RK3588 均搭載 6TOPS NPU，但兩者在生態適配和場景優化上各有側重：

    ​

• 框架兼容性：雙平臺均支持 TensorFlow、PyTorch、ONNX 等主流框架，但 RK3576 針對 2B 參數級模型（如 Qwen2-VL-2B）進行專項優化，token 生成速度達 10+每秒，適配本地化多模態交互需求；
• 算力分配：RK3576 的 NPU 集成 512KB 共享內存，減少數據搬運開銷，在輕量級視覺任務（如工業缺陷檢測）中，單位算力利用率比 RK3588 高 18%（據瑞芯微內部測試數據）；
• 功耗控制：依托 8nm 工藝與動態電壓調節技術，NPU 滿負載功耗僅 3.2W，較 RK3588 的 4.1W 降低 22%，更適合電池供電的移動終端。
  
  

    ​

    ​

米爾 RK3576 開發板
    ​

與 RK3588 的「同芯不同路」對比

    ​

核心維度

RK3576

RK3588

設計哲學

CPU 架構

4×A72（2.2GHz）+4×A53（1.8GHz）

4×A76（2.4GHz）+4×A55（1.8GHz）

性能-成本平衡
vs 極致計算

GPU

Mali-G52 MC3（支持 Vulkan 1.2）

Mali-G610 MC4（支持 Vulkan 1.3）

3 屏異顯（4K@120+2.5K@60+2K@60） vs 7 屏 8K 異顯

內存帶寬

32 位 LPDDR5（最高 4266Mbps）

64 位 LPDDR5（最高 6400Mbps）

中端場景夠用 vs 高端擴展無憂

視頻編解碼

8K@30fps 解碼/4K@60fps 編碼

8K@60fps 解碼/8K@30fps 編碼

主流視頻流處理 vs 專業級 8K 制作

典型應用

智能座艙、電子價簽、工業網關

邊緣服務器、8K 安防、虛擬桌面

性價比優先
vs 性能無界    ​

官方數據佐證的市場價值

    ​

根據瑞芯微 2025 年 Q2 財報，RK3576 已在平板電腦、交互大屏等領域實現頭部客戶量產，其30%的成本優勢（對比 RK3588 同配置方案）使其在中高端市場占有率環比增長 47%。

    ​例如，某頭部物流企業采用 RK3576 開發的手持 PDA，通過 NPU 實時識別包裹條碼，單設備成本較 RK3588 方案降低 600 元，同時保持 99.7%的識別準確率（官方測試數據）。

    ​RK3576 并非簡單的「低配版 3588」，而是瑞芯微基于場景化需求的精準迭代——在保留旗艦級 6TOPS NPU 的同時，通過 CPU 架構精簡、功耗優化和接口整合，讓邊緣設備既能獲得「夠用的 AI 能力」，又避免為冗余性能支付成本。正如瑞芯微官方所述：「RK3576 填補了旗艦與主流之間的真空，讓每一份算力都服務于真實需求。」對于需本地化部署輕量級 LLM、多模態交互的邊緣場景，這款「6TOPS 普及者」正在重新定義中端 AIoT 的價值標準。

    ​

瑞芯微 NPU SDK：RKNN 和 RKLLM

    ​

瑞芯微的 RKLLM 和 RKNN 是兩個定位互補的 SDK，前者專注于大型語言模型（LLM）的端側部署優化，后者是通用神經網絡推理框架。

    ​RKNN 是基礎，RKLLM 是垂直擴展：

    ​

• RKNN SDK 是瑞芯微推出的通用神經網絡推理框架，支持將 TensorFlow、PyTorch 等主流框架的模型轉換為 RKNN 格式，并在瑞芯微 NPU 上高效運行，適用于圖像識別、語音處理等任務。支持的模型列表可以見：https://github.com/airockchip/rknn_model_zoo[2]
• RKLLM SDK 是基于 RKNN 技術棧的垂直領域優化方案，專門針對大型語言模型（LLM）的端側部署需求設計，提供從模型轉換到推理的完整工具鏈，包括量化、性能調優和多模態支持。
  
  

    ​

RKLLM 量化類型：量化通過降低模型精度來提高推理速度并減少內存使用，不同的策略在性能與準確性之間存在不同的權衡。

    ​總得來說，RKLLM Runtime 依賴 RKNN 的 NPU 驅動進行硬件交互，其底層計算邏輯與 RKNN 共享同一套 NPU 加速引擎。

    ​

RKLLM

    ​專為 LLM 設計的轉換工具（如 RKLLM-Toolkit），支持 Hugging Face 格式模型的量化（如 w4a16、w8a8）和優化，適配 RK3588、RK3576 等高性能 NPU 芯片，通過降低模型精度來提高推理速度并減少內存使用，不同的策略在性能與準確性之間存在不同的權衡。

    ​其提供 C/C++ 接口（RKLLM Runtime）和多模態推理支持（如圖文聯合理解），顯著降低 LLM 在端側設備的內存占用和推理延遲。

    ​

RKLLM 軟件棧可幫助用戶快速將 AI 模型部署到瑞芯微芯片上[3]。

    ​

RKLLM 使用流程

    ​

    ​

    ​

    ​

RKLLM SDK 概覽

    ​為使用 RKNPU，用戶需先在計算機上運行 RKLLM-Toolkit 工具，將訓練好的模型轉換為 RKLLM 格式模型，然后使用 RKLLM C API 在開發板上進行推理。

    ​

• RKLLM-Toolkit 是一款軟件開發工具包，供用戶在 PC 上進行模型轉換和量化。
• RKLLM Runtime 為瑞芯微 NPU 平臺提供 C/C++編程接口，助力用戶部署 RKLLM 模型并加速大語言模型應用的實現。
• RKNPU 內核驅動負責與 NPU 硬件交互。它已開源，可在瑞芯微內核代碼中找到。
  
  

    ​

二、環境準備

    ​

步驟 1：登錄開發板，下載必備資料

• 確認串口驅動安裝。開發板的調試接口（USB Type-C）內部已集成 USB 轉 TTL 芯片，連接電腦后會自動識別為一個串口設備（ Windows 下為 COM 口，Linux 下為/dev/ttyUSBx）。
  
  

    ​

    ​給開發板插上電源，Debug USB 鏈接筆記本，之后打開筆記本的設備管理器，在端口(COM 和 LPT)可以看到會多出來 COM5 和 COM6，選擇串口連接COM5 (USB-Enhanced-SERIAL-A CH342 (COM5))，并設置速度為 115200。

    ​

板子 Debug USB 接口連接上筆記本時，端口出現 COM5和 COM6

• 登錄開發板。拿到開發板后，操作系統是 BuildRoot 如下所示，可以插網線鏈接網絡，因為 BuildRoot 只有一些最基本的命令行工具，并不好用，比方缺少 apt 等工具。但是在默認用戶下有一些基本的 cpu/gpu/npu 測試文件夾，里面提供了一些測試比如 CPU 壓測腳本等。
  
  

    ​

root@myd-lr3576x-buildroot:/rockchip-test/npu2# cat /etc/os-release
NAME=Buildroot
VERSION=linux-6.1-stan-rkr3-33-g2275964ac9
ID=buildroot
VERSION_ID=2024.02
PRETTY_NAME="Buildroot 2024.02"
ID_LIKE="buildroot"
RK_BUILD_INFO="haha@haha Mon Jan  6 11:11:37 CST 2025 - rockchip_rk3576"

• 登錄米爾開發平臺[4]，獲取文檔等資料。在開發者平臺注冊綁定你的產品信息，在開發板盒子側面會有一個產品型號系列號，如下圖可通過微信掃碼綁定：
  
  

    ​

開發板包裝盒子側面的序列碼

    ​可以電腦登陸米爾開發者平臺（https://dev.myir.cn/）下載資料，必備的文檔、工具、刷機工具、鏡像等，如下所示：

    ​

米爾提供的 Debian&Linux6.1.75 Distribution V1.1.0

    ​其中 02-Docs(ZH) 文檔部分，下面兩個必須得好好看看：

    ​

• MYD-LR3576J-GK Ubuntu 軟件開發指南-V1.0.pdf
• MYD-LR3576 Debian 軟件開發指南-V1.1.pdf
  
  

    ​這兩個文檔在后面會指導你使用 02-Images、03-Tools、04-Sources 里面進行刷機、編譯內核。