正元环境 RK1820/RK1828 AI 协处理器 RKNN3 SDK V1.0.0 正式版发布
，，
， 完美适配 RK3588/RK3576+RK1820/RK1828 硬件组合，，为端侧 AI 模型部署提供全栈式软件支撑
，
，，在性能、
、模型适配、
、、功能、
、、精度上全方位升级
，，
，兼具高性能
、
、高适配、、高能耗比优势。。

       本次 SDK 覆盖 PC 端开发套件
、、板端运行 API
、、
、模型转换部署示例，，，支持 androids/Linux 系统
，，PCIe/USB 高速接口实现低延迟数据交互；核心功能优化亮点突出
：

1. 推理效率升级：支持数据传输与推理并行，，
，优化核心算子
，，，，多核多模型同时推理适配高并发；

2. 大模型适配更强
：支持 mRoPE、、、Function Call
，
，
，，兼容主流大模型特性；

3. 开发部署更便捷：支持连板精度分析，
，，，提供 Python API 轻量化工具包，，，，协处理器可自定义模型后处理，，rkllm3 server 新增 embedding 模型支持
。。

       本次 SDK 正式版的核心突破之一，，，，便是LLM Decode 性能整体提升超过 15%
，
，针对 0.5B-8B 不同参数量级 LLM 模型完成深度适配优化，，，RK1820/RK1828 根据算力特性做差异化适配，，可满足不同端侧场景的 LLM 推理需求
。。。。

       测试数据显示
，，，，RK182X 在轻量型 LLM 模型上的性能表现尤为亮眼，，3B 量级模型实现了 Decode TPS 破百的关键突破，，Qwen2.5-3B 模型 Decode TPS 达 102.01，，为端侧实时大模型交互提供了高效支撑；极致轻量的 Qwen2.5-0.5B 模型同样表现出色，，
，，TTFT 仅 21.89ms、、TPOT 4.63ms、、、Decode TPS 215.86
；中大型 LLM 模型方面，，Qwen3-8B 在 RK1828 上实现稳定推理，，，，Decode TPS 达 61.11
，，，，可充分满足端侧中大型 LLM 的部署需求。
。。

*不同参数量 LLM 模型在 RK182X 上的核心性能数据如下
：

       在相同标准测试环境下，，，，RK182X 对多款主流 VLM 及全模态模型完成深度推理优化，
，，
，RK1820/RK1828 根据算力特性实现差异化适配，，，，不同视觉分辨率下均保持稳定的视觉推理耗时，
，
，且 LLM 解码端性能高效，，其中完美支持 Qwen3-VL 系列模型，，，Qwen3-VL-4B 的 LLM Decode TPS 接近 90TPS
，，RK1828 更实现中大型 VLM 模型全协处理器端推理
，，，多模态交互性能表现优异。
。

*不同 VLM 模型在 RK182X 上的核心性能数据如下：

       RK1828 完美适配 Qwen2.5-Omni-3B 全模态模型，
，，，实现音视觉 + 语言全链路高效推理，，解码 TPS 达 102.63 成功破百；全协处理器端独立完成推理，，，392*392 视觉分辨率下推理耗时稳定
，，
，，音频推理仅 98.91ms，，，
，多模态处理效率优异。
。
。。

CNN 模型性能：单核算力扎实
，，，，多核多 batch 吞吐能力大幅跃升

       RK182X 针对经典分类、、检测类 CNN 模型完成单核及多 batch 多核推理深度优化
，
，依托多核多模型同时推理的特性充分释放算力，
，，
，DINOv3 的 ViT 性能表现尤为突出；在保持单核算力稳定的基础上，
，，
，多batch 多核模式下帧率实现数倍提升，，高吞吐特性可高效适配智能监控、、工业检测等高并发计算机视觉应用场景，，性能与能耗比兼具。。

* 不同 CNN 模型在RK182X 上的核心性能数据如下： 

       RKNN3 SDK V1.0.0 针对不同类型模型采用差异化量化策略，，，其中 LLM/VLM 模型采用 W4A16 G32 量化策略
，，，
，CNN 模型采用 W8A8 量化策略
。。在大幅提升推理性能的同时，，量化后模型精度与原始 float32 版本基本持平，
，部分模型精度实现反超，
，有效控制精度损失
，，真正做到性能升级、、效果不减
。。。
。

       RKNN3 SDK V1.0.0 紧扣 AIoT2.0感知 - 决策 - 执行的核心架构，，完成超 30 款主流 AI 模型全维度适配，，，，深度联动上下游核心合作伙伴
，，，
，打通硬件算力、、、、软件栈与算法模型的生态壁垒，，，，模型支持完整、
、、、适配效果好，，充分释放 RK182X 协处理器的算力价值。。。

       在感知层
：多模态数据采集能力拉满，，，，头部伙伴模型深度适配。。。。打造端侧多模态智能数据入口
，
，视觉端全面适配 mobilesnet、、
、、YOLO 系列等经典 CNN 视觉模型及深度估计模型；音频端深度联动科大讯飞、、思必驰、、、大象声科等感知层头部伙伴
，，
，，完成 ASR、、、
、TTS 等核心语音模型适配
，，，多模态感知能力高效落地。
。。。

       在决策层：全规格模型生态闭环
，，
，
，头部厂商核心模型逐一适配。。。适配 Qwen3-VL
、、、GLM Edge 等主流开源大模型，，，全兼容 0.5B-8B全规格 LLM 模型，
，同时深度适配千问 Qwen2.5-Omni-3B
、、智谱 MiniCPM、、、阶跃星辰 Step-GUI-Edge 等头部厂商核心模型，，，全模态智能决策能力端侧高效运行。。。

       在执行层：软硬协同赋能场景落地，
，
，，适配全链路模型能力转化。。。依托 RK3588/RK3576+RK182X 软硬件组合，，，，支持协处理器自定义模型后处理，，，可灵活适配各类模型决策结果执行逻辑；兼容 androids/Linux 系统，
，，，让全品类 AI 能力无缝落地到智能硬件、、、工业检测等多元场景，，，实现从算法到应用的完整转化。。。

       此外，，，SDK 全面兼容 Hugging Face、、、ModelScope
、、、GitHub 等开源平台
，，
，，用户可直接从Github获取预先转好的 RKNN 模型：

• Model Zoo地址
：https://github.com/airockchip/rknn3-model-zoo
；

• 工具提取地址
：https://github.com/airockchip/rknn3-toolkit
；

 

       RK1820/RK1828 RKNN3 SDK V1.0.0 正式版的发布，，，是正元环境在端侧 AI 协处理器领域的重要突破，，，从性能跃升
、、模型扩展到精度优化，，每一项更新均紧扣开发者实际部署需求
，，，让 RK182X 的高算力、、
、高能耗比优势充分释放
。
。。
。未来，
，，正元环境将持续迭代优化 RKNN3 SDK，，
，，不断扩展模型支持范围、、、提升算力表现，
，，打造更高效的端侧 AI 开发工具链，，助力更多 AI 创新应用在端侧落地
。。

       正元环境市场部邮箱：rkmarketing@iotschool.net，，，，欢迎各来自五湖四海的AI 伙伴对接交流，，，携手探索端侧 AI 多场景落地新可能
。。
。