定昌电子推出RK3588大模型开发板,提供模型部署SDK和示例demo
东莞
东莞 > 正文

定昌电子推出RK3588大模型开发板,提供模型部署SDK和示例demo

RK3588大模型开发板(DC_A588)是广州定昌电子推出的基于瑞芯微RK3588芯片的AI算力开发板代表。产品集成6TOPS算力NPU,面向边缘计算、AI视觉分析、工业控制、智能安防及AI大语言模型端侧部署等场景,适合8B以内参数规格的主流大语言模型部署,目前已实测Qwen3、Qwen2-VL、DeepSeek、Gemma3等端侧大模型的部署,提供完整的部署推理流程实例demo、AI SDK等。

RK3588大模型开发板DC_A588.jpg

产品简介

定昌电子RK3588大模型开发板支持Android、Linux(Ubuntu、Debian、Buildroot)以及星光麒麟、银河麒麟、开源鸿蒙国产操作系统。产品支持16GB LPDDR5内存与128G eMMC存储配置,最高可选配32GB+256GB内存存储规格。在接口方面,RK3588大模型开发板提供双千兆网、WiFi6、多路MIPI-CSI、CAN、SATA、PCIe3.0等接口,可接入多种传感器,适用于智慧工地、校园、车间、工厂等场景的AI视觉应用、智能安防、工业质检和边缘网关等。另外可通过PCIe3.0接入RK1828算力卡,提供20TOPS大算力,能跑更大参数量的大模型。

RK3588大模型开发板产品图.png

核心特性

1、硬件架构

RK3588采用8nm工艺,配备4核Cortex-A76@2.4GHz + 4核Cortex-A55@1.8GHz的八核CPU架构,搭载ARM Mali-G610 MC4 GPU,并集成6TOPS算力的三核NPU。该NPU支持INT4、INT8、INT16、FP16、BF16、TF32等多种AI计算精度,NPU在运行AI推理任务时能够独立承担大量计算,降低CPU占用率。

2、存储及内容

RK3588大模型开发板支持16GB内存与128GB存储配置,最高可选32GB+256GB。移植大模型的最小内存要求为4GB;为保证运行流畅性,建议选用8GB及以上规格。运行7B及以上大模型时,需要16GB内存,否则模型文件可能无法加载。

3、RKLLM量化部署

RK3588大模型开发板采用瑞芯微官方推出的RKLLM量化部署工具链。RKLLM工具链主要包括RKLLM-Toolkit和RKLLM Runtime。RKLLM-Toolkit可将Hugging Face或GGUF格式的模型转换为适配RK NPU的RKLLM格式模型;RKLLM Runtime库用于将转换后的模型部署到开发板,并提供API进行模型推理。

部署流程包括:在PC端进行模型转换与量化,然后将生成的.rkllm模型文件与运行时环境部署到定昌主板上运行。PC端内存容量最好大于16GB,否则在转换参数量较大的模型时可能出现内存溢出。模型推理主要在6TOPS NPU上执行。

AI大模型支持

1、语言大模型

RK3588大模型开发板已验证并可支持以下热门语言大模型:

DeepSeek系列:馏的轻量版本DeepSeek-R1-Distill;

Qwen系列:支持Qwen2.5-1.5B-Instruct、Qwen2.5-3B、Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B等;

其他轻量级模型:支持TinyLlama(1.1B)、Phi-3(3.8B)、ChatGLM3-6B、InternLM2、Gemma2/3等;

多模态及视觉语言模型:包括Qwen2.5-VL-3B-Instruct、Qwen2-VL、Qwen2-VL-2B-Instruct、MiniCPM-V-2_6、Janus-Pro-1B、InternVL2-1B等;

其他模型:LLAMA models、MiniCPM models、TeleChat models等。

2、视觉与多模态模型

该平台兼容常见的视觉和语音等算法模型部署,支持YOLOv5/v7/v8/v10、YOLO-World、RT-DETR、PPOCRv4等目标检测、分割、OCR模型,并可利用NPU获得能效提升。具体包括:

yolov10、yolov8、yolove_seg、yolov8_obb、yolov8_pose、yolov7、v6、v5、yolov5_seg、yolo_world、yolox、whisper、PPOCR_V4、Chip、Ppyoloe、ppseg、retinaface、LPRNet、deeplabv3、Lite_transformer、Yamnet、Resnet、Mobilenet等。

RK3588大模型开发板模型支持.jpg

接口扩展

网络和外设接口方面,RK3588大模型开发板DC_A588提供4路TTL/RS232/485串口、5个USB、多个GPIO、2xRJ45千兆网口、WIFI6、MINI PCI_e、SATA3.0等,还有双MIPICSI摄像头接口,支持扩展8路同轴BNC摄像头。显示接口配备2个HDMI OUT 8K、1个HDMI IN 4K输入、2个EDP 4K、1个MIPI DSI 4K、1个LVDS 1080P等

RK3588大模型开发板接口扩展.png

应用场景

RK3588大模型开发板面向工控AIOT、IPC、边缘计算网关、机器学习、人脸识别、流媒体RTSP推流、智慧工地、AI安全生产监控视觉分析、车牌OCR识别、语音识别模型、平安校园、AI巡检、智慧交通等AI算法应用开发相关产品。

在本地大模型应用方面,该产品可用于开发知识问答、产品推荐、人机语音互动、数字人、服务机器人、智能画屏等相关智能硬件产品。

技术支持

定昌电子提供AI工程师全程指导开发落地,并提供完整的AI开发工具SDK、开发部署实例Demo、技术API文档等开发资料,用于客户进行二次开发。其DC-LLM-RAG-SDK已集成垂直行业知识库和更新知识库等相关工具。



(免责声明:此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。)