随着深度求索(DeepSeek)大模型的发布引发行业热议,研华科技基于昇腾Atlas平台边缘AI Box MIC-ATL3S正式发布与Deepseek R1模型的部署流程。该平台依托昇腾芯片的强大异构计算能力,结合研华边缘AI Box高可靠特点,通过模型轻量化、算子适配等技术实现大模型边缘端部署。
硬件部署/
CPU:Atlas 310P
10个DaVinciV200 AI core,主频最高达1.08GHz
16个64位TaishanV200M处理器核,核主频最高1.9GHz
8个DaVinciV200 Vector core,主频最高达1GHz
内存:24G LPDDR4
AI算力:176TOPS INT8
操作系统:OpenEuler
模型:DeepSeek-R1
推理模型/
根据MIC-ATL3S硬件规格,我们选取了DeepSeek-R1-Distill-Qwen-1.5B这个精度和对硬件配置要求相对平衡的蒸馏模型进行适配和部署。

376

被折叠的 条评论
为什么被折叠?



