个人PC win11 快速部署deepsek本地大模型 体验AI交互

各专栏更新如下👇

大模型初探分享零基础AI学习经历

OAI-5G开源通信平台实践

OpenWRT常见问题分析

5G CPE 组网技术分享

Linux音视频采集及视频推拉流应用实践详解

得力工具提升工作效率

• 本文介绍了如何在个人pc上快速部署AI系统，同时下载了deepseek和llama3两种大模型，网速快的话，1个小时就能完成 部署。当然前提是pc的性能不太差。
• 测试电脑配置： i7-1260P + Iris Xe + 16G内存。

Ollama安装

安装

下载安装程序并安装。

https://ollama.com/download/OllamaSetup.exe

ollama没有图形界面 ，各种操作可通过命令行进行。

验证

可通过以下两种方法，验证ollama安装是否正常。

ollama浏览器访问地址：

cmd命令行：

设置模型保存路径

在 Windows 11 上使用 Ollama 时，用环境变量定义模型保存目录。默认是以下路径：

如果C盘空间有限，建议修改ollama环境变量配置，这样下载的模型会默认存储在指定的盘符。

• 修改方法：

  1. 右键单击桌面上的 “此电脑” 图标，选择 “属性”。

  2. 在新打开的窗口中，选择左侧的 “高级系统设置”。

  3. 在弹出的 “系统属性” 窗口中，选择 “高级” 选项卡，然后点击底部的 “环境变量” 按钮。

  4. 在弹出的 “环境变量” 窗口中，在 “用户变量” 或 “系统变量” 部分（根据需求选择，若只想影响当前用户选用户变量，想影响所有用户选系统变量），点击 “新建” 按钮。

  5. 变量名设置为 OLLAMA_MODELS ，变量值设置为你希望存储模型的文件夹路径，例如 D:\Ollama3 。

  6. 点击 “确定” 保存设置，如有需要可重启系统使设置生效 。

     

下载安装模型

llama3 8b

ollama run llama3:8b-instruct-q4_K_M

deepseek 标准版

受限于个人PC性能，用的是标准版。安装方法：

ollama pull deepseek-standard

运行：

ollama run deepseek-r1

以优化适用于linux平台ollama。

增加模型可用内存，如果内存够大的话：

ollama run deepseek-r1 --memory 12G

模型参数优化：

ollama run deepseek-r1 --temperature 0.7 --top_p 0.9

ollama run deepseek-r1 --temperature 0.7 --top_p 0.9  --memory 12G

推理体验

将本地部署的llam3和deepseek r1 7b与在线豆包进行提问对比，可以看出，本地模型对问题的理解能力还是有限，答非所问。

以下是使用deepseek官网平台对相同问题的答案，理解能力明显要准确很多。

感谢阅读,还请多多支持🌹 点赞👍收藏⭐评论✍️.

欢迎关注公众号「月光技术杂谈」，阅读更多技术文章！