159、Ollama 本地部署实战：一键运行 Llama、Gemma、Qwen 的完整踩坑记

159、Ollama 本地部署实战：一键运行 Llama、Gemma、Qwen 的完整踩坑记

从一次诡异的“模型加载失败”说起

上周五晚上，我正打算用Ollama跑一个Qwen2.5-7B做本地知识库测试，结果终端给我甩了个“Error: model ‘qwen2.5:7b’ not found”——明明我刚刚用ollama pull qwen2.5:7b拉完了，进度条都走满了。更诡异的是，ollama list里确实能看到这个模型，但一运行就报错。我盯着屏幕看了十分钟，最后发现是Ollama的缓存目录权限被Docker容器里的用户搞乱了。这种“看起来正常但实际不能用”的坑，在Ollama本地部署里简直家常便饭。

环境准备：别在Windows上硬刚

Ollama官方支持Linux和macOS，Windows用户建议直接上WSL2。我见过有人非要在原生Windows上折腾，结果显卡驱动、CUDA版本、Ollama的Windows预览版三方打架，最后连个7B模型都跑不起来。我的建议是：老老实实装个Ubuntu 22.04的WSL2，或者直接双系统。如果你手头有N卡，记得先确认驱动版本——nvidia-smi输出里的CUDA版本至少得是11.8，否则Ollama的GPU加速会静默回退到CPU，速度慢到怀疑人生。

安装Ollama本身很简单，一行命令搞定：