Windows11(非WSL)安装Installing llama-cpp-python with GPU Support

原创

已于 2024-02-18 13:53:11 修改 · 3.7k 阅读

收录于

当前文章被以下社区和专栏收录：

于 2024-02-18 13:43:18 首次发布

直接安装，只支持CPU。想支持GPU，麻烦一些。

1. 安装CUDA Toolkit (NVIDIA CUDA Toolkit (available at https://developer.nvidia.com/cuda-downloads)

2. 安装如下物件：

git
python
cmake
Visual Studio Community (make sure you install this with the following settings)
- Desktop development with C++
- development
- Linux embedded development with C++

3. Clone git repository recursively to get llama.cpp submodule as well

git clone --recursive -j8 https://github.com/abetlen/llama-cpp-python.git

标签

#llama #python #开发语言

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

aiXpert

关注关注

8
点赞
踩
12

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

windows下部署llama.cpp

qq_36437991的博客

04-01

4210

windows下部署llama.cpp

llama-cpp-python使用教程

try2find的专栏

06-30

1105

llama-cpp-python使用教程摘要本教程详细介绍了llama-cpp-python的安装、基础用法和高级功能。安装支持CPU、GPU（CUDA/Metal）及OpenBLAS加速，需配置对应环境。基础用法包括加载GGUF模型、文本生成和对话模式。高级功能涵盖GPU加速（设置n_gpu_layers）、多模态处理（图片描述生成）和流式输出。实用技巧包括模型量化（如Q4_K_M平衡性能与显存）、显存优化（内存映射）和性能调优（线程/批处理设置）。常见问题解决涉及CUDA路径配置、GCC升级等。适用于

3 条评论您还未登录，请先登录后发表或查看评论

深入解析llama-cpp-python：高效本地大语言模型部署终极指南

gitblog_00041的博客

04-28

256

llama-cpp-python作为llama.cpp项目的Python绑定库，为开发者提供了在Python环境中无缝运行和部署大型语言模型的完整解决方案。这个强大的工具库不仅支持文本生成、对话交互等基础功能，还集成了多模态视觉语言模型支持，是构建本地AI应用的理想选择。无论你是希望快速原型验证还是部署生产级应用，掌握llama-cpp-python的核心用法都将极大提升你的开发效率。 ## ?

深入探索 llama-cpp-python：在 LangChain 中启用本地 LLM 推理

aehrutktrjk的博客

11-29

548

通过本文，我们了解了如何在 LangChain 中使用 llama-cpp-python 部署 LLama 模型，涵盖了从安装到推理的整个过程。建议读者进一步探索获取最新模型，并阅读LangChain 官方文档以学习更多关于模型使用的技巧。

llama-cpp-python

AI工程化、开源分享、文档翻译、代码笔记

07-16

5091

一、关于 llama-cpp-python 二、安装安装配置支持的后端 Windows 笔记 MacOS笔记升级和重新安装三、高级API 1、简单示例 2、从 Hugging Face Hub 中提取模型 3、聊天完成 4、JSON和JSON模式 JSON模式 JSON Schema 模式 5、函数调用 6、多模态模型 7、Speculative Decoding 8、Embeddings 9、调整上下文窗口四、OpenAI兼容Web服务器 Web服务器功能五、Docker镜像六、低级API

【个人开发】llama2部署实践（三）——python部署llama服务（基于GPU加速）

weixin_44505713的博客

03-10

6188

gcc:9.4.0cuda:11.8以上，End。

如何在Windows系统快速部署llama-cpp-python：5步解决兼容性问题

gitblog_00202的博客

01-20

601

想要在Windows系统上顺利运行本地大语言模型，llama-cpp-python是连接Python生态与llama.cpp高性能推理引擎的最佳选择。无论你是AI开发者、学生还是技术爱好者，这篇指南将带你避开所有常见陷阱，用最简单的方法完成部署。 ## 部署前的关键检查清单在开始安装前，请确保你的系统环境满足以下要求： **硬件要求**： - 内存：至少8GB（推荐16GB+） - 存储：

Vicuna-13B本地部署实战：llama.cpp+FastAPI轻量级生产方案

weixin_34050519的博客

06-23

349

大语言模型（LLM）本地化部署正成为企业AI落地的关键路径，其核心在于平衡推理性能、硬件兼容性与工程可控性。基于llama.cpp的GGUF量化技术可将13B级模型压缩至5GB以内，实现CPU端稳定推理；FastAPI与Uvicorn组合则提供高并发、自文档化的RESTful接口能力。该方案规避了PyTorch显存瓶颈、Ollama黑盒封装及Flask GIL限制，特别适合知识库问答、智能客服、技术文档摘要等中低延迟业务场景。本文聚焦Vicuna-13B在消费级设备（如M1 Mac）上的端到端部署，涵盖4-

Windows 11本地AI Agent实战：llama.cpp+Hermes+Qwen3.6零基础部署指南

一个2年工作经验的程序测试员

06-23

411

本地AI Agent是指在用户设备端完成推理、规划与工具调用的智能体系统，其核心原理是将大语言模型轻量化（如GGUF量化）并嵌入轻量框架（如Hermes），依托操作系统底层能力（如Windows 11的WSL2、DirectML、大内存页）实现离线运行。技术价值在于保障数据主权、消除网络依赖、降低使用门槛。典型应用场景包括文档摘要、代码解释、会议纪要生成及多步自动化（查天气→写周报→发邮件）。本文聚焦Windows 11平台，详解llama.cpp服务部署、Hermes Agent配置与Qwen3.6系列模

Win11本地AI写作助手搭建：Hermes+Ollama+llama.cpp全链路指南

weixin_30945039的博客

06-19

411

本地大模型部署是内容创作者实现AI写作自主可控的关键路径，其核心在于构建不依赖云端API、数据不出本地、成本可持续的智能体运行环境。原理上需打通模型推理（llama.cpp）、服务封装（Ollama）、任务编排（Hermes Agent）与系统兼容（WSL2）四层技术栈，技术价值体现在隐私安全、长期零订阅费、可定制化工作流及离线可用性。典型应用场景覆盖自媒体批量成稿、电商文案生成与敏感内容创作，尤其适合关注‘ollama下载太慢’‘wsl2怎么安装’等实操门槛的中文用户。本文即围绕Win11平台，详解如何用

llama.cpp本地部署实战：Windows11+CUDA加速Qwen2模型上手指南

06-19

372

大语言模型（LLM）本地推理正从云端走向桌面，核心在于轻量、可控、低依赖的运行时框架。llama.cpp以纯C/C++实现，绕过Python生态与CUDA版本冲突，通过GGUF模型格式和细粒度GPU卸载（-ngl参数），在Windows 11等消费级系统上实现毫秒级响应。其技术价值体现在三方面：极致精简的二进制分发、量化感知训练（QAT）支持的高保真嵌入模型（如qwen3-embedding-0.6b）、以及多token预测（MTP）带来的吞吐翻倍。典型应用场景包括本地知识库RAG、离线代码助手、隐私敏感的

DeepSeek V4 Flash本地部署：硬件调优与llama.cpp协议对齐指南

weixin_33911824的博客

06-22

468

Flash Attention是一种面向高吞吐低延迟推理优化的注意力机制变体，其核心原理在于通过内存访问模式重构与算子融合降低显存带宽依赖；技术价值体现在单token生成延迟下降超30%，但对PCIe带宽、CUDA驱动ABI、cuBLASLt内核选择等底层设施高度敏感；典型应用场景包括Windows本地大模型推理、边缘端代码生成与VS Code嵌入式AI辅助；实际部署中必须同步解决`cuda error: no kernel image is available`和`flash download faile

llama.cpp与Ollama实战指南：GGUF模型本地部署全解析

aibiba0894的博客

06-15

832

大模型推理框架是AI落地的关键基础设施，其核心在于将训练完成的模型高效、稳定、可控地运行在边缘或本地设备上。llama.cpp作为轻量级C/C++实现的模型解释器，通过GGUF格式实现跨平台、低开销、高确定性的前向计算；Ollama则在其之上构建了模型分发、运行时管理与配置即代码（Modelfile）等部署能力，显著降低工程门槛。二者协同解决了Windows与Linux环境下CUDA编译失败、国内镜像下载缓慢、量化格式不兼容、GPU加速失效等高频痛点，广泛应用于笔记本、台式机及嵌入式设备的私有化AI服务搭建

llama.cpp中KV Cache设置实战指南：精度、序列长度与Windows11兼容性

weixin_30470643的博客

06-19

461

KV Cache是Transformer推理中维持上下文连贯性的核心状态存储机制，其本质是各层注意力头的Key/Value向量阵列，空间占用随层数、头数、序列长度和精度线性增长。理解bf16与fp16在内存布局、数值稳定性及GPU访存效率上的差异，是优化本地大模型部署的关键；尤其在Windows11环境下，系统级CUDA兼容问题常导致默认精度失效，引发OOM或segmentation fault。合理配置-c（上下文长度）、-ctk/-ctv（KV精度）可显著提升Qwen3、Llama3.2等新模型的长文本

Phi-3-mini-4k-instruct-gguf保姆级教程：Windows WSL2环境下CUDA+llama-cpp-python部署

weixin_35973118的博客

04-13

1027

本文介绍了如何在星图GPU平台上自动化部署Phi-3-mini-4k-instruct-gguf镜像，实现高效的文本生成功能。该轻量级模型特别适用于问答、文本改写和摘要整理等场景，通过简单的配置即可快速搭建AI助手环境，提升内容处理效率。

llama.cpp b9460默认n_predict=128导致生成速度骤降

weixin_30776545的博客

06-20

362

在本地大模型推理中，n_predict参数控制模型单次生成的最大token数量，其默认值直接影响推理吞吐与显存调度效率。llama.cpp自b9460版本起将n_predict默认值由-1（无限制）悄然更改为128，引发Windows CUDA环境下token/s下降20%~42%的普遍性能回退。该变更虽提升嵌入式设备稳定性，却因未同步更新文档与UI提示，导致大量用户在命令行、Python调用及图形界面中遭遇静默截断。技术本质是短序列生成加剧了WDDM驱动下的CUDA kernel启动开销与显存对齐碎片，凸

6G显存跑35B大模型：A3B量化与llama.cpp协同优化实战

weixin_30627341的博客

06-19

453

大语言模型推理内存占用并非由参数量直接决定，而是取决于KV缓存、激活张量及量化权重解压开销。A3B自适应量化通过分层动态分配2~4比特，在精度与体积间取得平衡；llama.cpp则以GPU offload、mmap内存映射和语法校验等机制，实现显存-内存协同调度。这种软硬协同的技术路径，显著降低对高端GPU的依赖，使6G显存设备具备运行35B级模型的工程可行性。典型应用场景包括本地知识库问答、轻量Agent工作流编排与结构化内容生成，尤其适合边缘办公、私有化部署及教育科研等资源受限环境。

Windows本地AI引擎实测：vLLM、Ollama、llama.cpp五款对比