llama.cpp部署(windows)

原创 已于 2023-12-05 00:18:47 修改 · 3k 阅读 · 8
于 2023-12-05 00:18:16 首次发布
本文详细描述了如何从GitHub下载LLAMA源码和模型，配置CMake并进行VisualStudio下的编译，以及后续的量化和推理过程，包括安装Python依赖和使用自定义工具进行模型转换。

一、下载源码和模型

 下载源码和模型
# 下载源码
git clone https://github.com/ggerganov/llama.cpp.git

# 下载llama-7b模型
git clone https://www.modelscope.cn/skyline2006/llama-7b.git
 查看cmake版本：
D:\pyworkspace\llama_cpp\llama.cpp\build>cmake --version
cmake version 3.22.0-rc2

CMake suite maintained and supported by Kitware (kitware.com/cmake).

 二、开始build

# 进入llama.cpp目录
mkdir build
cd build
cmake ..

build信息 

D:\pyworkspace\llama_cpp\llama.cpp\build>cmake ..
-- Building for: Visual Studio 16 2019
-- Selecting Windows SDK version 10.0.18362.0 to target Windows 10.0.22631.
-- The C compiler identification is MSVC 19.29.30137.0
-- The CXX compiler identification is MSVC 19.29.30137.0
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Check for working C compiler: D:/Program Files (x86)/Microsoft Visual Studio/2019/Community/VC/Tool
标签
#llama #语言模型
最低0.47元/天 解锁文章
windows下部署llama.cpp
qq_36437991的博客
04-01 4210
windows下部署llama.cpp
llama.cpp部署在windows
road_of_god的博客
10-18 5999
并在llama.cpp根目录下创建org-models文件夹，将checklist.chk和tokenizer.model放在其中，再在org-models文件夹中创建7B文件夹，将consolidated.00.pth和params.json放入其中。因为在安装过程中选择了自动添加环境，所以安装完后不用手动添加环境了，但是此时必须得重启电脑，变量才能使用，否则无法对Cmake安装进行测试。在org-models\7B\中生成量化后的文件ggml-model-q4_0.gguf，然后进行推理。
AI——5分钟搞定！手把手教你用llama.cpp在Windows上本地运行大模型（集成显卡也能用）
wy313622821的博客
05-20 361
其实就4个核心步骤：1.下载llama.cpp2.设置环境变量3.下载模型文件（GGUF格式）4.运行`llama-cli -m 模型名`不需要Python环境，不需要pip安装，不需要理解什么注意力机制——下载、解压、运行，三步搞定。你的电脑配置怎么样？按这个教程跑起来了吗？欢迎评论区告诉我！---- llama.cpp下载：https://llama-cpp.com/download/- 模型镜像站：https://hf-mirror.com/
在低配Windows上部署原版llama.cpp
haleycat的博客
06-20 9347
现在大语言模型的部署，通常都需要大的GPU才能实现，如果是仅仅想研究一下，大语言模型的算法，我们是很想能够直接在我们的工作电脑上就能直接运行的，llama.cpp就是很好的实现。LLaMa.cpp使用int4这种数值格式，其显著降低了内存需求，并且在大多数硬件上其性能严重受到内存限制。LLaMa.cpp使用原始C ++的项目来重写LLaMa（长格式语言模型）推理代码。这使得可以在各种硬件上本地运行LLaMa，包括。在使用一些优化和量化技术来量化权重的情况下，LLaMa.cpp。
Windows 环境下 llama.cpp 编译 + Qwen 模型本地部署全指南
微软技术分享
02-05 5344
在大模型落地场景中，本地轻量化部署因低延迟、高隐私性、无需依赖云端算力等优势，成为开发者与 AI 爱好者的热门需求。本文聚焦 Windows 10/11（64 位）环境，详细拆解 llama.cpp 工具的编译流程（支持 CPU/GPU 双模式，GPU 加速需依赖 NVIDIA CUDA），并指导如何通过 modelscope 下载 GGUF 格式的 Qwen-7B-Chat 模型，最终实现模型本地启动与 API 服务搭建。3、下载 GGUF 格式的 Qwen 模型（以 7B 为例）
在线或离线llama.cpp安装和模型启动
hahaha_1112的博客
01-10 7701
先附上llama.cpp的github地址：https://github.com/ggerganov/llama.cpp，build地址：https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md。如果需要在内网服务器中安装，可以下载llama.cpp的源码文件或二进制文件，下载地址：https://github.com/ggerganov/llama.cpp/releases。，如果没有可以跳过，如果有请按照我的以下流程安装一遍。
llama_cpp python安装失败解决方案
tanixn的博客
07-31 6201
在构建RAG-LLM系统时，用到了llama_cpp这个python包。但是一直安装不上，报错。安装visual studio 2022，并且勾选C++桌面开发选项与应用程序开发选项；尝试在安装包名改为“llama_cpp_python”无效。最后在Github上发现有人同样的报错。然后再继续安装llama_cpp即可。
windows 部署llama3.0.cpp
jw_win的博客
12-03 2209
在cmd上查看这些安装情况，输入cmake --version, 查看cmake是否安装，如果没有安装，参考这个，再次输入cmake --version。
Windows平台高效部署llama.cpp的完整指南
weixin_30752699的博客
04-01 1777
本文提供了在Windows平台高效部署llama.cpp的完整指南，详细介绍了从环境准备到模型部署的全过程。通过量化技术和C++优化，llama.cpp能在普通硬件上高效运行大语言模型，适合本地开发、学习和大模型应用构建。文章还包含常见问题解决方案和性能优化技巧，帮助开发者快速上手。
Windows下高效部署llama.cpp：从环境配置到模型量化的完整指南
weixin_28841265的博客
02-28 838
本文提供了一份详尽的Windows系统下部署llama.cpp的完整指南。内容涵盖从Python环境配置、使用CMake与MinGW编译工具链的搭建，到编译llama.cpp项目、获取并转换模型为GGUF格式，以及执行模型量化和基础推理测试的全过程。指南旨在帮助开发者在普通Windows电脑上，无需高端显卡，仅凭CPU即可高效运行大语言模型，并重点解决了部署过程中常见的环境与编译错误。
【Llama2 windows部署详细教程】第二节：llama.cpp成功在windows上编译的秘诀
oandy0的博客
01-20 3460
Llama2 开源大模型推出之后，因需要昂贵的算力资源，很多小伙伴们也只能看看。好在llama.cpp推出之后，可对模型进行量化，量化之后模型体积显著变小，以便能在windows CPU环境中运行，为了避免小伙伴们少走弯路。
Windows版llama.cpp实战指南：GGUF模型一键部署与服务化
最新发布
weixin_33269743的博客
06-20 316
大语言模型（LLM）本地运行正从开发者专属走向大众生产力工具，其核心在于轻量、兼容、开箱即用的推理引擎。llama.cpp凭借纯C++单体架构，彻底规避Python生态在Windows上的环境冲突与依赖地狱；而GGUF格式作为专为端侧优化的模型封装标准，不仅实现4-bit量化压缩与CPU友好加载，更通过可读元数据通过Windows安全策略审核。技术价值体现在零依赖部署、低资源占用和稳定服务化能力，广泛适用于教育备课、创意生成、办公自动化等真实场景——尤其为RTX 4060、i5-8250U等主流Window
AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型
mrbone11的博客
04-21 2063
本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升项目地址https://github.com/ymcui/Chinese-LLaMA-Alpaca-2。
Xinference在Windows部署的“硬骨头”：手把手解决llama-cpp-python与chatglm-cpp编译难题
weixin_30443075的博客
06-01 742
本文详细解析了在Windows平台部署Xinference框架时遇到的`llama-cpp-python`和`chatglm-cpp`编译难题，提供了从环境准备到编译优化的完整解决方案。通过Visual Studio Build Tools配置、Python环境优化及预编译轮子安装等方法，帮助开发者高效解决Windows下的AI推理框架部署问题。
llama.cpp量化模型以及ollama部署（Windows）
m0_69947303的博客
04-14 1819
【代码】llama.cpp量化模型以及ollama部署（Windows）
llama.cpp LLM模型 windows cpu安装部署；运行LLaMA2模型测试
weixin_42357472的博客
06-20 6738
参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/1301135991、下载： 2、编译 3、测试运行
Windows 10/11 零基础搞定llama.cpp部署：从环境配置到模型推理全流程
weixin_28839549的博客
03-16 555
本文详细介绍了在Windows 10/11系统上从零开始部署llama.cpp的全流程，包括环境配置、模型获取与量化处理、模型推理与交互等关键步骤。通过MinGW、CMake等工具链的搭建，以及模型量化技术的应用，即使是普通CPU也能流畅运行大语言模型，为个人开发者提供了高效便捷的AI解决方案。
llama-cpp-python Windows部署实战：从编译失败到一键运行
gitblog_00710的博客
01-20 1286
作为一名在Windows平台折腾llama-cpp-python部署的老手，我深知大家在初次接触这个项目时会遇到的各种坑。今天就来分享我的实战经验，帮你避开那些让人头疼的编译错误和环境配置问题。 ## 痛点直击：Windows部署的三大难关 **编译环境配置复杂**：Visual Studio、MinGW、CMake...光是选择哪个工具链就让人眼花缭乱。更别提各种环境变量设置和路径配置了。
Windows下手动部署llama.cpp：从GGUF模型加载到HTTP服务全流程
weixin_33364627的博客
06-15 313
llama.cpp是面向本地大模型推理的轻量级C/C++引擎，其核心价值在于绕过Python GIL、直控CPU/GPU底层，实现可控、可审计的离线推理。它原生支持GGUF模型格式，该格式将权重、分词器、超参元数据统一封装，具备跨平台兼容性与运行时校验能力。在Windows环境下，由于缺乏POSIX支持、存在DLL依赖地狱及路径长度限制等约束，必须通过命令行工具链（如llama-cli、llama-server、llama-gguf）进行显式控制与诊断。典型应用场景包括企业私有知识库API部署、工控设备嵌入
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值