LLaMA-Factory训练记录

最新推荐文章于 2026-06-23 17:58:30 发布
原创 最新推荐文章于 2026-06-23 17:58:30 发布 · 296 阅读 · 0
  1. 首先，配conda环境
    在这里插入图片描述
  2. 在example里选择一个模型来训练，LLaMA-Factory/examples/train_full/
    例如：qwen3-0.6b-base_full_sft.yaml
  3. 下载对应的模型，存到model_path huggingface/Qwen/Qwen3-0.6B-Base
    修改output_dir，和per_device_train_batch_size
    注意训练使用的dataset，需要在data/里有对应的json，还需要在dataset_info.json里面存在。
  4. 在run_script里写一个脚本：(需要安装tensorboard)
cd ..
# 生成一个随机端口号，范围在 30000:50000
export MASTER_PORT=$(( RANDOM % (500
标签
#llama
最低0.47元/天 解锁文章
llamafactory-cli train 训练参数解析
JustinMars的博客
07-21 435
本文介绍了launcher.py脚本的训练参数配置选项，主要包括模型加载、量化、数据处理和导出等关键参数设置。模型相关参数支持指定预训练模型路径、适配器配置、词表调整和注意力机制选择等功能；量化参数提供多种量化方法（bnb/gptq/awq等）和位宽设置；数据处理参数涵盖图像/视频/音频的预处理选项；导出参数支持模型量化导出和格式转换。此外还包括数据集处理、评估指标和训练策略等配置选项，为模型训练和推理提供全面的参数控制。
使用LlamaFactory进行模型微调：参数详解
热门推荐
kjzd123的博客
06-19 1万+
在使用LlamaFactory进行模型微调时，理解和合理设置各个参数至关重要。确保了输入序列的合理长度，优化了注意力机制的实现，和则通过低秩矩阵和权重更新比例来提高微调效率和效果，而和则进一步细化了模型的训练策略。通过这些参数设置，您可以在计算资源有限的情况下，充分发挥预训练模型的性能，实现高效的模型微调。如果您对这些技术感兴趣，可以尝试在自己的项目中应用，并根据实际情况进行调整和优化。
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖
lqfarmer的博客
07-06 6646
数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md 中找到相关解释。系统目前支持 alpaca 和sharegpt两种数据格式，以alpaca为例，整个数据集是一个json对象的list，具体数据格式为。
【LLaMa-Factory】监督微调训练方法
weixin_41784510的博客
11-06 2597
训练阶段，可选: rm(reward modeling), pt(pretrain), sft(Supervised Fine-Tuning), PPO, DPO, KTO, ORPO。提供了微调时的配置示例。该配置指定了模型参数、微调方法参数、数据集参数以及评估参数等。您需要根据自身需求自行配置。可选: freeze, lora, full。数据集模板，请保证数据集模板与模型相对应。true用于训练, false用于评估。使用的数据集，使用”,”分隔多个数据集。是否推送模型到 Huggingface。
llama_factory的使用
m0_57057282的博客
05-21 5249
1.git clone llama_factory到本地。4.数据文件放在data里面，仿照模板里的格式。5.进入llama_factory微调页面。2.记得安环境，在clone后。3.多显卡要设置一下。
Llama-Factory如何监控训练崩溃？异常捕获与日志记录完备
weixin_32836713的博客
12-11 357
本文深入解析Llama-Factory在大模型微调中如何通过精细化异常捕获与结构化日志记录提升训练稳定性。涵盖CUDA OOM处理、自动快照保存、多通道日志输出及真实故障复盘，展现一套面向调试的工程化监控体系。
从推理到训练，AMD ROCm 环境下 LLaMA-Factory 安装全记录
最新发布
2600_96323178的博客
06-23 308
本文记录在 AMD ROCm 环境下安装 LLaMA-Factory 并实现大模型微调的全过程。从驱动配置、flash-attn 编译到 LoRA 训练优化，详细解析踩坑经验与解决方案，打破 AMD 仅能推理的刻板印象，助力开发者低成本构建垂直领域模型。
【学习记录】大模型微调之使用 LLaMA-Factory 微调 Qwen系列大模型，可以用自己的数据训练
风信子的博客
03-24 3276
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调，框架特性包括
DeepSeek-R1-7B-Distill模型微调全过程记录，LLaMA_Factory训练自己的数据集，合并lora微调模型并量化为gguf，接入微信实现自动对话回复
qq_53091149的博客
02-21 3664
DeepSeek-R1-7B-Distill模型微调全过程记录，LLaMA_Factory训练自己的数据集，合并lora微调模型并量化为gguf，接入微信实现自动对话回复
记录Linux上安装LLaMA Factory v0.8.3 增量预训练/监督微调
qq_39067449的博客
08-08 2332
记录Linux上安装LLaMA Factory v0.8.3 增量预训练/监督微调
LLaMA-Factory+Deepspeed多卡训练避坑指南：从Bus error到成功运行的完整调试记录
peach的博客
02-16 739
本文详细记录了LLaMA-Factory与Deepspeed在多卡训练中遇到的Bus error问题及解决方案，涵盖共享内存调优、Deepspeed配置优化和显存管理技巧。通过实战案例，帮助开发者高效调试大模型训练任务，提升GPU资源利用率与训练稳定性。
LLaMA-Factory 微调指南，AMD 环境下训练 Qwen 模型的避坑记录
2600_96323217的博客
06-17 302
本文详解在 AMD GPU 环境下利用 LLaMA-Factory 微调 Qwen 模型的实战指南。针对 ROCm 驱动冲突与梯度爆炸难题，提出构建隔离环境、调整 DeepSpeed 配置及启用纯 FP32 模式等关键策略，帮助开发者避开常见陷阱，实现大模型稳定训练。
企业级解决方案：Llama Factory私有化部署与模型训练全记录
weixin_29859471的博客
03-11 221
本文介绍了如何在星图GPU平台上自动化部署Llama Factory镜像，以构建企业级大模型私有化微调平台。该平台通过可视化界面简化了从数据准备到模型训练的全流程，使企业能够在保障数据安全的前提下，高效地定制专属AI助手，例如用于智能客服系统的行业知识问答。
Llama 3微调实战：用你的微信聊天记录，训练一个专属的‘数字分身’（基于LLaMA-Factory）
weixin_28745309的博客
05-01 343
本文详细介绍了如何使用Llama 3-8B-Instruct模型和LLaMA-Factory工具，基于微信聊天记录微调打造个性化AI数字分身。从数据准备、清洗格式化到LoRA微调技术，再到模型评估与部署应用，提供了完整的实战指南。特别强调了隐私保护和伦理考量，帮助开发者安全高效地创建专属AI助手。
LLaMA-Factory SFT训练中断排查与恢复：从‘僵尸进程’到成功续训的全记录
weixin_42523543的博客
04-06 203
本文详细介绍了LLaMA-Factory SFT训练中断的排查与恢复方法，包括识别'僵尸进程'状态、检查点文件分析以及自动化恢复训练方案。通过实战指南和脚本示例，帮助用户高效解决训练中断问题，实现断点恢复训练，提升模型微调效率。
llama-factory笔记
CJK's Blog
03-16 1544
RoPE 插值方法能提升长文本效果，如果没有特殊需求可以不使用（yarn最好，dynamic能动态变化，linear适合所有文本长度相近的情况且耗时最短）加速方法：内置了flash_attention，auto即为flash_attention，unsloth更适合显存低的情况；flash_attention和unsloth主要用在训练过程中，vllm主要用在推理过程中Qlora框架下的具体量化方法：bitsandbytes直接内置比较方便，hqq在显存极低情况下更好用（显存占用下降更多），但需要安装。
从数据集制作到可视化训练：用LLaMA-Factory微调定制化客服机器人的全流程记录
weixin_30399821的博客
03-26 477
本文详细记录了使用LLaMA-Factory微调定制化客服机器人的全流程，从数据集制作到可视化训练。通过电商客服场景的数据工程实践、微调策略优化及业务场景效果验证，展示了如何构建高效智能的AI客服助手，显著提升客户满意度和响应速度。
SwanLab x LLaMA Factory：国产开源AI训练工具组合拳（含教程）
SoulmateY的博客
12-31 2129
我们非常高兴地宣布SwanLab与LLaMA Factory建立合作伙伴关系，致力于为中国训练者提供优质、高效的大模型训练体验。现在你使用新版本的LLaMA Factory启动训练前，可以在WebUI的「SwanLab configurations」（中文：SwanLab参数设置）卡片中勾选「Use SwanLab」，就可以通过SwanLab强大的训练看板进行这一次大模型微调的跟踪、记录与可视化。
基于NPU的LLama factory安装&微调大模型使用指南
weixin_43836433的博客
12-24 1956
LLaMA-Factory是一个集多种微调技术于一身的高效框架，支持包括Qwen2-7B在内的多种大型语言模型。它通过集成如LoRA、QLoRA等先进的微调算法，以及提供丰富的实验监控工具，如LlamaBoard、TensorBoard等，为用户提供了一个便捷、高效的微调环境。详细见。
llama-factory SFT微调记录
weixin_44527177的博客
09-23 1744
一次使用llama-factory微调的记录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值