LLaMA-Factory如何对Tokenization步骤提速

最新推荐文章于 2026-06-27 12:57:36 发布
原创 最新推荐文章于 2026-06-27 12:57:36 发布 · 2.7k 阅读 · 22 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
大语言模型

当前文章被收录于：

大语言模型
48 篇文章 3 人学习
订阅专栏 查看详情
运维

当前文章被收录于：

运维
17 篇文章 0 人学习
订阅专栏 查看详情
LLaMA-Factory

当前文章被收录于：

LLaMA-Factory
5 篇文章 1 人学习
订阅专栏 查看详情
文章讨论了在处理大数据量时，Tokenization步骤耗时过长的问题。由于Tokenization不依赖GPU，作者提出了通过设置preprocessing_num_workers为多线程并行以及限制max_samples数量来提升CPU并发效率的方法。
Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Llama
文本生成
图像识别

视觉理解：图像识别、OCR、实体定位、计数、空间理解、GUI 交互 多模态推理：看图问答、图文理解、复杂逻辑推理（STEM、数学、代码）

问题

数据量稍微大一些，在运行这个步骤“Running tokenizer on dataset”就要等半小时以上，然后才知道后续是否会报错。Tokenization步骤看上去并没有使用到GPU，只是在CPU上运行的。
是否有什么方法对这个步骤进行加速呢，比如多CPU并发， 具体要如何做到Tokenization步骤提速呢？

方案

tokenization 无法用 GPU 运行。
多 CPU 并发通过设置 preprocessing_num_workers=16 来实现。
另外可以通过设置 max_samples 来限制 debug 过程中的样本数量。

如下这样设置就能提速

    --preprocessing_num_workers 16 \

您可能感兴趣的与本文相关的镜像

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Llama
文本生成
图像识别

视觉理解：图像识别、OCR、实体定位、计数、空间理解、GUI 交互 多模态推理：看图问答、图文理解、复杂逻辑推理（STEM、数学、代码）

标签
#人工智能 #运维
ChatGLM Efficient tuning 参数解析
强化学习曾小健
07-04 1118
​ 预训练模型的路径或huggingface.co/models的项目标识符。缺省值：CHATGLM_REPO_NAME use_v2(bool,optional): 是否使用 ChatGLM2。缺省值：False config_name(str,optional): 预训练配置文件名称或路径，不指定则与 model_name 相同。缺省值：None tokenizer_name(str,optional): 预训练分词器名称或路径，不指定则与 model_name 相同。缺省值：None
ChatGLM-Efficient-Tuning 参数解析glmtuner.hparams.ModelArguments
强化学习曾小健
07-28 858
类 Transformers.Seq2SeqTrainingArguments。类 glmtuner.hparams.FinetuningArguments。类 glmtuner.hparams.ModelArguments。类 glmtuner.hparams.DataArguments。我们只列出了一些重要的参数，完整列表请参阅。
llamfactory 微调中用到的cpu的两处参数preprocessing_num_workers dataloader_num_workers
论文数据分析辅导,；论文人工智能辅导 huazhongxiaosx
04-20 239
预处理阶段用（tokenize、打包数据）训练阶段用（给显卡喂数据）你之前 CPU 只有 8%，就是因为只开了预处理，没开训练时的数据加载多线程。
使用LlamaFactory进行模型微调：参数详解
kjzd123的博客
06-19 1万+
在使用LlamaFactory进行模型微调时，理解和合理设置各个参数至关重要。确保了输入序列的合理长度，优化了注意力机制的实现，和则通过低秩矩阵和权重更新比例来提高微调效率和效果，而和则进一步细化了模型的训练策略。通过这些参数设置，您可以在计算资源有限的情况下，充分发挥预训练模型的性能，实现高效的模型微调。如果您对这些技术感兴趣，可以尝试在自己的项目中应用，并根据实际情况进行调整和优化。
大语言模型 RLHF(一)——ChatGLM代码逐行解读
qjzcy的博客
06-07 6369
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是main方法，里面核心的部分如数据的解析，模型推理训练的框架流程。后续会针对ChatGLM核心优化代码做个解读，
LLM-2-ChatGLM2
qq_15821487的博客
08-15 1822
训练的输入长度=source的长度+target的长度–pre_seq_len：pre_seq_len的取值范围一般是1到512，它表示自然语言指令的长度，即输入序列中的前pre_seq_len个token，具体的值需要根据自然语言指令的长度和复杂度来确定。一般来说，指令越长越复杂，pre_seq_len就需要越大，以便模型能够充分理解指令的含义。但是，pre_seq_len也不能太大，否则会占用过多的输入序列长度，导致生成内容过于单一或重复。
AI学习者的进度同步器：面向真实调试场景的技术通讯
最新发布
dflkg8956的专栏
06-27 380
AI工程实践不是概念堆砌，而是持续应对工具链变更、版本兼容性冲突与本地部署卡点的动态过程。理解PyTorch DataLoader多进程启动机制、Hugging Face API弃用逻辑、llama.cpp量化格式内存行为等底层原理，能显著降低调试熵增。这类技术价值不在于前沿性，而在于可执行性——它直接支撑RAG离线部署、Whisper音频预处理、FastAPI模型服务等典型应用场景。当信息过载成为常态，一份聚焦‘此刻该信谁、该试什么、该停在哪’的学习状态快照，正成为AI实践者不可或缺的认知锚点。
DigitalOcean 1-Click模型批量推理实战：绕过单请求限制的三层缓冲架构
aome1470的博客
06-20 312
批量推理并非简单增大输入规模，而是涉及显存管理、网络超时、模型加载机制等系统级协同问题。其核心原理在于平衡GPU资源约束与吞吐需求，技术价值体现在以轻量工程手段替代底层改造，在托管服务中实现高稳定、可监控的准批量处理能力。典型应用场景包括情感分析、合同摘要、社交媒体内容批量分类等低延迟但高并发的AI流水线任务。本文聚焦DigitalOcean 1-Click Models平台，深入解析Llama-3-8B量化部署、三层缓冲策略及CUDA OOM防控，提供可落地的批量推理生产方案。
LlamaFactory+Qwen3.5-9B本地微调实战指南
weixin_30727835的博客
06-19 492
LoRA微调是一种高效适配大语言模型的参数高效微调（PEFT）技术，其核心是通过低秩矩阵分解实现小规模参数更新，在保障模型能力的同时大幅降低显存与计算开销。结合QLoRA量化与FlashAttention加速，该方案使Qwen3.5-9B等中等规模模型可在单卡RTX 3090（24GB）上完成端到端训练与部署。技术价值体现在工程可控性、垂直领域指令遵循能力提升及结构化输出稳定性增强，广泛适用于金融合同解析、业务术语理解、JSON Schema生成等需高精度、低延迟的轻量级推理场景。本文聚焦LlamaFact
LangGraph多智能体讨论小组：构建可追溯的AI协作范式
cuanmo8775的博客
06-15 560
多智能体系统（Multi-Agent System）是提升大语言模型（LLM）推理可靠性与可解释性的关键技术路径，其核心在于通过角色分工、状态共享与条件路由实现群体认知。相比单Agent易陷入确认偏误与思维盲区，基于LangGraph构建的讨论小组——如Researcher、Expert、Critic和Moderator四角色协同机制——依托图状态机（State + Nodes + Edges）实现动态流程控制、质疑闭环检测与发言溯源，显著增强输出的平衡性、审计性与工程可控性。该范式已在金融合规审查、技术方
17、本地多模态｜Qwen-VL离线私有化提取敏感PDF完全指南
2025博客之星Top81。专注AI工程化与架构实战。从分布式思维到模型部署，用工程化视角为你厘清AI落地的真实路径。
06-08 463
本文介绍了如何利用Qwen-VL多模态大模型实现敏感PDF文档的本地化提取方案。针对财务审计、医疗档案等高度敏感数据，文章分析了云端OCR的安全隐患和合规风险，提出离线私有化部署的必要性。详细讲解了Qwen-VL模型的选型策略、硬件要求及部署流程，包括环境配置、模型下载和生产级部署方案对比。该方案确保数据处理全程在内网完成，满足等保合规要求，为金融、医疗、法律等行业提供安全可靠的文档智能提取解决方案。
LLaMA-Factory参数的解答（命令，单卡，预训练）
热门推荐
精神病院逃出来的疯子写的博客
04-26 1万+
前面这个写过，但觉得写的不是很好，这次是参考命令运行脚本，讲解各个参数含义。后续尽可能会更新，可以关注一下专栏！！LLaMA-Factory项目的地址：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md在LLaMA-Factory项目中，单显卡可以用命令或web页面训练，多显卡只能用用命令的方式，此文章以命令和单显卡为主讲解*
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
weixin_41046245的博客
03-13 7253
类是一个Python数据类，用于存储和管理与PPO（Proximal Policy Optimization）和DPO（Deep Policy Optimization）训练相关的参数。类是一个Python数据类，用于存储和管理与指定解码参数相关的参数。类是一个Python数据类，用于存储和管理与训练和评估机器学习模型输入数据相关的参数。这个类的设计是为了方便地处理和传递命令行参数或配置文件中的参数，这些参数通常用于指定模型训练过程中的各种设置。的 Python 类，该类用于处理与模型微调相关的参数。
ChatGLM2-6B源码解析./ptuning/main.py （一）
强化学习曾小健
07-08 2805
如果training_args.should_log为真，那么设置日志等级为info，否则，根据training_args的内容设置日志等级。根据命令行参数中的do_train、do_eval和do_predict参数的值决定是进行训练、评估还是预测，并对数据集进行相应的预处理。如果提供了pre_seq_len参数，那么对模型进行半精度（half）计算，否则，进行单精度（float）计算。否则，直接从命令行参数解析。否则，加载预训练模型。，用于计算中文的Rouge分数，这是评估摘要和翻译的一个常用指标。
llama factory 增量预训练代码解析 & .yaml文件传参和sh的不同 examples/train_lora/llama3_lora_pretrain.yaml
强化学习曾小健
07-03 3263
通过 YAML 文件传参，配置项得到更清晰的分类和管理，使得整个训练流程的设置更加简洁明了。YAML 文件的层次结构使得配置文件易于阅读和维护，并且便于在不同训练任务之间复用。相比之下，使用.sh脚本传参虽然直观，但在参数较多时容易变得杂乱且难以管理。YAML 文件更适合复杂配置的场景，特别是在需要频繁调整和复用配置的情况下。
逐行代码学习ChatGLM2-6B大模型SFT微调（通过prompt ptune实现），项目中的ptune/main.py文件
大模型天花板
10-05 1767
【代码】逐行代码学习ChatGLM2-6B大模型SFT微调，项目中的ptune/main.py文件。
ChatGLM2-6B源码解析./ptuning/main.py （二）
强化学习曾小健
07-09 1447
最后，对目标进行同样的处理，并将处理后的输入和目标加入到模型输入中。它的处理方式与eval的预处理函数类似，但有一些不同之处，例如它还添加了一个eos(end of sentence) token到输入和标签的末尾，并确保输入和标签的长度都符合最大序列长度。: 这是一个条件语句，如果训练参数中的do_train设定为True，那么它会执行训练数据的预处理并打印一个训练数据的示例。: 这也是一个条件语句，如果训练参数中的do_eval设定为True，那么它会执行验证数据的预处理并打印一个验证数据的示例。
LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微调ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tunin】)的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-28 3009
​ LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微调ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tuning V2/Freeze Tuning/全量微调】)的简介、安装、使用方法之详细攻略 目录 相关文章 ChatGLM Efficient Tuning的简介 ChatGLM Efficient Tuning的安装 ChatGLM Efficient Tuning的使用方法 相关文章 LLMs之Chat
Llama-Factory高级技巧：如何优化数据预处理提升训练效率？
weixin_35677363的博客
12-12 499
本文介绍如何利用Llama-Factory的模板驱动、缓存机制和并行处理能力，显著提升大模型微调中的数据预处理效率。通过声明式配置、智能缓存复用和QLoRA技术，实现高效、可复用的数据流水线，降低资源消耗，加速模型迭代。
使用LLaMA-Factory微调ChatGLM3
weixin_44455388的博客
12-25 6795
解决方法：将源模型中除了bin文件和pytorch_model.bin.index.json 以外的文件全部复制到导出目录中覆盖。待执行完，即可看到/root/LLaMA-Factory-main/merge路径下有了合并的模型了。（3）启动LLaMA-Factory的web页面。输入微调数据中的问题，回答贴合数据集，微调成功。将数据梳理好之后上传到data目录下。web页面和后台都会显示日志信息。可以看到也是没问题的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值