1. 项目概述为什么你需要这份超参数指南如果你正在尝试用LlamaFactory微调大模型却发现自己像个无头苍蝇一样面对几十个超参数无从下手那么你来对地方了。我见过太多朋友兴致勃勃地打开项目准备好数据集结果在训练配置页面卡了半小时最后只能凭感觉乱填一通或者干脆照抄一个“据说有效”的配置。结果呢要么训练了几个小时发现loss纹丝不动白白浪费电费要么模型训出来效果诡异还不如不调。这份指南的目的就是终结这种“玄学调参”的状态。它不是一份冰冷的官方文档翻译而是我基于大量实战微调从7B到70B参数的各种模型后把那些文档里没写、论坛里散落、以及用真金白银的GPU时间换来的经验系统性地梳理给你。LlamaFactory作为一个功能强大的微调框架把很多复杂操作封装成了简单的Web UI和配置项但这并不意味着背后的原理可以忽略。理解每一个滑块、每一个输入框背后的含义你才能真正掌控训练过程让模型朝着你期望的方向进化而不是听天由命。无论你是想用QLoRA低成本微调一个专属的客服助手还是用全量参数微调打造一个领域专家模型超参数都是你手中的“方向盘”和“油门”。调好了事半功倍调瞎了事倍功半甚至前功尽弃。接下来我会把这些参数分成几个核心模块不仅告诉你怎么设更重点讲清楚为什么这么设以及设错了会怎样。这份指南足够你从完成第一次微调到逐步优化出属于自己的最佳配方。2. 训练前的基石数据、模型与基础配置解析在动任何一个超参数之前有三件事必须门儿清你的数据长什么样、你的模型基础是什么、你打算用什么“方法论”来训。这相当于打仗前的侦察、装备检查和战术制定。2.1 数据格式与预处理喂给模型的第一口粮数据是训练的根基。LlamaFactory支持常见的指令微调格式如alpaca、sharegpt等但万变不离其宗核心通常是三个字段instruction指令、input输入、output输出。很多新手会直接拿网上爬的对话数据往里塞导致格式不对齐训练时模型完全学歪。关键实操点格式清洗确保你的每条数据都结构清晰。例如对于单轮问答instruction是问题input可以为空output是标准答案。对于多轮对话通常需要使用sharegpt格式将整个对话历史按角色human/gpt组织成一个列表。一个常见的坑是数据里包含了多余的空格、换行符或者特殊标记如|im_end|这些需要在预处理时用脚本统一清洗掉。长度处理大模型有上下文长度限制如4096、8192 tokens。你需要估算你的数据经过分词tokenization后的大致长度。可以使用transformers库的AutoTokenizer快速测试。如果instructioninputoutput远超模型最大长度必须进行截断或滑窗处理否则训练会报错。LlamaFactory的max_source_length和max_target_length参数就是用来控制这个的通常max_source_length设为你数据中“输入部分”instructioninput的最大token数再加一点余量max_target_length设为“输出部分”output的最大token数。质量检查垃圾进垃圾出。随机的、矛盾的、低质量的数据会让模型性能下降。至少手动抽查几百条数据确保指令明确、答案正确。对于垂直领域数据术语的一致性非常重要。注意不要迷信“数据越多越好”。1万条高质量、清洗干净的数据远胜于10万条噪声大的数据。在资源有限的情况下优先提升数据质量。2.2 基座模型选择站在巨人的哪个肩膀上微调不是无中生有而是对预训练好的基座模型Base Model进行“二次教育”。选择什么样的基座决定了你的起点和天花板。模型尺寸参数量7B、13B、34B、70B……参数越大通常理解能力和生成能力越强但训练和推理成本也指数级上升。对于大多数个人开发者或中小团队7B或13B模型是性价比最高的起点。它们可以在消费级显卡如RTX 4090上使用QLoRA进行微调并且响应速度较快。模型家族Llama、Qwen、Baichuan、ChatGLM等各有特点。例如Meta的Llama系列通用性强生态最丰富Qwen在中文和代码上表现突出ChatGLM对中文友好。你的选择应优先考虑目标任务的语种和领域。如果你想做中文对话选一个中文预训练占比高的基座如Qwen或Baichuan会比用纯英文Llama基座微调中文数据起点高得多。版本与量化注意模型是FP16、BF16还是GPTQ/AWQ量化版本。训练时应尽量使用FP16/BF16的原始精度模型。量化模型如GPTQ-Int4主要用于推理节省显存直接用来微调可能会引入精度损失影响最终效果。你下载的模型如果是量化版需要确认是否有对应的非量化版本。如何决策如果你做通用对话选最新的Llama或Qwen的7B/13B版本。如果做垂直领域法律、医疗可以寻找在该领域数据上继续预训练过的模型作为基座这叫“领域适应预训练”比直接用通用基座微调效果更好。2.3 微调方法选型全量、LoRA还是QLoRA这是核心决策点直接决定了你的硬件门槛和训练效果。全量参数微调更新模型的所有参数。效果通常最好能最大程度让模型适应新数据。但代价是需要巨大的显存足以放下整个模型、优化器状态和梯度。即使是7B模型全量微调也需要多张A100级别的显卡。除非你有充足的算力且追求极致效果否则不推荐个人玩家尝试。LoRA一种参数高效微调方法。它不在原始模型权重上直接更新而是通过引入额外的、低秩的适配器Adapter矩阵只训练这些新增的小参数。比如一个7B的模型LoRA参数可能只有几百万显存占用极低。好处是快、省资源并且可以多个任务训练不同的LoRA权重灵活切换。效果上通常非常接近全量微调。QLoRALoRA的“升级省流版”。它在LoRA的基础上进一步将基座模型的权重量化为4-bitNF4格式同时采用一种叫双重量化的技术来节省内存。QLoRA是当前个人电脑微调大模型的绝对主流选择。它能让你在单张24GB显存的卡上如RTX 4090微调13B甚至34B的模型而效果损失极小。我的建议对于99%的场景无脑选择QLoRA。它在LlamaFactory中集成得非常好配置简单。你需要关心的相关参数主要是lora_rankLoRA的秩决定适配器的大小和能力、lora_alpha缩放系数和lora_dropout防止过拟合。通常可以从一个中等配置开始如rank64, alpha16这是一个效果和效率的平衡点。3. 学习过程控制优化器、调度器与批次设置详解这一部分是训练过程的“发动机”和“变速器”控制着模型如何从数据中学习。3.1 学习率前进的步幅大小学习率是最重要也最需要小心的超参数之一。它决定了每次参数更新的幅度。设置多大对于使用AdamW优化器的QLoRA微调学习率通常在1e-4到5e-5这个范围。这是一个经验性的安全区间。学习率太大如1e-3可能导致训练不稳定loss剧烈震荡甚至发散变成NaN。学习率太小如1e-6则学习速度过慢需要非常多的步数才能收敛不经济。如何调整一个稳妥的策略是从2e-4或1e-4开始。观察训练前几百步的loss曲线。如果loss快速下降且平稳说明学习率合适。如果loss剧烈跳动应调小学习率例如除以2或5。如果loss下降极其缓慢可以适当调大。学习率调度我们很少使用固定的学习率。更常见的做法是配合学习率调度器比如余弦退火。在LlamaFactory中你可以设置lr_scheduler_type为cosine并设置warmup_steps。这意味着训练开始时学习率会从一个很小的值或0线性“预热”到你设定的峰值学习率帮助训练初期稳定然后在训练过程中按照余弦曲线逐渐下降至0让训练后期更精细地收敛。实操心得对于不同的模型尺寸学习率可以微调。大模型如70B有时对学习率更敏感可能需要更小的初始值如5e-5。当你更换基座模型或数据集时第一轮训练建议保守一点用较低的学习率探路。3.2 优化器选择AdamW及其变种AdamW是目前深度学习默认的优化器它自适应地调整每个参数的学习率并加入了权重衰减Weight Decay来防止过拟合。在LlamaFactory中你通常不需要改动优化器类型。但需要关注一个关键参数weight_decay。权重衰减相当于对大的权重值施加惩罚鼓励模型保持较小的权重起到正则化的作用。对于微调任务特别是数据量不是特别大的时候一个较小的权重衰减如0.01或0.001有助于防止模型在少量数据上过拟合忘记它原有的通用知识。如果设置为0则没有正则化。3.3 批次设置批量大小与梯度累积由于显存限制我们无法一次性将大量数据送入模型。批次设置就是解决这个问题的。per_device_train_batch_size这是每张显卡一次前向传播处理的样本数。这个值越大训练越稳定对梯度的估计越准确但显存占用越高。在QLoRA下由于模型本身被量化显存主要被激活activation和优化器状态占用。对于24G显存7B模型这个值可以设到4-813B模型可以设到2-4。你需要根据CUDA Out Of Memory (OOM) 错误来调整。gradient_accumulation_steps梯度累积步数。这是核心技巧假设你希望的有效批次大小是32但单卡只能放下批次大小4。那么你可以设置gradient_accumulation_steps8。这样模型会连续进行8次前向传播和反向传播累积8次的梯度然后再进行一次真正的参数更新。它让你在有限的显存下模拟出大批次训练的效果。最终的有效批次大小 per_device_train_batch_size*gradient_accumulation_steps* GPU数量。max_grad_norm梯度裁剪的阈值。在反向传播时如果梯度的范数可以理解为“长度”超过这个值就会被按比例缩放。这是一个安全措施防止梯度爆炸导致训练崩溃。通常设置为0.5或1.0即可。配置策略首先根据你的显存将per_device_train_batch_size调到最大不OOM为止。然后根据你期望的有效批次大小反推gradient_accumulation_steps。对于语言模型微调有效批次大小在32到128之间都是常见的。例如单卡batch_size4想要有效批次大小32则设置gradient_accumulation_steps8。4. 训练过程与评估监控参数设好了训练跑起来了但这只是开始。你需要像监工一样盯着整个过程确保它在正确的轨道上。4.1 训练轮数与步数控制num_train_epochs在整个数据集上完整遍历的次数。对于指令微调数据集通常不大几千到几万条1到5个epoch通常就足够了。模型很快就能学会数据中的映射关系。过多的epoch会导致过拟合即模型完美记住了你的训练数据但失去了泛化能力对新问题回答得很差。max_steps训练的最大步数。如果设置了此项会覆盖num_train_epochs。一步step即一次参数更新优化器step。总步数 ≈ (总样本数 * num_train_epochs) / 有效批次大小。我更倾向于用max_steps来控制因为它更直观。例如我有1万条数据有效批次大小是32那么一个epoch大约是312步。我想训练3个epoch就设max_steps936。如何判断何时停止光看epoch数不够必须看评估指标。4.2 评估策略与损失曲线解读LlamaFactory允许你设置一个评估数据集eval dataset和eval_steps每多少步评估一次。Loss损失曲线这是最直接的监控指标。训练loss应该随着步数增加而稳步下降最终趋于平缓。评估loss的变化趋势更重要理想情况训练loss和评估loss同步下降且评估loss略高于训练loss。这说明模型在很好地学习泛化。过拟合迹象训练loss持续下降但评估loss在下降到某个点后开始反弹上升。这说明模型开始“死记硬背”训练数据对新数据不友好了。此时应该立即停止训练或者回滚到评估loss最低的那个检查点。欠拟合迹象训练loss和评估loss都很高且下降缓慢。这可能是因为学习率太低、模型容量不足LoRA的rank太小或数据质量太差。生成质量评估Loss是数字但生成文本的质量才是终极检验。你需要定期比如每半个或一个epoch让模型在预留的测试集或一些标准问题上生成文本人工评估其流畅度、相关性和准确性。这是发现Loss曲线无法反映的问题如胡说八道、重复生成的唯一方法。避坑技巧一定要保留一部分高质量数据比如10%作为验证集不用来训练只用来评估。用验证集上的loss最低点来选择最佳模型而不是用训练结束时的模型。4.3 保存与日志策略save_steps/save_strategy设置模型检查点保存的频率。“steps”模式按步数保存“epoch”模式按轮次保存。对于长时间训练建议按步数保存如每500步这样如果训练中断可以从最近的检查点恢复而不是从头开始。logging_steps控制日志打印频率。设为10或20方便你实时观察loss变化。report_to日志报告到哪里。设为“tensorboard”或“wandb”Weights Biases可以可视化训练过程强烈推荐。TensorBoard是本地工具WandB是线上服务功能更强大。5. 高级参数与实战调优策略掌握了基础参数后这些高级设置能帮你进一步微调训练行为解决特定问题。5.1 长度外推与注意力机制rope_scaling/max_position_embeddings如果你的训练数据或应用场景需要模型处理比其预训练时更长的文本例如Llama2预训练长度是4096但你想处理8000 tokens的文档就需要进行长度外推。rope_scaling如linear,dynamic是一种技术可以让模型在一定程度上适应更长的序列。但请注意这并非万能效果可能不如在长文本上直接继续预训练。对于微调除非必要否则建议将训练数据截断到模型原生支持的长度内以获得最稳定的效果。flash_attention_2如果你的显卡架构支持如Ampere架构的RTX 30/40系列或更新开启FlashAttention-2可以大幅提升训练速度并降低显存占用。在LlamaFactory的配置中或代码里启用它通常是设置一个use_flash_attention_2True的标志。这是免费的午餐能开就开。5.2 防止过拟合的利器Dropout与早停dropout/lora_dropoutDropout是一种在训练过程中随机“关闭”一部分神经元的技术可以强制模型学习更鲁棒的特征是防止过拟合的有效手段。对于全量微调可以设置一个较小的dropout如0.05或0.1。对于LoRA/QLoRA可以设置lora_dropout如0.05。如果发现模型在训练集上表现太好在验证集上表现差可以适当增加这个值。早停虽然LlamaFactory的Trainer没有内置早停回调但你可以通过监控评估loss来实现。如果连续N次评估例如3-5次的loss都不再下降甚至上升就可以手动停止训练。WandB等工具可以设置警报。5.3 实战调优流程与参数表这里提供一个基于QLoRA微调7B/13B模型的通用参数起点表你可以以此为基础进行微调参数类别参数名推荐值/范围作用与说明模型与数据model_name_or_path你的基座模型路径必须是FP16/BF16格式非量化版max_source_length512-1024输入指令上下文最大token长度根据数据调整max_target_length256-512输出回答最大token长度根据数据调整LoRA配置use_loraTrue启用LoRAlora_rank(r)64LoRA秩影响适配器大小。8/16/32/64/128常见越大能力越强但参数越多lora_alpha16缩放系数通常与rank保持比例如 rank64, alpha16lora_dropout0.05LoRA层的dropout率防过拟合lora_targetq_proj,v_proj作用的目标模块。通常作用于注意力层的Q/V投影矩阵。all也行但更慢训练控制num_train_epochs1-5训练轮数数据少可多几轮数据多则少几轮per_device_train_batch_size2-8根据显存调整24G卡13B模型可设2-4gradient_accumulation_steps8-32用于调整有效批次大小使batch_size*accum_steps在32-128间learning_rate1e-4 到 5e-5学习率从2e-4开始尝试lr_scheduler_typecosine余弦退火调度器warmup_steps总步数的3%-10%学习率预热步数帮助训练初期稳定optimadamw_torch优化器weight_decay0.01权重衰减正则化项max_grad_norm0.5梯度裁剪阈值防梯度爆炸评估与保存evaluation_strategysteps按步评估eval_steps100-200每多少步评估一次save_strategysteps按步保存save_steps500每多少步保存一个检查点logging_steps20每多少步打印一次日志report_totensorboard或wandb可视化工具调优流程建议基线运行使用上表中的推荐值作为起点跑一个完整的训练例如1-3个epoch。分析Loss曲线观察训练和评估loss。如果收敛良好评估loss未上升进入步骤4。如果欠拟合loss高且降得慢进入步骤3。如果过拟合评估loss上升进入步骤5。应对欠拟合尝试增大学习率如从2e-4调到3e-4、增加LoRA rank如从64调到128、检查数据质量或增加训练轮数。效果评估用测试集进行人工或自动评估。如果效果满意可以尝试减小学习率如调到5e-5再微调少量步数可能获得更精细的收敛。应对过拟合首先减少训练轮数或提前停止。其次可以增加lora_dropout如调到0.1、增加weight_decay如调到0.05。最后考虑扩充或提升训练数据质量。6. 常见问题排查与实战心得理论说再多不如踩一次坑。下面是我和社区里经常遇到的一些典型问题及解决方案。6.1 训练不收敛或Loss异常现象Loss值非常高如10且几乎不下降或者变成NaN。排查学习率过大这是首要怀疑对象。立即将学习率调低一个数量级例如从1e-4调到1e-5重新尝试。数据格式错误检查你的数据预处理脚本。确保input和output字段没有错位分词后没有异常token。一个快速检查方法是打印几条数据看看拼接后的文本是否符合“Human: ... Assistant: ...”这样的预期格式。梯度爆炸尝试减小max_grad_norm比如从1.0调到0.5。模型/权重加载错误确认你加载的基座模型路径正确且模型文件完整。尝试用from_pretrained方法先加载一下模型和分词器看是否报错。6.2 显存溢出CUDA Out Of Memory现象训练开始不久就报CUDA out of memory错误。排查降低per_device_train_batch_size这是最直接有效的方法每次减半尝试。启用梯度检查点在Trainer参数中设置gradient_checkpointingTrue。这会用计算时间换显存通常能节省20%-30%的显存。启用FlashAttention-2如前所述能显著节省显存。检查数据长度过长的max_source_length或max_target_length会急剧增加显存消耗。确保它们设置合理。使用更小的模型或更低的量化如果以上都不行考虑换用参数量更小的基座模型或者在QLoRA中尝试使用NF4量化这是默认的而不是FP16。6.3 模型输出质量差重复、无关或胡说八道现象训练结束后模型生成的内容重复一段话或者答非所问甚至输出乱码。排查过拟合这是最常见原因。模型只记住了训练数据中的某些模式。检查评估loss曲线看是否在后期上升。解决方案是使用早停或者增加Dropout/权重衰减。数据噪声训练数据中存在大量低质量或矛盾的样本。需要清洗数据。温度参数在推理时temperature参数控制生成随机性。如果设为0模型会总是选择概率最高的词可能导致枯燥和重复。在生成时可以尝试将temperature设为0.7-0.9top_p设为0.9以增加多样性。LoRA权重未正确加载/合并确保在推理时正确加载了你微调好的LoRA权重适配器。在LlamaFactory的Web UI中需要在“模型”页面正确选择“适配器”路径。6.4 一个实战案例微调一个代码助手假设我想用QLoRA微调一个CodeLlama-7B模型让它更擅长写Python代码。数据准备我收集了约1万条高质量的(问题描述, Python代码)对格式化为alpaca格式。清洗掉代码错误、描述模糊的样本。统计后设定max_source_length512,max_target_length768。基座模型选择CodeLlama-7B-Python因为它本身就在代码上预训练过起点高。QLoRA配置lora_rank64,lora_alpha16,lora_dropout0.05,lora_target_modules“q_proj,v_proj”。训练配置per_device_train_batch_size4单卡RTX 4090gradient_accumulation_steps8有效批次大小32learning_rate2e-4num_train_epochs3warmup_steps50lr_scheduler_typecosineweight_decay0.01。监控设置eval_steps100用一个包含200条未见过代码问题的验证集进行评估。同时每500步保存一个检查点。训练与选择训练开始后通过TensorBoard观察loss。训练loss稳步下降评估loss在第800步约2.5个epoch达到最低点之后开始缓慢上升。我果断停止了训练并选择了第800步的检查点作为最终模型。测试用该模型生成一些新的编程问题发现其代码正确率和风格都明显优于原始基座模型达到了预期目标。这个过程中最关键的就是通过评估loss发现了过拟合的苗头并及时早停选出了泛化能力最好的模型而不是盲目跑完3个epoch。调参不是一蹴而就的而是一个观察、分析、调整的循环。每次训练都是一次实验记录下你的配置和结果慢慢你就会形成自己的“参数直觉”。