LLMs之ChatGLM2：ChatGLM-Finetuning之源码解读(train.py文件)—解析命令行(模型路径+数据集相关【最大序列长度/最大输入长度】+训练参数相关【批次大小/学习率/权重衰减系数/训练轮数/梯度累计步数/学习率预热比例】+
导读：本代码文件实现了加载数据、定义预训练模型，根据不同的训练类型进行微调，使用DeepSpeed来进行分布式高效训练(利用deepspeed封装数据并行,以及通过step()和backward()实现优化器步进与反向传播)，并定期打印训练过程中的损失和保存模型。当前代码中不包含模型评估部分，可以自定义测试样本进行规则打分自行评估。
目录