update chatglm3 template

Former-commit-id: f55e75ef3b86ea7930bb9d84b46cfc953a74441d
This commit is contained in:
hiyouga
2024-02-28 21:11:23 +08:00
parent a2d93e5269
commit c53c7af168
4 changed files with 25 additions and 3 deletions

View File

@@ -43,7 +43,7 @@ https://github.com/hiyouga/LLaMA-Factory/assets/16256802/6ba60acc-e2e2-4bec-b846
- **多种模型**LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
- **集成方法**增量预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练。
- **多种精度**32 比特全参数训练、16 比特部分参数训练、16比特 LoRA 训练、基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 LoRA 训练。
- **先进算法**: DoRA、LongLoRA、LLaMA Pro、agent tuning。
- **先进算法**: DoRA、LongLoRA、LLaMA Pro、LoftQ、agent tuning。
- **新鲜技巧**FlashAttention-2、Unsloth、RoPE scaling、NEFTune、rsLoRA。
## 性能指标