update readme

Former-commit-id: b4109cfe548e091cd20fa84815dce5ff3974a090
This commit is contained in:
hiyouga
2023-09-10 20:52:21 +08:00
parent a402161631
commit 9d963b82de
2 changed files with 3 additions and 17 deletions

View File

@@ -65,7 +65,6 @@
| [ChatGLM2](https://github.com/THUDM/ChatGLM2-6B) | 6B | query_key_value | chatglm2 |
> **Note**
>
> **默认模块**应作为 `--lora_target` 参数的默认值,可使用 `--lora_target all` 参数指定全部模块。
>
> 对于所有“基座”Base模型`--template` 参数可以是 `default`, `alpaca`, `vicuna` 等任意值。但“对话”Chat模型请务必使用对应的模板。
@@ -81,7 +80,6 @@
| DPO 训练 | :white_check_mark: | | :white_check_mark: | :white_check_mark: |
> **Note**
>
> 请使用 `--quantization_bit 4/8` 参数来启用 QLoRA 训练。
## 数据集
@@ -146,7 +144,6 @@ huggingface-cli login
关于数据集文件的格式,请参考 `data/example_dataset` 文件夹的内容。构建自定义数据集时,既可以使用单个 `.json` 文件,也可以使用一个[数据加载脚本](https://huggingface.co/docs/datasets/dataset_script)和多个文件。
> **Note**
>
> 使用自定义数据集时,请更新 `data/dataset_info.json` 文件,该文件的格式请参考 `data/README.md`。
### 环境搭建(可跳过)
@@ -174,13 +171,11 @@ CUDA_VISIBLE_DEVICES=0 python src/train_web.py
我们极力推荐新手使用浏览器一体化界面,因为它还可以**自动**生成运行所需的命令行脚本。
> **Warning**
>
> 目前网页 UI 仅支持**单卡训练**。
### 单 GPU 训练
> **Warning**
>
> 如果您使用多张 GPU 训练模型,请移步[多 GPU 分布式训练](#多-gpu-分布式训练)部分。
#### 预训练
@@ -396,7 +391,6 @@ python src/api_demo.py \
```
> **Note**
>
> 关于 API 文档请见 `http://localhost:8000/docs`。
### 命令行测试
@@ -437,7 +431,6 @@ CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
```
> **Note**
>
> 我们建议在量化模型的评估中使用 `--per_device_eval_batch_size=1` 和 `--max_target_length 128`。
### 模型预测
@@ -489,7 +482,7 @@ CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
## 致谢
本项目是 [ChatGLM-Efficient-Tuning](https://github.com/hiyouga/ChatGLM-Efficient-Tuning) 的同类项目。采用了类似的代码结构和训练方法
本项目受益于 [PEFT](https://github.com/huggingface/peft)、[QLoRA](https://github.com/artidoro/qlora) 和 [OpenChatKit](https://github.com/togethercomputer/OpenChatKit),感谢以上诸位作者的付出
## Star History