add docstrings, refactor logger

Former-commit-id: c34e489d71f8f539028543ccf8ee92cecedd6276
This commit is contained in:
hiyouga
2024-09-08 00:56:56 +08:00
parent 93d4570a59
commit 7f71276ad8
30 changed files with 334 additions and 57 deletions

View File

@@ -298,7 +298,7 @@ KTO 数据集需要额外添加一个 `kto_tag` 列,包含 bool 类型的人
多模态图像数据集需要额外添加一个 `images` 列,包含输入图像的路径。
注意图片的数量必须和对话中 `<image>` 标记的数量严格一致。
注意图片的数量必须与文本中所有 `<image>` 标记的数量严格一致。
```json
[
@@ -339,7 +339,7 @@ KTO 数据集需要额外添加一个 `kto_tag` 列,包含 bool 类型的人
多模态视频数据集需要额外添加一个 `videos` 列,包含输入视频的路径。
注意视频的数量必须和对话中 `<video>` 标记的数量严格一致。
注意视频的数量必须与文本中所有 `<video>` 标记的数量严格一致。
```json
[