fix #242

Former-commit-id: 80a346e29beb49e8935b786e2af1059fdc4954b2
2023-07-25 17:04:02 +08:00
parent c145bbef3c
commit ac587438f8
4 changed files with 22 additions and 3 deletions
--- a/README_zh.md
+++ b/README_zh.md
@@ -342,6 +342,12 @@ python src/export_model.py \
    --output_dir path_to_export
 ```

+## TODO
+
+- [ ] 实现 flash attention ([torch](https://pytorch.org/docs/stable/generated/torch.nn.functional.scaled_dot_product_attention.html) / [xformers](https://github.com/facebookresearch/xformers) / [flashattn](https://github.com/Dao-AILab/flash-attention))。
+- [ ] 在推理阶段使用 Multi-query attention 进行加速。
+- [ ] 支持 RLHF 的全参数微调。
+
 ## 协议

 本仓库的代码依照 [Apache-2.0](LICENSE) 协议开源。