aicloud
/
chatglm-6b
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Update README.md

This commit is contained in:
Zeng Aohan 2023-03-13 17:16:28 +00:00 committed by huggingface-web
parent a77bce8299
commit eb1daff875
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
README.md
View File

@ -48,7 +48,7 @@ print(history)
关于更多的使用说明，以及如何运行命令行和网页版本的 DEMO，请参考我们的 [Github repo](https://github.com/THUDM/ChatGLM-6B)。
## INT8 量化
## 模型量化
默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 19GB 显存。如果你的 GPU 显存有限，可以尝试运行量化后的模型，即将下述代码