THUDM

/

glm-4-9b-chat

like 648

Follow

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University 1.43k

我们会考虑加入适配计划

希望加入GGUF呀，望眼欲穿

强烈建议增加gguf

确实 GGUF 方便多了啊， 不能量化9B的那怕是测试也够呛

开发gguf版本啊，适应主流啊，想要做大做强还是要对接国外主流啊

在适配ollama了，在计划内

GGUF,有完整的MODELFILE吗

目前9B版本 无量化需要多少GPU内存啊？

伸手党乞讨来啦（这回是能力真有限

目前9B版本 无量化需要多少GPU内存啊？

9b int4 12gb的肯定够了，7B INT4 6G都够。

目前9B版本 无量化需要多少GPU内存啊？

9b int4 12gb的肯定够了，7B INT4 6G都够。

8bit 呢，大概需要多少。不知道12GB够不

GGUF,有完整的MODELFILE吗

https://huggingface.co./legraphista/glm-4-9b-chat-GGUF

以上评论区提供的gguf链接所下载的模型，都无法在主流的llama cpp的衍生品正常使用，包括ollama，狗头等都无法使用，需要自己去重新开发llmacpp来适配，这确实增加了部署和测试门槛

這是用主流llama.cpp製作的 gguf ( 他們幾天前開始支援 GLM https://github.com/ggerganov/llama.cpp/releases/tag/b3333 )

https://huggingface.co./sydneyfong/glm4-9b-chat-GGUF

我们已经支持了ollama和llamacpp，或许可以直接从ollama拉取模型