THUDM

/

chatglm-6b-int4

like 414

Follow

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University 1,192

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True, ignore_mismatched_sizes=True).float()

程序启动后，cpu很高，超过10分钟没有出结果，有人遇到过类似情况吗。
采用int4版本：THUDM/chatglm-6b-int4