You are using a model of type llama to instantiate a model of type mistral.
#2
by
femboysLover
- opened
Кажется, вы что то напутали в конфиге. Из за этого кстати судя по всему можно получить OOM в google colab, если использовать AutoModelForCausalLM, а не MistralForCausalLM
COOM (Cuda Out Of Memory) AutoModelForCausalLM на kaggle тоже вызывает.
с AutoModel:
с Mistral:
femboysLover
changed discussion status to
closed
it has been fixed in this PR