※llama.cpp Releases b3428(7/21)にて変換し直しました。

HODACHI様の EZO-Humanities-9B-gemma-2-it をGGUF形式に変換したものです。 K量子化モデルについてもiMatrix適用してあります。

iMatrixテキストはTFMC様のc4_en_ja_imatrix.txtを使用しています。

Downloads last month
75
GGUF
Model size
9.24B params
Architecture
gemma2

3-bit

4-bit

5-bit

6-bit

8-bit

16-bit

Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.