Japanese-Starling-ChatV-7B-GGUF

GGUF conversion of "Japanese-Starling-ChatV-7B"

"Japanese-Starling-ChatV-7B" is a Japanese chat model built on top of "chatntq-ja-7b-v1.0", originally based on Mistral-7B-v0.1. I applied the chat vector acquired by subtracting the weights of Mistral-7B-v0.1 from the weights of "Starling-LM-7B-beta" to this model.

このモデルはchatntq-ja-7b-v1.0をベースにした7Bパラメータの日本語チャットモデルです。高性能の英語モデルであるStarling-LM-7B-betaの重みからMistral-7B-v0.1の重みを差し引くことで得たchat vectorを適用しています（ブログ記事）。

Performance

Model (Q8_0 quant)	c4ai-command-r-v01-GGUF	JA-Starling-ChatV-7B-GGUF (This model)	ChatNTQ-JA-7b-v1.0-GGUF	RakutenAI-7B-chat-gguf	ELYZA-japanese-Llama-2-7b-instruct-gguf
Parameters	35B	7B(Mistral)	7B(Mistral)	7B(Mistral)	7B(Llama-2)
ELYZAtasks100 average score	3.42	3.42	3.06	2.82	2.46

Scores on "ELYZA-tasks-100" benchmark for the instruction-tuned Japanese models evaluated by GPT-4-0125-preview. Please note that this is a simplified evaluation using the Q8 quantized models.

このスコアはinstruction-tuningを行った日本語モデルのベンチマーク「ELYZA-tasks-100」を使い、GPT-4-0125-previewにより評価させたものです。Q8量子化モデルを用いた簡易的な評価であることにご留意ください。

Prompt Template

[INST] <<SYS>>\nあなたは役に立つアシスタントです。\n<</SYS>>\n\n{prompt} [/INST]