dahara1 commited on
Commit
baaeae6
1 Parent(s): 8690feb

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -9
README.md CHANGED
@@ -4,23 +4,27 @@ tags:
4
  - amd
5
  - llama3.1
6
  - RyzenAI
 
7
  ---
8
 
9
  ## llama-translate
10
 
11
- llama-translate は、翻訳タスクに特化した LLama 3.1 ベースのモデルです。
12
- llama-translate is LLama 3.1 based model specialized for translation tasks.
13
 
14
  現在、日本語、英語、フランス語、中国語(北京語)間の翻訳をサポートしています。
15
  Currently supports translation between Japanese, English, French, and Chinese(Mandarin).
16
 
17
- RyzenAI ドライバー バージョン 1.2 ユーザー向け。4_0 バージョンを用意しました。
18
- For RyzenAI Driver Version 1.2 users. I have prepared the 4_0 version.
 
 
 
19
 
20
  ## sample prompt
21
 
22
  ```
23
- .llma-cli -m ./llama-translate-Q4_0.gguf -e -n 400 -p "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\nYou are a highly skilled professional translator.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n### Instruction:\nTranslate Japanese to Mandarin.\n\n### Input:\\n生成AIは近年、その活用用途に広がりを見せている。企業でも生成AIを取り入れようとする動きが高まっており、人手不足の現状を打破するための生産性向上への>活用や、ビジネスチャンス創出が期待されているが、実際に活用している企業はどれほどなのだろうか。帝国データバンクが行った「現在の生成AIの活用状況について>調査」の結果を見ると、どうやらまだまだ生成AIは普及していないようだ。\n\n### Response\n<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n"
24
  ```
25
  In Windows, please use the [llama-server command](https://github.com/ggerganov/llama.cpp/tree/master/examples/server) because it may not be possible to enter Japanese or Chinese characters in Windows CMD.
26
 
@@ -109,7 +113,5 @@ if __name__ == "__main__":
109
 
110
  ![llama-translate.f16.Q8_0.gguf](llama-translate-8bit.png)
111
 
112
- 英仏翻訳、仏英翻訳、日英翻訳、中英翻訳については一定の品質を確保できていると考えられます
113
- We believe that we are able to ensure a certain level of quality for English-French, French-English, Japanese-English, and Chinese-English translations.
114
-
115
-
 
4
  - amd
5
  - llama3.1
6
  - RyzenAI
7
+ - llama.cpp
8
  ---
9
 
10
  ## llama-translate
11
 
12
+ llama-translate は、多言語翻訳モデル[llama-translate-amd-npu](https://huggingface.co/dahara1/llama-translate-amd-npu)をggufフォーマットに変更してgpuがなくても動くようにしたモデルです。
13
+ llama-translate is a model that converts the multilingual translation model llama-translate-amd-npu into gguf format so that it can run even without a GPU.
14
 
15
  現在、日本語、英語、フランス語、中国語(北京語)間の翻訳をサポートしています。
16
  Currently supports translation between Japanese, English, French, and Chinese(Mandarin).
17
 
18
+ しかし、残念ながら現時点ではRyzenAI-SWに含まれる2024年4月版のllama.cppでは正常に日本語や中国語、フランス語の入出力ができません
19
+ Unfortunately, at present, the April 2024 version of llama.cpp included in RyzenAI-SW does not allow for proper input and output of Japanese, Chinese, or French.
20
+
21
+ このモデルを正常に動かすためには少なくとも2024年8月以降のllama.cppをコンパイルする必要があります。
22
+ To run this model correctly, you must compile llama.cpp from August 2024 or later.
23
 
24
  ## sample prompt
25
 
26
  ```
27
+ .llma-cli -m ./llama-translate.f16.Q4_K_M.gguf -e -n 400 -p "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\nYou are a highly skilled professional translator.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n### Instruction:\nTranslate Japanese to Mandarin.\n\n### Input:\\n生成AIは近年、その活用用途に広がりを見せている。企業でも生成AIを取り入れようとする動きが高まっており、人手不足の現状を打破するための生産性向上への>活用や、ビジネスチャンス創出が期待されているが、実際に活用している企業はどれほどなのだろうか。帝国データバンクが行った「現在の生成AIの活用状況について>調査」の結果を見ると、どうやらまだまだ生成AIは普及していないようだ。\n\n### Response\n<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n"
28
  ```
29
  In Windows, please use the [llama-server command](https://github.com/ggerganov/llama.cpp/tree/master/examples/server) because it may not be possible to enter Japanese or Chinese characters in Windows CMD.
30
 
 
113
 
114
  ![llama-translate.f16.Q8_0.gguf](llama-translate-8bit.png)
115
 
116
+ 8ビットモデルは英仏翻訳、仏英翻訳、日英翻訳、中英翻訳について一定の品質を確保できていると考えられます
117
+ The 8-bit model is believed to be able to ensure a certain level of quality for English-French, French-English, Japanese-English, and Chinese-English translations.