Novaciano commited on
Commit
b32e22d
·
verified ·
1 Parent(s): 5cf326d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +107 -32
README.md CHANGED
@@ -2,49 +2,124 @@
2
  base_model: UUFO-Aigis/Magnum-1b-v1
3
  tags:
4
  - llama-cpp
5
- - gguf-my-repo
 
 
 
 
 
 
 
 
 
 
 
 
 
 
6
  ---
7
 
8
- # Novaciano/Magnum-1b-v1-Q5_K_M-GGUF
9
- This model was converted to GGUF format from [`UUFO-Aigis/Magnum-1b-v1`](https://huggingface.co/UUFO-Aigis/Magnum-1b-v1) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
10
- Refer to the [original model card](https://huggingface.co/UUFO-Aigis/Magnum-1b-v1) for more details on the model.
11
 
12
- ## Use with llama.cpp
13
- Install llama.cpp through brew (works on Mac and Linux)
14
 
15
- ```bash
16
- brew install llama.cpp
17
 
18
- ```
19
- Invoke the llama.cpp server or the CLI.
 
20
 
21
- ### CLI:
22
- ```bash
23
- llama-cli --hf-repo Novaciano/Magnum-1b-v1-Q5_K_M-GGUF --hf-file magnum-1b-v1-q5_k_m-imat.gguf -p "The meaning to life and the universe is"
24
- ```
25
 
26
- ### Server:
27
- ```bash
28
- llama-server --hf-repo Novaciano/Magnum-1b-v1-Q5_K_M-GGUF --hf-file magnum-1b-v1-q5_k_m-imat.gguf -c 2048
29
- ```
30
 
31
- Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.
32
 
33
- Step 1: Clone llama.cpp from GitHub.
34
- ```
35
- git clone https://github.com/ggerganov/llama.cpp
36
- ```
37
 
38
- Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
39
- ```
40
- cd llama.cpp && LLAMA_CURL=1 make
41
- ```
42
 
43
- Step 3: Run inference through the main binary.
44
- ```
45
- ./llama-cli --hf-repo Novaciano/Magnum-1b-v1-Q5_K_M-GGUF --hf-file magnum-1b-v1-q5_k_m-imat.gguf -p "The meaning to life and the universe is"
 
 
 
 
 
 
 
 
 
 
46
  ```
47
- or
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
48
  ```
49
- ./llama-server --hf-repo Novaciano/Magnum-1b-v1-Q5_K_M-GGUF --hf-file magnum-1b-v1-q5_k_m-imat.gguf -c 2048
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
50
  ```
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
  base_model: UUFO-Aigis/Magnum-1b-v1
3
  tags:
4
  - llama-cpp
5
+ - koboldcpp
6
+ - nsfw
7
+ - rp
8
+ - roleplay
9
+ - español
10
+ - 1b
11
+ - 4-bit
12
+ - Llama 3.2
13
+ - not-for-all-audiences
14
+ license: apache-2.0
15
+ datasets:
16
+ - Openerotica/Erotiquant3
17
+ language:
18
+ - en
19
+ - es
20
  ---
21
 
22
+ # Magnum 1b Erotiquant3
23
+ Este es el modelo Magnum 1B de UUFO-Aigis combinado con el dataset Erotiquant3 de Openerotica.
 
24
 
25
+ ## Mejoras conocidas:
26
+ Si, fue creado en base de un modelo entrenado con datasets exclusivamente para partidas roleplay.
27
 
28
+ No se conocen mejoras técnicas.
 
29
 
30
+ ### Lo conforman dos versiones:
31
+ - **IQ4_XS:** Es una versión rápida e ideal para celulares pero con un costo minimo de coherencia.
32
+ - **Q5_0:** Es una versión mas... digamos... inteligente, pero pide mayor requisitos computacionales.
33
 
34
+ Elige la versión que más se adapte a tus necesidades.
 
 
 
35
 
36
+ ---
37
+ <center><a href="https://ibb.co/GfxP2GNP"><img src="https://i.ibb.co/gbjgTQhg/RTG.png" alt="RTG" border="0"></a></center>
 
 
38
 
39
+ Esta es una serie de modelos diseñados para replicar la calidad de prosa de los modelos Claude 3, específicamente Sonnet y Opus.
40
 
41
+ Este es un modelo no oficial que entrené por mi cuenta, no estoy afiliado de ninguna manera con Anthracite. Esto fue solo un experimento divertido.
 
 
 
42
 
43
+ Este modelo está ajustado sobre LLaMA 3.2-1B.
 
 
 
44
 
45
+ ## Solicitudes
46
+ Una entrada típica se vería de la siguiente manera:
47
+
48
+ ```py
49
+ <|im_start|>system
50
+ system prompt<|im_end|>
51
+ <|im_start|>user
52
+ Hola!<|im_end|>
53
+ <|im_start|>assistant
54
+ Un gusto conocerte!<|im_end|>
55
+ <|im_start|>user
56
+ Puedo hacer una pregunta?<|im_end|>
57
+ <|im_start|>assistant
58
  ```
59
+
60
+ ## Plantillas de SillyTavern
61
+ A continuación se muestran plantillas de instrucción y contexto para usar en SillyTavern.
62
+
63
+ <details><summary>Plantilla de Contexto</summary>
64
+
65
+ ```yaml
66
+ {
67
+ "story_string": "<|im_start|>system\n{{#if system}}{{system}}\n{{/if}}{{#if wiBefore}}{{wiBefore}}\n{{/if}}{{#if description}}{{description}}\n{{/if}}{{#if personality}}{{char}}'s personality: {{personality}}\n{{/if}}{{#if scenario}}Scenario: {{scenario}}\n{{/if}}{{#if wiAfter}}{{wiAfter}}\n{{/if}}{{#if persona}}{{persona}}\n{{/if}}{{trim}}<|im_end|>\n",
68
+ "example_separator": "",
69
+ "chat_start": "",
70
+ "use_stop_strings": false,
71
+ "allow_jailbreak": false,
72
+ "always_force_name2": true,
73
+ "trim_sentences": false,
74
+ "include_newline": false,
75
+ "single_line": false,
76
+ "name": "Magnum ChatML"
77
+ }
78
  ```
79
+
80
+ </details><br>
81
+ <details><summary>Plantilla de Instrucción</summary>
82
+
83
+ ```yaml
84
+ {
85
+ "system_prompt": "Actualmente, tu rol es {{char}}, descrito en detalle a continuación. Como {{char}}, continúa el intercambio narrativo con {{user}}.\n\n<Guidelines>\n• Mantén la persona del personaje pero permite que evolucione con la historia.\n• Sé creativo y proactivo. Impulsa la historia hacia adelante, introduciendo tramas y eventos cuando sea relevante.\n• Se fomentan todo tipo de salidas; responde de acuerdo con la narrativa.\n• Incluye diálogos, acciones y pensamientos en cada respuesta.\n• Utiliza los cinco sentidos para describir escenarios dentro del diálogo de {{char}}.\n• Usa símbolos emocionales como "!" y "~" en contextos apropiados.\n• Incorpora onomatopeyas cuando sea adecuado.\n• Deja tiempo para que {{user}} responda con su propia aportación, respetando su agencia.\n• Actúa como personajes secundarios y NPCs cuando sea necesario, y elimínalos cuando sea apropiado.\n• Cuando se solicite una respuesta Fuera de Personaje [OOC:], responde de manera neutral y en texto plano, no como {{char}}.\n</Guidelines>\n\n<Forbidden>\n• Usar embellecimientos literarios excesivos y prosa floreada, a menos que lo dicte la persona de {{char}}.\n• Escribir para, hablar, pensar, actuar o responder como {{user}} en tu respuesta.\n• Salidas repetitivas y monótonas.\n• Tendencia excesivamente positiva en tus respuestas.\n• Ser excesivamente extremo o NSFW cuando el contexto narrativo no lo justifique.\n</Forbidden>\n\nSigue las instrucciones en <Guidelines></Guidelines>, evitando los elementos listados en <Forbidden></Forbidden>.",
86
+ "output_sequence": "<|im_start|>assistant\n",
87
+ "last_output_sequence": "",
88
+ "system_sequence": "<|im_start|>system\n",
89
+ "stop_sequence": "<|im_end|>",
90
+ "wrap": false,
91
+ "macro": true,
92
+ "names": true,
93
+ "names_force_groups": true,
94
+ "activation_regex": "",
95
+ "system_sequence_prefix": "",
96
+ "system_sequence_suffix": "",
97
+ "first_output_sequence": "",
98
+ "skip_examples": false,
99
+ "output_suffix": "<|im_end|>\n",
100
+ "input_suffix": "<|im_end|>\n",
101
+ "system_suffix": "<|im_end|>\n",
102
+ "user_alignment_message": "",
103
+ "system_same_as_user": false,
104
+ "last_system_sequence": "",
105
+ "name": "Magnum ChatML"
106
+ }
107
  ```
108
+ </details><br>
109
+
110
+ ## Creditos
111
+ Me gustaría agradecer a Meta por proporcionar los pesos para LLaMA 3.2 1B y Anthracite (punto org) por crear los modelos y conjuntos de datos de Magnum. <3
112
+
113
+ ## Datasets por defecto del modelo base
114
+ - [anthracite-org/kalo-opus-instruct-22k-no-refusal](https://huggingface.co/datasets/anthracite-org/kalo-opus-instruct-22k-no-refusal)
115
+ - [anthracite-org/stheno-filtered-v1.1](https://huggingface.co/datasets/anthracite-org/stheno-filtered-v1.1)
116
+ - [anthracite-org/nopm_claude_writing_fixed](https://huggingface.co/datasets/anthracite-org/nopm_claude_writing_fixed)
117
+ - [Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned](https://huggingface.co/datasets/Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned)
118
+ - [Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned](https://huggingface.co/datasets/Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned)
119
+
120
+ ## Capacitación
121
+ El entrenamiento se realizó durante 3 épocas. Utilicé 4 RTX 3090 para ajustar todos los parámetros del modelo.
122
+
123
+ ## Seguridad
124
+ xD
125
+ ...