Etiquetas de Instrucciones?
Cuales son sus etiquetas de instrucciones? intento hablarle a la ia pero sin sus respectivas etiquetas simplemente enloquece
Pythia es un modelo viejito, antes de que apareciesen los modelos TinyLlama y RWKV, por lo que te recomiendo alterar entre las etiquetas de instrucción más comunes del momento que eran Alpaca o sobre todo ChatML.
Alpaca
User Tag:
\n### Instruction:\n
Assistant Tag:
\n### Response:\n
ChatML
System Tag:
<|im_start|>system\n
User Tag:
<|im_end|>\n<|im_start|>user\n
Assistant Tag:
<|im_end|>\n<|im_start|>assistant\n
Nota: Te recomiendo probar bajando la Temperatura a 0.1
Como extra te he creado otro modelo para que puedas probar. Es un modelo superior a Pythia de la serie GPTNeoX:
https://huggingface.co./Novaciano/ProofGPT-1b-Harmful_Inversed-GGUF
Puede que te de mejores resultados ya que cuenta con más parámetros.
PD: Gracias por hacerme conocer el modelo Magnum-1b-v1, voy a ver de crear una variación de este inyectandole un dataset extra de Openerótica.