Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF

Pythia 1b Unfiltered NSFW

📲 Gracias por mostrar interes en este modelo cuantizado del todopoderoso Novaciano que es capaz de correr en una papa 🥔 de 3Gb de RAM.

✳️ CARACTERÍSTICAS PRINCIPALES

Capacidades de Roleplay:

Este modelo se destaca en escenarios de interpretación de roles. Puede asumir personalidades, desarrollar tramas y mantener interacciones dinámicas, ideal para juegos narrativos y simulaciones.

Pequeñito:

Es 1 billon de parámetros en 500Mb.

✴️ POSIBLES UTILIDADES

Narrativa y Escritura Creativa:

Perfecto para construir universos ficticios, diseñar personajes complejos y desarrollar historias elaboradas.

Apoyo en Investigación y Redacción Académica:

Genera borradores, resúmenes y análisis para documentos académicos.

Juegos de Rol e Interpretación Escénica:

Ideal para personalizar experiencias de roleplay, desde simulaciones históricas hasta campañas de fantasía.

Asistencia en Traducción y Localización:

Traduce con precisión y adapta textos al contexto cultural del idioma objetivo.

Simulación de Escenarios:

Crea entornos hipotéticos o alternativos para entrenamiento o experimentación en diversos campos.

❗ CONSIDERACIONES IMPORTANTES

⚠️ Este modelo no tiene restricciones significativas en cuanto a los temas que puede abordar, lo que lo convierte en una herramienta sin censura apta para usuarios que buscan explorar ideas o narrativas fuera de los límites tradicionales. Sin embargo, su uso responsable recae en el usuario, por lo que no me hago cargo del mal uso que pueda darle.

📟 Blast Processing integrado. Es casi como DOOM, salvo tests de embarazo es ideal para correrlo en entornos de bajos recursos como celulares / smartphones, tablets o computadoras patatas siempre y cuando cuente, como mínimo, con 3Gb de RAM.

Datos de inferencia

Context Size: A elección, cuanto mas mejor.
Max Output: A elección, es la cantidad de texto.
Temp: 0.1 | Rep. Pen: 1.1 | Top. P: 1
Top. K: 0 | Top. A: 0.96 | Typ: 0.6
TFS: 1 | Min-P: 0 | Pr. Pen: 0 | Smooth F: 0
Seed: -1 | Rp. Range: 1024 | Rp. Slope: 0.7

Usarlo online desde el Google Colab de Koboldcpp

No hay mucho misterio, simplemente dirijase AQUÍ, copie y pegue el link de este modelo en 'Models' y pulse sobre el simbolo 'Play'

No sea ansioso, espere que cargue y le dará un link donde koboldcpp estará corriendo. Si se pausa poner 'Play' de nuevo.

Usarlo en Android con koboldcpp via Termux

🇬🇧 You can read the english version of my guide HERE

1 - Instalar Termux (Descargarlo desde AQUÍ, la versión de PlayStore está desactualizada).

2 - Ejecute Termux, se le abrirá la consola de comandos.

3 - Instale las dependencias necesarias copiando y pegando los siguientes comandos. Si no hace esto, no funcionará:

apt-get update
apt-get update
pkg clang wget git cmake
pkg install python

4 - Escriba el comando:

$ termux-change-repo

5 - Seleccione "Main Repository".

6 - Luego seleccione "Mirror by BFSU".

7 - Seleccione "Aceptar".

8 - Reinicie Termux.

10 - Descarga Koboldcpp con este comando:

wget https://github.com/LostRuins/koboldcpp/archive/refs/tags/v1.80.zip

Nota: Es la actualización más reciente hasta la fecha. Con el tiempo aparecerán versiones más nuevas. Cuando esto suceda, vaya a la siguiente página:

https://github.com/LostRuins/koboldcpp/releases

...y seleccione la versión, copie el enlace del .zip y péguelo después del comando 'wget' como se detalla anteriormente.

Alternativa: Si a usted no le importa una posible corrupción de koboldcpp al actualizar con el comando 'git pull' que le haga borrar luego la carpeta junto con los modelos descargados debido a una mala actualización, pero garantizando descargar la ultima versión, puede simplemente instalarlo con el comando:

git clone https://github.com/LostRuins/koboldcpp

11 - Si la descargó, descomprima la versión descargada con este comando:

unzip v1.80.zip

12 - Cambie el nombre de la carpeta con este comando:

mv koboldcpp-v1.80 koboldcpp

13 - Dirijase a la carpeta 'koboldcpp' con este comando:

cd koboldcpp

14 - Compile e instale Koboldcpp con este comando:

make

15 - Descargue este modelo en una carpeta nueva llamada 'Modelos' que se encuentre en la carpeta raiz de Termux con el siguiente comando:

wget https://huggingface.co./Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF/resolve/main/Pythia-1b-Unfiltered_NSFW.gguf

Si no sabes crear una carpeta, ni bien ejecutes Termux escribe:

mkdir Modelos

Nota: Si desea descargar el modelo en la carpeta Koboldcpp, coloque primero el comando:

cd koboldcpp

...incluso creo que Koboldcpp que trae su propia carpeta 'Modelos', podes descargarlo ahí tambien.

16 - Ejecute Koboldcpp junto con este modelo con el siguiente comando:

python koboldcpp.py /data/data/com.termux/files/home/modelos/Pythia-1b-Unfiltered_NSFW.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096

o, en caso de que haya elegido poner el modelo en la carpeta Koboldcpp:

python koboldcpp.py Pythia-1b-Unfiltered_NSFW.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096

♿ Verdadera inclusión: Si sos un discapacitado sin brazos o con ELA podes descargarte un modelo Whisper ACÁ y agregarle al final de la linea de ejecución:

--whispermodel /data/data/com.termux/files/home/modelos/whisper-base.en-q5_1.bin

Nota: Podés editar el archivo .bash_history y agregarle la linea de ejecución para que quede guardada, para editarla vas a tener que habilitar la visualización de archivos ocultos. Hecho esto, cada vez que se ejecute Termux pulsas la flecha arriba y aparecerá la linea de comando de ejecución.

17 - Ejecutado el modelo y sin cerrar la consola de Termux pon en tu navegador:

http://localhost:8000

(Extra) Koboldcpp + SillyTavern

El tutorial sobre como instalar SillyTavern en Android puede leerlo AQUÍ

[Local] ...y poner la IP de la dirección local de Koboldcpp (Ejemplo: http://localhost:5001). Esto si se ha ejecutado junto con koboldcpp. Ingresar a la carpeta de SillyTavern en paralelo iniciando otra sesión en Termux y ejecutar el siguiente comando:

./start.sh --disableCsrf

[OnLine] ...o crea una cuenta en en la página Open AI / Horde y coloca la clave API. Intente tomar la clave API en los siguientes enlaces: OpenAI o Horde AI

Nota: Para actualizar SillyTavern simplemente ingrese a su carpeta y escriba el comando:

git pull

Mis bots para Koboldcpp / SillyTavern

Cuento con una buena cantidad de bots, la mayoría en castellano. Puede encontrarlos AQUÍ.

Usarlo con llama.cpp (Si tenés una PC decente)

Instale llama.cpp a través de brew (funciona en Mac y Linux)

brew install llama.cpp

Invoque el Servidor llama.cpp o la CLI.

CLI:

llama-cli --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -p "Argentina va a superar su crisis financiera cuando"

SERVIDOR:

llama-server --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW-GGUF.gguf -c 2048

Nota: También puede utilizar este punto de control directamente a través de los Pasos de uso incluido en el repositorio Llama.cpp.

Paso 1: Clonar llama.cpp desde GitHub.

git clone https://github.com/ggerganov/llama.cpp

Paso 2: Vaya a la carpeta llama.cpp y constrúyalo con bandera LLAMA_CURL=1 junto con otras banderas específicas del hardware (por ejemplo: LLAMA_CUDA=1 para GPUs Nvidia en Linux).

cd llama.cpp && LLAMA_CURL=1 make

Paso 3: Ejecutar la inferencia a través del binario principal.

./llama-cli --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -p "Argentina va a superar su crisis financiera cuando"

o también con

./llama-server --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -c 2048