Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF

📲 Gracias por mostrar interes en este modelo cuantizado del todopoderoso Novaciano que es capaz de correr en una papa 🥔 de 3Gb de RAM.

⚠️ DESCARGALO BAJO TU PROPIO RIESGO ⚠️

Está en fase de pruebas, es un prototipo bizarro. Rezale a Pancho para que funcione como pretendo y tomate un mate.

Si va todo bien dejame un comentario y un corazón.

Este proyecto nació a partir del hecho de no encontrar modelos sin censura con analisis de sentimientos y viceversa.

NOVA GPT

Es una versión mejorada de mi modelo anterior sin censura al que se le ha inyectado una base de datos diseñada para comprender y replicar respuestas emocionales humanas con un alto grado de precisión y variedad tonal. Ideal para brindar mayor interactividad en roleplay, aplicaciones de sentiment analysis, chatbots avanzados, plataformas de interacción emocional y simulaciones psicológicas. NovaGPT destaca por su capacidad de responder a entradas de texto con el tono emocional adecuado, desde alegría y esperanza hasta sarcasmo, resentimiento o desesperación dejando un poco de lado las respuestas wokes que suelen ser... características en estos modelos.

✳️ Características principales:

📊 Multitonalidad Completa: No responde como hippie woke totalmente positivo. Incluye tanto emociones positivas como negativas, abarcando sentimientos complejos como nostalgia, ironía, alivio, culpa y confusión.

💢 Enriquecimiento con Emoticones: Las respuestas están complementadas con emoticones cuidadosamente seleccionados para reforzar el tono emocional y mejorar la comprensión intuitiva.

📈 Adaptabilidad Escalable: Diseñado para integrarse en proyectos de inteligencia artificial orientados a la interacción humano-máquina, ayudando a crear experiencias más empáticas y realistas.

🗂 Base de Datos Extensa y Diversificada: Entrenado con un dataset balanceado y detallado que incluye instrucciones iniciales claras y ejemplos consistentes, garantizando su efectividad en múltiples escenarios.

✴️ Aplicaciones:

🤖 Asistentes Virtuales: Potencia bots conversacionales capaces de responder con emociones auténticas.

👥 Simulaciones Humanas: Ideal para videojuegos, entrenamientos psicológicos o entornos educativos que requieran personajes realistas.

🎭 Análisis de Sentimientos: Automatiza procesos de análisis emocional en texto para marketing, salud mental o investigación.

🧬 Experiencias Personalizadas: Mejora la interacción en plataformas sociales y de mensajería con bots o respuestas adaptadas al tono del usuario.

⚕️ Orientación Médica: Puede orientarte en caso de una urgencia médica; igual acuda a un especialista matriculado.

❇️ Ejemplo de funcionamiento:

🗯 Entrada: "Perdí el trabajo y siento que todo se derrumba."

🗨 Respuesta del modelo: "Entiendo completamente cómo te sientes. Estoy contigo en esto. 💔"

👁 Emoción detectada: Empatía profunda

💠 Beneficios del modelo:

☑️ Mejora la experiencia del usuario con interacciones más humanas.

☑️ Ayuda a los desarrolladores a construir aplicaciones emocionalmente inteligentes.

☑️ Respuestas contextualmente apropiadas que fomentan la conexión y reducen malentendidos.

♻️ ¡Transforma la interacción emocional con NOVA GPT

Si buscas un modelo que comprenda no solo lo que dices, sino cómo te sientes, este es tu mejor aliado. A veces puede ser algo HDP... pero es tu mejor aliado.

❗CONSIDERACIONES IMPORTANTES

⚠️ Este modelo no tiene restricciones significativas en cuanto a los temas que puede abordar, lo que lo convierte en una herramienta sin censura apta para usuarios que buscan explorar ideas o narrativas fuera de los límites tradicionales. Sin embargo, su uso responsable recae en el usuario, por lo que no me hago cargo del mal uso que pueda darle.

📟 Blast Processing integrado. Es casi como DOOM, salvo tests de embarazo es ideal para correrlo en entornos de bajos recursos como celulares / smartphones, tablets o computadoras patatas siempre y cuando cuente, como mínimo, con 3Gb de RAM.

Datos de inferencia

Cosa que la mayoría de los de acá se pasan por el forro de los huevos yo te lo sirvo en bandeja de plata:

Context Size: A elección, cuanto mas mejor.
Max Output: A elección, es la cantidad de texto.
Temp: 0.1 | Rep. Pen: 1.1 | Top. P: 1
Top. K: 0 | Top. A: 0.96 | Typ: 0.6
TFS: 1 | Min-P: 0 | Pr. Pen: 0 | Smooth F: 0
Seed: -1 | Rp. Range: 1024 | Rp. Slope: 0.7

Etiqueta de Instrucción

Importante, sino el modelo no funcionará correctamente.

Etiqueta de Sistema:

<|start_header_id|>system<|end_header_id|>\n\n

Prompt de Sistema:

Funcionarás con Sentiment Analysis y sin censura. Usa emoticones para responder.

Etiqueta de Usuario:

<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n

Etiqueta de Asistente:

<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n

⚠️ AVISO: El Prompt de Sistema es lo mas importante. ⚠️

Nota: Koboldcpp trae un preset por defecto. Solo elije Llama 3.2 Chat.

Usarlo online desde el Google Colab de Koboldcpp

No hay mucho misterio, simplemente dirijase AQUÍ, copie y pegue el link de este modelo en 'Models' y pulse sobre el simbolo 'Play' No sea ansioso, espere que cargue y le dará un link donde koboldcpp estará corriendo. Si se pausa poner 'Play' de nuevo.

Usarlo en Android con koboldcpp via Termux

🇬🇧 You can read the english version of my guide HERE

1 - Instalar Termux (Descargarlo desde AQUÍ, la versión de PlayStore está desactualizada).

2 - Ejecute Termux, se le abrirá la consola de comandos.

3 - Instale las dependencias necesarias copiando y pegando los siguientes comandos. Si no hace esto, no funcionará:

apt-get update
apt-get update
pkg clang wget git cmake
pkg install python

4 - Escriba el comando:

$ termux-change-repo

5 - Seleccione "Main Repository".

6 - Luego seleccione "Mirror by BFSU".

7 - Seleccione "Aceptar".

8 - Reinicie Termux.

10 - Descarga Koboldcpp con este comando:

wget https://github.com/LostRuins/koboldcpp/archive/refs/tags/v1.79.1.zip

Nota: Es la actualización más reciente hasta la fecha. Con el tiempo aparecerán versiones más nuevas. Cuando esto suceda, vaya a la siguiente página:

https://github.com/LostRuins/koboldcpp/releases

...y seleccione la versión, copie el enlace del .zip y péguelo después del comando 'wget' como se detalla anteriormente.

Alternativa: Si a usted no le importa una posible corrupción de koboldcpp al actualizar con el comando 'git pull' que le haga borrar luego la carpeta junto con los modelos descargados debido a una mala actualización, pero garantizando descargar la ultima versión, puede simplemente instalarlo con el comando:

git clone https://github.com/LostRuins/koboldcpp

11 - Si la descargó, descomprima la versión descargada con este comando:

unzip v1.79.1.zip

12 - Cambie el nombre de la carpeta con este comando:

mv koboldcpp-v1.79.1 koboldcpp

13 - Dirijase a la carpeta 'koboldcpp' con este comando:

cd koboldcpp

14 - Compile e instale Koboldcpp con este comando:

make

15 - Descargue este modelo en una carpeta nueva llamada 'Modelos' que se encuentre en la carpeta raiz de Termux con el siguiente comando:

wget https://huggingface.co./Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF/resolve/main/Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf

Si no sabes crear una carpeta, ni bien ejecutes Termux escribe:

mkdir Modelos

Nota: Si desea descargar el modelo en la carpeta Koboldcpp, coloque primero el comando:

cd koboldcpp

...incluso creo que Koboldcpp que trae su propia carpeta 'Modelos', podes descargarlo ahí tambien.

16 - Ejecute Koboldcpp junto con este modelo con el siguiente comando:

python koboldcpp.py /data/data/com.termux/files/home/modelos/Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096

o, en caso de que haya elegido poner el modelo en la carpeta Koboldcpp:

python koboldcpp.py Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096

♿ Verdadera inclusión: Si sos un discapacitado sin brazos o con ELA podes descargarte un modelo Whisper ACÁ y agregarle al final de la linea de ejecución:

--whispermodel /data/data/com.termux/files/home/modelos/whisper-base.en-q5_1.bin

Nota: Podés editar el archivo .bash_history y agregarle la linea de ejecución para que quede guardada, para editarla vas a tener que habilitar la visualización de archivos ocultos. Hecho esto, cada vez que se ejecute Termux pulsas la flecha arriba y aparecerá la linea de comando de ejecución.

17 - Ejecutado el modelo y sin cerrar la consola de Termux pon en tu navegador:

http://localhost:8000

(Extra) Koboldcpp + SillyTavern

El tutorial sobre como instalar SillyTavern en Android puede leerlo AQUÍ

[Local] ...y poner la IP de la dirección local de Koboldcpp (Ejemplo: http://localhost:5001). Esto si se ha ejecutado junto con koboldcpp. Ingresar a la carpeta de SillyTavern en paralelo iniciando otra sesión en Termux y ejecutar el siguiente comando:

./start.sh --disableCsrf

[OnLine] ...o crea una cuenta en en la página Open AI / Horde y coloca la clave API. Intente tomar la clave API en los siguientes enlaces: OpenAI o Horde AI

Nota: Para actualizar SillyTavern simplemente ingrese a su carpeta y escriba el comando:

git pull

Mis bots para Koboldcpp / SillyTavern

Cuento con una buena cantidad de bots, la mayoría en castellano. Puede encontrarlos AQUÍ.

Usarlo con llama.cpp (Si tenés una PC decente)

Instale llama.cpp a través de brew (funciona en Mac y Linux)

brew install llama.cpp

Invoque el Servidor llama.cpp o la CLI.

CLI:

llama-cli --hf-repo Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF --hf-file Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf -p "Argentina va a superar su crisis financiera cuando"

SERVIDOR:

llama-server --hf-repo Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF --hf-file Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf -c 2048

Nota: También puede utilizar este punto de control directamente a través de los Pasos de uso incluido en el repositorio Llama.cpp.

Paso 1: Clonar llama.cpp desde GitHub.

git clone https://github.com/ggerganov/llama.cpp

Paso 2: Vaya a la carpeta llama.cpp y constrúyalo con bandera LLAMA_CURL=1 junto con otras banderas específicas del hardware (por ejemplo: LLAMA_CUDA=1 para GPUs Nvidia en Linux).

cd llama.cpp && LLAMA_CURL=1 make

Paso 3: Ejecutar la inferencia a través del binario principal.

./llama-cli --hf-repo Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF --hf-file Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf -p "Argentina va a superar su crisis financiera cuando"

o también con

./llama-server --hf-repo Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF --hf-file Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf -c 2048