README.md

---
license: cc-by-sa-4.0
language:
- ru
- en
pipeline_tag: text-generation
library_name: transformers
---
**[English version](https://huggingface.co./gai-labs/strela/blob/main/README_EN.md)**

Стрела — это мощная языковая модель, созданная для обеспечения высокой скорости работы и качества ответов на слабых устройствах.
Рекомендуется использовать стрелу в следующих целях:
 * Чат бот для диалога
 * Написатель историй
 * Написатель песен
 * Перевод русского и английского языка
 * Когда неэффективно использовать более тяжёлые модели

## Описание от самой стрелы
Я представляю собой компьютерную программу, которая была разработана для обработки и анализа естественного языка.
Я обладаю способностью понимать, анализировать и обрабатывать естественный язык, что позволяет мне общаться с людьми через различные каналы коммуникации. Моя основная цель - помочь людям в решении задач и предоставить информацию на основе запроса.
Я могу использоваться для различных целей: от автоматической генерации текста, перевода с одного языка на другой или даже создания собственных стихов и песен.
## Использование модели онлайн
Вы можете попробовать её [здесь](https://huggingface.co./spaces/gai-labs/chat-with-strela-q4_k_m).
## Использование модели для чата в приложении
Рекомендуется [GTP4ALL](https://gpt4all.io/index.html), он поддерживает GGUF, поэтому нужно скачать [особый вариант модели в формате GGUF](https://huggingface.co./gai-labs/strela-GGUF).
## Использование модели для чата в Unity
Рекомендуется [LLM for Unity](https://assetstore.unity.com/packages/tools/ai-ml-integration/llm-for-unity-273604), он поддерживает GGUF, поэтому нужно скачать [особый вариант модели в формате GGUF](https://huggingface.co./gai-labs/strela-GGUF).
## Использование квантованной модели для чата в Python | Рекомендовано
Вы должны установить [gpt4all](https://docs.gpt4all.io/gpt4all_python.html)
```
pip install gpt4all
```
Затем, скачайте [GGUF версию модели](https://huggingface.co./gai-labs/strela-GGUF), и переместите файл в директорию вашего скрипта
```py
# Импорт библиотек
import os
from gpt4all import GPT4All

# Инициализация модели из файла strela-q4_k_m.gguf в текущей директории
model = GPT4All(model_name='strela-q4_k_m.gguf', model_path=os.getcwd())


# Функция, которая остановит генерацию, если стрела сгенерирует символ '#', который является началом объявления ролей
def stop_on_token_callback(token_id, token_string):
    if '#' in token_string:
        return False
    else:
        return True


# Промпт системы
system_template = """### System:
You are an AI assistant who gives a helpfull response to whatever human ask of you.
"""

# Промпт человека и ИИ
prompt_template = """
### Human:
{0}
### Assistant:
"""

# Сессия чата
with model.chat_session(system_template, prompt_template):
    print("Что-бы выйти, введите 'Выход'")
    while True:
        print('')
        user_input = input(">>> ")
        if user_input.lower() != "выход":

            # Потоковая генерация
            for token in model.generate(user_input, streaming=True, callback=stop_on_token_callback):
                print(token, end='')
        else:
            break
```
```
Что-бы выйти, введите 'Выход'

>>> Привет
Здравствуйте! Как я могу помочь вам сегодня?
>>> 
```
## Использование полноценной модели для чата в Python
```py
# Импорт библиотек
from transformers import AutoTokenizer, AutoModelForCausalLM

# Загрузка модели
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# Промпт системы
system_prompt = "You are an AI assistant who gives a helpfull response to whatever human ask of you."

# Ваш промпт
prompt = "Привет!"

# Шаблон чата
chat = f"""### System:
{system_prompt}
### Human:
{prompt}
### Assistant:
"""

# Генерация
model_inputs = tokenizer([chat], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # Настройте максимальное количество токенов для генерации
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# Очистка выводов от шаблона чата
output = output.replace(chat, "")

# Вывод результатов генерации
print(output)
```
```
Привет! Чем могу помочь?
```
## Использование модели для генерации текста в Python
```py
# Импорт библиотек
from transformers import AutoTokenizer, AutoModelForCausalLM

# Загрузка модели
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# Промпт
prompt = "ИИ - "

# Генерация
model_inputs = tokenizer([prompt], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # Настройте максимальное количество токенов для генерации
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# Вывод результатов генерации
print(output)
```
```
ИИ - это область компьютерных наук и технологий, которая занимается созданием машин, способных "понимать" человека или выполнять задачи с аналогичной логикой, как у людей.
```