---
license: mit
language:
- ba
tags:
  - natural-language-processing
  - poetry-generation
  - text-generation
  - torch
  - lstm
---

This generative model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by arond 100 Bashkir poets. 

Model was trained with size 1024 and 3 layers, dropout 0.5.

There are 2 checkpoints of this model presented in the repository. One after 31 epochs with loss 0.8306, the other after 50 epochs with loss 0.8451. These metrics are in the file name.

## Usage

The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used!

```bash
th sample.lua lm_lstm_epoch50.00_0.8451.t7
```

## Train data

Train data is non free due to copyright restrictions. Texts from the [Bashkir poetry corpus](http://web-corpora.net/bashcorpus/), digitized for a [study on the history of Bashkir verse](https://books.google.ru/books?id=6rkkzAEACAAJ), are used as a training corpus. 

## What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.

## Publication

Examples of text generation [have been published in a book](http://nevmenandr.net/personalia/Min_shigriet_yze.pdf) in Bashkir language. 

This book included as pdf file in this repository.

## Samples

### epoch 50, temperature 0.4

```
Шат йөрәктән йәшел тулҡында.
Бар тип белмәй белмәй белем шаулай,
Беҙ беләбеҙ беҙҙең башҡортостан.
Тау башында тормош килеп керҙе,
Булыр ине төнгө тамсы булып.
Тамырын күреп кенә йөрөй ул
Алыҫ елдәр салғы ташланы.

Кемдәр көткән кеше йөрәгенә
Күкрәгемдә йөрөй яланда.
```

### epoch 50, temperature 0.6

```
Ята гүзәл йәш кейек.
Йәнде тулап китә икән,
Ҡапыл ерҙән бер туҡтау.
Ул да ҡаты йәйҙең башҡа бер ғаләмде
Дуҫтарына ҡарап батырҙы.
Бер ҡарашы көндә кис булды ул,
Йырлап йөрөй таныш кешегә.
Урал аша тотҡан ҡайғыларын
Бөгөн тик булды ул тауҙарға.
Бер кем белә бөгөн яраларҙан
Мандылдарҙан тағы бер сәскә.
Сафлыҡтарҙы һаҡлап шатлыҡ килә,
Тап булған һайын тауҙар.

Көндәр кеүек, йәмле шыршы тауышы
Тау-тау булып күккә табынған.
Ара тора йәндәр менән белдем,
Бер ҡараһаң, һаман бер сабый.
```

## BibTeX entry and citation info

```
@book{orekhov2020min,
  title={Мин шиғриәт үҙе... Компьютер шиғырҙар},
  author={Орехов, Б.В.},
  isbn={9785961306675},
  url={http://nevmenandr.net/personalia/Min_shigriet_yze.pdf},
  year={2020},
  publisher={Mir pechati}
}

@book{orekhov2019bashkir,
  title={Башкирский стих ХХ века: корпусное исследование},
  author={Орехов, Б.В.},
  isbn={9785907189294},
  url={http://nevmenandr.net/personalia/bverse_preview.pdf},
  year={2019},
  publisher={Alete{\u\i}}i︠a︡}
}
```