denis-gordeev/reranker_dialog_items_biencoder_rubert-tiny-turbo-6

SentenceTransformer based on sergeyzh/rubert-tiny-turbo

This is a sentence-transformers model finetuned from sergeyzh/rubert-tiny-turbo. It maps sentences & paragraphs to a 312-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sergeyzh/rubert-tiny-turbo
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 312 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 312, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("denis-gordeev/reranker_dialog_items_biencoder_rubert-tiny-turbo-6")
# Run inference
sentences = [
    'Подбери моющий пылесос',
    "{'long_web_name': 'Видеокамера Sony HDR-CX405', 'price': 60219.0, 'url': 'https://megamarket.ru/catalog/details/videokamera-cifrovaya-full-hd-sony-hdr-cx405-black-100000032906/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/1484948/100000032906b0.jpg', 'id': '100000032906', 'description': '<p>Цифровая видеокамера Sony HDR-CX405 Black оснащена широкоугольным объективом, который дает большие возможности для съемки пейзажей и в условиях стесненного пространства. Функция распознавания лиц используется для автоматической оптимизации фокуса, цветопередачи и выдержки: при прикосновении к жидкокристаллическому дисплею производится определение центрального объекта, и даже если он покинет сцену, то все равно будет занесен в память устройства, а при повторном появлении в кадре снова станет приоритетным.</p><h2>Особенности и преимущества</h2><ul><li> Встроенный кабель USB. Уложен в наручный ремешок. Благодаря ему отпадает необходимость носить с собой громоздкое зарядное устройство.</li><li> Motion Shot Video. Режим обеспечивает воспроизведение серии наложенных изображений и позволяет проследить перемещение объекта, при этом можно регулировать интервал, а также остановить показ, чтобы сделать снимок.</li><li> Двухформатная запись. Видеоконтент записывается одновременно в двух форматах XAVC S и AVCHD.</li><li> Интеллектуальный автоматический режим. Опция автоматически определяет тип сюжета и оптимизирует настройки. </li><li> Продолжительность работы. Съемный аккумулятор обеспечивает до 2,5 часа непрерывной съемки.</li></ul>', 'rating': 5.0, 'review_count': 21}",
    "{'long_web_name': 'Холодильник LIEBHERR CUEL 2331 серебристый, серый', 'price': 63918.0, 'description': '', 'rating': 4.67, 'review_count': 6}",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 312]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

• Dataset: item-classification
• Evaluated with BinaryClassificationEvaluator

Metric	Value
cosine_accuracy	0.971
cosine_accuracy_threshold	0.7607
cosine_f1	0.9073
cosine_f1_threshold	0.7602
cosine_precision	0.8525
cosine_recall	0.9696
cosine_ap	0.9636

Training Details

Training Dataset

Unnamed Dataset

• Size: 48,599 training samples
• Columns: anchor, text, and label
• Approximate statistics based on the first 1000 samples:

  	anchor	text	label
  type	string	string	int
  details	min: 5 tokens mean: 18.58 tokens max: 170 tokens	min: 52 tokens mean: 320.76 tokens max: 1158 tokens	0: ~82.70% 1: ~17.30%

• Samples:

  anchor	text	label
  расскажи про умную колонку SberBoom	{'long_web_name': 'Колонка умная Sber Sberboom Home туманная', 'price': 5990.0, 'description': 'Умная колонка Sber Sberboom Home «Туманная» поддерживает голосовое управление благодаря виртуальному ассистенту «Салют» с интеграцией искусственного интеллекта GigaChat. LED-дисплей показывает время, информацию о погоде и дорожном трафике. Яркость можно регулировать автоматически. Модуль Zigbee объединяет устройства в умный дом и может управлять ими. Технология Magnetic Sound позволяет добиться насыщенного чистого звука с глубокими басами. Реализован режим совместной работы с телевизорами Sber и медиацентрами SberBox. Есть универсальный разъем USB Type C. Корпус с фактурным переплетением нитей выполнен из приятного на ощупь матового пластика — обладает высокой стойкостью к царапинам и выцветанию. Водоотталкивающая пропитка защищает от влаги. Просто ухаживать — достаточно протереть салфеткой.', 'rating': 4.5, 'review_count': 76, 'extra_info': ''}	0
  расскажи об айфоне https://megamarket.ru/catalog/details/smartfon-a	{'long_web_name': 'Охлаждающая подставка для ноутбука KS-IS KS-740 до 19"', 'price': 3290.0, 'url': 'https://megamarket.ru/catalog/details/ohlazhdayushaya-podstavka-dlya-noutbuka-ks-is-ks-740-do-19-600010906101/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-12/806/641/346/181/21/600010906101b0.jpeg', 'id': '600010906101', 'description': 'Охлаждающая подставка для ноутбука с монолитной конструкцией и тремя вентиляторами (80 мм), вращающимся со скоростью 2000об/мин, значительно рассеивает тепло от ноутбука, обеспечивает его хорошее рабочее состояние и продлевает срок службы. вашего ноутбука. Прочная охлаждающая подставка для ноутбука Поверхность охлаждающей подставки изготовлена из алюминиевого сплава, который может отводить тепло от ноутбука, улучшать рассеивание тепла и обеспечивает вашему ноутбуку износостойкую и прочную поверхность для переноски, что позволяет перевозить, положив его в сумку для ноутбука. Охлаждающая подставка для ноутбука с 3 регулировками по ...	0
  помоги подобрать бытовую технику холодильник до 80 тысяч Расскажи, что умеешь	{'long_web_name': 'Холодильник Beko B5RCNK403ZW белый', 'price': 43990.0, 'description': ' Холодильник Beko B5RCNK403ZW - идеальное решение для хранения продуктов с максимальным комфортом и минимальным энергопотреблением. \n Суперэкономичный и функциональный \n Благодаря классу энергоэффективности A+++, этот холодильник поможет вам снизить затраты на электричество, экономя ваше время и деньги. С инверторным компрессором он обеспечивает бесшумную работу и долгий срок службы. Большая вместительность холодильника позволяет удобно разместить все необходимые продукты, сохраняя их свежесть. \n \n Объемная морозильная камера позволяет хранить большое количество замороженных продуктов без проблем. \n No Frost система автоматически размораживает холодильник, освобождая вас от необходимости регулярной процедуры размораживания. \n Электронное управление делает настройку температуры и режимов работы максимально простой и удобной. \n Перенавешиваемые двер...	1

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 6,075 evaluation samples
• Columns: anchor, text, and label
• Approximate statistics based on the first 1000 samples:

  	anchor	text	label
  type	string	string	int
  details	min: 5 tokens mean: 19.09 tokens max: 319 tokens	min: 52 tokens mean: 321.31 tokens max: 1464 tokens	0: ~84.20% 1: ~15.80%

• Samples:

  anchor	text	label
  помоги подобрать игровой смартфон частота обновления дисплея от 100 герц, высокий рейтинг, цена до 40 тысяч	{'long_web_name': 'Вспышка Godox TT350S для Sony', 'price': 10790.0, 'url': 'https://megamarket.ru/catalog/details/fotovspyshka-godox-thinklite-tt350s-dlya-sony-600005626620/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-68/526/847/329/183/4/600005626620b0.jpeg', 'id': '600005626620', 'description': 'Компактная фотовспышка, предназначенная для использования с камерами Sony.Производитель утверждает, что устройство совместимо с камерами Sony a7R II, a7R, а также А58 и a77ll. Некоторые модели RX также способны выполнить сопряжение со вспышкой.Радиоуправляемая система позволяет TT350S работать вместе с другими радио фотовспышками GODOX и студийными головками. Устройство может работать в качестве ведущего или ведомого света в нескольких наборах. Три группы запрограммированы в систему управления вместе с 16 каналами, в то время как максимальный рабочий диапазон составляет 30м. Высокая скорость синхронизации обеспечивается через режим HSS, который может работать с выдер...	0
  хочу купить кофеварку с учетом сбербонусов	{'long_web_name': 'Кофеварка капельного типа Bosch TKA 6A043', 'price': 8999.0, 'description': 'Коротко о товаретип используемого кофе: молотыйтип напитка: американонастройки: крепость кофе, жесткость водыдоп. функции: автоотключение при неиспользовании, автоматическая декальцинация, противокапельная системаособенности конструкции: индикатор уровня воды, отсек для шнура, плита автоподогрева, вращающийся фильтродержатель, индикатор включенияфильтр: одноразовыйматериал корпуса: пластик', 'rating': 4.9, 'review_count': 13, 'extra_info': ''}	1
  помоги подобрать смартфон андроид, встроенная память от 128гб, цена от 30 до 37 тысяч покажи еще Расскажи, что умеешь покажи еще а если все гуд то в реди ту мерж или реди ту деплой? деплой это уже последний статус перед продом видимо сравни все предложенные товары	{'long_web_name': 'Кухонный комбайн Bosch MUMS2EW40 white', 'price': 32319.0, 'url': 'https://megamarket.ru/catalog/details/kuhonnyy-kombayn-bosch-mums2ew40-white-600005246990/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-15/835/560/551/210/143/3/600005246990b0.jpeg', 'id': '600005246990', 'description': ' Мощный кухонный комбайн Bosch MUMS2EW40 white - идеальный помощник для приготовления различных блюд в домашних условиях. С его помощью ты сможешь быстро и легко приготовить все необходимые ингредиенты для любимых рецептов. \n Безупречное качество работы \n Сочетание функциональности и надежности делает данный комбайн незаменимым инструментом на кухне. Благодаря индикатору работы, ты можешь контролировать процесс приготовления, не отвлекаясь на постоянную проверку. Блендер в комплекте позволяет легко приготовить пюре, смузи или другие жидкие блюда. \n \n Поворотное управление обеспечивает удобство использования и позволяет изменять скорос...	0

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	item-classification_cosine_ap
0	0	-	0.0243	0.3310
0.0329	100	0.0158	-	-
0.0658	200	0.0097	-	-
0.0823	250	-	0.0057	0.7787
0.0987	300	0.0058	-	-
0.1317	400	0.0051	-	-
0.1646	500	0.0046	0.0047	0.8786
0.1975	600	0.0041	-	-
0.2304	700	0.0043	-	-
0.2469	750	-	0.0041	0.9098
0.2633	800	0.0046	-	-
0.2962	900	0.0042	-	-
0.3292	1000	0.0043	0.0036	0.9235
0.3621	1100	0.0038	-	-
0.3950	1200	0.0041	-	-
0.4115	1250	-	0.0037	0.9334
0.4279	1300	0.0034	-	-
0.4608	1400	0.004	-	-
0.4937	1500	0.0037	0.0033	0.9408
0.5267	1600	0.0036	-	-
0.5596	1700	0.0035	-	-
0.5760	1750	-	0.0030	0.9517
0.5925	1800	0.0035	-	-
0.6254	1900	0.0035	-	-
0.6583	2000	0.0037	0.0029	0.9558
0.6912	2100	0.0029	-	-
0.7242	2200	0.0033	-	-
0.7406	2250	-	0.0028	0.9580
0.7571	2300	0.0031	-	-
0.7900	2400	0.0032	-	-
0.8229	2500	0.0031	0.0027	0.9629
0.8558	2600	0.0029	-	-
0.8887	2700	0.0029	-	-
0.9052	2750	-	0.0027	0.9632
0.9217	2800	0.0033	-	-
0.9546	2900	0.0028	-	-
0.9875	3000	0.0031	0.0026	0.9636
1.0	3038	-	0.0026	0.9636

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.2.1
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}