mustozsarac/finetuned-four-epoch-multi-qa-mpnet-base-dot-v1

SentenceTransformer based on sentence-transformers/multi-qa-mpnet-base-dot-v1

This is a sentence-transformers model finetuned from sentence-transformers/multi-qa-mpnet-base-dot-v1. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/multi-qa-mpnet-base-dot-v1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Dot Product

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("mustozsarac/finetuned-four-epoch-multi-qa-mpnet-base-dot-v1")
# Run inference
sentences = [
    'Arama',
    "Zorunlu Çerezler Bu çerez, insanlarla botları ayırt etmek için kullanılır. Bu, web sitelerinin kullanımı hakkında geçerli raporlar hazırlamak için kullanılmakta olup web sitesi için faydalıdır. İşlevsel Çerezler Kullanıcının web sitesinin seçtiği dil sürümünü hatırlar. Performans/Analitik Çerezler Ziyaretçinin web sitesini nasıl kullandığına ilişkin istatistiksel veriler oluşturmak için kullanılan benzersiz bir kimliği kaydeder. Google Analytics tarafından talep oranını kısmak için kullanılır. Kabul et Reddet Reklam/Pazarlama Çerezleri Bu çerez, Alexa Analytics'e gönderilen tüketici davranışları hakkında bilgi toplamak için kullanılır. (Alexa Analytics bir Amazon şirketidir.)",
    "Euroleague’de 29. hafta dün oynanan karşılaşmalarla sona erdi. Bu hafta Türk takımları 2’de 1 yaptı. Fenerbahçe evinde karşılaştığı İspanyol takımı Valencia Basket’i 118-88’lik skorla mağlup ederek üst üste 3, toplamda 18. galibiyetini elde etti. Sarı-lacivertliler ayrıca 24 isabetle Euroleague'de üçlük rekoru kırdı. Haberin Devamı Anadolu Efes ise Fransa deplasmanında ASVEL’e 84-80’lik skorla kaybetti ve 17. yenilgisini aldı. Yunan derbisinde de Başantrenör Ergin Ataman’ın takımı Panathinaikos konuk olduğu Olympiakos’a 71-65’lik skorla mağlup oldu. REAL MADRİD LİDERLİĞİNİ SÜRDÜRÜYOR Euroleague'de 29. haftanın ardından Real Madrid 23 galibiyetle liderliğini sürdürdü. Madrid'i 20 galibiyetli Barcelona ile 19 galibiyetli Monaco takip ediyor. Fenerbahçe 18 galibiyetle 6, Efes de 12 galibiyetle 14. sırada bulunuyor. Ligin son sırasında ise 5 galibiyeti olan ALBA Berlin yer aldı. Euroleague’de haftanın toplu sonuçları şöyle: Fenerbahçe Beko: 118 - Valencia Basket: 88 Olympiakos: 71 - Panathinaikos: 65 Kızılyıldız: 80 - Maccabi Tel Aviv: 84 ALBA Berlin: 82 - AS Monaco: 90 Barcelona: 94 - Partizan: 76 Baskonia: 88 - Olimpia Milano: 73 ASVEL: 84 - A. Efes: 80 Bayern Münih: 64 - Zalgiris Kaunas: 58 Virtus Bologna: 74 - Real Madrid: 89",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 62,964 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 4 tokens mean: 26.71 tokens max: 78 tokens	min: 183 tokens mean: 439.37 tokens max: 512 tokens	min: 1.0 mean: 1.0 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  İlk borsa yatırım fonun işlem görmeye başlamasının ardından Bitcoin tarihi zirvesine yaklaştı	By euronews Amerika Birleşik Devletleri'nde bitcoin tabanlı ilk borsa yatırım fonunun işlem görmeye başlamasının ardından kripto para birimi tarihi rekoruna yakın düzeylerde seyrediyor. REKLAM Amerika Birleşik Devletleri'nde bitcoin tabanlı ilk borsa yatırım fonunun işlem görmeye başlamasının ardından kripto para birimi tarihi rekoruna yakın düzeylerde seyrediyor. Uzmanların kurumsal yatırımcıların dijital varlıklara yönelmesini sağlayacağını belirttiği gelişme sonrası bitcoin çarşamba sabahı itibarıyla 64 bin dolar seviyelerinde bulunuyor. Salı geç saatlerde ise 64 bin 499 dolara kadar çıkan bitcoin 14 Nisan'da ulaştığı 64 bin 895 dolarlık tarihi zirveye çok yaklaştı. Dünyanın ikinci en değerli kripto para birimi Ethereum'un fiyatı ise yüzde 0,39'luk düşüşe rağmen 3 bin 861 dolarla 12 Mayıs'ta gördüğü 4 bin 380 dolarlık rekoruna hala yakın seviyede. Salı günü işlem görmeye başlayan ProShares'in Bitcoin Strategy ETF'si günü yüzde 2,59'luk artışla kapatırken 1 milyar dolarlık işlem hacmine ulaştı. Fakat analistler işlemlerin ağırlıklı olarak küçük yatırımcılar tarafından yüksek frekanslı alım satımlar olduğunu blok satışların henüz gelmemesinin kurumsal yatırımcıların şimdilik kenarda beklediğine işaret ettiğini vurguladı. Kripto para tabanlı borsa yatırım fonları daha önce Kanada ve Avrupa'da onaylanmıştı. VanEck ve Valkyrie Amerika Birleşik Devletleri'nde de yatırım fonu kurmak için çalışan fon yöneticileri arasındaydı.	1.0
  Becali, Cioflină şi Babiuc, condamnaţi “la secret”. Înalta Curte nu a motivat sentinţa nici la şapte luni de la pronunţare	Apărătorul latifundiarului Gigi Becali acuză faptul că o serie de judecători ai ICCJ care l-au condamnat la 3 ani de închisoare pe Becali, alături de fostul ministru al Apărării Victor Babiuc şi generalul Dumitru Cioflină – în dosarul schimbului de terenuri de la MApN – nu au avut certificate ORNISS care să le fi permis să studieze un volum secret din dosar, care conţinea documente clasificate. Lumea Justiţiei aduce noi amănunte despre acest caz. Conform unei decizii anterioare a ICCJ, dar şi a unei decizii a Curţii Constituţionale, o hotărâre emisă de un judecător fără certificare ORNISS într-o cauză cu documente clasificate este nulă de drept. Chiar dacă Înalta Curte refuză să spună numele judecătorilor care deţin certificate ORNISS, care să le permită să aibă acces la documente clasificate, obstrucţionând astfel aflarea adevărului despre acest caz, un lucru este cert. A existat în “Dosarul MApN” un volum de documente clasificate, pe care se pare că unii judecători nu l-au văzut din pricina faptului că nu aveau certificat ORNISS. Acest dosar nu a fost prezentat apărării (avocaţilor lui Becali, Babiuc şi Cioflină) întrucât aceştia nu l-au văzut niciodată fizic, şi nici măcar nu a avut ştiinţă despre el, aflând despre acesta la luni de zile după condamnarea definitivă. Motivarea sentinţei nu este nici acum redactată, la peste şase luni de la pronunţare! Existenţa acestui volum secret este confirmată practic de Înalta Curte, care prin adresa 142/CDC din 25.09.2013 semnată de judecătorul Iulian Dragomir care deţine temporar, cu delegaţie, funcţia de şef al Structurii de securitate a ICCJ a ţinut să-l convingă pe avocatul Cătălin Dancu motivând că pentru: “judecătorii Lucia Rog, Ana Maria Dascălu şi Ştefan Pistol pentru dosarul 8300/1/2011, vă comunicăm că au fost întreprinse demersuri de obţinere a certificatului de securitate/autorizaţie de acces la informaţiile clasificate, în conformitate cu dispoziţiile legale, pentru asigurarea respectării actelor normative care reglementează protecţia informaţiilor clasificate”. Este clar că fără un dosar cu documente clasificate nu ar fi fost nevoie de efectuarea de demersuri pentru obţinerea certificatelor ORNISS. Au fost demersurile făcute înainte sau după soluţia de la fond? Ori dacă fondul s-a judecat fără certificate ORNISS, adică fără acces la toate piesele dosarului, este evident că soluţia trebuia casată în recurs, cu trimitere la rejudecare, nu doar pentru acest neajuns, dar şi pentru faptul că apărarea nu a avut acces la volumul de documente clasificate, ceea ce face ca procesul să fie unul inechitabil. Punct de vedere absolut logic susţinut de Lumea Justiţiei. Din informaţiile publicaţiei, în respectivul volum clasificat, s-ar afla o serie de acte emise de Consiliul Suprem de Apărare a Ţării (CSAT) care a aprobat în 1997, sub semnătura fostului preşedinte al României Emil Constantinescu, schimbul de terenuri dintre MApN (care deţinea un teren al unei unităţi din Băneasa) şi Gigi Becali (care deţinea un teren în comuna Ştefăneşti), documente care prezentau schimbul ca fiind de natură strategică, pentru construirea unei baze militare în parteneriat cu forţe NATO. Dacă aceste documente sunt precum ştim (Lumeajustitiei.ro a prezentat în ediţia din 24 mai 2013 un document al CSAT pe această temă) lucrurile sunt foarte grave din punct de vedere judiciar, întrucât asta înseamnă că nu MApN a luat în fapt decizia schimbului de terenuri, ci acest fapt a fost urmarea unei strategii militare naţionale, în care nu importa diferenţele de valoare de pe piaţa imobiliară a terenurilor, cum s-a căznit DNA să demonstreze ca fiind prejudiciu al unor fapte de corupţie, ci valoarea strategică a amplasamentului din punct de vedere militar, chestiune care excede penalului. Extrem de ciudat în acest caz, Înalta Curte refuză cu obstinaţie să comunice ce judecători au certificate ORNISS, în condiţiile în care o atare informaţie nu ar trebui să reprezinte un secret. De acelaşi zid de secretomanie s-a lovit şi avocatul Cătălin Dancu, aşa cum am arătat mai sus. Incredibil, dar adevărat, Gigi Becali stă azi în închisoare prin voinţa a doar trei judecători de la Înalta Curte ­ Livia Stanciu, Francisca Maria Vasile şi Ionuţ Mihai Matei ­ care au considerat că Gigi Becali, Victor Babiuc şi Dumitru Cioflină trebuie să fie condamnaţi! În acest dosar, Gigi Becali a fost achitat la fond, în 2012, de Completul de 3 al ICCJ format din judecătorii Lucia Tatiana Rog, Ana Maria Dascălu şi Ştefan Pistol. Ciudat, la recursul declarat de DNA, Completul de 5 condus de Livia Stanciu l-a condamnat la 3 ani de închisoare la data de 20 mai 2013. Cu scorul de 3 – 2. Livia Stanciu, Francisca Maria Vasile şi Ionuţ Mihai Matei au făcut decizia majoritară în sensul condamnării, în timp ce judecătorii Săndel Macavei şi Rodica Cosma au făcut opinie separată în sensul achitării. Deşi toţi cei opt judecători sunt egali în grad, de la aceeaşi instanţă, rezultă că cinci s-au pronunţat pentru achitare, în vreme ce doar trei pentru condamnare. Amintim că din 20 mai 2013 şi până în prezent, adică de circa şapte luni, Completul de 5 condus de Livia Stanciu, preşedinta ICCJ, nu a motivat decizia de condamnare a lui Gigi Becali.	1.0
  İsrail ordusu Batı Şeria'da zihinsel engelli bir Filistinliyi vurdu	İsrail askerleri El Halil'de bir Filistinliyi sıfır mesafeden vurarak yaraladı. Filistin Kızılayından yapılan açıklamaya göre kalçasından yaralanan 34 yaşındaki Filistinliye ilk tıbbi müdahale olay yerinde yapıldı. Yaralı Filistinli daha sonra tedavi için hastaneye kaldırıldı. Görgü tanıkları, gözaltına alınmak istenen Filistinlinin zihinsel engelli olduğunu aktardı. Sosyal medyaya yansıyan görüntülerde, İsrail askerinin gözaltına almak istediği bir Filistinliye sıfır mesafesinden ateş açtığı görülüyor.	1.0

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 4
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.0635	500	0.3266
0.1270	1000	0.2663
0.1906	1500	0.2423
0.2541	2000	0.2311
0.3176	2500	0.2131
0.3811	3000	0.2128
0.4447	3500	0.2126
0.5082	4000	0.1935
0.5717	4500	0.1679
0.6352	5000	0.1628
0.6988	5500	0.1573
0.7623	6000	0.1891
0.8258	6500	0.1733
0.8893	7000	0.1645
0.9529	7500	0.1554
1.0164	8000	0.1501
1.0799	8500	0.1082
1.1434	9000	0.1019
1.2070	9500	0.0878
1.2705	10000	0.0922
1.3340	10500	0.087
1.3975	11000	0.0946
1.4611	11500	0.0957
1.5246	12000	0.0793
1.5881	12500	0.0715
1.6516	13000	0.073
1.7152	13500	0.0745
1.7787	14000	0.0856
1.8422	14500	0.0805
1.9057	15000	0.0764
1.9693	15500	0.0745
2.0328	16000	0.0741
2.0963	16500	0.0487
2.1598	17000	0.0516
2.2234	17500	0.0456
2.2869	18000	0.052
2.3504	18500	0.041
2.4139	19000	0.0514
2.4774	19500	0.047
2.5410	20000	0.0359
2.6045	20500	0.0424
2.6680	21000	0.0408
2.7315	21500	0.04
2.7951	22000	0.0465
2.8586	22500	0.0418
2.9221	23000	0.0447
2.9856	23500	0.0458
3.0492	24000	0.0392
3.1127	24500	0.0281
3.1762	25000	0.0303
3.2397	25500	0.0315
3.3033	26000	0.0328
3.3668	26500	0.0291
3.4303	27000	0.0288
3.4938	27500	0.0319
3.5574	28000	0.026
3.6209	28500	0.0268
3.6844	29000	0.0281
3.7479	29500	0.0313
3.8115	30000	0.033
3.8750	30500	0.0283
3.9385	31000	0.0289

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.0.1
• Accelerate: 0.31.0
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}