SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a SetFit model trained on the ayakiri/wolo-app-categories-to-description dataset that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 5 classes
Training Dataset: ayakiri/wolo-app-categories-to-description

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
Kultura	'Dołącz do naszej rodziny teatru społecznościowego! Poszukujemy pasjonatów, którzy chcą pomóc w kreowaniu fascynujących przedstawień i dotrzeć do naszej publiczności na głębszym poziomie.' 'The "Creative Minds Foundation" is seeking volunteers for its "Artistic Explorers" project. The initiative aims to bring art and culture to local communities through interactive workshops and exhibitions. We are looking for individuals with a passion for the arts, excellent communication skills, and a willingness to inspire creativity. Volunteers will be responsible for organizing art sessions, assisting in exhibitions, and fostering a love for artistic expression in the community.' 'Przyłącz się do naszego zespołu jako wolontariusz w projekcie dokumentalnym. Tworzymy historię i chcielibyśmy, abyś pomógł nam uwiecznić ją na taśmie. To okazja do wyrażenia siebie i wpisania swojego śladu w historii kultury.'
Ekologia	'Chcielibyśmy, abyś dołączył jako wolontariusz do naszego projektu badawczego nad zachowaniem dzikich pszczół. Wymagamy od kandydatów zainteresowania tematyką pszczół, zdolności do zbierania danych terenowych oraz umiejętności komunikacji zespołowej. Jako wolontariusz będziesz miał okazję uczestniczyć w badaniach terenowych, poznawania tajemnic pszczelich społeczności i dowiadywania się, jak możemy chronić ich środowisko. Twoja praca przyczyni się do zrozumienia i ochrony tych cennych zapylaczy, które są kluczowe dla naszej globalnej żywności. Razem możemy działać na rzecz ich przetrwania i zachowania.' 'Stowarzyszenie "EkoEdukacja" poszukuje wolontariuszy do projektu "Mistrzowie Recyklingu". Inicjatywa ta ma na celu edukację i wsparcie społeczności lokalnej w zakresie zrównoważonego gospodarowania odpadami. Wolonatriusze będą rejestrowac chętnych uczestników projektu.' 'Dołącz do nas jako wolontariusz ds. edukacji ekologicznej i staniesz się źródłem inspiracji dla innych. Twój wkład w prowadzenie warsztatów i prelekcji będzie promować zrównoważony tryb życia i ochronę przyrody.'
Sport	'Dołącz do nas jako wolontariusz na zajęciach fitness w parku. Pomagajmy naszym mieszkańcom w utrzymaniu zdrowia i kondycji fizycznej, organizując treningi dostępne dla wszystkich.' 'Dołącz do nas jako wolontariusz w projekcie dla młodzieży, który ma na celu promowanie aktywności fizycznej na świeżym powietrzu. Razem będziemy kształtować programy zajęć, organizować wyprawy i tworzyć przestrzenie, które inspirują młodych ludzi do aktywnego życia.' 'Dołącz do naszej drużyny wolontariuszy, którzy wspierają organizację lokalnych wydarzeń sportowych! Jako wolontariusz będziesz odpowiedzialny za przyjmowanie zgłoszeń, rejestrację uczestników, kontrolę dostępu, zarządzanie stanowiskami informacyjnymi i pomoc w zabezpieczeniach medycznych.'
Pomoc	'Chcielibyśmy, abyś dołączył jako wolontariusz do programu wsparcia rodzin z dziećmi w trudnej sytuacji życiowej. Twój zakres obowiązków obejmuje pomoc w rozwiązywaniu konfliktów, udzielanie wsparcia w procesie resocjalizacji i tworzenie bezpiecznego otoczenia dla dzieci.' 'Poszukujemy wolontariuszy do pracy w schroniskach dla bezdomnych zwierząt. Twój udział polega na opiece nad zwierzętami, ich karmieniu, czyszczeniu klatek oraz organizowaniu adopcji.' 'Łączy nas wspólna idea aktywizacji osób niepełnosprawnych. Zarażamy pasją do pomagania, a każdy z nas ma w sobie super moc, którą dzieli się z innymi! \n\nChcesz aktywnie działać na rzecz osób niepełnosprawnych? Weź udział w Warsztacie Aktywnej Rehabilitacji! Wpadnij na nasze co miesięczne zajęcia sportowe dla dzieci lub dorosłych! \n\nChcesz wiedzieć więcej?\n\nZapraszamy Cię ciepło do naszego Biura Regionalnego przy ul. Kubusia Puchatka 4 w Gdańsku. Wypijemy wspólnie kawę i opowiemy Ci jak działamy. Gwarantujemy mnóstwo pozytywnej energii! \n\nNie czekaj na impuls… Działaj z nami! Ostrzegamy… to uzależnia :)'
Edukacja	'Chcielibyśmy, abyś dołączył jako wolontariusz do projektu wspierania osób w nauce i rozwoju osobistym. Wymagamy od kandydatów cierpliwości, empatii oraz umiejętności słuchania. Jako wolontariusz będziesz miał/mogła okazję udzielać pomocy w nauce, rozmawiać z osobami potrzebującymi wsparcia i inspirować je do osiągania celów. Twoja praca może pomóc wielu ludziom w pokonywaniu trudności i rozwijaniu swojego potencjału.' 'Dołącz do nas jako wolontariusz ds. edukacji cyfrowej i stań się przewodnikiem w świecie nowoczesnych technologii. Wymagamy od kandydatów umiejętności obsługi komputera, chęci do uczenia innych oraz zdolności do tworzenia treści edukacyjnych. Jako wolontariusz będziesz miał/mogła okazję prowadzić szkolenia z zakresu obsługi komputera, korzystania z internetu czy tworzenia stron internetowych. Razem możemy pomóc innym w zdobywaniu cyfrowej kompetencji i rozwijaniu się w erze technologicznej.' 'Dołącz do nas jako wolontariusz ds. edukacji zdrowotnej i razem z nami propaguj zdrowy styl życia. Wymagamy od kandydatów zainteresowania tematyką zdrowia, umiejętności prowadzenia prelekcji oraz chęci do promowania świadomych wyborów. Jako wolontariusz będziesz miał/mogła okazję prowadzić warsztaty dotyczące zdrowego odżywiania, aktywności fizycznej i profilaktyki zdrowotnej. Razem możemy pomóc innym prowadzić zdrowszy tryb życia.'

Evaluation

Metrics

Label	Accuracy
all	0.9

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("ayakiri/wolo-app-categories-setfit-model")
# Run inference
preds = model("Organizacja \"Sport dla Wszystkich\" poszukuje wolontariuszy do programu \"Aktywni Razem\". Inicjatywa ta skierowana jest na promowanie aktywności fizycznej wśród osób z różnymi umiejętnościami. Poszukujemy osób z pasją do sportu, zdolnościami motywacyjnymi oraz chęcią wspierania innych w aktywnym trybie życia. Wolontariusze będą zaangażowani w organizację treningów, wydarzeń sportowych oraz tworzenie przyjaznej atmosfery.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	19	46.8618	177

Label	Training Sample Count
Edukacja	29
Ekologia	36
Kultura	25
Pomoc	31
Sport	31

Training Hyperparameters

batch_size: (8, 8)
num_epochs: (1, 1)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 20
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0013	1	0.1682	-
0.0658	50	0.0664	-
0.1316	100	0.0306	-
0.1974	150	0.004	-
0.2632	200	0.0169	-
0.3289	250	0.0017	-
0.3947	300	0.0009	-
0.4605	350	0.001	-
0.5263	400	0.0007	-
0.5921	450	0.0004	-
0.6579	500	0.0008	-
0.7237	550	0.0003	-
0.7895	600	0.0002	-
0.8553	650	0.0002	-
0.9211	700	0.0006	-
0.9868	750	0.0007	-

Framework Versions

Python: 3.10.12
SetFit: 1.0.3
Sentence Transformers: 2.3.1
Transformers: 4.35.2
PyTorch: 2.1.0+cu121
Datasets: 2.17.0
Tokenizers: 0.15.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

ayakiri
/

wolo-app-categories-setfit-model