SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 13 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'프로랑스 32호 입술펜슬 오토 립라이너 5W525AC824 옵션없음 주도매' '로페스 오토 립라이너 펜슬 32호 옵션없음 북가무역' '313764 BOBBI 브라운 립 라이너 COCOA 14 옵션없음 에스비 컴퍼니'
7.0	'에스티 로더 2024 홀리데이 블록버스터 세트 (11종 세트 & 파우치 + 홀리데이 쇼핑백 증정) 에스티 로더' '에스쁘아 아이 코어 팔레트 9g + 톤페어링 리퀴드 치크 8ml, 2종 SET 에스쁘아 본사직영샵' '[3개세트] 글래스팅 컬러 글로스 4g+글래스팅 멜팅 밤 3.5g+미니 쥬시 래스팅 틴트 2g 3종 세트 롬앤'
4.0	'[입생로랑] NEW 베르니 아 레브르 바이닐 크림 416 싸이키델릭 칠리 주식회사 인터파크커머스' '맥 파우더 키스 리퀴드 립컬러 5ml 어 리틀 템드 옵션없음 PDValues LLC' '베르니 아 레브르 바이닐 크림 8가지 색상 YSL610 주식회사 스타일가든이'
5.0	'페리페라 잉크 블랙 카라 풀볼륨 컬링 (주)금용주상사' '(유통기한 임박)투쿨포스쿨 아트 클래스 매지컬 픽싱 마스카라 7g 2호 다크브라운(24.04까지) 리앤햇' '데자뷰 파이버윅 울트라롱 마스카라 7.2g 내추럴브라운 피아스인터코스멕스한국 주식회사'
2.0	'페리페라 잉크 무드 매트 스틱 (색상선택) 06 모브병유발 (주)글로벌세림' '[아워글래스](신세계 타임스퀘어점패션관)팬텀 볼류마이징 글로시 밤 트레이스 주식회사 에스에스지닷컴' '입생로랑 루쥬 볼륍떼 캔디 글레이즈 3.2g 4 누드 플레져 주식회사 푸른거리'
12.0	'페리페라 잉크 브이 쉐딩 9.5g 2호카카오브라운 포라이프(4LIFE)' '쉬글램 루나 글로우 하이라이터 1) Tea Cake 옐로우브릭로드' '컬러그램 입체 창조 쉐딩 스틱 1.3g 3종택일 01호 웜톤 뷰테크'
0.0	'로라메르시에 립 그레이스 Mel테드 Sugar B 풀 사이즈 교수님선물 옵션없음 남인터내셔널' '삐아오버글레이즈 삐아체리당 슈가시럽광 체리당 와우마트' '맑은 색감 립 글로스 5g PK103 베이비핑크 옵션없음 송승찬'
9.0	'스머징 트임 아이라이너 0.12g (3colors) 1호 헤이즈 유럽피아' '미샤 비비드 픽스 마커 펜 라이너 0.6g (딥브라운) 옵션없음 제이앤비' '머지 더 퍼스트 슬림 젤 아이라이너 0.05g 옵션없음 다사다 유한책임회사'
8.0	'마샬리아 마이 온리 세럼 옵션없음 제이뷰티' '(2+1) GEMSHO 젬소 더블이펙트 영양마스카라X2 옵션없음 주식회사 젬소(GEMSHO)' '래쉬앤브로우 코팅에센스5ml 속눈썹 영양제 옵션없음 리얼뷰티'
3.0	'Burt’s Bees 홀리데이 선물 세트 옵션없음 샵인프랑' '[라부르켓] 립 밤 아몬드/코코넛 14g 화이트_F (주)신세계인터내셔날' '버츠비 비즈왁스 립밤 택4 종이케이스포함 종류_허니4개 제이마켓'
11.0	'미샤 트리플 섀도우 2g (레이디 밀크티) 옵션없음 제이앤비' '노베브 언더 아이 마스터 0.8g 08호 코랄스칼렛 캐치헬스' '맥 프로 롱웨어 페인트팟 아이섀도우 5g 부지 옵션없음 원라이브쇼핑'
6.0	'백화점정품) 크리니크 치크 팝 발레리나팝 3.5g 피치팝 제이 컴퍼니' '누즈 무스 케어 치크 16ml 1021814 옵션없음 굿데이' '힌스 트루 디멘션 래디언스 밤 10g(라이트) 옵션없음 옐로우로켓'
10.0	'바비브라운 퍼펙틀리 디파인드 롱웨어 브라우 펜슬 0.33g 옵션없음 안느의집' '크리니크 브로우 쉐이퍼 3.1g 01 토우페 에르에르샵' '맥 아이 브로우 스타일러 0.9g 1021649 페니 배스테인'

Evaluation

Metrics

Label	Accuracy
all	0.7552

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bt6_test")
# Run inference
preds = model("에뛰드 컬픽스 마스카라 8g 그레이 브라운 버프샵")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	9.3296	20

Label	Training Sample Count
0.0	16
1.0	18
2.0	19
3.0	24
4.0	19
5.0	20
6.0	21
7.0	15
8.0	21
9.0	22
10.0	31
11.0	22
12.0	19

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (50, 50)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 60
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0312	1	0.4833	-
1.5625	50	0.3686	-
3.125	100	0.0991	-
4.6875	150	0.0361	-
6.25	200	0.0224	-
7.8125	250	0.0132	-
9.375	300	0.0102	-
10.9375	350	0.0069	-
12.5	400	0.0012	-
14.0625	450	0.0002	-
15.625	500	0.0002	-
17.1875	550	0.0002	-
18.75	600	0.0001	-
20.3125	650	0.0001	-
21.875	700	0.0001	-
23.4375	750	0.0001	-
25.0	800	0.0001	-
26.5625	850	0.0001	-
28.125	900	0.0001	-
29.6875	950	0.0001	-
31.25	1000	0.0001	-
32.8125	1050	0.0001	-
34.375	1100	0.0001	-
35.9375	1150	0.0001	-
37.5	1200	0.0001	-
39.0625	1250	0.0001	-
40.625	1300	0.0001	-
42.1875	1350	0.0001	-
43.75	1400	0.0001	-
45.3125	1450	0.0001	-
46.875	1500	0.0001	-
48.4375	1550	0.0001	-
50.0	1600	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bt6_test