SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 13 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
13.0	'엠도씨 릴리프 폼클렌징 150g 옵션없음 라봉' '홀츠포맨 남자클렌징폼 500ml 옵션없음 (주)안나홀츠' '[당일출고] 랩시리즈 올인원 멀티 액션 훼이스 워시 100ml 옵션없음 제이에이치컴퍼니'
12.0	'홀츠포맨 옴므 남성 남자 화장품 주름개선 보습 영양크림 100ml 홀츠포맨' '정품 위너크림파워 특허받은남성크림벌침 옵션없음 큐샵몰' '엠도씨 화이트닝 톤 업 크림 50ml 엠도씨'
6.0	'[용량 +25%] 니베아 맨 프로텍트 앤 케어 쉐이빙폼 면도크림 250ml X 3개 센서티브 쉐이빙 폼 200ml X 3개 (주)에스티아이그룹' '쉐이브젤 면도 폼 크림 영국 킹오브쉐이브 센서티브 175ml 04 센서티브 쉐이브 세럼 50ml 크리스탈링크' '쉐이빙폼 저자극 면도크림 200ml 3개+3중날 면도기 3개 [BB3] 오리지널2개+센서티브2개 에스세이지 주식회사'
0.0	'사타구니 고환 가려움 곰팡이균 습진 백선 완선 연고 옵션없음 글로리아' '사타구니 땀냄새케어 스프레이휴대 남성청결제 세정제 옵션없음 담고 마켓' '서라봉스프레이 옵션없음 주식회사 햇살메디컬'
5.0	'설화수 맨 본윤 남자 선크림 썬크림 선물 옴므 올인원 비비 톤업 설화수본윤' '달바 비건 맨즈 쿨링 밸런싱 선크림 50ml(SPF50+) 달바 공식스토어' '랩시리즈 파워 프로텍터 100ml SPF50 옵션없음 메가랜드'
2.0	'392755 NEW로맨틱 에멀전 130ml 옵션없음 제이에프무역' '[LG생활건강]피지오겔 DMT 포맨 플루이드100ml x 1개 옵션없음 에스케이스토아주식회사' '보닌 더 스타일 에멀전 135ml 더 스타일 에멀전 135ml 보닌 옵션없음 우리유통상사'
3.0	'얼음 아이스 남성 데일리 얼굴팩 마스크팩 시트 Gosun' '퓨어덤 릴랙스 하이드라 남성용 마스크 1매 퓨어덤' '릴리프 맨테라피 마스크 18ml x4 엠도씨코리아'
8.0	'[당일출고] 보닌 더 캐릭터 블랙 시그니처 토너 140ml 옵션없음 현영' '비오템 옴므 아쿠아파워 토너 200ml/남성스킨 젤타입/ 국내발송 정품 리퍼브상품(새상품이나 용기 스티커 들뜸) 주식회사 오즈비엔에이치' '크리니크 포 맨 엑스폴리에이팅 토닉 200ml 옵션없음 이엘씨에이한국 (유)'
10.0	'크리니크 포 맨 맥시멈 하이드레이터 액티베이티드 워터-젤 컨센트레이트 48ml 옵션없음 에이치코리아' '설화수 본윤 에센스 140ml 유통기한 27년 설화수' 'MISSHA 맨즈 큐어 앰플 에센스 150ml 미샤'
9.0	'클라랑스 맨 에너자이징 아이 젤 15ml 클라랑스' '랩시리즈 데일리 레스큐 에너자이징 아이 트리트먼트 15ml 랩시리즈' '셀맨 셀울트라 아이 세럼 엑스티 15ml 셀맨'
11.0	'우르오스 스킨 밀크 중건성 200ml 옵션없음 유니온' '아이디얼포맨 퍼펙트올인원밀크 150ml + 100ml 남성용 아이디얼포맨 퍼펙트올인원밀크 150ml + 1 쇼핑천국이야기' 'BRTC 파워 옴므 올인원 솔루션 200ml 동의 린앤몰'
1.0	'꽃을든남자 이모션 스페셜세트(로션2p+스킨1p) 옵션없음 테디코스' '(백화점 상품) 레드옥스남성 스페셜 2종 (W2B7B02) 1929235 기본상품 머스트겟' '보닌 더 캐릭터 2종 기획세트 옵션없음 디제이커머스(DJ커머스)'
4.0	'랩시리즈 인스턴트 픽스 BB 틴티트 50ml 랩시리즈' '오브제 매직 타투 브로우 남자 눈썹 정리 그리기 옵션없음 포리프' '미프 미남크림 남자 썬 비비 커버 크림 50ml 미백 BB 잡티 커버 자외선 차단 미프'

Evaluation

Metrics

Label	Accuracy
all	0.6473

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bt0_test")
# Run inference
preds = model("니베아 맨 프레시 킥 쉐이빙 폼 200ml 옵션없음 세계로마트")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	8.8913	19

Label	Training Sample Count
0.0	12
1.0	25
2.0	20
3.0	19
4.0	17
5.0	18
6.0	22
8.0	19
9.0	10
10.0	11
11.0	22
12.0	18
13.0	17

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (50, 50)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 60
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0370	1	0.4919	-
1.8519	50	0.3712	-
3.7037	100	0.0915	-
5.5556	150	0.0351	-
7.4074	200	0.0122	-
9.2593	250	0.007	-
11.1111	300	0.0006	-
12.9630	350	0.0002	-
14.8148	400	0.0002	-
16.6667	450	0.0002	-
18.5185	500	0.0001	-
20.3704	550	0.0001	-
22.2222	600	0.0001	-
24.0741	650	0.0001	-
25.9259	700	0.0001	-
27.7778	750	0.0001	-
29.6296	800	0.0001	-
31.4815	850	0.0001	-
33.3333	900	0.0001	-
35.1852	950	0.0001	-
37.0370	1000	0.0001	-
38.8889	1050	0.0001	-
40.7407	1100	0.0001	-
42.5926	1150	0.0001	-
44.4444	1200	0.0001	-
46.2963	1250	0.0001	-
48.1481	1300	0.0001	-
50.0	1350	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bt0_test