qwen2-7b-instruct-trl-sft-ChartQA

This model is a fine-tuned version of Qwen/Qwen2-VL-7B-Instruct on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.2465

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0002
• train_batch_size: 1
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 8
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: constant
• lr_scheduler_warmup_ratio: 0.03
• num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss
2.6558	0.0283	10	2.1357
1.6719	0.0565	20	1.0837
0.7281	0.0848	30	0.4616
0.4803	0.1131	40	0.4224
0.4368	0.1413	50	0.3542
0.3313	0.1696	60	0.3046
0.317	0.1979	70	0.2986
0.3106	0.2261	80	0.2907
0.3115	0.2544	90	0.2879
0.3236	0.2827	100	0.2806
0.2803	0.3110	110	0.2726
0.3057	0.3392	120	0.2768
0.2897	0.3675	130	0.2780
0.2772	0.3958	140	0.2755
0.312	0.4240	150	0.2696
0.2554	0.4523	160	0.2674
0.2885	0.4806	170	0.2714
0.2831	0.5088	180	0.2699
0.2689	0.5371	190	0.2616
0.2819	0.5654	200	0.2607
0.2818	0.5936	210	0.2673
0.2931	0.6219	220	0.2595
0.2604	0.6502	230	0.2594
0.3043	0.6784	240	0.2561
0.2815	0.7067	250	0.2547
0.2914	0.7350	260	0.2552
0.2523	0.7633	270	0.2534
0.2589	0.7915	280	0.2540
0.2654	0.8198	290	0.2519
0.2917	0.8481	300	0.2490
0.2759	0.8763	310	0.2498
0.2766	0.9046	320	0.2474
0.2502	0.9329	330	0.2476
0.2738	0.9611	340	0.2462
0.2806	0.9894	350	0.2453
0.2648	1.0177	360	0.2465
0.2659	1.0459	370	0.2448
0.247	1.0742	380	0.2450
0.2692	1.1025	390	0.2488
0.2565	1.1307	400	0.2483
0.2264	1.1590	410	0.2470
0.2647	1.1873	420	0.2461
0.2438	1.2155	430	0.2485
0.2421	1.2438	440	0.2448
0.2693	1.2721	450	0.2432
0.262	1.3004	460	0.2426
0.2659	1.3286	470	0.2437
0.2375	1.3569	480	0.2479
0.2312	1.3852	490	0.2523
0.2503	1.4134	500	0.2511
0.2377	1.4417	510	0.2464
0.2385	1.4700	520	0.2432
0.2462	1.4982	530	0.2436
0.2462	1.5265	540	0.2464
0.2766	1.5548	550	0.2488
0.2407	1.5830	560	0.2474
0.2505	1.6113	570	0.2442
0.2291	1.6396	580	0.2456
0.244	1.6678	590	0.2444
0.2355	1.6961	600	0.2446
0.2458	1.7244	610	0.2452
0.2478	1.7527	620	0.2451
0.2687	1.7809	630	0.2450
0.2397	1.8092	640	0.2478
0.2436	1.8375	650	0.2478
0.2293	1.8657	660	0.2489
0.2341	1.8940	670	0.2476
0.2252	1.9223	680	0.2476
0.2505	1.9505	690	0.2522
0.2647	1.9788	700	0.2517
0.2428	2.0071	710	0.2495
0.2261	2.0353	720	0.2476
0.2466	2.0636	730	0.2460
0.222	2.0919	740	0.2453
0.2382	2.1201	750	0.2460
0.2122	2.1484	760	0.2473
0.2202	2.1767	770	0.2517
0.2157	2.2049	780	0.2495
0.2425	2.2332	790	0.2474
0.2547	2.2615	800	0.2477
0.2425	2.2898	810	0.2488
0.2337	2.3180	820	0.2497
0.2201	2.3463	830	0.2487
0.2251	2.3746	840	0.2467
0.2028	2.4028	850	0.2463
0.2221	2.4311	860	0.2480
0.2193	2.4594	870	0.2517
0.2076	2.4876	880	0.2595
0.2201	2.5159	890	0.2552
0.2303	2.5442	900	0.2536
0.2156	2.5724	910	0.2509
0.216	2.6007	920	0.2501
0.2084	2.6290	930	0.2516
0.2157	2.6572	940	0.2448
0.2214	2.6855	950	0.2450
0.2237	2.7138	960	0.2456
0.2041	2.7420	970	0.2501
0.1986	2.7703	980	0.2537
0.2238	2.7986	990	0.2531
0.2178	2.8269	1000	0.2512
0.2172	2.8551	1010	0.2477
0.2221	2.8834	1020	0.2554
0.2212	2.9117	1030	0.2497
0.2039	2.9399	1040	0.2478
0.2266	2.9682	1050	0.2465

Framework versions

• PEFT 0.13.0
• Transformers 4.45.1
• Pytorch 2.4.0+cu121
• Datasets 3.0.1
• Tokenizers 0.20.1