arabert_cross_relevance_task5_fold1

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1600
• Qwk: 0.0355
• Mse: 0.1600

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1333	2	1.3976	-0.0095	1.3976
No log	0.2667	4	0.2802	0.0303	0.2802
No log	0.4	6	0.1716	0.0958	0.1716
No log	0.5333	8	0.1264	0.0844	0.1264
No log	0.6667	10	0.3227	0.0436	0.3227
No log	0.8	12	0.4525	0.0566	0.4525
No log	0.9333	14	0.2745	0.0361	0.2745
No log	1.0667	16	0.1334	0.0270	0.1334
No log	1.2	18	0.1243	0.0270	0.1243
No log	1.3333	20	0.1332	0.0338	0.1332
No log	1.4667	22	0.1989	0.0254	0.1989
No log	1.6	24	0.2524	0.0281	0.2524
No log	1.7333	26	0.2192	0.0339	0.2192
No log	1.8667	28	0.1883	0.0339	0.1883
No log	2.0	30	0.1407	0.0511	0.1407
No log	2.1333	32	0.1285	0.0493	0.1285
No log	2.2667	34	0.1272	0.0386	0.1272
No log	2.4	36	0.1551	0.0339	0.1551
No log	2.5333	38	0.1968	0.0339	0.1968
No log	2.6667	40	0.1958	0.0339	0.1958
No log	2.8	42	0.1776	0.0339	0.1776
No log	2.9333	44	0.1898	0.0339	0.1898
No log	3.0667	46	0.1824	0.0339	0.1824
No log	3.2	48	0.1597	0.0254	0.1597
No log	3.3333	50	0.1434	0.0254	0.1434
No log	3.4667	52	0.1327	0.0342	0.1327
No log	3.6	54	0.1413	0.0290	0.1413
No log	3.7333	56	0.1731	0.0339	0.1731
No log	3.8667	58	0.1817	0.0339	0.1817
No log	4.0	60	0.1522	0.0389	0.1522
No log	4.1333	62	0.1305	0.0661	0.1305
No log	4.2667	64	0.1284	0.0630	0.1284
No log	4.4	66	0.1355	0.0393	0.1355
No log	4.5333	68	0.1604	0.0339	0.1604
No log	4.6667	70	0.2002	0.0339	0.2002
No log	4.8	72	0.1955	0.0339	0.1955
No log	4.9333	74	0.1658	0.0339	0.1658
No log	5.0667	76	0.1489	0.0339	0.1489
No log	5.2	78	0.1364	0.0307	0.1364
No log	5.3333	80	0.1306	0.0359	0.1306
No log	5.4667	82	0.1357	0.0307	0.1357
No log	5.6	84	0.1533	0.0339	0.1533
No log	5.7333	86	0.1769	0.0339	0.1769
No log	5.8667	88	0.1814	0.0339	0.1814
No log	6.0	90	0.1634	0.0273	0.1634
No log	6.1333	92	0.1427	0.0273	0.1427
No log	6.2667	94	0.1345	0.0324	0.1345
No log	6.4	96	0.1360	0.0377	0.1360
No log	6.5333	98	0.1445	0.0307	0.1445
No log	6.6667	100	0.1592	0.0290	0.1592
No log	6.8	102	0.1809	0.0355	0.1809
No log	6.9333	104	0.1826	0.0254	0.1826
No log	7.0667	106	0.1828	0.0254	0.1828
No log	7.2	108	0.1811	0.0254	0.1811
No log	7.3333	110	0.1729	0.0270	0.1729
No log	7.4667	112	0.1676	0.0290	0.1676
No log	7.6	114	0.1697	0.0273	0.1697
No log	7.7333	116	0.1696	0.0254	0.1696
No log	7.8667	118	0.1615	0.0254	0.1615
No log	8.0	120	0.1570	0.0304	0.1570
No log	8.1333	122	0.1567	0.0304	0.1567
No log	8.2667	124	0.1631	0.0287	0.1631
No log	8.4	126	0.1702	0.0270	0.1702
No log	8.5333	128	0.1774	0.0355	0.1774
No log	8.6667	130	0.1807	0.0355	0.1807
No log	8.8	132	0.1787	0.0372	0.1787
No log	8.9333	134	0.1755	0.0389	0.1755
No log	9.0667	136	0.1743	0.0406	0.1743
No log	9.2	138	0.1698	0.0406	0.1698
No log	9.3333	140	0.1640	0.0423	0.1640
No log	9.4667	142	0.1601	0.0441	0.1601
No log	9.6	144	0.1589	0.0441	0.1589
No log	9.7333	146	0.1591	0.0355	0.1591
No log	9.8667	148	0.1596	0.0355	0.1596
No log	10.0	150	0.1600	0.0355	0.1600

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1