denis-gordeev/reranker_dialog_items_biencoder_rubert-tiny-turbo-5

SentenceTransformer based on sergeyzh/rubert-tiny-turbo

This is a sentence-transformers model finetuned from sergeyzh/rubert-tiny-turbo. It maps sentences & paragraphs to a 312-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sergeyzh/rubert-tiny-turbo
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 312 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 312, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("denis-gordeev/reranker_dialog_items_biencoder_rubert-tiny-turbo-5")
# Run inference
sentences = [
    'расскажи о камерах смартфонов',
    "{'long_web_name': 'Смартфон Honor 200 Lite 8/256GB голубой (5109BFBH)', 'price': 21290.0, 'description': '', 'rating': 4.83, 'review_count': 17}",
    "{'long_web_name': 'Накладка силикон для Xiaomi Redmi 5 (оригинальный) прозрачный', 'price': 599.0, 'url': 'https://megamarket.ru/catalog/details/nakladka-silikon-dlya-xiaomi-redmi-5-originalnyy-prozrachnyy-100057155753/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-24/417/121/310/276/47/100057155753b0.jpg', 'id': '100057155753_102580', 'description': '', 'rating': 0.0, 'review_count': 0}",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 312]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

• Dataset: item-classification
• Evaluated with BinaryClassificationEvaluator

Metric	Value
cosine_accuracy	0.9843
cosine_accuracy_threshold	0.7253
cosine_f1	0.9494
cosine_f1_threshold	0.7253
cosine_precision	0.9298
cosine_recall	0.9698
cosine_ap	0.9839

Training Details

Training Dataset

Unnamed Dataset

• Size: 48,868 training samples
• Columns: anchor, text, and label
• Approximate statistics based on the first 1000 samples:

  	anchor	text	label
  type	string	string	int
  details	min: 5 tokens mean: 17.78 tokens max: 118 tokens	min: 57 tokens mean: 318.85 tokens max: 1182 tokens	0: ~85.50% 1: ~14.50%

• Samples:

  anchor	text	label
  помоги подобрать внешний аккумулятор, чтобы получить сбербонусы покажи товары	{'long_web_name': 'Чехол для Xiaomi Battery Case 10000mAh ver.2 Orange', 'price': 195.0, 'url': 'https://megamarket.ru/catalog/details/xiaomi-battery-case-10000mah-ver2-orange-100043272924/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/202/591/442/682/916/55/100043272924b0.jpg', 'id': '100043272924', 'description': '', 'rating': 0.0, 'review_count': 0}	0
  Здравствуйте. Мне нужен недорогой смартфон на Android, чтобы можно было легко звонить и писать сообщения внукам. Можете что-то посоветовать?	{'long_web_name': 'Чистящее средство Topperr 3037', 'price': 417.0, 'url': 'https://megamarket.ru/catalog/details/chistyashee-sredstvo-dlya-kofemashin-topperr-3037-100022709014/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-16/699/502/081/231/16/100022709014b0.jpg', 'id': '100022709014', 'description': '', 'rating': 4.94, 'review_count': 222}	0
  Samsung Galaxy S24	{'long_web_name': 'Поворотное металлическое крепление на руль мотоцикла велосипеда для экшн камеры GoPro', 'price': 950.0, 'url': 'https://megamarket.ru/catalog/details/kreplenie-nobrand-00000659-600016461568/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/-66/144/792/042/153/1/600016461568b0.png', 'id': '600016461568_81689', 'description': ' Это надежный металлический крепеж для рулей и круглых труб небольшого диаметра, до 33мм. Крепление оснащено стандартным U-образным креплением, которое совместимо с экшн камерами GoPro, SjCam, Xiaomi и иных других оснащенных подобным креплением. Есть возможность поворота камеры вокруг своей оси на 360 градусов с фиксацией. Благодаря резиновым уплотнителям внутри, крепление надежно держится и не провернется вокруг трубы. Крепление затягивается шестигранником, который идет в комплекте. Также в комплекте идет металлический болт для закрепления экшн камеры в U-образном креплении. ', 'rating': 0.0, 'review_count': ...	0

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 6,108 evaluation samples
• Columns: anchor, text, and label
• Approximate statistics based on the first 1000 samples:

  	anchor	text	label
  type	string	string	int
  details	min: 5 tokens mean: 20.51 tokens max: 1716 tokens	min: 53 tokens mean: 326.79 tokens max: 1182 tokens	0: ~84.50% 1: ~15.50%

• Samples:

  anchor	text	label
  Привет, помоги подобрать ноутбук, на что обратить внимание? Диагональ дисплея хочу 15 оеративка от 16гб ссд хотя бы 0.5 тб Порекомендуй конкртные товары	{'long_web_name': 'Ноутбук Azerty RB-1550 Silver (120-0513)', 'price': 25470.0, 'description': 'Ноутбук Azerty RB-1550 обладает достаточной производительностью для решения учебных задач, таких как работа с документами, просмотр веб-страниц, использование электронных учебников и презентаций. Конечно, ведь именно для этого он и предназначен, являясь представителем серии моделей для учёбы Story. - Корпус ноутбука выполнен из твердого полимерного пластика, придающего легкости и прочности. Этот материал обладает высокой устойчивостью к механическим воздействиям, царапинам и потёртостям, а также снижает вес устройства, что делает его удобным для переноски. - Экран ноутбука имеет размер 15,6 дюйма выполнен по технологии IPS, которая обеспечивает хорошее качество изображения, с высокой контрастностью и широким углом обзора. Разрешение экрана составляет 1920x1080 пикселей, что обеспечивает высокую детальность. Антибликовое покрытие экрана помогает снизить нагрузку на зрение при работе в ярко ос...	0
  расскажи как выбрать смартфон игровой расскажи о разнице между андроидом и айос подробнее расскажи подробнее об операционной системе	{'long_web_name': 'Смартфон Honor Honor 90 12/512GB изумрудный зеленый (5109ATRU)', 'price': 33990.0, 'description': '', 'rating': 4.73, 'review_count': 37}	1
  Найди самсунг белого цвета в республике башкортостан. Меня зовут Алексей, кстати И до 50к с 8 гб оперативы	{'long_web_name': 'Защитное стекло Remax Medicine Glass GL-27 3D для iPhone 15, черная рамка 0,3 мм', 'price': 247.0, 'url': 'https://megamarket.ru/catalog/details/zashitnoe-steklo-remax-medicine-glass-gl-27-3d-dlya-iphone-15-chernaya-ramka-03-mm-600013601251/', 'image_link': 'https://main-cdn.sbermegamarket.ru/mid9/hlr-system/811/370/081/107/016/600013601251b0.jpeg', 'id': '600013601251', 'description': 'Защитное стекло для Apple iPhone 15/ Айфон 15, противоударное стекло от сколов и царапин на экран айфона Защитное стекло повторяет контуры экрана на 100% и закрывает его полностью от края до края, не оставляя зазоров. Благодаря наличию цветной рамки оно полностью копирует дизайн лицевой панели телефона и не портит его внешний вид. Комплектация Защитное стекло для iPhone 15/ Айфон 15 Спиртовая салфетка Салфетка из микрофибры Стикеры для удаления пыли Инструкция по наклеиванию Надежная упаковка', 'rating': 4.9, 'review_count': 229}	0

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	item-classification_cosine_ap
0	0	-	0.0241	0.3377
0.0164	100	0.0182	-	-
0.0327	200	0.0137	-	-
0.0409	250	-	0.0128	0.4945
0.0491	300	0.0135	-	-
0.0655	400	0.0132	-	-
0.0818	500	0.0098	0.0092	0.7161
0.0982	600	0.0084	-	-
0.1146	700	0.0084	-	-
0.1228	750	-	0.0059	0.7971
0.1310	800	0.0074	-	-
0.1473	900	0.0072	-	-
0.1637	1000	0.0059	0.0050	0.8319
0.1801	1100	0.0054	-	-
0.1964	1200	0.0052	-	-
0.2046	1250	-	0.0046	0.8753
0.2128	1300	0.0048	-	-
0.2292	1400	0.0046	-	-
0.2455	1500	0.0049	0.0043	0.9045
0.2619	1600	0.0049	-	-
0.2783	1700	0.0046	-	-
0.2865	1750	-	0.0039	0.9027
0.2946	1800	0.0046	-	-
0.3110	1900	0.0045	-	-
0.3274	2000	0.0046	0.0035	0.9127
0.3438	2100	0.0043	-	-
0.3601	2200	0.0049	-	-
0.3683	2250	-	0.0033	0.9300
0.3765	2300	0.0042	-	-
0.3929	2400	0.0032	-	-
0.4092	2500	0.0038	0.0031	0.9393
0.4256	2600	0.0034	-	-
0.4420	2700	0.0042	-	-
0.4502	2750	-	0.0030	0.9418
0.4583	2800	0.004	-	-
0.4747	2900	0.0042	-	-
0.4911	3000	0.004	0.0031	0.9551
0.5074	3100	0.0038	-	-
0.5238	3200	0.0041	-	-
0.5320	3250	-	0.0032	0.9451
0.5402	3300	0.0041	-	-
0.5566	3400	0.0037	-	-
0.5729	3500	0.0032	0.0028	0.9585
0.5893	3600	0.0032	-	-
0.6057	3700	0.003	-	-
0.6138	3750	-	0.0029	0.9531
0.6220	3800	0.0031	-	-
0.6384	3900	0.0027	-	-
0.6548	4000	0.0024	0.0027	0.9559
0.6711	4100	0.0031	-	-
0.6875	4200	0.0025	-	-
0.6957	4250	-	0.0027	0.9637
0.7039	4300	0.0032	-	-
0.7202	4400	0.0034	-	-
0.7366	4500	0.0026	0.0024	0.9679
0.7530	4600	0.0025	-	-
0.7694	4700	0.0034	-	-
0.7775	4750	-	0.0024	0.9699
0.7857	4800	0.0024	-	-
0.8021	4900	0.0034	-	-
0.8185	5000	0.0028	0.0025	0.9624
0.8348	5100	0.0036	-	-
0.8512	5200	0.0025	-	-
0.8594	5250	-	0.0024	0.9666
0.8676	5300	0.0034	-	-
0.8839	5400	0.0026	-	-
0.9003	5500	0.0032	0.0024	0.9673
0.9167	5600	0.0032	-	-
0.9330	5700	0.0043	-	-
0.9412	5750	-	0.0026	0.9662
0.9494	5800	0.0027	-	-
0.9658	5900	0.0024	-	-
0.9822	6000	0.0037	0.0025	0.9691
0.9985	6100	0.0028	-	-
1.0149	6200	0.0031	-	-
1.0231	6250	-	0.0023	0.9671
1.0313	6300	0.0029	-	-
1.0476	6400	0.003	-	-
1.0640	6500	0.0027	0.0021	0.9689
1.0804	6600	0.0033	-	-
1.0967	6700	0.0027	-	-
1.1049	6750	-	0.0021	0.9735
1.1131	6800	0.0029	-	-
1.1295	6900	0.0023	-	-
1.1459	7000	0.0026	0.0020	0.9733
1.1622	7100	0.0024	-	-
1.1786	7200	0.0029	-	-
1.1868	7250	-	0.0021	0.9711
1.1950	7300	0.0023	-	-
1.2113	7400	0.0024	-	-
1.2277	7500	0.0031	0.0021	0.9753
1.2441	7600	0.0026	-	-
1.2604	7700	0.0019	-	-
1.2686	7750	-	0.0020	0.9713
1.2768	7800	0.0029	-	-
1.2932	7900	0.0022	-	-
1.3095	8000	0.0032	0.0020	0.9753
1.3259	8100	0.0021	-	-
1.3423	8200	0.002	-	-
1.3505	8250	-	0.0020	0.9744
1.3587	8300	0.003	-	-
1.3750	8400	0.0027	-	-
1.3914	8500	0.0019	0.0020	0.9752
1.4078	8600	0.0022	-	-
1.4241	8700	0.002	-	-
1.4323	8750	-	0.0020	0.9742
1.4405	8800	0.0021	-	-
1.4569	8900	0.0023	-	-
1.4732	9000	0.0026	0.0019	0.9749
1.4896	9100	0.0018	-	-
1.5060	9200	0.0023	-	-
1.5142	9250	-	0.0019	0.9753
1.5223	9300	0.0026	-	-
1.5387	9400	0.0022	-	-
1.5551	9500	0.0027	0.0020	0.9772
1.5715	9600	0.002	-	-
1.5878	9700	0.0019	-	-
1.5960	9750	-	0.0020	0.9776
1.6042	9800	0.0018	-	-
1.6206	9900	0.0019	-	-
1.6369	10000	0.0016	0.0020	0.9775
1.6533	10100	0.0017	-	-
1.6697	10200	0.0017	-	-
1.6779	10250	-	0.0019	0.9766
1.6860	10300	0.0014	-	-
1.7024	10400	0.0019	-	-
1.7188	10500	0.0023	0.0020	0.9769
1.7351	10600	0.0023	-	-
1.7515	10700	0.0017	-	-
1.7597	10750	-	0.0019	0.9760
1.7679	10800	0.0022	-	-
1.7843	10900	0.0017	-	-
1.8006	11000	0.0023	0.0019	0.9820
1.8170	11100	0.0018	-	-
1.8334	11200	0.0024	-	-
1.8415	11250	-	0.0020	0.9797
1.8497	11300	0.0016	-	-
1.8661	11400	0.0023	-	-
1.8825	11500	0.002	0.0020	0.9799
1.8988	11600	0.0022	-	-
1.9152	11700	0.0018	-	-
1.9234	11750	-	0.0021	0.9797
1.9316	11800	0.0028	-	-
1.9479	11900	0.0022	-	-
1.9643	12000	0.0015	0.0021	0.9799
1.9807	12100	0.0026	-	-
1.9971	12200	0.0019	-	-
2.0052	12250	-	0.0020	0.9807
2.0134	12300	0.0022	-	-
2.0298	12400	0.0022	-	-
2.0462	12500	0.0023	0.0019	0.9773
2.0625	12600	0.0022	-	-
2.0789	12700	0.0024	-	-
2.0871	12750	-	0.0019	0.9802
2.0953	12800	0.0018	-	-
2.1116	12900	0.0019	-	-
2.1280	13000	0.0019	0.0018	0.9815
2.1444	13100	0.0019	-	-
2.1607	13200	0.0019	-	-
2.1689	13250	-	0.0018	0.9818
2.1771	13300	0.0023	-	-
2.1935	13400	0.0016	-	-
2.2099	13500	0.0014	0.0019	0.9811
2.2262	13600	0.0022	-	-
2.2426	13700	0.002	-	-
2.2508	13750	-	0.0018	0.9817
2.2590	13800	0.0015	-	-
2.2753	13900	0.0023	-	-
2.2917	14000	0.0017	0.0019	0.9795
2.3081	14100	0.0025	-	-
2.3244	14200	0.0017	-	-
2.3326	14250	-	0.0018	0.9818
2.3408	14300	0.0016	-	-
2.3572	14400	0.0019	-	-
2.3735	14500	0.0019	0.0018	0.9825
2.3899	14600	0.0018	-	-
2.4063	14700	0.0015	-	-
2.4145	14750	-	0.0018	0.9829
2.4227	14800	0.0017	-	-
2.4390	14900	0.0019	-	-
2.4554	15000	0.0019	0.0018	0.9795
2.4718	15100	0.0018	-	-
2.4881	15200	0.0012	-	-
2.4963	15250	-	0.0018	0.9795
2.5045	15300	0.0017	-	-
2.5209	15400	0.0019	-	-
2.5372	15500	0.0018	0.0019	0.9801
2.5536	15600	0.0018	-	-
2.5700	15700	0.0018	-	-
2.5782	15750	-	0.0018	0.9805
2.5863	15800	0.0014	-	-
2.6027	15900	0.0013	-	-
2.6191	16000	0.0012	0.0017	0.9817
2.6355	16100	0.0013	-	-
2.6518	16200	0.0011	-	-
2.6600	16250	-	0.0018	0.9812
2.6682	16300	0.0012	-	-
2.6846	16400	0.0009	-	-
2.7009	16500	0.0015	0.0018	0.9809
2.7173	16600	0.0015	-	-
2.7337	16700	0.0019	-	-
2.7419	16750	-	0.0018	0.9811
2.7500	16800	0.0014	-	-
2.7664	16900	0.0017	-	-
2.7828	17000	0.001	0.0018	0.9817
2.7991	17100	0.0016	-	-
2.8155	17200	0.0014	-	-
2.8237	17250	-	0.0019	0.9829
2.8319	17300	0.0017	-	-
2.8483	17400	0.0012	-	-
2.8646	17500	0.0014	0.0018	0.9820
2.8810	17600	0.0014	-	-
2.8974	17700	0.0017	-	-
2.9055	17750	-	0.0018	0.9822
2.9137	17800	0.0016	-	-
2.9301	17900	0.0017	-	-
2.9465	18000	0.0018	0.0018	0.9818
2.9628	18100	0.0011	-	-
2.9792	18200	0.0019	-	-
2.9874	18250	-	0.0018	0.9817
2.9956	18300	0.0014	-	-
3.0119	18400	0.0017	-	-
3.0283	18500	0.0016	0.0017	0.9827
3.0447	18600	0.0015	-	-
3.0611	18700	0.0014	-	-
3.0692	18750	-	0.0017	0.9833
3.0774	18800	0.0021	-	-
3.0938	18900	0.0013	-	-
3.1102	19000	0.0012	0.0018	0.9844
3.1265	19100	0.0017	-	-
3.1429	19200	0.0015	-	-
3.1511	19250	-	0.0017	0.9840
3.1593	19300	0.0015	-	-
3.1756	19400	0.0017	-	-
3.1920	19500	0.0011	0.0017	0.9831
3.2084	19600	0.001	-	-
3.2248	19700	0.0014	-	-
3.2329	19750	-	0.0017	0.9836
3.2411	19800	0.0016	-	-
3.2575	19900	0.0013	-	-
3.2739	20000	0.0017	0.0017	0.9824
3.2902	20100	0.0013	-	-
3.3066	20200	0.002	-	-
3.3148	20250	-	0.0017	0.9813
3.3230	20300	0.0015	-	-
3.3393	20400	0.0011	-	-
3.3557	20500	0.0016	0.0017	0.9812
3.3721	20600	0.0016	-	-
3.3884	20700	0.0015	-	-
3.3966	20750	-	0.0017	0.9825
3.4048	20800	0.0012	-	-
3.4212	20900	0.0012	-	-
3.4376	21000	0.001	0.0017	0.9812
3.4539	21100	0.0019	-	-
3.4703	21200	0.0014	-	-
3.4785	21250	-	0.0017	0.9816
3.4867	21300	0.0009	-	-
3.5030	21400	0.0012	-	-
3.5194	21500	0.0015	0.0018	0.9823
3.5358	21600	0.0014	-	-
3.5521	21700	0.0015	-	-
3.5603	21750	-	0.0018	0.9814
3.5685	21800	0.0011	-	-
3.5849	21900	0.0012	-	-
3.6012	22000	0.001	0.0017	0.9822
3.6176	22100	0.0012	-	-
3.6340	22200	0.0009	-	-
3.6422	22250	-	0.0017	0.9823
3.6504	22300	0.0011	-	-
3.6667	22400	0.001	-	-
3.6831	22500	0.0008	0.0016	0.9825
3.6995	22600	0.0011	-	-
3.7158	22700	0.0014	-	-
3.7240	22750	-	0.0017	0.9826
3.7322	22800	0.0015	-	-
3.7486	22900	0.001	-	-
3.7649	23000	0.001	0.0017	0.9822
3.7813	23100	0.001	-	-
3.7977	23200	0.0014	-	-
3.8059	23250	-	0.0017	0.9836
3.8140	23300	0.0009	-	-
3.8304	23400	0.0013	-	-
3.8468	23500	0.001	0.0017	0.9845
3.8632	23600	0.001	-	-
3.8795	23700	0.001	-	-
3.8877	23750	-	0.0017	0.9848
3.8959	23800	0.0014	-	-
3.9123	23900	0.0017	-	-
3.9286	24000	0.0011	0.0017	0.9845
3.9450	24100	0.0014	-	-
3.9614	24200	0.0009	-	-
3.9696	24250	-	0.0019	0.9851
3.9777	24300	0.0015	-	-
3.9941	24400	0.0014	-	-
4.0105	24500	0.0013	0.0017	0.9862
4.0268	24600	0.0011	-	-
4.0432	24700	0.0014	-	-
4.0514	24750	-	0.0016	0.9848
4.0596	24800	0.0012	-	-
4.0760	24900	0.0014	-	-
4.0923	25000	0.0013	0.0017	0.9857
4.1087	25100	0.0008	-	-
4.1251	25200	0.0011	-	-
4.1332	25250	-	0.0017	0.9858
4.1414	25300	0.0013	-	-
4.1578	25400	0.0012	-	-
4.1742	25500	0.0012	0.0017	0.9858
4.1905	25600	0.0013	-	-
4.2069	25700	0.0008	-	-
4.2151	25750	-	0.0017	0.9855
4.2233	25800	0.0009	-	-
4.2396	25900	0.0012	-	-
4.2560	26000	0.0011	0.0016	0.9849
4.2724	26100	0.0015	-	-
4.2888	26200	0.0009	-	-
4.2969	26250	-	0.0017	0.9844
4.3051	26300	0.0013	-	-
4.3215	26400	0.0011	-	-
4.3379	26500	0.001	0.0017	0.9844
4.3542	26600	0.0014	-	-
4.3706	26700	0.0012	-	-
4.3788	26750	-	0.0016	0.9841
4.3870	26800	0.0013	-	-
4.4033	26900	0.0011	-	-
4.4197	27000	0.001	0.0016	0.9845
4.4361	27100	0.0008	-	-
4.4524	27200	0.0016	-	-
4.4606	27250	-	0.0016	0.9839
4.4688	27300	0.0011	-	-
4.4852	27400	0.0008	-	-
4.5016	27500	0.0009	0.0016	0.9847
4.5179	27600	0.0014	-	-
4.5343	27700	0.0011	-	-
4.5425	27750	-	0.0017	0.9849
4.5507	27800	0.0011	-	-
4.5670	27900	0.0008	-	-
4.5834	28000	0.001	0.0016	0.9846
4.5998	28100	0.0008	-	-
4.6161	28200	0.0008	-	-
4.6243	28250	-	0.0016	0.9839
4.6325	28300	0.0008	-	-
4.6489	28400	0.0007	-	-
4.6652	28500	0.0007	0.0016	0.9843
4.6816	28600	0.0008	-	-
4.6980	28700	0.0008	-	-
4.7062	28750	-	0.0016	0.9843
4.7144	28800	0.0011	-	-
4.7307	28900	0.0014	-	-
4.7471	29000	0.0008	0.0016	0.9841
4.7635	29100	0.0009	-	-
4.7798	29200	0.0006	-	-
4.7880	29250	-	0.0016	0.9840
4.7962	29300	0.001	-	-
4.8126	29400	0.0006	-	-
4.8289	29500	0.0013	0.0016	0.9843
4.8453	29600	0.0007	-	-
4.8617	29700	0.0008	-	-
4.8699	29750	-	0.0016	0.9844
4.8780	29800	0.001	-	-
4.8944	29900	0.0011	-	-
4.9108	30000	0.0013	0.0016	0.9846
4.9272	30100	0.001	-	-
4.9435	30200	0.0012	-	-
4.9517	30250	-	0.0017	0.9848
4.9599	30300	0.0007	-	-
4.9763	30400	0.001	-	-
4.9926	30500	0.0011	0.0017	0.9849
5.0	30545	-	0.0016	0.9839

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.2.1
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}