File size: 35,856 Bytes
699b726 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 |
---
base_model: aubmindlab/bert-base-arabertv02
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:10000
- loss:MatryoshkaLoss
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: يمكن للأسنان السيئة أن تسبب التهاب الجيوب الأنفية
sentences:
- تشكل الأيونات مركبات محايدة كهربائيًا لأن عدد الكاتيونات (أيونات موجبة الشحنة)
يساوي عدد الأنيونات (أيونات سالبة الشحنة). ترتبط هذه الأيونات ببعضها البعض بواسطة
قوى ... تشكل الأيونات مركبات متعادلة كهربائيًا لأن عدد الكاتيونات (أيونات موجبة
الشحنة) يساوي عدد الأنيونات (أيونات سالبة الشحنة).
- نعم ، التهاب الجيوب الأنفية (التهاب الجيوب الأنفية) أو الالتهاب يمكن أن يسبب ألمًا
في الأسنان - خاصةً في الأسنان الخلفية العلوية القريبة من الجيوب الأنفية. من الأعراض
الشائعة مع حالات الجيوب الأنفية. إذا كنت تعاني من ألم مستمر في الأسنان ، فاستشر
طبيب أسنانك أولاً لإجراء فحص. مثل ، يمكن أن تسبب عدوى الجيوب الأنفية (التهاب الجيوب
الأنفية) أو الالتهاب ألمًا في الأسنان - خاصةً في الأسنان الخلفية العلوية ، القريبة
على الجيوب الأنفية.
- الناسور أورانترال بعد قلع الضرس العلوي. قد يتم فتح الجيوب الأنفية العلوية عن طريق
الخطأ أثناء قلع السن مما يتسبب في حدوث مضاعفات بعد قلع الأسنان. في بعض الحالات؛
قد تندفع جذور الأسنان (الأضراس والضواحك) إلى داخلها. الأضراس العلوية والضواحك
أو ثنائية الشرف لها جذور قريبة من الجيوب الأنفية.
- source_sentence: أعراض البرد مقابل أعراض الأنفلونزا
sentences:
- في هذه الحالات ، قد تكون الأعراض الوحيدة هي التعب وأعراض تشبه أعراض الأنفلونزا.
نظرًا لأن التعب والأعراض الشبيهة بالأنفلونزا قد تنشأ غالبًا من أسباب أخرى ، فقد
لا يتم اعتبار مرض لايم حتى في التشخيص التفريقي وقد يعاني المريض لعدة أشهر من مرض
معدي غير معروف وغير معالج.
- 'يمكن أن تكون أعراض الإنفلونزا مشابهة لأعراض البرد ، على الرغم من أنها تميل إلى
أن تكون أكثر حدة. يمكن أن تشمل الأعراض: 1 ـ سعال جاف متقطع. 2 - حمى معتدلة إلى
عالية (على الرغم من عدم إصابة كل شخص مصاب بالأنفلونزا بالحمى). 3 التهاب الحلق.
4 اهتزاز قشعريرة. 5 ـ آلام شديدة في العضلات أو الجسم. 6 صداع. 7 ـ انسداد وسيلان
الأنف.'
- فيما يلي بعض إصلاحات الأحذية الشائعة وأسعار الملعب المصاحبة لها. 1 كعب - يمكن
أن يكون من المطاط أو الجلد أو مزيج من الاثنين وسيكلف ما يقرب من $ 10 € € 40 لاستبداله.
2 قاعدة الكعب - إذا كنت ترتدي الكعب وجزءًا من القاعدة ، فلا يزال من الممكن إصلاحه
، ولكن سيكلف ذلك أكثر.
- source_sentence: معنى اسم سيباستيان
sentences:
- 'يتم إصدار تحذير من الفيضانات المفاجئة (نفس الكود: FFW) عندما يكون فيضانًا سريعًا
وشيكًا أو يحدث في المنطقة المحذرة. الفيضانات المفاجئة هي فيضان مفاجئ وعنيف بعد
هطول أمطار غزيرة ، أو في بعض الأحيان بعد كسر السد. تساهم كثافة الأمطار ومدتها
، والتضاريس ، وظروف التربة ، والغطاء الأرضي في حدوث الفيضانات المفاجئة. تحدث معظم
الفيضانات المفاجئة عندما تتساقط كمية كبيرة من الأمطار في منطقة ما ، ثم يتم توجيه
هذه المياه عبر الجداول أو الأخاديد الضيقة. قد تستغرق الفيضانات المفاجئة دقائق
أو ساعات حتى تتطور ، ومن الممكن أن تتعرض للفيضانات المفاجئة دون أن تشهد أي أمطار
، وفي هذه الحالة ، ستكون هناك أمطار غزيرة في المناطق الواقعة أعلى منبع الموقع
المحذر ، وقد تستغرق الفيضانات المفاجئة دقائق أو ساعات حتى تتطور. من الممكن أن
تتعرض لفيضان مفاجئ دون أن تشاهد أي مطر. في هذه الحالة ، ستكون هناك أمطار غزيرة
في المناطق الواقعة أعلى منبع الموقع المحذر.'
- تشمل الأمثلة المبكرة لتسجيلات اللقب المأخوذة من السجلات المدنية والكنيسة الأصلية
كاتارينا سانشيز ، المولودة في إشبيلية ، إسبانيا ، في 23 نوفمبر 1520 ، وبارتولومي
سانشيز ، التي تم تعميدها في فيلابالاسيو ، سان سيباستيان ، إسبانيا ، في 27 يونيو
1588. كلاهما ديني ومعمودي في الأصل ، المشتق من الكلمة الرومانية (اللاتينية) 'sanctus'
التي تعني بلا لوم ، مقدس ، ولاحقًا قديسًا ، وهو معنى ساهم بلا شك بشكل كبير في
شعبيته كاسم معين ولاحقًا لقبًا.
- 'اسم سيباستيان هو اسم طفل أمريكي. في أمريكا ، معنى اسم سيباستيان هو: الموقر. المعنى
اللاتيني: اسم سيباستيان هو اسم طفل لاتيني. في اللاتينية ، معنى اسم سيباستيان هو:
الموقر. موقر.'
- source_sentence: ما هو نوع الدهون الموجودة في الأفوكادو
sentences:
- لقد تم الاعتراف منذ أكثر من 50 عامًا أن موانع الحمل الفموية المركبة قادرة أيضًا
على تقديم فوائد صحية تتجاوز وسائل منع الحمل من خلال العلاج والوقاية من العديد
من الاضطرابات النسائية والطبية.
- الأفوكادو كبديل للدهون. يعد الأفوكادو الطبيعي ، والسكر ، والدهون المتحولة ، والأفوكادو
الخالي من الكوليسترول ، بديلاً دسمًا ومغذيًا للوصفات المحملة بالدهون المشبعة.
الأمهات والأطفال. يمكن تأسيس حياة من عادات الأكل الجيدة والصحة الجيدة في وقت مبكر
من الطفولة.
- حوالي 15 في المائة من الدهون في الأفوكادو مشبعة ، مع كل كوب واحد من الأفوكادو
المفروم يحتوي على 3.2 جرام من الدهون المشبعة ، وهو ما يمثل 16 في المائة من DV
البالغ 20 جرامًا. تحتوي الأفوكادو في الغالب على دهون أحادية غير مشبعة ، مع 67
في المائة من إجمالي الدهون ، أو 14.7 جرامًا لكل كوب مفروم ، ويتكون من هذا النوع
من الدهون.
- source_sentence: أسباب كثرة التبول
sentences:
- أسباب كثرة التبول. يمكن أن يكون التبول المتكرر أحد أعراض العديد من المشاكل المختلفة
من أمراض الكلى إلى مجرد شرب الكثير من السوائل. عندما يكون التبول المتكرر مصحوبًا
بالحمى ، والحاجة الملحة للتبول ، والألم أو عدم الراحة في البطن ، فقد يكون لديك
التهاب في المسالك البولية.
- من الطبيعي أن يتبول البالغون سبع مرات خلال اليوم. في بعض الحيوانات ، بالإضافة
إلى طرد النفايات ، يمكن أن يؤدي التبول إلى تحديد المنطقة أو التعبير عن الخضوع.
من الناحية الفسيولوجية ، يتضمن التبول التنسيق بين الجهاز العصبي المركزي والجهاز
العصبي اللاإرادي والجسدي.
- يمكنك العثور عليها في الكثير من الأماكن ولكن ذلك يعتمد على نوع البطريق الموجود
في القارة القطبية الجنوبية بينما الدببة القطبية في القطب الجنوبي.
---
# SentenceTransformer based on aubmindlab/bert-base-arabertv02
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [aubmindlab/bert-base-arabertv02](https://huggingface.co/aubmindlab/bert-base-arabertv02). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [aubmindlab/bert-base-arabertv02](https://huggingface.co/aubmindlab/bert-base-arabertv02) <!-- at revision 016fb9d6768f522a59c6e0d2d5d5d43a4e1bff60 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
'أسباب كثرة التبول',
'أسباب كثرة التبول. يمكن أن يكون التبول المتكرر أحد أعراض العديد من المشاكل المختلفة من أمراض الكلى إلى مجرد شرب الكثير من السوائل. عندما يكون التبول المتكرر مصحوبًا بالحمى ، والحاجة الملحة للتبول ، والألم أو عدم الراحة في البطن ، فقد يكون لديك التهاب في المسالك البولية.',
'من الطبيعي أن يتبول البالغون سبع مرات خلال اليوم. في بعض الحيوانات ، بالإضافة إلى طرد النفايات ، يمكن أن يؤدي التبول إلى تحديد المنطقة أو التعبير عن الخضوع. من الناحية الفسيولوجية ، يتضمن التبول التنسيق بين الجهاز العصبي المركزي والجهاز العصبي اللاإرادي والجسدي.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 10,000 training samples
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
* Approximate statistics based on the first 1000 samples:
| | anchor | positive | negative |
|:--------|:---------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
| type | string | string | string |
| details | <ul><li>min: 4 tokens</li><li>mean: 8.78 tokens</li><li>max: 34 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 67.32 tokens</li><li>max: 187 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 67.49 tokens</li><li>max: 220 tokens</li></ul> |
* Samples:
| anchor | positive | negative |
|:----------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>النظرية الأساسية للتعريف الحسابي</code> | <code>النظرية الأساسية في الحساب. من ويكيبيديا، الموسوعة الحرة. النظرية الأساسية للأخلاق الحسابية (وتسمى أيضًا نظرية العوامل الفريدة) هي نظرية نظرية الأعداد. تقول النظرية أن كل عدد صحيح موجب أكبر من 1 يمكن كتابته كمنتج للأعداد الأولية (أو أن العدد الصحيح هو نفسه عدد أولي).</code> | <code>يتم تعريف الأساسي على أنه شيء أساسي أو أساسي. الحقيقة الأساسية للدين هي مثال لحقيقة أساسية. تعريف الأساسي هو حقيقة أساسية أو قانون. الحرية هي مثال أساسي للمثل الأعلى الأمريكي.</code> |
| <code>كيف يتم تشخيص السعال الديكي</code> | <code>تشخيص السعال الديكي. في الحالات المشتبه فيها من السعال الديكي ، يشتمل التشخيص عادةً على مراجعة التاريخ الطبي للمريض ، وفحصًا بدنيًا ، و (في بعض الحالات) اختبارات معينة. كجزء من تشخيص السعال الديكي (المعروف أيضًا باسم السعال الديكي) ، سيستبعد الطبيب أيضًا الأمراض الأخرى ، مثل نزلات البرد والإنفلونزا والتهاب الشعب الهوائية.</code> | <code>بمجرد إصابتك بالسعال الديكي ، يستغرق ظهور العلامات والأعراض من سبعة إلى عشرة أيام ، على الرغم من أنها قد تستغرق وقتًا أطول في بعض الأحيان. بعد أسبوع أو أسبوعين ، ساءت العلامات والأعراض. يتراكم المخاط السميك داخل الممرات الهوائية ، مما يسبب سعالًا لا يمكن السيطرة عليه. ومع ذلك ، فإن الكثير من الناس لا يطورون هذه الخاصية المميزة. في بعض الأحيان ، يكون السعال المتقطع هو العلامة الوحيدة على إصابة المراهق أو البالغ بالسعال الديكي. قد لا يسعل الأطفال على الإطلاق. بدلاً من ذلك ، قد يكافحون من أجل التنفس ، أو قد يتوقفون مؤقتًا عن التنفس.</code> |
| <code>ما هو متوسط ضغط الماء للمنزل</code> | <code>ضغط الماء هو مقدار القوة من الماء الرئيسي إلى منزلك. يقاس ضغط الماء بالجنيه لكل بوصة مربعة (PSI) ، وضغط الماء العادي عادة ما بين 30 و 80 رطل لكل بوصة مربعة ، التدفق الوظيفي هو حجم المياه المتدفقة عبر الأنابيب الخاصة بك وتصل إلى التركيبات الفردية ، وهو جهاز على شكل جرس يقلل من ضغط الماء. يجب أن يكون ضغط الماء 60-70 رطل لكل بوصة مربعة. إذا كان ضغط المنزل منخفضًا ، فأنت تريد أولاً تحديد ما إذا كان المنزل يعمل بنظام إمداد المياه العام أو نظام الآبار الخاص.</code> | <code>الضغط المحيط في الماء ذي السطح الحر هو مزيج من الضغط الهيدروستاتيكي الناتج عن وزن عمود الماء والضغط الجوي على السطح الحر ، والضغط المحيط على الجسم هو ضغط الوسط المحيط ، مثل الغاز أو السائل الذي يلامس الجسم. محتويات.</code> |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
```json
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
```
### Evaluation Dataset
#### Unnamed Dataset
* Size: 3,273 evaluation samples
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
* Approximate statistics based on the first 1000 samples:
| | anchor | positive | negative |
|:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
| type | string | string | string |
| details | <ul><li>min: 4 tokens</li><li>mean: 8.86 tokens</li><li>max: 31 tokens</li></ul> | <ul><li>min: 13 tokens</li><li>mean: 66.56 tokens</li><li>max: 191 tokens</li></ul> | <ul><li>min: 15 tokens</li><li>mean: 69.1 tokens</li><li>max: 198 tokens</li></ul> |
* Samples:
| anchor | positive | negative |
|:-------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>ما هي الفوائد الصحية للجوز</code> | <code>11 فوائد لا تصدق للجوز. تشمل الفوائد الصحية للجوز الحد من الكوليسترول السيئ في الجسم ، وتحسين التمثيل الغذائي ، والسيطرة على مرض السكري. تنبع الفوائد الصحية المهمة الأخرى للجوز من حقيقة أن هذه المكسرات تمتلك خصائص مضادة للالتهابات ، وتساعد في إدارة الوزن ، وتساعد في تقوية الحالة المزاجية.</code> | <code>لا يشترط قانون إلينوي على أصحاب العمل تقديم مزايا صحية لموظفيهم أو عائلاتهم. ومع ذلك ، إذا كنت مشمولاً بالمزايا الصحية لصاحب العمل ، فقد يكون فقدان التغطية مدمرًا.</code> |
| <code>أفضل عناية بالبشرة للاحمرار</code> | <code>تم تصميم خط العناية بالبشرة لعلاج الاحمرار من مراد لتلبية احتياجات العناية بالبشرة للأفراد ذوي البشرة الحساسة المعرضة للاحمرار والتهيج. يشتمل النظام المكون من ثلاثة أجزاء على منظف وجل معالج ومرطب مصحح مع واقي من الشمس.</code> | <code>الأوصاف. يستخدم هيدروكورتيزون فاليرات الموضعي للمساعدة في تخفيف الاحمرار أو الحكة أو التورم أو غير ذلك من الانزعاج الناجم عن الأمراض الجلدية. هذا الدواء عبارة عن كورتيكوستيرويد (دواء شبيه بالكورتيزون أو الستيرويد) ، ولا يتوفر هذا الدواء إلا بوصفة طبية ، ويستخدم هيدروكورتيزون فاليرات الموضعي للمساعدة في تخفيف الاحمرار أو الحكة أو التورم أو غير ذلك من الانزعاج الناجم عن الأمراض الجلدية. هذا الدواء عبارة عن كورتيكوستيرويد (دواء يشبه الكورتيزون أو الستيرويد).</code> |
| <code>متوسط الطقس في مينيابوليس في مايو</code> | <code>متوسط حالة الطقس في مايو في مينيابوليس مينيسوتا، الولايات المتحدة. في مينيابوليس ، يتميز شهر مايو بالارتفاع السريع لدرجات الحرارة اليومية المرتفعة ، مع ارتفاع درجات الحرارة اليومية بمقدار 10 درجة فهرنهايت ، من 64 درجة فهرنهايت إلى 74 درجة فهرنهايت على مدار شهرًا ، ونادرًا ما تتجاوز 85 درجة فهرنهايت أو تنخفض إلى أقل من 51 درجة فهرنهايت.</code> | <code>بولدن ، أريزونا الطقس. يبلغ متوسط درجة حرارة بولدن 55.67 درجة فهرنهايت ، وهو أقل بكثير من متوسط درجة الحرارة في أريزونا البالغ 65.97 درجة فهرنهايت وأعلى من متوسط درجة الحرارة الوطنية البالغ 54.45 درجة فهرنهايت . الطقس التاريخي.</code> |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
```json
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: steps
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `learning_rate`: 2e-05
- `warmup_ratio`: 0.1
- `fp16`: True
- `batch_sampler`: no_duplicates
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 3
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional
</details>
### Training Logs
| Epoch | Step | Training Loss | loss |
|:------:|:----:|:-------------:|:------:|
| 1.5974 | 500 | 0.7182 | 0.2672 |
### Framework Versions
- Python: 3.10.13
- Sentence Transformers: 3.0.1
- Transformers: 4.42.3
- PyTorch: 2.1.2
- Accelerate: 0.32.1
- Datasets: 2.20.0
- Tokenizers: 0.19.1
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### MatryoshkaLoss
```bibtex
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
```
#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
--> |