metadata

base_model: aubmindlab/bert-base-arabertv02
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:10000
  - loss:MatryoshkaLoss
  - loss:MultipleNegativesRankingLoss
widget:
  - source_sentence: يمكن للأسنان السيئة أن تسبب التهاب الجيوب الأنفية
    sentences:
      - >-
        تشكل الأيونات مركبات محايدة كهربائيًا لأن عدد الكاتيونات (أيونات موجبة
        الشحنة) يساوي عدد الأنيونات (أيونات سالبة الشحنة). ترتبط هذه الأيونات
        ببعضها البعض بواسطة قوى ... تشكل الأيونات مركبات متعادلة كهربائيًا لأن
        عدد الكاتيونات (أيونات موجبة الشحنة) يساوي عدد الأنيونات (أيونات سالبة
        الشحنة).
      - >-
        نعم ، التهاب الجيوب الأنفية (التهاب الجيوب الأنفية) أو الالتهاب يمكن أن
        يسبب ألمًا في الأسنان - خاصةً في الأسنان الخلفية العلوية القريبة من
        الجيوب الأنفية. من الأعراض الشائعة مع حالات الجيوب الأنفية. إذا كنت
        تعاني من ألم مستمر في الأسنان ، فاستشر طبيب أسنانك أولاً لإجراء فحص. مثل
        ، يمكن أن تسبب عدوى الجيوب الأنفية (التهاب الجيوب الأنفية) أو الالتهاب
        ألمًا في الأسنان - خاصةً في الأسنان الخلفية العلوية ، القريبة على الجيوب
        الأنفية.
      - >-
        الناسور أورانترال بعد قلع الضرس العلوي. قد يتم فتح الجيوب الأنفية
        العلوية عن طريق الخطأ أثناء قلع السن مما يتسبب في حدوث مضاعفات بعد قلع
        الأسنان. في بعض الحالات؛ قد تندفع جذور الأسنان (الأضراس والضواحك) إلى
        داخلها. الأضراس العلوية والضواحك أو ثنائية الشرف لها جذور قريبة من
        الجيوب الأنفية.
  - source_sentence: أعراض البرد مقابل أعراض الأنفلونزا
    sentences:
      - >-
        في هذه الحالات ، قد تكون الأعراض الوحيدة هي التعب وأعراض تشبه أعراض
        الأنفلونزا. نظرًا لأن التعب والأعراض الشبيهة بالأنفلونزا قد تنشأ غالبًا
        من أسباب أخرى ، فقد لا يتم اعتبار مرض لايم حتى في التشخيص التفريقي وقد
        يعاني المريض لعدة أشهر من مرض معدي غير معروف وغير معالج.
      - >-
        يمكن أن تكون أعراض الإنفلونزا مشابهة لأعراض البرد ، على الرغم من أنها
        تميل إلى أن تكون أكثر حدة. يمكن أن تشمل الأعراض: 1 ـ سعال جاف متقطع. 2 -
        حمى معتدلة إلى عالية (على الرغم من عدم إصابة كل شخص مصاب بالأنفلونزا
        بالحمى). 3 التهاب الحلق. 4 اهتزاز قشعريرة. 5 ـ آلام شديدة في العضلات أو
        الجسم. 6 صداع. 7 ـ انسداد وسيلان الأنف.
      - >-
        فيما يلي بعض إصلاحات الأحذية الشائعة وأسعار الملعب المصاحبة لها. 1 كعب -
        يمكن أن يكون من المطاط أو الجلد أو مزيج من الاثنين وسيكلف ما يقرب من $
        10 € € 40 لاستبداله. 2 قاعدة الكعب - إذا كنت ترتدي الكعب وجزءًا من
        القاعدة ، فلا يزال من الممكن إصلاحه ، ولكن سيكلف ذلك أكثر.
  - source_sentence: معنى اسم سيباستيان
    sentences:
      - >-
        يتم إصدار تحذير من الفيضانات المفاجئة (نفس الكود: FFW) عندما يكون
        فيضانًا سريعًا وشيكًا أو يحدث في المنطقة المحذرة. الفيضانات المفاجئة هي
        فيضان مفاجئ وعنيف بعد هطول أمطار غزيرة ، أو في بعض الأحيان بعد كسر السد.
        تساهم كثافة الأمطار ومدتها ، والتضاريس ، وظروف التربة ، والغطاء الأرضي
        في حدوث الفيضانات المفاجئة. تحدث معظم الفيضانات المفاجئة عندما تتساقط
        كمية كبيرة من الأمطار في منطقة ما ، ثم يتم توجيه هذه المياه عبر الجداول
        أو الأخاديد الضيقة. قد تستغرق الفيضانات المفاجئة دقائق أو ساعات حتى
        تتطور ، ومن الممكن أن تتعرض للفيضانات المفاجئة دون أن تشهد أي أمطار ،
        وفي هذه الحالة ، ستكون هناك أمطار غزيرة في المناطق الواقعة أعلى منبع
        الموقع المحذر ، وقد تستغرق الفيضانات المفاجئة دقائق أو ساعات حتى تتطور.
        من الممكن أن تتعرض لفيضان مفاجئ دون أن تشاهد أي مطر. في هذه الحالة ،
        ستكون هناك أمطار غزيرة في المناطق الواقعة أعلى منبع الموقع المحذر.
      - >-
        تشمل الأمثلة المبكرة لتسجيلات اللقب المأخوذة من السجلات المدنية والكنيسة
        الأصلية كاتارينا سانشيز ، المولودة في إشبيلية ، إسبانيا ، في 23 نوفمبر
        1520 ، وبارتولومي سانشيز ، التي تم تعميدها في فيلابالاسيو ، سان
        سيباستيان ، إسبانيا ، في 27 يونيو 1588. كلاهما ديني ومعمودي في الأصل ،
        المشتق من الكلمة الرومانية (اللاتينية) 'sanctus' التي تعني بلا لوم ،
        مقدس ، ولاحقًا قديسًا ، وهو معنى ساهم بلا شك بشكل كبير في شعبيته كاسم
        معين ولاحقًا لقبًا.
      - >-
        اسم سيباستيان هو اسم طفل أمريكي. في أمريكا ، معنى اسم سيباستيان هو:
        الموقر. المعنى اللاتيني: اسم سيباستيان هو اسم طفل لاتيني. في اللاتينية ،
        معنى اسم سيباستيان هو: الموقر. موقر.
  - source_sentence: ما هو نوع الدهون الموجودة في الأفوكادو
    sentences:
      - >-
        لقد تم الاعتراف منذ أكثر من 50 عامًا أن موانع الحمل الفموية المركبة
        قادرة أيضًا على تقديم فوائد صحية تتجاوز وسائل منع الحمل من خلال العلاج
        والوقاية من العديد من الاضطرابات النسائية والطبية.
      - >-
        الأفوكادو كبديل للدهون. يعد الأفوكادو الطبيعي ، والسكر ، والدهون
        المتحولة ، والأفوكادو الخالي من الكوليسترول ، بديلاً دسمًا ومغذيًا
        للوصفات المحملة بالدهون المشبعة. الأمهات والأطفال. يمكن تأسيس حياة من
        عادات الأكل الجيدة والصحة الجيدة في وقت مبكر من الطفولة.
      - >-
        حوالي 15 في المائة من الدهون في الأفوكادو مشبعة ، مع كل كوب واحد من
        الأفوكادو المفروم يحتوي على 3.2 جرام من الدهون المشبعة ، وهو ما يمثل 16
        في المائة من DV البالغ 20 جرامًا. تحتوي الأفوكادو في الغالب على دهون
        أحادية غير مشبعة ، مع 67 في المائة من إجمالي الدهون ، أو 14.7 جرامًا لكل
        كوب مفروم ، ويتكون من هذا النوع من الدهون.
  - source_sentence: أسباب كثرة التبول
    sentences:
      - >-
        أسباب كثرة التبول. يمكن أن يكون التبول المتكرر أحد أعراض العديد من
        المشاكل المختلفة من أمراض الكلى إلى مجرد شرب الكثير من السوائل. عندما
        يكون التبول المتكرر مصحوبًا بالحمى ، والحاجة الملحة للتبول ، والألم أو
        عدم الراحة في البطن ، فقد يكون لديك التهاب في المسالك البولية.
      - >-
        من الطبيعي أن يتبول البالغون سبع مرات خلال اليوم. في بعض الحيوانات ،
        بالإضافة إلى طرد النفايات ، يمكن أن يؤدي التبول إلى تحديد المنطقة أو
        التعبير عن الخضوع. من الناحية الفسيولوجية ، يتضمن التبول التنسيق بين
        الجهاز العصبي المركزي والجهاز العصبي اللاإرادي والجسدي.
      - >-
        يمكنك العثور عليها في الكثير من الأماكن ولكن ذلك يعتمد على نوع البطريق
        الموجود في القارة القطبية الجنوبية بينما الدببة القطبية في القطب
        الجنوبي.

SentenceTransformer based on aubmindlab/bert-base-arabertv02

This is a sentence-transformers model finetuned from aubmindlab/bert-base-arabertv02. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: aubmindlab/bert-base-arabertv02
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'أسباب كثرة التبول',
    'أسباب كثرة التبول. يمكن أن يكون التبول المتكرر أحد أعراض العديد من المشاكل المختلفة من أمراض الكلى إلى مجرد شرب الكثير من السوائل. عندما يكون التبول المتكرر مصحوبًا بالحمى ، والحاجة الملحة للتبول ، والألم أو عدم الراحة في البطن ، فقد يكون لديك التهاب في المسالك البولية.',
    'من الطبيعي أن يتبول البالغون سبع مرات خلال اليوم. في بعض الحيوانات ، بالإضافة إلى طرد النفايات ، يمكن أن يؤدي التبول إلى تحديد المنطقة أو التعبير عن الخضوع. من الناحية الفسيولوجية ، يتضمن التبول التنسيق بين الجهاز العصبي المركزي والجهاز العصبي اللاإرادي والجسدي.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 10,000 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 4 tokens mean: 8.78 tokens max: 34 tokens	min: 8 tokens mean: 67.32 tokens max: 187 tokens	min: 12 tokens mean: 67.49 tokens max: 220 tokens

Samples:

anchor	positive	negative
`النظرية الأساسية للتعريف الحسابي`	`النظرية الأساسية في الحساب. من ويكيبيديا، الموسوعة الحرة. النظرية الأساسية للأخلاق الحسابية (وتسمى أيضًا نظرية العوامل الفريدة) هي نظرية نظرية الأعداد. تقول النظرية أن كل عدد صحيح موجب أكبر من 1 يمكن كتابته كمنتج للأعداد الأولية (أو أن العدد الصحيح هو نفسه عدد أولي).`	`يتم تعريف الأساسي على أنه شيء أساسي أو أساسي. الحقيقة الأساسية للدين هي مثال لحقيقة أساسية. تعريف الأساسي هو حقيقة أساسية أو قانون. الحرية هي مثال أساسي للمثل الأعلى الأمريكي.`
`كيف يتم تشخيص السعال الديكي`	تشخيص السعال الديكي. في الحالات المشتبه فيها من السعال الديكي ، يشتمل التشخيص عادةً على مراجعة التاريخ الطبي للمريض ، وفحصًا بدنيًا ، و (في بعض الحالات) اختبارات معينة. كجزء من تشخيص السعال الديكي (المعروف أيضًا باسم السعال الديكي) ، سيستبعد الطبيب أيضًا الأمراض الأخرى ، مثل نزلات البرد والإنفلونزا والتهاب الشعب الهوائية.	بمجرد إصابتك بالسعال الديكي ، يستغرق ظهور العلامات والأعراض من سبعة إلى عشرة أيام ، على الرغم من أنها قد تستغرق وقتًا أطول في بعض الأحيان. بعد أسبوع أو أسبوعين ، ساءت العلامات والأعراض. يتراكم المخاط السميك داخل الممرات الهوائية ، مما يسبب سعالًا لا يمكن السيطرة عليه. ومع ذلك ، فإن الكثير من الناس لا يطورون هذه الخاصية المميزة. في بعض الأحيان ، يكون السعال المتقطع هو العلامة الوحيدة على إصابة المراهق أو البالغ بالسعال الديكي. قد لا يسعل الأطفال على الإطلاق. بدلاً من ذلك ، قد يكافحون من أجل التنفس ، أو قد يتوقفون مؤقتًا عن التنفس.
`ما هو متوسط ضغط الماء للمنزل`	ضغط الماء هو مقدار القوة من الماء الرئيسي إلى منزلك. يقاس ضغط الماء بالجنيه لكل بوصة مربعة (PSI) ، وضغط الماء العادي عادة ما بين 30 و 80 رطل لكل بوصة مربعة ، التدفق الوظيفي هو حجم المياه المتدفقة عبر الأنابيب الخاصة بك وتصل إلى التركيبات الفردية ، وهو جهاز على شكل جرس يقلل من ضغط الماء. يجب أن يكون ضغط الماء 60-70 رطل لكل بوصة مربعة. إذا كان ضغط المنزل منخفضًا ، فأنت تريد أولاً تحديد ما إذا كان المنزل يعمل بنظام إمداد المياه العام أو نظام الآبار الخاص.	`الضغط المحيط في الماء ذي السطح الحر هو مزيج من الضغط الهيدروستاتيكي الناتج عن وزن عمود الماء والضغط الجوي على السطح الحر ، والضغط المحيط على الجسم هو ضغط الوسط المحيط ، مثل الغاز أو السائل الذي يلامس الجسم. محتويات.`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Evaluation Dataset

Unnamed Dataset

Size: 3,273 evaluation samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 4 tokens mean: 8.86 tokens max: 31 tokens	min: 13 tokens mean: 66.56 tokens max: 191 tokens	min: 15 tokens mean: 69.1 tokens max: 198 tokens

Samples:

anchor	positive	negative
`ما هي الفوائد الصحية للجوز`	11 فوائد لا تصدق للجوز. تشمل الفوائد الصحية للجوز الحد من الكوليسترول السيئ في الجسم ، وتحسين التمثيل الغذائي ، والسيطرة على مرض السكري. تنبع الفوائد الصحية المهمة الأخرى للجوز من حقيقة أن هذه المكسرات تمتلك خصائص مضادة للالتهابات ، وتساعد في إدارة الوزن ، وتساعد في تقوية الحالة المزاجية.	`لا يشترط قانون إلينوي على أصحاب العمل تقديم مزايا صحية لموظفيهم أو عائلاتهم. ومع ذلك ، إذا كنت مشمولاً بالمزايا الصحية لصاحب العمل ، فقد يكون فقدان التغطية مدمرًا.`
`أفضل عناية بالبشرة للاحمرار`	`تم تصميم خط العناية بالبشرة لعلاج الاحمرار من مراد لتلبية احتياجات العناية بالبشرة للأفراد ذوي البشرة الحساسة المعرضة للاحمرار والتهيج. يشتمل النظام المكون من ثلاثة أجزاء على منظف وجل معالج ومرطب مصحح مع واقي من الشمس.`	الأوصاف. يستخدم هيدروكورتيزون فاليرات الموضعي للمساعدة في تخفيف الاحمرار أو الحكة أو التورم أو غير ذلك من الانزعاج الناجم عن الأمراض الجلدية. هذا الدواء عبارة عن كورتيكوستيرويد (دواء شبيه بالكورتيزون أو الستيرويد) ، ولا يتوفر هذا الدواء إلا بوصفة طبية ، ويستخدم هيدروكورتيزون فاليرات الموضعي للمساعدة في تخفيف الاحمرار أو الحكة أو التورم أو غير ذلك من الانزعاج الناجم عن الأمراض الجلدية. هذا الدواء عبارة عن كورتيكوستيرويد (دواء يشبه الكورتيزون أو الستيرويد).
`متوسط الطقس في مينيابوليس في مايو`	متوسط حالة الطقس في مايو في مينيابوليس مينيسوتا، الولايات المتحدة. في مينيابوليس ، يتميز شهر مايو بالارتفاع السريع لدرجات الحرارة اليومية المرتفعة ، مع ارتفاع درجات الحرارة اليومية بمقدار 10 درجة فهرنهايت ، من 64 درجة فهرنهايت إلى 74 درجة فهرنهايت على مدار شهرًا ، ونادرًا ما تتجاوز 85 درجة فهرنهايت أو تنخفض إلى أقل من 51 درجة فهرنهايت.	`بولدن ، أريزونا الطقس. يبلغ متوسط درجة حرارة بولدن 55.67 درجة فهرنهايت ، وهو أقل بكثير من متوسط درجة الحرارة في أريزونا البالغ 65.97 درجة فهرنهايت وأعلى من متوسط درجة الحرارة الوطنية البالغ 54.45 درجة فهرنهايت . الطقس التاريخي.`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
learning_rate: 2e-05
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss
1.5974	500	0.7182	0.2672

Framework Versions

Python: 3.10.13
Sentence Transformers: 3.0.1
Transformers: 4.42.3
PyTorch: 2.1.2
Accelerate: 0.32.1
Datasets: 2.20.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}