josedossantos's picture
Add new SentenceTransformer model.
adf0808 verified
metadata
language: []
library_name: sentence-transformers
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dataset_size:10K<n<100K
  - loss:ContrastiveLoss
base_model: rufimelo/Legal-BERTimbau-large
widget:
  - source_sentence: Critério, cobrança, Taxa de juros, Cheque especial
    sentences:
      - >-
        Critério, limitação, Taxa de juros, cheque especial, cartão de crédito,
        Instituição Financeira. 
      - >-
        Alteração, Lei Antifumo, teor alcoólico, bebida alcoólica, propaganda
        comercial, rótulo, embalagem, advertência.
      - >-
        Alteração, Código Penal, tipicidade, crime, exercício ilegal da
        profissão, tecnólogo, técnico em radiologia, falta, habilitação
        profissional.
  - source_sentence: Inclusão, Cerrado, Caatinga, Patrimônio da União.
    sentences:
      - Inclusão, cerrado, caatinga, patrimônio da União.
      - >-
        Título de Capital Nacional, Capital Nacional do Alimento, Marília (SP),
        São Paulo (Estado), Título de Topônimo. 
      - >-
        Proibição, Robocalls, Empresa de call center, telemarketing,
        procedimento, ligação telefônica, infração, multa. 
  - source_sentence: Regulamentação, profissão, Terapeuta Ocupacional.
    sentences:
      - >-
        Alteração, Lei Orgânica da Saúde, Assistência terapêutica integral,
        critério, Dispensação de medicamento.    
      - >-
        Alteração, Código de Processo Civil, critérios, adjudicação, bens
        imóveis, autorização, aplicação, bens móveis.
      - >-
        Alteração, Código Penal, tipicidade penal, desrespeito à ordem de
        vacinação, violação, ordem de prioridade, vacinação.
  - source_sentence: Isenção, taxa, pedágio, rodovia federal, motocicleta.
    sentences:
      - >-
        Alteração, decreto-lei federal, concessão, isenção, pagamento, pedágio,
        motocicleta, ciclomotor, triciclo.
      - "Suspensão, cobrança, juros, cheque especial, cartão de crédito, pandemia, coronavírus. Emergência social.\r\n\r\n"
      - Oferta, Absorvente feminino, unidade de saúde, Atenção primária à saúde.
  - source_sentence: Criação, Dia Nacional, Verdade, comemoração, outubro.
    sentences:
      - 'Criação, Dia Nacional do Perito Odontolegista, comemoração, setembro. '
      - >-
        Alteração, Lei de Participação nos Lucros das Empresas, garantia,
        autorização, abertura, comércio, domingo, feriado. 
      - >-
        Alteração, Estatuto do Idoso, requisito, exercício profissional,
        cuidador de idosos. _Poder público, estímulo, adoção, idoso, campanha
        educativa. 
pipeline_tag: sentence-similarity

SentenceTransformer based on rufimelo/Legal-BERTimbau-large

This is a sentence-transformers model finetuned from rufimelo/Legal-BERTimbau-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: rufimelo/Legal-BERTimbau-large
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("josedossantos/urf-txtIndexacao-legalbertimbau")
# Run inference
sentences = [
    'Criação, Dia Nacional, Verdade, comemoração, outubro.',
    'Criação, Dia Nacional do Perito Odontolegista, comemoração, setembro. ',
    'Alteração, Lei de Participação nos Lucros das Empresas, garantia, autorização, abertura, comércio, domingo, feriado. ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 10,962 training samples
  • Columns: sentence_0, sentence_1, and label
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1 label
    type string string int
    details
    • min: 10 tokens
    • mean: 51.67 tokens
    • max: 402 tokens
    • min: 13 tokens
    • mean: 53.91 tokens
    • max: 402 tokens
    • 0: ~51.50%
    • 1: ~48.50%
  • Samples:
    sentence_0 sentence_1 label
    Alteração, prorrogação, prazo, anistia, estrangeiro, ilegalidade, País, Brasil, requerimento, órgão público, registro provisório, visto de passaporte, regularização, permanência, território nacional.

    Alteração, Lei de Anistia ao Servidor Público, inclusão, beneficiário, anistia, ex-servidor, empregado, órgão público, empresa estatal, vinculação, Administração Pública. 0
    Alteração, Código Civil (2002), extinção, cobrança, laudêmio, transmissão, bem aforado. Alteração, Código Civil, autorização, cobrança, laudêmio, transmissão, bens, aforamento, aplicação de recursos, manutenção, entidade, instituição assistencial, instituição religiosa, obra filantrópica. 1
    Alteração, Código Penal, crime contra a liberdade sexual, tipicidade penal, violação sexual mediante fraude, utilização, sedação, reclusão. Alteração, Lei Caó, crime, fabricação, comercialização, distribuição, símbolo, emblema, divulgação, nazismo, fascismo, racismo, xenofobia, separatismo. 0
  • Loss: ContrastiveLoss with these parameters:
    {
        "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
        "margin": 0.5,
        "size_average": true
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • num_train_epochs: 1
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • prediction_loss_only: True
  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.0912 500 0.033
0.1824 1000 0.0247
0.2737 1500 0.0227
0.3649 2000 0.0194
0.4561 2500 0.0177
0.5473 3000 0.0173
0.6386 3500 0.0138
0.7298 4000 0.0127
0.8210 4500 0.0111
0.9122 5000 0.0107

Framework Versions

  • Python: 3.10.14
  • Sentence Transformers: 3.0.0
  • Transformers: 4.39.3
  • PyTorch: 2.2.0
  • Accelerate: 0.30.1
  • Datasets: 2.14.4
  • Tokenizers: 0.15.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}