Hugging Face's logo

Lettria
/
idf-go_embedder-contrastive-after_epoch_0

Sentence Similarity
sentence-transformers
ONNX
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:6260
loss:ContrastiveLoss
Eval Results
text-embeddings-inference
Inference Endpoints
Model card Files Community
romain125 commited on
Commit
e1c1065
·
verified ·
1 Parent(s): 72734cc

Add new SentenceTransformer model

Browse files
Files changed (11) hide show
  1. .gitattributes +1 -0
  2. 1_Pooling/config.json +10 -0
  3. README.md +729 -0
  4. config.json +28 -0
  5. config_sentence_transformers.json +10 -0
  6. model.safetensors +3 -0
  7. modules.json +20 -0
  8. sentence_bert_config.json +4 -0
  9. special_tokens_map.json +51 -0
  10. tokenizer.json +3 -0
  11. tokenizer_config.json +62 -0
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,729 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - sentence-similarity
5
+ - feature-extraction
6
+ - generated_from_trainer
7
+ - dataset_size:6260
8
+ - loss:ContrastiveLoss
9
+ base_model: intfloat/multilingual-e5-base
10
+ widget:
11
+ - source_sentence: "Type de project: Le projet porté par la structure candidate doit\
12
+ \ associer plusieurs structures professionnelles franciliennes. Ces structures\
13
+ \ s’engagent à mutualiser leurs moyens et compétences en vue d’un projet commun.\
14
+ \ Le projet doit concerner un nombre significatif d’équipes artistiques ou de\
15
+ \ projets artistiques professionnels.\n Il s'agit d'une aide : \n À l’incubation\
16
+ \ de projets artistiques et au compagnonnage. Cette aide vise à offrir aux artistes\
17
+ \ une aide à la structuration économique, administrative, à l’insertion professionnelle,\
18
+ \ à la mise en réseau.\n Et/ou : Au repérage artistique et à la visibilité. Cette\
19
+ \ aide vise à valoriser des projets artistiques en cours de création ou déjà finalisés,\
20
+ \ en vue de leur production et de leur diffusion, et à encourager la rencontre\
21
+ \ et les collaborations entre des artistes et des structures professionnelles. Plus\
22
+ \ de détails dans la délibération."
23
+ sentences:
24
+ - '[structure candidate] (organisation)'
25
+ - '[structure accompagnatrice](organisation) --- AGRÉÉ_PAR ---> [État](organisation)'
26
+ - '[Lundi 19 Février 2024] (date)'
27
+ - source_sentence: 'Procédures et démarches: La demande est à effectuer en ligne sur
28
+ la plateforme mesdemarches.iledefrance.frLes dates limites de dépôt sont : avant
29
+ le 1er décembre, le 1er février, le 1er juin ou le 16 août 2024 (pour une réponse
30
+ fin novembre).
31
+
32
+ Bénéficiaires: Association - Fondation, Association - Régie par la loi de 1901,
33
+ Association - ONG, Collectivité ou institution - Communes de 10 000 à 20 000 hab,
34
+ Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution
35
+ - Communes de < 2000 hab, Collectivité ou institution - Communes de > 20 000 hab,
36
+ Collectivité ou institution - Département, Collectivité ou institution - EPCI,
37
+ Collectivité ou institution - EPT / Métropole du Grand Paris, Collectivité ou
38
+ institution - Bailleurs sociaux, Collectivité ou institution - Autre (GIP, copropriété,
39
+ EPA...), Collectivité ou institution - Office de tourisme intercommunal
40
+
41
+ Précision sure les bénéficiaires: nan'
42
+ sentences:
43
+ - '[petites entreprises innovantes franciliennes](bénéficiaire) --- INCLUT --->
44
+ [Professionnel - PME < 250](bénéficiaire)'
45
+ - '[plateforme mesdemarches.iledefrance.fr](plateforme) --- BÉNÉFICIAIRE ---> [Association
46
+ - Fondation](entité)'
47
+ - '[mesdemarches.iledefrance.fr](plateforme) --- ACCEPTE_DOSSIERS ---> [Collectivité
48
+ ou institution - Communes de 2000 à 10 000 hab](organisation)'
49
+ - source_sentence: 'Procédures et démarches: Pour bénéficier de ce programme, il convient
50
+ de s’inscrire directement auprès de l’association 100 000 Entrepreneurs.
51
+
52
+ Bénéficiaires: Particulier - Lycéen, Établissement d''enseignement secondaire
53
+
54
+ Précision sure les bénéficiaires: Elèves de 4ème, 3ème, Seconde, Première, Terminale'
55
+ sentences:
56
+ - '[collaborateurs et collaboratrices d’entreprises] (groupe)'
57
+ - '[Collectivité ou institution - Autre (GIP, copropriété, EPA...)] (bénéficiaire)'
58
+ - '[prévention contre discrimination] (thématique)'
59
+ - source_sentence: 'Type de project: L’appel à projets vise l''émergence de lieux
60
+ ouverts et collaboratifs favorisant le développement des entreprises par l’innovation,
61
+ en leur permettant d''accéder à un ensemble de services, d’espaces et d’équipements
62
+ mutualisés, dont : Des unités industrielles partagées ou plateformes de service
63
+ permettant à des entreprises d''une même filière de mutualiser leurs investissements.Des
64
+ espaces destinés à :- Une mise en commun de compétences techniques permettant
65
+ aux entreprises de mutualiser leurs travaux de R&D et/ou les investissements nécessaires
66
+ à la conduite de travaux de R&D,- Une mise en place d’outils collaboratifs. Concrètement,
67
+ les projets attendus s''apparentent à : Une plateforme technologique, Un site
68
+ de R&D collaborative appliquée, Un site d’essais et d’expérimentations, Un banc
69
+ d’essai mutualisé, Une unité industrielle pilote, Un incubateur, Un accélérateur...'
70
+ sentences:
71
+ - '[mesdemarches.iledefrance.fr](plateforme) --- ACCEPTE_DOSSIERS ---> [Collectivité
72
+ ou institution - Communes de > 20 000 hab](organisation)'
73
+ - '[mesdemarches.iledefrance.fr](plateforme) --- ACCEPTE_DEMANDE ---> [Professionnel
74
+ - Patrimoine](bénéficiaire)'
75
+ - '[banc d’essai mutualisé](concept) --- APPARTIENT ---> [projets](__inferred__)'
76
+ - source_sentence: 'Procédures et démarches: Dépôt du dossier de candidature sur la
77
+ plateforme des aides régionales (mesdemarches.iledefrance.fr).
78
+
79
+ Bénéficiaires: Collectivité ou institution - Communes de < 2000 hab, Collectivité
80
+ ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution -
81
+ Communes de 10 000 à 20 000 hab, Collectivité ou institution - Communes de > 20
82
+ 000 hab, Collectivité ou institution - EPCI, Collectivité ou institution - EPT
83
+ / Métropole du Grand Paris, Collectivité ou institution - Département, Collectivité
84
+ ou institution - Bailleurs sociaux, Collectivité ou institution - Autre (GIP,
85
+ copropriété, EPA...)
86
+
87
+ Précision sure les bénéficiaires: Toutes les structures de droit public ou de
88
+ droit privé'
89
+ sentences:
90
+ - '[Collectivité ou institution - Communes de < 2000 hab] (collectivité)'
91
+ - '[petites entreprises innovantes franciliennes](bénéficiaire) --- INCLUT --->
92
+ [Professionnel - Créateur d''entreprise](bénéficiaire)'
93
+ - '[établissement d''enseignement secondaire](organisation) --- DESTINE_A ---> [élèves
94
+ des lycées franciliens](groupe)'
95
+ datasets:
96
+ - Lettria/GRAG-GO-IDF-Pos-Neg
97
+ pipeline_tag: sentence-similarity
98
+ library_name: sentence-transformers
99
+ metrics:
100
+ - pearson_cosine
101
+ - spearman_cosine
102
+ - cosine_accuracy
103
+ - cosine_accuracy_threshold
104
+ - cosine_f1
105
+ - cosine_f1_threshold
106
+ - cosine_precision
107
+ - cosine_recall
108
+ - cosine_ap
109
+ model-index:
110
+ - name: SentenceTransformer based on intfloat/multilingual-e5-base
111
+ results:
112
+ - task:
113
+ type: semantic-similarity
114
+ name: Semantic Similarity
115
+ dataset:
116
+ name: EmbeddingSimEval
117
+ type: EmbeddingSimEval
118
+ metrics:
119
+ - type: pearson_cosine
120
+ value: 0.5444068848606196
121
+ name: Pearson Cosine
122
+ - type: spearman_cosine
123
+ value: 0.48932091320327376
124
+ name: Spearman Cosine
125
+ - task:
126
+ type: binary-classification
127
+ name: Binary Classification
128
+ dataset:
129
+ name: BinaryClassifEval
130
+ type: BinaryClassifEval
131
+ metrics:
132
+ - type: cosine_accuracy
133
+ value: 0.8604091456077015
134
+ name: Cosine Accuracy
135
+ - type: cosine_accuracy_threshold
136
+ value: 0.8192634582519531
137
+ name: Cosine Accuracy Threshold
138
+ - type: cosine_f1
139
+ value: 0.9166067577282532
140
+ name: Cosine F1
141
+ - type: cosine_f1_threshold
142
+ value: 0.8192634582519531
143
+ name: Cosine F1 Threshold
144
+ - type: cosine_precision
145
+ value: 0.8750857927247769
146
+ name: Cosine Precision
147
+ - type: cosine_recall
148
+ value: 0.9622641509433962
149
+ name: Cosine Recall
150
+ - type: cosine_ap
151
+ value: 0.9556819734522246
152
+ name: Cosine Ap
153
+ ---
154
+
155
+ # SentenceTransformer based on intfloat/multilingual-e5-base
156
+
157
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) on the [grag-go-idf-pos-neg](https://huggingface.co/datasets/Lettria/GRAG-GO-IDF-Pos-Neg) dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
158
+
159
+ ## Model Details
160
+
161
+ ### Model Description
162
+ - **Model Type:** Sentence Transformer
163
+ - **Base model:** [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) <!-- at revision d13f1b27baf31030b7fd040960d60d909913633f -->
164
+ - **Maximum Sequence Length:** 512 tokens
165
+ - **Output Dimensionality:** 768 dimensions
166
+ - **Similarity Function:** Cosine Similarity
167
+ - **Training Dataset:**
168
+ - [grag-go-idf-pos-neg](https://huggingface.co/datasets/Lettria/GRAG-GO-IDF-Pos-Neg)
169
+ <!-- - **Language:** Unknown -->
170
+ <!-- - **License:** Unknown -->
171
+
172
+ ### Model Sources
173
+
174
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
175
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
176
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
177
+
178
+ ### Full Model Architecture
179
+
180
+ ```
181
+ SentenceTransformer(
182
+ (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
183
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
184
+ (2): Normalize()
185
+ )
186
+ ```
187
+
188
+ ## Usage
189
+
190
+ ### Direct Usage (Sentence Transformers)
191
+
192
+ First install the Sentence Transformers library:
193
+
194
+ ```bash
195
+ pip install -U sentence-transformers
196
+ ```
197
+
198
+ Then you can load this model and run inference.
199
+ ```python
200
+ from sentence_transformers import SentenceTransformer
201
+
202
+ # Download from the 🤗 Hub
203
+ model = SentenceTransformer("Lettria/idf-chunk_embedder-contrastive-after_epoch_0")
204
+ # Run inference
205
+ sentences = [
206
+ 'Procédures et démarches: Dépôt du dossier de candidature sur la plateforme des aides régionales (mesdemarches.iledefrance.fr).\nBénéficiaires: Collectivité ou institution - Communes de < 2000 hab, Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution - Communes de 10 000 à 20 000 hab, Collectivité ou institution - Communes de > 20 000 hab, Collectivité ou institution - EPCI, Collectivité ou institution - EPT / Métropole du Grand Paris, Collectivité ou institution - Département, Collectivité ou institution - Bailleurs sociaux, Collectivité ou institution - Autre (GIP, copropriété, EPA...)\nPrécision sure les bénéficiaires: Toutes les structures de droit public ou de droit privé',
207
+ '[Collectivité ou institution - Communes de < 2000 hab] (collectivité)',
208
+ "[petites entreprises innovantes franciliennes](bénéficiaire) --- INCLUT ---> [Professionnel - Créateur d'entreprise](bénéficiaire)",
209
+ ]
210
+ embeddings = model.encode(sentences)
211
+ print(embeddings.shape)
212
+ # [3, 768]
213
+
214
+ # Get the similarity scores for the embeddings
215
+ similarities = model.similarity(embeddings, embeddings)
216
+ print(similarities.shape)
217
+ # [3, 3]
218
+ ```
219
+
220
+ <!--
221
+ ### Direct Usage (Transformers)
222
+
223
+ <details><summary>Click to see the direct usage in Transformers</summary>
224
+
225
+ </details>
226
+ -->
227
+
228
+ <!--
229
+ ### Downstream Usage (Sentence Transformers)
230
+
231
+ You can finetune this model on your own dataset.
232
+
233
+ <details><summary>Click to expand</summary>
234
+
235
+ </details>
236
+ -->
237
+
238
+ <!--
239
+ ### Out-of-Scope Use
240
+
241
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
242
+ -->
243
+
244
+ ## Evaluation
245
+
246
+ ### Metrics
247
+
248
+ #### Semantic Similarity
249
+
250
+ * Dataset: `EmbeddingSimEval`
251
+ * Evaluated with [<code>EmbeddingSimilarityEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)
252
+
253
+ | Metric | Value |
254
+ |:--------------------|:-----------|
255
+ | pearson_cosine | 0.5444 |
256
+ | **spearman_cosine** | **0.4893** |
257
+
258
+ #### Binary Classification
259
+
260
+ * Dataset: `BinaryClassifEval`
261
+ * Evaluated with [<code>BinaryClassificationEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.BinaryClassificationEvaluator)
262
+
263
+ | Metric | Value |
264
+ |:--------------------------|:-----------|
265
+ | cosine_accuracy | 0.8604 |
266
+ | cosine_accuracy_threshold | 0.8193 |
267
+ | cosine_f1 | 0.9166 |
268
+ | cosine_f1_threshold | 0.8193 |
269
+ | cosine_precision | 0.8751 |
270
+ | cosine_recall | 0.9623 |
271
+ | **cosine_ap** | **0.9557** |
272
+
273
+ <!--
274
+ ## Bias, Risks and Limitations
275
+
276
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
277
+ -->
278
+
279
+ <!--
280
+ ### Recommendations
281
+
282
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
283
+ -->
284
+
285
+ ## Training Details
286
+
287
+ ### Training Dataset
288
+
289
+ #### grag-go-idf-pos-neg
290
+
291
+ * Dataset: [grag-go-idf-pos-neg](https://huggingface.co/datasets/Lettria/GRAG-GO-IDF-Pos-Neg) at [ecbf53b](https://huggingface.co/datasets/Lettria/GRAG-GO-IDF-Pos-Neg/tree/ecbf53b42e74acaa0a5a7263640fb2f3dd53cc05)
292
+ * Size: 6,260 training samples
293
+ * Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
294
+ * Approximate statistics based on the first 1000 samples:
295
+ | | sentence1 | sentence2 | label |
296
+ |:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:------------------------------------------------|
297
+ | type | string | string | int |
298
+ | details | <ul><li>min: 16 tokens</li><li>mean: 192.75 tokens</li><li>max: 414 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 24.08 tokens</li><li>max: 79 tokens</li></ul> | <ul><li>0: ~15.70%</li><li>1: ~84.30%</li></ul> |
299
+ * Samples:
300
+ | sentence1 | sentence2 | label |
301
+ |:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------|:---------------|
302
+ | <code>Procédures et démarches: Les porteurs de projet peuvent déposer leurs dossiers de candidature toute l’année sur la plateforme des aides régionales mesdemarches.iledefrance.fr. Après examen par les services de la Région, les élus du Conseil régional désignent les initiatives lauréates et le montant de la dotation régionale prévisionnelle.<br>Bénéficiaires: Collectivité ou institution - Autre (GIP, copropriété, EPA...), Collectivité ou institution - Bailleurs sociaux, Collectivité ou institution - Communes de 10 000 à 20 000 hab, Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution - Communes de < 2000 hab, Collectivité ou institution - Communes de > 20 000 hab, Collectivité ou institution - Département, Collectivité ou institution - EPCI, Collectivité ou institution - EPT / Métropole du Grand Paris, Collectivité ou institution - Office de tourisme intercommunal, Association - Régie par la loi de 1901, Établissement d'enseignement secondaire, Établissemen...</code> | <code>[dotation régionale prévisionnelle] (__inferred__)</code> | <code>1</code> |
303
+ | <code>Type de project: Pour l'investissement, les dépenses éligibles concernent les aménagements et les rénovations de bâtiments, les constructions et les acquisitions de locaux ainsi que les gros travaux immobiliers.Pour l'équipement, les dépenses éligibles portent sur l'acquisition, la mise en conformité et le renouvellement des équipements destinés à un usage pédagogique, administratif ou destiné aux étudiants.</code> | <code>[investissement](typeDeProjet) --- CONCERNE ---> [gros travaux immobiliers](dépenseÉligible)</code> | <code>1</code> |
304
+ | <code>. Pour les demandes avec devis, transmettez votre demande de versement avec les factures acquittées (dans un délai maximal d'un an). Les factures indiquent un n° de chèque, un règlement CB, un virement,... Le versement prend la forme d'un paiement unique ou d’un paiement en 2 fois. Les dépenses prises en compte en HT portent sur une période maximale de 12 mois.</code> | <code>[DIM](label) --- ASSURER ---> [financement](concept)</code> | <code>0</code> |
305
+ * Loss: [<code>ContrastiveLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters:
306
+ ```json
307
+ {
308
+ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
309
+ "margin": 0.5,
310
+ "size_average": true
311
+ }
312
+ ```
313
+
314
+ ### Evaluation Dataset
315
+
316
+ #### grag-go-idf-pos-neg
317
+
318
+ * Dataset: [grag-go-idf-pos-neg](https://huggingface.co/datasets/Lettria/GRAG-GO-IDF-Pos-Neg) at [ecbf53b](https://huggingface.co/datasets/Lettria/GRAG-GO-IDF-Pos-Neg/tree/ecbf53b42e74acaa0a5a7263640fb2f3dd53cc05)
319
+ * Size: 1,662 evaluation samples
320
+ * Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
321
+ * Approximate statistics based on the first 1000 samples:
322
+ | | sentence1 | sentence2 | label |
323
+ |:--------|:-------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:------------------------------------------------|
324
+ | type | string | string | int |
325
+ | details | <ul><li>min: 24 tokens</li><li>mean: 178.38 tokens</li><li>max: 394 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 25.03 tokens</li><li>max: 136 tokens</li></ul> | <ul><li>0: ~19.60%</li><li>1: ~80.40%</li></ul> |
326
+ * Samples:
327
+ | sentence1 | sentence2 | label |
328
+ |:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------|:---------------|
329
+ | <code>Type de project: Le Fonds régional pour le tourisme est destiné aux actions ayant l'un de ces objectifs : La création, l’adaptation et le développement de l’offre d’activités et de loisirs ainsi que le renforcement de la sécurisation des sites touristiques et des visiteurs,La digitalisation de l’offre touristique pour accélérer la transformation numérique et favoriser l’innovation,La création d’offres d’hébergements touristiques durables contribuant à l’enrichissement de l’offre touristique régionale,Le soutien aux évènements gastronomiques d’envergure régionale. Afin que les professionnels du tourisme s’adaptent et contribuent à la transition durable de la destination Paris Île-de-France, l’aide régionale est attribuée sur la base de critères d’éco-conditionnalité.</code> | <code>[Fonds régional pour le tourisme](programme) --- DESTINÉ ---> [professionnels du tourisme](groupe)</code> | <code>1</code> |
330
+ | <code>Type de project: Les projets éligibles doivent être basés sur un projet de développement pluriannuel élaboré par chaque structure bénéficiaire concernée. Le projet de développement s’inscrit dans les orientations de sa fédération.Les formations doivent être professionnalisantes, diplômantes ou continues, en ce qui concerne l’encadrement éducatif et technique et les dirigeants bénévoles et officiels.Une attention particulière est portée sur les formations sur les thématiques de la prévention contre toutes violences, de discrimination et de radicalisation.</code> | <code>[dépôt des dossiers](événement) --- DÉLAI ---> [Commission](organisation)</code> | <code>0</code> |
331
+ | <code>Type de project: Les thématiques abordées, au titre du programme, comprennent la santé numérique et les risques de dépendance, la protection des données personnelles et la prévention des situations de harcèlement et de cyberharcèlement ; les interventions questionnent aussi les aspects numériques de la vie affective et sexuelle et son corollaire de risques tels que le "sexting", le "Revenge porn", le chantage sexuel et l'impact de la pornographie sur les jeunes.   A la demande des établissements, des focus thématiques peuvent être réalisés sur d'autres sujets comme la prévention des phénomènes de prostitution des mineurs, les problématiques liées aux jeux d'argent et de hasard en ligne ou encore la lutte contre la désinformation à travers une approche d'éducation aux médias et à l'information.   Les établissements bénéficiaires peuvent choisir jusqu'à deux thématiques qu'ils identifient comme prioritaires.</code> | <code>[sexting] (risque)</code> | <code>1</code> |
332
+ * Loss: [<code>ContrastiveLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters:
333
+ ```json
334
+ {
335
+ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
336
+ "margin": 0.5,
337
+ "size_average": true
338
+ }
339
+ ```
340
+
341
+ ### Training Hyperparameters
342
+ #### Non-Default Hyperparameters
343
+
344
+ - `eval_strategy`: epoch
345
+ - `per_device_train_batch_size`: 4
346
+ - `per_device_eval_batch_size`: 4
347
+ - `gradient_accumulation_steps`: 8
348
+ - `num_train_epochs`: 10
349
+ - `warmup_steps`: 626
350
+
351
+ #### All Hyperparameters
352
+ <details><summary>Click to expand</summary>
353
+
354
+ - `overwrite_output_dir`: False
355
+ - `do_predict`: False
356
+ - `eval_strategy`: epoch
357
+ - `prediction_loss_only`: True
358
+ - `per_device_train_batch_size`: 4
359
+ - `per_device_eval_batch_size`: 4
360
+ - `per_gpu_train_batch_size`: None
361
+ - `per_gpu_eval_batch_size`: None
362
+ - `gradient_accumulation_steps`: 8
363
+ - `eval_accumulation_steps`: None
364
+ - `torch_empty_cache_steps`: None
365
+ - `learning_rate`: 5e-05
366
+ - `weight_decay`: 0.0
367
+ - `adam_beta1`: 0.9
368
+ - `adam_beta2`: 0.999
369
+ - `adam_epsilon`: 1e-08
370
+ - `max_grad_norm`: 1.0
371
+ - `num_train_epochs`: 10
372
+ - `max_steps`: -1
373
+ - `lr_scheduler_type`: linear
374
+ - `lr_scheduler_kwargs`: {}
375
+ - `warmup_ratio`: 0.0
376
+ - `warmup_steps`: 626
377
+ - `log_level`: passive
378
+ - `log_level_replica`: warning
379
+ - `log_on_each_node`: True
380
+ - `logging_nan_inf_filter`: True
381
+ - `save_safetensors`: True
382
+ - `save_on_each_node`: False
383
+ - `save_only_model`: False
384
+ - `restore_callback_states_from_checkpoint`: False
385
+ - `no_cuda`: False
386
+ - `use_cpu`: False
387
+ - `use_mps_device`: False
388
+ - `seed`: 42
389
+ - `data_seed`: None
390
+ - `jit_mode_eval`: False
391
+ - `use_ipex`: False
392
+ - `bf16`: False
393
+ - `fp16`: False
394
+ - `fp16_opt_level`: O1
395
+ - `half_precision_backend`: auto
396
+ - `bf16_full_eval`: False
397
+ - `fp16_full_eval`: False
398
+ - `tf32`: None
399
+ - `local_rank`: 0
400
+ - `ddp_backend`: None
401
+ - `tpu_num_cores`: None
402
+ - `tpu_metrics_debug`: False
403
+ - `debug`: []
404
+ - `dataloader_drop_last`: False
405
+ - `dataloader_num_workers`: 0
406
+ - `dataloader_prefetch_factor`: None
407
+ - `past_index`: -1
408
+ - `disable_tqdm`: False
409
+ - `remove_unused_columns`: True
410
+ - `label_names`: None
411
+ - `load_best_model_at_end`: False
412
+ - `ignore_data_skip`: False
413
+ - `fsdp`: []
414
+ - `fsdp_min_num_params`: 0
415
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
416
+ - `fsdp_transformer_layer_cls_to_wrap`: None
417
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
418
+ - `deepspeed`: None
419
+ - `label_smoothing_factor`: 0.0
420
+ - `optim`: adamw_torch
421
+ - `optim_args`: None
422
+ - `adafactor`: False
423
+ - `group_by_length`: False
424
+ - `length_column_name`: length
425
+ - `ddp_find_unused_parameters`: None
426
+ - `ddp_bucket_cap_mb`: None
427
+ - `ddp_broadcast_buffers`: False
428
+ - `dataloader_pin_memory`: True
429
+ - `dataloader_persistent_workers`: False
430
+ - `skip_memory_metrics`: True
431
+ - `use_legacy_prediction_loop`: False
432
+ - `push_to_hub`: False
433
+ - `resume_from_checkpoint`: None
434
+ - `hub_model_id`: None
435
+ - `hub_strategy`: every_save
436
+ - `hub_private_repo`: False
437
+ - `hub_always_push`: False
438
+ - `gradient_checkpointing`: False
439
+ - `gradient_checkpointing_kwargs`: None
440
+ - `include_inputs_for_metrics`: False
441
+ - `eval_do_concat_batches`: True
442
+ - `fp16_backend`: auto
443
+ - `push_to_hub_model_id`: None
444
+ - `push_to_hub_organization`: None
445
+ - `mp_parameters`:
446
+ - `auto_find_batch_size`: False
447
+ - `full_determinism`: False
448
+ - `torchdynamo`: None
449
+ - `ray_scope`: last
450
+ - `ddp_timeout`: 1800
451
+ - `torch_compile`: False
452
+ - `torch_compile_backend`: None
453
+ - `torch_compile_mode`: None
454
+ - `dispatch_batches`: None
455
+ - `split_batches`: None
456
+ - `include_tokens_per_second`: False
457
+ - `include_num_input_tokens_seen`: False
458
+ - `neftune_noise_alpha`: None
459
+ - `optim_target_modules`: None
460
+ - `batch_eval_metrics`: False
461
+ - `eval_on_start`: False
462
+ - `use_liger_kernel`: False
463
+ - `eval_use_gather_object`: False
464
+ - `prompts`: None
465
+ - `batch_sampler`: batch_sampler
466
+ - `multi_dataset_batch_sampler`: proportional
467
+
468
+ </details>
469
+
470
+ ### Training Logs
471
+ <details><summary>Click to expand</summary>
472
+
473
+ | Epoch | Step | Training Loss | Validation Loss | EmbeddingSimEval_spearman_cosine | BinaryClassifEval_cosine_ap |
474
+ |:------:|:----:|:-------------:|:---------------:|:--------------------------------:|:---------------------------:|
475
+ | 0.0051 | 1 | 0.0194 | - | - | - |
476
+ | 0.0102 | 2 | 0.0198 | - | - | - |
477
+ | 0.0153 | 3 | 0.0146 | - | - | - |
478
+ | 0.0204 | 4 | 0.017 | - | - | - |
479
+ | 0.0256 | 5 | 0.0193 | - | - | - |
480
+ | 0.0307 | 6 | 0.0164 | - | - | - |
481
+ | 0.0358 | 7 | 0.0188 | - | - | - |
482
+ | 0.0409 | 8 | 0.0185 | - | - | - |
483
+ | 0.0460 | 9 | 0.0168 | - | - | - |
484
+ | 0.0511 | 10 | 0.0148 | - | - | - |
485
+ | 0.0562 | 11 | 0.0149 | - | - | - |
486
+ | 0.0613 | 12 | 0.018 | - | - | - |
487
+ | 0.0665 | 13 | 0.0149 | - | - | - |
488
+ | 0.0716 | 14 | 0.0189 | - | - | - |
489
+ | 0.0767 | 15 | 0.0206 | - | - | - |
490
+ | 0.0818 | 16 | 0.0138 | - | - | - |
491
+ | 0.0869 | 17 | 0.0193 | - | - | - |
492
+ | 0.0920 | 18 | 0.0169 | - | - | - |
493
+ | 0.0971 | 19 | 0.014 | - | - | - |
494
+ | 0.1022 | 20 | 0.0151 | - | - | - |
495
+ | 0.1073 | 21 | 0.0157 | - | - | - |
496
+ | 0.1125 | 22 | 0.0127 | - | - | - |
497
+ | 0.1176 | 23 | 0.0159 | - | - | - |
498
+ | 0.1227 | 24 | 0.0184 | - | - | - |
499
+ | 0.1278 | 25 | 0.0188 | - | - | - |
500
+ | 0.1329 | 26 | 0.0191 | - | - | - |
501
+ | 0.1380 | 27 | 0.012 | - | - | - |
502
+ | 0.1431 | 28 | 0.0142 | - | - | - |
503
+ | 0.1482 | 29 | 0.0131 | - | - | - |
504
+ | 0.1534 | 30 | 0.0153 | - | - | - |
505
+ | 0.1585 | 31 | 0.0123 | - | - | - |
506
+ | 0.1636 | 32 | 0.0127 | - | - | - |
507
+ | 0.1687 | 33 | 0.0186 | - | - | - |
508
+ | 0.1738 | 34 | 0.0112 | - | - | - |
509
+ | 0.1789 | 35 | 0.0149 | - | - | - |
510
+ | 0.1840 | 36 | 0.0174 | - | - | - |
511
+ | 0.1891 | 37 | 0.0115 | - | - | - |
512
+ | 0.1942 | 38 | 0.0106 | - | - | - |
513
+ | 0.1994 | 39 | 0.0138 | - | - | - |
514
+ | 0.2045 | 40 | 0.0161 | - | - | - |
515
+ | 0.2096 | 41 | 0.0134 | - | - | - |
516
+ | 0.2147 | 42 | 0.0138 | - | - | - |
517
+ | 0.2198 | 43 | 0.0083 | - | - | - |
518
+ | 0.2249 | 44 | 0.0094 | - | - | - |
519
+ | 0.2300 | 45 | 0.0097 | - | - | - |
520
+ | 0.2351 | 46 | 0.012 | - | - | - |
521
+ | 0.2403 | 47 | 0.0131 | - | - | - |
522
+ | 0.2454 | 48 | 0.0146 | - | - | - |
523
+ | 0.2505 | 49 | 0.0162 | - | - | - |
524
+ | 0.2556 | 50 | 0.0113 | - | - | - |
525
+ | 0.2607 | 51 | 0.0111 | - | - | - |
526
+ | 0.2658 | 52 | 0.0099 | - | - | - |
527
+ | 0.2709 | 53 | 0.0128 | - | - | - |
528
+ | 0.2760 | 54 | 0.0072 | - | - | - |
529
+ | 0.2812 | 55 | 0.0118 | - | - | - |
530
+ | 0.2863 | 56 | 0.0069 | - | - | - |
531
+ | 0.2914 | 57 | 0.0143 | - | - | - |
532
+ | 0.2965 | 58 | 0.0129 | - | - | - |
533
+ | 0.3016 | 59 | 0.0103 | - | - | - |
534
+ | 0.3067 | 60 | 0.0187 | - | - | - |
535
+ | 0.3118 | 61 | 0.0128 | - | - | - |
536
+ | 0.3169 | 62 | 0.0138 | - | - | - |
537
+ | 0.3220 | 63 | 0.021 | - | - | - |
538
+ | 0.3272 | 64 | 0.0142 | - | - | - |
539
+ | 0.3323 | 65 | 0.0144 | - | - | - |
540
+ | 0.3374 | 66 | 0.0164 | - | - | - |
541
+ | 0.3425 | 67 | 0.0115 | - | - | - |
542
+ | 0.3476 | 68 | 0.0122 | - | - | - |
543
+ | 0.3527 | 69 | 0.0125 | - | - | - |
544
+ | 0.3578 | 70 | 0.0119 | - | - | - |
545
+ | 0.3629 | 71 | 0.0098 | - | - | - |
546
+ | 0.3681 | 72 | 0.0112 | - | - | - |
547
+ | 0.3732 | 73 | 0.011 | - | - | - |
548
+ | 0.3783 | 74 | 0.0142 | - | - | - |
549
+ | 0.3834 | 75 | 0.0106 | - | - | - |
550
+ | 0.3885 | 76 | 0.0186 | - | - | - |
551
+ | 0.3936 | 77 | 0.011 | - | - | - |
552
+ | 0.3987 | 78 | 0.0125 | - | - | - |
553
+ | 0.4038 | 79 | 0.0115 | - | - | - |
554
+ | 0.4089 | 80 | 0.0155 | - | - | - |
555
+ | 0.4141 | 81 | 0.0093 | - | - | - |
556
+ | 0.4192 | 82 | 0.017 | - | - | - |
557
+ | 0.4243 | 83 | 0.0106 | - | - | - |
558
+ | 0.4294 | 84 | 0.0115 | - | - | - |
559
+ | 0.4345 | 85 | 0.0105 | - | - | - |
560
+ | 0.4396 | 86 | 0.0105 | - | - | - |
561
+ | 0.4447 | 87 | 0.0117 | - | - | - |
562
+ | 0.4498 | 88 | 0.0104 | - | - | - |
563
+ | 0.4550 | 89 | 0.0093 | - | - | - |
564
+ | 0.4601 | 90 | 0.0125 | - | - | - |
565
+ | 0.4652 | 91 | 0.012 | - | - | - |
566
+ | 0.4703 | 92 | 0.0077 | - | - | - |
567
+ | 0.4754 | 93 | 0.0095 | - | - | - |
568
+ | 0.4805 | 94 | 0.0087 | - | - | - |
569
+ | 0.4856 | 95 | 0.0072 | - | - | - |
570
+ | 0.4907 | 96 | 0.0142 | - | - | - |
571
+ | 0.4958 | 97 | 0.0053 | - | - | - |
572
+ | 0.5010 | 98 | 0.0072 | - | - | - |
573
+ | 0.5061 | 99 | 0.0096 | - | - | - |
574
+ | 0.5112 | 100 | 0.0082 | - | - | - |
575
+ | 0.5163 | 101 | 0.0053 | - | - | - |
576
+ | 0.5214 | 102 | 0.0072 | - | - | - |
577
+ | 0.5265 | 103 | 0.007 | - | - | - |
578
+ | 0.5316 | 104 | 0.0088 | - | - | - |
579
+ | 0.5367 | 105 | 0.0084 | - | - | - |
580
+ | 0.5419 | 106 | 0.0057 | - | - | - |
581
+ | 0.5470 | 107 | 0.0092 | - | - | - |
582
+ | 0.5521 | 108 | 0.0074 | - | - | - |
583
+ | 0.5572 | 109 | 0.0043 | - | - | - |
584
+ | 0.5623 | 110 | 0.0092 | - | - | - |
585
+ | 0.5674 | 111 | 0.0114 | - | - | - |
586
+ | 0.5725 | 112 | 0.0094 | - | - | - |
587
+ | 0.5776 | 113 | 0.0073 | - | - | - |
588
+ | 0.5827 | 114 | 0.0103 | - | - | - |
589
+ | 0.5879 | 115 | 0.0091 | - | - | - |
590
+ | 0.5930 | 116 | 0.0064 | - | - | - |
591
+ | 0.5981 | 117 | 0.011 | - | - | - |
592
+ | 0.6032 | 118 | 0.0085 | - | - | - |
593
+ | 0.6083 | 119 | 0.0061 | - | - | - |
594
+ | 0.6134 | 120 | 0.0036 | - | - | - |
595
+ | 0.6185 | 121 | 0.0087 | - | - | - |
596
+ | 0.6236 | 122 | 0.0072 | - | - | - |
597
+ | 0.6288 | 123 | 0.0028 | - | - | - |
598
+ | 0.6339 | 124 | 0.0116 | - | - | - |
599
+ | 0.6390 | 125 | 0.0156 | - | - | - |
600
+ | 0.6441 | 126 | 0.0048 | - | - | - |
601
+ | 0.6492 | 127 | 0.0049 | - | - | - |
602
+ | 0.6543 | 128 | 0.0048 | - | - | - |
603
+ | 0.6594 | 129 | 0.0021 | - | - | - |
604
+ | 0.6645 | 130 | 0.0085 | - | - | - |
605
+ | 0.6696 | 131 | 0.0058 | - | - | - |
606
+ | 0.6748 | 132 | 0.0067 | - | - | - |
607
+ | 0.6799 | 133 | 0.0162 | - | - | - |
608
+ | 0.6850 | 134 | 0.0056 | - | - | - |
609
+ | 0.6901 | 135 | 0.0035 | - | - | - |
610
+ | 0.6952 | 136 | 0.0069 | - | - | - |
611
+ | 0.7003 | 137 | 0.0018 | - | - | - |
612
+ | 0.7054 | 138 | 0.0026 | - | - | - |
613
+ | 0.7105 | 139 | 0.0111 | - | - | - |
614
+ | 0.7157 | 140 | 0.0041 | - | - | - |
615
+ | 0.7208 | 141 | 0.0098 | - | - | - |
616
+ | 0.7259 | 142 | 0.0045 | - | - | - |
617
+ | 0.7310 | 143 | 0.0059 | - | - | - |
618
+ | 0.7361 | 144 | 0.0068 | - | - | - |
619
+ | 0.7412 | 145 | 0.0065 | - | - | - |
620
+ | 0.7463 | 146 | 0.0085 | - | - | - |
621
+ | 0.7514 | 147 | 0.0077 | - | - | - |
622
+ | 0.7565 | 148 | 0.0047 | - | - | - |
623
+ | 0.7617 | 149 | 0.005 | - | - | - |
624
+ | 0.7668 | 150 | 0.0031 | - | - | - |
625
+ | 0.7719 | 151 | 0.0042 | - | - | - |
626
+ | 0.7770 | 152 | 0.0054 | - | - | - |
627
+ | 0.7821 | 153 | 0.0021 | - | - | - |
628
+ | 0.7872 | 154 | 0.004 | - | - | - |
629
+ | 0.7923 | 155 | 0.0027 | - | - | - |
630
+ | 0.7974 | 156 | 0.0033 | - | - | - |
631
+ | 0.8026 | 157 | 0.0044 | - | - | - |
632
+ | 0.8077 | 158 | 0.0063 | - | - | - |
633
+ | 0.8128 | 159 | 0.0078 | - | - | - |
634
+ | 0.8179 | 160 | 0.0046 | - | - | - |
635
+ | 0.8230 | 161 | 0.0076 | - | - | - |
636
+ | 0.8281 | 162 | 0.0136 | - | - | - |
637
+ | 0.8332 | 163 | 0.0048 | - | - | - |
638
+ | 0.8383 | 164 | 0.0049 | - | - | - |
639
+ | 0.8435 | 165 | 0.0048 | - | - | - |
640
+ | 0.8486 | 166 | 0.0064 | - | - | - |
641
+ | 0.8537 | 167 | 0.0038 | - | - | - |
642
+ | 0.8588 | 168 | 0.0087 | - | - | - |
643
+ | 0.8639 | 169 | 0.0067 | - | - | - |
644
+ | 0.8690 | 170 | 0.0011 | - | - | - |
645
+ | 0.8741 | 171 | 0.0067 | - | - | - |
646
+ | 0.8792 | 172 | 0.0054 | - | - | - |
647
+ | 0.8843 | 173 | 0.0069 | - | - | - |
648
+ | 0.8895 | 174 | 0.0084 | - | - | - |
649
+ | 0.8946 | 175 | 0.0038 | - | - | - |
650
+ | 0.8997 | 176 | 0.0029 | - | - | - |
651
+ | 0.9048 | 177 | 0.002 | - | - | - |
652
+ | 0.9099 | 178 | 0.0073 | - | - | - |
653
+ | 0.9150 | 179 | 0.0069 | - | - | - |
654
+ | 0.9201 | 180 | 0.0042 | - | - | - |
655
+ | 0.9252 | 181 | 0.0037 | - | - | - |
656
+ | 0.9304 | 182 | 0.0034 | - | - | - |
657
+ | 0.9355 | 183 | 0.0038 | - | - | - |
658
+ | 0.9406 | 184 | 0.0038 | - | - | - |
659
+ | 0.9457 | 185 | 0.007 | - | - | - |
660
+ | 0.9508 | 186 | 0.0019 | - | - | - |
661
+ | 0.9559 | 187 | 0.0073 | - | - | - |
662
+ | 0.9610 | 188 | 0.0054 | - | - | - |
663
+ | 0.9661 | 189 | 0.0082 | - | - | - |
664
+ | 0.9712 | 190 | 0.0058 | - | - | - |
665
+ | 0.9764 | 191 | 0.0028 | - | - | - |
666
+ | 0.9815 | 192 | 0.0036 | - | - | - |
667
+ | 0.9866 | 193 | 0.0046 | - | - | - |
668
+ | 0.9917 | 194 | 0.0066 | - | - | - |
669
+ | 0.9968 | 195 | 0.0056 | 0.0152 | 0.4893 | 0.9557 |
670
+
671
+ </details>
672
+
673
+ ### Framework Versions
674
+ - Python: 3.11.9
675
+ - Sentence Transformers: 3.3.1
676
+ - Transformers: 4.45.2
677
+ - PyTorch: 2.4.1+cu121
678
+ - Accelerate: 1.2.1
679
+ - Datasets: 3.2.0
680
+ - Tokenizers: 0.20.3
681
+
682
+ ## Citation
683
+
684
+ ### BibTeX
685
+
686
+ #### Sentence Transformers
687
+ ```bibtex
688
+ @inproceedings{reimers-2019-sentence-bert,
689
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
690
+ author = "Reimers, Nils and Gurevych, Iryna",
691
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
692
+ month = "11",
693
+ year = "2019",
694
+ publisher = "Association for Computational Linguistics",
695
+ url = "https://arxiv.org/abs/1908.10084",
696
+ }
697
+ ```
698
+
699
+ #### ContrastiveLoss
700
+ ```bibtex
701
+ @inproceedings{hadsell2006dimensionality,
702
+ author={Hadsell, R. and Chopra, S. and LeCun, Y.},
703
+ booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
704
+ title={Dimensionality Reduction by Learning an Invariant Mapping},
705
+ year={2006},
706
+ volume={2},
707
+ number={},
708
+ pages={1735-1742},
709
+ doi={10.1109/CVPR.2006.100}
710
+ }
711
+ ```
712
+
713
+ <!--
714
+ ## Glossary
715
+
716
+ *Clearly define terms in order to be accessible across audiences.*
717
+ -->
718
+
719
+ <!--
720
+ ## Model Card Authors
721
+
722
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
723
+ -->
724
+
725
+ <!--
726
+ ## Model Card Contact
727
+
728
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
729
+ -->
config.json ADDED
@@ -0,0 +1,28 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/home/ralb/graph-rag-toolbox/models/go_embedders/checkpoint-195",
3
+ "architectures": [
4
+ "XLMRobertaModel"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_id": 2,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 768,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 3072,
15
+ "layer_norm_eps": 1e-05,
16
+ "max_position_embeddings": 514,
17
+ "model_type": "xlm-roberta",
18
+ "num_attention_heads": 12,
19
+ "num_hidden_layers": 12,
20
+ "output_past": true,
21
+ "pad_token_id": 1,
22
+ "position_embedding_type": "absolute",
23
+ "torch_dtype": "float32",
24
+ "transformers_version": "4.48.2",
25
+ "type_vocab_size": 1,
26
+ "use_cache": true,
27
+ "vocab_size": 250002
28
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.4.1",
4
+ "transformers": "4.48.2",
5
+ "pytorch": "2.6.0+cu124"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": "cosine"
10
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d98ad4eb1c6508c550b4a65f78a372ecd03b9934a0f9364e70730401b12d51be
3
+ size 1112197096
modules.json ADDED
@@ -0,0 +1,20 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Normalize",
18
+ "type": "sentence_transformers.models.Normalize"
19
+ }
20
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 512,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
3
+ size 17082987
tokenizer_config.json ADDED
@@ -0,0 +1,62 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "250001": {
36
+ "content": "<mask>",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "bos_token": "<s>",
45
+ "clean_up_tokenization_spaces": true,
46
+ "cls_token": "<s>",
47
+ "eos_token": "</s>",
48
+ "extra_special_tokens": {},
49
+ "mask_token": "<mask>",
50
+ "max_length": 512,
51
+ "model_max_length": 512,
52
+ "pad_to_multiple_of": null,
53
+ "pad_token": "<pad>",
54
+ "pad_token_type_id": 0,
55
+ "padding_side": "right",
56
+ "sep_token": "</s>",
57
+ "stride": 0,
58
+ "tokenizer_class": "XLMRobertaTokenizer",
59
+ "truncation_side": "right",
60
+ "truncation_strategy": "longest_first",
61
+ "unk_token": "<unk>"
62
+ }