aimarsg/bernat_berria_contrastive

SentenceTransformer based on HiTZ/BERnaT_base

This is a sentence-transformers model finetuned from HiTZ/BERnaT_base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: HiTZ/BERnaT_base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("aimarsg/bernat_berria_contrastive")
# Run inference
sentences = [
    'Nola lotzen dira longterminismoa eta transhumanismoa korronte ideologiko gisa?',
    'Gaur egungo gizarteko supergaizkileak diren bilionarioak dira honen guztiaren bultzatzaile nagusietakoak, eraginkortasun honen helburu den longterminism edo epeluzerismoa bezala itzuli genezakeenarekin lotuta. Badakizu mundua pikutara bidaltzen ari diren bitartean nortzuk ari diren beraien burua salbatzeko ahalegin handiena egiten. Hauen hitzetan, ez da guztia desagertuko delako, noski ezetz, gizateria izan daitekeenaren potentziala gauzatzeko baizik. Eta epe luzeak eskaintzen duen potentzialaren izenean oso gauza arriskutsuak egin daitezke. Esaterako, orain eta hemen kaltetuak direnei erreparatzeari uztea. Epe luzeari begiratzen badiogu, Gazako gerrak ez duelako gizakiarentzat arrisku existentzialik suposatzen, adibidez. Horregatik gizatasun, etika edo sentimenduetan oinarritutako kausetan denbora galdu beharrean, eragin zabal bat duten horietara zuzendu beharko genuke gure indarra. Arrazoinamendu honetatik gizakiaren potentziala betetzen dela bermatzen duen eugenesiara ez dago ezer. Nick Bostrom filosofoak aipatzen dituen gure emozioak kontrolatzea ahalbidetuko duten aldaketa genetikoetara edo Elon Musk-ek bultzaturiko burmuinean egindako inplanteetara ere ez. Potentziala transhumanoa da. Aseguru etxeen algoritmoak onartuko duen bioingeniaritzarena. Gorputza eta espazioa konkistatu ahal izango duen kapitalarena. Ez da sentimentala. Eta ez da gurea.\n\nKorronte honek guztiak gizakiaren intuizio eta emozioen kontra egiten du epe luzeko teorian baina epe motzeko praktika beste zerbait izaten ari da. Azkenaldian ikusi ditugu, Estatu Batuetan eta Argentinan adibidez, (asmatutako) datuak eskutan, koadratzen ez dien ezer erraietatik ezabatzeko prest. Beharrezkoa den eraginkortasun objektibo bezala aurkeztuz murrizketa emozionala besterik ez dena.',
    'Kontzeptu hori, aldez edo moldez, toki askotatik ari dira azpimarratzen, Zuberogoitiaren aburuz; esate baterako, «ekologia sakonetik biologiaren korronte garaikide batzuetatik, feminismotik edota fisika',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.4317, 0.3214],
#         [0.4317, 1.0000, 0.2662],
#         [0.3214, 0.2662, 1.0000]])

Evaluation

Metrics

Triplet

• Dataset: multilingual-e5-large
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.8686

Training Details

Training Dataset

Unnamed Dataset

• Size: 55,314 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 7 tokens mean: 15.36 tokens max: 34 tokens	min: 67 tokens mean: 293.47 tokens max: 439 tokens

• Samples:

  anchor	positive
  Zergatik dio artikuluaren izenburuak "Ez gaude hemen"?	Ez gaude hemen Goizeko kafesnea zerbitzatzen dizunak ea asteburuko pilota partida ikusi zenuten galdetu dizu, gogorra izan zela, berak ez zuela faboritorik, ea zurea zein zen. Beti ematen du hizketarako gogoa duela, baina gaur bere alabak lehengo kimio saioa du. Ez da ari pilota partidan pentsatzen. Zure lankide apaina orain arte ikusi ez diozun arropa koloretsu batekin etorri da, ilea ondulatua, hortzak zuri. Nola egiten du? Liburu bat atera du poltsatik. «Zuretzako». Asteburuan irakurri duela, gustatu zaiola, eta nirekin gogoratu dela. Nola egiten du? Atzo bere lagun baten nebaz esan ziotena darabil buruan. Esan egin behar lioke? Badagokio? Eta egia bada? Gaua lorik egin gabe pasatu du, zuri eman dizun liburua irakurtzen. Pilateseko irakaslearentzat gaur, apirilak 1, lehenengo aldiz larrua jo zuen eguna da. Laranjak oso onak daudela esan dizun dendariak Adolescence telesailean beste ezertan ezin du pentsatu. «Zer moduz eguna?» whatsappez galdetu dizun lagunak inoizko haserre handien...
  Zein dira LABen proposamenak industria trantsiziorako plangintzei dagokienez?	Hori jakinda, LABek «bizitza kapitalaren gainetik» jarri behar dela aldarrikatu du, eta «sistema kapitalista heteropatriarkal, arrazista eta biozida gainditzeko» proposamen sorta bat egin du, zazpi ataletan zatituta. 1 Industria trantsiziorako plangintzak Enpresen plan estrategikoak negoziazio kolektiboaren menpe jartzea nahi du, eta, hortaz, enpresa batzordeetan eztabaidatzea eta bozkatzea, eta batzordeek horri buruzko beto ahalmena izatea. 2 Diru publikoaren erabilera LABen arabera, energia trantsiziorako jarritako diru publikoa ezin da mugatu ekimen pribatua laguntzera. Uste duenez, erakundeek zuzenean inplikatu behar dute jabetza publikoko proiektuen garapenean, eta krisian dauden enpresa industrialak erosi behar dituzte. Gainera, dirua jasotzen duten enpresek derrigortuta egon beharko lukete hamar urtez ez ixtera eta inor ez kanporatzera. «Itxierak, kaleratzeak edo murrizketak egin dituzten enpresek laguntza publikoen lehiaketetatik kanpo geratu behar dute, eta diru laguntza...
  Zenbat pakete inportatu zituen Europako Batasunak joan den urtean?	Pakete txikien zama handia Donald Trumpek abiarazitako merkataritza gerraren azpian badago beste merkataritza gerra bat, AEB Ameriketako Estatu Batuak eta EB Europako Batasuna, neurri txikiagoan bada ere, aspaldian irabazi ezinda dabiltzana: balio gutxiko salgaien inportazio neurrigabeena. Bereziki Txinatik datozen produktu horiek ez dute muga zergarik ordaintzen, eta Temu, Shein, Alibaba eta merkataritza elektronikoko beste plataforma handiek salbuespen hori baliatu dute azken urteetan negozioa handitzeko. AEBetan, 800 dolarretik beherako paketeei aplikatzen zaie salbuespena; EBn, aldiz, 150 euro baino gutxiagokoei. Bruselak salbuespena amaitzea proposatu die EBko herrialdeei. Europako Batzordeak proposatu du paketeei tasa bat kobratzen hastea, eta, horretarako, lege aldaketa hastea galdegin die Europako Parlamentuari eta Europako Kontseiluari. Zera proposatu du: pakete bakoitzeko bi euroko tasa ordainaraztea produktua norbanako batek erosten duenean zuzenean, eta 50 zentimokoa hand...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 55,324 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 15.31 tokens max: 30 tokens	min: 73 tokens mean: 293.29 tokens max: 418 tokens	min: 5 tokens mean: 140.17 tokens max: 411 tokens

• Samples:

  anchor	positive	negative
  Zein da Kanarietako lorratz ekologikoa munduko batez bestekoarekin alderatuta?	Auzoen lapurreta Etxebizitzari dagokionez, pisu turistikoen galgarik gabeko hazkundeak larriagotu du egoera. Mota horretako 53.938 etxebizitza daude orain uhartedian, 2022ko azaroan baino %39,7 gehiago. Dena den, gobernuak argitaratu du horiek erregulatzeko lege proiektu bat, adituen arabera, negozio horrekin amaitzeko balioko duena. Bizileku turistiko asko orain arte bertakoenak izan diren tokietan daude. Reyesen iritziz, mobilizatzeko arrazoi nagusietako bat da hori. Auzoak eta eremu naturalak lapurtu nahi dizkietela diote kanariar askok. Hernandezek sakondu du gaian, eta sakelakoek eragindako aldaketak nabarmendu ditu: «Pandemia osteko turistak gehiago mugitzen dira; gure auzoetan topatzen ditugu orain, gure jatetxeetan, gure txoko sekretuetan». Sare sozialei esker aurkitzen dituzte leku horiek. Etxebizitzaren inguruko aldarrikapenak Kanaria Handiko Las Palmas hirian, apirilaren 20an egindako manifestazioan. QUIQUE CURBELO / EFE Ekologistak Martxan-eko kideak, ezinbestean, hizpi...	Pradalesek arreta berezia jarri zuen gazteengan eta etxebizitza politikan. Onartu zuen etxebizitzarena «erronka handietako bat» dela gaur egun, eta, horregatik, iragarri zuen emantzipazioa errazteko eta erronka demografikoari aurre egiteko hainbat neurri hartuko dituela. Horien artean daude, besteak beste, alokairu sozialerako 7.000 etxebizitza eraikitzea eta aitatasun eta amatasun baimenak luzatzea. Ekonomiaren alorrean, iragarri zuen 2028rako industria plan bat osatuko duela, eta trantsizio energetikoa eta deskarbonizazioa sustatzeko erraztasunak emango dituela. Bizikidetzaren alorrean, «zoru etikoa» onartzeko beharra aldarrikatu zuen, zeinak «giza eskubideen urraketen biktima guztiak» aintzat hartuko dituen. Euskarari dagokionez, berriz, ezagutza eta erabilera sustatzeko beharra aipatu zuen, doakotasuna oinarri gisa hartuta. Urkulluri eskerrak emanez amaitu zuen hitzaldia, eta hark egindako lanari aitortza eginez. Lurzoru partekatua Otxandianok etorkizuneko herri proiektu parteka...
  Zein da Ukrainako presidente Zelenskiren onarpen maila ukrainarren artean?	Aurreko hilabeteetan, baina, AEBetako presidente Donald Trumpek ere iradoki izan du Ukrainan hauteskundeak egiteko garaia dela, eta Zelenski «diktadoretzat» jo izan du sare sozialetan. Gainera, otsailaren 19an emandako prentsaurreko batean, Etxe Zuriko maizterrak ziurtatu zuen Zelenskik ez duela ukrainarren babesik. «Nahiago nuke esan behar ez izatea, baina %4ko onarpen maila baino ez dauka», adierazi zuen. Ez zuen argitu datu hori zer iturritatik atera zuen. Azken inkestek bestelako joera bat erakusten dute: Kieveko Nazioarteko Soziologia Institutuak atzo argitaratutako inkesta baten arabera, Ukrainako herritarren %69k dute konfiantza egungo presidentearengan. Trumpek presidente kargua hartu aurretik ziurtatu zuen Etxe Zurira iritsi bezain laster amaiaraziko zuela Ukrainako gerra. Putinen ustez, Trumpek «benetan» nahi du Ukrainako gerra amaitu, eta, atzo azaldu zuenez, horregatik hitz egin du harekin hainbatetan. AEBetako presidenteak, ordea, oraingoz ez du lortu hori, baina Washingt...	Ukrainako presidente Volodimir Zelenskirentzat, «baldintzarik gabeko menia bat» lortzea da lehentasuna, eta, haren hitzetan, hori bera izango da biharko Londresko bilkuraren xedea.
  Zein dira Frantziako Gobernuaren politikak aberastasunaren banaketari dagokionez, sindikatuen iritziz?	Dominique Pons CGT sindikatuko ordezkariak garrantzia kendu zion LABen presentziari, azpimarratuta lehenago ere elkarrekin mobilizatu izan direla, baina Eñaut Aramendi sindikatu abertzaleko kideak baieztatu zuen segregazio sindikalik gabe iragaten den lehen mobilizazioa dela: «Egia da iazkoa egoera oso konplikatua izan zela [erretreten erreformaren kontrako protestetatik kanpo utzi zuten LAB]. Aurten lortu dugu Maiatzaren Lehena gehiengo sindikal batean antolatzen. Sindikatu batzuk baizik ez dira eskas; haiek esplikatu beharko dute zer interes duten Maiatzaren Lehenean ez mobilizatzeko». Besteak beste, FO sindikatuak ez du parte hartu nahi izan, baina bai CFDT, CGT, LAB, FSU-Snuipp, Solidaires eta UNSA sindikatuek, beste hainbat eragile politiko eta sozialekin batera. LABen bandera batu zitzaien lehen aldiz CGT, CFDT, FSU, UNSA eta Solidaires sindikatuetakoei, Baionan. PATXI BELTZAIZ Bukaeran irakurritako agiri bateratuan «bestelako aberastasunen banaketa» aldarrikatu zuten. «Hemen g...	Hala ere, Jon Hernandez legebiltzarkidearen iritziz, ezinbestekoa da aberastasunaren sorrerari erreparatu ordez haren banaketari behatzea.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• learning_rate: 2e-05
• warmup_ratio: 0.1
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	multilingual-e5-large_cosine_accuracy
0.0145	100	1.7255	-	-
0.0289	200	1.0445	-	-
0.0434	300	0.2619	-	-
0.0578	400	0.1713	-	-
0.0723	500	0.1398	-	-
0.0868	600	0.1109	-	-
0.1012	700	0.0688	-	-
0.1157	800	0.0642	-	-
0.1302	900	0.0639	-	-
0.1446	1000	0.0561	-	-
0.1591	1100	0.0524	-	-
0.1735	1200	0.0801	-	-
0.1880	1300	0.0592	-	-
0.2025	1400	0.0635	-	-
0.2169	1500	0.0539	-	-
0.2314	1600	0.0447	-	-
0.2458	1700	0.0535	-	-
0.2603	1800	0.0461	-	-
0.2748	1900	0.0308	-	-
0.2892	2000	0.0333	-	-
0.3037	2100	0.0429	-	-
0.3181	2200	0.0432	-	-
0.3326	2300	0.0428	-	-
0.3471	2400	0.0362	-	-
0.3615	2500	0.0536	-	-
0.3760	2600	0.0405	-	-
0.3905	2700	0.0582	-	-
0.4049	2800	0.0279	-	-
0.4194	2900	0.0322	-	-
0.4338	3000	0.0364	-	-
0.4483	3100	0.0372	-	-
0.4628	3200	0.0434	-	-
0.4772	3300	0.0341	-	-
0.4917	3400	0.044	-	-
0.5061	3500	0.0459	-	-
0.5206	3600	0.0215	-	-
0.5351	3700	0.0434	-	-
0.5495	3800	0.0371	-	-
0.5640	3900	0.0292	-	-
0.5785	4000	0.0198	-	-
0.5929	4100	0.0307	-	-
0.6074	4200	0.0276	-	-
0.6218	4300	0.0303	-	-
0.6363	4400	0.0271	-	-
0.6508	4500	0.0239	-	-
0.6652	4600	0.0206	-	-
0.6797	4700	0.03	-	-
0.6941	4800	0.0183	-	-
0.7086	4900	0.0195	-	-
0.7231	5000	0.0233	-	-
0.7375	5100	0.0273	-	-
0.7520	5200	0.0291	-	-
0.7664	5300	0.0316	-	-
0.7809	5400	0.0249	-	-
0.7954	5500	0.0174	-	-
0.8098	5600	0.0256	-	-
0.8243	5700	0.0236	-	-
0.8388	5800	0.0156	-	-
0.8532	5900	0.0232	-	-
0.8677	6000	0.0272	-	-
0.8821	6100	0.0204	-	-
0.8966	6200	0.0283	-	-
0.9111	6300	0.0111	-	-
0.9255	6400	0.0206	-	-
0.9400	6500	0.0322	-	-
0.9544	6600	0.0247	-	-
0.9689	6700	0.025	-	-
0.9834	6800	0.0165	-	-
0.9978	6900	0.02	-	-
1.0	6915	-	0.4372	0.8412
1.0123	7000	0.0114	-	-
1.0268	7100	0.0119	-	-
1.0412	7200	0.0099	-	-
1.0557	7300	0.0073	-	-
1.0701	7400	0.006	-	-
1.0846	7500	0.0194	-	-
1.0991	7600	0.0129	-	-
1.1135	7700	0.0177	-	-
1.1280	7800	0.0108	-	-
1.1424	7900	0.0129	-	-
1.1569	8000	0.013	-	-
1.1714	8100	0.0094	-	-
1.1858	8200	0.0071	-	-
1.2003	8300	0.0132	-	-
1.2148	8400	0.0096	-	-
1.2292	8500	0.0147	-	-
1.2437	8600	0.0153	-	-
1.2581	8700	0.0129	-	-
1.2726	8800	0.0184	-	-
1.2871	8900	0.0064	-	-
1.3015	9000	0.0114	-	-
1.3160	9100	0.0105	-	-
1.3304	9200	0.0166	-	-
1.3449	9300	0.0122	-	-
1.3594	9400	0.0135	-	-
1.3738	9500	0.009	-	-
1.3883	9600	0.0171	-	-
1.4027	9700	0.0131	-	-
1.4172	9800	0.0103	-	-
1.4317	9900	0.0135	-	-
1.4461	10000	0.0112	-	-
1.4606	10100	0.0096	-	-
1.4751	10200	0.0129	-	-
1.4895	10300	0.0073	-	-
1.5040	10400	0.0052	-	-
1.5184	10500	0.0139	-	-
1.5329	10600	0.0089	-	-
1.5474	10700	0.0176	-	-
1.5618	10800	0.0188	-	-
1.5763	10900	0.0215	-	-
1.5907	11000	0.0124	-	-
1.6052	11100	0.0149	-	-
1.6197	11200	0.0048	-	-
1.6341	11300	0.0075	-	-
1.6486	11400	0.0162	-	-
1.6631	11500	0.0066	-	-
1.6775	11600	0.0166	-	-
1.6920	11700	0.0147	-	-
1.7064	11800	0.011	-	-
1.7209	11900	0.0094	-	-
1.7354	12000	0.0114	-	-
1.7498	12100	0.0082	-	-
1.7643	12200	0.019	-	-
1.7787	12300	0.016	-	-
1.7932	12400	0.0093	-	-
1.8077	12500	0.021	-	-
1.8221	12600	0.0107	-	-
1.8366	12700	0.0086	-	-
1.8510	12800	0.0069	-	-
1.8655	12900	0.011	-	-
1.8800	13000	0.0058	-	-
1.8944	13100	0.0131	-	-
1.9089	13200	0.0106	-	-
1.9234	13300	0.0103	-	-
1.9378	13400	0.0051	-	-
1.9523	13500	0.0074	-	-
1.9667	13600	0.0045	-	-
1.9812	13700	0.0076	-	-
1.9957	13800	0.0086	-	-
2.0	13830	-	0.3585	0.8620
2.0101	13900	0.0121	-	-
2.0246	14000	0.0132	-	-
2.0390	14100	0.0051	-	-
2.0535	14200	0.0039	-	-
2.0680	14300	0.0056	-	-
2.0824	14400	0.0055	-	-
2.0969	14500	0.0152	-	-
2.1114	14600	0.0031	-	-
2.1258	14700	0.0094	-	-
2.1403	14800	0.0039	-	-
2.1547	14900	0.0018	-	-
2.1692	15000	0.0061	-	-
2.1837	15100	0.0069	-	-
2.1981	15200	0.0051	-	-
2.2126	15300	0.0031	-	-
2.2270	15400	0.0043	-	-
2.2415	15500	0.0094	-	-
2.2560	15600	0.0115	-	-
2.2704	15700	0.0039	-	-
2.2849	15800	0.002	-	-
2.2993	15900	0.0049	-	-
2.3138	16000	0.0022	-	-
2.3283	16100	0.0081	-	-
2.3427	16200	0.0029	-	-
2.3572	16300	0.0039	-	-
2.3717	16400	0.0058	-	-
2.3861	16500	0.0055	-	-
2.4006	16600	0.0035	-	-
2.4150	16700	0.0036	-	-
2.4295	16800	0.0058	-	-
2.4440	16900	0.0031	-	-
2.4584	17000	0.0068	-	-
2.4729	17100	0.0043	-	-
2.4873	17200	0.0079	-	-
2.5018	17300	0.0047	-	-
2.5163	17400	0.0059	-	-
2.5307	17500	0.0102	-	-
2.5452	17600	0.0051	-	-
2.5597	17700	0.0074	-	-
2.5741	17800	0.0027	-	-
2.5886	17900	0.0016	-	-
2.6030	18000	0.0061	-	-
2.6175	18100	0.0046	-	-
2.6320	18200	0.0036	-	-
2.6464	18300	0.0086	-	-
2.6609	18400	0.0048	-	-
2.6753	18500	0.0038	-	-
2.6898	18600	0.0088	-	-
2.7043	18700	0.0036	-	-
2.7187	18800	0.0031	-	-
2.7332	18900	0.0034	-	-
2.7477	19000	0.0082	-	-
2.7621	19100	0.0064	-	-
2.7766	19200	0.0034	-	-
2.7910	19300	0.0037	-	-
2.8055	19400	0.002	-	-
2.8200	19500	0.0023	-	-
2.8344	19600	0.0079	-	-
2.8489	19700	0.0061	-	-
2.8633	19800	0.0021	-	-
2.8778	19900	0.0045	-	-
2.8923	20000	0.0024	-	-
2.9067	20100	0.0057	-	-
2.9212	20200	0.0024	-	-
2.9356	20300	0.0047	-	-
2.9501	20400	0.0038	-	-
2.9646	20500	0.0073	-	-
2.9790	20600	0.0044	-	-
2.9935	20700	0.0067	-	-
3.0	20745	-	0.3347	0.8686

Framework Versions

• Python: 3.10.8
• Sentence Transformers: 5.1.0
• Transformers: 4.56.0
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}