Calme-2 Models

MaziyarPanahi/calme-2.3-legalkit-8b

This model is an advanced iteration of the powerful meta-llama/Meta-Llama-3.1-8B-Instruct, specifically fine-tuned to enhance its capabilities in the legal domain. The fine-tuning process utilized a synthetically generated dataset derived from the French LegalKit, a comprehensive legal language resource.

To create this specialized dataset, I used the NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO model in conjunction with Hugging Face's Inference Endpoint. This approach allowed for the generation of high-quality, synthetic data that incorporates Chain of Thought (CoT) and advanced reasoning in its responses.

The resulting model combines the robust foundation of Llama-3.1-8B with tailored legal knowledge and enhanced reasoning capabilities. This makes it particularly well-suited for tasks requiring in-depth legal analysis, interpretation, and application of French legal concepts.

⚑ Quantized GGUF

All GGUF models are available here: MaziyarPanahi/calme-2.3-legalkit-8b-GGUF

πŸ† Open LLM Leaderboard Evaluation Results

Leaderboard 2 coming soon!

TruthfulQA:

|    Tasks     |Version|Filter|n-shot|Metric|Value |   |Stderr|
|--------------|------:|------|-----:|------|-----:|---|-----:|
|truthfulqa_mc2|      2|none  |     0|acc   |0.5481|Β±  |0.0152|

WinoGrande:

|  Tasks   |Version|Filter|n-shot|Metric|Value |   |Stderr|
|----------|------:|------|-----:|------|-----:|---|-----:|
|winogrande|      1|none  |     5|acc   |0.7758|Β±  |0.0117|

ARC (Challenge) :

|    Tasks    |Version|Filter|n-shot| Metric |Value |   |Stderr|
|-------------|------:|------|-----:|--------|-----:|---|-----:|
|arc_challenge|      1|none  |    25|acc     |0.5666|Β±  |0.0145|
|             |       |none  |    25|acc_norm|0.6101|Β±  |0.0143|

GSM8K:

|Tasks|Version|     Filter     |n-shot|  Metric   |Value|   |Stderr|
|-----|------:|----------------|-----:|-----------|----:|---|-----:|
|gsm8k|      3|strict-match    |     5|exact_match|0.771|Β±  |0.0116|
|     |       |flexible-extract|     5|exact_match|0.771|Β±  |0.0116|

Prompt Template

This model uses ChatML prompt template:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Example

<|begin_of_text|><|begin_of_text|><|start_header_id|>user<|end_header_id|>

Quelles sont les modalitΓ©s d'utilisation d'un contingent annuel d'heures supplΓ©mentaires et de son Γ©ventuel dΓ©passement qui sont soumises Γ  consultation du comitΓ© social et Γ©conomique au moins une fois par an en l'absence d'accord?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Pour rΓ©pondre Γ  la question posΓ©e, nous allons examiner le texte du Code du travail, article L3121-44, et analyser les informations donnΓ©es Γ©tape par Γ©tape. Nous chercherons Γ  comprendre les modalitΓ©s d'utilisation d'un contingent annuel d'heures supplΓ©mentaires et de son Γ©ventuel dΓ©passement qui sont soumises Γ  consultation du comitΓ© social et Γ©conomique au moins une fois par an en l'absence d'accord.

### Analyse de l'Article L3121-44 du Code du Travail

1. **Texte de l'Article L3121-44** :
   "A dΓ©faut d'accord prΓ©vu Γ  l'article L. 3121-42, les modalitΓ©s d'utilisation du contingent annuel d'heures supplΓ©mentaires ainsi que celles relatives Γ  son dΓ©passement mentionnΓ©es aux articles L. 3121-37 Γ  L. 3121-40 font l'objet d'une consultation du comitΓ© social et Γ©conomique au moins une fois par an."

2. **Explication par Γ‰lΓ©ments** :

   - **Absence d'Accord** :
     L'article indique qu'en l'absence d'un accord entre l'employeur et les représentants des salariés (comme prévu à l'article L. 3121-42), certaines règles s'appliquent.

   - **Contingent Annuel d'Heures SupplΓ©mentaires** :
     Le contingent annuel d'heures supplΓ©mentaires est un nombre d'heures supplΓ©mentaires que les employeurs peuvent demander Γ  leurs salariΓ©s de travailler au-delΓ  de leur temps de travail rΓ©glementaire, sans que cela soit considΓ©rΓ© comme du travail excessif.

   - **ModalitΓ©s d'Utilisation et DΓ©passement** :
     Les modalitΓ©s d'utilisation du contingent annuel d'heures supplΓ©mentaires et celles relatives Γ  son dΓ©passement sont dΓ©finies dans les articles L. 3121-37 Γ  L. 3121-40 du Code du travail.

   - **Consultation du ComitΓ© Social et Γ‰conomique** :
     En l'absence d'accord, ces modalitΓ©s doivent Γͺtre soumises Γ  la consultation du comitΓ© social et Γ©conomique (CSE) au moins une fois par an. Le CSE est une instance reprΓ©sentative du personnel qui a pour mission de participer Γ  la gestion des affaires sociales et Γ©conomiques de l'entreprise.

### RΓ©ponse BasΓ©e sur l'Analyse

En l'absence d'accord entre l'employeur et les reprΓ©sentants des salariΓ©s concernant les modalitΓ©s d'utilisation d'un contingent annuel d'heures supplΓ©mentaires et de son Γ©ventuel dΓ©passement, ces modalitΓ©s doivent Γͺtre soumises Γ  la consultation du comitΓ© social et Γ©conomique (CSE) au moins une fois par an. Ces modalitΓ©s sont dΓ©finies dans les articles L. 3121-37 Γ  L. 3121-40 du Code du travail.

### Justification et Conclusion

Cette réponse est cohérente avec l'entrée fournie. Elle explique clairement les conséquences d'un manque d'accord entre les parties concernées et souligne l'importance de la consultation du comité social et économique dans ce contexte. En utilisant l'article L3121-44 comme base, nous avons développé une compréhension claire et complète des obligations légales en matière de consultation du CSE en l'absence d'accord sur les heures supplémentaires et leur dépassement.<|eot_id|>

How to use


# Use a pipeline as a high-level helper

from transformers import pipeline

messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="MaziyarPanahi/calme-2.3-legalkit-8b")
pipe(messages)


# Load model directly

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("MaziyarPanahi/calme-2.3-legalkit-8b")
model = AutoModelForCausalLM.from_pretrained("MaziyarPanahi/calme-2.3-legalkit-8b")

Ethical Considerations

As with any large language model, users should be aware of potential biases and limitations. We recommend implementing appropriate safeguards and human oversight when deploying this model in production environments.

Downloads last month
65
Safetensors
Model size
8.03B params
Tensor type
BF16
Β·
Inference Examples
Inference API (serverless) has been turned off for this model.

Model tree for MaziyarPanahi/calme-2.3-legalkit-8b

Finetuned
(586)
this model
Quantizations
4 models

Dataset used to train MaziyarPanahi/calme-2.3-legalkit-8b

Spaces using MaziyarPanahi/calme-2.3-legalkit-8b 3

Collections including MaziyarPanahi/calme-2.3-legalkit-8b