--- license: apache-2.0 language: - sv - da - 'no' - is - en tags: - merge pipeline_tag: text-generation base_model: - timpal0l/Llama-3-8B-flashback-v1 - cognitivecomputations/dolphin-2.9-llama3-8b --- ![](https://huggingface.co./timpal0l/dolphin-2.9-llama3-8b-flashback/resolve/main/water_cat.png?download=true) ## How to use: ```python from transformers import pipeline pipe = pipeline( task="text-generation", model="dolphin-2.9-llama3-8b-flashback", device_map="auto" ) text = "Vad är meningen med livet?" prompt = f""" <|im_start|>system Du är en smart AI assistant som svarar på frågor.<|im_end|> <|im_start|>user {text}<|im_end|> <|im_start|>assistant """ pipe(prompt, max_length=512, do_sample=False) ``` ```python >>> "Meningen med livet är subjektiv och varierar från person till person. Vissa ser det som att uppnå sina mål, medan andra fokuserar på att hjälpa andra och göra världen ett bättre ställe. Det är viktigt att hitta en mening som passar just dig och ditt liv" ``` ## config.yaml ```yaml models: - model: timpal0l/Llama-3-8B-flashback-v1 # No parameters necessary for base model - model: cognitivecomputations/dolphin-2.9-llama3-8b parameters: density: 0.53 weight: 0.6 merge_method: dare_ties base_model: timpal0l/Llama-3-8B-flashback-v1 parameters: int8_mask: true dtype: bfloat16 ```