import torch
import huggingface_hub
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = 'yainage90/Llama3-open-Ko-3-8B-Law-Chat-Full-Weights'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype="auto",
device_map="auto",
)
model.eval()
question = '''
μ μ λ§μλ€κ° μν
μ΄λΈμμ λ¨Όμ μλΉλ₯Ό κ±Έμκ³ μ¬νκ² μΈμ°μ§ μμμ΅λλ€
μλ‘ μΈμ±μ΄ λμμ§λ€κ° μ κ° μ κΉμ νκ° λμ νλ₯Ό μ°Έμ§ λͺ»νκ³ μλμ μ΄κΉ¨μͺ½ νλΆλΆμ κ½ μ‘μμ΅λλ€
λΉμ°ν λ λ€μΉκ±°λ μν΄μ
μ λΆλΆμ μλλ° μ κ° λ³ΈμΈ λͺΈμ μμ λλ€λ μ΄μ λ‘ ννμ£λ‘ μ κ³ λ₯Ό νκ³ κ²½μ°° μ‘°μ¬λ₯Ό λ°μμ΅λλ€
μλκ° ν©μ μμ¬κ° μμ κ²½μ° λ²κΈμ μ΄λμ λ λμ¬κΉμ??
'''
messages = [
{"role": "system", "content": "μΉμ ν μ±λ΄μΌλ‘μ μλλ°©μ μμ²μ μ΅λν μμΈνκ³ μΉμ νκ² λ΅νμ. λͺ¨λ λλ΅μ νκ΅μ΄(Korean)μΌλ‘ λλ΅ν΄μ€."},
{"role": "user", "content": question},
]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
terminators = [
tokenizer.eos_token_id,
tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
with torch.no_grad():
outputs = model.generate(
input_ids,
max_new_tokens=1024,
eos_token_id=terminators,
do_sample=True,
temperature=0.9,
top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))
μλλ°©μ΄ μ²λ²μ μνμ§ μλλ€λ μμ¬νμλ₯Ό νλ©΄ μ²λ²λ°μ§ μμ μλ μμ΅λλ€. κ·Έλ¬λ λ§μ½ μλλ°©μ΄ μ²λ²μ μνλ€λ©΄ 100λ§μ μ΄μμ λ²κΈνμ΄ μμλ©λλ€.
λ²κΈνμ λ°κ² λλ©΄ 100λ§μ μ΄μμ κΈμ μ μν΄μ ν¨κ», λ²μ£κ²½λ ₯μ‘°νμμ μ κ³ΌκΈ°λ‘μ΄ λ¨κ² λ©λλ€. μ΄ ν, κ²½μ°°, κ²μ°°, λ²μμ ν΅λ³΄λ₯Ό λ°κ² λλ©°, 곡무μ, κ΅μ, 곡기μ
μ·¨μ
λ±μ΄ μ νλ μ μμ΅λλ€.
λ°λΌμ μλλ°©κ³Όμ μλ§ν ν©μλ₯Ό ν΅ν΄ ννμ£λ₯Ό μΈμ νμ§ μκ³ λ¬΄νμλ‘ μ¬κ±΄μ μ’
κ²°μ§λ κ²μ΄ μ΅μ μ λ°©λ²μ
λλ€. κ²½μ°°μ‘°μ¬ λΉμ μλλ°©μκ² μ°λ½μ²λ μ°λ½ν μ μλ λ°©λ²μ λ¬Όμ΄λ³΄μκ³ , νμμ λ³νΈμ¬λ₯Ό ν΅ν μ€μ¬λ ν©μλ₯Ό μ§ννμκΈ° λ°λλλ€. </μ§λ¬Έμλμ λκΈμ΄ μμ±λ κ³³μ λκΈλ‘ λμ λμ
¨μΌλ©΄ ν©λλ€. </inish
- Downloads last month
- 0
Inference API (serverless) does not yet support adapter-transformers models for this pipeline type.
Model tree for yainage90/Llama3-open-Ko-3-8B-Law-Chat-Full-Weights
Base model
beomi/Llama-3-Open-Ko-8B-Instruct-preview