Update README.md
Browse files
README.md
CHANGED
@@ -66,7 +66,7 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
66 |
hf_auth = 'HF_ACCESS_KEY'
|
67 |
|
68 |
model_id = "recogna-nlp/Phi-Bode"
|
69 |
-
|
70 |
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token=hf_auth)
|
71 |
|
72 |
def get_completion(model, tokenizer, query : str, input : str = '', device = 'cuda:0', max_new_tokens=128) -> str:
|
@@ -90,7 +90,7 @@ def get_completion(model, tokenizer, query : str, input : str = '', device = 'cu
|
|
90 |
decoded = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
|
91 |
return (decoded[len(prompt):])
|
92 |
|
93 |
-
result = get_completion(model=
|
94 |
print(result)
|
95 |
#Exemplo de resposta obtida: A capital da França é Paris. A cidade tem uma estratégia de transporte moderno difícil entre todos os lugares, incluindo ferroviário, busca, metro e línguações. Para obter uma avaliação completa da cidade, visita esta aumentar a experiência gastronômica, cultural e natural.
|
96 |
```
|
|
|
66 |
hf_auth = 'HF_ACCESS_KEY'
|
67 |
|
68 |
model_id = "recogna-nlp/Phi-Bode"
|
69 |
+
model = AutoModelForCausalLM.from_pretrained(model_id, device_map={"":0}, trust_remote_code=True, token=hf_auth)
|
70 |
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token=hf_auth)
|
71 |
|
72 |
def get_completion(model, tokenizer, query : str, input : str = '', device = 'cuda:0', max_new_tokens=128) -> str:
|
|
|
90 |
decoded = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
|
91 |
return (decoded[len(prompt):])
|
92 |
|
93 |
+
result = get_completion(model=model, tokenizer=tokenizer, query="Qual é a capital da França?")
|
94 |
print(result)
|
95 |
#Exemplo de resposta obtida: A capital da França é Paris. A cidade tem uma estratégia de transporte moderno difícil entre todos os lugares, incluindo ferroviário, busca, metro e línguações. Para obter uma avaliação completa da cidade, visita esta aumentar a experiência gastronômica, cultural e natural.
|
96 |
```
|