phpaiola commited on
Commit
4e39cff
1 Parent(s): e0054db

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -66,7 +66,7 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
66
  hf_auth = 'HF_ACCESS_KEY'
67
 
68
  model_id = "recogna-nlp/Phi-Bode"
69
- gembode = AutoModelForCausalLM.from_pretrained(model_id, device_map={"":0}, trust_remote_code=True, token=hf_auth)
70
  tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token=hf_auth)
71
 
72
  def get_completion(model, tokenizer, query : str, input : str = '', device = 'cuda:0', max_new_tokens=128) -> str:
@@ -90,7 +90,7 @@ def get_completion(model, tokenizer, query : str, input : str = '', device = 'cu
90
  decoded = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
91
  return (decoded[len(prompt):])
92
 
93
- result = get_completion(model=gembode, tokenizer=tokenizer, query="Qual é a capital da França?")
94
  print(result)
95
  #Exemplo de resposta obtida: A capital da França é Paris. A cidade tem uma estratégia de transporte moderno difícil entre todos os lugares, incluindo ferroviário, busca, metro e línguações. Para obter uma avaliação completa da cidade, visita esta aumentar a experiência gastronômica, cultural e natural.
96
  ```
 
66
  hf_auth = 'HF_ACCESS_KEY'
67
 
68
  model_id = "recogna-nlp/Phi-Bode"
69
+ model = AutoModelForCausalLM.from_pretrained(model_id, device_map={"":0}, trust_remote_code=True, token=hf_auth)
70
  tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token=hf_auth)
71
 
72
  def get_completion(model, tokenizer, query : str, input : str = '', device = 'cuda:0', max_new_tokens=128) -> str:
 
90
  decoded = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
91
  return (decoded[len(prompt):])
92
 
93
+ result = get_completion(model=model, tokenizer=tokenizer, query="Qual é a capital da França?")
94
  print(result)
95
  #Exemplo de resposta obtida: A capital da França é Paris. A cidade tem uma estratégia de transporte moderno difícil entre todos os lugares, incluindo ferroviário, busca, metro e línguações. Para obter uma avaliação completa da cidade, visita esta aumentar a experiência gastronômica, cultural e natural.
96
  ```