Ffftdtd5dtft commited on
Commit
ee4c1bd
·
verified ·
1 Parent(s): 86ac97a

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -7
app.py CHANGED
@@ -1,13 +1,15 @@
1
  import gradio as gr
2
  import torch
3
  from diffusers import DiffusionPipeline
4
- from accelerate import init_empty_weights, load_checkpoint_and_dispatch, infer_auto_device_map
5
 
6
- # Configuración para usar bfloat16 y CUDA si está disponible
7
- dtype = torch.bfloat16
 
 
8
  device = "cuda" if torch.cuda.is_available() else "cpu"
9
 
10
- # Inicializar el modelo solo una vez y cargarlo en RAM y GPU
11
  pipe = None
12
 
13
  def load_model():
@@ -21,11 +23,11 @@ def load_model():
21
  "black-forest-labs/FLUX.1-schnell",
22
  torch_dtype=dtype
23
  )
24
- # Despachar los pesos a la GPU, evitando acceder a named_parameters
25
  pipe = load_checkpoint_and_dispatch(
26
  pipe,
27
  "black-forest-labs/FLUX.1-schnell",
28
- device_map="auto", # Automatiza el uso de RAM y GPU
29
  offload_folder=None # Evita que se almacenen los pesos temporalmente en el disco
30
  )
31
  pipe.to(device)
@@ -81,7 +83,8 @@ with gr.Blocks(css=css) as demo:
81
  show_label=False,
82
  max_lines=1,
83
  placeholder="Enter your prompt",
84
- container=False
 
85
  )
86
 
87
  run_button = gr.Button("Run", scale=0)
 
1
  import gradio as gr
2
  import torch
3
  from diffusers import DiffusionPipeline
4
+ from accelerate import init_empty_weights, load_checkpoint_and_dispatch
5
 
6
+ # Configuración para usar bfloat16 si está disponible y detección automática del dispositivo
7
+ dtype = torch.bfloat16 if torch.cuda.is_available() else torch.float32
8
+
9
+ # Detectar si CUDA está disponible, en caso contrario usar CPU
10
  device = "cuda" if torch.cuda.is_available() else "cpu"
11
 
12
+ # Inicializar el modelo solo una vez y cargarlo en RAM y GPU/CPU
13
  pipe = None
14
 
15
  def load_model():
 
23
  "black-forest-labs/FLUX.1-schnell",
24
  torch_dtype=dtype
25
  )
26
+ # Despachar los pesos al dispositivo adecuado (GPU o CPU)
27
  pipe = load_checkpoint_and_dispatch(
28
  pipe,
29
  "black-forest-labs/FLUX.1-schnell",
30
+ device_map="auto", # Automatiza el uso de RAM, GPU o CPU
31
  offload_folder=None # Evita que se almacenen los pesos temporalmente en el disco
32
  )
33
  pipe.to(device)
 
83
  show_label=False,
84
  max_lines=1,
85
  placeholder="Enter your prompt",
86
+ container=False,
87
+ max_length=10000000 # Máximo de 10,000,000 caracteres
88
  )
89
 
90
  run_button = gr.Button("Run", scale=0)