MisterAI commited on
Commit
2e1de0a
·
verified ·
1 Parent(s): 267e7c8

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +12 -39
app.py CHANGED
@@ -1,27 +1,16 @@
1
- #V02
2
-
3
  import gradio as gr
4
  from transformers import AutoTokenizer, AutoModelForCausalLM
5
  import torch
6
 
7
- # Liste des modèles disponibles
8
- model_list = [
9
- "fbaldassarri/tiiuae_Falcon3-1B-Instruct-autogptq-int8-gs128-asym",
10
- "MisterAI/jpacifico_Chocolatine-3B-Instruct-DPO-v1.2",
11
- # Ajoutez d'autres modèles ici
12
- ]
13
-
14
-
15
-
16
- import gradio as gr
17
- from transformers import AutoTokenizer, AutoModelForCausalLM
18
 
19
- def load_model(model_name):
20
  """Charge le modèle et le tokenizer"""
21
- if model_name is not None and model_name!= "":
22
- model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
23
- tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
24
- return model, tokenizer
25
 
26
  def generate_text(model, tokenizer, input_text, max_length, temperature):
27
  """Génère du texte en utilisant le modèle"""
@@ -29,25 +18,17 @@ def generate_text(model, tokenizer, input_text, max_length, temperature):
29
  output = model.generate(**inputs, max_length=max_length, temperature=temperature)
30
  return tokenizer.decode(output[0], skip_special_tokens=True)
31
 
32
- def main(model_name, input_text, max_length, temperature):
33
  """Fonction principale pour générer le texte"""
34
- if model_name is not None and model_name!= "":
35
- model, tokenizer = load_model(model_name)
36
- generated_text = generate_text(model, tokenizer, input_text, max_length, temperature)
37
- return generated_text
38
- else:
39
- return "Veuillez sélectionner un modèle"
40
 
41
  demo = gr.Blocks()
42
 
43
  with demo:
44
  gr.Markdown("# Modèle de Langage")
45
 
46
- with gr.Row():
47
- model_select = gr.Dropdown(model_list, label="Sélectionner un modèle")
48
- with gr.Row():
49
- load_button = gr.Button("Charger le modèle")
50
-
51
  with gr.Row():
52
  input_text = gr.Textbox(label="Texte d'entrée")
53
  with gr.Row():
@@ -57,18 +38,10 @@ with demo:
57
  submit_button = gr.Button("Soumettre")
58
 
59
  output_text = gr.Textbox(label="Texte généré")
60
- history = gr.JSON(label="Historique")
61
-
62
- load_button.click(
63
- load_model,
64
- inputs=model_name,
65
- outputs=None,
66
- queue=False
67
- )
68
 
69
  submit_button.click(
70
  main,
71
- inputs=[model_name, input_text, max_length_slider, temperature_slider],
72
  outputs=output_text,
73
  queue=False
74
  )
 
1
+ #V03
 
2
  import gradio as gr
3
  from transformers import AutoTokenizer, AutoModelForCausalLM
4
  import torch
5
 
6
+ # Modèle à utiliser
7
+ model_name = "fbaldassarri/tiiuae_Falcon3-1B-Instruct-autogptq-int8-gs128-asym"
 
 
 
 
 
 
 
 
 
8
 
9
+ def load_model():
10
  """Charge le modèle et le tokenizer"""
11
+ model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
12
+ tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
13
+ return model, tokenizer
 
14
 
15
  def generate_text(model, tokenizer, input_text, max_length, temperature):
16
  """Génère du texte en utilisant le modèle"""
 
18
  output = model.generate(**inputs, max_length=max_length, temperature=temperature)
19
  return tokenizer.decode(output[0], skip_special_tokens=True)
20
 
21
+ def main(input_text, max_length, temperature):
22
  """Fonction principale pour générer le texte"""
23
+ model, tokenizer = load_model()
24
+ generated_text = generate_text(model, tokenizer, input_text, max_length, temperature)
25
+ return generated_text
 
 
 
26
 
27
  demo = gr.Blocks()
28
 
29
  with demo:
30
  gr.Markdown("# Modèle de Langage")
31
 
 
 
 
 
 
32
  with gr.Row():
33
  input_text = gr.Textbox(label="Texte d'entrée")
34
  with gr.Row():
 
38
  submit_button = gr.Button("Soumettre")
39
 
40
  output_text = gr.Textbox(label="Texte généré")
 
 
 
 
 
 
 
 
41
 
42
  submit_button.click(
43
  main,
44
+ inputs=[input_text, max_length_slider, temperature_slider],
45
  outputs=output_text,
46
  queue=False
47
  )