File size: 1,623 Bytes
b2da64f 9d4602f 7139070 9d4602f b2da64f 7139070 b2da64f 9d4602f 7139070 9d4602f 7139070 472a35b 494b259 9d4602f 494b259 472a35b 9d4602f 7139070 9d4602f 494b259 472a35b fc05217 494b259 b154820 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 |
import gradio as gr
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
import torch
import os
from dotenv import load_dotenv
from huggingface_hub import login
load_dotenv()
# Login to Hugging Face
hf_token = os.getenv('HF_TOKEN')
login(hf_token)
# Configuration du modèle
model_path = "Nac31/Sacha-Mistral-0"
dtype = torch.bfloat16 if torch.cuda.get_device_capability()[0] == 8 else torch.float16
# Initialisation du modèle
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
model_path,
device_map="auto",
torch_dtype=dtype
)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
def generate_response(message, temperature=0.7, max_new_tokens=500):
try:
response = pipe(
message,
temperature=temperature,
max_new_tokens=max_new_tokens,
do_sample=True
)
return response[0]['generated_text']
except Exception as e:
return f"Une erreur s'est produite : {str(e)}"
# Interface Gradio
demo = gr.Interface(
fn=generate_response,
inputs=[
gr.Textbox(label="Votre message", placeholder="Entrez votre message ici..."),
gr.Slider(minimum=0.1, maximum=1.0, value=0.7, label="Température"),
gr.Slider(minimum=10, maximum=2000, value=500, step=10, label="Nombre de tokens")
],
outputs=gr.Textbox(label="Réponse"),
title="Chat avec Sacha-Mistral",
description="Un assistant conversationnel en français basé sur le modèle Sacha-Mistral"
)
if __name__ == "__main__":
demo.launch(share=True) |