Changed LLM

app.py

@@ -2,7 +2,7 @@ from flask import Flask, request, jsonify
 from huggingface_hub import InferenceClient
 
 app = Flask(__name__)
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
+client = InferenceClient("meta-llama/Llama-3.1-8B-Instruct")
 
 DEFAULT_MAX_TOKENS = 512
 DEFAULT_TEMPERATURE = 0.7
@@ -10,13 +10,15 @@ DEFAULT_TOP_P = 0.95
 
 def generate_journal_suggestion(current_page):
     suggestion_prompt = (
-    f"""Pe baza înregistrării din jurnal: '{current_page}', generează o singură întrebare pe care utilizatorul ar putea să și-o pună în jurnalul său.
-    Întrebarea ar trebui să încurajeze reflecția personală mai profundă, explorarea sentimentelor sau clarificarea obiectivelor."""
+        f"""Pe baza înregistrării din jurnal: '{current_page}', generează o singură întrebare pe care utilizatorul ar putea să și-o pună în jurnalul său.
+        Întrebarea ar trebui să încurajeze reflecția personală mai profundă, explorarea sentimentelor sau clarificarea obiectivelor."""
     )
     suggestion_response = ""
 
     for message in client.chat_completion(
-        [{"role": "user", "content": suggestion_prompt}],
+        [
+            {"role": "user", "content": suggestion_prompt}
+        ],
         max_tokens=150,
         stream=True,
         temperature=DEFAULT_TEMPERATURE,
@@ -27,6 +29,7 @@ def generate_journal_suggestion(current_page):
 
     return suggestion_response
 
+
 @app.route("/", methods=["POST", "GET"])
 def home():
     return "Hi!"