Update app.py

app.py

@@ -6,6 +6,7 @@ from dotenv import load_dotenv
 import requests
 from typing import Dict, Any, List
 from pydantic import BaseModel
+import time
 
 load_dotenv()
 
@@ -31,6 +32,17 @@ class ChatCompletionRequest(BaseModel):
     messages: List[ChatMessage]
     temperature: float = 0.7
 
+def count_tokens(text: str) -> int:
+    # Простой подсчет токенов (слова + знаки препинания)
+    return len(text.split()) + len([c for c in text if c in ".,!?;:()[]{}"])
+
+def clean_assistant_response(text: str) -> str:
+    # Удаляем лишние маркеры кода и форматирования
+    text = text.strip()
+    if text.endswith("```"):
+        text = text[:-3].strip()
+    return text
+
 @app.get("/")
 async def root():
     return {"status": "FastFlowWrapper is running"}
@@ -49,7 +61,7 @@ async def get_models():
             models.append({
                 "id": chatflow.get("id"),
                 "object": "model",
-                "created": 1677610602,  # Фиксированная дата для примера
+                "created": int(time.time()),  # Текущий timestamp
                 "owned_by": "flowise",
                 "permission": [],
                 "root": "flowise",
@@ -68,11 +80,17 @@ async def create_chat_completion(request: ChatCompletionRequest):
         if last_message.role != "user":
             raise HTTPException(status_code=400, detail="Last message must be from user")
         
+        # Подсчитываем токены запроса
+        prompt_tokens = count_tokens(last_message.content)
+        
         # Формируем запрос к Flowise
         flowise_request = {
             "question": last_message.content
         }
         
+        # Засекаем время начала запроса
+        start_time = time.time()
+        
         # Отправляем запрос к Flowise
         response = requests.post(
             f"{FLOWISE_API_BASE_URL}/prediction/{FLOWISE_CHATFLOW_ID}",
@@ -80,27 +98,32 @@ async def create_chat_completion(request: ChatCompletionRequest):
         )
         response.raise_for_status()
         
-        # Преобразуем ответ в формат OpenAI API
+        # Получаем и очищаем ответ
         flowise_response = response.json()
+        assistant_response = clean_assistant_response(flowise_response.get("text", ""))
+        
+        # Подсчитываем токены ответа
+        completion_tokens = count_tokens(assistant_response)
+        
         return {
             "id": "chatcmpl-" + os.urandom(12).hex(),
             "object": "chat.completion",
-            "created": int(response.elapsed.total_seconds()),
+            "created": int(start_time),  # Используем время начала запроса
             "model": request.model,
             "choices": [
                 {
                     "index": 0,
                     "message": {
                         "role": "assistant",
-                        "content": flowise_response.get("text", "")
+                        "content": assistant_response
                     },
                     "finish_reason": "stop"
                 }
             ],
             "usage": {
-                "prompt_tokens": len(last_message.content),
-                "completion_tokens": len(str(flowise_response.get("text", ""))),
-                "total_tokens": len(last_message.content) + len(str(flowise_response.get("text", "")))
+                "prompt_tokens": prompt_tokens,
+                "completion_tokens": completion_tokens,
+                "total_tokens": prompt_tokens + completion_tokens
             }
         }
     except requests.RequestException as e: