Update app.py

app.py

@@ -10,19 +10,14 @@ from peft import PeftModel
 
 # --- 1. Конфигурация и загрузка модели ---
 
-# ID базовой модели
 BASE_MODEL_ID = "Tweeties/tweety-7b-tatar-v24a"
-
-# ID адаптера и ключи API загружаются из переменных окружения Render
 ADAPTER_ID = os.getenv("ADAPTER_ID")
 YANDEX_API_KEY = os.getenv("YANDEX_API_KEY")
 YANDEX_FOLDER_ID = os.getenv("YANDEX_FOLDER_ID")
 
-# Проверяем, что все переменные окружения установлены
 if not all([ADAPTER_ID, YANDEX_API_KEY, YANDEX_FOLDER_ID]):
     raise ValueError("Необходимо установить переменные окружения: ADAPTER_ID, YANDEX_API_KEY, YANDEX_FOLDER_ID")
 
-# Параметры генерации
 MAX_NEW_TOKENS = 256
 TEMPERATURE = 0.7
 TOP_P = 0.9
@@ -34,44 +29,39 @@ SYS_PROMPT_TT = (
 )
 
 print("Загрузка модели с 4-битной квантизацией...")
-# Используем квантизацию для экономии оперативной памяти
-quantization_config = BitsAndBytesConfig(
-    load_in_4bit=True,
-    bnb_4bit_compute_dtype=torch.bfloat16
-)
-
-# Загружаем токенизатор из приватного репозитория
-# Библиотека transformers автоматически использует токен HF_TOKEN из переменных окружения
+quantization_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16)
 tok = AutoTokenizer.from_pretrained(ADAPTER_ID, use_fast=False)
 if tok.pad_token is None:
     tok.pad_token = tok.eos_token
-
-base = AutoModelForCausalLM.from_pretrained(
-    BASE_MODEL_ID,
-    quantization_config=quantization_config,
-    device_map="auto",
-)
-
+base = AutoModelForCausalLM.from_pretrained(BASE_MODEL_ID, quantization_config=quantization_config, device_map="auto")
 print("Применяем LoRA адаптер...")
 model = PeftModel.from_pretrained(base, ADAPTER_ID)
 model.config.use_cache = True
 model.eval()
 print("✅ Модель успешно загружена!")
 
-
 # --- 2. Логика приложения (функции перевода и генерации) ---
 
 YANDEX_TRANSLATE_URL = "https://translate.api.cloud.yandex.net/translate/v2/translate"
-generation_lock = Lock() # Для обработки одного запроса за раз
+YANDEX_DETECT_URL = "https://translate.api.cloud.yandex.net/translate/v2/detect" # НОВЫЙ URL ДЛЯ ОПРЕДЕЛЕНИЯ ЯЗЫКА
+generation_lock = Lock()
+
+# НОВАЯ ФУНКЦИЯ для определения языка 🧠
+def detect_language(text: str) -> str:
+    headers = {"Authorization": f"Api-Key {YANDEX_API_KEY}"}
+    payload = {"folderId": YANDEX_FOLDER_ID, "text": text}
+    try:
+        resp = requests.post(YANDEX_DETECT_URL, headers=headers, json=payload, timeout=10)
+        resp.raise_for_status()
+        data = resp.json()
+        return data.get("languageCode", "ru")  # Если не определился, считаем, что русский
+    except requests.exceptions.RequestException as e:
+        print(f"Ошибка определения языка: {e}")
+        return "ru" # В случае ошибки считаем, что это русский для безопасности
 
 def _yandex_translate(texts: List[str], source: str, target: str) -> List[str]:
     headers = {"Authorization": f"Api-Key {YANDEX_API_KEY}"}
-    payload = {
-        "folderId": YANDEX_FOLDER_ID,
-        "texts": texts,
-        "sourceLanguageCode": source,
-        "targetLanguageCode": target,
-    }
+    payload = {"folderId": YANDEX_FOLDER_ID, "texts": texts, "sourceLanguageCode": source, "targetLanguageCode": target}
     try:
         resp = requests.post(YANDEX_TRANSLATE_URL, headers=headers, json=payload, timeout=30)
         resp.raise_for_status()
@@ -88,7 +78,6 @@ def tt2ru(text: str) -> str:
     return _yandex_translate([text], "tt", "ru")[0]
 
 def render_prompt(messages: List[Dict[str, str]]) -> str:
-    # Ваша функция рендеринга промпта без изменений
     if getattr(tok, "chat_template", None):
         try:
             return tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
@@ -125,41 +114,30 @@ def generate_tt_reply(messages: List[Dict[str, str]]) -> str:
     with generation_lock:
         prompt = render_prompt(messages)
         inputs = tok(prompt, return_tensors="pt").to(model.device)
-        out = model.generate(
-            **inputs,
-            max_new_tokens=MAX_NEW_TOKENS,
-            do_sample=True,
-            temperature=TEMPERATURE,
-            top_p=TOP_P,
-            repetition_penalty=REPETITION_PENALTY,
-            eos_token_id=tok.eos_token_id,
-            pad_token_id=tok.pad_token_id,
-        )
+        out = model.generate(**inputs, max_new_tokens=MAX_NEW_TOKENS, do_sample=True, temperature=TEMPERATURE, top_p=TOP_P, repetition_penalty=REPETITION_PENALTY, eos_token_id=tok.eos_token_id, pad_token_id=tok.pad_token_id)
         gen_text = tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
         return gen_text.strip()
 
-
-
-
 # --- 3. Gradio интерфейс ---
 
 def chat_fn(message, history):
-    # message -> ваш новый вопрос на русском
-    # history -> предыдущий диалог, который теперь будет на татарском
-
     # 1. Формируем историю для модели
     messages = [{"role": "system", "content": SYS_PROMPT_TT}]
-    # Теперь user_msg и bot_msg в истории уже на татарском, их не нужно переводить
     for user_msg, bot_msg in history:
         messages.append({"role": "user", "content": user_msg})
-        if bot_msg: # Ответ бота может отсутствовать, если пользователь отправил сообщение
+        if bot_msg:
              messages.append({"role": "assistant", "content": bot_msg})
 
-    # 2. Переводим ваш новый русский вопрос на татарский
-    user_tt = ru2tt(message)
+    # 2. ОПРЕДЕЛЯЕМ ЯЗЫК и переводим, если нужно 🛡️
+    detected_lang = detect_language(message)
+    if detected_lang != "tt":
+        user_tt = ru2tt(message)
+    else:
+        user_tt = message  # Уже на татарском, используем как есть
+
     messages.append({"role": "user", "content": user_tt})
 
-    # 3. Генерируем ответ модели (он уже на татарском)
+    # 3. Генерируем ответ модели
     tt_reply = generate_tt_reply(messages)
 
     # 4. Добавляем в историю татарский вопрос и татарский ответ
@@ -172,10 +150,7 @@ def chat_fn(message, history):
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
     gr.Markdown("## Татарский чат-бот от команды Сбера")
     chatbot = gr.Chatbot(label="Диалог", height=500)
-    msg = gr.Textbox(
-        label="Хәбәрегезне рус телендә языгыз",
-        placeholder="Татарстанның башкаласы нинди шәһәр?"
-    )
+    msg = gr.Textbox(label="Хәбәрегезне рус яки татар телендә языгыз", placeholder="Татарстанның башкаласы нинди шәһәр?")
     clear = gr.Button("🗑️ Чистарту")
 
     msg.submit(chat_fn, inputs=[msg, chatbot], outputs=chatbot)