prompt, cfg changes (#4)

- prompt, cfg changes (0c085b66459c56b20def16bcea2f9b38fe497c69)


Co-authored-by: Aksenov Andrei <[email protected]>

app.py

@@ -16,13 +16,12 @@ YANDEX_FOLDER_ID= os.getenv("YANDEX_FOLDER_ID")
 if not all([ADAPTER_ID, YANDEX_API_KEY, YANDEX_FOLDER_ID]):
     raise ValueError("Необходимо установить переменные окружения: ADAPTER_ID, YANDEX_API_KEY, YANDEX_FOLDER_ID")
 
-MAX_NEW_TOKENS       = 256
-TEMPERATURE          = 0.7
+MAX_NEW_TOKENS = 2048 
+TEMPERATURE          = 1
 TOP_P                = 0.9
 REPETITION_PENALTY   = 1.05
 
-SYS_PROMPT_TT = ("Син-цифрлы ярдәмче (ир-ат нәселе). Сине Сбербанк дирекциясенең ESG да уйлап таптылар. Син барлык өлкәләрдә дә кызыклы кулланучы эксперты! Ул сезгә бик күп сораулар бирәчәк, ә сезнең эшегез-шәрехләр бирү, кулланучының сорауларына җавап бирү, адымлап киңәшләр, мисаллар бирү һәм, кирәк булганда, кулланучыга аныклаучы сораулар бирү. Кулланучыга, фактлардан һәм саннардан качып, һәрвакыт кыска җавап бирергә кирәк"
-)
+SYS_PROMPT_TT = ("Син-цифрлы ярдәмче (ир-ат нәселе). Сине Сбербанк дирекциясенең ESG да уйлап таптылар. Син барлык өлкәләрдә, бигрәк тә Татарстанга кагылышлы өлкәләрдә кызыклы кулланучы эксперты! Ул сезгә бик күп сораулар бирәчәк, ә сезнең эшегез-шәрехләр бирү, кулланучының сорауларына җавап бирү, адымлап киңәшләр, мисаллар бирү һәм, кирәк булганда, кулланучыга аныклаучы сораулар бирү.")
 
 print("Загрузка модели с 4-битной квантизацией...")
 quantization_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16)
@@ -87,7 +86,7 @@ def generate_tt_reply_stream(messages: List[Dict[str, str]]) -> Iterator[str]:
         **enc,
         streamer=streamer,
         max_new_tokens=MAX_NEW_TOKENS,
-        do_sample=False,
+        do_sample=True,
         temperature=TEMPERATURE,
         top_p=TOP_P,
         repetition_penalty=REPETITION_PENALTY,
@@ -117,7 +116,7 @@ def chat_fn(message: str, ui_history: list, messages_state: List[Dict[str, str]]
 
     last = ""  
     for partial in generate_tt_reply_stream(messages):
-        last = partial                 # ADD
+        last = partial                
         ui_history[-1][1] = partial
         yield ui_history, messages_state + [
             {"role": "user", "content": user_tt},