Completed Prototype

Gemma.py

@@ -1,4 +1,5 @@
 from transformers import AutoTokenizer, Gemma3ForCausalLM
+from huggingface_hub import login
 import torch
 import json
 import os
@@ -8,6 +9,8 @@ __export__ = ["GemmaLLM"]
 class GemmaLLM:
     
     def __init__(self):
+        login(token=os.environ.get("GEMMA_TOKEN"))
+        
         model_id = "google/gemma-3-1b-it"
         
         self.tokenizer = AutoTokenizer.from_pretrained(model_id)
@@ -15,7 +18,7 @@ class GemmaLLM:
             model_id,
             device_map="cuda" if torch.cuda.is_available() else "cpu",
             torch_dtype=torch.float16,
-            token=os.environ.get("GEMMA_TOKEN"),
+            # token=os.environ.get("GEMMA_TOKEN"),
         ).eval()
 
     def generate(self, message) -> str:

requirements.txt

@@ -1,5 +1,3 @@
-Flask==3.1.0
-flask_cors==5.0.1
 newsapi_python==0.2.7
 newspaper3k==0.2.8
 torch==2.6.0