Update app.py
Browse files
app.py
CHANGED
|
@@ -3,8 +3,8 @@ from fastapi import FastAPI
|
|
| 3 |
from pydantic import BaseModel
|
| 4 |
from transformers import pipeline
|
| 5 |
|
| 6 |
-
|
| 7 |
-
os.environ["
|
| 8 |
|
| 9 |
app = FastAPI(
|
| 10 |
title="📖 حكايتي - API",
|
|
@@ -24,7 +24,6 @@ few_shot_example = """<s>[User]: اسمي كريم وأحب الفضاء.
|
|
| 24 |
وهكذا تعلم كريم أن الحلم يبدأ بخطوة صغيرة، وأن حب المعرفة يمكن أن يفتح له أبوابًا واسعة نحو المستقبل.
|
| 25 |
</s>"""
|
| 26 |
|
| 27 |
-
# تحميل الموديل مرة واحدة
|
| 28 |
pipe = pipeline(
|
| 29 |
"text-generation",
|
| 30 |
model=MODEL_REPO,
|
|
@@ -34,7 +33,6 @@ pipe = pipeline(
|
|
| 34 |
top_p=0.95
|
| 35 |
)
|
| 36 |
|
| 37 |
-
# body request
|
| 38 |
class StoryRequest(BaseModel):
|
| 39 |
name: str
|
| 40 |
hobby: str
|
|
@@ -55,3 +53,4 @@ def generate_story(name, hobby):
|
|
| 55 |
def generate_story_api(req: StoryRequest):
|
| 56 |
story = generate_story(req.name, req.hobby)
|
| 57 |
return {"story": story}
|
|
|
|
|
|
| 3 |
from pydantic import BaseModel
|
| 4 |
from transformers import pipeline
|
| 5 |
|
| 6 |
+
os.environ["HF_HOME"] = "/app/cache"
|
| 7 |
+
os.environ["TRANSFORMERS_CACHE"] = "/app/cache"
|
| 8 |
|
| 9 |
app = FastAPI(
|
| 10 |
title="📖 حكايتي - API",
|
|
|
|
| 24 |
وهكذا تعلم كريم أن الحلم يبدأ بخطوة صغيرة، وأن حب المعرفة يمكن أن يفتح له أبوابًا واسعة نحو المستقبل.
|
| 25 |
</s>"""
|
| 26 |
|
|
|
|
| 27 |
pipe = pipeline(
|
| 28 |
"text-generation",
|
| 29 |
model=MODEL_REPO,
|
|
|
|
| 33 |
top_p=0.95
|
| 34 |
)
|
| 35 |
|
|
|
|
| 36 |
class StoryRequest(BaseModel):
|
| 37 |
name: str
|
| 38 |
hobby: str
|
|
|
|
| 53 |
def generate_story_api(req: StoryRequest):
|
| 54 |
story = generate_story(req.name, req.hobby)
|
| 55 |
return {"story": story}
|
| 56 |
+
|