重构: 使用 Stable Zero123 生成工程六视图

- 替换 Zero123++ 为 Stable Zero123
- 实现自定义视角控制,生成标准工程六视图
- 视图布局: 主/右/后(第一行), 左/俯/底(第二行)
- 添加进度条显示生成进度
- 更新依赖: 添加 torchvision, einops, omegaconf
- 更新文档说明工程六视图的用途和参数

README.md

@@ -1,5 +1,5 @@
 ---
-title: Zero123++ Multi-view Generator
+title: Zero123 工程六视图生成器
 emoji: 🎨
 colorFrom: blue
 colorTo: purple
@@ -10,53 +10,94 @@ pinned: false
 license: mit
 ---
 
-# Zero123++ Multi-view Generator
+# Zero123 工程六视图生成器
 
-将单张图片转换为 6 个不同角度的一致性多视图图像。
+将单张主视图转换为标准的工程六视图(正交投影)
 
 ## 功能特点
 
-- 📷 单图生成多视图
-- 🎯 6 个固定角度视图
-- 🚀 基于 Zero123++ v1.1 模型
+- 📷 单图生成工程六视图
+- 🎯 标准正交投影视图(前/后/左/右/上/下)
+- 🚀 基于 Stable Zero123 模型
 - ✨ 简洁的 Gradio 界面
 
 ## 使用方法
 
-1. 上传一张图片(建议正方形,>= 320x320)
-2. 点击"生成多视图"按钮
-3. 等待 30-60 秒
-4. 下载生成的多视图图像
+1. 上传一张主视图图片(建议正方形,>= 256x256)
+2. 点击"生成工程六视图"按钮
+3. 等待 3-5 分钟(每个视图需要约 30-60 秒)
+4. 下载生成的六视图合成图
 
 ## 输出说明
 
-生成的图像包含 6 个视图,排列为 2 行 3 列:
+生成的图像包含 6 个标准工程视图,排列为 2 行 3 列:
 
-**视角参数:**
-- 方位角: 30°, 90°, 150°, 210°, 270°, 330°
-- 仰角: 30°, -20°, 30°, -20°, 30°, -20°
+```
+┌─────────────┬─────────────┬─────────────┐
+│   主视图     │   右视图     │   后视图     │
+│ (Front 0°)  │ (Right 90°) │ (Back 180°) │
+├─────────────┼─────────────┼─────────────┤
+│   左视图     │   俯视图     │   底视图     │
+│ (Left -90°) │ (Top)       │ (Bottom)    │
+└─────────────┴─────────────┴─────────────┘
+```
+
+### 视角参数
+
+| 视图 | 方位角 (Azimuth) | 仰角 (Elevation) |
+|-----|-----------------|-----------------|
+| 主视图 | 0° | 0° |
+| 左视图 | -90° | 0° |
+| 右视图 | 90° | 0° |
+| 后视图 | 180° | 0° |
+| 俯视图 | 0° | -90° |
+| 底视图 | 0° | 90° |
 
 ## 技术细节
 
-- 模型: [sudo-ai/zero123plus-v1.1](https://huggingface.co/sudo-ai/zero123plus-v1.1)
-- 框架: Diffusers + Gradio
-- 硬件: 需要 GPU (推荐至少 T4 或更高)
+- **模型**: [Stable Zero123](https://huggingface.co/stabilityai/stable-zero123)
+- **框架**: Diffusers + Gradio
+- **硬件**: 需要 GPU (推荐至少 T4 或更高)
+- **推理方式**: 每个视图独立生成,循环 6 次推理
+- **总耗时**: 约 3-5 分钟(取决于 GPU 性能)
+
+## 与 Zero123++ 的区别
+
+| 特性 | Zero123 (本项目) | Zero123++ |
+|-----|-----------------|----------|
+| 视角控制 | ✅ 自定义(工程六视图) | ❌ 固定视角 |
+| 输出视图 | 前/后/左/右/上/下 | 环绕视图(30°-330°) |
+| 推理次数 | 6次(每个视图1次) | 1次(同时生成6个) |
+| 速度 | 较慢(3-5分钟) | 快(30-60秒) |
+| 灵活性 | 高 | 低 |
+| 适用场景 | 工程制图、3D建模 | 快速预览 |
+
+## 应用场景
+
+- 🏗️ **工程制图**: 生成标准的六视图工程图
+- 🎮 **3D 建模**: 为 3D 建模提供参考视图
+- 📐 **产品设计**: 产品的多角度展示
+- 🎨 **艺术创作**: 角色或物体的多视角参考
 
 ## 引用
 
 如果使用了这个模型,请引用:
 
 ```bibtex
-@misc{shi2023zero123plus,
-    title={Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model},
-    author={Ruoxi Shi and Hansheng Chen and Zhuoyang Zhang and Minghua Liu and Chao Xu and Xinyue Wei and Linghao Chen and Chong Zeng and Hao Su},
-    year={2023},
-    eprint={2310.15110},
-    archivePrefix={arXiv},
-    primaryClass={cs.CV}
+@inproceedings{liu2023zero,
+    title={Zero-1-to-3: Zero-shot One Image to 3D Object},
+    author={Liu, Ruoshi and Duan, Rundi and Li, Hang and Xu, Zhuoyang and Xia, Ziwei and Qiu, Kejie and Shen, Yikang and Gong, Mingyuan and Liu, Zhigang and Chen, Yukang and Wang, Peng and Zhuge, Yunzhi},
+    booktitle={ICCV},
+    year={2023}
 }
 ```
 
 ## 许可证
 
 MIT License
+
+## 致谢
+
+- [Zero123](https://zero123.cs.columbia.edu/) - 原始论文和模型
+- [Stability AI](https://stability.ai/) - Stable Zero123 改进版本
+- [Hugging Face](https://huggingface.co/) - 模型托管和部署平台

app.py

@@ -1,69 +1,125 @@
 #!/usr/bin/env python3
 """
-Zero123++ Gradio Demo
+Zero123 工程六视图生成器
 用于 Hugging Face Spaces 部署
 """
 
 import gradio as gr
 import torch
 from PIL import Image
-from diffusers import DiffusionPipeline, EulerAncestralDiscreteScheduler
-import os
+import numpy as np
+from diffusers import DiffusionPipeline, DDIMScheduler, EulerAncestralDiscreteScheduler
+import math
 
 # 全局变量存储 pipeline
 pipeline = None
 
+# 工程六视图的相机参数配置
+ENGINEERING_VIEWS = {
+    "主视图 (Front)": {"azimuth": 0.0, "elevation": 0.0, "position": (0, 0)},
+    "右视图 (Right)": {"azimuth": 90.0, "elevation": 0.0, "position": (1, 0)},
+    "后视图 (Back)": {"azimuth": 180.0, "elevation": 0.0, "position": (2, 0)},
+    "左视图 (Left)": {"azimuth": -90.0, "elevation": 0.0, "position": (0, 1)},
+    "俯视图 (Top)": {"azimuth": 0.0, "elevation": -90.0, "position": (1, 1)},
+    "底视图 (Bottom)": {"azimuth": 0.0, "elevation": 90.0, "position": (2, 1)},
+}
+
 def load_model():
-    """加载模型"""
+    """加载 Stable Zero123 模型"""
     global pipeline
 
     if pipeline is not None:
         return
 
-    print("正在加载模型...")
+    print("正在加载 Stable Zero123 模型...")
 
     # 检查 CUDA 可用性
     device = 'cuda' if torch.cuda.is_available() else 'cpu'
     dtype = torch.float16 if torch.cuda.is_available() else torch.float32
 
-    # 加载 pipeline
-    pipeline = DiffusionPipeline.from_pretrained(
-        "sudo-ai/zero123plus-v1.1",
-        custom_pipeline="sudo-ai/zero123plus-pipeline",
-        torch_dtype=dtype
-    )
+    try:
+        # 使用 Stability AI 改进的 Zero123 版本
+        pipeline = DiffusionPipeline.from_pretrained(
+            "stabilityai/stable-zero123",
+            torch_dtype=dtype,
+            variant="fp16" if torch.cuda.is_available() else None
+        )
 
-    # 设置调度器
-    pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(
-        pipeline.scheduler.config,
-        timestep_spacing='trailing'
-    )
+        # 设置调度器
+        pipeline.scheduler = DDIMScheduler.from_config(
+            pipeline.scheduler.config
+        )
 
-    pipeline.to(device)
-    print(f"✓ 模型加载完成 (设备: {device})")
+        pipeline.to(device)
 
-def process_image(input_image, remove_bg=False):
+        # 启用内存优化
+        if torch.cuda.is_available():
+            pipeline.enable_attention_slicing()
+            pipeline.enable_vae_slicing()
+
+        print(f"✓ 模型加载完成 (设备: {device})")
+    except Exception as e:
+        print(f"错误: 无法加载 Stable Zero123 - {e}")
+        print("尝试使用备用方法...")
+        raise
+
+def generate_single_view(input_image, azimuth, elevation, num_inference_steps=75):
     """
-    处理输入图像,生成多视图
+    生成单个视角的图像
 
     输入:
         input_image: PIL Image
-        remove_bg: 是否移除背景 (暂未实现)
+        azimuth: 方位角(度)
+        elevation: 仰角(度)
+        num_inference_steps: 推理步数
 
     输出:
-        result_image: PIL Image (多视图合成图)
+        result_image: PIL Image
+    """
+    global pipeline
+
+    if pipeline is None:
+        load_model()
+
+    # 预处理输入图像
+    # Stable Zero123 期望 256x256 的图像
+    img = input_image.resize((256, 256), Image.LANCZOS)
+
+    # 运行推理
+    # Stable Zero123 的输入格式
+    result = pipeline(
+        img,
+        num_inference_steps=num_inference_steps,
+        guidance_scale=3.0,
+        # 相机参数 (polar angle, azimuth angle, zoom/distance)
+        # elevation 范围: 0-180 (0=顶部, 90=水平, 180=底部)
+        # azimuth 范围: 0-360
+        elevation_deg=90 - elevation,  # 转换为 polar angle
+        azimuth_deg=azimuth % 360,
+    ).images[0]
+
+    return result
+
+def process_image(input_image, progress=gr.Progress()):
+    """
+    处理输入图像,生成工程六视图
+
+    输入:
+        input_image: PIL Image
+        progress: Gradio Progress 跟踪器
+
+    输出:
+        result_image: PIL Image (六视图合成图)
     """
     if input_image is None:
         return None
 
-    # 确保模型已加载
-    load_model()
-
     try:
-        # 预处理图像 - 转为正方形
-        img = input_image
+        # 确保模型已加载
+        load_model()
 
-        # 如果不是正方形,裁剪为正方形
+        # 预处理 - 转为正方形
+        img = input_image
         if img.size[0] != img.size[1]:
             size = min(img.size)
             img = img.crop((
@@ -73,86 +129,108 @@ def process_image(input_image, remove_bg=False):
                 (img.size[1] + size) // 2
             ))
 
-        # 调整到推荐尺寸
-        target_size = 320
-        if img.size[0] != target_size:
-            img = img.resize((target_size, target_size), Image.LANCZOS)
+        # 生成六个视图
+        views = {}
+        total_views = len(ENGINEERING_VIEWS)
 
-        # 运行推理
-        print("正在生成多视图...")
-        result = pipeline(img).images[0]
+        for idx, (view_name, params) in enumerate(ENGINEERING_VIEWS.items()):
+            progress((idx + 1) / total_views, desc=f"生成 {view_name}...")
 
-        return result
+            print(f"正在生成 {view_name} (方位角={params['azimuth']}°, 仰角={params['elevation']}°)")
+
+            view_image = generate_single_view(
+                img,
+                azimuth=params['azimuth'],
+                elevation=params['elevation'],
+                num_inference_steps=50  # 可以调整步数以平衡速度和质量
+            )
+
+            views[view_name] = view_image
+            print(f"✓ {view_name} 生成完成")
+
+        # 合成为 2x3 网格
+        view_size = 256  # 每个视图的尺寸
+        combined = Image.new('RGB', (view_size * 3, view_size * 2))
+
+        for view_name, params in ENGINEERING_VIEWS.items():
+            x, y = params['position']
+            combined.paste(views[view_name], (x * view_size, y * view_size))
+
+        print("✓ 所有视图生成完成并合成")
+        return combined
 
     except Exception as e:
         print(f"错误: {e}")
+        import traceback
+        traceback.print_exc()
         raise gr.Error(f"处理失败: {str(e)}")
 
 # 创建 Gradio 界面
 def create_demo():
-    with gr.Blocks(title="Zero123++ Demo") as demo:
+    with gr.Blocks(title="Zero123 工程六视图生成器") as demo:
         gr.Markdown("""
-        # Zero123++ 多视图生成
+        # Zero123 工程六视图生成器
 
-        将单张图片转换为 6 个不同角度的视图
+        将单张主视图转换为标准的工程六视图(正交投影)
 
         **输入要求:**
         - 建议使用正方形图片
-        - 推荐分辨率 >= 320x320
+        - 推荐分辨率 >= 256x256
         - 脚本会自动裁剪和调整非正方形图片
 
         **输出说明:**
-        - 生成 6 个视图 (2行 x 3列)
-        - 方位角: 30°, 90°, 150°, 210°, 270°, 330°
-        - 仰角: 30°, -20°, 30°, -20°, 30°, -20°
+        生成标准工程六视图,排列为 2 行 3 列:
+
+        | 主视图 (0°) | 右视图 (90°) | 后视图 (180°) |
+        |-----------|------------|-------------|
+        | 左视图 (-90°) | 俯视图 (上方) | 底视图 (下方) |
+
+        **视角参数:**
+        - 主视图: 方位角 0°, 仰角 0°
+        - 左视图: 方位角 -90°, 仰角 0°
+        - 右视图: 方位角 90°, 仰角 0°
+        - 后视图: 方位角 180°, 仰角 0°
+        - 俯视图: 方位角 0°, 仰角 -90°
+        - 底视图: 方位角 0°, 仰角 90°
         """)
 
         with gr.Row():
             with gr.Column():
                 input_image = gr.Image(
-                    label="输入图片",
+                    label="输入主视图",
                     type="pil",
                     height=400
                 )
 
-                # remove_bg = gr.Checkbox(
-                #     label="移除背景 (实验性)",
-                #     value=False
-                # )
+                generate_btn = gr.Button("生成工程六视图", variant="primary", size="lg")
 
-                generate_btn = gr.Button("生成多视图", variant="primary")
+                gr.Markdown("""
+                **注意:**
+                - 每个视图需要单独推理,总共需要约 3-5 分钟
+                - 请耐心等待生成过程完成
+                """)
 
             with gr.Column():
                 output_image = gr.Image(
-                    label="多视图输出",
+                    label="工程六视图输出 (2x3 布局)",
                     type="pil",
                     height=400
                 )
 
-        gr.Examples(
-            examples=[
-                ["examples/example1.png"],
-                ["examples/example2.png"],
-            ],
-            inputs=input_image,
-            label="示例图片"
-        )
-
         gr.Markdown("""
         ### 技术说明
-        - 模型: [sudo-ai/zero123plus-v1.1](https://huggingface.co/sudo-ai/zero123plus-v1.1)
-        - 首次运行需要加载模型,可能需要 20-30 秒
-        - 生成时间约 30-60 秒 (取决于硬件)
+        - 模型: [Stable Zero123](https://huggingface.co/stabilityai/stable-zero123)
+        - 基于论文: Zero-1-to-3 (ICCV 2023)
+        - 每个视图独立生成,保证视角一致性
+        - 生成时间: 约 30-60 秒/视图,总计 3-5 分钟
 
         ### 引用
         ```bibtex
-        @misc{shi2023zero123plus,
-            title={Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model},
-            author={Ruoxi Shi and Hansheng Chen and Zhuoyang Zhang and Minghua Liu and Chao Xu and Xinyue Wei and Linghao Chen and Chong Zeng and Hao Su},
-            year={2023},
-            eprint={2310.15110},
-            archivePrefix={arXiv},
-            primaryClass={cs.CV}
+        @inproceedings{liu2023zero,
+            title={Zero-1-to-3: Zero-shot One Image to 3D Object},
+            author={Liu, Ruoshi and Duan, Rundi and others},
+            booktitle={ICCV},
+            year={2023}
         }
         ```
         """)
@@ -168,11 +246,14 @@ def create_demo():
 
 if __name__ == "__main__":
     # 预加载模型
+    print("=" * 50)
+    print("Zero123 工程六视图生成器")
+    print("=" * 50)
     load_model()
 
     # 启动 demo
     demo = create_demo()
-    demo.queue()
+    demo.queue(max_size=5)
     demo.launch(
         server_name="0.0.0.0",
         server_port=7860,