一、模型介绍
InstantMesh 是一个由腾讯 ARC 实验室推出的创新项目，该项目旨在通过单张图像快速生成高质量的三维网格模型。
1. 项目背景与意义
随着 3D 内容在游戏、动画、虚拟现实等领域的广泛应用，传统的 3D 模型制作流程繁琐且耗时，需要专业人员投入大量时间和精力。InstantMesh 项目的出现，极大地简化了 3D 内容创作流程，提高了工作效率，降低了技术门槛，使得更多的人能够参与到 3D 内容的创作中来。
2. 核心技术
InstantMesh 采用了前馈框架，结合了多视图扩散模型和基于大规模重建模型（LRM）的稀疏视图重建技术。具体来说，它首先利用一个预训练的多视角扩散模型，从单张输入图像中生成多张 3D 一致的视角图像。然后，使用一个基于 LRM 架构的稀疏视角重建模型，从多视角图像中直接生成 3D 网格。此外，InstantMesh 还引入了可微分等值面提取模块 FlexiCubes，直接从 3D 隐式场中提取网格表面，并应用深度和法线等几何信息进行监督，进一步提升了网格模型的精度和光滑度。
3. 项目特点
快速生成 ：InstantMesh 能够在极短的时间内（约 10 秒）完成从图像到 3D 网格的转换，这在 3D 建模领域是一个巨大的时间节省。
高质量输出 ：尽管生成速度快，但 InstantMesh 生成的 3D 模型质量高，满足专业应用的需求。
易于使用 ：InstantMesh 提供了命令行工具，并支持多种功能，如视频保存、前景分割、导出带有顶点颜色的.obj 网格或带有纹理映射的模型等。此外，它还提供了在线 Demo 和 Jupyter Notebook，方便用户无需复杂安装即可立即尝试。
广泛应用 ：InstantMesh 适用于游戏开发、动画制作、建筑可视化、AR/VR 内容创作、教育和研究等多个领域。
4. 项目评估与性能
InstantMesh 在 Google Scanned Objects (GSO) 和 OmniObject3D (Omni3D) 两个公开数据集上进行了评估，结果显示，在 2D 视觉质量和 3D 几何质量方面均显著优于其他 SOTA 方法。具体来说，在 2D 新视角合成任务中，InstantMesh 在 SSIM 和 LPIPS 指标上显著优于其他方法；在 3D 几何质量评估中，InstantMesh 在 Chamfer Distance (CD)和 F-Score (FS)指标上也显著优于其他方法。
5. 项目影响与展望
InstantMesh 的出现，为 3D 建模和可视化领域带来了新的变革。它不仅提高了 3D 内容创作的效率和质量，还降低了技术门槛，使得更多的人能够参与到 3D 内容的创作中来。未来，随着技术的不断发展和完善，InstantMesh 有望在更多领域发挥重要作用，推动 3D 内容创作的快速发展。
6. 项目资源
- GitHub 地址 ：https://github.com/TencentARC/InstantMesh
- 论文地址 ：https://arxiv.org/abs/2404.07191
二、模型搭建流程
1.选择主机和镜像
由于模型较大建议使用两张RTX3090 +24G显卡（该项目支持在两个 GPU 上运行 gradio demo 以节省内存），或者使用单张高于RTX3090+24G性能的显卡。
（1）点击进入算家云“应用社区”，选择“InstantMesh”
（2）选择模型后，点击“创建应用“，进入“租用实例“页面，选择3090或4090显卡，点击“立即创建“即可创建成功
2.进入创建的实例
在“项目实例”页面点击对应实例的“Web SSH”进入终端操作
以下命令均在该页面进行：
（1）打开文件
cd InstantMesh
（2）激活虚拟环境instantmesh
conda activate instantmesh
（3）指定端口，运行py文件
export HF_ENDPOINT=https://hf-mirror.com
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080
python app.py
出现以下界面即为运行成功：
3.开启外部访问获取访问链接
返回“项目实例”列表，选择并点击对应实例的“开放端口”操作。
选择并点击“对外开放端口”-->“开放对外端口”-->“去认证”-->"确定"操作。访问的网址就已经复制到剪切板。
4.网页演示
运行成功后获取访问链接，即可进入 webUI 界面操作：
以上就是在算家云搭建 InstantMesh 的流程，具体使用方式可进入算家云应用社区查看该模型的使用说明。
复制下方网址，进入算家云，选择模型，一键开启 AI 之旅！
算家云应用社区 www.suanjiayun.com/container/#/mirror
