产品简介
Idol 是 Speridlabs 开源的图生三维模型,10 月 28 日放出。给它一张照片或渲染图,它直接生成一个完整的三维对象,用 3D 高斯溅射表示,照片里看不到的那几面由模型自己推断补全。结构上是 3D-DiT,从零预训练,Speridlabs 自己训练的部分约 659M 参数:扩散 Transformer 370.6M、八叉树解码器 50.8M、高斯解码器 237.3M。
推理时的显存门槛很低,峰值不到 7.2GB,消费级显卡就能跑。官方给的数字是 262,144 个高斯点、50 步去噪,H100 上 6.7 秒,RTX 4090 上 19.1 秒;RTX 5090 能压到 14 秒左右。高斯点数量可以从 32,768 一路调到 1,048,576,密度越高细节越多,文件也越大。
输出是一份 .ply 溅射文件加相机参数,另有 .glb 预览可以塞进常规三维流程。两种输入模式区分照片与渲染图,只影响裁剪时给对象留多少余量。权重、SDK 与演示都以 Apache 2.0 开放,也可以在 fal 上直接调,约 10 秒出结果,不用本地配环境。
核心功能
- 单图生成完整对象:一张照片起手,模型推断看不到的背面与侧面,直接给出一个可旋转的三维对象。
- 3D 高斯溅射表示:输出标准 .ply 溅射文件,可导入常见三维工具与可视化管线,附带预测的相机参数。
- 密度可调:高斯点从 32,768 调到 1,048,576,32 的整数倍,默认 262,144,按细节需求与文件体积取平衡。
- 低显存:峰值不到 7.2GB,RTX 4090 上 19 秒、RTX 5090 上 14 秒出结果,本地迭代不用排队。
- 两种输入模式:real 模式适合照片,synthetic 适合渲染图与生成图,区别在裁剪时给对象留的余量。
- Apache 2.0 开放:权重、SDK 与演示页都以 Apache 2.0 发布,可商用、可二次训练,也能在 fal 上按次调用。
适合谁用
以下类型的用户会特别受益于 Idol:
- 把商品照片转成可旋转的三维预览,做电商详情页的互动展示。
- 游戏与动画前期快速出概念资产,先看形体再决定要不要建模。
- 做转台预览与 moodboard,用真实光照下的三维对象代替平面图。
- 给空间智能与机器人项目造合成场景素材。
- 把生成图直接转成三维,接在文生图流程后面形成一条链。
- 在 fal 上按次生成,不必为偶尔一用去配本地显卡环境。
优点亮点
- 单张图就能出完整三维对象,起手成本极低。
- 峰值显存不到 7.2GB,消费级显卡可跑。
- 高斯点密度可调,细节与文件体积能自己权衡。
- 输出 .ply 与 .glb,接进现有三维流程不需要额外转换。
- Apache 2.0 许可,权重、代码与演示一并开放。
- fal 上有现成端点,本地没显卡也能出结果。
价格与方案
Apache 2.0 开源,权重约 3GB 首次运行时自动下载,SDK 可通过 pip 安装。首次运行需要在 Hugging Face 接受 DINOv3 与 FLUX.2-dev 两个门禁模型的使用条款,后者只下载 VAE 部分。显存峰值不到 7.2GB,官方给出各卡耗时:B300 3.4 秒、H100 6.7 秒、RTX 5090 14.1 秒、RTX 4090 19.1 秒、RTX 3080 46.2 秒。不想本地部署可以在 fal 上按次调用,约 10 秒出结果,单价见 fal 定价页;网页演示空间也免费开放。
总结与建议
从一张图到三维这件事,过去要么走重建,要求多视角;要么走生成,模型大到本地跑不动。Idol 把这两条折中成一个小模型:600M 级别的 3D-DiT,7GB 显存,二十秒内给出一份能直接进流程的溅射文件。它生成的是看起来合理的对象,不是测量意义上的重建,但对概念资产与电商预览这类用途,这个差别往往不重要。
版本演进
- Idol 收录:单图转三维高斯溅射开源 (2026-10-31):收录时形态:Speridlabs 开源的图生三维模型,3D-DiT 从零预训练,自训部分约 659M 参数(扩散 Transformer 370.6M、八叉树解码器 50.8M、高斯解码器 237.3M)。单张照片生成完整三维对象,输出 .ply 溅射与相机参数,高斯点数可在 32,768 到 1,048,576 之间调整,默认 262,144。峰值显存不到 7.2GB,H100 6.7 秒、RTX 4090 19.1 秒出结果。权重、SDK 与演示以 Apache 2.0 开放,同时上线 fal,约 10 秒出结果。