Skip to content

feat(render3d): 评估多视图重建改善背面与头发结构 #267

Description

@johnnyzhang-eng

背景

图生 3D 目前只喂正面母版一张图。背面完全靠模型猜——实测长发角色的背面是一大片平滑渐变的壳,没有结构。

混元支持 MultiViewImages(back / left / right 三个视角),代价 +10 积分

硬前提(不满足就是负收益)

provider 的 docstring 已经写死:

各视图必须是同一个角色、同一姿势、同一尺度——侧/背视要以正面母版做参考图 i2i 出,各自文生等于送了三个人进去。

所以这件事的真正难点不在调接口,在怎么造出合格的侧/背视图

  • 各自文生 → 三个不同的人,重建出来更糟
  • 以正面母版做参考图 i2i → 可行方向,但要验证一致性够不够
  • 从已有 3D 模型渲出侧背视再回炉 → 循环依赖,且渲出来的本来就是猜的

建议做法

  1. 先用 i2i(正面母版做参考)造一组侧/背视,人眼确认是同一个角色再往下
  2. 一致性有客观判据再上:至少配色直方图与主体比例要对得上
  3. 跑一次多视图重建,与单图版做同底对照(同一 cel 材质、同一机位、同一朝向)
  4. 结论进内部记录

与另外两条的关系

  • 正面质量问题由正面投影烘焙解决,不需要多视图
  • 多视图主要解决背面与侧面,以及头发的整体结构
  • 所以优先级低于正面投影烘焙:后者零成本且修主视角

验收

  • 同一母版,单图版 vs 多视图版的背面渲染图对照
  • 侧/背视图与正面母版的一致性有可量的判据,不是"看着像"

Refs #192

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions