长亭百川云 - 文章详情

虚拟试衣技术发展综述:从应用到开源资源

我爱计算机视觉

86

2024-07-13

虚拟试衣是通过虚拟的技术手段,实现用户不用脱去身上衣服,完成变装的效果。最初,起源于换装游戏,随着互联网的普及和电子商务的兴起,消费者对在线购物体验的需求不断增加,虚拟试衣技术因此得到了快速发展。现如今,虚拟试衣技术多应用于:

  1. 电子商务:为用户提供在线试穿服务,提升购物体验,减少退货率。

  2. 服装设计:帮助设计师快速试验不同设计方案,降低样品制作成本。

  3. 游戏和娱乐:在游戏和虚拟现实中为角色定制服装,增强沉浸感。

尽管虚拟试衣技术已经取得了显著进展,但仍然面临一些挑战:

  1. 数据采集和处理:高质量的3D人体和服装数据获取难度大,且处理复杂。如何高效地采集和处理这些数据是一个亟待解决的问题。

  2. 实时性:实现流畅的实时试穿效果需要强大的计算能力。当前的计算资源限制了虚拟试衣技术的实时应用。

  3. 细节表现:高精度地模拟服装的材质、纹理和物理特性仍具有挑战性。特别是对于一些复杂面料的表现,现有技术仍有改进空间。

  4. 用户接受度:如何提升用户的使用意愿和信任度也是一个关键问题。

为了帮助研究人员更好地开展相关领域的工作,本文整理了一些虚拟试衣相关的开源数据集、模型和项目。这些资源可以为研究人员提供丰富的素材和工具,推动虚拟试衣技术的发展。

GP-VTON

GP-VTON 是一种通过协作局部流全局解析学习实现通用虚拟试穿的方法,可以在复杂的自遮挡场景中生成语义正确和照片逼真的试穿结果,并且可以轻松扩展到多类别场景。

OOTDiffusion

OOTDiffusion 是基于 Stable Diffusion 的模型微调,用于实现现实且可控的基于图像的虚拟试穿(VTION)。可以根据不同性别和体型调整服装,支持半身和全身模型,效果接近商用!

TryOnDiffusion

TryOnDiffusion 可以将两幅图片合成,帮助照片中的人物更换不同的服饰。不同于传统方法,TryOnDiffusion 基于并行 UNet 的扩散式架构,在保留更多细节的情况下让服装和真人模特相结合,可呈现出更自然的试穿效果。

DiOr(Dressing in Order)

Dressing in Order(按顺序穿衣)一个灵活的人物生成框架,支持2D 姿态迁移、虚拟试衣、服装编辑任务。其关键在于使用新的循环生成网路,将衣服按顺序穿到一个人身上,顺序不同,结果不同。

M3D-VTON

M3D-VTON 是一种计算效率很高的单目到三维虚拟试穿网络,借鉴了二维和三维方法的优点,从二维信息中生成三维试穿网格。

数据集

单品类虚拟试穿数据集

VITON-HD

特点:

  • 纯白背景

  • 品类:上衣

  • 尺寸:13679 件衣物和 27358 张人模图像

  • 分辨率:1024 × 768

收录于 CVPR 2021。

FashionTryOn

特点:

  • 尺寸:28714个三元组,每个三元组包含一个服装项目图像和两个不同姿势的模特图像,共计 86142 张图像

  • 分辨率:256 × 192

收录于ACM Multimedia 2019。

MPV

特点:

StreetTryOn

特点:

  • 街景背景

  • 尺寸:从大型时尚检索数据集 DeepFashion2 中筛掉超过 90% 的不适用于试穿任务的图像(例如非正面视图、大遮挡、黑暗环境等),由 12364 张用于训练的街头人物图像和 2089 张用于验证的街头人物图像组成。

  • 论文链接:https://arxiv.org/pdf/2311.16094.pdf

  • 项目链接:https://cuiaiyu.github.io/StreetTryOn/

多品类虚拟试穿数据集

Dress Code Dataset

特点:

  • 纯白背景

  • 尺寸:53792 件衣物和 107584 张穿着它们的人模图像

  • 品类:上衣、下装、裙子

  • 分辨率:1024 × 768

相较于单品类,它更加完善了验证虚拟试衣算法的有效性。


随着电商的普及,用户对虚拟试衣效果的要求日益精美,这使得所需的算力要求不断提高。趋动云作为领先的算力服务商,凭借高性能计算资源,能够快速处理海量数据,为开发人员提供强有力的支持。

趋动云是面向企业、科研机构和个人 AI 开发者构建的开发和推理训练服务,也是全球首个基于 GPU 算力池化云的服务。

趋动云的使命是连接算力·连接人:

📍通过连接全球算力,趋动云可以为用户提供便宜、好用的 AI 算力。
📍通过为AI算法开发全流程提供优化服务、构建全球开发者项目和数据社区,趋动云可以帮助AI开发者接入丰富的生态,快速实现最佳实践

趋动云

连接算力・连接人

注册即领**
70元**算力金

免费体验便宜好用的趋动云

做新手任务
再得230元算力金

添加小助手,获取新手任务

▼HOT 趋动云火热注册中!点击 “阅读原文” 即可尝鲜~

相关推荐
关注或联系我们
添加百川云公众号,移动管理云安全产品
咨询热线:
4000-327-707
百川公众号
百川公众号
百川云客服
百川云客服

Copyright ©2024 北京长亭科技有限公司
icon
京ICP备 2024055124号-2