【A16】虚拟试衣算法【万兴科技】
发布时间: 2022-11-24 16:06:53

本届A类赛题可通过以下方式提问与交流:

1、大赛官网团队账号-赛题答疑区提问,组委会定期收集问题提交至企业解答后公布;

2、可前往赛题答疑论坛(PC端点击链接):https://mastergo.com/file/77782156635006?utm_source=fwwb&utm_medium=saitishouce&utm_campaign=&utm_term=&utm_content=提问或交流,企业定期回复。



1.命题方向

图像生成

2.题目类别

计算机类

3.题目名称

虚拟试衣算法

4.背景说明

【整体背景】

随着在线购物重要性的增加,一项允许客户虚拟试穿衣服的技术有望丰富客户的体验。虚拟试穿任务旨在将人身上的衣服变成给定的服装产品。大多数基于图像的虚拟试穿方法存在试穿结果变形、部分区域出现伪影或者部分区域不完整的情况,因此应用到实际产品端具有较强的挑战性。

【公司背景】

万兴科技(300624.SZ)成立于2003年,并于2018年登陆A股创业板,是全球领先的新生代数字创意赋能者,致力于成为全世界范围内有特色、有影响力的百年软件老店。

公司面向全球海量新生代互联网用户提供潮流前沿、简单便捷的数字创意软件产品与服务,赋能人们在数字时代与众不同地进行创意表达,帮助每一个新生代创作者将头脑中的灵感变为可见的现实。

万兴科技也是中国政府认定的“国家规划布局内重点软件企业”,连续跻身“德勤高科技高成长亚太区500强”、“福布斯中国最具发展潜力企业”等荣誉榜。

公司正以前瞻的视野推进全球化布局,研发总部位于深圳,并在温哥华、东京、长沙等地设有运营中心,业务范围遍及全球200多个国家和地区。

【业务背景】

万兴科技持续深耕数字创意软件领域,旗下明星产品包括万兴喵影、万兴优转、亿图图示、Filmora、Filmstock、Fotophire等。以AI技术赋能数字创意为目标,让简单的创意无所不在。

5.项目说明

【问题说明】

虚拟试衣指根据输入的人物图像和衣服图像,实现衣服的试穿,效果如下图所示,在完成衣服试穿后不会出现衣服不完整,伪影等情况

【用户期望】

虚拟试衣技术应用到实际产品中时往往会存在一些问题,因此站在用户角度对虚拟试衣技术总结了以下点期望

1)可以实现任意人物的虚拟试衣,因为有些人物版权问题,或者展示效果上的需求,部分用户希望能够让自己的模特试穿特定的衣服

2)试穿衣服支持的种类,包括短袖,衬衫,外套等,支持的种类越多越好

3)试穿效果要确保不存在有明显瑕疵,部分破损,伪影等情况

4)算法要求正面和背面人物的虚拟换衣,对于长头发人的背身虚拟换衣需要额外优化

6.任务要求

【开发说明】

本项目要求参赛者设计技术方案流程,以及完成虚拟试衣模型的训练、优化、工程化等工作,最终产生一个支持用户上传人物图像和衣服图像输出试穿后的结果的可执行程序(.exe)或部署在服务器的web端体验平台。

【技术要求与指标】

1)输入的用户数据:衣服图像和人物图像

2)输出的图像:试穿的RGB图像

3)需要对虚拟试衣模型进行轻量化操作,模型大小限制在50MB以下

4)运行速度:i5 8070/10700 CPU达到25fps

5)需要保证试穿结果的完整性,无明显瑕疵,不改变通过计算FID指标作为量化指标

在此项目中,按照课题要求需要自行完成技术调研、模型训练、优化、后处理以及工程部署等工作,模型文件大小需要限制在50MB以内。

虚拟试衣模型大小

不超过50MB

运行速度

i5 8070/10700 CPU 25fps

效果指标

FID(越小越好)

【提交材料】

1)项目概要介绍;

2)项目简介PPT;

3)项目详细方案;

4)项目演示视频;

5)企业要求提交的材料:

项目简介PPT,包括:项目执行思路介绍;所使用的算法模型、优化、项目工程化过程介绍;算法及模型的优劣势、技术指标达成情况介绍;以及提供样例的展示效果

项目详细技术方案文档:详细描述算法实现的技术方案及原理

自行收集测试样例的效果展示

本地化可执行程序或部署在服务器支持试用的web页面:在本地运行一个无需额外部署环境的exe可执行文件, 支持用户上传衣服图像和人物图像输出试穿的人物图像(或者部署在服务器支持试用的web页面)。

6)团队自愿提交的其他补充材料。

【任务清单】

1)明确业务需求定义,根据定义收集测试样例;

2)虚拟试衣技术(如深度学习模型)的调研、设计和训练;

3)虚拟试衣的后处理(试穿后瑕疵修复补全等)及优化(模型轻量化等);

4)模型的试穿效果评估以及全流程推理速度细化分析;

5)模型大小、参数量(Params)和计算量(Flops)。

6)深度学习算法工程化,提交可进行验证安装程序或可行性的工程化代码及依赖 (提示:推理框架有openvino、tensorRT、onnx等)。

【开发工具与数据接口】

开发工具:开发工具及平台不限。

7.其他

8.参考信息

9.评分要点

赛题评分要点见附件A 类企业命题初赛统一评分标准。

除此之外,企业还重点关注以下几个方面:

1)算法的创新性:算法创新描述详细、清晰,不限于数据预处理方法、模型改进、损失函数设计、优化器设计、主体边缘后处理以及模型加速等技术的创新。

2)算法的实施过程:整个项目的实施进度安排合理,在模型改进和模型部署等阶段工作创新合理清晰,突出算法解决的难点;算法调研、训练、优化、工程化落地周期安排恰当。

3)算法的性能/效果:算法设计方案可行性高,算法的性能和效果与技术指标相匹配,项目完成度好。



订阅号