首页 > 技术交易 > 科技成果
基于深度神经网络的多层次数字图像抠像技术研究
发布时间: 2023-12-08 浏览量:35
  • 交易方式:面议
  • 联系电话:13936240275
  • 单位名称或姓名:姚桂林
  • 产业领域:数字经济
  • 成果类型:
项目基本情况Basic information of the project
数字抠像技术的诞生已有一百余年的历史,所研究的是将一幅输入图像或视频序列中的前景信息和背景信息分离开来的一个关键问题。之后再通过图像合成手段将分离的前景合成到另外一幅或多幅背景中,但合成步骤仅为抠像步骤的一个简单后续处理,真正关键且复杂的是抠像步骤。数字抠像问题在现代媒体如图像处理、视频处理、虚拟现实领域中被广泛采用,如杂志、电影电视、广告、多媒体标题等,能够实现将从实际拍摄的数字图像中抠取出一个或多个用户感兴趣的前景目标,即从实际背景中分离出来,将其融合于新背景中,生成符合用户要求的新图像。目前几乎所有的影视剧和商业广告都采用数字抠像技术进行后期制作,电视台中的视频处理与编辑团队能够将演员无痕迹的放置于一个新场景中,甚至很多电影公司为了压缩拍摄成本,其整体拍摄过程全部在摄影棚内完成,之后利用抠像与合成技术完成后期处理,其中较有影响力的影视剧包括“黑客帝国”、“侏罗纪公园”、“指环王”、“西游记”等,它们以完美的特效和新奇的场景,为用户提供了非凡的视觉冲击与震撼体验。本课题以深度网络智能框架结合传统抠像方法为基础,重点研究图像与视频抠像中Trimap扩展与抠像计算中的多层次抠像技术。主要研究内容包括基于传统采样与仿射类方法的图像Trimap扩展与抠像方法,以及基于并行深度编解码网络的图像Trimap扩展与抠像方法。关键功能分析和实验结论成立。课题组具有良好的研究氛围和科研环境,在图像和视频处理方面积累了丰富的经验。经过10余年的研究,本课题组积累了丰富的研究经验和源代码,目前拥有自主开发的基于Trimap框架的图像抠像系统2套,包括已实现的30余种抠像算法。其中第一套是在VC6.0环境下采用OpenCV1.0结合C++编写,第二套是在VS2019环境下采用OpenCV4.2.0编写。这2套系统集成了课题组最新实现的二十余种数字抠像算法,以及最新测试的一些新型图像抠像系统框架,并可对已公开的抠像测试与评价系统(alphamatting.com)中所有测试图像集、训练图像集进行批处理。另外,本课题组开发了视频抠像系统1套,包括已实现的视频抠像算法6个,可对连续帧序列进行连续抠像。此系统是在VC6.0环境下采用OpenCV1.0编写。深度抠像方面,本课题组目前已在Keras和Pytorch这2个主流深度框架实现了:(a)基于SegNet与全卷积网络相结合的一般深度抠像算法(deep image matting v1)、(b)基于PSPNet与SegNet相结合的肖像抠像(semantic human matting)这两个目前最主要的深度抠像类算法。图21显示了这2个深度抠像算法在运行GPU测试时的界面。该成果中所拟定的抠像类算法,若域相关软件相融合,在预期上可以对它们的抠像效果得到较大幅度的提升,特别是针对之前提到的颜色分布较为复杂、或者边缘复杂的实例,可以获得更为理想的、并能够最终达成“以假乱真”的合成效果,为用户提供更加满意的虚拟现实作品。同时,本项目提出的算法,可以为各类预开发的图像处理软件的进一步商品化,提供了更为有利的契机。
管理团队与技术团队Management team and technical team
哈尔滨商业大学
效益分析Benefit analysis
该项目为储备库项目资源,暂无效益分析内容。
成果推荐Result recommendation