万维读者网 > 信息时代 > 正文  
谷歌最新视频抠图术:影子烟雾都能抠 还开源
www.creaders.net | 2021-09-03 15:46:39  量子位 | 0条评论 | 查看/发表评论
  

  如何更顺滑的添加水印?谷歌的这项新技术,让文本简直就像贴在地面上,哪怕是在沙尘横飞的场景里。

  方法也很简单。

  只需输入一段视频,和指定对象的粗略蒙版。

  那这个对象的所有相关场景元素,都能解锁!

  不管是任意对象和主体,不论怎么移动,所有元素都能抠出来。

  这就是谷歌最新的视频分层技术 ——omnimatte,入选 CVPR 2021 Oral。

  目前这项技术已开源。

image.png

  如何实现

  计算机视觉在分割图像或视频中的对象方面越来越有效,然而与对象相关的场景效果。

  比如阴影、反射、产生的烟雾等场景效果常常被忽略。

  而识别这些场景效果,对提高 AI 的视觉理解很重要,那谷歌这项新技术又是如何实现的呢?

  简单来说,用分层神经网络渲染方法自监督训练 CNN,来将主体与背景图像分割开来。

  由于 CNN 的特有结构,会有倾向性地学习图像效果之间的相关性,且相关性却强,CNN 越容易学习。

image.png

  输入一段有移动物体的视频,以及一个或者多个标记主体的粗略分割蒙版。

  首先,使用现成的分割网络比如 Mask RCNN,来讲这些主体分成多个遮罩层和背景噪声图层,并按照某种规则进行排序。

  比如,在一个骑手、一辆自行车以及几个路人的场景中,就会把骑手和自行车归入一个层,把人群归入第二层。

  omnimatte 模型是一个二维 UNet,逐帧处理视频。每一帧都用现成的技术来计算物体掩码,来标记运动中的主体,并寻找和关联蒙版中未捕捉到的效果,比如阴影、反射或者烟雾,重建输入帧。

  为了保证其他静止的背景元素不被捕获,研究人员引入了稀疏损失。

  此外,还计算了视频中每一帧和连续帧之间的密集光流场,为网络提供与该层对象相关的流信息。

  最终生成 Alpha 图像(不透明度图)和 RGBA 彩色图像,尤其 RGBA 图像,简直可以说是视频/图像剪辑法宝!

image.png

  目前这一技术已经开源,配置环境如下:

  Linux

  Python 3.6+

  英伟达 GPU + CUDA CuDNN

  有什么用途

  技术效果如此,那有什么样的用途呢?

  首先就可以复制或者删除图像。

  还有顺滑地切换背景。

   0


当前新闻共有0条评论 分享到:
评论前需要先 登录 或者 注册
全部评论  
暂无评论 上一页 下一页  
实用资讯
24小时新闻排行榜 更多>>
1 塔利班的一场惊天杀戮,中国退役武警枪下逃
2 六常委都现身姜春云葬礼 独独缺了他
3 丢脸了!中南海划出的红线居然没人理
4 习近平连任威胁来自这儿
5 美东遭170年特大天灾 留学生亲历全民弃城大

48小时新闻排行榜 更多>>
1 塔利班的一场惊天杀戮,中国退役武警枪下逃
2 事更大了?网传赵薇列国际红通 网民突破盲
3 第一张大字报横空出世 文革山雨欲来
4 六常委都现身姜春云葬礼 独独缺了他
5 这两天,国外的这个“爱国贼”被扒得体无完
6 弹尽粮绝?日本调研机构发现华为不能说的秘
7 丢脸了!中南海划出的红线居然没人理
8 亨廷顿《文明的冲突》:十大预言已逐一兑现
9 中共定下高收入标准 共同富裕被指掐死中国
10 习近平连任威胁来自这儿
热门专题
一周博客排行 更多>>
1 习式文革回潮, 每个人都能感受 文庙
2 习近平靠这个护官符上的位 思芦
3 退休了 马黑
4 围剿艺人,习总吹响了文革2.0 蒋大公子
5 中美争夺越南的友谊赛好玩 阿妞不牛
6 由“外语教材下架”想到的 云乡客
7 共产主义毁国家|资本主义毁世 特有理
8 ida博登台谈善良,共产主义终 新歌
9 公司又要裁员了 人参花
10 很黄很暴力的《权力的游戏》 老冬儿
一周博文回复排行榜 更多>>
1 退休了 马黑
2 ida博登台谈善良,共产主义终 新歌
3 谈谈万维博客的个人攻击现象 远方的孤独
4 中美争夺越南的友谊赛好玩 阿妞不牛
5 习式文革回潮, 每个人都能感受 文庙
6 50美元随便睡美女,大国崛起永 新歌
7 说说万维的几位塔利班神学士 嘎拉哈
8 除了武器,看看美国留给塔利班 远方的孤独
9 分治,亟待提上议程的政治选项 施化
10 早就看他们不顺眼了 特有理
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2021. CyberMedia Network/Creaders.NET. All Rights Reserved.