![]() |
|
如何更顺滑的添加水印?谷歌的这项新技术,让文本简直就像贴在地面上,哪怕是在沙尘横飞的场景里。
只需输入一段视频,和指定对象的粗略蒙版。
那这个对象的所有相关场景元素,都能解锁!
不管是任意对象和主体,不论怎么移动,所有元素都能抠出来。
这就是谷歌最新的视频分层技术 ——omnimatte,入选 CVPR 2021 Oral。
目前这项技术已开源。
如何实现
计算机视觉在分割图像或视频中的对象方面越来越有效,然而与对象相关的场景效果。
比如阴影、反射、产生的烟雾等场景效果常常被忽略。
而识别这些场景效果,对提高 AI 的视觉理解很重要,那谷歌这项新技术又是如何实现的呢?
简单来说,用分层神经网络渲染方法自监督训练 CNN,来将主体与背景图像分割开来。
由于 CNN 的特有结构,会有倾向性地学习图像效果之间的相关性,且相关性却强,CNN 越容易学习。
输入一段有移动物体的视频,以及一个或者多个标记主体的粗略分割蒙版。
首先,使用现成的分割网络比如 Mask RCNN,来讲这些主体分成多个遮罩层和背景噪声图层,并按照某种规则进行排序。
比如,在一个骑手、一辆自行车以及几个路人的场景中,就会把骑手和自行车归入一个层,把人群归入第二层。
omnimatte 模型是一个二维 UNet,逐帧处理视频。每一帧都用现成的技术来计算物体掩码,来标记运动中的主体,并寻找和关联蒙版中未捕捉到的效果,比如阴影、反射或者烟雾,重建输入帧。
为了保证其他静止的背景元素不被捕获,研究人员引入了稀疏损失。
此外,还计算了视频中每一帧和连续帧之间的密集光流场,为网络提供与该层对象相关的流信息。
最终生成 Alpha 图像(不透明度图)和 RGBA 彩色图像,尤其 RGBA 图像,简直可以说是视频/图像剪辑法宝!
目前这一技术已经开源,配置环境如下:
Linux
Python 3.6+
英伟达 GPU + CUDA CuDNN
有什么用途
技术效果如此,那有什么样的用途呢?
首先就可以复制或者删除图像。
还有顺滑地切换背景。
当前新闻共有0条评论 | 分享到: |
|
||||||||||
评论前需要先 登录 或者 注册 哦![]() |
24小时新闻排行榜 | 更多>> |
1 | 空姐坦白:机组人员在飞行中 这样“发生性 |
2 | 红色家族海外财产达二十万亿 习近平犯下两 |
3 | 重磅!川普放话,关税大消息 |
4 | 习近平8月下台?美前外交官细数可疑迹象 |
5 | 美截获伊朗高层密谈 内容惊人 川普又被打脸 |
48小时新闻排行榜 | 更多>> |
1 | 比恒大还多1.14万亿的巨头,倒了 |
2 | 北京出了啥事?美前顶级情报头子发话 |
3 | 普京沉痛宣布:我们被骗了 |
4 | 空姐坦白:机组人员在飞行中 这样“发生性 |
5 | 红色家族海外财产达二十万亿 习近平犯下两 |
6 | 4年倒闭5万多家 中国最暴利行业 要彻底消 |
7 | 刚刚!美联储,突传重磅 |
8 | 哈梅内伊又装了一回,代价也来了 |
9 | 重磅!川普放话,关税大消息 |
10 | “全国一盘棋”重演?习近平的新时代 |
一周博客排行 | 更多>> |
1 | 俺吃错过药 | 阿妞不牛 |
2 | 空前绝后:24岁的中共总书记及 | 赵大夫话室 |
3 | 人养金毛犬,我养白眼狼:伊朗 | 高伐林 |
4 | 回国避坑:既不能评论国内好坏 | aoe2 |
5 | 人死后灵魂还在吗? | 骆驼 |
6 | 走出中国城,走活中国人 | 解滨 |
7 | 中美空军相差多远?看运-20和C | 弓长贝占郎 |
8 | 共产革命之前的上海和伊斯兰革 | 陈家梁子 |
9 | 为何黄左反川甚于反共? | 蛇形刁手 |
10 | 习大大唱独角戏,听床师们情何 | 蛇形刁手 |
一周博文回复排行榜 | 更多>> |
1 | 人死后灵魂还在吗? | 骆驼 |
2 | 俺吃错过药 | 阿妞不牛 |
3 | 文明、优雅、格局 | 体育老师 |
4 | 奇袭伊朗.高法裁决.外交内政. | 木秀于林 |
5 | 为何黄左反川甚于反共? | 蛇形刁手 |
6 | 走出中国城,走活中国人 | 解滨 |
7 | 相信固执己见可以治愈 | 施化 |
8 | 2024回国:海南环岛游 | 马黑 |
9 | 人养金毛犬,我养白眼狼:伊朗 | 高伐林 |
10 | 再反转:B-2只炸了个皮毛? | 北栖 |