动眼神经损伤

首页 » 常识 » 诊断 » 彩绘中国觉醒重现历史,机器学习赋予
TUhjnbcbe - 2024/5/5 22:16:00
视频网站vip会员账号 https://news.iresearch.cn/content/2021/08/392959.shtml

经典虽然不可能重现,但可以使用日新月异的科技手段“复原”历史,让后人得以瞥见历史的真面目。

《彩绘中国·觉醒》修复一百年前的影像

在5月4日青年节当天,央视新闻推出大型融媒体AI修复节目——《彩绘中国·觉醒》历史纪录片,以纪念五四运动102周年,建党100周年,让你重回一百年前那段风雨飘摇的时光。这档节目首次采用了4K电影级技术修复上色,修复还原了在《上海南京路》、《中国劳工》、《巴黎和会》等中外历史纪录片。

以此次的《彩绘中国·觉醒》为例,知乎名为回归的用户称是该节目的执行编导,向我们揭示了视频制作的大致步骤:

(1)从中央新影到法国国防部的下属影像机构,找到有价值的原始胶片

(2)对影像进行4K扫描,对胶片的脏点及划痕进行修复,

(3)用AI的方式进行初级上色后,人工进行逐帧上色

(4)AI补帧和超分辨率处理

采用传统的人工修复技术要求技师手工逐帧修复、合成,一般来说,电影一秒24帧,现在高清技术的发展,这个数字在不断往上提升,即使是2分钟的短视频,采用人工一帧一帧地修复,所耗的成本是非常高的。

但是有了AI技术的加入,就可以先通过机器学习和模型训练来填充细节提高老电影的画质,再利用深层神经网络为老电影“上色”,最后进行转录和人脸识别,大大提高了效率。

在《彩绘中国·觉醒》中,AI做了三个重要的工作:划痕修复、上色和超分辨率处理。

AI修复的工作原理和技术步骤是什么?

1、AI的想象力之源——GAN

AI对图片的修复有三点:一是划痕和噪点的修复,二是图片上色,三是帧数修复。

这三个步骤都离不开一个学习模型——生成式对抗网络(GAN,GenerativeAdversarialNetworks)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型(GenerativeModel)和判别模型(DiscriminativeModel)的互相博弈学习产生相当好的输出。

GAN网络分两部分,一个是生成器(Generator),一个是鉴别器(Discriminator)。生成器通过对图像上色,然后交给鉴别器。鉴别器判断这一个图片看起来真不真,如果觉得假,鉴别器会返回「修改意见」,让生成器重新试试,直到鉴别器觉得足够真了。这就好像美术老师指导学生画画的过程,一开始学生画出来的不够好,老师指出,学生尝试改改,老师再检查,再给意见,直到老师满意。

2、对像素和关键帧的想象

修复图像的第一步就是找到缺失或者是被破坏的像素。AI通过前期对数据库的学习,可以较准确地判断出图像中哪些像素受到了破坏,然后根据周围像素补充缺失区域的像素。

在该节目中,要将影片修复到4K的清晰度,要填充的像素量不小。以高清到4K的例子来说,普通的高清是×,总像素为,而4K高清是x,总像素是。也就是说,光是要把普通高清提升到4K高清,就需要额外填充万个像素,更别提是几十年前的老纪录片。

第二步是图片上色。由于黑白的影片不能带来较好的观影体验,所以要对影片进行色彩复原。AI同样也经过了给图片上色的学习,通过之前的算法经验对影片还原。

第三步是帧数修复,解决了老影片卡顿、掉帧的问题。由于历史记录片的年代久远,用今天的播放器根本没有办法看,多卡顿噪点等问题。

技术祛魅:越来越火的AI修复

其实,AI影像修复技术已经应用了很多年,除了《彩绘中国·觉醒》影片的修复也有不少其他的成功案例:

年建国70周年的献礼影片《决胜时刻》,就是使用AI复原了开国大典的真实视频片段;

中国第一部8K全画幅纪录片《你好,AI》展示了AI虚拟修复长城、复原敦煌壁画的真实例子;

2020年,“年北京”黑白影像资料进行了帧数修复、上色和配音,在B站点击量超过226万;

还有网友利用奇思妙想把表情包进行AI修复……

年北京影像

表情包AI修复

从长城的修复到巴黎圣母院的修复,都采用了AI修复技术。在前段时间发掘出的三星堆遗址中,AI修复让我们获得了与历史面对面交流的机会,这一次,我们离历史也许更近了。但是AI修复并没有解决一切问题。

1、AI文物修复的困境

AI修复的能力都基于基础数据的训练,博物馆中的文物都是人类历史的物质文明和精神文明的见证品,这些文物有的用于展览,有的用于研究,但并不是所有都适合做AI学习的资料。

中国人民大学历史学教授张林虎老师举例说:“比如我们肉眼看到一些碎陶片或者瓦片,通过基本的经验就判断出它们质地、颜色有什么区分。因为不同残片埋藏的环境不同都可能导致器物表面颜色不一样,这些工作如果由AI来完成就需要一点一点去教它,但AI最初学习阶段肯定是非常缓慢的,这势必会增加金钱和时间成本。”

此外,文物分可移动和非可移动的。在面对大型遗址的修复时,一次性地完成高精度数字化信息采集,就可以在实验室完成复建方案的设计,有利于减少人为损伤。但对于小的可移动的文物来说,这样的工作是没有必要的。

2、接近历史or背离历史

同时也有一些反对的声音认为,利用AI修复并不能还原历史,反而因为AI的想象使我们与真实的历史背道而驰。首先,在前文一直强调AI的想象力,即便有了大量数据库的训练,AI修复过后的物件就被还原了吗?答案不得而知。就像是AI修复的算法一样,你不会知道藏在GAN学习网络黑箱中的算法到底是什么,它只会给一个结果——我们觉得真实,我们就说它是历史。

另一方面,影片的磨损恰恰反映了历史。为什么到总有人在追求复古风格:把物品做旧、淘二手衣物……这是由审美决定的,经过了岁月的打磨,这些破损也成为了独一无二的美,让面对它的人感受到时间的沉重。

无论如何,秉持着科技向善的念头,虽然我们无法到达历史,但无疑这项技术却给了我们无限接近历史的机会。

参考资料:

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-量子位的文章-知乎

《彩绘中国》通过AI修复将五四运动的黑白影像上色,看到这些影像感受如何?-桔了个仔的回答-知乎

AI还原历史“真相”:修复三星堆文物、“复活”黑白老照片……

1
查看完整版本: 彩绘中国觉醒重现历史,机器学习赋予