基于AI算法的4K修复,让大圣更高清。
回忆杀!大闹天宫、斩妖除魔的齐天大圣孙悟空,就要以高清形象重返到我们面前。
被誉为国漫巅峰制作的《大闹天宫》影片,是由上海美术电影制片厂于1961年到1964年制作的彩色动画长片,历年来已斩获国内外大奖无数,豆瓣评分高达9.4,成为历代人的宝贵记忆。
在60余年后的今天,它将重现江湖,再次迎来自己的高光时刻。4K修复版《大闹天宫》于2月15日(元宵节)上线于西瓜视频和鲜时光平台,用户均可免费观看,该影片修复工作由字节跳动旗下的火山引擎提供技术支持。
此次《大闹天宫》高清归来,究竟是献情怀还是秀技术?这背后又有多少你不知道的事呢?
费时费力的艰巨工作
近年来,4K修复概念走进大众的视野,从《海上钢琴师》到《哈利·波特与魔法石》再到《天书奇谭》,已有多部4K修复后的经典老片登陆全国院线,在影片上映时几乎都会引发大众的高度关注,勾起一代又一代人的回忆。
它们的战绩也十分亮眼,《哈利·波特与魔法石》上映四天票房过亿,《天书奇谭》在上映11天后累计票房达2170万……从票房中便可以看到,老片重映的确有其市场价值,也因此,许多院线和视频网站都纷纷加入了4K修复阵营。
之前西瓜视频在“经典中视频4K修复”发布会上表示,未来一年将修复百部经典动画。而上海国际电影节更是从2011年起便携手积家共同开展电影修复项目,还有中国移动旗下咪咕公司、爱奇艺、优酷等的入局。
然而,老片重映在这几年,似乎总离不开“炒冷饭”、“消费经典”的标签,但陆玖财经和业内人士进行沟通后了解到,炒冷饭也没你想的那么香,它并不是简单的经典重现,4K修复其实是一项繁重且复杂的工作。
中国电影资料馆的修复师王峥曾比喻:“对电影修复师来说,他们的工作就是与帧率赛跑。”电影通常为每秒24帧,修复一部10万帧的电影,就相当于要处理15万张图。
可见,人工修复老片其实属于劳动密集型工作,非常的费时费力。许多修复师都坦言,一部老电影的修复所经历的一系列过程,其中的复杂、艰难程度不亚于制作一部新片。很多老动画片以胶片为存储介质,会因时间推移出现褪色、划痕、噪点等问题,修复师有时候遇到棘手的问题,可能一天只能修 24 帧,也就是一秒。
这其中的成本也很高,有数据显示,普通的 2K 修复(分辨率 2048×1556)完全依赖人工大概需要两个星期才能完成一部,花费在30万元左右。上海电影制片厂修复师吴云岳曾表示:“4K的分辨率高达4096×3112,工作量相当于2K修复的4倍。”
那么,4K 修复(分辨率 4096×3112)的工作量按照4倍来算,可能需要两三个月、甚至半年的时间才能完成一部。
AI技术如何让老片焕发新生?
AI技术的出现,在大幅减轻修复师劳力的同时,甚至比人工更具优势,它已成为老片修复的最优解。
火山引擎多媒体实验室研究员赵世杰表示,深度学习等AI技术的兴起,大幅提升了老片修复的质量和效率。人工做不到的一些修复效果,AI可以做到,人工处理慢的一些修复过程,AI算法结合强大的算力可以加速数万倍。
很多老片,由于当时制作的条件限制,加上胶片保存过程中的老化,各位在追忆往昔再观看时,往往都会发现不少画质问题,影响观感。陆玖财经在与业内人士交流后得知,对于画质,业内一般从清晰度、流畅度、色彩以及瑕疵四个维度进行考虑。
具体到这四个方面,AI是如何让老片焕发新生的呢?
先说清晰度。从专业的角度来说,分辨率其实是衡量影片清晰程度的重要参数,分辨率越高那么清晰度越高。由于老片制作受设备和条件限制,分辨率规格一般都是720p、540p甚至更低,然而目前的屏幕很多都支持到了4K以上,大家已经习惯了当下的高分辨率影片,所以很多人想再看经典时,就会觉得影片清晰度很差,观感不佳。
火山引擎方面应用了建立在机器学习方式上的超分辨率重建和去模糊算法技术,其对海量高清和低清视频的数据对进行分析,使得算法模型可以学习到高清视频的特性,从而能够完成视频从低清到高清的转换,并且生成缺失的细节。这样一来,视频的分辨率就可以从720p提升到4K,大幅提高清晰程度。
再说流畅度。影响流畅度的主要是视频的帧率,帧率越大越流畅,目前大多影片帧率都在25帧以上,有的能达到60甚至120帧。因为制作成本的限制,许多老的影片拍摄或者手绘的帧数较少,导致影片卡顿感强,而近年来兴起的插帧技术可以实现低帧率视频向高帧率视频的转换。火山引擎采用的智能插帧算法通过分析前后帧的运动和内容,对中间帧进行生成,将原先不足15的帧率,提升至60以上,大幅提升流畅度。与此同时,其还使用块光流进行优化,实现更精准的插帧结果。
而色彩方面,色彩失真、画面昏暗是老片存在的普遍问题。由于胶片储存有着极高的存放要求,一旦储存不当就会产生物理化学损伤,这些损伤在数字化后就会被放大,导致失真等各种色彩问题,并且老片制作时通常基于旧的播放场景和制作标准,采用较窄的色域和较低的亮度动态范围,导致亮度动态范围普遍比较低,画面看起来比较昏暗。
火山引擎的色彩增强方案进行了有针对性的处理。一方面,其基于AI进行画面色偏检测和修复,另一方面,应用SDRtoHDR色彩增强方案,可以将画面动态范围和色域映射到更大的空间,结合用户显示设备的能力,获得最佳显示效果。
最后是瑕疵处理,老片的瑕疵类型复杂而且程度更严重,对于技术而言是不小的考验。为此火山引擎结合了传统信号处理以及深度学习算法,对于较小的雪花颗粒噪声,使用传统算法进行处理;对于较大的坏点和划痕,则使用机器学习算法进行识别和修补。算法能够强力地修复瑕疵,并且保留原有纹理不受影响。
但是算法并不是万能之神,为了防止“误伤”艺术效果,消除瑕疵的算法通常不会设置很高的强度,因此会漏掉一部分瑕疵,由人工辅助标注。
火山引擎方面向陆玖财经透露,对那些损伤严重的老片来说,彻底消除瑕疵需要投入大量人力。以其修复的《葫芦兄弟》为例,在消除瑕疵的过程中,设计师们就看了20万帧的画面。
文化传承离不开企业助推
老片修复不是炒冷饭或是秀技术,它本质上还是企业承担自身社会责任的体现。
对此,西瓜视频总裁任利锋曾表示,修复经典是传承,也是用新技术最大化还原作品,带给大家新的感受和认知,不管是修复动画片,还是修复老影像,归根到底,都不只是为了提高它的清晰度,“我们想要修复的是这些内容背后的记忆,呈现几代人因为这些记忆隔空产生的共鸣和火花”。
人们常说:经典永不褪色,但这些经典老片在岁月中,已是伤痕累累,目前仍然受困于画质问题,难以满足人们如今的观影体验。欣慰的是,目前已有许多企业参与进来,重新打开中国经典影像的宝藏,使佳作重焕光影魅力,让观众得以重温影史硕果。
4K技术是帮助经典流传下来的重要途径,它既降低了成本,又节省了人力,让老电影有机会重新焕发生机,通过对影片声、画等的处理,能够更清晰、直观地保存人类智慧的结晶,为今后更好地继承电影文化做足准备,对于社会发展所起的作用颇具价值。
据陆玖财经了解到,《大闹天宫》的创作前后持续四年。当时并没有电脑,全凭手绘,比如片子中孙悟空拔下三根毫毛,变出三个分身与哪吒激战的情节,5秒的镜头就需要画出一百多张原画稿,全片的手稿就有十多万张。
西瓜视频相关负责人表示,《大闹天宫》是老一辈动画人匠心的代表。时隔多年,老动画难免会出现清晰度低、色彩失真、瑕疵等画质问题。修复工作是一种传承和守护,西瓜视频在力求保留影片原汁原味的同时,带给观众画面、声音上的优质体验。
西瓜视频方面向陆玖财经表示,截至目前,已有《舒克和贝塔》等36部动画完成4K修复,此前的计划正在如期推进中,西瓜视频App的少儿放映厅页面目前已上线“超清修复”版块,百部经典作品的 4K修复版正陆续在该版块上线。
企业将自身技术优势应用于老片修复工作,从服务公益中,更好地彰显出社会责任和担当。