他们用卷积神经网络,发现了名画中隐藏的秘密

浏览: 86

文章发布于公号【数智物语】 (ID:decision_engine),关注公号不错过每一篇干货。

来源 | HyperAI超神经(id:HyperAI)

作者 | 神经小刀

场景描述:著名的艺术珍品《根特祭坛画》,正在进行浩大的修复工作,以保证现在的人们能感受到这幅伟大的巨制,散发出的灿烂光芒。而随着技术的进步,高分辨率数字技术的介入,数据信息的逐渐增多,也让 AI 技术能够在画作修复上大显身手。那么在《根特祭坛画》的修复上,AI 技术能够带来哪些惊喜?

关键词:世界名画   画作修复  图像生成

《根特祭坛画》(又名《神秘羔羊之爱》),是比利时国宝级瑰宝,也是世界上迄今最具影响力的油画,最受艺术领域关注的大师级作品。

它由 Van Eyck(凡·艾克)兄弟,于 1415 年到 1432 年,历时 18 年完成,是一幅由内外 20 个画板构成一种折叠式巨大画作,完全打开时长 3.5 米,宽 4.7 米

真迹现存放于比利时根特的圣·巴夫大教堂

但正因为名气太大,这幅画自问世以来,遭遇了多次横祸。

而且,除了人为破坏之外,它也与很多世界名画一样,难逃因灰尘、潮气等的侵蚀,导致画面变色、失去光泽。因此,画作的修复需求也越来越迫切


近日,伦敦大学与杜克大学利用人工智能来解码《根特祭坛画》的高分辨率 X 射线图像,其研究结果发表在《Science Advances》期刊上:《Artificial Intelligence for Art Investigation: Meeting the Challenge of Separating X-ray Images of the Ghent Altarpiece》。

这一研究有望提高我们对艺术杰作的理解,并为艺术调查,保护和展示提供新的机会。

01名画伤痕累累,修复工程浩大

祭坛画是一种画在木板上,安置在教堂圣坛前面,用于装饰的复合画作。《根特祭坛画》取材于圣经,描绘了其中的经典场景,涵盖了 100 多位人物。

这幅作品也是现代油画的开山之作,Van Eyck 兄弟在创作中,首次试验用油调色,使用新的涂料、松脂以及乳剂,以让画面保持经久鲜润的效果,此外,它还因为材质和纹理渲染,以及精致而复杂的构图成为一代瑰宝。

左右分别是闭合和打开的样子

自 1432 年首次展出之后,《根特祭坛画》经历了 7 次被盗、涉及 13 次不同形式的犯罪事件,堪称被盗窃最多的名画,时至今日,仍有一块画板下落不明。

除此以外,和其他艺术珍品一样,它也一直在经历着时间的考验。原画被长年累月的积尘和蚀变所摧残,光泽和画面都打了折扣。

油画创作中,使用天然树脂制成的清漆,甚至是合成材料,都会随着时间的推移而降解发黄,变得浑浊。造成表面模糊,画面的色调平衡和图像中的层次感被极大地改变。

因此,根特祭坛画已经经过了多次的清洁和修复,在一次修复中,工作人员惊奇地发现,画作共有 3 层,重绘面积达到了 70 %,意味着该画经历过两次未被记载的大型修复。

修复前(左)和修复后(右)的色泽发生了很大变化

2012 年 10 月起,在进行了详细的评估之后,博物馆对它开启了浩大的修复工程。专家们也决定将修复目标从「恢复画面色彩」改为「复原画作的最初面貌」。

工作人员正在进行修复,修复期长达八年

这项工作需要耗费大量的人力和财力,预计最早将于 2020 年完工。修复的过程包括去除表面灰尘与清漆、恢复画作的色彩的工作,也包含多种扫描成像,建立电子模型的过程。

毋庸置疑,这是一项高难度的工作。而现在, AI 技术的发展,正为修复工作做出贡献

02修复难题:解读 X 射线图像

在画作修复中,目前已经有了一些成熟的机器学习案例,包括不同阶层的画面的材料识别,裂纹的数字图像修复,隐蔽的设计和可视化呈现。

而在根特祭坛画的修复中,伦敦大学和杜克大学的研究者,最近用深度学习的方式,解决了 X 射线图像扫描上的技术难题。

X 射线照相术(XR)是画作修复中的一项重要方法。它利用不同材料对 X 射线吸收程度不同的原理,能够表现出画作中的隐藏细节。

在根特祭坛画的修复工作中,建立完整 X 射线图片,也是修复的一个重要步骤。X 射线图像通过显示清漆或覆盖涂层隐藏裂缝,油漆磨损或其他结构区域的问题,能够帮助修复工作的进行。

此外,扫描图像还可以向工作人员揭示艺术家的工作方法,揭示画布或面板的物理结构及其支撑,以及创作中使用的不同涂层。

但对于根特祭坛画此类作品,在其 X 射线图像图片的解读上,却面临一个严峻的考验。

根特祭坛画中,有几块画板正反面都绘制有图案,X 射线扫描出复杂的三维吸收图案,最终却被记录成二维文件,所以呈现出来的是混在一起的复杂图像。

有几块画板正反面都绘有图案

所以得到的是混合的 X 射线图片(最右)

其中包括多重信息,比如油漆表面形态,显示橡木支撑的结构,木纹、木钉的位置,以及油漆层中的裂缝和磨损。要想获得有价值的信息,必须在这些杂乱的信息中,分离出要分析的单个画层。

由此带来了一个巨大的解读难题,而挑战则在于,如何将混合了双面板的 X 射线图像,分离成相应「单面」绘画的单独 X 射线图像。

03破解之术:卷积神经网络

为了解决这个难题,伦敦大学和杜克大学的研究团队,在比利时皇家遗产文化研究所和西蒙斯基金会的支持下,开启了一项研究,提出了一种基于卷积神经网络(CNN)的自监督框架,完美地破解了它。

X 射线得到的混合图像,其实是面板两侧的图像的非线性组合。而这项研究的核心,在于通过建模的方式,找出最终混合图样和每个侧面信息的映射,再借助于一些细节的帮助,进行 X 射线信号的分离。

所以他们的思路转化为,在完全监督的源设置中,从包含混合和单个信号的训练集(可能由同一艺术家以相似的样式绘制的不同绘画)中,让算法分析学习出混合图像到源信号的对应关系。

为此,他们设计了一个自我监督的神经网络,学习如何将 RGB 图像转换为 X 射线图像,然后作为单面板的虚拟图像「重建」,然后通过最小化重建 X 射线图像的误差,比较与原始混合的 X 射线图像之间的差异,让模型学会实现这种分离。

将 RGB 图像转换为 X 射线图像的神经网络结构

整个过程不使用大量标记数据,而是使用了高分辨率的图像(允许创建大量输入补丁),并基于隐式标记训练网络。

具体细节上,他们构建了七层的 CNN ,每个卷积层之间含有批量归一化和整流线性单元(ReLU)激活层。网络的结构受到了 pix2pix 结构启发(pix2pix 使用条件对抗网络进行图像到图像转换)。

通过训练之后,模型实现了输入混合的 X 射线图像,输出两个单独的面板图片。

分离效果超过了所有其他的方法

这种新的方法,在两个独立的测试图像集上得到了应用,很好地再现了画板中「亚当」和「夏娃」的单独细节,其清晰度也远远地超出了预期。

04人工智能,让艺术珍品更长久

通过他们的研究,X 射线图样的分离问题得到了完美解决,甚至研究者都没有预料到,通过对深度学习的方法,得到了如此惊人的清晰度。

一位研究人员兴奋地将这个过程,比作是物理学上的探索:通过实验尝试,找出了没有相关理论解释的意外成果。

而接下来,研究团队希望在其他一些著名的杰作上,尝试这种方法:「我们希望看到类似的人工智能方法,对揭示绘画中其他的隐藏特征带来帮助,例如发现早期隐藏的设计」。

而对于著名的《根特祭坛画》,相信有了 AI 技术的加持,必然能更快地闪耀出它最初的光芒。

论文地址:

https://advances.sciencemag.org/content/5/8/eaaw7416/tab-pdf

数智物语征稿启事0613.png

星标我,每天多一点智慧

推荐 0
本文由 数智物语 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册