Искусственный интеллект помогает в анализе и реставрации настенной живописи

Древние фрески — это ценные культурные реликвии, объединяющие исторические повествования, художественное выражение и социальные ценности таких цивилизаций, как Египет, Индия, Вавилон и Китай. Все эти культуры обладают огромным количеством сохранившихся до наших дней настенных росписей. На них изображены люди, животные и предметы, что даёт визуальное представление об иерархии общества, профессиональных различиях и образе жизни, распространённом в ту эпоху. Настенные росписи, выполненные в разной стилистике и технике, обычно обнаруживаются в различных местах, таких как дворцы, храмы, погребальные камеры и даже пещеры. Они разрушаются под действием таких факторов, как влажность, колебания температуры, освещение, человеческая деятельность и другие переменных.

Как визуальные носители истории, они ярко изображают религиозные верования, сцены повседневной жизни и символические мотивы, предоставляя тем самым многогранный взгляд на цивилизации, которые их создали. Вследствие различий в историческом периоде, региональной культуре, религиозном контексте и художественных традициях, древние фрески демонстрируют различные стилистические особенности в своей композиции, цветовой палитре, манере письма и тематике. Множество видов воздействия способствуют появлению трещин, пятен, выцветанию, отсутствию фрагментов, плесени и другим формам разрушения фресок, каждая из которых различается по степени тяжести. Анализ этих стилистических различий и их тематического значения имеет важное значение для углубления нашего понимания древнего настенного искусства и его социокультурного контекста.

Прежний традиционный анализ настенных росписей в основном основывался на визуальном осмотре экспертами и ручной классификации. Хотя такие подходы эффективны для небольших наборов данных, при применении к большим коллекциям росписей они становятся трудоёмкими, занимают много времени и подвержены субъективным искажениям. Благодаря быстрому развитию центров обработки данных, а также нейросетей и методов глубокого обучения в таких областях, как роботизированное обнаружение объектов, прогнозирование, распознавание и обработка изображений, методы искусственного интеллекта открыли новые возможности для количественного, воспроизводимого и масштабируемого анализа изображений культурного наследия. В настоящее время также существуют проблемы, связанные с применением традиционных методов реставрации, в основном из-за их необратимости. Они с трудом соответствуют требованиям современного мира из-за стремительного развития компьютерных технологий и заменяются интеллектуальными и цифровыми процедурами. Системы ИИ, специально обученные с использованием методов цифровой реставрации изображений, первоначально формулируют гипотезы о содержании повреждённых участков. Затем она приступает к заполнению недостающих частей исходных изображений.

Большинство методов виртуальной реставрации изображений фресок используют методы восстановления изображений, которые обозначают метод определения и восстановления отсутствующих или скрытых сегментов изображения посредством применения компьютерного зрения, основанные на текстуре и структуре материала. Методы, основанные на статистике и машинном обучении, часто используются для прогнозирования и заполнения отсутствующих или не имеющих потерь участков путём извлечения текстурной и структурной информации из изображений фресок. В частности, цифровые технологии значительно расширили возможности оцифровки, сохранения и распространения наследия, превратив древние изображения в ценные ресурсы, как для академических исследований, так и для культурного туризма.

Существующие разработки преимущественно сосредоточены на таких задачах, как распознавание династий мастеров и приёмов разных школ, определение местоположения, семантическое описание, идентификация древних стилей, цифровая реставрация и восстановление утраченных фрагментов. Фрески разных стилей демонстрируют чрезвычайно сложные и гетерогенные визуальные характеристики различных стилистических категорий, что создаёт существенные проблемы для эффективного представления признаков и дискриминативного моделирования. Хотя элементы настенной росписи демонстрируют определённое сходство на уровне объектов, они также воплощают уникальные визуальные различия, которые имеют решающее значение для идентификации.

Благодаря детальному анализу стилистических элементов с помощью визуальных вычислений, учёные могут выйти за рамки субъективных описаний традиционной оценки и достичь объективной идентификации и количественного анализа стилистики. Это облегчает историческое отслеживание происхождения, выявляя микроскопические стилистические сдвиги и внутренние связи, незаметные для человеческого глаза. Таким образом, цифровые технологии предоставляют объективные данные для анализа истории, улучшая понимание, хронологическую классификацию и атрибуцию культурного наследия.

Часто встречающиеся темы, уникальные для каждого стиля росписи, подчёркивают их различные содержательные ориентации и функциональные позиции. Храмовые фрески акцентируют внимание на ортодоксальных буддийских доктринах и повествованиях сутр, построенных вокруг религиозных ритуалов и пантеонов. Настенные росписи гробниц, как правило, сосредоточены на личности владельца, его повседневной жизни и идеализированной загробной жизни, включая египетские, вавилонские, конфуцианские или даосские народные верования. Это расхождение в тематике в корне отражает различия в религиозном контексте, социальных функциях и концептуальных системах, которым служит каждый стиль росписи.

Но существуют схожесть некоторых повествовательных элементов, которые учитывает искусственный интеллект. Например, такие темы, как поклонение, даритель, чиновник и слуга, встречаются как в храмовых, так и в гробничных фресках, что указывает не только на проникновение верований в мировоззрение загробной жизни, но и на непрерывное выражение социальной иерархии и ритуальных концепций в священных и светских пространствах. Аналогично, такие элементы, как танец, музыкальное представление, охота, лотос и ширма, являются общими для пещерных и гробничных фресок, что предполагает двусторонний культурный обмен и интеграцию религиозного и погребального искусства с точки зрения концепций, украшений и символических систем. Анималистические мотивы (например, алая птица, чёрная черепаха) вышли за рамки буддийского и даосского контекстов, сформировав универсальную систему благоприятных и защитных символов, подчёркивающих космический порядок и сверхъестественную защиту.

По сравнению с классификацией на основе социокультурного контекста, исторического фона и символического значения элементов, использование визуальных характеристик оказывается более прямым и эффективным подходом для глубокого понимания приёмов нанесения красок, их состава и многих других параметров. А в некоторых исследованиях предпринимались попытки извлечь цветовые, локальные, глобальные и фрагментарные характеристики для классификации эмоционального содержания. Более того, эти произведения искусства содержат богатую семантическую информацию, которая играет решающую роль в понимании и интерпретации их повествовательного содержания. С развитием технологий глубокого обучения появилось большое количество методов восстановления изображений на основе свёрточных нейронных (CNN) и генеративно-состязательных сетей (GAN), которые показали отличные результаты для восстановления потерянных фрагментов изображений.

Спектральная визуализация теперь широко используется в области сохранения культурных реликвий. Это оптический метод, который одновременно регистрирует, как изображения, так и спектральную отражательную способность объектов. Он позволяет характеризовать свойства предметов в различных диапазонах длин волн, что делает возможной автоматическую маркировку масок изображений фресок спектральной информацией. Кроме того, этот способ предлагает преимущество неразрушающего, бесконтактного исследования, поскольку не требует образцов (как химический анализ), и не подвержен повреждениям от высокоинтенсивных лазерных лучей (как рамановская спектроскопия), что делает его более подходящим для культурных артефактов. Первоначально гиперспектральная визуализация использовалась в области идентификации и анализа пигментов, а также для извлечения скрытой информации. Некоторые эксперты недавно собрали гиперспектральные изображения настенной живописи в качестве замены RGB-изображений при виртуальной реставрации.

Традиционный подход к реконструкции цвета включает в себя извлечение трёх репрезентативных полос из гиперспектральных изображений и их передачу в три основных цветовых канала для генерации псевдоцветных изображений. Но новая методика подбора позволяет осуществлять реконструкцию цвета из спектральных изображений с использованием стандартной колориметрической системы CIE. Этот подход не только устраняет необходимость регистрации изображений, но и включает в себя более полные спектральные данные, что приводит к более аутентичной реконструкции цвета и частично решает проблему выцветания.

Но пока существует небольшая проблема, которая заключается в том, что алгоритмы восстановления изображений на основе нейронных сетей требуют входных данных фиксированного размера, а поэтому изображение часто разбивается на более мелкие блоки, например, квадраты размером 512×512 пикселей. Изображения в этих блоках восстанавливается, а затем они соединяются в единое целое. В отличие от небольшого повреждения на живописных холстах, отсутствующие участки в настенной живописи часто представляют собой большие площади. А это означает, что при использовании этого метода возникает сложность в том, что большинство или даже целые блоки являются областями, которые необходимо восстановить. Тут уже приходится применять другие технологические подходы.

ВАМ ТАКЖЕ МОЖЕТ ПОНРАВИТЬСЯ