Рельефная резьба или рельефные скульптуры — это объекты культурного наследия с фигурами, которые выступают из фона, например, стены или плиты, создавая ощущение глубины. Эти произведения искусства, которые часто встречаются в исторических местах по всему миру, считаются имеющими огромную историческую и культурную ценность.

К сожалению, многие подобные рельефные изображения на объектах культурного наследия по всему миру со временем подвергаются различным повреждениям и ухудшению состояния.

Хотя современные методы 3D-сканирования и фотограмметрии позволяют сохранить их текущую форму в цифровом виде, они не могут восстановить первоначальный вид этих резных фигур до повреждения. Кроме того, традиционные методы их восстановления трудоемки и требуют обширного ручного вмешательства и специальных знаний.

Одним из перспективных методов является 3D-цифровая реконструкция этих рельефов по старым фотографиям, сделанным до повреждения или ухудшения. В отличие от 3D-скульптур или 2D-картин, рельефы имеют небольшую глубину и предназначены для просмотра спереди или с любой стороны. Это означает, что одно изображение может эффективно предоставить большую часть информации, необходимой для алгоритмов 3D-цифровой реконструкции.

Многонациональная исследовательская группа под руководством профессора Сатоши Танаки из Колледжа информационных наук и инженерии Университета Рицумейкан (Япония) и доктора Цзяо Паня из Пекинского университета науки и технологий (Китай) совершила прорыв, создав инновационную многозадачную нейронную сеть для трёхмерной реконструкции и цифрового сохранения рельефов с использованием старых фотографий.

Результаты исследования опубликованы в материалах 32-й Международной конференции ACM по мультимедиа.

«Ранее мы предложили метод 3D-реконструкции старых рельефов, основанный на монокулярной оценке глубины по фотографиям. Хотя мы достигли 95%-ной точности реконструкции, более мелкие детали, такие как человеческие лица и украшения, все ещё отсутствовали», — объясняет профессор Танака.

«Это было связано с высокой степенью сжатия значений глубины в двухмерных рельефных изображениях, что затрудняло извлечение изменений глубины вдоль краев. Наш новый метод решает эту проблему путём улучшения оценки глубины, особенно вдоль мягких краев, с использованием нового подхода к обнаружению краев».

В команду также вошли профессор Лян Ли из Университета Рицумейкан и профессор Сяоцзюань Бан из Пекинского университета науки и технологий. Их исследование было представлено устно на международной конференции ACM Multimedia 2024, которая прошла в октябре в Австралии.

Предлагаемая многозадачная нейронная сеть выполняет три задачи, а именно семантическую сегментацию, оценку глубины и обнаружение мягких краев, которые работают вместе для повышения точности 3D-реконструкции. Основная сила сети заключается в её оценке глубины, достигаемой с помощью нового детектора мягких краев и модуля сопоставления краев.

В отличие от обычной бинарной классификации краев, детектор мягких краев рассматривает обнаружение краев рельефных данных как задачу мультиклассификации. Края на рельефных изображениях представляют собой не только изменения яркости, но и изменения кривизны, известные как «мягкие края». Детектор мягких краев определяет степень «мягкости» этих краев на рельефных изображениях, улучшая оценку глубины.

Модуль сопоставления краев состоит из двух детекторов мягких краев, которые извлекают многоклассовые карты мягких краев и карту глубины из входной рельефной фотографии. Сопоставляя и обнаруживая различия между двумя картами, сеть больше фокусируется на областях мягких краев, что приводит к более детальной оценке глубины.

Наконец, сеть оптимизирует динамическую функцию потерь с улучшенными краями, которая учитывает потери по всем трем задачам, и создает чёткие и подробные трёхмерные изображения рельефов.

Исследователи применили эту инновационную модель для реконструкции скрытых рельефов храма Боробудур.

«Настенные рельефы на уровне земли храма Боробудур, объекта Всемирного наследия ЮНЕСКО в Индонезии, закрыты каменными стенами из-за работ по укреплению, проведенных в голландский колониальный период, и их невозможно увидеть. Наша многозадачная нейронная сеть успешно реконструировала эти скрытые части рельефов на уровне земли Боробудура по сохранившимся старым фотографиям. Благодаря компьютерной визуализации и виртуальной реальности наши исследования теперь позволяют виртуально исследовать эти невидимые сокровища», — говорит профессор Танака.

Обсуждая будущие последствия этих открытий, он говорит: «Наша технология имеет огромный потенциал для сохранения и распространения культурного наследия. Она открывает новые возможности не только для археологов, но и для захватывающих виртуальных впечатлений с помощью технологий виртуальной реальности и метавселенной, сохраняя мировое наследие для будущих поколений».

Её конек схемы в бизнесе, банковской и финансовой сфере.