Технология NVIDIA Instant NeRF
Все мы знаем, что традиционная камера захватывает 3D-сцену в 2D-изображение. А как насчет обратного? Есть ли способ преобразовать 2D-изображения в реалистичную 3D-сцену? Инженеры по искусственному интеллекту из NVIDIA Research работают над обратным рендерингом, который представляет собой процесс, в котором искусственный интеллект используется для аппроксимации поведения света, а затем реконструирует 3D-сцену из «несколько 2D-изображений, снятых под разными углами». Исследовательская группа NVIDIA говорит, что разработала подход, позволяющий выполнять эту задачу почти мгновенно. Это одна из первых моделей такого рода, использующая обучение нейронной сети и обеспечивающая быструю визуализацию.
NVIDIA применила этот подход к полям нейронного излучения, также известному как NeRF. NVIDIA заявляет, что ее новый подход, названный Instant NeRF, на данный момент является самым быстрым методом NeRF. В некоторых случаях это примерно в 1000 раз быстрее, чем другие методы. Модель может обучаться на нескольких десятках неподвижных фотографий за «минуты», а Instant NeRF может визуализировать результирующую 3D-сцену за «десятки миллисекунд».
NeRF используют нейронные сети для рендеринга 3D-сцен с использованием входных данных 2D-изображения. Например, предположим, вы пытаетесь сфотографировать человека со всех сторон. Теперь представьте, что вы снимаете несколько десятков разных ракурсов, что, конечно, не охватывает все возможные виды объекта. Из этой коллекции 2D-изображений NeRF использует ИИ для заполнения пробелов, а затем обучает нейронную сеть воссоздавать общую сцену в 3D. NeRF предсказывает свет в любом направлении из любой точки трехмерного пространства.
Что отличает Instant NeRF? NVIDIA пишет: «Хотя оценка глубины и внешнего вида объекта на основе частичного представления является естественным навыком для людей, это сложная задача для ИИ». Это означает, что обучение ранних моделей NeRF занимало несколько часов. Мгновенный NeRF сокращает время рендеринга «на несколько порядков» благодаря технологии NVIDIA — кодированию хэш-сетки с несколькими разрешениями. Техника, оптимизированная для графических процессоров NVIDIA, работает намного быстрее.
«Если традиционные 3D-представления, такие как полигональные сетки, похожи на векторные изображения, то NeRF подобны растровым изображениям: они плотно фиксируют то, как свет исходит от объекта или внутри сцены», — говорит Дэвид Любке, вице-президент по графическим исследованиям в NVIDIA. «В этом смысле Instant NeRF может быть так же важен для 3D, как цифровые камеры и сжатие JPEG для 2D-фотографии, — значительно увеличивая скорость, простоту и доступность 3D-захвата и обмена».
NVIDIA говорит, что Instant NeRF «может использоваться для создания аватаров или сцен для виртуальных миров, для захвата участников видеоконференций и их окружения в 3D или для реконструкции сцен для цифровых 3D-карт». Технология Instant NeRF также может быть использована для обучения роботов и беспилотных автомобилей лучшему пониманию окружающих объектов реального мира.
NVIDIA продемонстрировала Instant NeRF во время выступления на GTC 2022. Если вы хотите посмотреть полное выступление генерального директора NVIDIA Дженсона Хуанга, посмотрите его выше.
