K-Lens линза, которая фиксирует 3D-данные для перефокусировки после захвата

Мы и раньше видели камеры светового поля, такие как камера Lytro, но K-Lens - первый сменный объектив светового поля, доступный для существующих цифровых фото- и видеокамер. Объектив может записывать сетку изображений, которые содержат информацию об относительном расстоянии до различных объектов в сцене. Затем эту информацию можно использовать в постобработке для настройки точки фокусировки в сцене, а также для простого маскирования различных областей для изменения яркости и цвета различных слоев сцены. Изображения также можно использовать для создания умеренных трехмерных эффектов, которые позволяют нам «видеть вокруг» объекты, поскольку все изображения в сетке 3x3 записаны с немного другой точки зрения.

Каждое изображение, сделанное с помощью K-Lens, сопровождается картой глубины, которая показывает относительные расстояния от камеры до различных элементов сцены. Более светлые тона представляют собой более близкие объекты, а более темные - дальше

Приложения для этого типа технологии включают настройку фокуса в видео, создание 3D-контента, разбиение сцены для анимации, а также возможность создавать эффекты малой глубины резкости и более простое редактирование на основе расстояния, например, маскирование фона. , чтобы редактировать его отдельно от остальной части изображения.

Что это

K-Lens состоит из трех отдельных частей, которые хорошо видны снаружи. Передняя часть линзы имеет обычную оптическую конструкцию диаметром 80 мм, но когда свет проходит через нее, он попадает во вторую часть линзы - зеркальный туннель, который находится там, где был бы датчик в нормальной матрице. Однако вместо того, чтобы попадать на датчик, сфокусированный свет встречает серию зеркал в туннеле, которые расположены под разными углами, что позволяет каждому по-своему смотреть на объект. Зеркала вместе со светом, который проходит непосредственно через туннель, создают девять отдельных изображений, которые проходят через заднюю часть объектива к датчику камеры. В результате получается сетка из девяти изображений в различных ориентациях, записанных в одном кадре. Эффект похож на просмотр через калейдоскоп - отсюда и название «K-Lens».

Схема, показывающая путь света, проходящего от передней части линзы через зеркальный туннель.

Ключевой частью объектива является зеркальный туннель, в то время как передний конец определяет фокусное расстояние системы, а задний конец - как размер изображения соответствует размеру используемого датчика. Мне сказали, что изменение фокусного расстояния - это просто вопрос замены передней части, и что, по крайней мере теоретически, это возможно сделать зумом.

У объектива есть резьба внизу, чтобы его можно было установить прямо на штатив. Между объективом и камерой вы можете увидеть переходник с байонета Nikon F на Nikon Z, чтобы я мог использовать объектив на Nikon Z7.

Идея K-Lens зародилась как переходник для зеркального туннеля, который можно было установить на заднюю часть обычного объектива, чтобы он поместился между основным объективом и камерой, и который мог бы превратить любой объектив в систему светового поля. Основная проблема с этой идеей заключалась в том, что попадание пыли в зеркальный туннель приводило к серьезным проблемам с потерей данных. Поскольку каждое изображение занимает лишь 9-ю часть всей площади сенсора, даже небольшой кусочек пыли может занимать значительную часть площади изображения. Еще одна проблема заключалась в том, что для получения высококачественных данных о глубине объектив должен быть резким прямо по всему кадру, поскольку система в значительной степени полагается на свет, собираемый по краям круга изображения, где качество очень часто падает.

Оптика, используемая в K-Lens, должна быть исключительного качества, а изображение должно быть намного более резким по сравнению с обычными линзами, что в некоторой степени объясняет, почему он такой большой. Компания попыталась использовать объектив меньшего размера, но обнаружила, что требуемое качество не может быть достигнуто. Система может быть уменьшена при использовании для меньшего датчика, и в настоящее время компания работает над версией для 1-дюймовых датчиков в промышленных приложениях.

Глядя через переднюю часть объектива, можно увидеть, как изображение разделено. Здесь задний проем многократно отражается в зеркальном туннеле.

В большинстве камер светового поля используется массив микролинз для разделения изображения на составные части, но преимущество этой конструкции туннеля зеркала состоит в том, что он не привязан к устройству захвата, поэтому его можно встроить непосредственно в объектив, который может быть используется на обычных камерах. Команда также рассмотрела возможность использования массива линз внутри основного объектива вместо зеркального туннеля, но это потребовало бы совершенно новой концепции, когда дело дошло до проектирования основного объектива. Использование зеркального туннеля позволяет использовать существующие конструкции линз, поэтому компании не пришлось начинать проектирование линз с нуля. Оптика объектива K-Lens разработана немецкой компанией Carl Zeiss Jena GmbH, которая будет строить объектив целиком после начала производства.

Что это производит?

Калейдоскопический вид, представленный K-Lens, записывает сетку из девяти изображений в разных ориентациях и с немного разных ракурсов, все записанные на одном кадре.

Глядя в видоискатель, когда этот объектив прикреплен к вашей камере, вы видите сетку из девяти изображений в разных ориентациях, что может быть немного неожиданностью. Записанное изображение также будет выглядеть на задней панели камеры и в обычном программном обеспечении. Когда изображение загружается в программное обеспечение компании SeeDeep, оно анализируется, и девять изображений используются для создания карты глубины, которая отображает различные расстояния, представленные в сцене, с использованием диапазона тональных значений. Как только это будет сделано, «нормальное» изображение и его карта глубины могут быть загружены в Photoshop или любую программу, которая поддерживает канал глубины, и мы можем использовать карту глубины для индивидуального редактирования объектов на разной глубине в сцене.

Карта глубины, созданная из дерева. Его листья находятся позади него, поэтому они представлены более темным тоном. Стена на заднем плане снова темнее, чтобы показать, что она находится дальше.

Приложение SeeDeep также объединяет информацию из девяти изображений для создания того, что компания называет изображением со сверхвысоким разрешением, которое составляет половину разрешения от общего выходного сигнала датчика. Без этой опции окончательное изображение было бы только 1/9 разрешения сенсора, что, очевидно, сделало бы все упражнение гораздо менее целесообразным.

Также интересно отметить, что программное обеспечение все еще может создавать карту глубины, даже если девять отдельных кадров не все целые. Это очень важно, поскольку большинство камер будут записывать видео с кадром сенсора 16: 9. Программа SeeDeep по-прежнему может генерировать достаточно информации о глубине, используя верхнюю часть нижних изображений и нижнюю часть верхних изображений. Некоторые камеры, такие как Lumix S1H, могут предоставлять видео со всего кадра, что, очевидно, предоставляет больше данных и более точную карту глубины. Также следует отметить, что при использовании с S1H в режиме 5.9K девять отдельных изображений будут иметь разрешение HD.

Для чего это можно использовать?

Никто не собирается покупать этот K-Lens и использовать его как обычный объектив, поэтому покупателями будут те, кто сможет максимально использовать информацию о глубине, которую он создает. Наиболее очевидное использование - в области редактирования на основе глубины, когда пользователь хочет отрегулировать положение фокуса или добавить размытие к объектам на определенных расстояниях, чтобы создать эффект малой глубины резкости.

Функция Lens Blur в Photoshop может выбрать карту глубины, когда она загружена как канал. Затем эта функция позволяет нам щелкнуть по объекту, который мы хотим сфокусировать, и позволяет нам размыть остальную часть сцены. Слева исходное изображение, в центре фокус смещен на задний план, а справа фокус находится на переднем плане.

При добавлении размытия с использованием карты глубины степень размытия будет пропорциональна тональному значению этой области карты глубины, поэтому более удаленные объекты автоматически будут более размытыми, чем более близкие, так же, как появляется реальное оптическое размытие. Карту глубины можно настроить в программном обеспечении для увеличения или уменьшения «глубины», а объекты можно добавлять на любое расстояние или удалять с любого расстояния, изменяя их тональное значение на карте глубины.

Здесь я использовал карту глубины, чтобы определить область позади объекта, чтобы я мог его согреть, не изменяя окраску объекта.

Информация о глубине также может использоваться для выделения определенных расстояний для редактирования яркости или цвета, чтобы объект можно было согреть, а все, что позади, сделать холодным - например. Конечно, это можно сделать с обычными изображениями в программном обеспечении, когда мы создаем выделение, но идея здесь в том, что маски слоя автоматически формируются данными глубины на карте глубины. Это особенно важно при редактировании видео, поскольку создание масок для отслеживания движущихся объектов и фона намного сложнее. В видео возможность регулировки фокуса также чрезвычайно полезна и может сэкономить повторную съемку сцены, если фокусировка была упущена в первый раз. Подтягивание фокуса также может быть достигнуто на этапе пост-обработки, что было бы невозможно без информации о глубине, которую предоставляет объектив.

Изменение цвета от кадра к кадру в видео выше не будет отображаться в конечном продукте.

Различные перспективы, записанные объективом, также можно использовать при создании 3D-контента, где умеренных различий в перспективе достаточно для получения требуемого эффекта. Поскольку виртуальная базовая линия для 3D составляет всего 1,5 см, объектив лучше всего работает в 3D с очень близкими объектами и для макросъемки, поскольку базовая линия сможет «видеть» объекты лучше, чем когда объекты находятся дальше. Ближайшее фокусное расстояние объектива составляет 80 см, но его также можно использовать с трубками для макросъемки. Однако в целом данные о глубине наиболее точны и надежны для объектов ближе 10 м. Степень трехмерности также примерно достаточна для создания «трехмерных» изображений на Facebook того типа, который некоторые смартфоны могут создавать с помощью нескольких объективов.

Виртуальная базовая линия (перспективный сдвиг между изображениями, записанными на краях сетки из девяти изображений) зависит от апертуры линзы, размеров зеркала и увеличения считывающей линзы. Так что для разных фокусных расстояний он будет разным. Эффект будет более выраженным в более длинных линзах, если физический размер отверстия диафрагмы остается неизменным.

Компания заявляет, что такие устройства, как дисплеи Lume Pad и Looking Glass, также хорошо работают с изображениями, записанными с помощью K-Lens, а 3D-эффекты можно просматривать с помощью Google Cardboard. Рельефная печать, при которой изображение печатается в 3D, также является приложением, как и лентикулярная печать.

В использовании

Сжатая часть ствола делает очевидным, что в этой линзе есть что-то особенное, и именно здесь находится зеркальный туннель. Показанный здесь объектив является предсерийной версией, а шкала диафрагмы перевернута. Более длинная линия указывает, где компания рекомендует установить диафрагму - в закрытом положении на 75%.

Объектив, конечно, намного больше и тяжелее, чем обычный 80-миллиметровый, и его лучше всего использовать на штативе, хотя он не настолько неудобен, что его нельзя держать в руках. В то время как размер и вес являются хорошими причинами для использования штатива сами по себе, еще одна причина - это небольшая диафрагма, необходимая для получения максимальной отдачи от объектива. На диафрагме есть шкала, но на ней нет диафрагмы, поскольку компания заявляет, что традиционная маркировка диафрагмы неуместна. Есть более крупный маркер, где, по словам компании, объектив работает наилучшим образом, и это с диафрагмой, закрытой до 75%. Это обеспечивает большую глубину резкости и позволяет впоследствии более легко смещать фокус в программном обеспечении и обеспечивает наилучшие данные о глубине.

Нам говорят, что диафрагма - это просто средство, позволяющее пропускать свет, а не контролировать глубину резкости или расфокусированные блики, и лучше увеличить ISO камеры, чем больше открывать диафрагму. Информации о максимальных или минимальных настройках диафрагмы нет, но я знаю, что в диафрагме используется 15 лепестков для действительно закругленной диафрагмы.

В качестве дополнительной опции монитор K-Lens автоматически отображает только одно из девяти изображений, созданных объективом. Это значительно упрощает композицию и фокусировку, хотя также добавляет большую часть системы.

Глядя в видоискатель, мы получаем калейдоскопический вид сцены перед объективом. Это затрудняет фокусировку и композицию, поэтому нам нужно увеличивать вид, пока одно из девяти изображений не заполнит искатель - изображение в верхнем левом углу имеет правильную ориентацию. Альтернативой является использование дополнительного монитора HDMI, предоставляемого K-Lens, который по умолчанию отображает эту часть изображения.

Использование карты глубины в качестве маски слоя позволяет быстро и легко редактировать области на разном расстоянии от камеры. Здесь для демонстрации я использовал маску, чтобы сделать фон темнее.

Когда изображения загружаются в программное обеспечение компании SeeDeep, мы получаем обычное цветное изображение и возвращаем карту глубины. Я использовал Nikon Z7 с разрешением сенсора 45 МП. Каждое из девяти изображений имеет разрешение 5 МП, но программное обеспечение может создавать изображения со сверхвысоким разрешением, которые примерно вдвое меньше разрешения сенсора, поэтому в этом случае изображение со сверхвысоким разрешением и карта глубины имеют разрешение 17,6 МП. Изображения со сверхвысоким разрешением выглядят очень хорошо, поскольку они созданы не с помощью стандартной интерполяции, а с использованием всей информации из девяти меньших изображений для заполнения деталей, которые необходимо добавить для увеличения разрешения. Те же методы суперразрешения можно применять к видеоматериалам, что позволяет SeeDeep обеспечивать разрешение до 4K.

Вывод

Бленда объектива довольно необычная, с тяжелой кромкой на передней части. Это предпроизводственный и напечатанный на 3D-принтере, но производственный дизайн останется прежним. Я не мог найти хорошего объяснения его формы, но мне сказали, что дизайн был определен Carl Zeiss Jena как часть оптического дизайна.

Это явно очень специализированный объектив, который будет полезен в более ограниченном диапазоне применений, чем обычные объективы, но который действительно предлагает что-то новое. Мир был очень взволнован камерами Lytro, но в конечном итоге эта идея была отменена не из-за недостатков технологии, а из-за того, что использовались специальные камеры и низкое разрешение создаваемых ими изображений. Эта концепция позволяет пользователям использовать камеры, которые у них уже есть, и все функции, которые они предлагают, а также гораздо более практичные рабочие разрешения. Тот факт, что можно использовать любую полнокадровую камеру, открывает рынок для гораздо более широкой аудитории, увеличивает частоту ее использования и сокращает объем необходимого обучения.

Объектив, который я использовал, был подготовлен к производству, и я не мог сам использовать SeeDeep, но даже с этими ограничениями я смог получить представление об эффектах, которые можно создать, и относительной легкости, с которой они могут быть созданы. достигнуто. K-Lens, безусловно, многообещающий, и я с нетерпением жду возможности увидеть, что фотографы в этой области могут создать с его помощью. Как только этот будет запущен, будет интересно посмотреть, какие еще фокусные расстояния предложит компания и как будет развиваться технология. Мне сказали, что K-Lens надеется, что сможет интегрировать фильтры нейтральной плотности в зеркальный туннель, чтобы обеспечить однократное отображение HDR путем записи широкого диапазона экспозиций за один снимок - что было бы еще одной полезной функцией.

Этот объектив не будет выпускаться серийно, поэтому покупатели могут запросить нужное крепление. Первоначальные образцы находятся в байонетах Nikon F и Canon EF, но K-lens говорит, что большинство других байонетов будет легко установить.

Объектив будет стоить около 3599 евро / 4199 долларов, но его можно будет приобрести со скидкой 45% с предложением «ранняя пташка». Дополнительный монитор будет стоить 299 евро / 339 долларов, но на данный момент опять же, 199 евро / 229 долларов. Производство должно начаться в январе 2022 года, а отгрузка - в августе 2022 года. Дополнительную информацию см. На веб-сайте K-Lens и на странице компании на Kickstarter.

 

пресс-релиз: K | Lens представляет K | Lens One, первый в мире объектив для визуализации светового поля, заказы на который на Kickstarter начинаются 29 ноября 2021 года.

Компания K | Lens рада сообщить, что первые заказы на ее революционный объектив K | Lens One будут размещены на Kickstarter с 29 ноября 2021 года.

K | Lens One, который стартап из Германии разрабатывает и производит в сотрудничестве с Carl Zeiss Jena GmbH в Германии, будет доставлен клиентам к лету 2022 года.

Как продукт, K | Lens One вызвал огромный интерес у фотографов, видеооператоров и 3D-художников во всем мире благодаря новаторскому сочетанию новейших объективов и программных технологий, а также обещанию открыть новые возможности. миры творчества для пользователей.

K | Lens One подходит для всех полнокадровых камер и является первым в мире объективом для формирования изображений светового поля, который работает как с фотографиями, так и с видео. Каждое изображение или видео, снятое с помощью K | Lens One, предоставляет покупателю дополнительные данные, которые не может предложить никакой другой объектив в мире, а именно богатые данные светового поля в виде карт глубины, облаков точек и девяти отдельных точек обзора для каждого изображения / видео.

Внутри K | Lens One система зеркал проецирует девять немного разных перспектив сцены на датчик камеры одновременно, как будто вы смотрите на сцену с помощью 9 камер одновременно. Зеркальная система работает аналогично калейдоскопу - отсюда и название K | Lens - и дает пользователю возможность снимать сцену с девяти точек обзора с одной единственной экспозицией.

После того, как девять изображений или видео записаны, пользователь может перенести их на компьютер, где происходит настоящее волшебство. Вместе с K | Lens One поставляется собственное программное обеспечение K | Lens SeeDeep, которое вычисляет глубину пространства каждого пикселя в каждом снимке и делает эту информацию доступной при постобработке в виде карт глубины, каналов глубины. и / или облака точек - и затем его можно будет обработать во всех стандартных программах постобработки.

Творческие возможности K | Lens One безграничны: редактирование на основе глубины, подтягивание фокуса, перефокусировка, увеличенная глубина резкости и упрощенная сегментация - это только начало. Фотографии и видео K | Lens One также идеально подходят для всех 3D-дисплеев, будь то стерео, голографические или световые. Кроме того, содержимое светового поля может быть интегрировано в веб-приложения для обеспечения яркого и живого взаимодействия с пользователем. Вдобавок ко всему, у пользователей всегда есть доступ к нескольким перспективам своих сцен для творчества.

Маттиас Шмитц, генеральный директор K | Lens, сказал: «Мы очень рады, что мир познакомился с K | Lens One! Наша увлеченная команда неустанно работает над проектом в течение пяти лет, и, наконец, пришло время сделать следующий шаг в эволюции в мире фотографии и видеографии. K | Lens One произведет революцию в том, как творческие умы думают и создают изобразительное искусство, и как потребители взаимодействуют с ними, и нам не терпится увидеть первые результаты в 2022 году! »

Пакет K | Lens One Kickstarter содержит объектив K | Lens One для формирования изображений светового поля с зажимом для объектива и программное обеспечение K | Lens SeeDeep. Выделенный 5-дюймовый монитор со встроенным программным обеспечением, помогающим при компоновке изображения, можно заказать в качестве надстройки.

Кампания K | Lens One на Kickstarter стартует 29 ноября 2021 года, а цены на нее будут начинаться с 1799 евро (в настоящее время около 2049 долларов США). Будущая рекомендованная розничная цена продукта составит 3 599 евро (в настоящее время около 4 099 долларов США).

Ссылка на кампанию Kickstarter: https://www.kickstarter.com/projects/k-lens-one/k-lens-one

Для получения дополнительной информации посетите официальный сайт K | Lens: https://www.k-lens-one.com

Примечание / отказ от ответственности: не забудьте изучить любой краудфандинговый проект перед его поддержкой. Заявки на участие в краудфандинговых кампаниях не являются предварительными заказами. DPReview не имеет отношения к этой или любой подобной кампании, и мы публикуем только те проекты, которые кажутся законными и которые, по нашему мнению, будут представлять подлинный интерес для наших читателей. Вы можете узнать больше о мерах безопасности, которые использует Kickstarter, в разделе Trust & amp; Страница безопасности ».