Исследователи Google подробно рассказали о новом методе масштабирования изображений с низким разрешением с впечатляющими результатами
Фотограф

Google рассказали о новом методе масштабирования изображений

Благодаря CSI, а также множеству других криминальных драм фраза "Enhance" обрела самостоятельную жизнь как насмешливый способ попытаться в цифровом виде извлечь дополнительную информацию из изображений с низким разрешением, которая просто не соответствует действительности. В новом сообщении в Google AI Blog демонстрируется новая технология, разработанная для повышения качества изображений с низким разрешением с невероятными результатами.

Google Researchers SR3

В сообщении блога, озаглавленном "Генерация высокоточного изображения с использованием моделей диффузии", объясняется, как исследователи Google разработали пару технологий искусственного интеллекта, которые могут получать изображения с низким разрешением и постоянно увеличивать разрешение за счет выборочного разрушения и реконструкции исходного входного изображения.

CleanShot 2021 08 30 at 10

Первым компонентом процесса является сверхразрешение посредством повторных уточнений (SR3), "диффузионная модель сверхвысокого разрешения, которая принимает в качестве входных данных изображение с низким разрешением и строит соответствующее изображение с высоким разрешением из чистого шума". По сути, Эта модель применяет чистый гауссовский шум к изображению с низким разрешением перед использованием технологий шумоподавления для эффективного восстановления почти бесшумного изображения, которое в четыре раза превышает разрешение входного.

Затем исследователи используют модели каскадной диффузии (CDM), чтобы разумно применить гауссовский шум и размытие к выходному изображению, прежде чем повторить процесс снова. Этот метод, который Google называет "улучшением условий", улучшает качество изображения до такой степени, что превосходит современные методы масштабирования AI, в том числе BigGAN-deep и VQ-VAE-2.

Согласно Google, эта новая технология "обеспечивает высокие результаты тестов в задаче сверхвысокого разрешения для лиц и естественных изображений при масштабировании до разрешений в 4–8 раз больше, чем у входного изображения с низким разрешением". Как видно из приведенной выше иллюстрации, это означает, что Изображение 64 x 64 пикселей может выводить впечатляюще четкое изображение 1024 x 1024 пикселей.

Google Researchers SR3 II

Исследователи Google говорят, что эта технология "подталкивает производительность моделей диффузии к самому современному уровню в тестах поколения ImageNet с суперразрешением и условным классом", и отмечают, что они "рады продолжить тестирование границ моделей распространения для широкого спектра задач генеративного моделирования ".

Вы можете прочитать всю статью в блоге Google AI.




категории: новость

15.04.2021