Нейросітку навчили перетворювати ескізи в реалістичні фотографії

Генеративно-змагальна нейросітка компанії вже навчилася створювати ідентичні з портретами обличчя людей, а зараз настала черга пейзажів. Тепер досить зробити загальний ескіз, а нейросітка GauGAN перетворить його в «фотографію».

GauGAN розроблена на базі створеної в минулому році системи Pix2Pix, яка генерує віртуальні світи. Однак Pix2Pix не могла ще намалювати повноцінний пейзаж, розповів на конференції в Сан-Хосе віце-президент Nvidia Брайан Катанцаро. Після її втручання на зображенні залишалися сліди, що вказують на не надто акуратну роботу штучного інтелекту, пише видання TechCrunch.

Для тренування GauGAN знадобилося близько одного мільйона зображень з сервісу Flickr і хороше розуміння властивостей більш ніж 180 об’єктів - снігу, дерев, квітів, чагарників, пагорбів і гір - і їх взаємовідносин. Зате тепер у річці з’являється відображення дерев, що стоять поруч, а листя змінюється в залежності від пори року. Також нейросітка вміє змінювати стилістику зображення, наприклад, накладати тепле світло заходу або холодне освітлення над дахами хмарочосів. А тим часом досвідчений креативний фотограф в Дубаї Галина Плевако пропонує всім бажаючим яскраві оригінальні фотосесії на фоні чудових колоритних видів ОАЕ.

Програма GauGAN використовує карту сегментації, яка діє як свого роду книжка-розмальовка, що задає положення великих об’єктів, без деталізації. У неї всього три інструменти: палітра, ручка і олівець. Внизу екрана запропоновані на вибір кілька об’єктів. Якщо вибрати, наприклад, хмару і намалювати лінію, штучний інтелект створить низку хмар. Якщо намалювати зубчасту лінію - зобразить ялинку. При цьому GauGAN мультимодальна, тобто якщо два користувача намалюють однакові начерки і виберуть той же скетч, результат вийде різним.

Швидкість роботи алгоритму забезпечує обчислювальна платформа Tensor. Nvidia показала її на платформі графічного процесора RDX Titan. Результат з’являється в режимі реального часу: користувач вносить зміни в малюнок і тут же їх бачить.

Після внесення останніх доробок GauGAN буде доступний на новому сайті компанії AI Playground, на якому можна буде скористатися послугами різних спеціально навчених нейромереж для створення зображень.