? #BabyGAN ?

Что это я все чужое да чужое? Пора бы и из своего что-нибудь опубликовать. Собирал я значит не спеша нейронку, генерирующую лица детей по фотографиям родителей, и тут узнаю, что FaceApp меня опередили. Посмотрел что там да как и понял, что они решили эту задачу обычным морфингом, без возможности контролировать интерполяцию. Да и большее влияние на конечный результат у них оказывает загруженное изображение именно первого родителя, что не есть правильно. В общем я понял, что уже хватит тянуть и за пару деньков собрал для вас Колаб. В довесок накидал несколько интересных плюшек, таких как возможность изменять некоторые параметры лица, а также создавать анимации плавного взросления. Вот ссылка напрямую, чтобы протестировать эту нейронку онлайн:

https://colab.research.google.com/github/tg-bomze/BabyGAN/blob/master/BabyGAN_(RUS).ipynb

‍♂️DFDNet Colab ‍♀️ Все помнят мой недавний пост Запустил я значит новую информационную рубрику, однако некоторые из вас очень просили, чтобы Colab всеж был собран. Пришлось пойти на некоторые ухищрения, так как нейронка весьма требовательная для бесплатной версии Колаба, но в итоге все заработало. По традиции переходим по ссылке ниже и нажимаем "Open in Colab":https://github.com/tg-bomze/DFDNet

P.S. На фото изображен парнишка, который уже в далекие нулевые радовался тому, что DFDNet в итоге запустится в Гугл Колабе

? Audio Style Transfer ?

Очередной пост из серии #fastColab (в предыдущем забыл сделать хэш-тег). Данная нейросеть переносит стиль одной мелодии на другую. Если в основной присутствует текст песни, то он сохранится, но результат получится слегка зашумленным. Есть и свои неприятные ограничения: выходной файл получается не длиннее 10 секунд (возможно я просто не нашел, где регулировать данный параметр).

P.S. Как вы могли заметить, мой предыдущий пост не формат для канала, однако я уже писал, что хотел бы, чтобы MLArt не ассоциировался только как коллекция Колабов, поэтому, время от времени, тут будут возникать подобные отклонения от привычного формата. К тому же такую нейронку я не мог пропустить.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Audio_Style_Transfer.ipynb

?‍♂️DFDNet (opensource аналог Remini) ?‍♀️

А вот и совсем свеженький проект, аналог которого (Remini) большинство знают и без меня. Приложение условно бесплатное, поэтому Колаб не нужен. Тем не менее многие опытные пользователи хотели поковыряться в коде и, возможно, применить эту технологию для каких-то своих решений. Именно этим я сегодня и решил заняться и вот на что советую обратить внимание: 1) Без gpu лучше даже не начинать, так как работать будет непозволительно долго. 2) Весит все это добро чуть меньше 5 гигабайт. 3) В ридми не указано, но рекомендуются специфические версии торча (torch==
1.
5.0, torchvision==
0.
6.0)

Из плюсов: отличное качество (при весьма агрессивном восстановлении). Из минусов: не может работать с цельным изображением (обрезает лишь лицо и с ним дальше работает).

Ссылка: https://github.com/csxmli2016/DFDNet

P.S. решил начать новую рубрику #withoutColab. Время от времени буду публиковать то, что по каким-то причинам не будет реализовано в виде Колаба.

Changer of time of day Буквально час назад был опубликован код нейронки, меняющей время суток на фотографии. Работает весьма шустро и качественно. Накидал вам Колаб на скорую руку (новая рубрика: Fast Colab).

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/High_Resolution_Daytime_Translation_(RUS).ipynb

https://youtu.be/fSIFIminG2Y Темы, которые я затронул в докладе:Омоложение Моны Лизы, популяризаторство "Машинного обучения в искусстве" (проблема и решение), Ансамбль нейронных сетей по восстановлению старых видеозаписей (ENTAR), Оживление портрета ДумГая, Лицевой Депикселизатор, Генератор лиц детей по фотографиям мужчины и женщины.

Помимо этого, советую ознакомиться с докладами других участников:- Implicit Neural Representations with Periodic Activation Functions (Gleb Sterkin)
- https://youtu.be/iUmrBL62gvw- Neural Cellular Automata and Differentiable Self-Organisation (Alexandr Mordvintsev)
- https://youtu.be/TC548YD0lFc

P.S. Отдельное спасибо организаторам этого мероприятия.

➖RoBWOV (beta
0.1)➖

Алгоритм, впитавший в себя целый ансамбль нейронных сетей, предназначенных для восстановления видеозаписей. Сейчас в него входят: DeOldify, Fast-SRGAN, DeepRemaster и DAIN. В последующих обновлениях появятся: регулировка резкости/размытия, а также возможность удаления шумов. После реализации вышеперечисленного выкачу код на Google Colab и расшарю, чтобы у каждого появилась возможность поковыряться и перенастроить под свои задачи. Следите за обновлениями на этом канале.

1.0❗️ А вот и обещанный ансамбль нейросетевых инструментов реставрации старых видео. От названия RoBWOV было решено отказаться. Новый алгоритм имеет куда больший список технологий. С полным списком сеток можно ознакомиться в описании к репозиторию: https://github.com/tg-bomze/ENTAR/blob/master/README.md Для самостоятельного тестирования предлагается использовать вычислительные мощности Google на облачной платформе Colab: https://colab.research.google.com/github/tg-bomze/ENTAR/blob/master/ENTAR_Rus.ipynb Я постарался максимально доходчиво расписать последовательность действий, чтобы не возникло трудностей даже у тех, кто никогда не занимался программированием. Со временем в ENTAR будут добавляться новые и обновляться старые нейросети, поэтому если вам интересно, то не теряйте ссылку на Colab.

?StyleGAN2 (Face Modificator)?

Все помнят омоложение Моны Лизы? Так вот, у меня для вас есть небольшой сюрприз. Я решил, что стоит поделиться с вами этой прекрасной сборкой. На свой GitHub (https://github.com/tg-bomze/StyleGAN2-Face-Modificator) я уже выкатил ноутбуки, которые вы можете запустить на облачном Google Colab и самостоятельно поковыряться в них. Переходите по ссылке и тыкайте на кнопку "Open in Colab".

P.S. Юный Александр Сергеевич, представленный в прикрепленном видео, был также сгенерирован при помощи StyleGAN2 ?

Face Image Motion Model Многие уже знакомы с моделью "First Order Motion Model", с помощью которой можно переносить движения лица из видеофайла на фотографию. У нее есть ряд недостатков: занижает FPS, уменьшает разрешение выходного видео до 256px, не переносит звук, а также требует много ручной подготовки входных материалов. От большинства из них я избавился и по традиции все оформил в удобный Колаб на своем GitHub: https://github.com/tg-bomze/Face-Image-Motion-Model. Переходите по ссылке и нажимайте на кнопку "Open in Colab", чтобы самостоятельно протестировать модель. Оставшиеся нерешенные проблемы будут исправляться в дальнейших обновлениях.

P.S. Если вдруг кто-то не узнал персонажа в прикрепленном видео, то это главный герой из серии игр Doom. Детализацией занимался отдельно, используя Remini и, в том числе, инструмент “StyleGAN2 (Face Modificator)” из предыдущего поста.

P.P.S. Может возникнуть ошибка. Это из-за лимитов Гугла. Если такое случается, то скрипт должен заработать снова в течении суток.

Video to Anime Converter Не так давно на многих тематических каналах публиковали нейросеть, которая трансформировала изображение под стилистику аниме. Я решил сделать Колаб для конвертации коротких видеороликов, который опубликовал у себя на GitHub: https://github.com/tg-bomze/Video2Anime. Каждый желающий может зайти, нажать на кнопку "Open in Colab" и самостоятельно попробовать поиграться с этим инструментом. Проведя некоторое количество тестов я заметил, что этот эффект отлично накладывается на видеоролики с пейзажами. С людьми он пока работает недостаточно хорошо. В дальнейших обновлениях это будет исправлено.

На этот раз у нас нейронка, стилизующая кадры портретного видео в рисунки. Найти Колабы, в которых её можно опробовать, не составит труда, если перейти по ссылке: https://github.com/tg-bomze/Video2Drawing. Данное видео (25 fps), длящееся 20 секунд, она обрабатывала 7 минут. Скорость
- ее основной минус. Тем не мене качество весьма достойное, что является плюсом.

P.S. Простите за мой плохой финский.

?Timbre Transfer ?

Очередной инструмент добавлен на мой GitHub: https://github.com/tg-bomze/TimbreTransfer (там же все ссылки на Колаб). Суть его заключается в синтезе звука. Проще говоря вы можете напеть мелодию прям внутри Колаба (или загрузить с компьютера), выбрать один из музыкальных инструментов (скрипка, флейта, труба, саксофон) и получить сгенерированное звуковое сопровождение. Качество зависит от микрофона и от внутренних настроек. Сам Колаб можно запускать со смартфона (если качество записи там лучше). Помимо этого данный инструмент может очищать аудиозапись от лишних шумов. Это работает лишь тогда, когда входной звуковой файл содержит игру лишь на одном инструменте (и то из тех, которые представлены в самом скрипте).

P.S. Помимо этого хотел бы оповестить о том, что ENTAR обновился до 3 версии. Теперь там появилась возможность увеличивать детализацию видеозаписей. Вкупе с этим инструментом можно улучшать какие-либо старые записи концертов.

Photo/Video Style Transfer Collection Собрал большой пак нейронных сетей по переносу стиля из одного изображения на другое. Некоторые из них обрабатывают фото достаточно быстро и весьма качественно, поэтому переписал их под стилизацию видео. Все это добро сложил в свой GitHub: https://github.com/tg-bomze/Style-Transfer-Collection. Для тестирования переходите по ссылке, выбирайте понравившийся результат и кликайте по кнопке "Open in Colab" рядом с названием соответствующей нейронки (репозитория).

Voice Cloner Вот мы и добрались до клонирования голоса. Качество пока напоминает разговор через рацию, однако кто знает, какими будут подобные технологии лет через
5. Для тех, кому хочется поиграться с этой нейронкой я приготовил для вас пару Колабов: https://github.com/tg-bomze/Voice-Cloner (по старинке, кнопка "Open in Colab"). Перейдя на официальные репозитории (ссылки на них я указал в своем) вы сможете найти инструкцию, как именно обучить нейросеть самостоятельно. И не забывайте об ответственности, которую вы будите нести!

P.S. За предоставленный аудио-файл отдельное спасибо создателю "Multi-Tacotron-Voice-Cloning"