Нейросеть YandexART помогла восстановить видеозаписи времен Олимпиады-80

Нейросеть YandexART помогла восстановить видеозаписи исторических событий — отреставрированную кинохронику 80-х использовали для сериала «Игры». Тренировки участников Олимпиады-80, иностранцы в Москве и другие архивные кадры объединили с современной съёмкой в формате 4К.

В новом оригинальном сериале Кинопоиска использовали архивные съёмки 1980-го года – документальную съёмку тех лет, любительские кадры из личных архивов, материалы «Мосфильма» и Российского государственного архива кинофотодокументов. Большая часть этого материала была снята на советскую камеру 16мм, и, когда в 90-е архив перевели в цифровой формат, изображению не хватало чёткости, а где-то остались не восстановленными целые фрагменты кадров. Тем не менее, киносъёмки 80-х удалось использовать и совместить с 4К-изображением сериала «Игры» с помощью технологий Яндекса – для этого нейросеть YandexART научили восстанавливать архивные видеозаписи и кинохронику, что в будущем может быть полезно кинокомпаниям, музеям, историкам и другим специалистам для улучшения качества значимых видео и работы с историческим наследием.

Нейросеть увеличила разрешение и резкость и повысила качество видеокадров. Благодаря YandexART события сорокалетней давности стали доступны современному зрителю в хорошем качестве: на размытый и нечёткий кадр добавили фактуру и недостающие детали. Например, нейросеть прорисовала кирпичную кладку на стене и узоры на женском платье, а у машины восстановила фары и поворотники, которые было плохо видно.

Разработчики Яндекса научили модель не «галлюцинировать», то есть не придумывать то, чего изначально не было. Чтобы состыковать кадры хроники и современную съёмку в 4К так, чтобы зритель этого не заметил, у разработчиков Яндекса и команды, работавшей над сериалом, ушло около трёх месяцев. Теперь YandexART умеет превращать шумные, размытые и сильно сжатые кадры в контент с высокой детализацией объектов и текстур благодаря поэтапному обучению на материалах низкого качества.

Дмитрий Тимко, руководитель продуктов Поиска, Браузера и приложения Яндекса: «Мы развиваем нейросети для работы с разными задачами, в том числе и с историческим наследием. Например, наш сервис Поиск по архивам постоянно пополняется расшифрованными нейросетью историческими документами из разных регионов России. В свою очередь YandexART занималась реставрацией архивной кинохроники для сериала “Игры”. Мы непрерывно работаем над обучением и улучшением наших нейросетей, что позволяет применять их во всё большем количестве сфер — например, теперь и в киноиндустрии».

Дмитрий Токояков, продюсер визуальных эффектов Плюс Студии: «“Игры” — это один из немногих в России опытов, когда кинохроника и видеоматериалы из коллекций Мосфильма и Российского государственного архива кинофотодокументов настолько объёмно восстанавливаются нейросетями. Никто раньше не решался ставить архивные кадры встык с современной съёмкой и выпускать сериал в современных онлайн-кинотеатрах в 4К. В сериале сама манера съёмки стилизована под 80-е, тогда операторы часто делали наезды-отъезды в кадре, снимали такой плавающей камерой. Например, в некоторых сценах зритель видит современную съёмку с актёрами, картинка постепенно становится более зернистой, и в этот момент вклеивается фрагмент реальной хроники. Нейросеть в данном случае выступает в качестве реставратора, чтобы зритель не видел контраста между кадрами сериала и фрагментом хроники».

Над восстановлением архивных видео с помощью нейросетевых технологий и компьютерной графики работали команды компьютерного зрения Яндекса, Yandex Research и Плюс Студии. Среди восстановленных кадров зрители смогут увидеть, например, хронику со спортсменами, участвовавшими в Олимпиаде-80, улицы Москвы тех лет, любительские съёмки, материалы прессы и другие архивы.

Отреставрированную видеохронику использовали в драме «Игры» про Олимпиаду-80. Этот турнир должен был стать событием для всего мира, ради которого Советский Союз был готов приподнять железный занавес. Главным героям предстоит столкнуться со сложностями организации масштабного спортивного события и оказаться свидетелями не только Олимпийских, но и политических игр. Премьера сериала состоится на Кинопоиске 3 августа.

Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть, которая создаёт и улучшает изображения и анимацию в ответ на текстовые запросы. Она обучалась на примере 850 миллионов картинок с описанием, знает российский культурный код и использует особый алгоритм распознавания текстов, чтобы точнее понимать пожелания пользователей. YandexART может качественно прорабатывать мелкие детали, работать в заданном художественном стиле и создавать фотореалистичные портреты. Нейросеть интегрирована в Шедеврум, используется в Яндекс Бизнесе, Директе, Браузере и Маркете. Кроме того, компании могут получить доступ к API YandexART в Yandex Cloud.

Кинопоиск – крупнейший онлайн-кинотеатр в России и самое популярное российское медиа о кино. На зрительские оценки фильмов и сериалов на Кинопоиске уже 20 лет ориентируется вся российская медиаиндустрия. Аудитория онлайн-кинотеатра, где выходили оригинальные сериалы сервиса «Король и Шут», «Нулевой пациент», «Кибердеревня», «Беспринципные», «Внутри убийцы» и другие проекты, превышает 12,2 миллионов смотрящих подписчиков. Фильмы и сериалы, а т клипы доступны по по акже спорт, музыка, редакционный видеоконтент и музыкальные дписке Яндекс Плюс.