Искусство интеллекта. Киноиндустрия уходит в массы благодаря нейросетям
19 февраля крупнейшие российские компании подписали соглашение о создании альянса по развитию искусственного интеллекта. В отрасль планируется вложить в 1,5 млрд долларов. Первые плоды искусственного интеллекта еще в середине прошлого века можно было увидеть на ВДНХ в павильоне «Космос». Корреспондент «Вечерней Москвы» узнала, как ученые филиала «Научно-исследовательского кинофотоинститута» совершенствуют наследие советских инженеров с помощью нейросети.
Музей советской кинотехники хранит массу раритетов. Встречаются и те, что в свое время произвели фурор в мире кино. Корреспондент «ВМ» узнал, какой техникой снимали фильмы в прошлом и какие технологии используются в кинопроизводстве сегодня.
Говорящая голова
Первым среди многочисленных экспонатов музея в глаза бросается кинопроектор — ГОЗ, один из первых, разработанный на ленинградском государственном оптическом заводе в 20-е годы прошлого века. Инженеры создали максимально упрощенную, облегченную конструкцию кинопроектора, чтобы перевозить его в чемодане.
— А это механическое пианино. С его помощью музыкальный аккомпанемент к немым фильмам стал более доступным и не перестал зависеть от уровня подготовки тапера, — рассказывает начальник отдела организационного обеспечения филиала Научно-исследовательского кинофотоинститута (НИКФИ) Дмитрий Сухов.
И теперь, спустя почти 100 лет, при нажатии нескольких рычажков пианино начинает издавать вполне приятные звуки. Музыкальная пауза прерывается вместе с моим восклицанием: «А это что за чудо»? Чуть правее в темноте мерцают сразу одиннадцать глазниц отечественных кинокамер «Конвас», скрепленных в плотное кольцо.
— Это круговая кинопанорама, изготовленная и выставленная на ВДНХ по личному указанию Н. С. Хрущева в 1960-х годах, первые удачные попытки создать виртуальную реальность. В специальном павильоне зрители смотрели кино буквально вокруг себя и слышали объемный звук, — не без гордости рассказывает Сухов.
Оказывается, сложнее всего было синхронизировать движение одиннадцати кинопленок, кадр в кадр. Но филиал кинофотоинститута с этим справился.
И в следующем ряду выставочного зала показывается раритетная диковина — кинокамера-маска. Ее готовили специально для съемок киноэпопеи Сергея Бондарчука «Война и мир». Дмитрий объясняет, что в кинокамеру вставляли сразу несколько пленок (одна переворачивалась, другая проявлялась по негативному процессу), еще и через несколько линз одновременно снимали для достижения эффекта объема. Когда же Бондарчук камерой не воспользовался, она пополнила «сокровищницу» института.
— У нас ее переделали в стереокамеру. Кадры стереопары размещались на двух 70-миллиметровых пленках. На выставке в Осаке в 1970 году один из основателей компании «Аймекс» Грэм Фергюсон очень заинтересовался успехами СССР в области стереокино. Не все знают, но с тестовых роликов о Москве, произведенных в НИКФИ, началась система «Аймакс» в 3D (изначально широкоформатная кинематографическая система), — утверждает Дмитрий.
В этот самый момент с легким стрекотом запускается один из кинопроекторов, а в его луче оживает голова-маска. На ней проявляется лицо кинозвезды советских послевоенных лет. «Вы видите и слышите меня, хотя меня с вами нет уже многие десятки лет», — произносит кинопроекция актера Николая Крючкова.
— Это аттракцион «Кинопортрет», — спешит успокоить меня ученый. — Такой же когда-то украшал павильон «Космос» при его открытии на ВДНХ. Там маску поместили в скафандр космонавта, — вспоминает Дмитрий. — Как только посетитель выставки подходил к скафандру, его забрало открывалось, включался кинопроектор и легендарный Юрий Гагарин произносил свою предстартовую речь.
Специальной кинозаписи лица Гагарина не нашлось. Поэтому решили снять племянника Юрия Алексеевича, очень похожего на него. Был, правда, один нюанс, племянник-боксер умудрился потерять все передние зубы. Срочно за счет «Мосфильма» восстанавливали его белоснежную улыбку. На сделанную кинозапись наложили фонограмму с голосом Юрия Гагарина.
— Зрителей аттракцион шокировал. Но вряд ли тогда кто-то осознавал, что мы уже делали первые шаги в разработке искусственного интеллекта, — объясняет Дмитрий Сухов.
Поиск по одному фрагменту
Руководитель лаборатории перспективных алгоритмов обработки аудиовизуальной информации Сергей Подлесный переносит меня из прошлого в настоящее киноиндустрии. Его лаборатория по сравнению с музеем выглядит скромно, стандартные офисные столы, компьютеры. Наверное, внутренний компьютерный мир таит самые непредсказуемые лабиринты…
— Пять лет назад мы начали с самого простого, — рассказывает ученый. — Разработали систему поиска в архивах. — Ее уникальность заключается в том, что она ищет не по целому изображению, а способна найти ролик по частям лица, отдельным ландшафтным линиям, до полного совпадения.
С этим проектом Подлесный выступил на научной конференции в Лондоне в 2016 году, в Роспатенте зарегистрировал изобретение. Технологии нашли применение в Госфильмофонде, который хранит и редкие кадры, и фотографии, и плакаты, и сценарии. К счастью, описание такого богатства уже во многом перенесено на электронные источники. Но разобраться с ним непросто. Например, как найти в считаные минуты именно то видео, которое нужно?
— Обученная нейронная сеть стала выполнять поиск за считаные секунды. У нас собственная лицензионная система по поиску в архиве. С помощью нее киностудия или телестудия гарантированно защитит себя от утечки информации. Ведь разработанной нами системе не нужно выходить во всемирную паутину, — рассказывает Сергей Подлесный.
Ученый на моих глазах делает запрос на кинохронику встречи генерального секретаря ЦК КПСС Леонида Брежнева с премьер-министром Кубы Фиделем Кастро. Синий экран расцвечивают несколько видеозаписей Брежнева и Кастро. Сергей Юрьевич не скрывает, что их собственные разработки велись параллельно с известными широкому потребителю американским поисковиком.
— Однако, обращаясь к заокеанскому поисковику, вы, как владелец, рискуете. Попав в интернет, авторские права и права киностудии попросту окажутся под угрозой, — поясняет Подлесный.
Для разработки крупного проекта видеомоделирования виртуального пространства Министерство культуры оказало НИКФИ материальную поддержку. Киноинженеры закупили мультимедийные кинокамеры размером чуть больше спичечного коробка.
— Если этими крохами «напичкать» пространство, например живописную горную тропу, можно добиться полного ощущения присутствия на ней, — ученый демонстрирует маленькую серую коробочку. — Эти камеры можно применять и при съемке батальных сцен, фокус в том, что режиссер увидит всю сцену сразу. По сути, это цифровой аналог кинопанорамы, сооруженной в 1960-е на ВДНХ.
Однако усеивать камерами-коробочками всю площадку виртуальной прогулки, по признанию Сергея, необязательно.
— С помощью искусственного интеллекта недостающие фрагменты видео можно дорисовывать так, чтобы вся необходимая картина, существующая в реальности, сложилась. И освещение, и резкость, и цветокоррекцию тоже можно будет выбирать. Система даже позволяет создать эффект полета, — рассказывает Подлесный.
Нейросеть за монтажом
Настоящий творческий процесс с участием искусственного интеллекта начинается, когда Сергей Юрьевич открывает программу видео-монтажа. В обучающую базу нейронной сети вошла выборка, сделанная на основе 66 тысяч съемочных планов эталонных киношедевров. Прежде чем запустить монтаж, Подлесный всего лишь задает несколько параметров: каноничность, эстетика, хронометраж, технические особенности, художественная индивидуальность… Исходник, который обрабатывает нейросеть, — любительская съемка головокружительных горнолыжных спусков, сделанная с экшен-камеры. Общий хронометраж его доходит до часа. Секунды бегут и... Исходя из заданных параметров, искусственный интеллект выбирает наиболее подходящие кадры, выстраивает их в хронологический порядок.
— Любуйтесь! — предлагает изобретатель. На экране отображается динамичный ролик, подходящий для рекламы горнолыжного курорта.
За этот проект лабораторию Подлесного отметили на прошлогодней Международной конференции по естественным вычислениям, нечетким системам и получению знаний в Китае. Сегодня перед коллективом ученых НИКФИ встала еще одна грандиозная задача.
— Мы готовы аккумулировать видео, отснятое болельщиками во время прошедшего в России мундиаля. Искусственный интеллект смонтирует самое «массовое» кино. Сбор видео объявим в ближайшие месяцы, — анонсирует новый проект заместитель директора НИКФИ.
ПРЯМАЯ РЕЧЬ
Алексей Кучеренко, директор Филиала «Научно-исследовательский кинофотоинститут» АО «ТПО киностудия им. М. Горького»:
— Несколько лет назад в Голливуде провозгласили — 2020 год станет годом искусственного интеллекта в кино. Уже ясно, что работа над сериалами требует значительной оптимизации. Наши наработки ускорят сериальное производство, над теми же черновыми версиями монтажа и некоторыми отдельными сценами. Реально с помощью искусственного интеллекта монтировать батальные сцены или иные массовые, зрелищные эпизоды, когда применяется мультикамерная съемка большим количеством камер. В перспективе мы планируем внедрение элементов наших технологий в проекты Киностудии имени М. Горького, частью которой НИКФИ сегодня является. Такое сотрудничество уже давно практикуется некоторыми западными киностудиями, например «Диснеем».
Читайте также: Столичные школьники научатся программировать квадрокоптер и составлять фоторобот