На щеку актрисы садится бабочка; по лицу Леди Гаги растекается лава; другая актриса будто превращается в андроида, лицо которого подсвечено стимпанковскими лампочками. Все это происходит в реальном времени благодаря технологии онлайн-видеомаппинга, которую уже 3 года развивает японский художник и продюсер Нобумичи Асаи.

По разделу «Работы» на сайте Нобумичи Асаи можно понять, что до 2014 года он занимался почти только видеомаппингом и виртуальной реальностью. Так или иначе это сводится к созданию видеопроекции на плоские или не очень сложные выпуклые поверхности вроде стен зданий. Он высвечивал головной офис Subaru, делал экскурсии по виртуальной реальности из автобуса в павильоне, залитом видеопроекцией, создавал голограммы и лазерную графику. Летом 2014 года Асаи занялся онлайн-видеомаппингом лица — тем, что сейчас обозначается термином face-hacking и обещает революцию в исполнительских искусствах.

Формально нового в этом не так много: еще в 1969 году компания Disney на открытии одного из аттракционов использовала 16-миллиметровый фильм для проекции отрубленных голов на их аналоговые заготовки. Компания Уолта Диснея и запатентовала первое устройство в области 3D-маппинга. Теперь же для такого рода объемной видеопроекции применяют радикально другие технологические и программные способы, выводящие этот вид графического искусства на новый уровень.

Фейс-хакингу в его современном виде чуть меньше трех лет.

• В августе 2014 года Нобумичи Асаи официально запустил проект «OMOTE» (что с японского переводится как «лицо» или «маска») и записал видеоролик, демонстрирующий возможности проецирования динамического изображения на движущееся лицо.
• В феврале 2016-го совместно с Intel Асаи выпустил работу «Connected Colors», в которой использовал более изощренную (и более «природную») видеографику: она то расходилась волнами по лицу модели, то заполняла его как татуировка. Это все выглядело выразительно, но существовало только в качестве экспериментальных работ на видео.

• В том же месяце проходила 58-я церемония «Грэмми», где Intel совместно с Асаи в качестве технического и креативного директора впервые продемонстрировали фейс-хакинг на большую аудиторию. В первые минуты выступления Леди Гаги с трибьютом Дэвида Боуи на ее лице растекалось что-то похожее на лаву, затем у глаза сформировался узнаваемый красный зигзаг, после чего на лице появился паук. Правда, на видео очевидно торможение проекции по отношению к резко движущемуся лицу исполнительницы: на тот момент технология была еще не так точна.

Заметный прогресс можно было увидеть уже этой весной! В марте Асаи выпустил очередную работу с фейс-видеомаппингом «INORI» — в ней приняли участие две японские танцовщицы, составляющие популярный дуэт AyaBambi. Качество и динамичность видеографики сильно продвинулись вперед, а в своих движениях объекты маппинга стали более свободны: даже при резких поворотах головы вбок или вверх проекция не затормаживает и не срывается с контура. К тому же, в этой работе «площадкой» для маппинга стали сразу два человека; в некоторые моменты проекция на лица синхронная, в некоторые — нет. В дополнение к этому видео был записан ролик о том, как все было сделано.

В общем виде технология выглядит следующим образом:

• Необходимо создать 3D-модель лица, на которое будет осуществляться проекция.
• Нобумичи Асаи, в частности, делает человеку разные виды макияжа, фиксирует его на фото, а затем с помощью фотограмметрии уточняет параметры «лицевого ландшафта» для создания объемной цифровой модели.
• Имея 3D-модель и видеографику, созданную специально под нее, лицо очищают от макияжа и клеят на него несколько инфракрасных маркеров.
• После этого пять инфракрасных камер готовы фиксировать движения лица и сопоставлять их с компьютерной моделью. Дальше все зависит только от мощностей компьютера, способных с высокой скоростью обрабатывать сенсорный трекинг.

Самое интересное касается проектора, формирующего графику на лице. Та высокая точность при быстром перемещении маркеров, которую можно было видеть в видеоработе «INORI», была достигнута благодаря коллаборации с лабораторией Ishikawa Watanabe Токийского университета. Там еще в 2015 году разработали революционный проектор DynaFlash, который впервые в мире был способен учитывать изменение и движение плоскости, на которую падает проекция. На демонстрационном видео понятно, о чем идет речь: если растянуть или перевернуть плоскость, то же самое произойдет и с проекционным изображением.

Все это работает на революцию в сфере исполнительских искусств — это история для тех, кто любит пошутить про «аналоговых людей на сцене». Онлайн-видеомаппинг уже имеет свои примеры в театре. В шекспировской «Буре», которую в прошлом году поставила британская RSC, актер мог управлять собственным аватаром, который выводился на объемные плоскости через видеопроекцию. Схема управления была создана с помощью разработок Intel и технологии трекинга движений.

Тяжело представить, какие возможности фейс-маппинг и вообще динамическая видеопроекция на тело открывают для современного танца и перформативных искусств. Как раз время вспомнить, что в большинстве постсоветских театров самые крутые спецэффекты до сих пор обеспечиваются поворотным кругом и актерами, подвешенными на тросах.

из the-golbii.ru