Метод, созданный в Университете Вашингтона, анимирует любую текучий объект, в частности воду, облака или дым. В итоге получается короткое видео, закольцованное без швов и создающее впечатление бесконечного движения. Ученые представят свое изобретение на международной Конференции по компьютерному зрению и распознаванию паттернов 22 июня в Сиэтле, https://www.sciencedaily.com/releases/2021/06/210615132305.h... Science Daily.
Особенность этого метода в том, что он не требует никаких дополнительных данных или действий со стороны пользователя, пояснили разработчики. Все, что нужно – это изображение. При этом конечный результат имеет высокое разрешение, так что картинка получается фотореалистичной.
Такая система требует прогнозирования будущего. Это происходит в два этапа: сначала она предсказывает, как могли бы двигаться объекты на фотографии, а затем использует эту информацию для создания анимации. Для анализа движения разработчики обучили нейронную сеть на тысячах видео с водопадами, реками, океанами и прочими текучими субстанциями.
Движение потока на фотографии они обеспечили за счет метода «сплаттинга» (splatting), который перемещает каждый пиксель согласно прогнозу. Однако здесь возникли проблемы: когда все пиксели сдвинулись вниз, например, в случае водопада, ничего не осталось наверху. Поэтому исследователи разработали метод «симметрического сплаттинга», который предсказывает движение и вперед, и назад во времени.
Лучше всего метод работает с предсказуемыми текучими объектами – водой, дымом или огнем. Теми типами движения, которые подчиняются одинаковым физическим законам. В дальнейшем разработчики собираются распространить свой метод на другие объекты – например, анимировать волосы, которые колышет ветер.
В конце 2020 разработчики из Nvidia AI https://hightech.plus/2020/12/02/ii-sozdaet-trehmernie-golov... нейросеть для генерации «говорящих голов» для видеоконференций на основе единственной фотографии. Трехмерный объект реагирует на широкий спектр манипуляций — может поворачиваться в разные стороны, менять направление взгляда.
Свежие комментарии