Опубликован проект PIXIE для построения 3D-моделей людей по фотографии

Kate · 20 Окт 2021

Открыты исходные тексты системы машинного обучения PIXIE, позволяющей создавать 3D-модели и анимированные аватары тела человека по одной фотографии. К результирующей модели могут быть привязаны реалистичные текстуры лица и одежды, отличающиеся от изображённых на исходной фотографии. Система может применяться, например, для отрисовки с другой точки наблюдения, создания анимации, реконструкции тела по форме лица и формирования 3D-модели пальцев рук. Код написан на языке Python с использованием фреймворка Pytorch и распространяется под лицензией, допускающей только использование в некоммерческих целях.
Заявлено, что по сравнению с похожими проектами PIXIE позволяет более точно воссоздать контуры тела, изначально скрытого одеждой на фотографии, форму лица и положение суставов рук. Метод основан на применении нейронной сети, которая выделяет из пиксельного изображения параметры лица, тела и рук. Работу нейронной сети координирует специальный регулятор, который на основании анализа освещённости добавляет информацию о весовых коэффициентах различных частей тела для исключения определения неестественных поз. При создании модели учитываются анатомические отличия мужского и женского тела, параметры позы, освещение, отражательная способность поверхности и поворот лица в трехмерной плоскости.
Особенности PIXIE:

Воссозданная 3D-модель тела, а также информация о позе, положении рук и выражении лица сохраняются в виде набора параметров SMPL-X, которые в дальнейшем могут использоваться в системе моделирования Blender через плагин.
По фотографии определяется детальная информация о форме и выражении лица, а также его особенностях, таких как наличие морщин (для построения модели головы применяется система машинного обучения DECA, разработанная теми же авторами).
При генерации текстуры лица оценивается альбедо объекта.
Построенная модель тела в дальнейшем может быть анимирована или представлена в другой позе.
Поддержка построения модели по обычным фотографиям, на которых человек снят в естественных условиях. PIXIE хорошо справляется с определением различных поз, условий освещения и перекрытием видимости частей объекта.
Высокая производительность, подходящая для динамической обработки картинки с камеры.