Modélisation photoréaliste d’avatars : Utilisation d’approches neuronales multi-sujets, L. Faure

"Modélisation photoréaliste d’avatars pour le rendu immersif : Utilisation d’approches neuronales pour la représentation multi-sujets" par Louis Faure (IETR Vaader) Abstract Ce stage porte sur la modélisation de sportifs à partir de vidéos monoculaires. L'apprentissage d'avatars humains photoréalistes revêt une importance croissante pour les applications sportives. Les méthodes basées sur la vidéo monoculaire sont particulièrement pratiques, car elles évitent les configurations complexes de capture multi-vues et peuvent fonctionner avec de simples vidéos prises à l'aide d'un téléphone portable. Cependant, la reconstruction à partir d'une seule vue est intrinsèquement mal. Pour remédier à cela, de nombreuses méthodes utilisent des a priori cinématiques comme SMPL, puis spécialisent le modèle pour la personne acquise ensuite soit des modèles basés sur NeRF, soit des modèles de splatting gaussien à des vidéos monoculaires. Cependant, la nature spécialisée de ces méthodes limite leur générabilité : chaque nouveau sujet nécessite l'optimisation d'un ensemble de paramètres indépendant et complet, ce qui entraîne une augmentation linéaire des coûts d'entraînement et des besoins en mémoire avec le nombre de sujets. Certaines recherches ont été menées pour apprendre des modèles de splatting gaussien 3D généralisables à plusieurs identités. Parmi celles-ci, MIGS et MISTA parviennent à une représentation unique et partagée de rang faible pour plusieurs avatars, en supposant que les gaussiennes composant les avatars multi-identités sont fortement corrélées et peuvent être projetées sur une variété de faible dimension. L’objectif du stage est donc d’expérimenter une méthode alternative fondée sur des réseaux neuronaux pour la réduction de rang, et de la comparer avec les méthodes MIGS et MISTA existantes. Une mission secondaire du stage est de recruté des joueurs de rugby afin de créer une base de donné de sportifs pour s'entrainer sur des gestes précis.