Une reconstitution 3D d'évènements en direct à partir de vidéos de téléphones mobiles

Chen et Nizan Sagiv ont eu cette idée après avoir assisté à un concert de Depeche Mode à Tel Aviv il y a cinq ans. «Pendant que je me concentrais sur le spectacle, Nizan était plutôt intéressé par la foule», explique Chen, la coordinatrice du projet SCENENET. «Il était fasciné par le nombre d'écrans de téléphones portables illuminés; la majorité du public enregistrait le concert sur leurs téléphones. Nizan s'est dit qu'il serait intéressant de combiner toutes les vidéos des personnes présentes en une vidéo synergétique probablement en 3D. Nous avons ensuite parlé de ce concept pendant des mois, mais l'idée semblait trop risquée, compliquée et trop futuriste.»

Une collaboration entre l'Europe et Israël

Ils ont donc décidé de consulter l'ISERD, la direction de R&D entre Israël et l'Europe et ont contacté le professeur Peter Maass, de l'université de Brême en Allemagne et le professeur Pierre Vandergheynst de l'École Polytechnique Fédérale (EPFL) de Lausanne, en Suisse, avec lequel Chen avait collaboré dans le cadre d'un projet antérieur du 7e programme-cadre, UNLOCX .

C'est ainsi que SCENENET a vu le jour. Le projet est financé à hauteur de 1,33 million d'euros par la Commission européenne et est coordonné par l'entreprise de Chen et Nizan située à Ra'anana, SagivTech, spécialisée dans la vision informatique et l'informatique parallèle.

SCENENET, qui est financé par le programme FET (Future and Emerging Technologies) , tout comme UNLOCX, se clôturera en janvier 2016 et est composé de quatre partenaires européens: l'université de Brême, Steinbeis Innovation, European Research Services, tous trois en Allemagne, et l'EPFL en Suisse.

Au cours de la première année du projet, l'équipe a développé l'infrastructure mobile pour les fichiers de format vidéo, ainsi qu'un mécanisme de marquage et de transmission vers un serveur en nuage. L'équipe a également développé des outils de base pour une interface homme-machine qui permettra aux utilisateurs de visualiser la vidéo 3D selon différents angles dans la salle de concert et même d'éditer le film. Cette technologie contribuera à créer des communautés en ligne de partage de contenu, permettant de revivre un concert tous ensemble. Ainsi, dans cet esprit, les partenaires se pencheront sur l'aspect de confidentialité et des droits de propriété intellectuelle au cours des deux prochaines années du projet.

«Au terme de la première année et en avance par rapport à nos prévisions, nous avons réussi à construire la filière entière de SCENENET à partir de composants de pointe», explique Chen. En effet, les algorithmes de vision par ordinateur accélérés créés pour les appareils mobiles relèvent d'un effort révolutionnaire global et d'importants fabricants de jeux de composants («chipsets») suivent attentivement la progression du projet.

SCENENET implique différents défis technologiques: le prétraitement intégré qui demande une puissance informatique importante, la transmission efficace des fichiers vidéo, le développement de méthodes rapides et précises d'enregistrement entre les flux de fichiers vidéo et la reconstruction 3D. Toutes ces tâches doivent fonctionner à des vitesses quasi en temps réel.

«Nous sommes certains que les différents composants de SCENENET, à savoir l'enregistrement d'images et la reconstruction en 3D, ont un grand potentiel pour l'informatique mobile et en nuage, aussi, SCENENET garantit-il une véritable percée technologique dans son ensemble mais également par chacun de ses constituants», ajoute-t-elle.

Élargir l'application au-delà des concerts

Des myriades d'applications possibles pour SCENENET émergent à mesure que le projet se développe. Une fois les problèmes de droits et de confidentialité résolus, la technologie pourrait être utilisée pour recréer d'autres évènements en 3D, notamment les flashs info ou les évènements sportifs, ou encore dans le tourisme ou les secteurs de surveillance. Les partenaires étudient également la création de vidéos d'objectifs statiques et actifs selon différents angles en vue de créer des instructions pour les imprimantes 3D. Le modèle de serveur en nuage pourrait également être utilisé pour héberger d'autres applications, d'après les chercheurs. Mais ils se concentrent pour l'instant sur les amateurs de concerts.

«SCENENET s'articule sur les caméras mobiles et la vision 3D. L'invasion des caméras de téléphones mobiles et leur qualité constamment améliorée signifient que nous sommes submergés d'images à partager. De nombreux appareils capables de 'comprendre' les signaux visuels sont en cours de développement, notamment les lunettes GoogleGlass par exemple, ainsi la majorité des travaux se concentrent sur le traitement d'images et la vision par ordinateur. La vision 3D gagne en importance notamment dans la visualisation du monde d'une part, mais également pour une analyse simplifiée du monde d'autre part», commente la coordinatrice du projet.

SCENENET est une bonne illustration de la collaboration dans la recherche entre l'UE et Israël. Environ 1600 scientifiques israéliens ont bénéficié du 7e programme-cadre dans plus de 800 projets financés par l'UE à hauteur de 634 millions d'euros, dans des domaines s'étendant de la recherche d'avant-garde et sur les TIC, à la nanotechnologie, l'énergie et la santé.

«C'est une merveilleuse opportunité que de faire partie de communautés scientifiques et industrielles et de pouvoir collaborer avec des entreprises et des partenaires universitaires éminents d'Europe», commente Chen.

Le projet SCENENET a bénéficié d'un financement de la recherche au titre du septième programme-cadre (7e PC) de l'Union européenne.

Lien au projet sur CORDIS:

- le 7e PC sur CORDIS
- SCENENET sur CORDIS

Lien au site web du projet:

- Site web «SCENENET»

Autres liens:

- Site web de la stratégie numérique de la Commission européenne

- «Uncertainty principles versus localization properties»

- HORIZON 2020 - Future and Emerging Technologies