A neuro-interactive film - research project (start-up) and experiment

Emotive VR

Media & image
Research

Emotive VR is an art/science project (lS2N/ESBA TALM). Its artistic goal is to create new  narrative forms by exploring the potential of 360° virtual reality and the emotional response of the spectator as data on interaction with the film. Its scientific goal is to measure the spectator’s virtual reality experience using a prototype of a neuro-interactive film with two innovative functions (immersion of two viewpoints within an omni-directional film in virtual reality, and the use of EEG sensors to analyse the spectator’s emotions).

About the project

The focus of this arts and sciences project is on developing a prototype of a neuro-interactive film with two innovative functions: immersion in an omni-directional virtual reality film and the use of EEG sensors to assess the spectator’s experience. For the experiment, spectators can choose to experience a pilot sequence from the film Freud’s Last Hypnosis by Marie-Laure Cazin from two different viewpoints – Freud’s or his patient’s. EEG sensors enable viewers to interact implicitly with the sequence according to their emotional state. The research aspect of the project studies the use of physiological data to assess the virtual reality experience. It investigates the role that viewpoints, immersion and implicit interactions play in the user experience, and the aesthetic challenges arising from these new forms of cinema.

Filming of the pilot neuro-interactive film Freud’s Last Hypnosis by

Marie-Laure Cazin (February 2018)

Photographs : (c) Jérôme Fihey

Methodology

This arts/sciences project has relevance for the world of research and will also develop new tools to address artistic challenges. By combining disciplines, the emotional virtual reality film prototype created will serve as an experimental platform with a scientific focus on analysing brain activity data and an artistic focus on trialling new forms of film production.

Schedule

Phase 1: creation of pilot film sequence Freud’s Last Hypnosis Marie-Laure Cazin

Phase 2: creation of initial prototype of a neuro-interactive VR film

Phase 3: study and assessment of the subjective experience of 360° videos viewed in a head mounted display, based on physiological data (Masters 2 research stage)

Phase 4: design of audiovisual feedbacks for invisible and implicit interaction within the film (ideation/experimental stage Beaux-Arts or Design)

Prospects

The experiments completed, data collected and results obtained could be used to support national and international project bids for funding to study experience in immersive and interactive systems and methodologies for evaluating these experiences. This start-up project is part of a more extensive project which aims to develop the concept of emotive virtual reality cinema using memory activation as implicit interactive data. Joint projects with neurosciences laboratories could be considered. Support from the Crabe Fantôme production company will make it possible to create a more polished interactive VR-EEG film for national and international distribution.

Contacts

Toinon Vigier, LS2N, Université de Nantes – toinon.vigier@univ-nantes.fr

Marie-Laure Cazin, ESBA-TALM – mlcazin@esba-lemans.fr

Matthieu Perreira Da Silva, LS2N – Université de Nantes, matthieu.perreiradasilva@univ-nantes.fr

Patrick Le Callet, LS2N – Université de Nantes, patrick.lecallet@univ-nantes.fr

 

Top photo : (c)Jérôme Fihey

Actors

Share on
Un film neuro-interactif - Projet de recherche (amorçage) et expérimentation

Emotive VR

Médias et image
Search

Le projet art-science Emotive VR (ls2n/ESBA TALM) a pour enjeu artistique de créer des formes narratives nouvelles, en explorant les possibilités de la réalité Virtuelle 360° et le ressenti émotionnel du spectateur comme donnée d’interaction avec le film. En parallèle, l’enjeu scientifique est de mesurer l’expérience vécue du spectateur en réalité virtuelle grâce au prototypage d’un film neuro-interactif avec deux modalités innovantes (immersion de deux points de vue situés dans un film omnidirectionnel en réalité virtuelle, couplée avec l’utilisation de capteurs EEG pour l’analyse de l’émotion du spectateur).

Présentation

Ce projet art-science a pour enjeu le prototypage d’un film neuro-interactif combinant deux modalités innovantes : l’immersion dans un film omnidirectionnel en réalité virtuelle et l’utilisation de capteurs EEG pour mesurer l’expérience vécue du spectateur. Du point de vue de l’expérimentation, la réalisation d’une séquence pilote du film Freud, la dernière hypnose par Marie-Laure Cazin permettra aux spectateurs d’incarner deux points de vue différents : celui de Freud et de son patient. Les capteurs EEG permettront une interaction implicite des spectateurs en fonction de leur activation émotionnelle. Du point de vue de la recherche, ce projet adresse la question de la mesure de l’expérience en réalité virtuelle à partir de données physiologiques. Il s’intéresse à la question du point de vue, de l’immersion et des interactions implicites sur l’expérience de l’utilisateur, ainsi qu’aux enjeux esthétiques qu’ouvrent ces nouvelles formes cinématographiques.

Tournage du film pilote neuro-interactif Freud, la dernière hypnose par

Marie-Laure Cazin (février 2018)

Photographies : (c)Jérôme Fihey

Méthodologie

Ce projet art-science initie une double dynamique dans laquelle il servira les enjeux de recherche, tout en permettant de développer de nouveaux outils pour les enjeux artistiques. En confrontant les disciplines, la réalisation du prototype de cinéma émotif VR servira à la fois de plateforme expérimentale à visée scientifique pour l’analyse des données d’activités cérébrales, et à visée artistique pour expérimenter de nouvelles formes d’écriture cinématographique.

Calendrier

Phase 1 : réalisation de la séquence pilote “Freud, la dernière hypnose” par Marie-Laure Cazin

Phase 2 : réalisation d’un premier prototype de cinéma VR neuro-interactif

Phase 3 : étude et mesure de l’expérience subjective dans les vidéos 360 visionnées dans un casque à partir de données physiologiques (stage recherche Master 2)

Phase 4 : conception de feedbacks audiovisuels pour les interactions invisibles et implicites au cinéma (stage idéation/expérimentation Beaux-Arts ou Design)

Perspectives

L’ensemble des expérimentations réalisées, ainsi que les données recueillies et les résultats obtenus pourront étayer des réponses à des appels à projets nationaux et internationaux sur l’étude de l’expérience dans des systèmes immersifs et interactifs et les méthodologies liées à la mesure de celle-ci. Ce projet d’amorçage est inclus dans un projet de plus grande envergure qui souhaite développer le concept de cinéma émotif à la réalité virtuelle et à la prise en compte de l’activation mémorielle comme donnée d’interaction implicite. Des collaborations avec des laboratoires en neurosciences pourront être envisagées. L’accompagnement de la société de production le Crabe fantôme permettra la réalisation d’un film VR-EEG interactif plus abouti et sa diffusion nationale et internationale.

Contacts

Toinon Vigier, LS2N, Université de Nantes – toinon.vigier@univ-nantes.fr

Marie-Laure Cazin, ESBA-TALM – mlcazin@esba-lemans.fr

Matthieu Perreira Da Silva, LS2N – Université de Nantes, matthieu.perreiradasilva@univ-nantes.fr

Patrick Le Callet, LS2N – Université de Nantes, patrick.lecallet@univ-nantes.fr

 

Photographie haut de page : (c)Jérôme Fihey

Actors

Share on