Toward deploying brain-computer interfaces to virtual reality for the general public
De la réalisation d'une interface cerveau-ordinateur pour une réalité virtuelle accessible au grand public
Résumé
In spite of ongoing developments in the conception of electroencephalographic (EEG) headsets and brain signal analysis, the actual use of an EEG-based brain-computer interfaces (BCI) is still restricted to research settings. On the other hand, BCI technology candidates as a good complement to virtual reality as it may diminish the distance between the user and his/her avatar. A BCI can accomplish this by circumventing the usual muscular pathway between the brain and the machine, thus enhancing the immersion feeling in VR applications. Moreover, a BCI provides valuable information on the mental state of the user, such as concentration and attention for the task at hand and for the virtual objects of interest. In this thesis, we study the coupling of BCI and VR technology, a human-machine interface that is potentially ubiquitous, in particular for gaming. We focus on the use of EEG-based BCI with occasional visual stimulation, i.e., BCIs based on the detection of the P300, a positive evoked potential appearing in the EEG 250 to 600 ms after the presentation of a stimulus. We investigate the use of such a BCI to interact with VR environments obtained using a mobile head-mounted display based on an ordinary smartphone, material suiting well the general public.The fusion of BCI technology with VR faces technical, experimental and conceptual limitations. Indeed, the integration of BCI with a mobile head-mounted display is technically burdensome and has not been fully validated. The factors impacting the performance of the BCI in VR remains still unknown. Also, unknown are the physiological characteristics of the brain responses to VR stimuli as compared to the same stimuli displayed on a PC screen. Finally, both BCI and VR technologies are limited, and these limitations sometimes appears contradictory. For example, the EEG is perturbed by the user’s movements while s/he is interacting with the virtual environment, but this movement may be an essential aspect of the VR experience. Thus, it is necessary to operate a synthesis of the existing design recommendations for BCI and VR technologies from the perspective of a mixed BCI+VR application.In this work, we presents three contributions: a technical implementation of a BCI+VR system, paving the way for a general public use; an analysis of its performance and an analysis of the physiological differences produced by VR stimuli as compared to the same stimuli on a PC by means of two experimental campaigns carried out on 33 subjects; a synthesis of the recommendations to adapt the application design to BCI and VR.
Malgré des développements récents dans la conception des casques électroencéphalographiques (EEG) et dans l'analyse du signal cérébrale, les interfaces cerveau-machine (ICM) sont toujours restreintes au contexte de la recherche scientifique. Toutefois, les ICM gagneraient à intégrer la réalité virtuelle (VR) car elles diminuent la distance entre l'utilisateur et son avatar en remplaçant les commandes mécaniques, et donc améliorent le sentiment d'immersion. De plus, les ICM fournissent également des informations sur l'état mental de l'utilisateur comme sa concentration, son attention ou ses points d'intérêts dans l'environnement virtuel. Dans cette thèse, nous étudions l'interaction entre ICM et VR, qui constituent une interface homme-machine dont les applications nous semblent prometteuses pour le grand public, particulièrement dans le domaine du divertissement. Nous nous concentrons sur l'utilisation d’une ICM basée sur l'EEG et sur une stimulation visuelle occasionnelle, autrement-dit une ICM basée sur la détection du P300, un potentiel évoqué positif apparaissant dans l’EEG 250 à 600 ms après l’apparition d’un stimulus. Nous étudions l’usage de cette ICM pour interagir avec un environnement simulé grâce à un casque de VR mobile utilisant un smartphone ordinaire, c’est-à-dire un matériel de VR approprié pour une utilisation grand public.Toutefois, l’intégration des ICM dans la VR pour le grand public rencontre aujourd’hui des défis d’ordre technique, expérimental et conceptuel. En effet, l’utilisation d’un matériel mobile pose des contraintes techniques considérables, et une telle technologie n’a pas encore fait l’objet d’une validation. Les facteurs influençant la performance des ICM en VR par rapport à une utilisation sur PC restent flous. Également, les caractéristiques physiologiques de la réponse du cerveau à des stimuli en VR par rapport aux mêmes stimuli présentés sous PC sont inconnues. Finalement, les ICM et la VR admettent des limites considérables, parfois incompatibles. Par exemple, l’utilisateur interagit avec la VR en bougeant, ce qui perturbe le signal EEG et diminue la performance de l’ICM. Il y a donc une nécessité d’adapter le design de l’application pour une technologie mixte ICM+VR.Dans ce travail, nous présentons une contribution dans chacun de ces domaines : une réalisation technique vers une ICM grand public en VR ; une analyse expérimentale de sa performance et une analyse des différences physiologies produites par des stimuli présentés dans un casque de VR par rapport aux mêmes stimuli sous PC - analyses menées à bien grâce à deux campagnes expérimentales portant sur 33 sujets ; une synthèse des recommandations pour un design adapté à la fois aux ICM et à la VR.
Origine : Version validée par le jury (STAR)
Loading...