A comparison of mobile VR display running on an ordinary smartphone with standard PC display for P300-BCI stimulus presentation

Comparaison d'une interface cerveau-machine basée sur le P300 entre un dispositif de VR mobile et un écran de PC standard

Grégoire Cattan (1, 2) , Anton Andreev (3) , Cesar Mendoza (1) , Marco Congedo (2)

1 IHMTEK [Vienne, France]
2 GIPSA-VIBS - GIPSA - Vision and Brain Signal Processing
3 GIPSA-Services - GIPSA-Services

A brain-computer interface (BCI) based on electroencephalography (EEG) is a promising technology for enhancing virtual reality (VR) applications-in particular, for gaming. We focus on the so-called P300-BCI, a stable and accurate BCI paradigm relying on the recognition of a positive event-related potential (ERP) occurring in the EEG about 300 ms post-stimulation. We implemented a basic version of such a BCI displayed on an ordinary and affordable smartphone-based head-mounted VR device: that is, a mobile and passive VR system (with no electronic components beyond the smartphone). The mobile phone performed the stimuli presentation, EEG synchronization (tagging) and feedback display. We compared the ERPs and the accuracy of the BCI on the VR device with a traditional BCI running on a personal computer (PC). We also evaluated the impact of subjective factors on the accuracy. The study was within-subjects, with 21 participants and one session in each modality. No significant difference in BCI accuracy was found between the PC and VR systems, although the P200 ERP was significantly wider and larger in the VR system as compared to the PC system.

Les interfaces cerveau-machine (ICM) basées sur l'électroencéphalographie (EEG) constituent une technologie prometteuse pour améliorer l'expérience de réalité virtuelle (VR) - notamment en ce qui concerne les jeux vidéos. Nous nous intéressons en particulier aux ICM basées sur le P300, un paradigme précis et stable qui repose sur la reconnaissance d'un potentiel évoqué positif apparaissant dans l'EEG environ 300 ms après stimulation. Nous avons implémenté une version basique de cette BCI sur un casque de réalité virtuelle qui utilise un smartphone ordinaire et abordable - en fait, un dispositif VR mobile et passif (sans électronique embarquée à l'exception du smartphone). Le téléphone mobile était responsable de la stimulation, de la synchronisation EEG (tagging) et du retour utilisateur. Nous avons comparé les potentiels évoqués et la performance de la BCI en VR par rapport à une BCI traditionnelle sur PC. Nous avons évalué l'impact des facteurs subjectifs sur la performance. L'étude était intrasujet et comportait 21 participants exécutant chacun une session dans chaque modalité. Nous n'avons pas trouvé de différence significative entre la performance de la BCI sur PC et en VR, bien que le potentiel évoqué P200 soit significativement plus large avec le dispositif VR qu'en utilisant le PC.

Mots clés: Virtual Reality VR; Brain-Computer Interfaces BCI; Head-Mounted Devices HMD; P300; Electroencephalograhy EEG; Gaming; Game; Event-related potential ERP; Casque de réalité virtuelle

Mots clés: Réalité Virtuelle RV; Interface Cerveau-Machine ICM; Interface Cerveau-Ordinateur ICO; Casque de Réalité Virtuelle Passif; P300; Electroencéphalographie EEG; Jeu vidéo; Potentiel évoqué

Domaines: Sciences cognitives; Neurosciences; Informatique; Synthèse d'image et réalité virtuelle [cs.GR]; Systèmes embarqués

Grégoire Cattan, Anton Andreev, Cesar Mendoza, Marco Congedo. A comparison of mobile VR display running on an ordinary smartphone with standard PC display for P300-BCI stimulus presentation. IEEE Transactions on Games, 2021, 13 (1), pp.68-77. ⟨10.1109/TG.2019.2957963⟩. ⟨hal-02464023⟩