Skip to Main content Skip to Navigation
Conference papers

Un jeu de données pour répondre à des questions visuelles à propos d’entités nommées en utilisant des bases de connaissances

Résumé : Dans le contexte général des traitements multimodaux, nous nous intéressons à la tâche de réponse à des questions visuelles à propos d’entités nommées en utilisant des bases de connaissances (KVQAE). Nous mettons à disposition ViQuAE, un nouveau jeu de données de 3 700 questions associées à des images, annoté à l’aide d’une méthode semi-automatique. C’est le premier jeu de données de KVQAE comprenant des types d’entités variés associé à une base de connaissances composée d’1,5 million d’articles Wikipédia, incluant textes et images. Nous proposons également un modèle de référence de KVQAE en deux étapes : recherche d’information puis extraction des réponses. Les résultats de nos expériences démontrent empiriquement la difficulté de la tâche et ouvrent la voie à une meilleure représentation multimodale des entités nommées.
Document type :
Conference papers
Complete list of metadata

https://hal.archives-ouvertes.fr/hal-03701521
Contributor : Yannick Parmentier Connect in order to contact the contributor
Submitted on : Friday, June 24, 2022 - 4:42:49 PM
Last modification on : Tuesday, September 6, 2022 - 3:51:00 AM
Long-term archiving on: : Sunday, September 25, 2022 - 9:39:19 PM

File

968.pdf
Publisher files allowed on an open archive

Identifiers

  • HAL Id : hal-03701521, version 1

Citation

Paul Lerner, Olivier Ferret, Camille Guinaudeau, Hervé Le Borgne, Romaric Besançon, et al.. Un jeu de données pour répondre à des questions visuelles à propos d’entités nommées en utilisant des bases de connaissances. Traitement Automatique des Langues Naturelles (TALN 2022), Jun 2022, Avignon, France. pp.434-444. ⟨hal-03701521⟩

Share

Metrics

Record views

26

Files downloads

6