Skip to Main content Skip to Navigation
Conference papers

Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples

Résumé : Les méthodes actuelles pour la détection d’évènements, qui s’appuient essentiellement sur l’apprentissage supervisé profond, s’avèrent très coûteuses en données annotées. Parmi les approches pour l’apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l’utilisation de l’encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d’un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l’état de l’art pour cette tâche en anglais.
Document type :
Conference papers
Complete list of metadata

https://hal.archives-ouvertes.fr/hal-03701491
Contributor : Yannick Parmentier Connect in order to contact the contributor
Submitted on : Friday, June 24, 2022 - 4:41:36 PM
Last modification on : Thursday, July 7, 2022 - 5:41:51 AM
Long-term archiving on: : Sunday, September 25, 2022 - 9:35:12 PM

File

3792.pdf
Publisher files allowed on an open archive

Identifiers

  • HAL Id : hal-03701491, version 1

Citation

Aboubacar Tuo, Romaric Besançon, Olivier Ferret, Julien Tourille. Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples. Traitement Automatique des Langues Naturelles, 2022, Avignon, France. pp.392-402. ⟨hal-03701491⟩

Share

Metrics

Record views

23

Files downloads

21