Identification de personnes dans des flux multimédia - Aix-Marseille Université Accéder directement au contenu
Communication Dans Un Congrès Année : 2015

Identification de personnes dans des flux multimédia

Benjamin Bigot
  • Fonction : Auteur
  • PersonId : 942554
Richard Dufour
Corinne Fredouille
Georges Linarès
Jean Martinet
Gregory Senay
  • Fonction : Auteur
  • PersonId : 942555

Résumé

This paper describes a multi-modal person recognition system for video broadcast developed for participating to the REPERE challenge, that was organized jointly by the DGA and the ANR (French Research National Agency). The main track of this challenge targets the identification of all persons occurring in a video either. The main scientific issue addressed by this challenge is the combination of audio and video information extraction processes for improving the extraction performance in both modalities. In this paper, we present a strategy for speaker identification based on enriching the speaker diarization by features related to the ”understanding” of the video scenes: text overlay transcription and analysis, automatic situation identification (TV set, report), the amount of people visible, TV set disposition and even the camera when available. Experiments on the REPERE corpus show interest of the proposed approach.
Cet article présente un système d’identification de personnes dans des flux multimédia. Ce système a été engagé dans le défi REPERE, co-organisé par l’ANR et la DGA et qui s’est terminé en 2014. La tâche principale du défi consistait à identifier des individus apparaissant dans au moins une des modalités portées par la vidéo, qu’il s’agisse de locuteurs audibles ou de visages visibles à l’écran. Un des verrous scientifiques majeurs de cette tâche est lié à la combinaison des modalités audio et vidéo. Cet article présente une stratégie pour la reconnaissance des personnes basée sur une identification du locuteur reposant sur des descripteurs de haut niveau, modélisant différents aspects de la scène filmée : la transcription et l’analyse des textes incrustés, l’identification du type de la scène filmée (reportage, plateau, ...), le nombre de personnes présentes, la disposition des caméras... Nos expériences sur le corpus REPERE montrent l’intérêt de l’approche proposée.
Fichier non déposé

Dates et versions

hal-01194234 , version 1 (05-09-2015)

Identifiants

  • HAL Id : hal-01194234 , version 1

Citer

Frédéric Béchet, Meriem Bendris, Delphine Charlet, Géraldine Damnati, Benoit Favre, et al.. Identification de personnes dans des flux multimédia. CORIA 2015 - Conférence en Recherche d'Infomations et Applications - 12th French Information Retrieval Conference, Mar 2015, PARIS, France. pp.239-251. ⟨hal-01194234⟩
326 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More