Percol0 - un système multimodal de détection de personnes dans des documents vidéo (Percol0 - A multimodal person detection system in video documents) [in French]

Percol0-un système multimodal de détection de personnes dans des documents vidéo

Frédéric Béchet (1) , Rémi Auguste (2, 3, 4) , Stéphane Ayache (5) , Delphine Charlet (6) , Géraldine Damnati (7) , Beno\ⁱt Favre (8) , Corinne Fredouille (9) , Christophe Levy (9) , Georges Linarès (9) , Jean Martinet (2)

1 LIF - Laboratoire d'informatique Fondamentale de Marseille - UMR 6166
2 LIFL - FOX MIIRE
3 LIFL - Laboratoire d'Informatique Fondamentale de Lille
4 CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189
5 QARMA - éQuipe AppRentissage et MultimediA [Marseille]
6 FT R&D - France Télécom Recherche & Développement
7 FTR&D - France Télécom Recherche et Développement [Lannion]
8 TALEP - Traitement Automatique du Langage Ecrit et Parlé
9 LIA - Laboratoire Informatique d'Avignon

The goal of the PERCOL project is to participate to the REPERE multimodal evaluation program by building a consortium combining different scientific fields (audio, text and video) in order to perform person recognition in video documents. The two main scientific challenges we are addressing are firstly multimodal fusion algorithms for automatic person recognition in video broadcast ; and secondly the improvement of information extraction from speech and images thanks to a combine decoding using both modalities to reduce decoding ambiguities.

Identifier et nommer à chaque instant d'une vidéo l'ensemble des personnes présentes à l'image ou s'exprimant dans la bande son fait parti de ces nouveaux outils de fouille de données. D'un point de vue scientifique la reconnaissance de personnes dans des documents audiovisuels est un problème difficile à cause des différentes ambiguïtés que présentent l'audio, la vidéo et leur association. Nous présentons dans cette étude le système PERCOL0, développé dans le cadre du défi REPERE, permettant de détecter la présence de personnes (audible et/ou visuelle) dans des documents vidéo, sans utiliser de modèles de locuteurs a priori. ABSTRACT Percol0-A multimodal person detection system in video documents The goal of the PERCOL project is to participate to the REPERE multimodal evaluation program by building a consortium combining different scientific fields (audio, text and video) in order to perform person recognition in video documents. The two main scientific challenges we are addressing are firstly multimodal fusion algorithms for automatic person recognition in video broadcast ; and secondly the improvement of information extraction from speech and images thanks to a combine decoding using both modalities to reduce decoding ambiguities. MOTS-CLÉS : Reconnaissance Automatique de la Parole, Segmentation en locuteurs, reconnaissance de l'écriture, détection de visages.

Mots clés: Face Detection; Optic Character Recognition; Speaker diarization; Automatic speech reconnaissance

Mots clés: Détection de visages; Reconnaissance Automatique de la Parole; Segmentation en locuteurs; Reconnaissance de l’écriture

Domaines: Informatique et langage [cs.CL]

Frédéric Béchet, Rémi Auguste, Stéphane Ayache, Delphine Charlet, Géraldine Damnati, et al.. Percol0 - un système multimodal de détection de personnes dans des documents vidéo (Percol0 - A multimodal person detection system in video documents) [in French]. Actes de la conférence conjointe JEP-TALN-RECITAL 2012, volume 1: JEP, 2012, Grenoble, France. pp.553--560. ⟨hal-01194254⟩