LipTracker

    LipTracker - Suivi dynamique des mouvements de bouche pour Synchro labiale

    Ajouter article au devis

     

    LipTraker est un outil de mesure et d'analyse de synchronisation audio et vidéo de la parole avec le mouvement des lèvres. Il utilise le même principe que le cerveau humain qui analyse par comparaison les mouvements des lèvres par rapport aux paroles qui en sortent. Ce principe est adapté aux images vidéo par rapport aux sons diffusés.

    Le LipTracker améliore la productivité en remplaçant l'analyse subjective humaine par des résultats objectifs mesurés instantanément et directement tirés du programme diffusé. Cet outil de mesure de la synchro labiale est facile à utiliser, il fournit une analyse numérique visuelle sous forme de graphiques des décalages, un historique, un indicateur d'état et une liste des évènements.

    LipTracker garantit la qualité des programmes, il s'intègre parfaitement dans l'installation de nouveaux systèmes ou dans les opérations journalières.

    En mode standard il mesure des décalages de l'ordre de ± 5 images, en mode étendu de ± 20 images. Cette approche unique de l'analyse en temps réel de l'audio et de la vidéo évite l'insertion de points de repaire, de codes ou de watermark dans le flux du programme. Le contenu du programme reste intact, il permet à Liptraker d'être utilisé à tout moment dans la transmission.

    Selon le contenu du programme, les résultats peuvent être affichés dans les 4 secondes après qu'un visage ait été détecté. Ensuite, ils sont remis à jour tous les deux secondes jusqu'à disparition du visage ou qu'un nouveau visage soit de nouveau détecté. L'historique graphique montre les erreurs les plus récentes et les sauvegarde au fur et à mesure et cela scènes par scènes. Les limites acceptables d'erreur données sont présentées sous la forme d'un indicateur visuel. Définies au préalable par l'utilisateur, elles s'affichent de différentes couleurs selon leur acceptabilité vertes, jaunes ou rouge

    Détection des visages

    LipTracker cherche image après image l'apparition d'un visage dans le flux vidéo. Dès qu'il en détecte un, LipTracker exerce un suivi automatique et se verrouille sur lui, même pendant les mouvements de caméra et cela dans les limites de mouvements de tête normaux. La taille minimum du visage doit représenter entre le haut de la tête et le bas du menton un quart de la taille totale de l'image.

    Dans des scènes complexes à multiples visages, si LipTracker sélectionne un visage qui ne parle pas, l'utilisateur peut à la volée choisir à la souris, par simple double clic, le visage du speaker.

    Détermination des valeurs du " Mutual Events " (MuEvs) de Synchro labiale

    Les sons et la forme de la bouche qui les émet sont analysés quelque soit le langage utilisé. Lorsqu'un visage est détecté dans l'image, l'analyse de la localisation des lèvres supérieures et inférieures, la forme de la bouche et de ses mouvements génèrent une comparaison des synchros audio et vidéo labiales(MuEvs).

    LipTraker n'oblige pas une reconnaissance vocale préalable. L'entrée audio est normalisée et traitée par la technologie propriétaire de LipTracker qui génère un flux audio (MuEvs) synchrone et cela indépendamment de la voix du speaker.

    Les flux audio et vidéo synchrones sont analysés afin de déterminer le niveau d'erreur puis affichés à la volée sous forme graphique. Les silences qui se produisent naturellement au cours d'une élocution, vont servir de points de repère dans l'analyse suivante.

    Mémorisations des erreurs:


    Les résultats d'analyse peuvent être archivés scène par scène. Lorsque cette fonction de Logging est activée, les offsets de mesure son écrits dans un fichier HTML et / ou en .cvs Ces fichiers en extension .cvs peuvent être exportés vers d'autres applications pour d'autres analyses et statistiques.

    Pour chaque segment de programme analysé, la première image est sauvegardée avec le TC de début, les TC de chaque analyse et l'offset audio à ce point précis. L'horloge du système ou le TC VITC peuvent être choisis comme référence.

    Le Time Code LTC (longitudinal) peut aussi être enregistré dans les fichiers de rapport en le connectant au port série 9 broches de Lip Tracker.

    Multilingue – Indépendance de la langue utilisée.


    L'analyse de Liptracker utilisent un nombre de sons clés qui sont générés par les mêmes mouvements de bouches quelque soit le langage utilisé. On peut prendre comme exemples le EE anglais de Street ou le I de Paris, le son Ou ou OO qui en Anglais fait Moon et en espagnol fait fruta. L'analyse de LipTracker est indépendante des langages utilisés.

    Procédé de changement de scène

    Dans le mode normal, l'analyse est automatique dès la découverte d'un nouveau visage. Chaque nouveau visage détecté est supposé avoir une source audio différente du visage précédent. Pour les applications où des scènes consécutives sont connues pour avoir les mêmes offsets audio, le mode des changement de scène « continuous » peut être utilisé. Dans ce mode les synchro des flux audio et vidéo de scènes consécutives sont combinées afin de fournir une moyenne dans les résultats. Ce mode est aussi utilisé dans des scènes individuelles trop courtes pour générer une analyse.

    Offset des mesures

    Les mesures de décalages AV dans LipTracker peuvent être règlées ± 5 images avec des incréments de demi-images. Ces paramètres d'Offset sont utilisées lorsque le délai fixe est connu, qu'il soit vidéo ou audio. Par exemple on connait le délai de traitement d'un downconverter vidéo HD vers SD, ou celui d'un processeur audio digital. En donnant l'offset approprié au Liptracker, on garantit un mode opérationnel situé au centre des valeurs de mesure.

    Etude du temps de réponse

    Le LipTracker fournit deux modes de temps de réponse des mesures: Normal et fast (rapide). Le mode Normal est destiné à la plupart des applications lorsque l'offset audio ne change pas significativement durant la durée de la mesure. Le mode fast sera utilisé lorsque l'offset audio change fréquemment pendant l'intervention d'un seul speaker dans une même scène.

    Caractéristiques :

    • Analyse instantanée de la synchro labiale jusquà 20 images par comparaison de la vidéo et de l'audio associée « Mutual Events » (MuEvs)
    • ultilingue. N'est pas lié au langage ni à la langue utilisée.
    • Affichage instantané des erreurs de synchro labial sous la forme de graphiques
    • Premiers résultats en 4 secondes avec remise à jour toutes les deux secondes.
    • Les paramètres de mesure sont utilisés pour corriger les délais par rapport à des données de tolérance fixées au préalable.
    • Détection automatique de visage avec possibilité de pointage manuel simultané dans le cas de multiple visages.
    • L'indicateur d'état des paramètres audio donne une alarme visuelle des tolérances définies préalablement.
    • L'historique des erreurs affiche les plus récentes d'abord
    • Archivage de l'analyse scène par scène
    • Vidéo SD ou HD SDI avec audio AES-3id ou embedded dans le flux SDI
    • Sorties de monitoring vidéo Digital et analogique.


    Spécifications:

    Chaque LipTracker est livré en un rack 1U, 19 pouces d'électronique, une souris et un clavier. Un écran graphique XGA de visualisation est fournit par le distributeur local afin que le système soit complet.

    Entrées-sorties digitales

    Video Input (SD mode): Standard Definition SDI video (SMPTE 259M-C)
    Input Formats (SD mode): 480i59.94, 576i50
    Video Input (HD mode): High Definition SDI video (SMPTE 292M-C)
    Input Formats (HD mode): 720p59.94, 720p50, 1080i59.94, 1080i50
    Input Connector: BNC (75) - rear of LipTrackerTM frame


    Audio Input: AES-3id unbalanced digital audio (SMPTE 276M)
    Input Format: 1 AES pair
    Input Connector: BNC (75) - breakout cable
    Embedded Audio: L'audio analysé est de-embedded du SDI en interne


    Video Monitoring Outputs: 2 copies of the SDI video input
    Output Connector: 2x BNC (75) - rear of LipTrackertm frame
    Audio Monitoring Output: 1 copy of the AES-3id audio input
    Output Connector: BNC (75) - breakout cable


    Analog Monitoring Output
    Video Output: Selectable between:
    Composite NTSC ou PAL;
    YC NTSC ou PAL;
    Y, R-Y, B-Y (BetacamTM ou SMPTE)


    Output Connectors: 3 x BNC (75) - breakout cable
    Audio Output: 1 balanced stereo pair
    Output Connectors: 2 x XLR - breakout cable


    Entrée LTC

    Le TC Longitudinal peut être utilisé comme référence de logging. Un convertisseur externe sera nécessaire pour convertir le TC en Sony Serial (RS-422).
    Connecteur: 9 pin D - breakout cable

    Connexions arrière optionnelles:

    Le câble éclaté de sortie peut-être remplacé par une façade arrière 1U munie de connecteurs

    LipTrackerTM and Pixel Instruments are trademarks of Pixel Instruments Corporation. Sony and Betacam are trademarks of Sony Corporation.

    Features and specifications subject to change without notice. U.S. Patent Applications 20040227856, 20070153125, 20070153089 and other patents applied for.