Sudio Virtuel

Comprendre les studios virtuels by RT Software

Généralités

• Techniques de Chromakey
  
• Studio virtuel avec une caméra statique
  
• Studio Virtuel avec tête équipée de retour d'infos PTZ
  
• Liberté totale de mouvement dans un studio virtuel
  
• Réalité augmentée
  
• Considérations importantes
  
• Considérations audio autres
  

Les objectifs de ce guide:

Fournir les explications à ceux qui voudraient s'équiper d'un studio virtuel, les réalités techniques et les solutions qui sont disponibles sur le marché.
Introductions à la famille de produits et les techniques proposées par RT Software.
Exploration en détails et considérations à prendre en compte pour obtenir les avantages proposés dans le choix d'une des solutions de RT Software.

Introduction dans le monde des studios de réalité virtuelle

Un studio virtuel est un environnement synthétique en 3 Dimensions généré par un ordinateur.
C'est une extension du chromakey traditionnel qui remplace les fonds bleus ou verts d'incrustation par un autre fond provenant du studio virtuel. Pour un effet réaliste, ce dernier devra adapter les mouvements de caméra virtuelle à chaque changement de perspective et de focale de la caméra réelle du studio.
Essentiellement, tous les mouvements et les changements optiques de la caméra de studio sont répliqués simultanément par la caméra virtuelle dans l'espace tridimensionnel de la scène synthétique. La caméra de studio fournissant l'incrustation, l'ordinateur créant le décor artificiel pour remplacer le fond (vert ou bleu) qui a permis l'incrustation.
Pour créer un studio virtuel il y a des impératifs techniques que tout le monde utilise:
Ecran bleu/vert
Les écrans de couleurs bleues ou vertes fournissent la saturation colorimétrique correcte qui permettra leur transparence et leur remplacement par des images vidéo dans le but d'incruster des personnages, des scènes, des objets qui ne possèdent pas cette couleur d incrustation (bleue ou verte).

Suivi de caméra (Tracking) et senseurs hardware

Le tracking de caméra utilise des mesures optiques ou mécaniques pour créer un flux de données décrivant la position et la perspective exactes de la caméra.

Logiciel de rendu en temps réel

De tels logiciels utilisent les données des suivis de caméras afin de générer synthétiquement dans l'espace tridimensionnel du décor virtuel les mouvements réalistes nécessaires à l'homothétie de la scène.

Mélangeur vidéo

Un mélangeur vidéo et/ou un chromakeyer combinent les images de la caméra avec celles de la vidéo du logiciel de rendu en temps réel afin de produire une sortie vidéo composée unique.
L'énorme différence entre le studio virtuel et les écrans bleus utilisés dans le cinéma c'est le traitement en temps réel qui enlève les opérations de post-production cinématographique et qui permet l'utilisation flexible du studio virtuel en direct pour la télévision broadcast.


Il y a différentes approches de studios virtuels. Le présent document les présente dans l'ordre de coût et de complexité, éclairant les bénéfices de chaque approche que RT Software peut apporter.
Une approche sur les différentes options qui permettent d'étendre votre expérience en terme de studio virtuel et les considérations à prendre en compte avant de s'embarquer dans un projet.


Les solutions de studios virtuels par RT Software bénéficient toutes du moteur de rendus tOG, c'est le cœur de tous les logiciels de la marque.

Studio virtuel avec caméra statique et Bill-boarding

Avec une caméra statique il n'y a pas de mouvement potentiel possible, mais il y a une technique, bien connue, utilisée pour créer et introduire des mouvements par manipulation d'une caméra virtuelle:

Technique de bill-boarding ou d'à plat

Le Bill-boarding crée une illusion de liberté des mouvements de caméra il nécessite seulement les mêmes réglages hardware qu'un studio virtuel pour caméra statique.
Les effets sont réalisés en amenant la vidéo de l'incrustation du présentateur « à plat » sur le décor synthétique . La caméra virtuelle de tOG peut être animée de manière à recréer l'illusion de mouvements de caméra.
Pour le téléspectateur, la caméra est bien mobile mais en regardant bien, l'inspection révèle les limitations, le présentateur est toujours perpendiculaire à la caméra.
Avec la bonne direction, les bons décors graphiques et les bons mouvements, la caméra virtuelle se déplace bien dans l'espace et cela pour une illusion quasi parfaite, sans équipements de studio sophistiqués. C'est une solution pour les petits budgets.

Têtes robotisées Pan, Tilt, Zoom (PTZ)

C'est la même approche que celle de la caméra statique vue précédemment mais avec une tête qui fournit les infos de positions PTZ de la caméra. Ces données sont envoyées au système graphique tridimensionnel pour que l'ordinateur génère les mouvements synchrones du décor de fond. tOG-3D sait réaliser cette opération.
A l'instar du Bill-boarding, c'est un avantage majeur qui permet au téléspectateur de bénéficier de mouvements de caméras avec de vraies perspectives, des zooms qui respectent la qualité et qui acceptent les angles larges de prises de vue. Cette solution a un coût additionnel pour les têtes PTZ d'environ 10K€.


Calibration optique

Lorsque les studios virtuels permettent la prises en compte des zooms et des focus variables des optiques de prises de vue, il est nécessaire d'obtenir les informations fournies par les optiques. Ce sont les fichiers des maping des imperfections des optiques qui seront fournis au PC pour des rendus réalistes. Sans les bons fichiers des optiques, le vrai présentateur et le décor virtuel semblent, pendants les mouvements de caméra, bouger comme s'ils étaient dépendant l'un de l'autre, cet effet connu se nomme le Swimming.

Il y a quelques années obtenir les fichiers relatifs aux optiques requerraient des coûts de spécialistes supplémentaires qui nécessitaient l'envoi des optiques en atelier. TOG inclut une procédure simplifiée qui permet de le faire par le technicien sur place et dans le studio.
Avec tOG, la calibration des optiques est une procédure qui ne doit être faite qu'une seule fois pour chaque optique et chaque caméra. Ces infos sont mises en mémoire et peuvent être rappelées simplement pour chaque caméra et pour chaque optique.

Studios virtuels avec liberté de mouvements totale

C'est un supplément aux mouvements de caméra en PTZ qui est encore plus performant. Il dépend de la technologie de suivi déployée qui doit inclure les trackings; et le pedestal des caméras, il permet même d'y inclure des caméras portées. TOG 3D permet la liberté totale des mouvements.

Cette approche est la plus performante de toutes les solutions de studio virtuel, elle fournit des perspectives et des mouvements réalistes. Mais en terme de coût, les équipements de caméra tracking viennent s'ajouter à la station virtuelle.

Nos recommandations

Les partenaires pour les technologies de tracking sont:

• Blue-i Fournisseur d'un sytème de pedestal tracking
  
• MoSys Fournisseur de têtes robotisées PTZ
  
• Vinten fournisseur de têtes PTZ et de systèmes de pedestal tracking
  

Réalité augmentée et MixTV

La réalité augmentée consiste à introduire un élément graphique complexe dans une scène réelle.

L'élément graphique peut-être animé, il peut être remplacé par une source vidéo. Pour réaliser cet effet il faut respecter la règle qui implique d'avoir un PC par caméra.
RT Software propose sa solution de réalité augmentée facile à déployer et attractive en prix.

TOG Mix

tOG Mix est un système qui permet l'incrustation avec suivi d'un dossier de couleur dans une image réelle. Pour réaliser cet effet, il utilise la reconnaissance vidéo pour réaliser le tracking et placer en incrustation l'objet virtuel composé par l'ordinateur. Les résultats peuvent être étonnants car le présentateur peut par exemple sembler tenir ce dossier, le manipuler, l'ouvrir comme un vrai livre qui, une fois ouvert, révèle des animations 3D par exemple.
Une attention particulière doit être prise, car l'objet virtuel (le dossier) qui est suivi électroniquement doit toujours rester dans le champ éclairé de la prise de vue et ne pas passer dans une zone d'ombre.
Cette technologie dont on vient de voir les limitations doit être utilisée en toute connaissance de cause.

Considérations Importantes

Chhromakeyer

Le chromakeyer fait partie intégrante du studio virtuel. En général c'est un outil hardware externe qui le réalise.

Les solutions de Studio Virtuel de tOG utilisent un chromakeyer software intégré qui n'a rien à envier aux solutions hardware classiques. Non seulement il est beaucoup moins cher mais en plus il bénéficie d'une meilleure gestion des retards dus au traitements audio et vidéo.

L'éclairage

En studio virtuel, l'éclairage est crucial surtout lorsqu'il s'agit de chromakey. Les deux sont liés car il ne peut y avoir bon chromakey sans une lumière constante autour du sujet.

Le delai vidéo

La durée de traitement d'un studio virtuel doit être prise en considération. Elle est principalement générée par le PC .
Il y a un choix entre les sorties SDI générées par la carte nVidia GPU et les sorties de la carte DVS qui sont couramment utilisées avec tOG.
Il y a 2 images de retard avec la nVidia, il y en a 4 avec la DVS.
Si le chromakeyer est externe alors la vidéo du présentateur incrusté devra être retardée d'autant d'images, 2 ou 4 selon la carte choisie. Le même délai devra être ajouté à l'audio aussi.
Lorsque le chromakeyer est géré par tOG en interne, l'audio est retardé du même montant d'images que celui de la durée du traitement. Le résultat escompté est au rendez vous avec la vidéo du présentateur incrusté synchrone avec son audio.

MixTV- Génère le même délai de traitement que celui précédemment énoncé.

La vidéo dans un studio virtuel

Un flux vidéo dans tOG est considéré comme une texture, il peut être utilisé pour des effets graphiques. La vidéo peut être intégrée dans un studio virtuel mais elle peut être aussi appliquée sur un objet animé, sur un globe qui tourne et qui explose par exemple. TOG offre deux solutions pour utiliser des flux vidéo: tOG peut accepter en live deux entrées vidéo live SDI (selon les options hardware de la carte DVS) et selon la résolution une multitude de flux mpeg qui pourront être affichés simultanément.

Les affichages en incrustation

tOG peut afficher simultanément des textes et des tickers sur le foreground du studio virtuel. Par contre nous conseillons d'utiliser un autre ordinateur pour gérer ces affichages. Nous offrons avec chaque studio virtuel un tOGLite qui est la version « lowcost » de tOG Pro.
Il utilise la même interface ce qui évite des formations supplémentaires pour les graphistes.

Audio et autres considérations

Audio

Effets sonores - les sons qui accompagnent le studio virtuel peuvent être générés par le PC de rendering ou via le PC de contrôle général de 3 manières:

• En utilisant l'entrée audio de la carte mère du PC
  
• En utilisant une carte audio professionnelle avec des connexions XLR
  
• Un évolution logicielle permettra d'utiliser les options audio des cartes DVS
  

Les effets sonores peuvent être contrôlés par GPI. Le PC de rendering ou le PC Master peuvent utiliser les sorties GPI de la carte DVS ou utiliser une carte optionnelle de GPIs. Le signal de GPI peut être programmé dans le graphique. Pendant la lecture, à un point donné à l'avance, il peut déclencher un système externe.

L'audio de la vidéo externe passe au travers si le flux de streaming est SDI ou en utilisant la carte audio du PC lorsque les flux sont mpeg.
Si le chromakey software de tOG est utilisé, alors le studio audio peut passer au travers avec la vidéo sans avoir à utiliser de délai externe. Il n'y a pas d'audio mixer dans tOG, cela signifie que tout effet sonore devra être traité d'une manière externe.(A noter qu'il n'y a pas de transparence audio avec les cartes de sorties SDI gpu)
Délais – Lorsque le chromakeyer est externe il faudra penser à retarder l'audio du même nombre d'images que la vidéo.

Création et implémentation

tOG accepte l'import d'objets en 3D avec la technologie FBX de Autodesk. FBX est la solution universelle pour les échanges de données en 3D, indépendante des plateformes et utilisée par tous. Les options d'importations de FBX permettent la totale liberté aux graphistes dans leur conceptualisation, leur visualisation et le choix dans leur workflkow en leur donnant la liberté d'utiliser leurs outils de création préférés comme Maya, 3D studio Max, Lightwave ou Cinema 4D. Ils peuvent ainsi créer des chefs d'œuvre et simplement les transférer en export vers l'environnement temps réel de tOG 3D. Les options d'import FBX prennent en compte les embedded multi sub-object materials, les infos de position, celles d'échelles, scale, les transformations d'objets animés, les déplacements de caméras et les éclairages.
TOG accepte la majorité des formats d'image en importation comme les tif, tga, jpg, mov, avi, bmp, png, bitmaps qui pourront être utilisés en backgrounds, cycles, en écran de télé virtuel et textures d'images et d'objets 3D.

Les fonctionnalités d'animation évoluées de tOG permettent d'interagir sur chaque keyframe de n'importe quel des paramètres d'un objet de la matière à la couleur, de la transformation sur tous les axes aux paramètres de duplication qui forment les ensembles. (array). Les timeline de tOG fournissent aux graphistes toute la flexibilité demandée par les plus exigeants, les plus méticuleux avec des capacités de contrôle total des courbes, des cycles externes via des scripts en langage de programmation simplifiée Ruby.

L'ensemble des fonctionnalités est en temps réel, la lecture des timelines ne nécessite pas de temps de rendu, il suffit de pousser le curseur pour naviguer dans un effet, pour modifier un réglage spécifique, pour effectuer un déplacement dans l'espace ou retoucher précisément les propriétés de la matière.

Récapitulatifs et Conclusions

Dans ce document, nous avons présenté une introduction aux mondes des studios virtuels et les avantages que peuvent apporter l'ensemble des logiciels de la famille tOG de RT software.


Les différentes approches aux studios virtuels...
Nous avons commencé par les systèmes les plus simples les studios virtuels basés sur le chromakey. La technologie, à coût adapté, utilisée dans tOG VR est largement supérieure à la compétition, elle préserve la qualité et évite des dépenses démesurées.


L'étape suivante consiste en une caméra virtuelle fixe pour un résultat bien plus réaliste. tOG VR étend les capacités de Bill-Boarding en faisant croire que la prise de vue est effectuée dans un grand studio à l'aide d'une Luma attendu que la prise de vue est fixe dans un studio ridiculement petit.
Le Bill-Boarding peut générer de la pixelisation dans les images à cause du zoom virtuel et le présentateur peut être déformé si les mouvements de caméras sont trop importants.


Les deux méthodes peuvent être réalisées simplement avec les logiciels tOG VR. Les deux autres solutions, bien plus évoluées en terme de logiciels induisent des investissements matériels couteux, les résultats visuels sont exceptionnels.


La première de ces approches utilise les têtes PTZ (Pan, Tilt, Zoom) qui informe le logiciel tOG des informations PTZ d'une caméra dont la position est fixe.
La solution « haut de gamme » consiste en un studio virtuel avec une liberté totale des mouvements. Cette solution possède la même approche technologique que la précédente mais en utilisant des retours d'information des systèmes motorisées utilisés: luma, tracking, pieds robotisés. Cette solution doit intégrer les technologies de tracking de fournisseurs tiers pour offrir le meilleur studio de réalité virtuel du marché.

Quels sont les avantages de tOG VR?

Nous savons de nos tests et par les retours de nos clients que tOG permet facilement de contrôler un studio virtuel complexe.
La faculté d'importer directement dans tOG des scènes élaborées dans StudioMax ou Maya et de pouvoir les utiliser sans modifications et sans avoir à les simplifier est un élément majeur dans l'utilisation des décors virtuels.
En plus, la compatibilité pour des créations graphiques évoluées par custom shaders externes comme Mental Mill, permet l'ajout d'effets spéciaux comme la vision au travers d'un verre « cathédrale » ou d'un verre ruisselant, apportant un autre niveau de réalisme aux téléspectateurs.
Il est aussi possible d'ajouter des techniques d'environnement ou d'à plat pour ajouter des réflexions pour toujours augmenter le réalisme.

Les systèmes sont installés dans des PC dont on connait les faibles coûts. L'approche IT facilite l'intégration avec des stations distantes pour des résultats d'élections, l'organisation de jeux télévisés, ou tout simplement pour être contrôler par des systèmes tiers.

Conclusion

Quelque soit votre désir d'acquisition d'un studio de réalité virtuelle, RT Software répond à la demande et sait vous aider dans l'implémentation de la meilleure solution qui correspondra aussi à votre budget.