1. L’expérience audiovisuelle
nouvelle génération
Anaïs LIBOLT
Dolby
27 Novembre 2012

2. Sommaire
 Postulat sur la qualité audio
 Over-The-Top et HbbTV
 Expériences nouvelle génération
2

3. Postulat sur la qualité audio
C’est un élément différenciant dans l’expérience

4. “Long ago we realized sound was your “special friend”
because sound does at least 50% of the job.”
– Francis Ford Coppola, Director
PROPRIETARY + CONFIDENTIAL 4

5. La qualité audio a de l’importance
Higher quality audio can Highest correlation
compensate for degradations with picture quality satisfaction is
in the video image. Less likely audio quality satisfaction
to consider an image impaired (compared to Brand,
with higher quality audio. screen size & warranty)
Viewers perception of the
video quality is higher when Correlation is .806
audio quality is not impaired. (-1 to +1)
Audio Engineering Society
“The Influence of Individual Audio
Impairments on Perceived Video Quality”
IDC: ConsumerScape 360
2010
Windows Phone 7 5

6. Même les grands le disent…
“sound is half the experience” – George Lucas
Windows Phone 7 6

7. Over The Top
La valse des formats

8. Etat des lieux
 Problème: + de 20 plateformes technologiques différentes pour l‘OTT
 Pas ou peu de capacité au multicanal
 Quasiement aucune interopérabilité – beaucoup de fossés à combler!
L’absence d’un standard universel de distribution aux appareils connectés
résulte en une fragmentation de la compatibilité des formats.
8

9. Over-The-Top - considérations
 Le réseau n’est pas toujours maîtrisé et la Bande passante est disponible de manière
"aléatoire" => objectif de maintenir la QoE au mieux, parfois seulement la QoS…
 Quand les débits deviennent très faibles, on a le problème d’un contenu sous-
dimensionné pour le récepteur.
 Besoin de maintenir la qualité maximum car on ne sait pas toujours comment est
échangé le contenu. La HD peut être lue sur un appareil SD puis transférée sur un
appareil HD…
 Garantir un audio de qualité maximise l’expérience utilisateur.
Windows Phone 7 9

10. Interopérabilité
Le challenge de l’intéropérabilité pour un fournisseur de technologie
dans un monde multi-devices
 Ce challenge a toujours existé entre le contenu et l’appareil de restitution.
Les fournisseurs de contenu souhaitent un maximum d’inrteropérabilité
(pour le coût), le consommateur aussi, mais les fabriquant d’appareils CE
souhaitent se différencier à leur façon. Ex dans l’histoire: les jeux PC
associés à des cartes graphiques, PC & Mac…)
 Mais maintenant nous avons du contenu qui doit couvrir beaucoup de
catégories d’appareils!
Windows Phone 7 10

11. Interopérabilité
 PC, consoles de Jeux, Media server, mobile, tablette, TV connectée…
 La fragmentation des formats doit être transparente pour le
consommateur. Mise en avant de l’expérience.
 Ce que l’on peut attendre d’une expérience mobile:
 Rendu surround pour donner l’expérience d’immersion
 Gestion du loudness et contrôle de la dynamique
 Traitements et EQ très complets pour une restitution audio haute fidélité
Windows Phone 7 11

12. Interopérabilité - raisons
 Diffuseurs, opérateurs, startups de VoD, media markets…, offrent des
services de VOD
 Differentes priorités selon le vecteur (PC, Smartphones, Tablettes, TVs,
consoles)
 Préférence pour une plateforme techno ou une autre
 Dépendances – Quel format peut être délivré à quel appareil?
 E.g. Formats et DRM différents pour iOS que pour HbbTV ou pour
plateforme SmarTV
12

13. UGC Music OTT Mobile
Services
Content
Open Proprietary Services OEM
Platforms
Network
Device OS’s PC OS’s Silicon
OS and
Silicon
CE Mobile Phones Tablets PC’s
Devices
CONFIDENTIAL 13
INFORMATION

14. Encodage du contenu et sécurité
 Encodage du contenu en de multiples versions, pour des appareils
spécifiques (codecs, résolution…), pour de l’adaptive streaming…
 Encoder le contenu pour différents systèmes de distribution:
 Adobe, Microsoft, Widewine, Apple, HbbTV…
 DRM:
 Adobe, Microsoft, Apple, Marlin, Widewine, OMA,…
 En général pas de CA broadcast (peu flexible)
14

15. Distribution par des apps
 Les méthodes de distribution traditionnels dans l’écosystème des
applications sont:
 Progressive download; principalement MPEG4(H.264)
 Adaptive Streaming:
 HLS
 Smooth Streaming
 MPEG-‐DASH (nouveau beaucoup de fournisseurs de services se sont
engagés à le supporter)
15

16. Une multitude de formats de containers
ISO Base Media
Simple ISO-FF File Format (MP4 File Format) MPEG-2 TS
PIFF
HAS
F4F HLS
CFF
3GPP MPEG
MBMS DASH
PSS Profile
a.) Manifest
Differences..?
b.) Container Details
16

17. Interaction Serveur – Client
17

18. Exemple d‘un fichier de manifest pour MPEG DASH
18

19. Representation: Collection and encapsulation
DASH ISOBFF Live Streaming Profile of one or more media streams
in a delivery format and
associated with descriptive
Media Presentation Description metadata.
Cette image montre une DASH Manifest Provides a formalized description
for a Media Presentation for the Media Presentation: Collection of data that
représentation de XML purpose of providing a streaming establishes a bounded or
service. unbounded presentation of
DASH file suffix = file.mpd media content.
Adaptation Set: A set of interchangeable
English English English German Video Video Video Video encoded versions of one
Language Language Language Language 1080p@50 720p@25 640p@25 320p@25 or several media content
2.0 HE-AAC@64k 5.1 DD+@348k, @192k 5.1 DD+@256k 7MBit/s 3MBit/s 1.8MBit/s 500kBit/s components.
Content Component: One continuous
component of the media
content with an assigned
media component type
that can be encoded
individually into a media
stream.
Segment: Smallest addressable unit
in an MPD with a defined
format.
Adaptation Set Each one of all these Initialisation Segment Media Segment Media Content Component
colored blocks is an file suffix = file.mp4 file suffix = file.m4s representing one media
individual file! track
.

20. Fragmentation et complexité
3 IPTV/DBS/Cable TS DVB CAS STB Client
Complexité = Ecosystème x Protocole x DRM x Client x Device
HLS
432+ Smooth
DASH
CFF
Windows Phone 7 20

21. Mise en oeuvre
Ingest Delivery
BROADCAST BROADCAST
SD/HD
IRDs
Terrestrial DTH
Ingest/Playout
CONVERGED
Server HEAD-END
Telco Cable
Capture
MULTISCREEN OTT
SD/HD
MULTISCREEN
Windows Phone 7

22. Multiscreen End-To-End Workflow
Windows Phone 7 22

23. Atouts du Dolby Digital Plus pour le multi-screen
 Ecosystème contrôlé car toutes les implémentations sont fournies et
approuvées par Dolby (vs He-AAC)
 Support des métadonnées
 Support dans les nouveaux formats.
 Support de l’Adaptive streaming: le débit peut changer
dynamiquement sans interruption de son
 Documentation et fichiers de tests disponibles pour les principaux
formats (DASHG, HLS, Smooth Streaming)
Windows Phone 7

24. Mise en place de l’écosystème Dolby Digital Plus en OTT
Assurer la distribution possible
des nouveaux formats
Ingest/QC
Encoding/DRM Distribution
Encoding
solutions
Maintenir la qualité Tests pour que les
maximale du contenu à Assurer la nouveaux formats de
l’ingest et à l’encodage compatibilité de containers intègrent
(ex: loudness) Aider à construire des
l’intégration de DD+ et soient
produits qui supportent le
Dolby Digital Plus compatibles avec les
DD+ dans tous les types de
auprès des récepteurs
containers et formats
fournisseurs DRM

25. Atouts du Dolby Digital Plus pour le multi-screen
1+ Milliards
d’appareils
disponibles
Dolby Digital Plus
UV CFF Playback
Smooth Streaming
support for DD+ Smooth Streaming support
for DD+
Windows Phone 7

26. Exemple de service en DD+

27. Dolby Digital Plus – préparer l’encodage
 Connaître les caractéristiques du réseau utilisé pour transférer le contenu et ses
limitations, &.e. mobile (maillon le plus faible)
 Anticiper les variations de bande passante et le débit nécesaire pour maintenir
une qualité de service et une qualité d’expérience en audio.
 Channel configuration définie par le fichier source
 Langues et audio description
 Dialnorm renseigné correctement en fonction du loudness
 QC workflow
. CONFIDENTIAL INFORMATION 27

28. Dolby Digital Plus – Tester les commutations et sorties
Il est important de tester les commutations audio dans les cas suivants:
 Logique de commutation en bande-passante d’une application; quand l’App
doit choisir le fragment approprié parmi plusieures version débits différents
de la piste DD+
 Commutations entre les différentes langues
 Configuration de la sortie au décodage et fonction pass-through sur HDMI
 Profilage de la vie de la batterie en fonction du mode de décodage audio
NOTE: Il est extrêmement important que les fragments de bande passante encodés ne modifient
pas la Channel configuration si décodés par un récepteur A/V, car presque tous les récepteurs
basculent la sortie audio off momentanément dans ce cas, ce qui génèrera des plaintes des
utilisateurs
. CONFIDENTIAL INFORMATION 28

29. Cas d’usage Portails en ligne
Diffuseur
Online Online
Services Services
Signalés par des Disponible
bandeaux superposés à travers
au programme diffusé des
Broadcast applications
Services
.

30. Formats de fichier HbbTV
 For HTTP streaming HbbTV referenced dedicated file formats
 HbbTV v1.0 (ETSI TS 102 796 v1.1.1)
 Both MPEG-2 TS as well as plain MPEG-4 File Format can be used
 Realistically today only MPEG-4 File Format is used for streaming with HbbTV
 HbbTV v1.5 (ETSI TS 102 796 v1.2.1)
 Additionally: a modified version of the MPEG DASH “ISOBFF Live Streaming Profile”
ISOBFF = ISO Base Media File Format
.

31. Pourquoi utiliser leDolby Digital Plus en HbbTV ?
 Si le récepteur HbbTV décode le DD+ pour le broadcast (TNT HD), il doit le
supporter pour la partie broadband.
 DD+ est le seul codec dans HbbTV qui garanti le 5.1 quand c’est
physiquement possible
 Workflows éprouvés
 Préviens les problèmes de loudness par les métadonnées
 Dolby supporte activement les effort d‘interropérabilité dans HbbTV, dans les
standards régionaux et auprès de laboratoires de tests partenaires.
.

32. Expériences Nouvelle Génération
Evolutions du son et de l’image

33. Nouvelle generation de services audiovisuels…
 Métamorphose du paysage…
 Multiplication des vecteurs d’accès au contenu
 Multiplication des écrans
 Réseaux sociaux
 Maîtrise du temps personnel… qui se fait rare!
 Quand je veux, ou je veux, avec qui je veux: contrôle personnel
 Conséquences
 Fragmentation de l’audience
 Audience plus complexe (aspects générationnels, segmentation audience)
 Notion d’expérience plus complexe qui doit intégrer de multiples facteurs!
Windows Phone 7

34. Ce qui définit l’expérience
 Facteurs intrinsèques
 J’aime ce film, cet acteur, ce type de documentaire, ce show, ce groupe de
musique, etc…
 Peu importe comment je “recupère” le contenu, je veux le voir!
 Et je veux le voir selon mon envie du moment, là où je suis!
 Registre émotionnel
 Facteurs extrinsèques
 Accès au contenu (search, recommendation)
 Qualité du son, de l’image
 Marque, confiance a priori
 Excacerbation du registre émotionnel: l’émotion en grand
Windows Phone 7 34

35. Valorisation de l’expérience
 Par rapport aux facteurs intrinsèques
 Qualité du catalogue, Fonctionnalités du service, Audience visée
 Par rapport aux facteurs extrinsèques
 Confort, qualité du son et de l’image, simplicité, continuité
 Marques reconnues comme gage de référence
 L’équilibre définit le niveau possible de satisfaction de l’audience et donc de monétisation
 Nouvelle experience
 Nouveaux services doivent maximiser l’ensemble des facteurs d’expérience pour être
différentiants… et générer de l’audience
 Dolby présent sur la restitution conforme de l’intention artistique (registre emotionnel) et
sur la restitution du maximum du potentiel de l’équipement personnel
Windows Phone 7 35

36. Expériences nouvelle génération
 L’image évolue vers 4K et Ultra HD, avec ou sans 3D
 L’audio évolue vers l’audio 3D
 L’expérience doit être différente pour le spectateur, pas seulement
plus de définition
 4k permet plus de contraste, une plus large palette de couleurs, une
meilleure 3D…
 Evolutions audio vers une meilleure immersion, plus de flexibilité, un
rendu adaptatif à l’installation…
Windows Phone 7 36

37. Evolutions de l’audio
 Aujourd'hui: stéréo, 5.1 ou 7.1. Production et diffusion
du contenu maîtrisée.
 Quand on parle de 9.1, 11.1, 22.2…, il faut prendre
en considération:
 Production du contenu: Plus complexe de mixer plus
de pistes et de gérer les différents downmixes.
 Reproduction du contenu : Déjà compliqué avec du
5.1 ou 7.1, on ne peut pas vraiment augmenter le
nombre de canaux.
Trouver un moyen technique de rendre l’intention artistique avec simplicité
Windows Phone 7 37

38. Evolutions de l’audio
 Approche « channel based »: le codage optimise le débit par canal. Le
rendu s’adapte au système par décodage ou dématricage et downmix
ou upmix.
 Approche « object based »: un objet sonore est un son associé à des
informations de gain et d’espace en fonction du temps. Codage des sons
+ métadonnées. Décodage et rendu adapté à la configuration
Windows Phone 7 38

39. Approche Object based
 Un seul mixage pour toutes les configurations. Simplicité de la
production, efforts mis au service de l’expérience plus que de la
technique.
 L’audio s’adapte à la pièce plus que la pièce à l’audio! Le mixage peut
se décliner en stereo, en 5.1 avec hauts-parleurs ou sound bars, au
casque… L’appareil de reproduction (playback) embarque l’intelligence
qui permet de restituer l’expérience et l’intention artistique.
 Redéfinir les workflows pour travailler avec des objets sonores
 Nécessité de définir et standardiser un format de distribution et des
métadonnées
Windows Phone 7 39

40. The time is right to redefine e-media sound
MERCI !
MERCI ! MERCI ! MERCI !
MERCI !
40