Apresentação utilizada por Estêvão Bissoli Saleme no minicurso integrante do 15º Workshop de Realidade Virtual de Aumentada em 12/11/2014, na cidade de Marília, SP.
PlaySEM: a Platform for Rendering MulSeMedia Compatible with MPEG-V
MPEG padrões na RV e RA
1. Integração dos padrões MPEG na
construção de Ambientes de
Realidade Virtual e Aumentada
Apresentado por:
Estêvão B. Saleme
Universidade Federal do Espírito Santo – UFES
Programa de Pós Graduação em Informática - PPGI
Laboratório de Pesquisa em Redes e Multimídia – LPRM
Workshop de Realidade Virtual e Aumentada
Marília, SP, 12/11/2014
2. 2
Objetivos
Apresentar a família de padrões MPEG (4, 7,
21, U e V) e sua aplicação na criação de
ambientes interativos com múltiplos estímulos
sensoriais.
Atualizar os participantes com relação ao
recente padrão MPEG-V, cujo foco é a
interoperabilidade entre o mundo real e
mundo virtual.
3. 3
Agenda
Introdução
Motivação
Cenários de uso
A família MPEG:
Descrição de cenas com MPEG-4
Metadados para descrição de multimídia com MPEG-7
Gerenciamento de mídia e proteção com MPEG-21
Interação avançada com o usuário baseado no MPEG-U
Interoperabilidade entre mundo real e virtual com MPEG-V
Desenvolvimento e simulação de ambiente com estímulos
sensoriais com as ferramentas SEVino e SESim do Laboratório
de Experiências Sensoriais da universidade Alpen-Adria-
Universität Klagenfurt (Áustria).
4. 4
Introdução
Multimídia tradicional (vídeo, áudio, texto e figura)
Melhorar QoE (Qualidade da Experiência) através de
efeitos sensoriais = incrementar realidade virtual
Estímulos através de outros sentidos:
mecanoceptores
quimioceptores
termoceptores
5. 5
Múltiplos estímulos
Vídeo 3D Névoa
))) (((
Luz
Temperatura
Aroma
Vibração
Outros...
6. 6
QoE - Fatores de impacto
Fonte: Ebrahimi, T., “Quality of Multimedia Experience: Past, Present and Future”, Keynote at ACM Multimedia, Beijing, China, Oct 22, 2009.
http://www.slideshare.net/touradj_ebrahimi/qoe
Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future-
media-technologies-sensory-experience
Qualidade
da
Experiência
(QoE)
Fatores técnicos
Fatores sociais
e psicológicos
Usuário
Contexto
7. 7
Experimento QoE
Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second
International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704
8. 8
Experimento QoE
MOS vs. PSNR/bit-rate for
Babylon A.D.
• MOS vs. PSNR/bit-rate for
Earth.
[3]
Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second
International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704
10. 10
Multimídia doméstica
Assim como os efeitos 3D, efeitos sensoriais
podem ser agregados à dispositivos
multimídia domésticos para filmes ou jogos:
amBX
Game Skunk
Cyborg Gaming Lights
15. 15
Interoperabilidade
Porque interoperabilidade entre dispositivos?
Dispositivo que não pode interoperar com outros
produtos que o cliente espera interoperar perde
valor*
Capacidade de diferentes produtos interoperar entre
eles permite aos consumidores uma escolha
MPEG-V (não é 5) = interoperabilidade mundo
virtual (ex. jogos, simuladores e aplicações) e mundo
real (ex. sensores e atuadores)
* Fonte: ECIS - European Committee for Interoperable Systems. Interoperability. Available in http://www.ecis.eu/ecis-interoperability
16. 16
Efeitos sensoriais
MPEG-V (Parte 3)
Fonte: M. Waltl, C. Timmerer, H. Hellwagner, “A Test-Bed for Quality of Multimedia Experience Evaluation of Sensory Effects”, Proceedings of the First International Workshop on
Quality of Multimedia Experience (QoMEX 2009), San Diego, USA, July, 2009
17. 17
Porque MPEG?
Existência de ferramentas de autoria MPEG
compliance
Conjunto de padrões aceitos
internacionalmente (ex. MPEG-2 -> DVD)
Mídias e players de diversas fontes capazes de interoperar
18. 18
MPEG onde mais?
Cenário 1 – Jogo de tabuleiro com movimento
através de gestos
Cenário 2 – Coleta de informações do ambiente para
Realidade Aumentada
Cenário 3 – Efeitos sensoriais através de broadcast
Cenário 4 – Controle distintos para voos não
tripulados (drones) - Extensão
19. 19
Cenário 1
Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai,
China, Oct. 2012.
20. 20
Cenário 2
Fonte: Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V metadata in smartphone and sensor aggregator,“ Advanced Communication Technology (ICACT),
2013 15th International Conference on , vol., no., pp.139,142, 27-30 Jan. 2013
21. 21
Cenário 3
Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.
22. 22
Cenário 4 (extensão)
Fonte: Kyoungro Yoon; Doohyun Kim; Young-Guk Ha, "Control of unmanned flying vehicle based on MPEG-V international standard," Ubiquitous Robots and Ambient Intelligence
(URAI), 2011 8th International Conference on , vol., no., pp.64,67, 23-26 Nov. 2011
23. 23
Cenário dirigido
Trailer Indiana Jones com metadados descritos
e integrados através dos padrões MPEG
Fonte: http://www.youtube.com/watch?v=nMhfESAa4tw
24. 24
Cenário dirigido
Vídeo
Player
Dispositivos
Checa condições
Adapta conteúdo
Executa
Codificador de
Aúdio e Vídeo
Simuladores Motores de
Renderização
Metadados
A/V
Promove efeitos
Autoria Efeitos
Autoria DRM Sensoriais
busca
Recupera
conteúdo
Autoria Descrição
Conteúdo
Mídia
FFMpeg, MEncoder, etc
MPEG-2, MPEG-4
AXMEDIS
BR-PR, play = U$ 1,00
SEM U$ 10,00 pré-pago
SEVino: 16 Vento,
7 vibração e luz
automática
IBM VideoAnnEx:
cena cataratas e
Dr. Jones com
lanterna
MPEG-21 MPEG-V MPEG-7
25. 25
MPEG-7
Denominado “Interface de descrição de
conteúdo multimídia”
Permite descrever vários tipos de conteúdo
multimídia
Não depende da codificação
Suporta múltiplos idiomas
26. 26
MPEG-7 – Necessidade
Grande quantidade de conteúdo audiovisual
na internet
Valor da informação também depende de
como ela pode ser encontrada, recuperada,
acessada, filtrada e gerenciada
MPEG-7 é usado para buscas eficientes e
filtros em vários tipos de conteúdo
multimedia
27. 27
MPEG-7 - Partes
Part 1 Systems
Part 2 Description Definition Language
Part 3 Visual
Part 4 Audio
Part 5 Multimedia Description Schemes
Part 6 Reference Software
Part 7 Conformance
Part 8 Extraction and Use of MPEG-7 Descriptions
Part 9 Profiles
Part 10 Schema definition
Part 11 Profile schemas
Part 12 Query Format
29. 29
MPEG-7 – Onde usar?
Descrever guia EPG de TV interativa
Educação (anotação de aula)
Jornalismo (por exemplo, procurar um político
falando sobre determinado assunto)
Informações turísticas e serviços culturais
(museus, galerias de arte, etc)
Redes sociais (para descrever imagens)
30. 30
MPEG-7 - Exemplo
Fonte: Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG-7: Part 2.IEEE MultiMedia 6, 4 (October 1999), 64-73. DOI=10.1109/93.809235
33. 33
MPEG-21
Objetivo de definir um framework para
aplicações multimídia fundamentado em 2
conceitos:
Digital Item (o que?): unidade fundamental de
distribuição e transação
Usuários (quem?) interagindo com Digital Item
34. 34
MPEG-21 - Partes
Part 1 Vision, Technologies and
Strategy
Part 2 Digital Item Declaration
Part 3 Digital Item Identification
and Description
Part 4 IPMP Components
Part 5 Rights Expression Language
Part 6 Rights Data Dictionary
Part 7 Digital Item Adaptation
Part 8 Reference Software
Part 9 File Format
Part 10 Digital Item Processing
Part 11 Evaluation Tools for
Persistent Association
Part 12 Test Bed for MPEG-21
Resource Delivery
Part 13 VOID
Part 14 Conformance
Part 15 Event reporting
Part 16 Binary format
Part 17 Fragment Identification
Part 18 Digital Item Streaming
Part 19 Media Value Chain
Ontology
35. 35
MPEG-21 - Partes
Parte 2 – DID - inclui recursos, identificadores,
metadados, chaves de criptografia, licenças
Parte 3 – DII - Identificação única de Digital
Item
Parte 4 – IPMP -> DRM Proteção de recursos
(apoio das partes 5 e 6)
Parte 7 – DIA – adaptação de conteúdo (ex.:
diminuir ou aumentar bitrate de acordo com a
condição da rede de transporte)
39. 39
MPEG-U
Diversidade tecnológica (Heterogeneidade)
Interação homogênea
Motivação (Padronização)
Partes:
Part 1 Widgets
Part 2 Advanced User Interaction Interface
Part 3 Reference Software and Conformance
40. 40
MPEG-U – Widgets
Iniciativas de tecnologias e padronização de
widgets: W3C Widgets 1.0, Web4CE, Yahoo!
Widgets e Google Gadgets
Extensão da norma W3C Widgets,
adicionando:
descoberta dinâmica de serviços e widgets
comunicação com serviços e widgets descobertos
migração de um widget de um dispositivo para
outro mantendo o contexto de execução
41. 41
MPEG-U – Widgets
Arquitetura
Fonte: Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.
42. 42
MPEG-U – Widgets
Exemplo do arquivo manifesto:
43. 43
MPEG-U – AUI
Interação do usuário avançada baseada em
sistema de interface ou interface AUI
(Advanced User Interaction)
visa melhorar a interação de entrada/saída
entre dispositivos e aprimorar as descrições
das cenas representadas por mídias ricas.
45. 45
MPEG-U – AUI
Com o fim de tornar interoperável a
comunicação entre dispositivos e as cenas, foi
criado o MPEG-U parte 2.
A norma fornece um conjunto de formato de
dados que define padrões geométricos,
símbolos, padrões de toques, padrões estado,
entre outros.
46. 46
MPEG-U – AUI
Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai,
China, Oct. 2012.
47. 47
MPEG-U – AUI
Padrão Tipo
Geométrico ponto, linha , retângulo, arco, círculo
Simbólico vitória, coração, rock, tesoura, papel,
OK.
Condição da mão palma da mão, mão fechada,
apontando, positivo com o polegar,
negativo com o polegar, segurar.
Gesto empurre, puxe, tapa esquerda, tapa
direita, tapa para cima, tapa para
baixo, circulo horário, círculo anti-horário,
onda, check.
Toque toque, duplo toque, pressionar
arrastar, rotação, movimento de
risco.
Composição Composição dos padrões listados
anteriormente.
48. 48
MPEG-U – AUI
Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai,
China, Oct. 2012.
49. 49
MPEG-U – Conformidade
Trata a conformidade com os requisitos
sintáticos e semânticos especificados na
ISO/IEC 23007-1
Especificar aspectos de conformidade e
recomendar boas práticas para:
Garantir que widgets de diferentes provedores
possam rodar e se comunicar em um framework
único
50. 50
MPEG-U - Caso de uso
“Jules está assistindo TV e recebe um widget
para votar em seu candidato favorito de um
programa de TV. Entretanto ele prefere enviar
um texto usando seu telefone. A TV detecta
que o telefone dele está em uma área
adequada. A TV automaticamente transfere
parte do widget para seu telefone. Uma vez
transferido, Jules pode votar usando seu
telefone.”
Fonte: Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.
51. 51
MPEG-U - Caso de uso
Fonte: Cha, J., Lim, S. Y., Concolato, C., Cordara, G., Park, K., “White Paper on MPEG-U” ISO/IEC JTC 1/SC 29/WG 11 N13535, Incheon, Korea, April 2013.
52. 52
MPEG-U - Considerações
Preocupação com a universalidade na linguagem
entre os mais diversos tipos de dispositivos
Desenvolvedores de widgets podem focar no
interesse da aplicação
Permite o desenvolvimento de aplicações sensíveis
ao contexto (comunicação dinâmica + gestão de
contexto)
Dificuldades para adoção em massa pela indústria,
focada em seus ecossistemas
53. 53
MPEG-V
Interoperabilidade entre Mundo Real (ex.
sensores e atuadores) e Mundo Virtual (jogos,
DVD, simulação)
Especificações:
informações sobre capacidade de dispositivos
efeitos sensoriais
características de objetos do mundo virtual
formato de dados para interação entre
dispositivos
54. 54
MPEG-V - Partes
Part 1 Architecture
Part 2 Control Information
Part 3 Sensory Information
Part 4 Virtual World Object Characteristics
Part 5 Data Formats for Interaction Devices
Part 6 Common Types and Tools
Part 7 Reference Software
55. 55
MPEG-V - Arquitetura
Sensed
Information
(5)
VW Object
Characteristics
(4)
R→V AdaptaƟon: converts Sensed
Info from RW to VW Object
Char./Sensed Info applied to VW
Sensed
Information
(5)
Virtual World
Sensor
Device
Capability
(2)
Sensor
Adaptation
Preferences
(2)
Real World
(Sensors) User
#2: R2V: Real World Adaptation Virtual World
V→R AdaptaƟon: converts
Sensory Effects from VW into
Device Cmds applied to RW
Real World
Virtual World
Sensory
Effects
(3)
User (Actuators)
Sensory
Device
Capability
(2)
Device
Commands
(5)
Sensory
Effects
Preferences
(2)
#1: V2R: Virtual World Adaptation Real World VW Object
Characteristics
(4)
Fonte: S.-K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.
56. 56
MPEG-V - Parte 2
Capacidade de descrição dos atuadores
(dispositivos sensoriais) e sensores do mundo
real
Capacidade de adaptação de preferência dos
dos sensores (temperatura, movimento,
velocidade, etc) e/ou atuadores (luzes,
ventilador, vibração, aroma, etc) por usuário
57. 57
MPEG-V – Parte 2
Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.
58. 58
MPEG-V – Parte 2
Linguagem de descrição de controle da
informação (CIDL - Control Information
Description Language)
Vocabulários:
DCDV - Device Capability Description Vocabulary
SCDV - Sensor Capability Description Vocabulary
SEPV - User’s Sensory Effect Preference
Vocabulary
SAPV - Sensor Adaptation Preference Vocabulary
59. 59
MPEG-V – Parte 2
DCDV SCDV SEPV SAPV
Light device Light sensor capability Light effect Light sensor adaptation preference
Flash device Ambient noise sensor capability Flash effect Ambient noise sensor adaptation preference
Heating device Temperature sensor capability Heating effect Temperature sensor adaptation preference
Cooling device Humidity sensor capability Cooling effect Humidity sensor adaptation preference
Wind device Distance sensor capability Wind effect Distance sensor adaptation preference
Vibration device Atmospheric pressure Sensor capability Vibration effect Atmospheric pressure sensor adaptation preference
Sprayer device Position sensor capability Sprayer effect Position sensor adaptation preference
Scent device Velocity sensor capability Scent effect Velocity sensor adaptation preference
Fog device Acceleration sensor capability Fog effect Acceleration sensor adaptation preference
Color correction device Orientation sensor capability Color correction effect Orientation sensor adaptation preference
Rigid body motion device Angular velocity sensor capability Rigid body motion effect Angular velocity sensor adaptation preference
Tactile device Angular acceleration sensor capability Tactile effect Angular acceleration sensor adaptation preference
Kinesthetic device Force sensor capability Kinesthetic effect Force sensor adaptation preference
Mobile device position Torque sensor capability Torque sensor adaptation preference
Pressure sensor capability Pressure sensor adaptation preference
Motion sensor capability Motion sensor adaptation preference
Intelligent camera sensor capability Intelligent camera sensor adaptation preference
Bend sensor capability
Gas sensor capability
Dust sensor capability
Multi interaction point sensor capability
Gaze tracking sensor capability
Global position sensor capability
Altitude sensor capability
60. 60
MPEG-V – Parte 2
Exemplos:
Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.
61. 61
MPEG-V – Parte 2
Exemplos:
Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.
62. 62
MPEG-V - Parte 3
Especifica linguagem para descrição de Efeitos
Sensoriais (SEDL - Sensory Effect Description
Language) como luz, aroma, vento, névoa, etc
Os efeitos sensoriais não são parte do SEDL, são
definidos através de vocabulários (SEV - Sensory
Effect Vocabulary )
Metadados de efeitos sensoriais são descritos
através de SEDL
Usado em adição ao conteúdo áudio visual para
incrementar QoE
63. 63
MPEG-V – Parte 3
Light, colored light,
flash light
Temperature
Wind
Vibration
Water sprayer
Scent
Fog
Color correction
Rigid body motion
Passive kinesthetic
motion
Passive kinesthetic
force
Active kinesthetic
Tactile
64. 64
MPEG-V – Parte 3
Fonte: B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.
68. 68
MPEG-V - Parte 4
Representação de características de objetos
(avatares ou objetos genéricos) no mundo virtual
2 propósitos: caracterizar vários tipos de objetos no
ambiente virtual e prover interação com o ambiente
virtual
Pode ser usado para reproduzir características do
mundo real (capturados por sensores) no mundo
virtual
Interoperar informações de avatares entre mundos
virtuais distintos
69. 69
MPEG-V – Parte 4
Não inclui informação de geometria, som,
animação, textura, mas pode ser combinado
com o MPEG-4 Parte 11 (elementos gráficos) e
16 (definir e animar avatares)
Exemplo sintaxe descrição avatar:
Fonte: J.J Han, M. Preda, “Text of ISO/IEC FDIS 23005-4 2nd edition Virtual World Object Characteristics” ISO/IEC JTC 1/SC 29/WG 11/N13061, Shanghai, China, Oct. 2012.
70. 70
MPEG-V - Parte 5
Formato de dados para interação de dispositivos
Comandos para atuadores e informação capturada a
partir de sensores
Especifica uma linguagem para descrição de interface
para interação (IIDL - Interaction Interface
Description Language )
Vocabulários parte da IIDL:
DCV - Device Command Vocabulary
SIV - Sensed Information Vocabulary
71. 71
MPEG-V – Parte 5
Light device
Flash device
Heating device
Cooling device
Wind device
Vibration device
Sprayer device
Scent device
Fog device
Color correction device
Initialize color correction
parameter device
Rigid body motion device
Tactile device
Kinesthetic device
Global position
command device.
DCV:
72. 72
MPEG-V – Parte 5
Terms of Sensor
Light sensor
Ambient noise sensor
Temperature sensor
Humidity sensor
Distance sensor
Atmospheric pressure
Sensor
Position sensor
Velocity sensor
Acceleration sensor
Orientation sensor
Angular velocity sensor
Angular acceleration sensor
Force sensor
Torque sensor
Pressure sensor
Motion sensor
Intelligent camera sensor
MultiInteraction point
sensor
Gaze tacking sensor
Wind sensor
Global position sensor
Altitude sensor
Bend sensor
Gas sensor
Dust sensor
Body height sensor
Body weight sensor
Body temperature sensor
Body fat sensor
Blood type sensor
Blood pressure sensor
Blood sugar sensor
Blood oxygen sensor
Heart rate sensor
Electrograph sensor
EEG sensor
ECG sensor
EMG sensor
EOG sensor
GSR sensor
Bio sensor
Weather sensor
Facial expression sensor
Facial morphology sensor
Facial expression
characteristics sensor
Geomagnetic sensor
SIV:
73. 73
MPEG-V – Parte 5
Comando para Vento
Sensor de Temperatura
Fonte: K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.
74. 74
MPEG-V – Cenário Dirigido
Efeitos de luz com
auto extração
76. 76
SEVino
SEVino (Sensory Effect Video Annotation)
Permite anotar sequências de vídeo com vários
efeitos sensoriais
Inclui 7 possíveis efeitos: luz, vento, vibração, névoa,
cheiro, temperatura e spray de água
Ferramenta de código-aberto escrita em java
Apoio de ferramentas de terceiros (Ffmpeg e VLC)
Desenvolvido pelo SELAB da universidade Alpen-
Adria-Universität Klagenfurt (Áustria)
78. 78
SEVino
Fonte: Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150.
DOI=10.1016/j.image.2012.10.009
79. 79
SESim
SESim (Sensory Effect Simulator)
Permite simular efeitos sensoriais descritos
(SEM) em MPEG-V
Ferramenta de código-aberto escrita em java
Integrado ao SEVino 2.0
Baseado na ferramenta comercial amBX
Desenvolvido pelo SELAB da universidade
Alpen-Adria-Universität Klagenfurt (Áustria)
83. 83
Ambiente
Requisitos:
Eclipse IDE
Java 1.6 ou superior
VLC media player 2.1
SEVino 2.0
84. 84
Demonstração
SEVino 2 com cenário dirigido em execução
SEVino.bat
85. 85
Exercícios
1) Anotar um vídeo com SEM contendo pelo
menos 3 efeitos sensoriais (se usar luz, deve
ser extraída automaticamente). Devem ser
incluídos pelo menos 20 intervalos de efeitos
na linha de tempo.
2) Alterar a anotação anterior incluindo efeito
de luz manualmente com pelo menos 3
posições e cores distintas.
86. 86
Referências
B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC
JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.
Burnett, I.; Van de Walle, R.; Hill, K.; Bormans, J.; Pereira, F., "MPEG-21: goals and
achievements," MultiMedia, IEEE , vol.10, no.4, pp.60,70, Oct-Dec 2003 doi:
10.1109/MMUL.2003.1237551
Cha, J., Lim, S. Y., Concolato, C., Cordara, G., Park, K., “White Paper on MPEG-U” ISO/IEC JTC
1/SC 29/WG 11 N13535, Incheon, Korea, April 2013.
Chiariglione, L., MPEG for Scholapedia, Available in:
http://leonardo.chiariglione.org/papers/scholarpedia/mpeg.htm Accessed nov. 2014
Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC
JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.
Concolato, C., Lim, S. Y., Park, K., “Text of ISO/IEC CD 23007-2: Advanced user interaction
(AUI) interfaces” ISO/IEC JTC1/SC29/WG11 MPEG/N11765, Daegu, Korea, January 2011
Ebrahimi, T., “Quality of Multimedia Experience: Past, Present and Future”, Keynote at ACM
Multimedia, Beijing, China, Oct 22, 2009. http://www.slideshare.net/touradj_ebrahimi/qoe
Ebrahimi, T., 2009. Quality of multimedia experience: past, present and future. In
Proceedings of the 17th ACM international conference on Multimedia (MM '09). ACM, New
York, NY, USA, 3-4. DOI=10.1145/1631272.1631275
87. 87
Referências
Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG-7: Part
2.IEEE MultiMedia 6, 4 (October 1999), 64-73. DOI=10.1109/93.809235
Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional
gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai, China,
Oct. 2012.
Han, J., Preda, M., “Text of ISO/IEC FDIS 23005-4 2nd edition Virtual World Object
Characteristics” ISO/IEC JTC 1/SC 29/WG 11/N13061, Shanghai, China, Oct. 2012.
Kyoungro Yoon; Doohyun Kim; Young-Guk Ha, "Control of unmanned flying vehicle based on
MPEG-V international standard," Ubiquitous Robots and Ambient Intelligence (URAI), 2011
8th International Conference on , vol., no., pp.64,67, 23-26 Nov. 2011
M. Waltl, C. Timmerer, H. Hellwagner, “A Test-Bed for Quality of Multimedia Experience
Evaluation of Sensory Effects”, Proceedings of the First International Workshop on Quality of
Multimedia Experience (QoMEX 2009), San Diego, USA, July, 2009.
Nack, Frank; Lindsay, A.T., "Everything you wanted to know about MPEG-7. 1," MultiMedia,
IEEE , vol.6, no.3, pp.65,77, Jul-Sep 1999 doi: 10.1109/93.790612
Preda, M., “MPEG-V: a standard for multissensorial and immersive experiences”, 1st
International workshop, Korea, January 2011 http://pt.slideshare.net/MariusPreda/mpeg-vawareness-
event
88. 88
Referências
S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC
1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.
S., K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187,
San Jose, USA – Jan., 2014.
S., K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for
Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.
Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V metadata in
smartphone and sensor aggregator," Advanced Communication Technology (ICACT), 2013
15th International Conference on , vol., no., pp.139,142, 27-30 Jan. 2013
Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011,
Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future-
media-technologies-sensory-experience
Timmerer, C., Müller, K., 2010. Immersive future media technologies: from 3D video to
sensory experiences. In Proceedings of the international conference on Multimedia (MM
'10). ACM, New York, NY, USA, 1781-1782. DOI=10.1145/1873951.1874369
Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2012. A toolset for the authoring,
simulation, and rendering of sensory experiences. In Proceedings of the 20th ACM
international conference on Multimedia (MM '12). ACM, New York, NY, USA, 1469-1472.
DOI=10.1145/2393347.2396522
89. 89
Referências
Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for
Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150.
DOI=10.1016/j.image.2012.10.009
Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience
through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second
International Workshop on , vol., no., pp.124,129, 21-23 June 2010 -
doi:10.1109/QOMEX.2010.5517704
90. 90
Material de apoio
Cenário dirigido (vídeo e anotações)
Binários SEVino 2
Todas as referências utilizadas e assuntos
relacionados
Download disponível em:
http://goo.gl/GZwjjF (157 MB)
Senha do arquivo é ...
91. 91
Obrigado pela atenção!
Estêvão Bissoli Saleme
br.linkedin.com/in/estevaosaleme
http://lattes.cnpq.br/8757661847246456
Dr. Celso Alberto Saibel Santos (Orientador)
br.linkedin.com/pub/celso-alberto-saibel-santos
http://lattes.cnpq.br/7614206164174151
Universidade Federal do Espírito Santo, Av. Fernando Ferrari,
S/N, Vitória - ES, 29060-970, + 55 (27) 4009-2130