Charla sobre Cloud Gaming en la ETSIT-UPM
José Javier García Aranda de Nokia nos acerca a la historia y evolución del Cloud Gaming, a sus modelos de negocio y a las dificultades técnicas que han imposibilitado el despliegue de estos servicios.
3. Agenda
1| Introducción : concepto y tipos
6| futuro y cuestiones abiertas
5| Estado del arte de la tecnología: problemas y soluciones
Cloud gaming
3
4| Jugabilidad (Gameplay): la QoE del gaming
2| negocio potencial
3| Historia e iniciativas comerciales
4. 1| Introducción
Pasatiempo
Juega a varios juegos a la vez, pero
poco tiempo a cada uno
No compra HW especial
No compra videojuegos o si compra
invierte muy poco
>1h al dia
Busca mejorar
No es solo un pasatiempo, es mas un
reto, una aventura
A veces participan en campeonatos
Compra periféricos específicos (teclado
especial, ratón especial, etc)
¿Cómo te defines?
hard casual
6. 1| Introducción
cloud gaming concept
2
3
4 5 6Video Encoding
network
Video Decoding
Game server 1
Game
logic
rendering encoding streaming decoding
7. 1| Introducción
RR: remote rendering
LR: local rendering
CRA: cognitive resource allocation
Tipos de cloud gaming
8. 1| Introducción
Retos de cloud gaming
Afectación de la jugabilidad por problemas de latencia ( de red+ codificación)
Pérdida de paquetes
Diferencia de latencia el multijugador (también en online gaming)
Escalabilidad, sobre todo si se descentraliza el servicio
Elevación del consumo de ancho de banda
9. 1| Introducción
“Siempre va a tomar algo de tiempo transmitir información, y dado el
nivel actual de tecnología en Internet, hay una cantidad de latencia
durante el proceso de enviar y recibir datos, por lo que me parece
extraño que haya gente que afirme que el ‘cloud gaming’ es el futuro
de los videojuegos”. (www.revistacloudcomputing.com)
Por supuesto, hay algunos juegos en
los que este retardo no afecta a la
jugabilidad y en los que este sistema
podría tener sentido. Sin embargo, en
algunos géneros, como en los títulos
de acción, el tiempo de reacción es
crítico y el ‘frame rate’ es
determinante para que los
movimientos sean fluidos. Con esto
quiero decir que hay cierto tipo de
juegos que pueden jugarse desde
Internet y otros que no·
10. 10
1| Introducción
streamer
game
game
game
Admin console
Game catalog
database
Game portal
Ingest
New games
playerbrowser
users
Controller
agent
users
Game saved sessions
statistics
statistics
Install game
Start game
publish
Arquitectura
launch
12. Agenda
1| Introducción : concepto y tipos
6| futuro y cuestiones abiertas
5| Estado del arte de la tecnología: problemas y soluciones
Cloud gaming
12
4| Jugabilidad (Gameplay): la QoE del gaming
2| negocio potencial
3| Historia e iniciativas comerciales
13. 2| Negocio potencial
2014 2015
facturación 81.000 M 91.000 M
jugadores 1700 M 1900 M
Facturación mundial en millones de dólares
Un tercio de la población mundial?
Juegos
ordenador
Juegos para
Consolas
sobremesa
Juegos para
Consolas
portátiles
Resto
(tablets y
móviles)
40% 29% 4% 27%
15. 2| Negocio potencial
Los analistas de TechNavio pronostican que el mercado global de cloud gaming crecerá a
una tasa compuesta anual del 23,36% durante el periodo 2014-2019.
En España:
• En 2009 se facturó mas de 638 millones de euros en juegos y 562 en consolas
• En 2014. se facturó 996 millones de euros, lo que supone un aumento del consumo del
6,8 % respecto al 2013. (fuente: Asociación Española de Videojuegos (AEVI)
• En 2015 ha superado los 1000 millones de euros (AEVI)
Se mantienen en 2015
16. 16
2| Negocio potencial
España se diferencia de las cifras a
nivel mundial en el porcentaje de
juegos de PC y consola, siendo
mucho mas predominante la
consola
18. 18
2| Negocio potencial
Beta testers: las compañías desarrolladoras de videojuegos podrían deslocalizar sus
betatesters sin temor a la piratería, gracias al cloud gaming, abriéndose a internet un
mercado laboral interesante
Real-life games: conducir online un coche real, en un escenario real. Solo posible con
tecnologia cloud gaming
Reducción de riesgo en desarrollos sw: en lugar de invertir varios millones
en 2 años para sacar un nuevo título, programar una primera fase y ponerla en modalidad
cloud. En función del éxito se podría seguir invirtiendo. Esto permitiría a pequeños
estudios de videojuegos comenzar a ser sus propios publishers
proyecto
“Racing drones”
19. Agenda
1| Introducción : concepto y tipos
6| futuro y cuestiones abiertas
5| Estado del arte de la tecnología: problemas y soluciones
Cloud gaming
19
4| Jugabilidad (Gameplay): la QoE del gaming
2| negocio potencial
3| Historia e iniciativas comerciales
20. 3| Historia
1997
nace quake (FPS) online
2000
G-Cluster (empresa finlandesa) presenta la primera
implementación de la tecnología de juego en la nube
en la Electronic Entertainment Expo (E3). G-cluster se
funda en 2000 aunque es comprada por una compañía
japonesa (softbank) en 2004
2003
Amazon aws aparece auque aun no para cloud gaming,
solo para cloud. Con el tiempo proporcionará una AMI
especial para cloud gaming
1996
Duke nukem FPS online, primer juego
con “ejecución especulativa” para
compensar latencia
21. 3| Historia
2004
softbank (japonesa) compra g-
cluster. Tecnología propia (con
miniconsola)
2005
2007
nace ubitus en taiwan, aunque poco a poco abre oficinas
en mas países, incluida USA (en california). Tecnología de
servidores
online gaming se hace muy
popular WoW, etc (12 millones
usuarios)
2007
nace streammygame (software para cloud gaming
privado)
22. 3| Historia
2008
2009
nace OTOY (compañía de rendering) en USA.
Actualmente se definen como cloud graphics
company. Aliados con amazon. Tienen un codec
propio para cloud gaming llamado ORBX2
nace gaikai (americana), aunque de momento
no ofrece servicios
2010
SFR lanza cloud gaming en su red IPTV (no internet)-
EUROPA
2010
onlive empieza a operar en USA. Tienen su
propia miniconsola, similar a g-cluster
23. 3| Historia
2011
Gcloud empieza a ofrecer cloud gaming sobre LTE en japon
con NTT docomo y plataforma de ubitus (gcloud pertenece a
ubitus)
2011
gaikai (empresa de california) comienza a ofrecer su
servicio de cloud gaming para demos de juegos
2011
Nace Q4S, un protocolo de medida de calidad en
tiempo real con vocación de servir de herramienta en
cloud gaming
24. 3| Historia
2012
2012
Nvidia saca Nvidia geforce grid:
tecnología para operadores ( ellos
no dan el servicio). Pronto
“playcast” comenzará a usarlo
Sony compra gaikai por 380 millones. Pronto
se convertirá en el servicio de cloud gaming
de SONY bajo el nombre PS now
2012
big fish (americana- seattle) saca su servicio de cloud
gaming de casual games
2012
onlive empieza a resquebrajase pero consigue
nuevos inversores
25. 3| Historia
2012
una compañía japonesa
(coreonline perteneciente a
square enix) anuncia su servicio
cloud gaming
2012
playcast (Israel) anunca su servicio cloud gaming con
tecnología nvidia
2012
2012
ubitus (taiwanesa con sede en california) con tecnología de
marca blanca como ciinow, g-cluster, etc. ofrece un servicio de
cloud gaming llamado gamenow (para smartTV , google TV, PC
y tablets) y otro servicio de cloud gaming con verizon
AMD y alcatel lucent invierten en la
compañía ciinow. Tecnologia servidores
26. 3| Historia
2013
nace gaminganywhere (open source cloud gaming
system)
2013
2013
nace playgiga (compañía española de cloud gaming marca
blanca). Actualmente activos montando pilotos con
operadores
ubitus lanza su servicio de cloud gaming sobre
google tv
microsoft anuncia delorean
(enmascaramiento de latencia en cloud
gaming y online gaming con “ejecúción
especulativa” avanzada)
2014
27. 3| Historia
sony saca playstation now. Un servicio de cloud gaming
para jugar a juegos de consolas obsoletas. En realidad es
gaikai!!!2014
2014
orange anuncia cloud gaming service basado en G-cluster,
para su red de IPTV
nace shinra technologies, una
compañía de square enix
(japonesa) con headquarters en
new york2014
OTOY se empieza a ofrecer como maquina
dentro de AWS (redering + streaming). Ofrecen
un api diferente a directx para rendering rápido y
un streaming basado en un códec propio (ORBX 2
video códec)
2014
28. 3| Historia
sony compra onlive y a continuación la cierra. Sony has
purchased 140 cloud gaming patents and other technologies,
removing OnLive from the competition completely2015
2015
ciinow (americana) quiebra. Después de 3 años sin
conseguir un despliegue comercial en ningún operador, Se
decide discontinuar (ALU y AMD)
shinra (japonesa de square enix)
cierra en enero
2016
29. 29
3| Historia
Utilizado en pruebas para el proyecto de innovacion
“SmartStream” conjuntamente ALU y UPM, fruto del cual
nació el protocolo Q4S en 2011
30. 30
3| Historia
Ciinow: marzo 2012 en Telefónica
Ese mismo año también se hizo un piloto con
Orange España, usando LTE y red fija
CLOUD GAMING SURVEY
UPM Event (marzo 2012)
31. Agenda
1| Introducción : concepto y tipos
6| futuro y cuestiones abiertas
5| Estado del arte de la tecnología: problemas y soluciones
Cloud gaming
31
4| Jugabilidad (Gameplay): la QoE del gaming
2| negocio potencial
3| Historia e iniciativas comerciales
32. 4| Jugabilidad (Gameplay)
Gameplay is the specific way in which players interact with a game, and in particular
with video games. Gameplay is the pattern defined through the game
rules, connection between player and the game, challenges and overcoming
them, plotand player's connection with it. Video game gameplay is distinct from
graphics and audio elements. (esto ultimo es cuestionable pues afecta a las
emociones, que son un parámetro del gameplay)
Necesitamos saber como el cloud gaming impacta en el gameplay
(concretamente en las manipulation rules) para valorar si dicho
impacto (que siempre será negativo) impide o no que esta
modalidad de jugar despegue como negocio, o si como dice
Nintendo, sólo es válida para ciertos tipos de juegos
Motivo para comprender, analizar y medir el gameplay
componentes
Manipulation rules: como se interactúa
goal rules: qué hay que hacer
Metarules: como puede tunearse
Gameplay es diferente
según el tipo de juego
33. 4| Jugabilidad (Gameplay)
Mundo abiertoMundo cerrado
Shoot ‘em up
plataformas
RPG (role playing game)
MMORPG (Massive
Multiplayer Online role
playing game)
RTS (Real time strategy)
Beat em up
/Fighting /Accción
MMO (massive multiplayer online)
arcade aventuras
FPS (first person shooter)
TPS (Third person shooter)
Shooter
Puzzle
Simulación
Sports
racing
Mascotas, etc
Shoot ‘em upRun and gun
Tube shooter
FPS …
34. 34
4| Jugabilidad (Gameplay)
Es un término ambiguo con muchas definiciones según cada autor y tambien se solapa
con “playability” o facilidad de un juego de ser jugado
"Gameplay here is seen as the interactive gaming process of the player with the game."
"Playability and Player Experience Research" in Proceedings of DiGRA 2009.
http://www.digra.org/wp-content/uploads/digital-library/09287.44170.pdf
“The experience of gameplay is one of interacting with a game design in the performance
of cognitive tasks, with a variety of emotions arising from or associated with different
elements of motivation, task performance and completion”. "Dissecting Play –
Investigating the Cognitive and Emotional Motivations and Affects of Computer
Gameplay". Proceedings of CGAMES 08. http://bth.diva-
portal.org/smash/get/diva2:835951/FULLTEXT01.pdf
La jugabilidad es un conjunto de complementos que conforman un todo para hacer que un
videojuego sea agradable de jugar, en esto entra los controles, su respuesta, las
mecánicas jugables que ofrece, las opciones jugables y como esto afecta a la experiencia
en si, haciéndolo intuitivo, fácil de dominar por más complejo que sean las mecánicas que
el juego ofrece y no tiene nada que ver con la parte gráfica o sonido del juego.
Existe otra corriente que defiende que la calidad gráfica, artística y técnica influyen en la
jugabilidad pero en ningún momento cuantifican su influencia “how can we design user
interfaces to be more fun” (Ben Shneiderman, 2004)
35. 35
capacidad que tiene el videojuego en cuestión de hacernos disfrutar de su experiencia
interactiva; esto afectaría a las mecánicas jugables tales como disparar con una nave en
un matamarcianos o comer fantasmas en un comecocos(hay muchas más,
naturalmente), y a la dinámica interactiva en la que nos sumerge.
Ciertamente, unos gráficos espectaculares o un sonido de calidad son puntos a tener en
cuenta a la hora de valorar un videojuego ya que nos hace disfrutar mejor de la
experiencia que nos ofrece. Sin embargo, si la dinámica interactiva falla a la hora de
engancharnos de poco valdrán la espectacularidad de dichos elementos.
(www.razielwinner.com)
4| Jugabilidad (Gameplay)
Cómo medirla : 7 atributos
Playability se define como la facilidad que tiene un juego para ser jugado y es una
medida de la calidad del gameplay, a través de 7 atributos.
El hecho de incorporar un nuevo término es confuso. De hecho en muchas
ocasiones vemos igualados playability y gameplay
A modo de síntesis, podríamos decir que la jugabilidad es la capacidad de divertir y
enganchar que tiene un videojuego.
36. 36
4| Jugabilidad (Gameplay)
Los parámetros se afectan unos a otros. Una mejora en un atributo puede implicar una mejora
en todos los demás parámetros
atributo Relacionado con
medibles en
cloud gaming
Satisfacción
/diversión
Gustos, balance esfuerzo-recompensa. Ojo porque mantener el
balance implica tener en cuenta el aprendizaje del jugador
Aprendizaje Reglas del juego claras
Efectividad
correcta interactividad ( cuanto tiempo tardas en sacar la espada
y si eso hace que pierdas por que el juego no te permite
reaccionar rápido). hay juegos que requieren una mayor
precisión en el control (como son los juegos de plataformas) y
otros que ofrecen un mayor abanico de posibilidades de
interacción (como los RPG).
Latencia
compuesta ,
efectividad de
técnicas de
anticipación
Inmersión
percepciones y sensaciones creíbles, realismo y calidad grafica,
realismo de las fisicas, interacción con el terreno y con los
elementos del terreno. Posibilidades del interfaz (acciones),
Packet loss,
fps,resolucion,
compresion
Motivación: Esfuerzo recompensa, diversidad o monotonía, estimulación
emoción Gráficos, música, historia, esfuerzo-recompensa…
Socialización
Interactividad en juegos multijugador, escalabilidad de GaaS Latencia,
38. 38
4| Jugabilidad (Gameplay)
Ejemplos de “superficie
de experiencia” en dos
videojuegos diferentes
Evaluación (superficie de experiencia):
Evaluación típica en revistas especializadas:
No hay homogeneidad aunque suelen separar aspectos graficos y sonoros .
Aparecen conceptos como valor, curva, diversion…
39. 4| Jugabilidad (Gameplay)
Los atributos se afectan unos a otros y están ligados entre si . Cada atributo puede tener varias
métricas lo que hace dificil evaluarlos. JL. Sanchez (2010) propone la caracterización con facetas
de la jugabilidad, que tienen en cuenta los atributos y sus métricas, las facetas tienen la ventaja
de tener un ámbito bien delimitado. También propone una medida de la jugabilidad que sería
la suma ponderadacada faceta en funcion del tipo de juego
Evaluación basada en “facetas”
Jugabilidad intrinseca
Jugabilidad mecanica
Jugabilidad interactiva
Jugabilidad artistica
Jugabilidad intrapersonal
Jugabilidad interpersonal
40. 40
4| Jugabilidad (Gameplay)
impacto del cloud gaming en el gameplay
Parametros técnicos limitados
por cloud gaming
Atributos relacionados Facetas relacionadas
fps Afecta a la satisfacción, emoción,
inmersión, efectividad
Jugabilidad mecánica
Resolución /bitrate Satisfacción, inmersión, emoción Jugabilidad artística
Latencia de red, latencia
de codificación
Afecta a la interactividad (parte de
la efectividad)
Jugabilidad interactiva
Limitación de escalabilidad
(debida a latencias)
Afecta a la socialización (se utilizan
tecnicas de “partitioning” para
juntar en “islas” los usuarios que
pueden comunicarse fluidamente
entre si)
Jugabilidad interpersonal
Mecanismos de
anticipación
Afecta a la interactividad (parte de
la efectividad) y a la socialización
Jugabilidad intrapersonal
e interpersonal
Solo se queda fuera la jugabilidad intrínseca, que depende de las reglas del juego
41. 4| Jugabilidad (Gameplay)
impacto de la reducción de fps y calidad en cloud gaming en el
gameplay
Mas fps implican mas recursos cloud y mayor ancho de banda
Menos fps generan mala QoE y mayor dificultad
12 20 30 60
Percibimos
los frames
No Percibimos los
frames pero es
algo brusco
Suave pero en
videos de alto
movimiento
puede ser
insuficiente
suave
Cine: 24 Cine alta calidad: 48
42. 42
4| Jugabilidad (Gameplay)
impacto de la reduccion de fps y calidad en cloud gaming en el
gameplay : satisfacción, emoción, inmersión, efectividad
43. 43
4| Jugabilidad (Gameplay)
impacto de la reduccion de fps y calidad en cloud gaming en el
gameplay : satisfacción, emoción, inmersión, efectividad
44. 44
4| Jugabilidad (Gameplay)
QUESTION 1
Have you noticed loss on graphics
quality with respect to PC or
console?
QUESTION 2
Have you noticed slower time response on key pads with
respect to PC or console?
QUESTION 3
Has it been a new good experience?
CLOUD GAMING SURVEY
UPM Event (marzo 2012)
35 students from UPM*, between 19 and 23 years-old: 3 hardgamers, 32 casual
6 games available, hosted in CiiNow platform in a Telefonica Data Center in Madrid
3 players simultaneously, each using 6Mbps
45. Agenda
1| Introducción : concepto y tipos
6| futuro y cuestiones abiertas
5| Estado del arte de la tecnología: problemas y
soluciones
Cloud gaming
45
4| Jugabilidad (Gameplay): la QoE del gaming
2| negocio potencial
3| Historia e iniciativas comerciales
46. 5| estado del arte: problemáticas
Tabla resumen de Problemas y soluciones parciales
problema Solución parcial comentario
Calidad de red
( Latencia de red y
pérdida de paquetes)
Q4S, N-QoS, IPTV La solución mas fácil (y única
que se ha llevado a cabo
comercialmente) es usar la
red de IPTV
Latencia de
codificación
LHE, OTOY codec, ancho de banda
mayor, mayor potencia de calculo,
tecnicas adaptativas de resolucion,
motor de juego modificado para
ahorrar tiempo de cálculo de vectores
Un códec mas rápido puede
ahorrar inversiones
millonarias en servidores
ubicados en la ultima milla
Latencia total Ejecución especulativa, modelo LR o
CRA,Inversion en la ultima milla.
Técnicas de “partitioning” (islas)
Hacerle creer al usuario que
su respuesta es inmediata
Pérdida de paquetes Q4S, A-QoS, adaptacion dinamica de
bitrate y/o resolución y/o fps
Según que códec, hay
limitaciones respecto lo que
es posible hacer
47. 5| estado del arte: problema calidad de red
Caracterización del tráfico de vídeo interactivo (capturas wireshark)
Conclusión: la multiplexación estadística de los flujos de video de
los usuarios es posible sin reserva estricta de recursos = “donde
caben 2, caben 3”, por lo tanto la reserva estática de ancho de
banda no es adecuada como posible solución, es más eficiente la
“calidad dinámica bajo demanda”
48. Caracterización del tráfico de vídeo interactivo
Dirt 2
Defense Grid Gold
(Estrategia 3D)
5| estado del arte: problema calidad de red
49. 49
Private Network
(IPTV)
Internet
Content provider
Contents & applications
Operator
Contents & applications
QoS
. . .
Fixed or mobile user
5| estado del arte: soluciones: Q4S + N-QoS
Rol de los operadores: Vender contenidos versus
vender calidad dinámica bajo demanda
50. 50
5| estado del arte: soluciones: Q4S + N-QoS
Q4S: measurement of quality
latency jitter bandwidth packetloss
4 rings to rule them all
53. 53
Q4S: un protocolo para medir calidad en tiempo real . La idea es solicitar al operador mas
calidad solo cuando sea necesaria, de modo que el operador nos venda calidad dinámica
bajo demanda (Network-based QoS) , y los juegos los proporcionen terceras empresas , no
el operador.
5| estado del arte: soluciones: Q4S + N-QoS
54. 54
Para calcular la latencia de codificación/decodificación de Streammygame
añadimos como “juego” un reloj y hacemos una foto a las dos pantallas
simultáneamente. Puesto que estamos en la misma red la latencia de red es casi
cero y la diferencia entre los relojes será aproximadamente la latencia de
codificación/decodificación:
5| estado del arte: problema latencia codificación
40
ms
30
ms
Nota: la imagen de un reloj es sencilla y
poco movimiento salvo en los
milisegundos. Una imagen compleja podría
tardar mucho mas
55. 55
Huyes, pero no huyes realmente hasta
130ms +80ms =210ms después de que te
disparasen
80ms
El disparo sale realmente 20
ms después
Te enteras de que te han disparado
40+80+10=130ms después de que lo
han hecho
20ms 80ms + video decoding
40ms Video
encoding
Cuanto Tiempo tienes para huir?
5| estado del arte: problema latencia codificación
56. 56
5| estado del arte: problema latencia codificación
Codificación de video: etapas
Calculo
vectores
streamingInfo diferencial encoding
• Division en bloques
• Transformacion DCT
• cuantizacion
Block matching
Frames I
Frames P
Frames B (no válidos)
Relleno de
estructura info
para Payloader
60% 30%
57. 5| estado del arte: soluciones : OTOY codec
Solucion propietaria
59. 59
Los valores que se alegran del brillo
medio “local” se interpretan con menos
precisión, ya sea por exceso (izquierda)
o por defecto (derecha)
h1 min
=4
h1 max
Zona lisa o suave
borde
X
Rango de
variación
de h1
5| estado del arte: soluciones :LHE
62. 62
Lena @ 0.1bpp JPEG, LHE, JP2K
62
5| estado del arte: soluciones :LHE
63. 63
No hay efecto de bloques en LHE porque los
bloques comparten los PPP en las esquinas y
no hay saltos de resolución
No hace falta deblocking filter como se hace
en h264 intraframe
JPEG y LHE a 0.3bpp
hay efecto de bloques en JPEGporque
hay saltos de cuantización de las
componentes de las distintas frecuencias
entre bloques
5| estado del arte: soluciones :LHE
64. 64
5| estado del arte: soluciones :LHE
1st
LHE
New frame
(Y2)
PR
metric
Elastic
Downsampling
Differential
Frame info
2nd
LHE
Δy
Interpol (Y1’’)
Vector
computation
Y2’
Δy= y2’- interp(y1’’)
Y2’’
Y1’’
{wi}
Bloque de
Frame Y2
Bloque de
Frame Y1
Antes de calcular la info diferencial
debemos adaptar resoluciones con
una interpolación por vecino (sin
coste)
Δy= y2’- interp(y1’)
Yi’: submuestreada sin cuantizar
Yi’’: submuestreada cuantizada
65. 5| estado del arte: soluciones: motores “especiales”
Un motor que envia información al video encoder sobre el movimiento de los objetos de
la escena, simplificaría los cálculos, reduciendo hasta un 39% el encoding time. EL
problema es que el juego tiene que estar programado con ese motor…
66. 66
5| estado del arte: problema inmediatez
Por debajo de 60ms de red, considerando 40ms de encoding, es molesto
67. 5| estado del arte: soluciones: ejecución especulativa
“Ejecución especulativa” o mecanismos de “compensación de latencia”
Solo aplicable si el rendering se ejecuta en el lado cliente.
Básicamente consiste en hacer creer al usuario que su acción ha sido tenida en
cuenta aun cuando el server aun no ha recibido el mensaje
Es “especulativa” por que puede que cuando el mensaje llegue al servidor haya
que deshacer la acción.
La desincronización es corregida cuando el cliente recibe el game state desde el
server. Si es necesario “arreglar” la situación, se involucran mecanismos
“suaves”, para que el usuario no sea del todo consciente de un cambio brusco en
el juego
Duke Nukem 3D fue el primer juego
online en aplicar esta técnica en
1996
68. 68
5| estado del arte: problema pérdida paquetes
Reajuste de bitrate: normalmente es posible
Solicitud de N-QoS al operador: a dia de hoy no se hace
Reajuste de resolución: los codecs convencionales no lo permiten (LHE si)
Reajuste de fps: el impacto puede ser muy negativo si bajamos de 20fps
Los mecanismos de videostreaming adaptativo (como HLS o smooth streaming) no son
aplicables porque en cloud gaming no hay retransmisiones ni tenemos el video
almacenado en distintas resoluciones
69. 69
5| estado del arte: problema pérdida paquetes
12 20 30 fps
Bitrate
Resolution
Como manejar las 3 dimensiones
maximizando el gameplay? ( QoE del
videojuego y no QoE del video) codec
actuador Métricas Q4S
fps, bps, res
70. 5| estado del arte: soluciones adaptar resolución vs
bitrate
Reducción de bitrate: 0.1bpp
Reducción de resolución
(menos bloques, mas
precisos) . 0.4bpp
interpolación
Imagen original
512
256
71. Agenda
1| Introducción : concepto y tipos
6| futuro y cuestiones abiertas
5| Estado del arte de la tecnología: problemas y soluciones
Cloud gaming
71
4| Jugabilidad (Gameplay): la QoE del gaming
2| negocio potencial
3| Historia e iniciativas comerciales
72. 5| futuro y cuestiones abiertas
Q4S + A-QoS + N-QoS + LHE
Usando gaming anywhere
Google Cloud Platform synchronizes
data across mobile, console, and PC,
and lets you orchestrate your game
centrally from the cloud.
(de Amazon)
Nintendo va a entrar en cloud
gaming en marzo de 2017?
73. 5| futuro y cuestiones abiertas
•Información negocio
•Asociacion española de videojuegos http://www.aevi.org.es/
•Tools:
• GamingAnywhere: http://gaminganywhere.org/
•Streammygame : http://streammygame.com/smg/index.php
•Sobre LHE
•Presentacion sobre el codec : http://ceiboard.dit.upm.es/rsti/?p=348
•Proyecto Github https://github.com/magonzalezc/LHE branch: lhe_develop
• Articulo IET image processing Journal: http://digital-
library.theiet.org/content/journals/10.1049/iet-ipr.2014.0421
•Sobre Q4S
•Q4S video http://www.youtube.com/watch?v=dzhFO3jsnic
•Q4S protocol https://tools.ietf.org/pdf/draft-aranda-dispatch-q4s-03.pdf
Enlaces de interés
Notes de l'éditeur
“Por supuesto, hay algunos juegos en los que este retardo no afecta a la jugabilidad y en los que este sistema podría tener sentido. Sin embargo, en algunos géneros, como en los títulos de acción, el tiempo de reacción es crítico y el ‘frame rate’ es determinante para que los movimientos sean fluidos. Con esto quiero decir que hay cierto tipo de juegos que pueden jugarse desde Internet y otros que no·
Satisfacción/diversion (relacionado con los gustos y también con el balance esfuerzo recompensa). Ojo porque para mantener el balance hay que tener en cuenta el aprendizaje del jugador. Hay juegos que esconden una mala relacion esfuerzo-recompensa bajo la elección de niveles de dificultad. Es un tema delicado
Aprendizaje: la curva de aprendizaje del jugador aumenta y en proporcion debe aumentar la dificultad
Efectividad: capacidad del juego para entretener, no para ejecutar rápido una tarea pues un objetivo es mantener al jugador jugando el mayor tiempo posible. Esta ligado a la interactividad ( cuanto tiempo tardas en sacar la espada y si eso hace que pierdas por que el juego no te permite reaccionar rápido)
Inmersión : que proporcione sensaciones creibles, aunque no sean exactas a las del mundo real. Relacionada con la “Jugabilidad Perceptiva”: sensaciones que causa, aquí se puede incluir la calidad grafica
Motivación: muy relacionado con esfuerzo recompensa
Socialización o Jugabilidad Interpersonal (juegos multijugador)
Flexibilidad/personalizacion
Jugabilidad mecanica: fluidez de las escenas, movimientos, sonido, sistemas de comunicación multijugador
Jugabilidad interpersonal: conciencia de grupo, sensaciones al jugar en cooperacion o unos contra otros
https://www.youtube.com/watch?v=zL5kOyHWI_E
https://www.youtube.com/watch?v=zL5kOyHWI_E
https://www.youtube.com/watch?v=zL5kOyHWI_E
Respuesta logarítmica al estimulo luminoso
El ojo lo que detecta son variaciones lumínicas respecto del brillo de fondo y transforma estímulos luminosos en información sensorial que envía al cerebro. La respuesta del ojo no es proporcional al estimulo sino que la información sensorial es logarítmica. Esto significa que Para Percibir el doble de luz hace falta en realidad 10 veces mas luz.
Para modelar esto hacen falta dos cosas. en primer lugar estimar cual es el brillo de fondo que a la vez va a ser la predicción del brillo que hare para cualquier pixel y en segundo lugar cuantificar logarítmicamente la diferencia de la señal con ese brillo de fondo.
Para estimar el brillo de fondo hay varias posibles estrategias pero la que mejor resultado da es la media ponderada entre el pixel situado a la izquierda y el superior derecha. Esto proporciona un valor estimado que esta centrado en el eje X. Lo ideal sería también centrar la predicción en el eje Y pero LHE funciona escaneando pixel a pixel, scan line a scanline y los pixels inferiores no están disponibles de modo que opto por utilizar la opción b
----
Si considerásemos en la predicción el izq y superior, la predicción seria correcta para la esquina entre ambos pixels que es donde se encuentra el punto medio, pero teniendo en cuenta el izq y el supedere el punto medio se encuentra mas cerca del pixel que queremos predecir y por consiguiente nuestra predicción es mejor
Respuesta logarítmica al estimulo luminoso
El ojo lo que detecta son variaciones lumínicas respecto del brillo de fondo y transforma estímulos luminosos en información sensorial que envía al cerebro. La respuesta del ojo no es proporcional al estimulo sino que la información sensorial es logarítmica. Esto significa que Para Percibir el doble de luz hace falta en realidad 10 veces mas luz.
Para modelar esto hacen falta dos cosas. en primer lugar estimar cual es el brillo de fondo que a la vez va a ser la predicción del brillo que hare para cualquier pixel y en segundo lugar cuantificar logarítmicamente la diferencia de la señal con ese brillo de fondo.
Para estimar el brillo de fondo hay varias posibles estrategias pero la que mejor resultado da es la media ponderada entre el pixel situado a la izquierda y el superior derecha. Esto proporciona un valor estimado que esta centrado en el eje X. Lo ideal sería también centrar la predicción en el eje Y pero LHE funciona escaneando pixel a pixel, scan line a scanline y los pixels inferiores no están disponibles de modo que opto por utilizar la opción b
----
Si considerásemos en la predicción el izq y superior, la predicción seria correcta para la esquina entre ambos pixels que es donde se encuentra el punto medio, pero teniendo en cuenta el izq y el supedere el punto medio se encuentra mas cerca del pixel que queremos predecir y por consiguiente nuestra predicción es mejor
Esta imagen es muy interesante. Aparece un tono gris claro y un tono gris mas oscuro. Sin embargo son el mismo tono
Aunque los dos tonos de gris son idénticos percibimos como mas claro el izquierdo. Es debido a la acomodación al brillo medio del ojo humano. Debido a las franjas blancas y negras el brillo medio de la izquierda es diferente al de la derecha y el ojo percibe bien variaciones cercanas al brillo medio pero percibe con error (ya sea exceso o defecto) variaciones que se alejan del brillo medio. El ojo es en realidad sensible a solo 50 tonos de gris alrededor del brillo medio (las famosas 50 sombras de grey--- que muchos conoceréis como el titulo de una novela y película)
El brillo medio de la izquierda es mayor por encontrase delimitado por franjas blancas. Es un gris medio pero el ojo le asigna un valor erróneo mas brillante del que le corresponde.
En el caso derecho ocurre lo contrario, solo que el error que comete el ojo es hacia un brillo mas oscuro. Siempre que un tono se aleja del brillo medio se pierde precisión en su interpretación por el ojo, ya sea por exceso o por defecto.
También ocurre que un tono muy oscuro es percibido como un negro en las cercanías del blanco, en ese caso se comete un error por defecto,
Lo que hace LHE es ganar precisión cuando el brillo medio se estabiliza, compactando los hops entorno al brillo medio. Para ello ira reduciendo el valor de H1 desde un valor máximo (10) hasta el umbral mínimo de detección que hemos dicho anteriormente que es 4. Si de repente el tono a codificar se aleja mucho (un borde) asignaremos automáticamente el valor máximo de h1 que puede ser 10 , para lograr codificar con mejor precisión valores lejanos y los hops se EXPANDIRAN de nuevo
----
La calidad es intermedia pero la complejidad es la mas baja
Ademas es estrictamente lineal tal como se demuestra en ejecuciones secuenciales con un prototipo java
La limitacion es que no hemos elegido cuanto queríamos comprimir, solo disponemos de un ratio que además no escogemos