1. Πάντα ρει και
ουδεν μενει
— Ηρακλειτος

2. Arquitectura Software
de Comunicaciones para
Sistemas Distribuidos Críticos con
Requisitos de Tiempo Real Estrictos
Autor: Santiago Urueña Pascual
Director: Juan Zamorano Flores
Universidad Politécnica de Madrid (UPM)
Tesis doctoral
2011-04-06

3. Contenidos
 Antecedentes
 Motivaciones
 Soluciones propuestas
 Meta-enlazador
 AR-TP
 Ravenscar distribuido
 Validación resultados
 Conclusiones

4. Contenidos
 Antecedentes
 Motivaciones
 Soluciones propuestas
 Meta-enlazador
 AR-TP
 Ravenscar distribuido
 Validación resultados
 Conclusiones

5. Antecedentes
 Grupo de investigación STRAST
 Proyecto ASSERT
 Liderado por la ESA
 6º Programa Marco UE
 2004-2008

6. Software para satélites
de próxima generación

7. Certificación
Software de alta integridad
Validación y Verificación
Niveles de integridad

8. Aviónica Modular
Integrada (IMA)
Certificación independiente:
aislamiento temporal y espacial

9. Perfil de Ravenscar
 IRTAW 1997
 Industria
 Universidad
 Organismos reguladores
 Certificable
 Basado en análisis planificación

10. Perfil de Ravenscar
 Programación concurrente
 Altas prestaciones
 No interbloqueos
 Open Ravenscar Kernel (ORK)

11. Todo fluye, nada es
— Heráclito

12. Contenidos
 Antecedentes
 Motivaciones
 Soluciones propuestas
 Meta-enlazador
 AR-TP
 Ravenscar distribuido
 Validación resultados
 Conclusiones

13. Máquina Virtual de
ASSERT
 Núcleo de tiempo real
 Aviónica Modular Integrada
(IMA)
 Middleware de alta integridad

14. Máquina Virtual de
ASSERT
 Plataformas de pruebas:
 PC-104 / Ethernet
 LEON2 / SpaceWire

15. CPU resistentes a la
radiación
 CPU lentas (e.g. 20 Mhz)
 Poca memoria (e.g. 2 MB RAM)

16. Objetivos de la tesis
 ORK particionado
 Ravenscar distribuido

17. Middleware de alta
integridad
 Comunicación de tiempo real
estricto sobre redes no
deterministas
 Ravenscar distribuido

18. Aviónica Modular
Integrada (IMA)
 Aislamiento temporal
 Aislamiento espacial

19. LEON2 Radiation-Hardened CPU
Restricted
Run-Time System
Communications layer
Low-Level driver Open Ravenscar Kernel
Ravenscar-Compliant Application

20. Restricted Middleware
LEON2 Radiation-Hardened CPU
Restricted
Run-Time System
AR-TP
Low-Level driver Open Ravenscar Kernel+
Ravenscar-Compliant Application

21. Plataforma de
ejecución
 Núcleo de separación
 Middleware restringido
 Ravenscar distribuido
 AR-TP

22. Contenidos
 Antecedentes
 Motivaciones
 Soluciones propuestas
 Meta-enlazador
 AR-TP
 Ravenscar distribuido
 Validación resultados
 Conclusiones

23. Restricted Middleware
LEON2 Radiation-Hardened CPU
Restricted
Run-Time System
AR-TP
Low-Level driver Open Ravenscar Kernel
Ravenscar-Compliant Application

24. Restricted Middleware
LEON2 Radiation-Hardened CPU
Restricted
Run-Time System
AR-TP
Low-Level driver Open Ravenscar Kernel
Ravenscar-Compliant Application

25. Aviónica Modular
Integrada (IMA)
Certificación independiente:
aislamiento temporal y espacial

26. CPU resistentes a la
radiación
 CPU lentas (e.g. 20 Mhz)
 Poca memoria (e.g. 2 MB RAM)
 Sin MMU
 No traducción de direcciones
hardware

29. Cadena de compilación
actual
source code object codecompiler linker
kernel
executable
*.adb *.c *.exe*.o
*.a

30. Script de compilación
a medida
source code object codecompiler linker
ASIS tool
kernel
executable
*.adb *.c *.exe*.o
*.a
custom
linking script
*.ld

31. Meta-enlazador
source code
partition 1
object code
partition 1
compiler linker
binary
partition 1
meta-linker
kernel
executable
source code
partition N
object code
partition N
compiler linker
.
.
.
.
.
.
*.adb *.c
*.exe
*.o
*.a
*.o

32. Meta-enlazador
 Protección de memoria hardware
 Menos sobrecarga de CPU:
 RTOS sencillo (e.g. sin cargador)
 No traducción de direcciones hw
 Menos requisitos de energía
 Determinismo: sin MMU / TLB

33. Certificación
independiente
 El binario de cada partición es
independiente
 Meta-enlazador: herramienta
cualificada
 Código independiente de la posición

34. Código independiente de
la posición (PIC)
 Analísis huella en memoria
 Prototipo de meta-enlazador
 Mediciones tiempo de cómputo
 Diseño FDPIC ABI para SPARC

35. Restricted Middleware
LEON2 Radiation-Hardened CPU
Restricted
Run-Time System
AR-TP
Low-Level driver Open Ravenscar Kernel
Ravenscar-Compliant Application

36. Platforma distribuida
de pruebas
 Demonstradores de ASSERT
 Sistemas distribuidos
 Half-duplex Ethernet

37. Ethernet de
tiempo real
 Control de acceso al medio no
determinista
 Modificación protocolo MAC
 Switched Ethernet
 Modelado de tráfico
 Control de transmisión

38. AR-TP
 Arbitrated Real-Time Protocol
 Basado en RT-EP
(Universidad de Cantabria)
 Paso de testigo

39. RT-EP
Token [p]

40. ER-TP
 Análisis del tiempo de respuesta
 Ancho de banda reducido
 No protección a congestiones

41. AR-TP
 Múltiples mensajes por ciclo
 Reducción mensajes de
arbitraje
 Prioridad dual
 Caducidad mensajes

42. AR-TP

43. AR-TP
 Análisis del tiempo de respuesta
 Mayor ancho de banda
 Control de congestión

44. Restricted Middleware
LEON2 Radiation-Hardened CPU
Restricted
Run-Time System
AR-TP
Low-Level driver Open Ravenscar Kernel
Ravenscar-Compliant Application

45. Encuesta a ingenieros
aeroespaciales
 Comunicación de tiempo real
estricto y flexible
 10 preguntas
 Características deseables

46. Ravenscar distribuido
 Anexo de Sistemas Distribuidos
(DSA)
 Extensión de Ravenscar
 Restricciones obligatorias
 Restricciones opcionales

47. Restricciones
obligatorias del
Middleware
 Número de nodos estático
 No conexiones dinámicas
 Inicialización coordinada
 No comunicación implícita

48. Restricciones
obligatorias del
Middleware
 No objetos protegidos compartidos
 No punteros a memoria compartida
 No punteros remotos a clase
 No llamadas concurrentes a la
misma operación remota

49. Restricciones
opcionales del
Middleware
 No tipos acceso remotos
 No llamadas remotas anidadas
 No llamadas síncronas
 Parámetros remotos acotados

50. Perfil de Ravenscar
distribuido
 Middleware certificable
 Basado en tiempo de respuesta
holístico
 No interbloqueos distribuidos,
pocos recursos…
 Estancia en AdaCore NY

51. Ravenscar distribuido
 Análisis tiempo respuesta
aplicaciones
 Análisis estático aplicaciones
 Middleware simplificado

52. Restricted Middleware
LEON2 Radiation-Hardened CPU
Restricted
Run-Time System
AR-TP
Low-Level driver Open Ravenscar Kernel
Ravenscar-Compliant Application

53. Contenidos
 Antecedentes
 Motivaciones
 Soluciones propuestas
 Meta-enlazador
 AR-TP
 Ravenscar distribuido
 Validación de resultados
 Conclusiones

54. Validación
 Prototipo de meta-enlazador
 Huella en memoria
 Tiempo de ejecución

55. Validación

56. Validación
 Thales Alenia Space y Astrium
 Demostradores:
 HRI: satélites de larga duración
 MPC: flotas de satélites
 MA3S: naves no tripuladas

57. Contenidos
 Antecedentes
 Motivaciones
 Soluciones propuestas
 AR-TP
 Ravenscar distribuido
 Meta-enlazador
 Validación resultados
 Conclusiones

58. Meta-enlazador
 Particionamiento memoria seguro
y eficiente sistemas empotrados
 Análisis PIC en SPARC
 Nueva FDPIC ABI

59. AR-TP
 Evolución RT-EP
 Mejora de prestaciones
 Control de congestiones

60. Ravenscar distribuido
 Middleware certificable
 Análisis de tiempo de respuesta
aplicaciones
 Paradigmas de comunicación
adecuados

61. Contribuciones
Aportaciones teóricas
 Análisis Ravenscar y DSA
 Modelado AR-TP

62. Contribuciones
Aportaciones metodológicas
 Diseño de un DSA de tiempo real
 Restricciones middleware

63. Contribuciones
Aportaciones prácticas
 Implementación capa de
comunicaciones certificable
 Prototipo de meta-enlazador

64. Publicaciones
 “A restricted middleware profile for high-integrity distributed
real-time systems” (2009)
 “Communication paradigms for high-integrity distributed
systems with hard real-time requirements” (2008)
 “The ASSERT Virtual Machine: A predictable platform for
real-time systems” (2008)
 “A new approach to memory partitioning in on-board
spacecraft software” (2008)
 “Building high-integrity distributed systems with Ravenscar
restrictions” (2007)
 “Implementing the new Ada 2005 real-time features on a
bare board kernel” (2007)
 “Schedulability analysis of AR-TP, a Ravenscar compliant
communication protocol for high-integrity distributed
systems” (2006)
 “The arbitrated real-time protocol (AR-TP): A Ravenscar
compliant communication protocol for high-integrity
distributed systems” (2006)
 “Adding new features to the Open Ravenscar Kernel” (2005)

65. gracias
merci
спасибо
grazie
thanks

66. The important thing is
not to stop questioning
— Albert Einstein

67. Restricted Middleware
LEON2 Radiation-Hardened CPU
Restricted
Run-Time System
AR-TP
Low-Level driver Open Ravenscar Kernel
Ravenscar-Compliant Application

68. Proyecto ASSERT
Desarrollo basado en modelos
[Sistemas embarcados en satélites]
Generación automática de código
[HRT-UML, AADL]
Separación de problemas
[Aspectos funcionales frente a no funcionales]

69. Proyecto ASSERT
Composición y preservación de
propiedades
[Metamodelo RCM]
Transformación automática
[Patrones de código]
Máquina Virtual ASSERT
[RT-Kernel + middleware restringido]

70. Bonus section

71. Aislamiento temporal
 Manejo de violaciones del WCET
 Monitorización de los plazos
 Forzar tiempo entre llegadas

72. Publicaciones
 Urueña, S., Zamorano, J., de la Puente, J. A. (2009). “A restricted middleware profile for
high-integrity distributed real-time systems”. Ada-Europe 2009
 Urueña, S., Zamorano, J., Pulido, J. A., de la Puente, J. A. (2008). “Communication
paradigms for high-integrity distributed systems with hard real-time requirements” (DIPES
2008)
 de la Puente, J. A., Zamorano, J., Pulido, J. A., Urueña, S. (2008). “The ASSERT Virtual
Machine: A predictable platform for real-time systems”. IFAC 2008
 Urueña, S., Pulido, J. A., López, J., Zamorano, J., de la Puente, J. A. (2008). “A new
approach to memory partitioning in on-board spacecraft software”. Ada-Europe 2008
 Urueña, S. Zamorano, J. (2007). “Building high-integrity distributed systems with ravensca
restrictions”. Ada Letters, XXVII(2)
 Sánchez, V. (2007). Desarrollo de un protocolo de comunicación determinista para
sistemas de tiempo real críticos. Proyecto fin de carrera, ETSIT-UPM. Tutor: Santiago
Urueña Pascual
 Urueña, S., Pulido, J. A., Redondo, J., Zamorano, J. (2007). “Implementing the new Ada
2005 real-time features on a bare board kernel”. Ada Letters, XXVII(2)
 Urueña, S., Zamorano, J., Berjón, D., Pulido, J. A., de la Puente, J. A. (2006). “Schedulability
analysis of AR-TP, a Ravenscar compliant communication protocol for high-integrity
distributed systems.” IPDPS06
 Urueña, S., Zamorano, J., Berjón, D., Pulido, J. A., de la Puente, J. A. (2006). “The arbitrated
real-time protocol (AR-TP): A Ravenscar compliant communication protocol for high-
integrity distributed systems”. Ada-Europe 2006
 Urueña, S., Pulido, J. A., Zamorano, J., de la Puente, J. A. (2005). “Adding new features to
the Open Ravenscar Kernel”. OSPERT 2005.

73. Cyclic executives
 Minimal code to certify
 Correct by construction
 Easy error detection

74. Cyclic executives
 No sporadic tasks
 Scalability: NP hard problem
 Hard to implement & maintain

75. ¿Paradigmas de
comunicación
adecuados?
 Paso de mensajes
 Memoria compartida distribuida
 Llamada a procedimiento remoto
 Invocación de método remoto
 Publicar/Suscribir






76. Ravenscar profile
pragma Restrictions (
No_Abort_Statements,
No_Task_Allocators,
No_Task_Hierarchy,
Simple_Barriers,
Max_Entry_Queue_Length => 1,
Max_Protected_Entries => 1,
...);

77. Beyond TTA
 Time Triggered Architecture
 Robustness · global clock
 Fault tolerance · specific hw

78. Beyond TTA
 Distributed “cyclic executive”
 No sporadic messages
 Hard to develop & maintain

79. Ravenscar
& multicores?
 Defined for monoprocessors
 SMP sched policies: indeterminism
 Memory consistency models
 sequential consistency
 relaxed consistency
 transactional memory

80. Ravenscar
& multicores?
 A Ravenscar partition per core
 Special-purpose DSA
 No locks in protected objects
 Interrupt affinity to fixed CPU

81. “A Safety-Critical system has to be based
 on technology that supports predictability in
the time domain, and
 the development process has to provide tools
for verifying the correctness of the timing.”
— Alan Burns &
Peter Puschner

82. Myth #1:
Software is easy
to change

83. Real-time systems
Timeliness computation

84. Myth #2:
real-time computing
means fast hardware

85. Real-time systems
 Periodic tasks (time triggered)
 Sporadic tasks (event triggered)

86. Real-time
requirements
 Hard real-time
 Soft real-time
 ...

87. Hard real-time

88. Soft real-time

89. Myth #3:
Hard real-time
means safety-critical

90. (Summary…)
 High-Integrity = Certification
 Real-Time: software issue
 Periodic / Sporadic tasks
 Hard Real-Time ≠ Safety-critical

91. Aislamiento espacial
 Particiones virtuales
 Protección de memoria
Hardware
 Unidad de gestión de memoria
(MMU)

92. Everything flows,
nothing stands still
— Heraclitus

93. Real-time theory
 Response time analysis
 Tasks & shared resources
 Several RT schedulability policies
 Schedulability analysis
 Worst case

94. Espectro de RTOS
QNX
RT Linux
VxWorks 653
LynxOS 178
ORK
RTEMS
Complejidad SSOO

95. Strong methods
 Ravenscar Computational Model
 Specification languages: Z, B…
 Static analysis: pragma Restrictions
 RapiTime, gnatstack, gnatcheck,
gnatsync, Spark examiner…

96. Traditional vs. Strong
methods
 Restricted functionality
 simplified code
 Static analysis
 not just testing!

97. Myth #4:
strong methods are
more expensive than
traditional methods

99. Supply and demand
Offre et demande
Oferta y demanda
Domanda e offerta
Закон спроса и предложения

103. ASSERT:
Automated proof-based
System and Software
Engineering for
Real-Time Systems

104. (Summary…)
 High-Integrity = Certification
 Real-Time: software issue
 Hard Real-Time ≠ Safety-critical
 Strong methods: cost effective
 Ravenscar = certification

105. Everything flows,
nothing stands still
— Heraclitus

106. Temporal
isolation

107. Temporal isolation
 Ada 2005 timing services
 CPU clocks
 CPU timers
 Timing events
(Ravenscar violation!)

108. WCET_Timer : Ada.Execution_Time.Timers.Timer(…);
task body Periodic_Task is
Next_Activation : Ada.Real_Time.Time := Epoch;
begin
loop
WCET_Timer.Set_Handler
(In_Time => My_WCET_Budget,
Handler => My_Monitor.Overrun_Handler'Access);
delay until Next_Activation;
Do_Actual_Work;
Next_Activation := Next_Activation + My_Period;
end loop;
end Periodic_Task;

109. Adding it to Ada?
 pragma WCET
 pragma Interarrival
 Ada.Dispatching
.Delay_Until (…)

110. task body Periodic_Task is
Next_Activation : Ada.Real_Time.Time := Epoch;
pragma Relative_Deadline (My_Deadline);
pragma WCET (My_WCET_Budget);
begin
loop
Ada.Dispatching.Delay_Until (Next_Activation);
Do_Actual_Work;
Next_Activation := Next_Activation + My_Period;
end loop;
end Periodic_Task;

111. Spatial isolation

112. Everything flows,
nothing stands still
— Heraclitus

113. Myth #5:
increasing software
reliability means
increasing system safety

115. RMI problems
 References to distributed
objects can change
 Dynamic connections
 No one server thread per object
 Priority inversion

116. DSM problems
 Transparency to the
programmer…
 …so modelization problems
 RTA is not straighforward

117. Simplified
run-time system
 Blocking time minimization
 High-performance
 Low footprint

118. Other approaches to
memory isolation
 Static analysis
 Spark integrity annotations
 Run-time checks
 New Ada checks (access dereference)
 Hardware memory protection
 Fence registers

119. Current
compilation toolchain
source code object codecompiler linker
kernel
executable
*.adb *.c *.exe*.o
*.a

120. Meta-linker
source code
partition 1
object code
partition 1
compiler linker
binary
partition 1
meta-linker
kernel
executable
source code
partition N
object code
partition N
compiler linker
.
.
.
.
.
.
*.adb *.c
*.exe
*.o
*.a
*.o

121. Future work
 No CPU-mode changes
 Systems High criticality apps
only:
 Supervisor mode (kernel & apps)
 Between criticality levels:
 Spark + Integrity annotations

122. Protection summary
 Systems High+Low criticality
apps:
 Supervisor (kernel) + user mode
 Between partitions:
 Fence registers + PIC
 Distributed Systems Annex
 Inside partitions:
 Spark, Ravenscar
 Run-time checks

123. Πάντα ῥεῖ καὶ
οὐδὲν μένει
— Ηρακλειτος