Mit Performance-Modellierung Test- und Betriebskosten senken

1 #Dynatrace
Live Webinar: RETIT
Mit Performance-Modellierung Test- und
Betriebskosten senken
Peter Zahrer
Produktmanager
Dynatrace
Dr. Andreas Brunnert
CEO
RETIT

2 #Dynatrace
Dynatrace ist …
Gartner Magic Quadrant

3 #Dynatrace
Performance
bottlenecks fixed
x
FASTER
Csanád MELEGH
Head of IT Operations
Kunden sagen …

4 #Dynatrace
Compuware Confidential – Do Not Duplicate
Crystal Clear Visibility
80% Back-Office Performance
Improvement
30% Faster Check-Out
Rene NEUBACHER
B2C eBusiness Sr Tech Consultant
Kunden sagen …

5 #Dynatrace
Kunden sagen …
80% Faster
Time to
Market
Frank NAUMANN, Head of IT

6 #Dynatrace
Kunden sagen …
90%
faster business
transactions
Patrick Progin, CEO

7 COMPANY CONFIDENTIAL – DO NOT DISTRIBUTE #Perform2015www.retit.de COMPANY CONFIDENTIAL – DO NOT DISTRIBUTE7
Agenda
Performance-Modellierung
Anwendungsbeispiele, Nutzen und
Kundenszenarien
Demo

8 COMPANY CONFIDENTIAL – DO NOT DISTRIBUTE #Perform2015www.retit.de
Moderne Applikationen benötigen die Fähigkeit
• … Die Performance von Anwendungen in Echtzeit zu messen
• … Performance-Metriken in Echtzeit auszuwerten
• … Drill Down in einzelne Komponenten durchzuführen
Warum Performance-Modellierung?
UnternehmensanwendungHardwareSoftware
Messung Messdaten

Messung
Kapazitäts-
Planung
Performance
Analyse
Kapazitäts-
Management
Was passiert wenn …
• ... man die Deployment Topology ändert
• ... man auf eine andere Hardware Umgebung migriert?
• … sich die Last ändert?
• … man die Anzahl der CPUs reduziert?
Warum Performance-Modellierung?
Messdaten

Performance-Modellierung – Was ist das?
Performance
Modell
Ressourcen
Bedarf
Software
Architektur
Hardware
Umgebung
Workload
Simulation
Antwortzeit
Durchsatz
Ressourcen
Auslastung

Performance-Modellierung – Ein kurzer Rückblick
w
t
S
λ
Arriving
Jobs
Departing
Jobs
Queue Service
Station
1
4
CPU
HDD
Application Server
Arriving
Transactions
Completed
Transactions
HTTPRequest
[Z=2 s]
User
{m=1200}
WebService
[s=15 ms]
HTTP Server
Thread
{m=50}
Purchase
[s=80 ms]
AppServer
Thread
{m=25}
Browse
[s=20 ms]
(y=1)
(y=0.6) (y=0.4)
User Device
{m=1200}
User Device
{m=1200}
HTTP Server
Machine
HTTP Server
Machine
AppServer
Machine
{m=2}
AppServer
Machine
{m=2}
Repository Model
Resource Environment
System Model
Allocation Model
Usage Model
PalladioComponentModel(PCM)

Performance-Modellierung – Wie?
Wissens-
generierung
Kapazitäts-
Planung
Performance
Analyse
Performance
Model Repository
Messung
Modellierung
Simulierung
Messdaten
Modell-Parameter
Simulierungsergebnisse
Kapazitäts-
Management

Performance-Modellierung – Wann?
OpsDev
Implementation
Operations
OpsDev

OpsDev
Implementation
Operations
1 4.5 10 27.5 50
500
0
100
200
300
400
500
600
Relaivecostfactor
(mean)*
Mit dem Wissen aus Performance-
Modellen Performanceprobleme
schneller erkennen und diese früher
und kosteneffizienter beheben
Source: http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20100036670.pdf
*The cost factor for fixing a performance-related problem is normalized in
the different phases relative to the cost of fixing a defect in the requirements phase.
OpsDev

OpsDev
Implementation
Operations
1 4.5 10 27.5 50
500
0
100
200
300
400
500
600
Relaivecostfactor
(mean)*
Feststellung von Performance-
Änderungen in jeder Version, die in der
Continuous Delivery Pipeline erzeugt
wird, ohne konstenintensive
Performance-Tests durchzuführen
OpsDev

OpsDev
Implementation
Operations
1 4.5 10 27.5 50
500
0
100
200
300
400
500
600
Relaivecostfactor
(mean)*
Last- und Performance-
Testergebnisse extrapolieren,
Anzahl der Testläufe,
Aufwand, Hardware- und
Lizenzkosten reduzieren
OpsDev

OpsDev
Implementation
Operations
1 4.5 10 27.5 50
500
0
100
200
300
400
500
600
Relaivecostfactor
(mean)*
Kapazitätsplanung mit
Modellen der Application-
Binaries vereinfachen
OpsDev

OpsDev
Implementation
Operations
1 4.5 10 27.5 50
500
0
100
200
300
400
500
600
Relaivecostfactor
(mean)*
Kapazitätsplanung mit
Modellen der Application-
Binaries vereinfachen
Richtige Kapazität für saisonal bedingte
Spitzen ermitteln um Lizenz- und
operationale Kosten (z.B. die Anzahl Cloud
Instanzen) zu reduzieren
OpsDev

Dynatrace kompatible RETIT Lösungen
• RETIT Capacity Manager (RCM)
• Performance-Modellierungsumgebung
• Lässt sich mit jedem Dynatrace Deployment verbinden
um Performance Modelle zu erstellen
• Simuliert “Was-wäre-Wenn” Szenarien:
• Änderung der Hardware
• Änderung des Workloads
• Änderung in der Software-Architektur

• RETIT Continuous Delivery (RCD)
• Plugin für Jenkins Continuous Integration (CI) Server
• Erkennt Änderungen der Performance automatisch
• Verwendet Dynatrace Daten, die in früheren Testläufen
gesammelt wurden um Modelle zu erstellen
• Evaluiert die Performance für multiple Hardware-
Umgebungen und Workloads

RETIT Capacity
Manager (RCM)
RETIT Continuous
Delivery (RCD)

Agenda
Kundenszenarien
Demo

Anwendungsbeispiel – Einsatz zur Entwurfszeit
Implementation
Operations
Existierende
Komponente 1
Existierende
Komponente
…
Existierende
Komponente
... N
Neues
Anwendungs-
Design
Bekannte performance-
relevante Aspekte in
Performance-Modellen
gespeichert
Struktur und Verhalten
lt. Designmodell (z.B.
UML)
z.B, minimale
Antwortzeit –
auch unter der Annahme,
dass eine neue Applikation
keine Zeit konsumiert

Nutzen – Einsatz zur Entwurfszeit
1 4.5 10
27.5
50
500
0
100
200
300
400
500
600
Requirements Design Implementation Testing Deployment Operations
Relativecostfactor(mean)*
Erkennen und beheben Sie Performanceprobleme in
Ihrer Software Architektur früher - damit sparen Sie
enorme Kosten durch die Vermeidung des
wiederholten Durchlaufens von Entwicklungsschritten!
*The cost factor for fixing a performance-related problem is normalized in the
different phases relative to the cost of fixing a defect in the requirements phase.
Implementation
Operations

Kundenszenario – Einsatz zur Entwurfszeit
• Performance-Evaluierung in einer Service-Orientierten Architektur (SOA)
Implementation
Operations
• Service-Konsumenten:
• Prozessorientierte User Interfaces
• Orchestriert mit einer BPM Engine
• Service-Anbieter:
• Datenquellen und Anwendungsdienste
Enterprise Service Bus (ESB)
Business
Dev
Ops

Implementation
Operations
• Was passiert wenn wir einen neuen Business Prozess einführen
oder optimieren?
• Können erforderliche KPIs des Business Prozesses eingehalten
werden?
• Was kostet es, die Systemperformance zu steigern um die KPIs des
Businessprozesses zu gewährleisten?
Business
Dev
Ops

Implementation
Operations
Business
Dev
Ops
• Können wir die gewünschte Performance erreichen und die
KPIs mit den bestehenden SLAs gewährleisten?
• Welche Services müssen zunächst optimiert werden um die
Ziele des Businesses zu erreichen?
• Müssen wir die SLAs mit mehreren Service-Anbietern anpassen
oder sollen wir die SLAs mit wenigen Anbietern verschärfen?

Implementation
Operations
• Wieviel Last wird ein neuer oder zusätzlicher Business Prozess
erzeugen?
• Werden die bestehenden Systeme in der Lage sein, die Last zu
bewältigen?
• Müssen wir unsere Kapazitäten erhöhen?
• Wer bezahlt die zusätzlichen Kapazitäten?
Business
Dev
Ops

Implementation
Operations
Business
Dev
Ops
APM Data
APM Data
Business
Prozess
Beschreibung
Software
Designs für
neue Prozesse

Implementation
Operations
Business
Dev
Ops
• Wir müssen mit
Provider XYZ
sprechen!
• Die Systemlast wird um X%
steigen!
• Es müssen X neue Server
angeschafft werden.
• Die KPIs des Business Prozesses
können erreicht werden. Die
Kosten dafür sind ...!

 Modellierung steigert das Teamwork im gesamten Software Lifecycle
(Business, Dev and Ops)!
 Das Management erhält detaillierte Einblicke in die Business-Prozesse.
Dies erleichtert die Kommunikation mit dem IT Department.
 Entwickler können Antwortzeiten für neue Businessprozesse besser
abschätzen.
 Der IT-Betrieb erhält frühzeitig Informationen über das Last-
verhalten wenn neue Business Prozesse in Betrieb gehen.
Implementation
Operations

Anwendungsbeispiel – Einsatz im CI-System
Implementation
Operations
 Auswirkungen von neuen Features oder Bug Fixes evaluieren
 Für unterschiedliche Hardwareumgebungen und
Lastszenarien
 Ohne reale Test-Systeme, rein auf Basis von Modellen
Deployment Pipeline in a
Continuous Delivery Process
Model-based Performance
Change Detection
Commit
Stage
Automated
Acceptance
Test
Manual
Testing
Release
Developer
checks in
Notify Developer about Performance Change

Nutzen – Einsatz im CI-System
Implementation
Operations
 Sicherstellen, dass keine Version Performanceregressionen
verursacht
 Kostenersparnis, wenn Performance-Probleme früher im
Entwicklungsprozess erkannt werden
 Besseres Performancebewusstsein von Entwicklern durch
sofortiges Feedback
 Kein(e) Setup/Vorbereitung für Last/Performance Test-
umgebungen für jedes Projekt
 Wiederverwendung von Akzeptanz/Regression Testing
Ergebnisse für die Performance-Evaluierung

• Kunde hat 3 geschäftskritische Unternehmensanwendungen(UA)
• 5 unterschiedliche Last- und Hardware Szenarien je UA
• Mit RETIT Continuous Delivery (RCD) werden die Kosten nur im
Betrieb der Testumgebungen um 250.000 € p.a. gesenkt
Kundenszenario – Einsatz im CI-System
Implementation
Operations
UA 1
UA 3
UA 2
+ + 1 x
+ + 1 x
+ + 1 x
+ + 5 x
+ + 5 x
+ + 5 x
VS.
UA 1
UA 3
UA 2
+
+
+

Anwendungsbeispiel – Lasttest-Abdeckung erweitern
Implementation
Operations
Unternehmensanwendung HardwareSoftware
Messen Messdaten
0,00 ms
20,00 ms
40,00 ms
60,00 ms
80,00 ms
100,00 ms
120,00 ms
140,00 ms
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
600 Users 800 Users 1000 Users
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9
Diagrammtitel
Throughput
Response
Time
Resource
Utilization
0,00 ms
20,00 ms
40,00 ms
60,00 ms
80,00 ms
100,00 ms
120,00 ms
140,00 ms
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9
Diagrammtitel
Throughput
Response
Time
Resource
Utilization
0,00 ms
20,00 ms
40,00 ms
60,00 ms
80,00 ms
100,00 ms
120,00 ms
140,00 ms
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9
Diagrammtitel
Throughput
Response
Time
Resource
Utilization
Model erstellen und
Performance für
mehrere Szenarien
simulieren

Nutzen – Lasttest-Abdeckung erweitern
 Anzahl der Last- und Performance Tests reduzieren
 Kosten sparen
 Testabdeckung erhöhen
 Szenarien evaluieren ohne die benötigte Hardware kaufen zu
müssen
 Testabdeckung erhöhen, wenn die Anzahl der
Deployments steigt
Implementation
Operations

• Ersparnis von 8-26 Personentagen (PT) wenn umfangreiche Last-
tests durch kleinere Lasttests und Simulationen ersetzt werden
• Aufwand für Lasttests (inkl. Test-Scripting, -Setup, Ausführung):
• Klein: 13 PT, Mittel: 23 PT, Groß: 41 PT
Kundenszenario – Lasttest-Abdeckung erweitern
Implementation
Operations
0
100
200
300
400
500
600
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Savingsin
persondays(PD)
number of performance tests
PD savings when replacing large scale
tests with small scale tests and
predictions
PD savings when replacing medium
scale tests with small scale tests and
predictions

Anwendungsbeispiel – Kapazitätsmanagement
Implementation
Operations
Unternehmensanwendung
HardwareSoftware
Messen Messdaten
0,00 ms
20,00 ms
40,00 ms
60,00 ms
80,00 ms
100,00 ms
120,00 ms
140,00 ms
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9
Diagrammtitel
Throughput
Response
Time
Resource
Utilization
0,00 ms
20,00 ms
40,00 ms
60,00 ms
80,00 ms
100,00 ms
120,00 ms
140,00 ms
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9
Diagrammtitel
Throughput
Response
Time
Resource
Utilization
0,00 ms
20,00 ms
40,00 ms
60,00 ms
80,00 ms
100,00 ms
120,00 ms
140,00 ms
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
B
M
R
T
B
SR
T
M
M
R
T
M
SR
T
P
M
R
T
P
SR
T
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9
Diagrammtitel
Throughput
Response
Time
Resource
Utilization
Modell erzeugen auf Basis der
Produktionsdaten um die
Performance für künftige Szenarien
zu simulieren.
Was passiert wenn
wir AWS
verwenden?
Wieviel Kapazität wird benötigt,
wenn wir während des Weih-
nachtsgeschäftes 10x mehr
Nutzer haben?
Was passiert, wenn wir die
Deployment-Topologie
verändern?

 Richtiges Sizing bestimmen – nur bezahlen was benötigt wird
 Keine teure Testumgebung betreiben um Änderungen zu
evaluieren
 Risiko reduzieren z.B. Migrationen der Hardwareumgebung (Cloud)
 Zeit beim Kapazitätsmanagement sparen
 Genauere Prognosen – Mit Simulationen lineare
Annahmen vermeiden
Implementation
Operations
Nutzen – Modellbasiertes Kapazitätsmanagement

10.00
20.00
30.00
40.00
50.00
60.00
70.00
80.00
12:00 12:15 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45
€/MWh
time
EPEX SPOT INTRADAY AUCTION - 2014-12-11
pi
• Smard Grid Kapazitätsplanung für mehrere Millionen Haushalte
Kundenszenario – Modellbasiertes KapManagement
maximum 15 min Implementation
Operations

Agenda
Kundenszenarien
Demo

RETIT Lösungen
• Demo

RETIT Lösungen – Transaktionsfluss

• Was haben wir heute besprochen?
• Performance-Modellierung…
Zusammenfassung

Zusammenfassung
 Verbessert die
teamübergreifende
Zusammenarbeit
…durch die Integration
zahlreicher Datenquellen

Zusammenfassung
 Verbessert die
teamübergreifende
Zusammenarbeit
 Erhöht das
Performance-
Bewusstsein
… durch direktes Feedback während
der Entwicklung

Zusammenfassung
 Verbessert die
teamübergreifende
Zusammenarbeit
 Erhöht das
Performance-
Bewusstsein
der Entwicklung
 Erweitert die
Testabdeckung
… durch die Möglichkeit, mehr
Workloads und Hardware-
umgebungen zu testen

Zusammenfassung
 Verbessert die
teamübergreifende
Zusammenarbeit
 Erhöht das
Performance-
Bewusstsein
der Entwicklung
 Erweitert die
Testabdeckung
… durch die Möglichkeit, mehr
Workloads und Hardware-
umgebungen zu testen
 Spart Kosten
… da keine Mutmaßungen bei
Kapazitätsplanungsaktivitäten mehr
nötig sind

Dr. Andreas Brunnert
brunnert@retit.de
Peter Zahrer
peter.zahrer@dynatrace.com

Mit Performance-Modellierung Test- und Betriebskosten senken

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (18)

En vedette

En vedette (20)

Similaire à Mit Performance-Modellierung Test- und Betriebskosten senken

Similaire à Mit Performance-Modellierung Test- und Betriebskosten senken (20)

Plus de Dynatrace

Plus de Dynatrace (20)

Mit Performance-Modellierung Test- und Betriebskosten senken