Warum Regressionstests? Automatisierung Pro / Contra / Fallstricke János Gericke (BILD GmbH & Co. KG)

1. Die Bedeutung automatisierter
Regressionstests
János Gericke, 03.02.16

2. Problematik -> Automatisierung
Warum Regressionstests?
Pro / Contra / Fallstricke
Inhalt
2 03.02.16
1
3
2

3. Warum Regressionstests?
3 03.02.16
¾Feststellung möglicher Defekte nach einer Modifikation
¾Durchführung möglichst vor jedem Release
¾Einfluss veränderter Komponenten auf unveränderte Komponenten

4. Problematik
4 03.02.16
¾„Studies indicate that 80% of testing cost is regression testing.“
¾„In der Praxis ist ein vollständiger Regressionstest fast immer zu zeit-
und kostenintensiv.“
– Entwicklung von Kriterien zur Auswahl von Testfällen
– Exploratives Testen
¾Steigende Softwarekomplexität
¾Kürzer werdende Entwicklungszyklen
¾Sinkende Testabdeckung
¾Akzeptanz der QA?

5. Automatisierung
5 03.02.16
¾DOM-basiertes Testen mit Java und Selenium
¾Visuelles Testen, z.B. mit SikuliX
– Keine Programmierkenntnisse erforderlich
– Nur bei seltenen Layoutveränderungen

6. Pro
6 13.01.17

7. Pro
7 03.02.16
Source: http://www.methodsandtools.com/archive/archive.php?id=94

8. Pro
8 03.02.16
Source: http://de.slideshare.net/lfingerman/test-automation-best-prcatices-with-soa-test-approach

9. Pro
9 03.02.16
¾Langfristige Zeit- & Kosteneinsparung
¾Erhöhung der Testabdeckung und somit der Softwarequalität möglich
¾ Mitarbeitermotivation
¾Exakte Wiederholung von Testfällen
– Reproduzierbarkeit von Fehlern
– Einmalige Eingabe von Testdaten
¾Testdurchführung jederzeit möglich

10. Contra
10 03.02.16
¾„Automating regression testing causes problems and manual testing is
time and resource consuming.“
¾Schwierigkeit: Kosten-/ Nutzenermittlung
¾Wartung
¾Ungeeignet für UX/ exploratives Testen
¾Layout-Tests

11. Fallstricke
11 03.02.16
¾Unrealistische Erwartungen
– Kurzfristige Rendite
– Vollständiges Ersetzen manueller Tests
¾Mangelhafte Automatisierungsstrategie
¾Testbarkeit während der Entwicklung nicht sichergestellt
¾„Die Entwicklung macht das schon.“
– Softwareentwickler sind keine spezialisierten Testautomatisierer
– Fehler passieren