3. EDITORIAL Testing Trends & Benchmarks Schweiz 2013 3
Seit 5 Jahren fühlt SwissQ den Puls der IT Community und veröffentlicht jährlich Zahlen und Fakten zum Stand des Software Testings in der
Schweiz und gibt einen Ausblick auf die wichtigsten Trends der kommenden Zeit. Seit letztem Jahr werden die Testing Trends und Benchmarks
ergänzt durch die beiden Themenbereiche Requirements Engineering und Agile. Diese erscheinen in separaten Reports. Die Datenbasis bildet
einerseits die Online-Umfrage und andererseits persönliche Interviews mit IT-Entscheidungsträgern aus unterschiedlichen Firmen, Branchen
und Regionen. Für die diesjährige Ausgabe konnten wir auf 580 ausgefüllte Fragebogen - ein neuer Rekord - und um die 25 Interviews zu-
rückgreifen. An dieser Stelle ein herzliches Dankeschön an alle, die mit ihrem Input dazu beigetragen haben.
Neu führt SwissQ die Studie zu den Trends & Benchmarks in Kooperation mit dem Unter „Projekte“ ist zum Beispiel ersichtlich, dass sich einerseits die Anzahl der
Institut für Technologiemanagement der Universität St.Gallen (HSG) durch. Die Zu- Neuentwicklungen im Vergleich zum Vorjahr reduziert hat und es andererseits
sammenarbeit zeigt auf, wie wichtig diese Themen für die heutigen Unternehmen immer mehr Grossprojekte gibt. Es gibt also weniger, dafür aber grössere Neupro-
geworden sind. Es freut uns, mit dieser Kooperation erneut eine Brücke zwischen jekte. Dies hat wohl damit zu tun, dass immer weniger Vorhaben auf der grünen
der akademischen und unternehmerischen Welt schlagen zu können. Wiese starten. Entweder werden bestehende Lösungen erweitert oder dann kom-
plett neu gebaut, was oft sehr teuer ist.
Der Report gliedert sich wie gehabt in 2 Teile: die SwissQ Trend Wave® und
die Benchmarks. Bei den Vorgehen halten sich Wasserfall und agile Vorgehen die Waage, wobei vie-
le Unternehmen auf mehr als ein Vorgehensmodell setzen. Im besten Fall gelingt
Im ersten Teil wird aufgezeigt, wie sich einzelne Trends entwickeln. Dies auf es, die Vorzüge beider Modelle zu vereinen. In der Praxis tut man sich aber an den
Basis der Testing Trend Wave 2013. Die kondensierte Darstellung der wichtigsten Übergängen und mit den unterschiedlichen Rollen und Zusammenarbeitsmodel-
Themen auf einer Seite erlaubt einen raschen Überblick. Dadurch lässt sich der len schwer. Gerade auch die Tester müssen lernen, mit beiden Welten umzugehen
Einfluss der Marktveränderungen auf das eigene Unternehmen abschätzen und bzw. umzudenken und die notwendige Flexibilität an den Tag zu legen. Hier muss
es können, falls notwendig, geeignete Vorhaben initiiert werden. Eine einfache sicherlich noch mehr Erfahrung gesammelt bzw. Ausbildung betrieben werden.
Massnahme um den Veränderungsdruck aufzuzeigen ist es, die Trends und Bench-
marks intern bekannt zu machen. Die grösste Herausforderung im Testing bleiben die mangelhaften Anforderungen.
Da ist es spannend zu sehen, dass zu den am häufigsten angewandten Techniken
Wie bereits in den letzten Jahren offeriert SwissQ den Unternehmen die Gelegen- zur Testfallermittlung die anwendungsfall- und geschäftsprozessbasierten Vorge-
heit, die Trends & Benchmarks intern vor ihren Mitarbeitern zu präsentieren. Ziel- hen gehören, welche beide sauber modellierte Anforderungen voraussetzen. Das
publikum sind vor allem die Tester Community, Software Ingenieure, Projektleiter, drückt sich wiederum darin aus, dass von den Testaktivitäten die Testfallermittlung
Requirements Engineers und das Management. Die Präsentation ermöglicht, einen am schlechtesten abschneidet. Ein Grund, vermehrt agile Methoden in Betracht zu
externen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation und ziehen?
den Stellenwert des Testings zu steigern, sowie von Ideen für die konstante Wei-
terentwicklung des Testings zu profitieren. Falls gewünscht, können die Ergebnisse Bei den Testinvestitionen ist und bleibt der Fokus auf der Testautomatisierung
aus dem Requirements Engineering und Agile Report auch miteinbezogen werden. und dem Auf- und Ausbau der Regressionstests. Dies deckt sich mit der anfangs
erwähnten Tatsache, dass vor allem Erweiterungs- und Wartungsprojekte statt-
Den zweiten und umfangreicheren Teil des Reports bilden die Benchmarks. finden, bei denen naturgemäss die Sicherstellung der bestehenden Funktionalität
Die Grafiken sind das Rückgrat des Reports und ermöglichen es, sich im Vergleich mittels Regressionstests einen hohen Stellenwert hat. Die Automatisierung wiede-
mit anderen Unternehmen zu positionieren. Der Vergleich mit den Vorjahren er- rum ist ein zwingendes Instrument, um der wachsenden Regression Herr
laubt es zudem zu sehen, in welche Richtung sich die Unternehmen entwickeln. zu werden.
Wir hoffen, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren,
neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen in
Ihrem Unternehmen zu ergreifen.
4. TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 4
INTRODUCTION GROWTH MATURITY DECLINE
Priority
Keyword Driven Test Automation
ALM Tools
Scrum (but)
Embedded Testing
Agile Testing Exploratory Testing
Load and Performance Testing
ISO 9126
Waterfall / Scrum Hybrid
Session Based Testing / SET
ISTQB FL & AL Level
Security & Penetration Testing
Business Driven Test Automation
Outsourcing
App / Mobile Testing
ISO 25010
Agile Test Management
Accessibility Testing Model Based Testing
TIME
INTRODUCTION – Das Thema wurde GROWTH – Das Thema wird immer MATURITY – Die meisten Unterneh- DECLINE – Das Thema wurde von
erkannt und einige Unternehmen mehr anerkannt und viele Unterneh- men arbeiten an der Umsetzung oder den meisten Unternehmen, mit
arbeiten an ersten Umsetzungen. Es men gehen darauf ein. Es entstehen haben diese bereits abgeschlossen. Ausnahme einzelner Nachzügler,
ist allerdings nicht absehbar, ob sich die ersten Werkzeuge und Beratungs- Das Wissen zu dem Thema ist oft sehr bereits umgesetzt. Wissen in diesen
dieser Trend positiv weiterentwickelt firmen bieten Dienstleistungen dazu verbreitet, wobei häufig auch Unter- Bereichen neu aufzubauen generiert
und das Testing tatsächlich erheblich an. Mit der fehlenden Erfahrung bei arten dazu entstehen. oft keinen Nutzen mehr, da dieses in
beeinflussen wird. der Umsetzung gehen oft diverse Kürze obsolet wird.
Risiken einher.
5. TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 5
Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen und
Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglich
aktiv mitzugestalten. Haben viele Aussagen unverändert Bestand, so sind doch einige Trends erkennbar, wie z.B. der wachsende Anteil an Testauto-
mation oder die sinkende Beschäftigung externer Testressourcen.
Die Technologien, welche den Consumer-Markt in den letzten Jahren verändert Folgerichtig liegt der primäre Fokus auf zwei Bereichen. Einer davon ist Agile
haben – Smartphones und Tablets, SocialMedia und die Cloud - finden vermehrt Testing, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil
auch in der Unternehmenswelt Verwendung. Die Revolution von unten hat statt- mit agilen Vorgehensweisen. Doch die grundlegend andere Ausgangslage in Bezug
gefunden, Endkunden wie Mitarbeiter kommen mit ihren eigenen Geräten und auf Kultur, Zeitpunkt der Involvierung und Erwartungen, was Testing liefern muss,
verlangen Funktionen und Content auf diesen nutzen zu können. Doch auch die stellt viele Tester und ihre Organisationen vor erhebliche Probleme.
Usability Anforderungen an herkömmliche Anwendungen steigen rasant – was auf
dem Handy geht, muss doch am Monitor erst recht möglich sein. Der zweite Bereich ist das Requirements Engineering, der damit direkt eine der
grössten Herausforderungen aufgreift: Die mangelhafte Qualität von Anforderun-
Steigende Komplexität der IT und Öffnung der Unternehmungen durch das Thema gen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kann
Mobile sind die Herausforderungen der modernen Organisationen. Diese rasante nur von Vorteil sein.
Entwicklung stellt nicht nur Business Analysten und Software Entwickler vor neue
Herausforderungen. Gerade das Testing wird dadurch immer komplexer, aufwän- Haben wir letztes Jahr noch prophezeit, dass Mobile Testing für viele Organisatio-
diger und vor allem schneller. nen und Software-Tester auf dem Radar erscheinen würden, so sind sie für viele
inzwischen Alltag. Die immer kürzeren Entwicklungs- und Releasezyklen können
Kein Wunder also, werden rund die Hälfte der IT-Projekte in der Schweiz agil dabei nur mit Hilfe von Testautomation beherrscht werden. Ein Thema, das uns
durchgeführt (davon grösstenteils mit Scrum). Viele Firmen haben diese Trends schon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelöst
erkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Pro- wurde.
dukten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf.
Die Prognose für 2013? Manuelles Testen wird wieder an Bedeutung gewinnen.
In Testautomatisierung wird weiter investiert, die Testabdeckung kann weiter
erhöht werden. Auf der anderen Seite wird der Kostendruck weitere Effizienzstei-
gerungen erzwingen und entsprechend leichtere Prozesse fordern. Testorganisatio-
nen müssen sich dabei vermehrt integrieren und weniger auf Separation setzen.
6. KEY MESSAGES Testing Trends & Benchmarks Schweiz 2013 6
1 Es gibt eine Verschiebung zu we-
niger Neuentwicklungen und mehr
Erweiterungen und Wartungs-
projekten. Dafür steigt der Anteil
der Mega-Projekte über 20 Mio. CHF
2 Neue, technologie- und prozess-
getriebene Vorgehen, wie mobile
Testing, agiles Testen oder Session
Based Test Management, setzen
sich immer mehr durch.
3 Wasserfall und agile Vorgehen
halten sich die Waage, und werden
oft in Kombination eingesetzt.
Wasserfall / Scrum Hybrid Projekte
sind auf dem Vormarsch, lösen aber
stetig. viele Unsicherheiten aus.
4 Die Reife des Requirement Enginee-
ring Prozesses hat gegenüber dem
Test weiterhin Nachholbedarf.
Mangelhafte Anforderungen sind
die grösste Herausforderung im
5 Von den Testaktivitäten wird
die Testfallermittlung klar am
schlechtesten bewertet.
Strukturiert Testfälle herzuleiten,
fällt vielen immer noch schwer.
6 Bei der Ausbildung wird weiterhin
auf Zertifikate gesetzt. Der ISTQB
Foundation Level und Advanced
Level Test Manager waren und
bleiben populär.
Testing.
7 In die Testautomatisierung und
den Auf- und Ausbau der
Regressionstests wird stetig
investiert. Das Outsourcing ist für
viele keine gangbare Lösung.
8 Der durchschnittliche Testaufwand
im Verhältnis zum Gesamtprojekt-
aufwand wurde über die Jahre
konstant auf 16 - 20% geschätzt.
9 Bei den Tools für das Testmanage-
ment und die Testautomatisierung
zersplittert der Markt zusehends.
Zudem kann man sich in den
wenigsten Firmen auf ein Tool
einigen.
7. Projekte Testing Trends & Benchmarks Schweiz 2013 7
Projektart Projekterfolg
Im letzten Jahr betrug der Anteil der Neuentwicklung noch 39%. Die letzten drei Jahre haben Bewegung bezüglich des Projekterfolgs gezeigt.
Es gab eine klare Verschiebung hin zu weniger Neuentwicklungen Zum einen haben inzwischen 4% der Unternehmen den Mut, Projekte zu
und mehr Erweiterungen und Wartungsprojekten. stoppen, wenn der mangelnde Erfolg dies verlangt (2011 <1%). Auf der an-
deren Seite konnten seit 2011 immerhin fast 50 % mehr Projekte in time und
on budget beendet werden (von 23.7% auf 36.3%)!
5%
6% 40%
Erweiterung einer
bestehenden Lösung 2011 2012 2013
37.2%
17%
36.3%
35.1%
30%
Neuentwicklung
27.1%
Betrieb, Support, Wartung,
25.1%
47% 20%
23.7%
23.7%
Re-Design, ...
20.8%
18.1%
17.5%
25%
4.2%
4.1%
Migration
14.7%
10%
0.6%
11.6%
Einführung Standard-Software
0%
Projekt in Zeit, Projekt im Projekt Projekt mit Projekt
Budget, Rahmen, über verlängert/neu grossen funkt. gestoppt
Funktionalität Budget und/oder geplant Änderungen
beendet Zeit
Projektgrösse (in CHF) Aufstellung der IT
2011 2012 2013 Durchschnittliche Bewertung
48.7%
15% Erfahrung der Mitarbeiter 3.07
Erfüllung von Regularien 2.87
12.9%
40%
10% Business-/ Kundenfokus 2.85
10.8%
38.3% Qualität 2.84
5% Erfüllung des Auftrags/Ziele 2.73
5.2%
Flexibilität 2.65
20% Innovation 2.64
0%
über 20 Mio Budget und Ressourcen 2.49
Prozesse 2.46
12.9% Standardisierung 2.39
Effizienz 2.35
0%
bis 1 Mio bis 20 Mio über 20 Mio 1 2 3 4
Ungenügend Zufriedenstellend Gut Sehr gut
8. VORGEHEN Testing Trends & Benchmarks Schweiz 2013 8
Angewandte Vorgehensmodelle Gründe für agile Methoden
Viele Unternehmen setzen auf mehr als ein Vorgehensmodell. Wasserfall Besserer Umgang mit sich stetig ändernden Prioritäten gilt als ein Hauptgrund
hat erstaunlicherweise wieder zugelegt, was mit der gestiegenen Anzahl für den Einsatz agiler Methoden, ebenso wie die Zusammenarbeit zwischen
Grossprojekte zusammenhängen kann, wobei die Umsetzung in den ver- Business und IT und die Beschleunigung von Time-to-Market.
schiedenen Teams agil erfolgt.
Beschleunigung Time-to-Market
Entwicklungsprozesse vereinfachen
Wasserfall
Agil 53% Produktivität erhöhen
49% (40%) Sichtbarkeit erhöhen
(51%)
RUP
Hermes
10% Mit sich ändernden
Prioritäten umgehen
Iterativ (12%)
10%
20% (16%)
(22%)
( ) = Werte Umfrage 2012
Teammoral verbessern
Scrum 85.7% Wartbarkeit erhöhen
Agile Hybrid (Mix aus
verschiedenen Methoden) 29.3% Risiken minimieren
Kanban 24.3%
Lean Development 12.1% Zusammenarbeit
Extreme Programming (XP) 10.7% Business – IT verbessern
ScrumBan 6.4% Kosten reduzieren
Agile Unified Process (AgileUP) 5.7%
Feature Driven Development (FDD) 3.6%
0% 20% 40% 60% 80% 100%
9. AGILITäT Testing Trends & Benchmarks Schweiz 2013 9
Testing im Kontext von Agilität
Die Abnahmetests erfolgen 21.6% 38.8% 32.4%
direkt im Sprint
Man hat jederzeit den Überblick, was 21.6% 51.8% 20.1%
gerade getestet wird
31.7%
glauben immer noch an grosse
Jedes Team organisiert sich selbstständig
und macht Testing ein bisschen anders
14.4% 46.0% 31.7% 50%
setzen auf Embedded
zentrale Vorgaben.
Testing. Der Durchbruch
Wir wenden Embedded Testing an 13.6% 36.4% 15.0% 35.0% ist geschafft, Testen ent-
faltet immer mehr seinen
Nutzen.
Die Unsicherheit der Tester ist grösser 25.2% 57.6%
geworden, da die Prozesse unklar sind
57.6% Die Rolle Test Manager gibt es nicht mehr 21.6% 66.2%
66.2%
sehen keine Unsicherheit in
Bezug auf Prozesse. Dies im
Gegensatz zu den Aussagen der Es braucht deutlich weniger Aufwand 9.3% 82.1%
für das Testing sehen immer noch die
IT- Executives.
Existenzberechtigung der
Rolle des Test Managers.
Es gibt keine formalen Vorgaben mehr 15.9% 74.6%
bezüglich Dokumentation von Tests
Wir arbeiten ausschliesslich mit 35.0% 50.7%
Akzeptanzkriterien
91.4%
sehen weiterhin Bedarf an
Wir testen nur explorativ 17.1% 74.3%
74.3%
Testspezifikationen und der Befragten setzen neben
Testfällen. Es werden keine Testspezifikationen / 91.4% dem explorativen Testen
Testfälle mehr benötigt weitere Testarten ein.
0% 20% 40% 60% 80% 100%
Voll einverstanden Mehrheitlich einverstanden Nicht einverstanden Kann ich nicht beurteilen
10. REIFE Testing Trends & Benchmarks Schweiz 2013 10
Reifegrad Ansehen des Testens
Beurteilen beim Testing etwas über einem Drittel die Reife als schwach
oder mittelmässig, sind es beim RE fast die Hälfte der Befragten.
40%
Test Es ist für den Erfolg der Organisation
strategisch 19%
RE
30% Es ist ein wichtiger Faktor, um
verlässliche Software zu produzieren 51%
20% Es ist ein notwendiges Übel 20%
Es hat tiefe Priorität 8%
10%
Die Kosten für Tests könnten
wir uns sparen 2%
0% 0% 10% 20% 30% 40% 50%
ac
h sig Gut gut ne
t
äs hr ich
hw lm
Sc Se ze
itte ge
M
Aus
Die grössten Herausforderungen
Die „zu späte Lieferung der Software“ wurde neu aufgenommen und hat sich Anforde-
prompt zum Renner entwickelt, der allen anderen ein paar Prozentpunkte rungen
streitig gemacht hat. mangelhaft
( ) = Werte Umfrage 2012
Zu wenig Tester zu 50%
Zu späte Budget / spät (63%)
Auto- Lieferung involviert
Testum- Ressourcen
Testdaten matisierung der SW
gebung
29% 30%
19% 21% 22% 26% (38%)
(30%)
(33%)
(24%) (30%) (NEU)
11. REIFE Testing Trends & Benchmarks Schweiz 2013 11
Zufriedenheit mit Testaktivitäten Anwendung der Testtechniken
Die Aktivitäten Testmanagement und Testdurchführung schneiden am Die grundlegenden Black Box-Techniken kommen nur sporadisch
besten ab. Das klare Schlusslicht bildet die Testfallermittlung. zum Einsatz. Am verbreitetsten sind noch die Äquivalenzklassen- und
Grenzwertanalyse.
40.1%
Zufrieden Mittelmässig Unzufrieden
100% wenden exploratives Testen an. Anwendungsfälle und Geschäftspro-
12% 9%
15% 18% 18%
Wobei der Begriff oft mit Adhoc zesse bilden eine ideale Basis für die
Testing gleichgesetzt wird. Definition von Testfällen. Die Techniken
80% sind entsprechend verbreitet.
32% 35%
39% 38%
60% Anwendungsfallbasiert 56.8%
44%
Risikobasiert 42.0%
40%
Exploratives Testen 41.6%
56% 56%
46% 44% 20% Geschäftsprozessbasiert 40.1%
38%
Äquivalenzklassenanalyse 23.7%
0%
Grenzwertanalyse 21.8%
t
ng ng un
g
ng
en lu hr
m nu itt ü rtu
ge pl
a
rm hf sw
e
Fehlerbasiert 18.3%
na st lle u rc
au
a Te t fa d st
stm s st Te
Te Te Te 11.7%
Checklistenbasiert
Entscheidungstabellen 10.4%
Zustandsbasiert 7.6%
Nur 38%
sind zufrieden mit der Testfallermittlung.
Klassifikationsbaumverfahren
0%
1.9%
10% 20% 30% 40% 50% 60%
Dies deckt sich mit den Erfahrungen bei
SwissQ Test Assessments. Strukturiert
Testfälle herzuleiten fällt vielen schwer.
12. ORGANISATION Testing Trends & Benchmarks Schweiz 2013 12
Wer führt Testaktivitäten durch? Ausbildung
Nach wie vor ist der ISTQB Foundation Level das meistverbreitete Zertifikat.
Dahinter liefern sich Zertifikate aus den Disziplinen Test, ITIL, RE und Projekt
Management ein Kopf-an-Kopf-Rennen. Agile holt derzeit mit dem Certified
Unit Tests Scrum Master auf.
84% Entwickler
Hab ich schon Ist geplant Mal in ferner Zukunft
Systemtests ISTQB Foundation Level
ISTQB Advanced Level
52% IT Tester Test Manager
ITIL
Abnahmetests IREB® Cert. Professional for
Requirements Engineering
48% Fachbereich Endbenutzer ISTQB Advanced Level
Test Analyst
Projektmanagement
(IPMA, PMI, ...)
Testautomatisierung
Certified Scrum Master
54% IT Tester
ISTQB Advanced Level
Technical Test Analyst
Last & Performance Tests Agile Testing
Qualitätsmanagement
54% IT Tester (dipl. Quality Manager, ...)
Certified Product Owner
Agiles Requirements Engineering
ISTQB Expert Level
Entwickler IT Tester RE / BA Fachbereich Niemand 0% 20% 40% 60% 80% 100%
Endbenutzer
13. ORGANISATION Testing Trends & Benchmarks Schweiz 2013 13
Einsatz externer Ressourcen Investitionen
Der Fokus ist und bleibt auf der Testautomatisierung und dem Auf- und Ausbau
der Regressionstests. Am anderen Ende der Skala finden sich wie gehabt die
41.1% Auslagerung von Testaktivitäten und die Anstellung neuer Testmitarbeiter.
Die Unterstützung der Testaktivitäten durch
externe Ressourcen hat sich gegenüber dem
letzten Jahr verringert. So beziehen nun 41.1% Testautomatisierung
statt 33.8% keine externen Ressourcen mehr.
Auf- und Ausbau Regressionstests
Testdaten-Management
Keine externen Ressourcen 8.8%
Bezug externer Ressourcen Testumgebungen
(Insourcing) 11.9%
Bezug als Dienstleistung
41.1%
(Managed Service) Aus-/ Weiterbildung Mitarbeiter
Auslagerung an externe
Ressourcen (Outsourcing)
38.2% Testmanagement-Tools
Testprozesse / Methoden
Anstellung neuer Test-Mitarbeiter
58.9%
Auslagerung von Testaktivitäten
Insgesamt nehmen 58.9% externe Unterstützung in
Anspruch. Der Anteil des Outsourcing hat sich gegenüber
2012 von 5.9% auf 8.8% leicht erhöht, ist aber immer Investitionen Investitionen
noch relativ klein. nehmen ab nehmen zu
14. TESTAUFWAND Testing Trends & Benchmarks Schweiz 2013 14
Testaufwand im Verhältnis zum Testaufwand im Verhältnis zum
Gesamtaufwand Entwicklungsaufwand
2011 2012 2013 2011 2012 2013
30% 30%
23.5%
20% 20%
21.3%
20.4%
20.7%
20.1%
19.4%
16.9%
14.4%
10% 10%
4.1%
9.7%
12.5%
8.2%
1.9%
6.9%
0% 0%
< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber < 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber
Auf den ersten Blick scheint sich Ähnlich wie beim Gesamtauf-
der Testaufwand von Jahr zu
16 – 20% wand hat es beim Testaufwand
Jahr stark zu verändern. 21 – 30% im Verhältnis zum Entwicklungs-
Analysiert man die Zahlen aufwand über die Jahre hinweg
genauer, stellt man jedoch Verschiebungen gegeben.
fest, dass der durchschnittliche Trotzdem ist auch hier der
Testaufwand im Verhältnis zum Durchschnitt stabil bei
Gesamtprojektaufwand konstant
Gesamt- Entwicklungs- 21 - 30% geblieben.
auf 16 – 20% geschätzt wurde. aufwand aufwand
15. TESTWERKZEUGE Testing Trends & Benchmarks Schweiz 2013 15
Testmanagement-Tools Testautomatisierungs-Tools
HP QC /ALM beherrscht weiterhin den Markt. Tricentis Tosca hat sich aber Insgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschie-
zu einer ernstzunehmenden Konkurrenz entwickelt. Dahinter ist der Markt dene Tools genannt.
angesichts der stetig wachsenden Zahl von Alternativen zersplittert.
Weiterhin kommen oft mehrere Tools zum Einsatz (namentlich die
MS Office Palette).
HP QC / ALM 52% HP Quick Test Professional (QTP) 34.5%
MS Office 38% Eigenentwicklung 27.2%
Tricentis Tosca 20% Tricentis Tosca 26.8%
Eigene Entwicklung 14% xUnit (z.B. jUnit, TestNG, ...) 24.1%
MS TFS Test Manager 9% Selenium (RC/WebDriver) 15.3%
Polarion QA / ALM 7% MS TFS / Visualstudio 8.8%
2012 2013 2012 2013
Bugzilla Testopia 6% HP QC / ALM QF Test 5.0% HP Quick Test
Professional (QTP)
IBM Rational MS Office
Quality Manager
4% Ranorex 4.2%
Eigenentwicklung
Tricentis Tosca
IBM Rational Functional Tester
Inflectra Spira 3% (RFT) 4.2%
Eigene Tricentis Tosca
Entwicklung
TestLink 3% MS TFS Test FitNesse 4.2% Selenium
Manager (RC/WebDriver)
SmartBear QAComplete 2% 0% 20% 40% 60% Lisa 3.4% 0% 20% 40%
SilkCentral Test Manager 1% Canoo Webtest 2.3%
keines 3% Andere 18.0%
0% 20% 40% 0% 10% 20% 30%
16. TESTAUTOMATISIERUNG Testing Trends & Benchmarks Schweiz 2013 16
Testautomatisierung pro Teststufe Automatisierte Tests auf
Stufe Systemtest
60%
80%
2011 2012 2013
40%
22.2%
60%
20%
0%
40% 44.8% 8.8% 0 – 10% 11 – 20% 21 – 50% 51 – 80% > 80%
34.5% 9.2%
8.8% % der Testfälle automatisiert
6.1% 12.3%
20%
21.5%
13.8% Kosteneinsparungen
12.6%
5.4%
Insgesamt wird das Potential für Einsparungen durch Automatisierung
22.2% 22.2% höher eingeschätzt als im Vorjahr. Wie schon im Vorjahr hat ein beachtlicher
13.8% 14.2% 14.9% 12.6%
Teil der Teilnehmenden gesagt, dass keine Aussage möglich ist.
0%
0% 1 – 10% 11 – 20% 21 – 50% 51 – 80% über 80%
% der Testfälle automatisiert 40%
Unit Tests Systemtests Abnahmetests 2012 2013
33.3%
30%
24.9%
23.7%
20%
22.6%
21.8%
19.5%
82% 6.9%
16.1%
7.3%
10%
2.8%
10.7%
10.2%
der Befragten haben
automatisierte Tests
auf einer oder mehreren 0%
Stufen. Kosten bis 10% bis 20% bis 50% bis 80% Keine
gestiegen Aussage
möglich
17. ERHEBUNGSGRUNDLAGEN Testing Trends & Benchmarks Schweiz 2013 17
Wirtschaftssektor Aufgabenbereich
Wenig überraschend ist, dass der Anteil an Finanzen und Versicherungen Viele Teilnehmende umschreiben ihre Tätigkeit mit mehr als einer Rolle.
stetig sinkt. Von 35% im 2011 über 28.4% im 2012 zu 24.8% im 2013. Das Spektrum der zu erfüllenden Aufgabenbereiche ist insgesamt sehr breit
Zeitgleich stieg der Anteil staatlicher Betriebe von 6.5% auf inzwischen 9%. gefächert.
0% 10% 20% 30% 40%
IT 37.7%
Test Manager 35.5%
Finanzen, Versicherungen 24.8%
Test Engineer / Test Analyst / Tester 27.8%
Staatliche und staatsnahe Betriebe 9.0%
Berater / Consultant 18.6%
Industrie 8.7%
Projektleiter 18.3%
Transport und Verkehr 5.9%
Teamleiter 17.8%
Telekom 4.2%
Abteilungsleiter / Bereichsleiter 14.0%
MedTech 2.4%
Andere 7.3% Requirements Engineer 13.5%
0% 10% 20% 30% 40% Business Analyst 12.6%
Quality Manager / QS-Verantwortlicher 12.0%
IT-Mitarbeitende Softwareentwickler / Developer 7.4%
Über die Hälfte der Befragten arbeitet in Firmen mit mehr als SW Engineer in Test / Testautomatisierer 6.6%
250 IT-Mitarbeitenden.
C-Level (CEO / CIO / ...) 6.0%
Scrum Master 5.7%
2001–... 29.0%
Product Owner 5.2%
501–2000 14.9%
251–500 13.7%
51–250 23.8%
11–50 13.7%
1–10 5.0%
0% 5% 10% 15% 20% 25% 30% 35%
18. Requirements Trends & Benchmarks Schweiz 2013 Testing Trends & Benchmarks Schweiz 2013 18
Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering über www.SwissQ.it.
Requirements Trends & Benchmarks Schweiz 2013
Viele weitere Zahlen und Details sind im
Requirements Trends & Benchmark Report 2013 zu finden.
RE-Aufwand im Verhältnis zum Zufriedenheit
Gesamtaufwand
Erheben von Anforderungen 44.1% 42.1% 13.8%
24.7%
20% 22.6%
Analysieren von Anforderungen 48.7% 33.3% 17.9%
20.4%
18.3%
Dokumentieren von Anforderungen 35.9% 44.1% 20.0%
10%
10.8% Prüfen von Anforderungen 36.4% 41.0% 22.6%
2.73%
0.5% Verwalten von Anforderungen 28.2% 40.5% 31.3%
0%
< 5% 5-10% 10-15% 15-20% 20-30% 30-50% darüber 0% 20% 40% 60% 80% 100%
RE Aufwand im Verhältnis zum Gesamtaufwand Zufrieden Mittelmässig Unzufrieden
19. Agile Trends & Benchmarks Schweiz 2013 Testing Trends & Benchmarks Schweiz 2013 19
Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends über www.SwissQ.it.
Agile Trends & Benchmarks Schweiz 2013
Viele weitere Zahlen und Details sind im
Agile Trends & Benchmark Report 2013 zu finden.
Verwendete Tools im agilen Umfeld Management Practices
MS Office (Word, Excel) 52.9% Sprint Review / Product Demo 78.6%
Backlog Management 75.7%
Atlassian JIRA / Greenhopper 47.1%
Daily Standup 73.6%
HP QC / ALM 37.9%
Burndown Chart 64.3%
MS Team Foundation Server 20.0% Definition of Done 62.1%
Bugzilla 10.7% Retrospektiven 61.4%
Release Planning 60.0%
IBM Rational Team Concert 8.6%
Taskboard 50.0%
Eigene Entwicklung 6.4%
Planning Poker 42.1%
Scrumy 4.3%
Dedicated Product Owner 41.4%
Version One 3.6% Velocity Chart 28.6%
Rally Software Development 2.1% Definition of Ready 17.9%
On-Site Customer 16.4%
Inflectra SpiraDevelopment 1.4%
Co-Location 9.3%
Andere 14.3%
Work in Progress (WiP) Limits 7.1%
0% 20% 40% 0% 20% 40% 60%
