On 12 September Andreas Prins and I gave two presentation on the TestNet session night. The theme of the event was: Transforming testing to fit modern development. Andreas identified various rhythms (or wavelengths) in the SDLC and explained the automation that can be done in order to have short lead times and frequent feedback on code quality and delivered value. My presentation was called “I am an agile tester, because…”. During my talk I discussed what it takes to be an agile tester and I introduced 12 statements that can be used as manifesto for the agile tester. During the presentation 40+ participants filled in the survey and we got a nice impression of how agile our testing is. You can find the results below, and in the slide deck. Using a recent project I was involved in I put these statements to the test. I explain the test strategy I applied and shared my successes and failures. One of the participants tweeted about the presentation: “A nice war story. The 12 statements trigger me to think about my own role and the role of testing within my project and organization”. I think I succeeded my mission.

1. Transform testing to fit modern development
1
Derk-Jan de Grood
Testnet thema avond
12 september 2018
I am an agile
tester,
because…

2. 2
I am an agile tester because…
Testing has transformed into Agile Testing. Testing has become a
responsibility of the whole development team. Many testers wonder what
their role is now that everyone is testing. Some people say that Testing is
WHAT we do and Agile is HOW we do it. In order to contribute effectively
to quality solutions, agile testers need to combine the WHAT and HOW
in their daily approach.
Time for a deep-dive. What defines the agile tester and how do we add
value. In this session we explore 12 statements that define what makes
the agile tester. We will discuss how these statements impact the
software development lifecycle and how they enable you to explain why
you do what you do as a tester.
Join this session if you want to improve yourself and want to get practical
tips from the real world; If you want to learn what makes your testing
agile and how is your agile mindset translated into a valuable testing
approach. Each of the participants will leave the room with an
understanding of where he/she stands: “I am an agile tester because…”
2
I am an agile tester because…
Testing has transformed into Agile Testing. Testing has become a
responsibility of the whole development team. Many testers wonder what
their role is now that everyone is testing. Some people say that Testing is
WHAT we do and Agile is HOW we do it. In order to contribute effectively
to quality solutions, agile testers need to combine the WHAT and HOW
in their daily approach.
Time for a deep-dive. What defines the agile tester and how do we add
value. In this session we explore 12 statements that define what makes
the agile tester. We will discuss how these statements impact the
software development lifecycle and how they enable you to explain why
you do what you do as a tester.
Join this session if you want to improve yourself and want to get practical
tips from the real world; If you want to learn what makes your testing
agile and how is your agile mindset translated into a valuable testing
approach. Each of the participants will leave the room with an
understanding of where he/she stands: “I am an agile tester because…”

3. 3

4. One of five: Agile testing
4

5. Aim of this session
5

6. The “I’m an agile tester” survey
6

7. Hackathon…
7

8. 8
Self assessment

9. Online survey
9

10. Results Testnet evening 12 sept (1/2)

11. Results Testnet evening 12 sept (2/2)

12. 12

13. Put to the practice….
A recent project
13

14. Non-IT Steering
Committee
14
Project challenges

15. The Cliff
15

16. Pedra do Telegrafo, Brazil
16

17. DAY 1
So you want a release advice?
17

18. Testing as part
CI/CD development
process
Testing as part of a
Acceptance, with a
release moment
and exceeding
teams
Testing in the organization
18
Testing in the team

19. Test strategy
19
Contribute to a quality
solution
Ensure that the right
tests are done
Assure that testing is of
sufficient quality
Provide intelligence on
progress and quality

20. 20
Uruguay

21. De testaanpak heeft de volgende 4
doelen
21
Bijdragen aan resultaat
• Gedurende de sprints
zal er zoveel mogelijk
getest worden (aan
gerealiseerde code en
prototype) Feedback
en bevindingen worden
direct terug gevoerd
naar development
zodat deze verholpen
kunnen worden
• Door structuur en
testscenario’s te delen
met development
ontstaat een vroegtijdig
inzicht over de
acceptatiecriteria bij
development
Zorgen dat de juiste
testen worden
uitgevoerd
• De aanpak maakt
inzichtelijk op welke
percelen er testen
uitgevoerd dienen te
worden om een
volledig vrijgaveadvies
op te kunnen stellen.
• De aanpak maakt het
mogelijk om per
perceel afspraken te
maken over
verantwoordelijkheden,
planning en rapportage
• Zie slide percelen
Zorgen voor overzicht in
voortgang en kwaliteit
• Rapportage zal
gebruikt worden binnen
development t.b.v.
Voortgang, planning en
prioritering
• Rapportage kan
gebruikt worden in
projectoverleg om
beeld te geven van
voortgang, risico’s en
kwaliteit.
Zorg dragen dat de
testen voldoende
kwaliteit hebben
• Gedurende de sprints
zal een inschatting
gemaakt worden van
de kwaliteit van de
testen en de registratie
van de resultaten
(traceerbaarheid)
• Gezien de korte termijn
wordt dit aandachtpunt
impliciet meegenomen.

22. CustomerJourney
22
1. Kanaal en Browser
Meldingen kunnen
worden ingediend met de
ondersteunde kanalen,
browsers en devices
2. Meldingen Indienen
Melding kan worden
ingediend, de
categorie wordt
bepaald en de juiste
vervolg intake en
belofte wordt gegeven
6. Machine Learning
De ML bepaalt de
categorie voldoende
accuraat en kan
aantoonbaar leren
3. Meldingen
Registratie
Ingediende meldingen
zijn geregistreerd in
SIA en mutaties zijn
traceerbaar
4b. Ext. koppelingen
Sigmax en Techview
kunnen melding
ontvangen en een
response bericht kan
worden verwerkt
4a. Behandelaren View
Aangesloten
behandelaars kunnen
via GUI gefilterde
meldingen inzien en de
status aanpassen
5. Terugkoppeling
Melder krijgt de juiste
notificaties over de
status van zijn melding
9.
Beheerfunctionaliteit
De SIA beheerders
hebben toegang tot
beheerders
functionaliteit tbv
van bv Gebruikers
beheer
8. Performance
SIA kan voldoende
meldingen verwerken met
een adequate response
tijd
7.
Gebruikersacceptatie
De gebruikers
(behandelaren) geven
aan te kunnen werken met
het systeem
Legenda
onderdeel van de
customer journey
aanvullende
aandachtsgebieden
10. ETL levering: BI-
afnemers zoals
Datawarehouse, Ortec
en OOV Dashboards
ontvangen datadump
Defining the lots in the strategy

23. Statements
I'm able to retrieve the information from my stakeholders
and Product Owner required to contribute to the best
possible product and tests
I can serve as a critical sounding board for IT
Professionals and business stakeholders
I encourage other team members to create good quality
solutions
23

24. Benchmark
(results from NexoQA Test Academy session in Barcelona – January
2018)
24
Challenges:
• Collaboration and embedding Q
• Distance of the team, PO
• Involvement of High level mgt
Challenges:
• Involve testers in technical
decisions, code reviews, etc.
• Convince Dev about code quality
• Help PO to write good US

25. DAY 2
Embed Quality into the product
25

26. De testaanpak heeft de volgende 4
doelen
26
Bijdragen aan resultaat
• Gedurende de sprints
zal er zoveel mogelijk
getest worden (aan
gerealiseerde code en
prototype) Feedback
en bevindingen worden
direct terug gevoerd
naar development
zodat deze verholpen
kunnen worden
• Door structuur en
testscenario’s te delen
met development
ontstaat een vroegtijdig
inzicht over de
acceptatiecriteria bij
development
Zorgen dat de juiste
testen worden
uitgevoerd
• De aanpak maakt
inzichtelijk op welke
percelen er testen
uitgevoerd dienen te
worden om een
volledig vrijgaveadvies
op te kunnen stellen.
• De aanpak maakt het
mogelijk om per
perceel afspraken te
maken over
verantwoordelijkheden,
planning en rapportage
• Zie slide percelen
Zorgen voor overzicht in
voortgang en kwaliteit
• Rapportage zal
gebruikt worden binnen
development t.b.v.
Voortgang, planning en
prioritering
• Rapportage kan
gebruikt worden in
projectoverleg om
beeld te geven van
voortgang, risico’s en
kwaliteit.
Zorg dragen dat de
testen voldoende
kwaliteit hebben
• Gedurende de sprints
zal een inschatting
gemaakt worden van
de kwaliteit van de
testen en de registratie
van de resultaten
(traceerbaarheid)
• Gezien de korte termijn
wordt dit aandachtpunt
impliciet meegenomen.
We test as much as possible
even when it is not finished !

27. Statements
In every sprint I'm committed to prove that the finished
products really adds value.
I'm constantly looking for opportunities to get feedback
as early as possible in the sprint and e.g. during
refinement
within the sprint I execute as many tests as possible
(regardless of the test level)
27

28. Statements
In every sprint I'm committed to prove that the finished
products really adds value.
I'm constantly looking for opportunities to get feedback
as early as possible in the sprint and e.g. during
refinement
within the sprint I execute as many tests as possible
(regardless of the test level)
28
We need to know what the stakeholder
values and plan tests during the sprint so
they are completed
We strive for completed features each
sprint and that we test the technical &
functional and look beyond that to see the
perceived value

29. Statements
In every sprint I'm committed to prove that the finished
products really adds value.
I'm constantly looking for opportunities to get feedback
as early as possible in the sprint and e.g. during
refinement
within the sprint I execute as many tests as possible
(regardless of the test level)
...
29
We encourage to shift test upfront even if
that means that the items increase in size
We get from behind or desk and
involve others!
We discuss planning and
roadmap

30. Roadmapping
(choosing camera position)
30
Learn and Mitigate risks
Making the deadline
Build Efficiently

31. What does it do?
31
BLI

32. Poor will !
32

33. Benchmark
33
Challenges:
• Integration
• Good project management
• Automation
• Clear Sprint Goals
Challenges:
• Working in multidisciplinary
teams
(results from NexoQA Test Academy
session in Barcelona – January 2018)

34. 34
Bijdragen aan resultaat
• Gedurende de sprints
zal er zoveel mogelijk
getest worden (aan
gerealiseerde code en
prototype) Feedback
en bevindingen worden
direct terug gevoerd
naar development
zodat deze verholpen
kunnen worden
• Door structuur en
testscenario’s te delen
met development
ontstaat een vroegtijdig
inzicht over de
acceptatiecriteria bij
development
Zorgen dat de juiste
testen worden
uitgevoerd
• De aanpak maakt
inzichtelijk op welke
percelen er testen
uitgevoerd dienen te
worden om een
volledig vrijgaveadvies
op te kunnen stellen.
• De aanpak maakt het
mogelijk om per
perceel afspraken te
maken over
verantwoordelijkheden,
planning en rapportage
• Zie slide percelen
Zorgen voor overzicht in
voortgang en kwaliteit
• Rapportage zal
gebruikt worden binnen
development t.b.v.
Voortgang, planning en
prioritering
• Rapportage kan
gebruikt worden in
projectoverleg om
beeld te geven van
voortgang, risico’s en
kwaliteit.
Zorg dragen dat de
testen voldoende
kwaliteit hebben
• Gedurende de sprints
zal een inschatting
gemaakt worden van
de kwaliteit van de
testen en de registratie
van de resultaten
(traceerbaarheid)
• Gezien de korte termijn
wordt dit aandachtpunt
impliciet meegenomen.
Efficient
We ensure that we can trace
tests back to the strategy

35. Statements
I restrict documentation to a minimum but add detail where
needed
35
What do we document as
test proof?

36. Our charters
36
Requirements
Userstories
CustomerJourney
1. Kanaal en Browser
Meldingen kunnen worden
ingediend met de ondersteunde
kanalen, browsers en devices
2. Meldingen Indienen
Melding kan worden ingediend,
de categorie wordt bepaald en
de juiste vervolg intake en
belofte wordt gegeven
6. Machine Learning
De ML bepaalt de categorie
voldoende accuraat en kan
aantoonbaar leren
3. Meldingen Registratie
Ingediende meldingen zijn
geregistreerd in SIA en mutaties
zijn traceerbaar
4b. Ext. koppelingen
Sigmax en Techview kunnen
melding ontvangen en een
response bericht kan worden
verwerkt
4a. Behandelaren View
Aangesloten behandelaars
kunnen via GUI gefilterde
meldingen inzien en de status
aanpassen
5. Terugkoppeling
Melder krijgt de juiste notificaties
over de status van zijn melding
9. Beheerfunctionaliteit
De SIA beheerders hebben
toegang tot beheerders
functionaliteit tbv van bv
Gebruikers beheer
8. Performance
SIA kan voldoende meldingen
verwerken met een adequate
response tijd
7. Gebruikersacceptatie
De gebruikers (behandelaren)
geven aan te kunnen werken
met het systeem
10. ETL levering: BI-afnemers
zoals Datawarehouse, Ortec en
OOV Dashboards ontvangen
datadump
Percelen
Test charters

37. Statements
I determine with my team which tests we automate, but
also test manually in case this is more efficient or adds
more value
37
Automation of:
• Test execution
• Test design
• Stubbing and Driving
• CI/CD Pipeline

38. Benchmark
38
Challenges:
• Knowing test platform/languages
• Reduce UI tests in favor of Integration tests
• meetings about risks
Challenges:
• Communication between Dev and T
• Automate documentation
• Validation of the documentation (results from NexoQA Test
Academy session in
Barcelona – January 2018)

39. We ensure that we can trace
tests back to the stragegy
39
Bijdragen aan resultaat
• Gedurende de sprints
zal er zoveel mogelijk
getest worden (aan
gerealiseerde code en
prototype) Feedback
en bevindingen worden
direct terug gevoerd
naar development
zodat deze verholpen
kunnen worden
• Door structuur en
testscenario’s te delen
met development
ontstaat een vroegtijdig
inzicht over de
acceptatiecriteria bij
development
Zorgen dat de juiste
testen worden
uitgevoerd
• De aanpak maakt
inzichtelijk op welke
percelen er testen
uitgevoerd dienen te
worden om een
volledig vrijgaveadvies
op te kunnen stellen.
• De aanpak maakt het
mogelijk om per
perceel afspraken te
maken over
verantwoordelijkheden,
planning en rapportage
• Zie slide percelen
Zorgen voor overzicht in
voortgang en kwaliteit
• Rapportage zal
gebruikt worden binnen
development t.b.v.
Voortgang, planning en
prioritering
• Rapportage kan
gebruikt worden in
projectoverleg om
beeld te geven van
voortgang, risico’s en
kwaliteit.
Zorg dragen dat de
testen voldoende
kwaliteit hebben
• Gedurende de sprints
zal een inschatting
gemaakt worden van
de kwaliteit van de
testen en de registratie
van de resultaten
(traceerbaarheid)
• Gezien de korte termijn
wordt dit aandachtpunt
impliciet meegenomen.
We ensure buy in from our
stakeholders

40. CustomerJourney
40
1. Kanaal en Browser
Meldingen kunnen
worden ingediend met de
ondersteunde kanalen,
browsers en devices
2. Meldingen Indienen
Melding kan worden
ingediend, de
categorie wordt
bepaald en de juiste
vervolg intake en
belofte wordt gegeven
6. Machine Learning
De ML bepaalt de
categorie voldoende
accuraat en kan
aantoonbaar leren
3. Meldingen
Registratie
Ingediende meldingen
zijn geregistreerd in
SIA en mutaties zijn
traceerbaar
4b. Ext. koppelingen
Sigmax en Techview
kunnen melding
ontvangen en een
response bericht kan
worden verwerkt
4a. Behandelaren View
Aangesloten
behandelaars kunnen
via GUI gefilterde
meldingen inzien en de
status aanpassen
5. Terugkoppeling
Melder krijgt de juiste
notificaties over de
status van zijn melding
9.
Beheerfunctionaliteit
De SIA beheerders
hebben toegang tot
beheerders
functionaliteit tbv
van bv Gebruikers
beheer
8. Performance
SIA kan voldoende
meldingen verwerken met
een adequate response
tijd
7.
Gebruikersacceptatie
De gebruikers
(behandelaren) geven
aan te kunnen werken met
het systeem
Legenda
onderdeel van de
customer journey
aanvullende
aandachtsgebieden
10. ETL levering: BI-
afnemers zoals
Datawarehouse, Ortec
en OOV Dashboards
ontvangen datadump
Defining the lots in the strategy

41. Status
41
Klaar met testen
Klaar met testen, wachten
op Bugfix
Bezig met testen (oranje
postit geeft bevinding
aan)
Beschikbaar voor test
In scope voor MVP, nog
niet beschikbaar voor test

42. Be a professional
& have the right skills
42

43. Statements
I have the skills and knowledge to use techniques and
methods in the correct way
I use bug hunts and exploratory testing to get to know
the system, to deliver evidence it meets the
requirements and to provide improvement suggestions
Next to my test certifications like ISTQB, TMap, CAT I
also have knowledge of e.g. ASF, SAFe, Less, Nexus,
PSPO, PSM, LEAN, KANBAN, ...
43
Challenges:
• Code Quality
• Security / Performance/NFT
• Jira plugins for test
Challenges:
• Documentation
• Agile/Waterfall sync
• Error prediction /Coverage
Challenges:
• Application in practice
• Finding time when not
provided by employee
(resultsfromNexoQATestAcademysessioninBarcelona–January2018)

44. Focus on the team vs Focus on the
organization
44
TDD
Nightly Builds
CI/CD
Unit testing
Etc…
Big Demo’s
Release planning
MVP
Integration testing

45. What skills do we need…
45
Programming
Selenium
Java
GDPR
Service Simulation
API
Security
Performance
IOT
AI
Docker
Cucumber
Jenkins
Blockchain
Micro services
API
Business/Domain
ERP/PEGA/SalesForce
Agile Practices
Scaling Frameworks
Test approaches

46. 46

47. Wrap up
47

48. Wrap-up
48
Set of shared
values
Manage
expectation
Improve as a
team
Keep it
lightweight and
fit for purpose
Survey
It is not about the score,
but the story behind it
Balance the
team vs
Embedding
quality in the
SDLC

49. VALORI
ORTELIUSLAAN 1000
3528 BD UTRECHT
• derkjandegrood@valori.nl
• +31(0)651807878
• www.valori.nl
• @DerkJanDeGrood
• http://djdegrood.wordpress.com
49