2. 2
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
3
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Communication
Structuring
Investigation
(IQUIP) Auditmodel
Assignment
SummariesApproach
Research
Report
Findings
4
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Communication
Structuring
Investigation
Communicatie
Assignment
SummariesApproach
Research
Report
Findings
Communication with client: manage expectation
Quality Assurance
3. 3
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
5
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Communication
Structuring
Investigation
Communicatie (II)
Assignment
SummariesApproach
Research
Report
Findings
ToR Major
issues
Work programs
6
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Communication
Structuring
Investigation
Quality Assurance
Assignment
SummariesApproach
Research
Report
Findings
Files
Quality Assurance
Internally: mgt of process quality
4. 4
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
7
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Communication
Structuring
Investigation
Quality Assurance
Assignment
SummariesApproach
Research
Report
Findings
8
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Communication
Structuring
Investigation
(IQUIP) Auditmodel, start
Assignment
SummariesApproach
Research
Report
Findings
5. 5
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
9
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Alles
Communication
Structuring
Investigation
Assignment
SummariesApproach
Research
Report
Findings
ToR Major
issues
Work programs
Communication with client: manage expectation
Quality Assurance
Files
Internally: mgt of process quality
10
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
• Opdracht-intake / onderhoud Audit Universe
• Auditobjecten bepalen
• Kwaliteitsaspecten bepalen
• Alleen high-level onderzoek (mogelijke auditability, scope, diepgang)
• Control environment (‘cultuur’)
• Management & financial control
• Operations & process control
• IT Control
• Output: Offerte / Plan van Aanpak / Terms of Reference
(Voorzover algemene aanduiding van de scope voldoet)
• Soms geïntegreerd met Approach
Assignment
Assignment
6. 6
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
11
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Scope van IT-audting
‘Business’ Information Mgt IT
Strat
Tact
Oper
IT-beveiliging
12
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Audit Universe
• Manageable = ..?
• Door auditor
• Door auditee
• Risk assessment / analysis
• Prio’s …
• Capaciteit
versus
Coverage
7. 7
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
13
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Risico-analyse
14
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
• Frame of reference bepalen (normen - I)
• Resources bepalen
• Fasen en activiteiten vaststellen
• Gedreven door een gedetailleerde risicoanalyse!
• Aanwijzen kritieke auditobjecten ×××× kwaliteitsaspecten
• Organisatie van de audit
• Werkprogramma(s) op maat snijden
• Gedetailleerde planning opstellen
• Output: Terms of Reference (indien nu pas: gedetailleerd)
• Output: Werkprogramma’s inclusief gedetailleerde planning
Approach
Approach
8. 8
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
15
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Risico-analyse
• Vóór insteken van de opdracht (op basis van / in audit
universe)
• Bij insteek van specifieke audit!
• Gebieden waar op voorhand known unknowns zijn
• … of gewoon lijstjes afvinken ..?
16
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
• Just do it (gedetailleerde werkprogramma’s)
• Alléén ‘interviews en documentstudie’..?
• Just do it (gedetailleerde werkprogramma’s)
• Communiceer bedreigende issues met de klant
• C-C-R-C-R
Research
Findings
Research, Findings
9. 9
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
17
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
• Indien het werkprogramma goed was gedetailleerd,
• Combinatie bevindingen met auditobjecten,
kwaliteitsaspecten en (de)compositie leidt ‘automatisch’
tot partiële, overall conclusies, restrisico’s, rating,
eventuele tegenmaatregelen, aanbevelingen
• Else
• Kunst
• Onafhankelijke harde woorden, stellingnames versus
• Management van klantverwachtingen (verpakking van de
boodschap)
Summaries
Summaries
18
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
• Niets bijzonders
• Vormvereisten
Report
Report
10. 10
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
19
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Communication
Structuring
Investigation
Tijdsbesteding
Assignment
SummariesApproach
Research
Report
Findings
20%
(5%)
40%
(20%)
10%
(30%)
10%
(40%++)
10%
(25%++)
10%
(15%)
20
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Opdrachtaanvaarding
• Richtlijn (210) Opdrachtaanvaarding – aanstaande
• Doel van de opdracht
• Het object van onderzoek
• Doelgroep rapportage en de gehanteerde
toetsingsnormen
• Toegang tot toereikende informatie
• Zekerheidsniveau en product (rapportage) van de
audit
• Ander college
12. 12
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
23
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Normen aan normen – concreet
• Aard:
Objectief / subjectief;
Wettelijk / aangedragen / ‘best’(??) practice / standaard
• Bronnen:
Opdrachtgever / andere belanghebbenden / wetgeving /
auditor / ….
• Voorwaarden:
Relevant, toereikend, eenduidig, meetbaar
• Reikwijdte (scope van de audit ..?)
• Oordeel:
Kwalitatief / kwantitatief, Absoluut (hard) / relatief
24
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
‘Best Practices’ …
• In het land der blinden is eenoog best
• Mythe van vergelijkbaarheid omstandigheden
• Worden soms formele standaard(en)
• ISO 2700x, 20000, etc.
• Toevalligheden gecodificeerd
• Stapje minder nog …: ‘Sound practices’
13. 13
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
25
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Normen, van opdrachtgever of auditee
• PRIMAIR de normen van de opdrachtgever gebruiken
• (H)erkend door auditee …!?
• Toets toepasbaarheid etc.
• Discussieer (dat is wat anders dan toesturen) en krijg goedkeuring
(dat is wat anders dan overeenstemming) over eventuele
aanvullingen of interpretaties
• Alleen als opdrachtgever geen normen heeft, ook niet van
de auditee, dan pas door auditor aan te dragen
• (H)erkend door auditee …!?
• Toets toepasbaarheid etc.
• Discussieer (dat is wat anders dan toesturen) en krijg goedkeuring
(dat is wat anders dan overeenstemming) over eventuele
aanvullingen of interpretaties
26
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Waarom des opdrachtgevers
Des opdrachtgevers, met instemming
(veto) auditee:
• Voldoen aan normen is alleen mogelijk
als die normen van tevoren bekend
waren …!
• Anders is de audit alleen maar
hinderlijk, of hooguit als nulmeting
geschikt
• Houdt rekening met alle belangen,
zeker als de consequenties van findings
mogen worden verondersteld bekend
te zijn!
14. 14
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
27
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Normen: Concreet (= abstract)
• CHA-18 ANALYSEREN VERZOEK
De organisatie toetst het wijzigingsverzoek op volledigheid en
correctheid, en maakt een inschatting of de indiener de risico’s
correct heeft weergegeven en de rollback adequaat heeft
gespecificeerd conform de geschetste risico’s
• REL-13 OPNEMEN IN BUNDEL
De organisatie neemt de update op in een aanstaande
releasebundel, rekening houdend met de samenhang en
noodzakelijke volgorde binnen de update en met andere updates
in de releasebundels
28
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
OBW
• Opzet →→→→ van het stelsel!
Dus niet alleen ‘er zijn normen’ of ‘er is een ontwerp’
Maar: Brengt het stelsel, mits geïmplementeerd, control?
(Waaronder: opvang uitzonderingen, op diverse niveau’s;
zelfcorrectie)
• Bestaan →→→→ van het stelsel in de praktijk, dus niet alleen op papier!
• Werking →→→→ van het stelsel !!!
• ‘Werking is herhaald vaststellen van bestaan’ ?
• Herhaald vaststellen = hooguit 20%
• Deugdelijke opzet (zelfcorrectie) = meer dan 80%
15. 15
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
29
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Van normen naar maatregelen
• Vertaling van normen naar maatregelen had de lijn al hebben
moeten doen
• Liefst inclusief aantoonbaarheidszaken
• Maatregelen van de lijn overnemen
• Toets toepasbaarheid v.v. norm, ‘volledigheid’ t.a.v. dekking van de norm
• Alleen als lijn geen maatregelen heeft, dan pas door auditor
aan te dragen
• (H)erkend door auditee …!?
• Toets toepasbaarheid etc.
• Discussieer (dat is wat anders dan toesturen) en krijg goedkeuring (dat is
wat anders dan overeenstemming) over eventuele aanvullingen of
interpretaties
• Open voor interpretatie, vervangende controls, etc.!
• Controls: normen of maatregelen …?
30
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Werkprogramma
• Werkprogramma = selectie (!) van
maatregelen aan de hand waarvan het
voldoen aan de norm wordt vastgesteld
• Selectie op basis van risico-analyse,
representativiteit voor behalen norm, etc.
• (Wettelijke vereisten vasthouden, maar die
zijn zelden gedetailleerd)
• Bedenk: AR = IR xxxx ICR xxxx DR
Auditrisico, inherent risico, interne-
controlerisico, detectierisico
• Wat is ‘material misstatement’ bij de IT-
auditor ..?
Toleranties ..?
16. 16
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
31
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Certificering
• Gecertificeerde auditors
• Geaccrediteerde auditors,
Gecertificeerde auditees
• Accreditatie als gecertificeerde certificeerder
• Scope-bepaling – hoe (SoA, onderhandeling)
• Scope en rapport
• Certificaat en onafhankelijkheid
• Normen? Maatregelen!
32
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
3402
• ISAE 3402,
Assurance Reports on Controls at a Third Party Service Organization
• ‘Vervangt’ SAS70
• Type I, II (OB, OW) →→→→
• Type A, B (OB, OW)
• Receiving auditor besteedt auditwerk in service organisatie
uit aan service auditor (ISAE 402)
• Resulteert in rapport van bevindingen
• Dus geen interpretaties, conclusies of iets dergelijks!
• Is dus GEEN TPM
• Ontvangende auditor moet werk zelf opnemen in overall plaatje
• Afspraken over inhoud!
• (Of hoe gaat dat bij Direct Reporting ..?)
17. 17
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
33
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
‘Controletechnieken’
• Directe en indirecte controle
• Volkomen, volledige en fragmentarische controle
Volkomen: Rationeel controledoel
Volledig: Alles
Volmaakt: …?
• Totaal- en detailcontrole
• Integrale en partiële controle: gehele verzameling, of alleen
deelwaarneming:
• Posten, waarde-eenheden
• Steekproeven
• 80/20 / (risicogebaseerde) kritische deelwaarneming, blokmethode (periode)
• Positieve en negatieve controle: juistheid, volledigheid
• Formele en materiële controle
34
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Controlemiddelen
• ‘Interviews en documentstudie’ en …?
• Onderzoek van de interne organisatie (AO/IC)
• Cijferbeoordeling
• Verbandscontrole
• Externe bescheiden en interne vastleggingen (bewijsstukken)
• Normen (interne doelstellingen)
• Bestaanscontrole (inventarisatie, waarneming ter plaatse, afloopcontrole,
saldobevestigingen, ontstaanscontrole, overige)
• Inlichtingen van de gecontroleerde
• Overige (attestatie de vita, verklaringen van andere accountants, van
actuarissen)
18. 18
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
35
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Of, zoals voor ons relevante controlemiddelen
• Verificatie
• Waarnemingen ter plaatse
• Bevestiging
• Herberekening
• Opnieuw uitvoeren
• Analyse
• Het inwinnen van inlichtingen
36
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
‘Interviews en documentstudie’
• Inlichtingen van de gecontroleerde:
Betrouwbaarheid ?? (zie paper)
• Bewijsstukken en overige vastleggingen:
• Extern > Intern
• Intern > AO
• (Schriftelijk > mondeling)
• Voorbeelden: Van alles en nog wat
• Eigen waarneming ter plaatse
• Handelingen zien
• Onderzoeken van objecten (administratie, deliverables, fysiek)
Waaronder steekproeven
• Inventarisatie, proceduretests, lijncontrole
19. 19
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
37
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Steekproeven
• Geen absolute zekerheid
• Toetsen of schatten ..?
• Uitspraken op basis van
• Tolerantie van fouten in parameterschattingen
(‘normale’ verdeling ?)
• Betrouwbaarheid (foute conclusie over hypothesen)
• Attributief: Kwalitatief, tellen van aantal keer
voorkomen van een attribuut bij objecten
• Variabel: Kwantitatief (μμμμenσσσσ) over kwantitatief
• Nauwkeurigheid versus betrouwbaarheid
38
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Meer over Controle
• http://www.elementairetheorieaccountantscontrole.noordhoff.nl/
• Elementaire kennis Accountantscontrole, NIVRA / Wolters-Noordhoff
(Marktplaats t.e.a.b…)
20. 20
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
39
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Audit automation →→→→CAATs
• Computer Assisted Audit Techniques alleen mogelijk bij:
• Voldoende grote gegevensbestanden
• Voldoende heterogeniteit in de massa
• Voldoende binding met doel
• Selecteren
Sorteren en samenvatten
Vergelijken
Rekenen
Statistische berekeningen
Steekproeven
40
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Controlemix
• Het geheel van de gekozen (!) controlemiddelen en
–technieken
• Reikwijdte
• Toepasbaarheid
• Effectiviteit
• Nauwkeurigheid
• Efficiency
• Socio-psychologische effecten
• Effectief en efficiënt (volkomen)
• Nogmaals: AR = IR xxxx ICR xxxx DR = ...?
21. 21
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
41
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Blijf denken
42
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Alles op een hoop: Het Rotterdamse model
Auditontwerp =
• Auditdoelstelling
• Auditmodel
• Beoordelingscriteria
• Begripsbepaling en operationalisering
• Auditmateriaal
• Auditstrategie
• Verwerking gegevens en oordeelsvorming
• Rapportage
• Auditplanning
Conceptueel ontwerp
Technisch ontwerp
22. 22
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
43
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Veldwerk
• Just do it … of ..?
44
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Bevindingen
23. 23
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
45
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Bevindingen afstemmen!
• Bevindingen afstemmen met ‘bronnen’
• Gespreksverslagen
→→→→ Veel werk (maar kort, mag)
→→→→ Geïnterviewde heeft laatste woord!
→→→→ Niet alsnog dingen erbij slepen ..!
• Bepaal relevantie van bevinding ten aanzien van
effectiviteit maatregel(en), norm(en)
• Criteria Condition Residual risk Cause Recommendation
• Geen symptomen maar gebreken – in de beheersing
46
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Bevindingen
24. 24
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
47
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Rapportage – Vereisten
• Opschrift
• Doelgroep
• Opdracht,onderzoeksobject en moment/periode
• Reikwijdte onderzoek (kwaliteitsaspecten,normen,
diepgang)
• Verantwoordelijkheden en werkzaamheden
• Oordeel
• Beperkingen
• Ondertekening
48
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Oordelen
• 4 Strekkingen van oordelen
• Elementen Richtlijn en
kernwoorden
• Bijvoorbeeld goedkeurend
• Voldoet aan gestelde normen
25. 25
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
49
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Rapportage
50
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Rapportage …?
• ‘Standaard’ versus Project Reviews
• Standaard:
• Beheer-georiënteerd
• Van A tot Z
• Project Review:
• Project-georiënteerd
• Alles behalve (?) Z
• Gateway:
• A, B, C etc.
• Maar ‘niks’ ertussen
• ‘Peer review’ ..?
Communication
Structuring
Investigation
Assignment
SummariesApproach
Research
Report
Findings
ToR
Major
issues
Work programs
26. 26
vrije Universiteit amsterdam
Postgraduate IT Audit Opleiding
51
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
En dan …?
• Richtlijn (230) Documentatie
• Niet ‘dossiervorming’
• Tot volgende week (?)
52
JvP/JvdV/VU
MEI/2010
Uitvoering van de audit - IT audit flow
Op naar de volgende audit
