SlideShare une entreprise Scribd logo
Contents

Part I

Background

1

Introduction .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.1
Software Engineering Context . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.2
Science and Software Engineering .. . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.3
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

3
3
5
8

2

Empirical Strategies .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.1
Overview of Empirical Strategies . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2
Surveys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.1
Survey Characteristics . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.2
Survey Purposes . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.3
Data Collection . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3
Case Studies .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3.1
Case Study Arrangements . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3.2
Confounding Factors and Other Aspects . . . . . . . . . . . . . . .
2.4
Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.4.1
Characteristics . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.4.2
Experiment Process . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.5
Empirical Strategies Comparison . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.6
Replications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.7
Theory in Software Engineering . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.8
Aggregating Evidence from Empirical Studies .. . . . . . . . . . . . . . . . . . .
2.9
Empiricism in a Software Engineering Context .. . . . . . . . . . . . . . . . . .
2.9.1
Empirical Evaluation of Process Changes .. . . . . . . . . . . . .
2.9.2
Quality Improvement Paradigm .. . . .. . . . . . . . . . . . . . . . . . . .
2.9.3
Experience Factory . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.9.4
Goal/Question/Metric Method . . . . . .. . . . . . . . . . . . . . . . . . . .
2.10 Empirically-Based Technology Transfer . . . . . .. . . . . . . . . . . . . . . . . . . .
2.11 Ethics in Experimentation . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.12 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

9
10
12
12
13
13
14
15
15
16
17
18
18
19
21
22
24
24
26
27
29
30
33
36
xix
xx

Contents

3

Measurement .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1
Basic Concepts .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1.1
Scale Types . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1.2
Objective and Subjective Measures .. . . . . . . . . . . . . . . . . . . .
3.1.3
Direct or Indirect Measures . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.2
Measurements in Software Engineering . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.3
Measurements in Practice . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.4
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

37
38
39
40
41
41
42
43

4

Systematic Literature Reviews . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.1
Planning the Review . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.2
Conducting the Review . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.3
Reporting the Review .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.4
Mapping Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.5
Example Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.6
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

45
45
46
51
52
52
54

5

Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.1
Case Studies in Its Context . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.1.1
Why Case Studies in Software Engineering? .. . . . . . . . . .
5.1.2
Case Study Research Process . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2
Design and Planning .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2.1
Case Study Planning .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2.2
Case Study Protocol . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3
Preparation and Collection of Data . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.1
Interviews . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.2
Observations . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.3
Archival Data . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.4
Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4
Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.1
Quantitative Data Analysis . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.2
Qualitative Data Analysis . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.3
Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5
Reporting .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5.1
Characteristics . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5.2
Structure .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.6
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

55
56
57
58
58
58
60
61
62
64
65
65
65
65
66
68
69
69
71
72

6

Experiment Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.1
Variables, Treatments, Objects and Subjects . .. . . . . . . . . . . . . . . . . . . .
6.2
Process.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.3
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.4
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

73
74
76
81
81
Contents

Part II

xxi

Steps in the Experiment Process

7

Scoping.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.1
Scope Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.2
Example Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.3
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

85
85
87
88

8

Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.1
Context Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.2
Hypothesis Formulation . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.3
Variables Selection .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.4
Selection of Subjects. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5
Experiment Design.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.1
Choice of Experiment Design .. . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.2
General Design Principles . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.3
Standard Design Types . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.6
Instrumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.7
Validity Evaluation.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8
Detailed Description of Validity Threats. . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.1
Conclusion Validity .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.2
Internal Validity .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.3
Construct Validity .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.4
External Validity . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.9
Priority Among Types of Validity Threats .. . . .. . . . . . . . . . . . . . . . . . . .
8.10 Example Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.11 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

89
89
91
92
92
93
93
94
95
101
102
104
104
106
108
110
111
112
116

9

Operation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1
Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1.1
Commit Participants . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1.2
Instrumentation Concerns . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2
Execution .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2.1
Data Collection . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2.2
Experimental Environment .. . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.3
Data Validation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.4
Example Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.5
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

117
117
118
119
120
120
120
121
121
122

10 Analysis and Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1 Descriptive Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.1 Measures of Central Tendency . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.2 Measures of Dispersion.. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.3 Measures of Dependency .. . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.4 Graphical Visualization .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.2 Data Set Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

123
123
124
126
127
128
131
xxii

Contents

10.3

10.4
10.5

Hypothesis Testing .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.1 Basic Concept .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.2 Parametric and Non-parametric Tests . . . . . . . . . . . . . . . . . . .
10.3.3 Overview of Tests . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.4 t-Test .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.5 Mann-Whitney . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.6 F-Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.7 Paired t-Test . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.8 Wilcoxon . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.9 Sign Test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.10 ANOVA (ANalysis Of VAriance) .. .. . . . . . . . . . . . . . . . . . . .
10.3.11 Kruskal-Wallis . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.12 Chi-2.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.13 Model Adequacy Checking . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.14 Drawing Conclusions .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
Example Analysis .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

132
132
135
136
138
139
140
140
141
142
143
144
145
148
149
150
151

11 Presentation and Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 153
11.1 Experiment Report Structure . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 153
11.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 157
Part III

Example Experiments

12 Experiment Process Illustration . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1 Scoping .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1.1 Goal Definition.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1.2 Summary of Scoping . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2 Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.1 Context Selection . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.2 Hypothesis Formulation . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.3 Variables Selection. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.4 Selection of Subjects. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.5 Experiment Design . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.6 Instrumentation . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.7 Validity Evaluation . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3 Operation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.1 Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.2 Execution .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.3 Data Validation.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4 Analysis and Interpretation .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.1 Descriptive Statistics. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.2 Data Reduction.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.3 Hypothesis Testing . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

161
161
161
163
163
163
163
165
165
165
166
166
167
167
168
168
169
169
172
172
173
174
Contents

xxiii

13 Are the Perspectives Really Different? Further
Experimentation on Scenario-Based Reading of Requirements.. . . . . .
13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.2 Related Work .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.3 Research Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4 Experiment Planning.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.1 Variables.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.2 Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.3 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.4 Threats to Validity . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.5 Experiment Operation . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.6 Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.6.1 Individual Performance for Different Perspectives.. . . .
13.6.2 Defects Found by Different Perspectives . . . . . . . . . . . . . . .
13.6.3 Is the Sample Size Large Enough? .. . . . . . . . . . . . . . . . . . . . .
13.6.4 Experience of Subjects . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.7 Interpretations of Results . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.8 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.9 Data on Individual Performance . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10 Data on Defects Found by Perspectives. . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10.1 PG document .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10.2 ATM document . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

175
176
177
181
182
182
182
184
184
186
187
187
189
192
194
194
195
197
198
198
199

Appendices
A

Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1
Training.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.1
Normally Distributed Data . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.2
Experience . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.3
Programming .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.4
Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.5
Inspections . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.2
Reviewing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3
Assignments .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.1
Unit Test and Code Reviews . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.2
Inspection Methods . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.3
Requirements Notation . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .

203
203
204
204
205
209
212
212
213
214
214
215

B

Statistical Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 217

References .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 223
Index . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 233
http://www.springer.com/978-3-642-29043-5

Contenu connexe

Tendances

Rapport de sprint finale (All Project part)
Rapport de sprint finale (All Project part)Rapport de sprint finale (All Project part)
Rapport de sprint finale (All Project part)
Ghodbane Heni
 
The Ring programming language version 1.4 book - Part 1 of 30
The Ring programming language version 1.4 book - Part 1 of 30The Ring programming language version 1.4 book - Part 1 of 30
The Ring programming language version 1.4 book - Part 1 of 30
Mahmoud Samir Fayed
 
Cibles d’intervention des c.o. du collégial versus représentations des problé...
Cibles d’intervention des c.o. du collégial versus représentations des problé...Cibles d’intervention des c.o. du collégial versus représentations des problé...
Cibles d’intervention des c.o. du collégial versus représentations des problé...Louis Cournoyer
 
Conception et développement de la gestion de visa sous Dynamics Ax R2
Conception et développement de la gestion de visa sous Dynamics Ax R2Conception et développement de la gestion de visa sous Dynamics Ax R2
Conception et développement de la gestion de visa sous Dynamics Ax R2
Rawdha MABROUKI
 
Rappport PFE 2012 Ghodhbane Hani - OpenSNC
Rappport PFE 2012 Ghodhbane Hani - OpenSNCRappport PFE 2012 Ghodhbane Hani - OpenSNC
Rappport PFE 2012 Ghodhbane Hani - OpenSNC
Ghodbane Heni
 
Guide administrateur cms Nosql Rubedo
Guide administrateur cms Nosql RubedoGuide administrateur cms Nosql Rubedo
Guide administrateur cms Nosql Rubedo
Rubedo, a WebTales solution
 
The Ring programming language version 1.3 book - Part 1 of 88
The Ring programming language version 1.3 book - Part 1 of 88The Ring programming language version 1.3 book - Part 1 of 88
The Ring programming language version 1.3 book - Part 1 of 88
Mahmoud Samir Fayed
 
The Ring programming language version 1.4.1 book - Part 1 of 31
The Ring programming language version 1.4.1 book - Part 1 of 31The Ring programming language version 1.4.1 book - Part 1 of 31
The Ring programming language version 1.4.1 book - Part 1 of 31
Mahmoud Samir Fayed
 
Approche de l'enfant au cabinet dentaire rôles du non verbal et du verbal
Approche de l'enfant au cabinet dentaire rôles du non verbal et du verbalApproche de l'enfant au cabinet dentaire rôles du non verbal et du verbal
Approche de l'enfant au cabinet dentaire rôles du non verbal et du verbal
medecin dentiste
 
La base de données Oracle
La base de données OracleLa base de données Oracle
La base de données OracleBruno Delb
 
Oracle 11g exploitation
Oracle 11g exploitationOracle 11g exploitation
Oracle 11g exploitation
Dieudonné M'sago
 
Polycop td access 2007 facturation
Polycop td access 2007  facturationPolycop td access 2007  facturation
Polycop td access 2007 facturationgkaterynne
 
The Ring programming language version 1.10 book - Part 1 of 212
The Ring programming language version 1.10 book - Part 1 of 212The Ring programming language version 1.10 book - Part 1 of 212
The Ring programming language version 1.10 book - Part 1 of 212
Mahmoud Samir Fayed
 
The Ring programming language version 1.5.1 book - Part 1 of 180
The Ring programming language version 1.5.1 book - Part 1 of 180The Ring programming language version 1.5.1 book - Part 1 of 180
The Ring programming language version 1.5.1 book - Part 1 of 180
Mahmoud Samir Fayed
 
The Ring programming language version 1.5.2 book - Part 1 of 181
The Ring programming language version 1.5.2 book - Part 1 of 181The Ring programming language version 1.5.2 book - Part 1 of 181
The Ring programming language version 1.5.2 book - Part 1 of 181
Mahmoud Samir Fayed
 
The Ring programming language version 1.9 book - Part 1 of 210
The Ring programming language version 1.9 book - Part 1 of 210The Ring programming language version 1.9 book - Part 1 of 210
The Ring programming language version 1.9 book - Part 1 of 210
Mahmoud Samir Fayed
 
The Ring programming language version 1.5.4 book - Part 1 of 185
The Ring programming language version 1.5.4 book - Part 1 of 185The Ring programming language version 1.5.4 book - Part 1 of 185
The Ring programming language version 1.5.4 book - Part 1 of 185
Mahmoud Samir Fayed
 
The Ring programming language version 1.5.3 book - Part 1 of 184
The Ring programming language version 1.5.3 book - Part 1 of 184The Ring programming language version 1.5.3 book - Part 1 of 184
The Ring programming language version 1.5.3 book - Part 1 of 184
Mahmoud Samir Fayed
 
The Ring programming language version 1.7 book - Part 1 of 196
The Ring programming language version 1.7 book - Part 1 of 196The Ring programming language version 1.7 book - Part 1 of 196
The Ring programming language version 1.7 book - Part 1 of 196
Mahmoud Samir Fayed
 

Tendances (20)

Rapport de sprint finale (All Project part)
Rapport de sprint finale (All Project part)Rapport de sprint finale (All Project part)
Rapport de sprint finale (All Project part)
 
The Ring programming language version 1.4 book - Part 1 of 30
The Ring programming language version 1.4 book - Part 1 of 30The Ring programming language version 1.4 book - Part 1 of 30
The Ring programming language version 1.4 book - Part 1 of 30
 
Cibles d’intervention des c.o. du collégial versus représentations des problé...
Cibles d’intervention des c.o. du collégial versus représentations des problé...Cibles d’intervention des c.o. du collégial versus représentations des problé...
Cibles d’intervention des c.o. du collégial versus représentations des problé...
 
Conception et développement de la gestion de visa sous Dynamics Ax R2
Conception et développement de la gestion de visa sous Dynamics Ax R2Conception et développement de la gestion de visa sous Dynamics Ax R2
Conception et développement de la gestion de visa sous Dynamics Ax R2
 
Rappport PFE 2012 Ghodhbane Hani - OpenSNC
Rappport PFE 2012 Ghodhbane Hani - OpenSNCRappport PFE 2012 Ghodhbane Hani - OpenSNC
Rappport PFE 2012 Ghodhbane Hani - OpenSNC
 
Guide administrateur cms Nosql Rubedo
Guide administrateur cms Nosql RubedoGuide administrateur cms Nosql Rubedo
Guide administrateur cms Nosql Rubedo
 
The Ring programming language version 1.3 book - Part 1 of 88
The Ring programming language version 1.3 book - Part 1 of 88The Ring programming language version 1.3 book - Part 1 of 88
The Ring programming language version 1.3 book - Part 1 of 88
 
The Ring programming language version 1.4.1 book - Part 1 of 31
The Ring programming language version 1.4.1 book - Part 1 of 31The Ring programming language version 1.4.1 book - Part 1 of 31
The Ring programming language version 1.4.1 book - Part 1 of 31
 
Approche de l'enfant au cabinet dentaire rôles du non verbal et du verbal
Approche de l'enfant au cabinet dentaire rôles du non verbal et du verbalApproche de l'enfant au cabinet dentaire rôles du non verbal et du verbal
Approche de l'enfant au cabinet dentaire rôles du non verbal et du verbal
 
La base de données Oracle
La base de données OracleLa base de données Oracle
La base de données Oracle
 
Oracle 11g exploitation
Oracle 11g exploitationOracle 11g exploitation
Oracle 11g exploitation
 
Polycop td access 2007 facturation
Polycop td access 2007  facturationPolycop td access 2007  facturation
Polycop td access 2007 facturation
 
The Ring programming language version 1.10 book - Part 1 of 212
The Ring programming language version 1.10 book - Part 1 of 212The Ring programming language version 1.10 book - Part 1 of 212
The Ring programming language version 1.10 book - Part 1 of 212
 
The Ring programming language version 1.5.1 book - Part 1 of 180
The Ring programming language version 1.5.1 book - Part 1 of 180The Ring programming language version 1.5.1 book - Part 1 of 180
The Ring programming language version 1.5.1 book - Part 1 of 180
 
The Ring programming language version 1.5.2 book - Part 1 of 181
The Ring programming language version 1.5.2 book - Part 1 of 181The Ring programming language version 1.5.2 book - Part 1 of 181
The Ring programming language version 1.5.2 book - Part 1 of 181
 
The Ring programming language version 1.9 book - Part 1 of 210
The Ring programming language version 1.9 book - Part 1 of 210The Ring programming language version 1.9 book - Part 1 of 210
The Ring programming language version 1.9 book - Part 1 of 210
 
The Ring programming language version 1.5.4 book - Part 1 of 185
The Ring programming language version 1.5.4 book - Part 1 of 185The Ring programming language version 1.5.4 book - Part 1 of 185
The Ring programming language version 1.5.4 book - Part 1 of 185
 
Ids
IdsIds
Ids
 
The Ring programming language version 1.5.3 book - Part 1 of 184
The Ring programming language version 1.5.3 book - Part 1 of 184The Ring programming language version 1.5.3 book - Part 1 of 184
The Ring programming language version 1.5.3 book - Part 1 of 184
 
The Ring programming language version 1.7 book - Part 1 of 196
The Ring programming language version 1.7 book - Part 1 of 196The Ring programming language version 1.7 book - Part 1 of 196
The Ring programming language version 1.7 book - Part 1 of 196
 

Similaire à 9783642290435 t1

Mémoire fin d'étude gestion des interventions
Mémoire fin d'étude gestion des interventionsMémoire fin d'étude gestion des interventions
Mémoire fin d'étude gestion des interventions
Mohamed Arar
 
Conception et développement d'une application de gestion de production et de ...
Conception et développement d'une application de gestion de production et de ...Conception et développement d'une application de gestion de production et de ...
Conception et développement d'une application de gestion de production et de ...
Mohamed Aziz Chetoui
 
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
mouafekmazia
 
Base-de-données.pdf
Base-de-données.pdfBase-de-données.pdf
Base-de-données.pdf
djallel2
 
réaliser une plateforme d’automatisation et de génération des rapports de test
réaliser une plateforme d’automatisation et de génération des rapports de testréaliser une plateforme d’automatisation et de génération des rapports de test
réaliser une plateforme d’automatisation et de génération des rapports de test
ahmed oumezzine
 
RapportPFE_IngenieurInformatique_ESPRIT
RapportPFE_IngenieurInformatique_ESPRITRapportPFE_IngenieurInformatique_ESPRIT
RapportPFE_IngenieurInformatique_ESPRIT
Lina Meddeb
 
rapport_stage_TBLB.pdf
rapport_stage_TBLB.pdfrapport_stage_TBLB.pdf
rapport_stage_TBLB.pdf
fatimazahrakherazi
 
Deviens un Ninja avec Angular2
Deviens un Ninja avec Angular2Deviens un Ninja avec Angular2
Deviens un Ninja avec Angular2
Gantner Technologies
 
cours_python.pdf
cours_python.pdfcours_python.pdf
cours_python.pdf
Wafaa Ibrihich
 
pfe_rapport_poste_licence_LFIG.pdf
pfe_rapport_poste_licence_LFIG.pdfpfe_rapport_poste_licence_LFIG.pdf
pfe_rapport_poste_licence_LFIG.pdf
nesrine haloui
 
20090708 commodities in the if study undp cover and table of content
20090708 commodities in the if study undp cover and table of content20090708 commodities in the if study undp cover and table of content
20090708 commodities in the if study undp cover and table of contentLichia Saner-Yiu
 
Outpatient Department System (OPD)
Outpatient Department System (OPD) Outpatient Department System (OPD)
Outpatient Department System (OPD)
Ben Ahmed Zohra
 
Manuel du module additionnel RF-LAMINATE pour RFEM
Manuel du module additionnel RF-LAMINATE pour RFEMManuel du module additionnel RF-LAMINATE pour RFEM
Manuel du module additionnel RF-LAMINATE pour RFEM
Grégoire Dupont
 
notes-de-cours-de-fouille-de-donnees.pdf
notes-de-cours-de-fouille-de-donnees.pdfnotes-de-cours-de-fouille-de-donnees.pdf
notes-de-cours-de-fouille-de-donnees.pdf
CoulibalyYoussoufngo
 
Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Deep Learning : Application à la reconnaissance d’objets de classes multiples...Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Haytam EL YOUSSFI
 
Bureau virtuel
Bureau virtuelBureau virtuel
Bureau virtuelraymen87
 
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Yasmine Lachheb
 
Conception et développement d'une marketplace basée sur l'architecture micros...
Conception et développement d'une marketplace basée sur l'architecture micros...Conception et développement d'une marketplace basée sur l'architecture micros...
Conception et développement d'une marketplace basée sur l'architecture micros...
Adem Amen Allah Thabti
 
OpenERP - Gestion de prix de revient
OpenERP - Gestion de prix de revientOpenERP - Gestion de prix de revient
OpenERP - Gestion de prix de revient
Taieb Kristou
 

Similaire à 9783642290435 t1 (20)

Mémoire fin d'étude gestion des interventions
Mémoire fin d'étude gestion des interventionsMémoire fin d'étude gestion des interventions
Mémoire fin d'étude gestion des interventions
 
Conception et développement d'une application de gestion de production et de ...
Conception et développement d'une application de gestion de production et de ...Conception et développement d'une application de gestion de production et de ...
Conception et développement d'une application de gestion de production et de ...
 
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
Rapport Projet De Fin D'étude de Conception et développement d’une applicatio...
 
Base-de-données.pdf
Base-de-données.pdfBase-de-données.pdf
Base-de-données.pdf
 
réaliser une plateforme d’automatisation et de génération des rapports de test
réaliser une plateforme d’automatisation et de génération des rapports de testréaliser une plateforme d’automatisation et de génération des rapports de test
réaliser une plateforme d’automatisation et de génération des rapports de test
 
RapportPFE_IngenieurInformatique_ESPRIT
RapportPFE_IngenieurInformatique_ESPRITRapportPFE_IngenieurInformatique_ESPRIT
RapportPFE_IngenieurInformatique_ESPRIT
 
rapport_stage_TBLB.pdf
rapport_stage_TBLB.pdfrapport_stage_TBLB.pdf
rapport_stage_TBLB.pdf
 
Deviens un Ninja avec Angular2
Deviens un Ninja avec Angular2Deviens un Ninja avec Angular2
Deviens un Ninja avec Angular2
 
cours_python.pdf
cours_python.pdfcours_python.pdf
cours_python.pdf
 
pfe_rapport_poste_licence_LFIG.pdf
pfe_rapport_poste_licence_LFIG.pdfpfe_rapport_poste_licence_LFIG.pdf
pfe_rapport_poste_licence_LFIG.pdf
 
20090708 commodities in the if study undp cover and table of content
20090708 commodities in the if study undp cover and table of content20090708 commodities in the if study undp cover and table of content
20090708 commodities in the if study undp cover and table of content
 
Outpatient Department System (OPD)
Outpatient Department System (OPD) Outpatient Department System (OPD)
Outpatient Department System (OPD)
 
Manuel du module additionnel RF-LAMINATE pour RFEM
Manuel du module additionnel RF-LAMINATE pour RFEMManuel du module additionnel RF-LAMINATE pour RFEM
Manuel du module additionnel RF-LAMINATE pour RFEM
 
notes-de-cours-de-fouille-de-donnees.pdf
notes-de-cours-de-fouille-de-donnees.pdfnotes-de-cours-de-fouille-de-donnees.pdf
notes-de-cours-de-fouille-de-donnees.pdf
 
Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Deep Learning : Application à la reconnaissance d’objets de classes multiples...Deep Learning : Application à la reconnaissance d’objets de classes multiples...
Deep Learning : Application à la reconnaissance d’objets de classes multiples...
 
Bureau virtuel
Bureau virtuelBureau virtuel
Bureau virtuel
 
Algo
AlgoAlgo
Algo
 
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
Rapport PFE BIAT Conception et mise en place d’une plate-forme de gestion des...
 
Conception et développement d'une marketplace basée sur l'architecture micros...
Conception et développement d'une marketplace basée sur l'architecture micros...Conception et développement d'une marketplace basée sur l'architecture micros...
Conception et développement d'une marketplace basée sur l'architecture micros...
 
OpenERP - Gestion de prix de revient
OpenERP - Gestion de prix de revientOpenERP - Gestion de prix de revient
OpenERP - Gestion de prix de revient
 

9783642290435 t1

  • 1. Contents Part I Background 1 Introduction .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 1.1 Software Engineering Context . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 1.2 Science and Software Engineering .. . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 1.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 3 3 5 8 2 Empirical Strategies .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.1 Overview of Empirical Strategies . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.2 Surveys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.2.1 Survey Characteristics . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.2.2 Survey Purposes . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.2.3 Data Collection . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.3 Case Studies .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.3.1 Case Study Arrangements . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.3.2 Confounding Factors and Other Aspects . . . . . . . . . . . . . . . 2.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.4.1 Characteristics . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.4.2 Experiment Process . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.5 Empirical Strategies Comparison . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.6 Replications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.7 Theory in Software Engineering . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.8 Aggregating Evidence from Empirical Studies .. . . . . . . . . . . . . . . . . . . 2.9 Empiricism in a Software Engineering Context .. . . . . . . . . . . . . . . . . . 2.9.1 Empirical Evaluation of Process Changes .. . . . . . . . . . . . . 2.9.2 Quality Improvement Paradigm .. . . .. . . . . . . . . . . . . . . . . . . . 2.9.3 Experience Factory . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.9.4 Goal/Question/Metric Method . . . . . .. . . . . . . . . . . . . . . . . . . . 2.10 Empirically-Based Technology Transfer . . . . . .. . . . . . . . . . . . . . . . . . . . 2.11 Ethics in Experimentation . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 2.12 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9 10 12 12 13 13 14 15 15 16 17 18 18 19 21 22 24 24 26 27 29 30 33 36 xix
  • 2. xx Contents 3 Measurement .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 3.1 Basic Concepts .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 3.1.1 Scale Types . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 3.1.2 Objective and Subjective Measures .. . . . . . . . . . . . . . . . . . . . 3.1.3 Direct or Indirect Measures . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 3.2 Measurements in Software Engineering . . . . . . .. . . . . . . . . . . . . . . . . . . . 3.3 Measurements in Practice . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 3.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 37 38 39 40 41 41 42 43 4 Systematic Literature Reviews . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 4.1 Planning the Review . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 4.2 Conducting the Review . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 4.3 Reporting the Review .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 4.4 Mapping Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 4.5 Example Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 4.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 45 45 46 51 52 52 54 5 Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.1 Case Studies in Its Context . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.1.1 Why Case Studies in Software Engineering? .. . . . . . . . . . 5.1.2 Case Study Research Process . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.2 Design and Planning .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.2.1 Case Study Planning .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.2.2 Case Study Protocol . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.3 Preparation and Collection of Data . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.3.1 Interviews . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.3.2 Observations . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.3.3 Archival Data . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.3.4 Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.4 Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.4.1 Quantitative Data Analysis . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.4.2 Qualitative Data Analysis . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.4.3 Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.5 Reporting .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.5.1 Characteristics . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.5.2 Structure .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 5.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 55 56 57 58 58 58 60 61 62 64 65 65 65 65 66 68 69 69 71 72 6 Experiment Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 6.1 Variables, Treatments, Objects and Subjects . .. . . . . . . . . . . . . . . . . . . . 6.2 Process.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 6.3 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 6.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 73 74 76 81 81
  • 3. Contents Part II xxi Steps in the Experiment Process 7 Scoping.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 7.1 Scope Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 7.2 Example Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 7.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 85 85 87 88 8 Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.1 Context Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.2 Hypothesis Formulation . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.3 Variables Selection .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.4 Selection of Subjects. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.5 Experiment Design.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.5.1 Choice of Experiment Design .. . . . . .. . . . . . . . . . . . . . . . . . . . 8.5.2 General Design Principles . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.5.3 Standard Design Types . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.6 Instrumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.7 Validity Evaluation.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.8 Detailed Description of Validity Threats. . . . . . .. . . . . . . . . . . . . . . . . . . . 8.8.1 Conclusion Validity .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.8.2 Internal Validity .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.8.3 Construct Validity .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.8.4 External Validity . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.9 Priority Among Types of Validity Threats .. . . .. . . . . . . . . . . . . . . . . . . . 8.10 Example Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 8.11 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 89 89 91 92 92 93 93 94 95 101 102 104 104 106 108 110 111 112 116 9 Operation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.1 Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.1.1 Commit Participants . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.1.2 Instrumentation Concerns . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.2 Execution .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.2.1 Data Collection . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.2.2 Experimental Environment .. . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.3 Data Validation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.4 Example Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 9.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 117 117 118 119 120 120 120 121 121 122 10 Analysis and Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.1 Descriptive Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.1.1 Measures of Central Tendency . . . . . .. . . . . . . . . . . . . . . . . . . . 10.1.2 Measures of Dispersion.. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.1.3 Measures of Dependency .. . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.1.4 Graphical Visualization .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.2 Data Set Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 123 123 124 126 127 128 131
  • 4. xxii Contents 10.3 10.4 10.5 Hypothesis Testing .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.1 Basic Concept .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.2 Parametric and Non-parametric Tests . . . . . . . . . . . . . . . . . . . 10.3.3 Overview of Tests . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.4 t-Test .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.5 Mann-Whitney . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.6 F-Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.7 Paired t-Test . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.8 Wilcoxon . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.9 Sign Test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.10 ANOVA (ANalysis Of VAriance) .. .. . . . . . . . . . . . . . . . . . . . 10.3.11 Kruskal-Wallis . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.12 Chi-2.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.13 Model Adequacy Checking . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 10.3.14 Drawing Conclusions .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . Example Analysis .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 132 132 135 136 138 139 140 140 141 142 143 144 145 148 149 150 151 11 Presentation and Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 153 11.1 Experiment Report Structure . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 153 11.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 157 Part III Example Experiments 12 Experiment Process Illustration . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.1 Scoping .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.1.1 Goal Definition.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.1.2 Summary of Scoping . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.2 Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.2.1 Context Selection . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.2.2 Hypothesis Formulation . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.2.3 Variables Selection. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.2.4 Selection of Subjects. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.2.5 Experiment Design . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.2.6 Instrumentation . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.2.7 Validity Evaluation . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.3 Operation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.3.1 Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.3.2 Execution .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.3.3 Data Validation.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.4 Analysis and Interpretation .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.4.1 Descriptive Statistics. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.4.2 Data Reduction.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.4.3 Hypothesis Testing . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 12.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 161 161 161 163 163 163 163 165 165 165 166 166 167 167 168 168 169 169 172 172 173 174
  • 5. Contents xxiii 13 Are the Perspectives Really Different? Further Experimentation on Scenario-Based Reading of Requirements.. . . . . . 13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.2 Related Work .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.3 Research Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.4 Experiment Planning.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.4.1 Variables.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.4.2 Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.4.3 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.4.4 Threats to Validity . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.5 Experiment Operation . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.6 Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.6.1 Individual Performance for Different Perspectives.. . . . 13.6.2 Defects Found by Different Perspectives . . . . . . . . . . . . . . . 13.6.3 Is the Sample Size Large Enough? .. . . . . . . . . . . . . . . . . . . . . 13.6.4 Experience of Subjects . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.7 Interpretations of Results . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.8 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.9 Data on Individual Performance . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.10 Data on Defects Found by Perspectives. . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.10.1 PG document .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 13.10.2 ATM document . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 175 176 177 181 182 182 182 184 184 186 187 187 189 192 194 194 195 197 198 198 199 Appendices A Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.1 Training.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.1.1 Normally Distributed Data . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.1.2 Experience . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.1.3 Programming .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.1.4 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.1.5 Inspections . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.2 Reviewing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.3 Assignments .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.3.1 Unit Test and Code Reviews . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.3.2 Inspection Methods . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . A.3.3 Requirements Notation . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 203 203 204 204 205 209 212 212 213 214 214 215 B Statistical Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 217 References .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 223 Index . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 233