1. +
Model-based Testing
Kinji AKEMINE@kjstylepp

2. +
目次
1. Test Generation from Business Rules
2. On the Industrial Applicability of TextTest: An Empirical
Case Study
3. Generating Tests for Detecting Faults in Feature Models
15/07/04ICST2015 まるわかりDay!
2

3. +
Test Generation from Business Rules
Simon Holm Jesnsen@Snowflake Computing
Suresh Thummalapenta@Microsoft Corporation
Saurabh Sinha@IBM Rsearch
Satish Chandra@Samsung Research America

4. +
1 背景と目的
 業務システムのテストは大変
 膨大なビジネスルールが十分に明文化されていないため、テスト設
計が困難
 ビジネスルールに関連したテストケースの事前条件が複雑であり、
それを実現するテスト実装が困難
 業務システムの複雑なビジネスルールを定義可能なDSLの提案
 DSLで記述されたビジネスルールから自動でテスト設計／実装
を行うアルゴリズムの提案
15/07/04ICST2015 まるわかりDay!
4

5. +
2 主な貢献
 ツールサポートを伴ったビジネスルール定義用のDSLを開発し
たこと
 ビジネスルールの成立を確認するためのテストケースの自動生
成アルゴリズムを提案したこと
 上記で生成されるテストケースには事前条件を成立させるため
の手順も含まれていること
 上記手法において計算量を現実的な範囲におさえるための工夫
をしたこと
15/07/04ICST2015 まるわかりDay!
5

6. +
3 手法概要(1)
 ビジネスルールの定義方法
15/07/04
出典：Test Generation from Business Rules
ICST2015 まるわかりDay!
6

7. +
3 手法概要(2)
 登場する変数の制約の着目
 各行の事前条件の制約に着目
15/07/04
出典：Test Generation from Business Rules
出典：Test Generation from Business Rules
ICST2015 まるわかりDay!
7

8. +
4 評価(1)
 評価方法
 自動生成手法を実現したツール「BUSTER」を開発
 生成アルゴリズムにといて効率化が施されていないツールとして
「EXHAUST」を比較対象ツールに
 2つのOSSパッケージ製品と1つの実開発システムに対して、ビジ
ネスルールを定義しツールを適用
15/07/04
出典：Test Generation from Business Rules
ICST2015 まるわかりDay!
8

9. +
4 評価(2)
 評価結果
 カバレッジ
 ほぼ全てのビジネスルールに対応したテストケースを生成可能
 効率性
 実行時間および生成されるテストケースの長さにおいて有用
15/07/04出典：Test Generation from Business Rules
出典：Test Generation from Business Rules
ICST2015 まるわかりDay!
9

10. +
5 所感
 狙い所は決して目新しくはない
 アプローチ自体も比較的オーソドックス
 地道なアルゴリズム最適化が大きい
 しっかりツール化をして評価までやりきっている
15/07/04ICST2015 まるわかりDay!
10

11. +
On the Industrial Applicability of TextTest:
An Empirical Case Study
Emil Alegroth@Chalmers University of Technology
Geoffrey Bache@Evry AB
Emily Bache@Bache Consulting

12. +
1 背景と目的
 GUIアプリのテストは大変
 自動化は有効な手段であるが、導入コスト／資産メンテナンス
コストについて見極めをしなければならない
 ところで、TextTestという一風かわった仕組みのOSSのGUIア
プリテストツールがある
 GUIの状態をASCII-artで抽象化！
 TextTestが実用にたえうるのかを検証
15/07/04ICST2015 まるわかりDay!
12

13. +
2 主な貢献
 TextTestを検討している人に有用な評価結果を提示した
 ツールの有用性評価のための評価スキームの一例を示した
15/07/04ICST2015 まるわかりDay!
13

14. +
3 評価手順
 以下の2つのRQを設定
1. TextTestは機能的に有用なGUIテストツールか？
2. TextTestはコスパ的に有用なGUIテストツールか？
 評価方法
1. インタビュアーのバックグランド収集
2. 既存のツール実績にもとづいたインタビュー実施
3. ツールを利用したバグ発見実績の収集
4. マニュアルテストとの比較
15/07/04ICST2015 まるわかりDay!
14

15. +
3 評価結果(1)
 初回インタビュー
 大半のメンバーがツール導入を歓迎
 ツールの使い勝手については有償製品に劣る
15/07/04
出典：On the Industrial Applicability of TextTest: An Empirical Case Study
ICST2015 まるわかりDay!
15

16. +
4 評価結果(2)
 ツールの実績収集
 実際のバグに対して、failするテスト数が多い
 false positiveの観点ではよい
 メンテナンス時間もさほどかかっていない
15/07/04
出典：On the Industrial Applicability of TextTest: An Empirical Case Study
ICST2015 まるわかりDay!
16

17. +
4 評価結果(3)
 マニュアルテストとの比較
 メンテナンスコスト以外の軸においてTextTestが有利
 メンテナンスコストも大きな差異にはなっていない
15/07/04
出典：On the Industrial Applicability of TextTest: An Empirical Case Study
ICST2015 まるわかりDay!
17

18. +
5 所感
 著者らがツールのコミッター。単一ツール評価でもfull-paper
になるのか…
 ツール間比較をしたほうがいいのでは？
15/07/04ICST2015 まるわかりDay!
18

19. +
Generating Tests for Detecting Faults
in Feature Models
Paolo Arcaini@University of Bergamo
Angelo Gargantini@University of Bergamo
Paolo Vavassori@University of Bergamo

20. +
1 背景と目的
 SPLに対するテスト生成技術の研究が盛ん
 既存研究は古典的なテスト設計技術（T-wise testingなど）を適用
したものである
 既存研究とは異なるアプローチとして、Fault-basedな手法を
提案する
15/07/04ICST2015 まるわかりDay!
20

21. +
2 主な貢献
 SPLのFeatureModelに対して、Mutation testingの適用方法
を提案したこと
 上記に加え、MutationからFeatureModelに対するテストケー
ス生成の仕組みを提案したこと
15/07/04ICST2015 まるわかりDay!
21

22. +
3 手法概要(1)
 手法の使い所
 FeatureModelをより詳細化したモデル（実装）を作成する際、元
のFeatureModelを満たしているかどうかを検証する
15/07/04
出典：Generating Tests for Detecting Faults in Feature Models
ICST2015 まるわかりDay!
22

23. +
3 手法概要(2)
 正しいモデルからMutationを生成
 FMに対する独自のMutationルールを12パターン定義
15/07/04
ManToOpt
出典：Generating Tests for Detecting Faults in Feature Models
ICST2015 まるわかりDay!
23

24. +
3 手法概要(3)
 当該Mutationの発生を検知する論理式を構築
 Mutate前後のFMの論理式表現の排他的論理和を構築
 {a = true, b = false, c = true}と{a = true, b = false, c =
false}が該当
15/07/04
出典：Generating Tests for Detecting Faults in Feature Models
出典：Generating Tests for Detecting Faults in Feature ModelsICST2015 まるわかりDay!
24

25. +
4 評価(1)
 評価方法
 6つのSPLモデルに対して、6人の被験者に詳細化実装をしてもらう
 実装に対して各種のテストを実施
 本手法で生成したテストケースを用いる
 既存研究（Pairwise）で生成したテストケースを用いる
15/07/04ICST2015 まるわかりDay!
25

26. +
4 評価(2)
 評価結果
 既存手法に対して有用性を確認
 全17件のバグのうち、最多で10件発見
 バグの発見効率も最もよい
15/07/04
出典：Generating Tests for Detecting Faults in Feature Models
ICST2015 まるわかりDay!
26

27. +
5 所感
 SPL/FMに対するMutation testing適用は興味深い
 SPL/FMのデグレテストにも有効か？
 しかしモデルの変更箇所に対して、手動でテストケースをメンテナ
ンスを行うのは現実的ではないような気もする
 被験者実験はもっと大きなモデルにたいして適用したほうがよ
いのではないか
 「All configurations」の生成は現実的ではない規模のもの
15/07/04ICST2015 まるわかりDay!
27

28. +
以上
15/07/04 ICST2015 まるわかりDay! 28