絶版プレミア本に学ぶウェブアプリのテスト方法

1. 絶版プレミア本に学ぶ
ウェブアプリのテスト方法
ウノウ株式会社 山本 健

2. 自己紹介： 山本健（QAエンジニア）
パーソナルコンピューター黎明期にPCを使い始めるも、若気の至り
か芸術の道へ大きく寄り道し東京芸術大学大学院で油画を専攻。
在学中から始めたサイト制作・携帯コンテンツ運営などを経て2003
年より株式会社BEATにて受託開発のテスト業務に携わる。
2006年4月よりウノウに参戦し、より早くより深いWEBアプリケーショ
ンの品質管理を目指して奮闘中。
画家としても活動しており、見た目からは連想出来ない繊細な画風
で世間の注目を集めている。
白日会 会員。

3. 会社紹介：ウノウ株式会社
ウノウはそのまま日本語読みすれば右脳（うのう）となります。
右脳は芸術や創造性を司る脳と言われています。
ウノウは、創造力を最大限に生かし、インターネットを通じて、
おもしろいこと、楽しいことを提案していきます。
最近はmixiアプリの「まちつく！」なんかをやってます。

4. 本日のお話
テストの書籍や資料を探すとウェブアプリケーションを対象にしたも
のは少ないのが現状です。
絶版のため高値になっている良書「インターネットアプリケーション
のためのソフトウェアテスト」の内容を辿りながら、ウェブアプリのテ
スト法全般について日本の状況を交えながらお話したいと思いま
す。

6. 本書について
「インターネットアプリケーションのためのソフトウェアテスト」
原書名：Testing Applications on the Web:Test Planning for Mobile and
Internet‐Based Systems,2/Edition(Nguyen,Hung Q.;Johnson,Bob;Hackett,
Michael)
グエン，フン・Ｑ．〈Ｎｇｕｙｅｎ，Ｈｕｎｇ Ｑ．〉 ジョンソン，ボブ〈Ｊｏｈｎｓｏｎ，
Ｂｏｂ〉 ハケット，マイケル【著】〈Ｈａｃｋｅｔｔ，Ｍｉｃｈａｅｌ〉 松村 淳【監訳】 松
島 孝仁 河崎 伸明 森川 隆司 ＴＡＯＴＷ翻訳有志【訳】
ソフトバンクパブリッシング （2003/11/07 出版）
473p / 24×19cm
ISBN： 9784797322064

7. 本書の内容
3部構成になっている
第1部 イントロダクション
第2部 方法論と技術
第3部 テストの実践
「既存システムよりも複雑な構成のネットワーク/Webアプリケーショ
ン。信頼性の高いソフトウェア開発に必要な技術を「グレーボックス」
テストの第一人者が解説する。」（帯より）
著者の会社LogiGear（http://www.logigear.com/）の製品の宣伝ぽ
いところが一部入る

8. 第1部 イントロダクション

9. 第1章 Webテストの世界にようこそ
1.1 本章のねらい
1.2 イントロダクション
1.3 ソフトウェアテストの発達
1.4 グレーボックステスト手法
1.5 現実のソフトウェアテスト
1.6 本書のテーマ
1.7 第2版における変更点
1.7.1 追加された内容と重要な変更部分
1.7.2 第1版から変更のない部分

10. グレーボックステスト
「推測に基づいたり、不完全な構造や設計の情報を使ってブラック
ボックステストに拡張したり、手を加えたもの」 - Dick Bender
「アルゴリズム、内部状態、アーキテクチャ、その他プログラム動作
に関する大まかな記述をもとに設計されたテスト」 - Doug Hoffman
「入出力を含むテスト。しかしテスト設計は、普通はテスト実施者の
視野の範囲外であるコードや一種のプログラム操作についての情
報によって上達する。」 - Cem Kaner
第9回 Los Altos Workshop on Software Testing(LAWST)における、
いくつかの非公式なグレーボックステストの定義

11. 第2章 Webテストと従来型のテスト
2.1 本章のねらい
2.2 イントロダクション
2.3 アプリケーションモデル
2.4 ハードウェアとソフトウェアの違い
2.5 Webと従来型のクライアントサーバシステムとの違い
2.5.1 クライアント側のアプリケーション
2.5.2 イベント処理
2.5.3 アプリケーションのインスタンスとウィンドウの処理
2.5.4 UIコントロール

12. メインフレーム

13. サーバ

14. 第2章 Webテストと従来型のテスト
2.6 Webシステム
2.6.1 ハードウェアの混在
2.6.2 ソフトウェアの混在
2.6.3 サーバベースのアプリケーション
2.6.4 分散型サーバ構成
2.6.5 ネットワーク
2.7 バグの継承
2.8 バックエンドデータベースへのアクセス
2.9 ThinクライアントとThickクライアント
2.10 相互運用性に関連する障害
2.11 テストで考慮すべき点
2.12 参考文献

15. 第2部 方法論と技術

16. 第3章 ソフトウェアテストの基本
3.1 本章のねらい
3.2 イントロダクション
3.3 テスト計画とドキュメントの基本
3.4 共通の用語と概念
3.4.1 テスト条件
3.4.1.1 静的動作環境
3.4.1.2 動的動作環境
3.4.2 テストタイプ
3.4.2.1 受け入れテスト
3.4.2.2 機能レベルでのテスト
3.4.3 開発フェーズ

17. 第3章 ソフトウェアテストの基本
3.5 テストケースの作成
3.5.1 等価クラスへの分類と境界条件の分析
3.5.2 状態遷移テスト
3.5.3 ユースケース
3.5.3.1 ユースケースからのテストケースの作成例
3.5.3.2 ユースケースに基づいて作成されたテストケース
3.5.3.3 ユースケースの図、テキストのテンプレートとテストケース
3.5.4 条件の組み合わせ
3.5.5 組み合わせ理論
3.6 参考文献

18. 第4章 テスト計画の基本
4.1 本章のねらい
4.2 イントロダクション
4.3 テスト計画書
4.3.1 テスト計画書のドキュメント
4.3.2 テスト計画書のテンプレート
4.3.3 テスト計画の各セクションの定義
4.4 LogiGearワンページテスト計画書
4.4.1 ワンページテスト計画書の作成
4.4.1.1 ステップ1:テストタスクの決定
4.4.1.2 ステップ2:テスト完了時間
4.4.1.3 ステップ3:テストタスクの割り振り
4.4.1.4 ステップ4:一覧表の作成
4.4.1.5 ステップ5:リソースの見積もり

19. 第4章 テスト計画の基本
4.4.2 LogiGearワンページテスト計画書の利用
4.5 テストで考慮すべき点
4.5.1 障害レポート
4.5.2 週次進捗状況レポート
4.5.3 テストの自動化
4.5.4 マイルストーン基準とマイルストーンテスト
4.6 参考文献

20. Ｈｕｎｇ Ｑ．Ｎｇｕｙｅｎ

21. 第3部 テストの実践

22. 第3部 テストの実践 目次
第5章 ユーザインタフェーステスト
第6章 機能テスト
第7章 サーバサイドのテスト
第8章 スクリプトを使ったテスト
第9章 データベーステスト
第10章 ヘルプテスト
第11章 インストールテスト
第12章 構成テストと互換性テスト
第13章 Webセキュリティテスト
第14章 パフォーマンステスト
第15章 モバイルWebアプリケーションのテスト

23. 第5章 ユーザインタフェーステスト
5.1 本章のねらい
5.2 イントロダクション
5.3 ユーザーインターフェース設計に関するテスト
5.3.1 対象ユーザーの分析
5.3.1.1 コンピュータの使用経験
5.3.1.2 Webの利用経験
5.3.1.3 特有の知識
5.3.1.4 アプリケーション特有の経験
5.3.2 設計の検討
5.3.2.1 設計方針
5.3.2.2 ユーザインタラクション（データ入力）
5.3.2.3 データの表示（データの出力）

24. 第5章 ユーザインタフェーステスト
5.4 ユーザインタフェース実装に関するテスト
5.4.1 その他のUI要素
5.4.1.1 ディスプレイ互換性テストのマトリックス
5.5 ユーザビリティとアクセシビリティに関するテスト
5.5.1 アクセシビリティテスト
5.6 テストで考慮すべき点
5.7 参考文献と追加情報
5.7.1 参考文献
5.7.2 推奨文献
5.7.3 役立つリンク

25. 第6章 機能テスト
6.1 本章のねらい
6.2 イントロダクション
6.3 機能テストの準備段階における機能一覧の作成例
6.3.1 サンプルアプリケーションのテスト
6.4 テストの方法
6.4.1 受け入れ時簡易機能テスト（FAST）
6.4.2 タスク指向機能テスト（TOFT）
6.4.3 強制エラーテスト（FET）
6.4.4 境界条件テストと等価クラス分析
6.4.5 探索型テスト
6.4.6 ソフトウェアへの攻撃
6.4.7 どのテストタイプを用いるか
6.5 参考文献

26. 第7章 サーバサイドのテスト
7.1 本章のねらい
7.2 イントロダクション
7.3 一般的なサーバサイドテストの問題
7.3.1 接続性の問題
7.3.1.1 タイムアウトの問題
7.3.1.2 ステートが維持される
7.3.2 リソースの問題
7.3.3 バックアップとリストアの問題
7.3.4 フェイルオーバーの問題
7.3.5 マルチスレッドの問題

27. 第7章 サーバサイドのテスト
7.4 サーバサイドテストのTips
7.4.1 ログファイルの使用
7.4.2 モニタリングツールの利用
7.4.3 テストインタフェースまたはテストドライバの作成
7.4.4 テスト環境
7.4.4.1 実際のシステムで作業する
7.4.4.2 サーバのリセット
7.5 参考文献
7.5.1 追加情報
7.5.1.1 実行時テスト用のテストツール

28. 第8章 スクリプトを使ったテスト
8.1 本章のねらい
8.2 イントロダクション
8.3 バッチとシェルコマンド
8.3.1 バッチファイルとシェルスクリプト
8.4 スクリプト言語
8.4.1 コンパイルするプログラム言語を使わないのはなぜだろうか
8.4.2 テスト技術者がするべきことは何か

29. 第8章 スクリプトを使ったテスト
8.5 テストタスクへのスクリプトの適用
8.5.1 システム管理：自動タスク
8.5.2 システムに関する情報を見つける
8.5.3 サーバを直接テストする：サーバに対する要求
8.5.4 UIを用いずにアプリケーションを動作させる
8.5.5 データの検査：ログファイルとレポート
8.5.6 テスト結果を理解するためにスクリプトを使用する
8.5.7 スクリプトによる生産性の向上
8.5.7.1 多数のファイルをスクリプトでテストする
8.5.7.2 繰り返し実行する一組のスクリプト
8.5.8 手動では実行できないテストの実行
8.6 プロジェクトにとって良いスクリプトを書く方法
8.7 良いスクリプトを書く方法

30. 第8章 スクリプトを使ったテスト
8.8 リソース一覧
8.8.1 スクリプトについてもっと知るための一般的なリソース
8.8.2 Windows Script Host(WSH)
8.8.3 バッチとシェル
8.8.4 Perl
8.8.5 Tcl
8.8.6 AWK
8.8.7 SQLの習得
8.8.8 ツールの検索場所とスクリプトのダウンロード
8.9 参考文献と役立つ書籍

31. 第9章 データベーステスト
9.1 本章のねらい
9.2 イントロダクション
9.3 リレーショナルデータベースサーバ
9.3.1 構造化照会言語
9.3.1.1 データベースベンダと標準化
9.3.1.2 データベースの拡張機能
9.3.1.3 SQLの例
9.4 クライアント/SQLインタフェース
9.4.1 マイクロソフトのCLI
9.4.2 JavaのCLI

32. 第9章 データベーステスト
9.5 テスト手法
9.5.1 共通するエラーを探すには
9.5.２ ストアドプロシージャとトリガ
9.5.3 ホワイトボックステスト手法
9.5.3.1 コードのウォークスルー
9.5.3.2 コーディングの重複エラーの例
9.5.3.3 非効率なコーディングの例
9.5.3.4 SQL文を1行ずつ実行
9.5.3.5 ストアドプロシージャを1行ずつ実行
9.5.3.6 トリガのテスト
9.5.3.7 外部インターフェース

33. 第9章 データベーステスト
9.5.4 ブラックボックステスト手法
9.5.4.1 テストケースの作成
9.5.4.2 トランザクションロジックのテスト
9.5.4.3 同時並行問題のテスト
9.5.4.4 データベーステストの準備
9.5.4.5 セットアップ/インストールの問題
9.5.4.6 クリーンデータベースによるテスト
9.6 データベーステストで考慮すべき点
9.7 参考文献と参考サイト
9.7.1 参考文献
9.7.2 参考サイト

34. 第10章 ヘルプテスト
10.1 本章のねらい
10.2 イントロダクション
10.3 ヘルプシステムの分析
10.3.1 ヘルプシステムの種類
10.3.1.1 アプリケーションのヘルプシステム
10.3.1.2 リファレンスヘルプシステム
10.3.1.3 チュートリアルヘルプシステム
10.3.1.4 セールスマーケティングヘルプシステム
10.3.2 ヘルプシステムが対象とするユーザの評価
10.3.3 ヘルプシステムの設計方針の評価

35. 第10章 ヘルプテスト
10.3.4 ヘルプシステムに用いられる技術の評価
10.3.4.1 標準HTML
10.3.4.2 Javaアプレット
10.3.4.3 ネットスケープNetHelp
10.3.4.4 ActiveXコントロール
10.3.4.5 ヘルプを構成する要素
10.4 ヘルプテストの方針
10.4.1 2段階のテスト
10.4.1.1 スタンドアロンとしてのテスト
10.4.1.2 アプリケーションをヘルプシステムの相互関係のテスト
10.4.2 ヘルプエラーの種類
10.5 ヘルプテストで考慮すべき点
10.6 参考文献

36. 第11章 インストールテスト
11.1 本章のねらい
11.2 イントロダクション
11.3 インストール/アンインストールプログラムの役割
11.3.1 インストーラ
11.3.2 アンインストーラ
11.4 一般的な機能とオプション
11.4.1 ユーザによるセットアップオプション
11.4.2 インストールするプログラムソースと保存先
11.4.2.1 分散型サーバの構成
11.4.2.2 サーバ側でのインストール例
11.4.2.3 メディアの種類
11.4.3 分岐オプション

37. 第11章 インストールテスト
11.5 サーバ側に特有の一般的なインストール障害
11.6 インストーラ/アンインストーラのテストツール
11.6.1 比較ベースのテストツール
11.6.2 InControl4とInControl5
11.6.3 ノートンユーティリティのレジストリトラッカーとファイルコンベ
ア
11.7 インストールテストで考慮すべき点
11.8 参考文献とその他の情報源
11.8.1 参考文献
11.8.2 その他の情報源

38. 第12章 構成テストと互換性テスト
12.1 本章のねらい
12.2 イントロダクション
12.3 テストケース
12.4 構成テストと互換性テストの方針
12.4.1 対象ユーザの考慮
12.4.2 互換性テストと構成テストを実行する時期
12.4.3 アウトソーシングの可能性
12.5 構成テストと互換性テストの比較
12.6 構成テストと互換性テストの問題
12.6.1 市販の製品と自社のシステム
12.6.2 分散型サーバの構成
12.6.3 クライアント側の問題
12.6.4 Webブラウザ
12.7 テストで考慮すべき点
12.8 参考文献 12.8.1 追加情報

39. 第13章 Webセキュリティテスト
13.1 本章のねらい
13.2 イントロダクション
13.2.1 コンピュータセキュリティとは何か
13.3 セキュリティの目標
13.3.1 どのような脅威から自らを防御するか
13.3.2 セキュリティに対する脅威の一般的な原因
13.3.3 潜在的な損害とは何か
13.4 攻撃の仕組み
13.4.1 情報収集
13.4.2 ネットワークのスキャニング
13.4.3 攻撃
13.5 攻撃の目的

40. 第13章 Webセキュリティテスト
13.6 セキュリティ対策の基本
13.6.1 人々とプロセスの戦略
13.6.1.1 教育
13.6.1.2 企業のセキュリティポリシー
13.6.1.3 企業の対応
13.6.2 認証と承認
13.6.2.1 パスワード
13.6.2.2 ソフトウェアアプリケーションとコンポーネント間の認証
13.6.2.3 暗号
13.6.2.4 その他のWebセキュリティ技術

41. 第13章 Webセキュリティテスト
13.6.3 境界ベースのセキュリティ：ファイアウォール、DMZ、進入検
知システム
13.6.3.1 ファイアウォール
13.6.3.2 DMZの設定
13.6.3.3 侵入検知システム（IDS）
13.7 一般的な脆弱性と攻撃
13.7.1 ソフトウェアのバグ、質の悪い設計、プログラミング手法
13.7.1.1 バッファオーバーフロー
13.7.1.2 悪意のある入力データ
13.7.1.3 コマンドライン（シェル）の実行
13.7.1.4 バックドア
13.7.1.5 Javascript
13.7.1.6 CGIプログラム

42. 第13章 Webセキュリティテスト
13.7.1.7 Java
13.7.1.8 ActiveX
13.7.2 クッキー
13.7.3 なりすまし
13.7.4 悪意のあるプログラム
13.7.4.1 ウィルスとワーム
13.7.4.2 トロイの木馬
13.7.5 アクセス権限を悪用した攻撃
13.7.6 パスワードクラッキング
13.7.7 サービス拒否攻撃
13.7.8 物理的な攻撃
13.7.9 トラステッドコンピューティングベースに侵入する

43. 第13章 Webセキュリティテスト
13.7.10 情報漏えい
13.7.10.1 ソーシャルエンジニアリング
13.7.10.2 キーストロークキャプチャリング
13.7.10.3 ゴミ箱の調査
13.7.10.4 パケットスニファリング
13.7.10.5 スキャニングとプルービング
13.7.10.6 ネットワークマッピング
13.7.11 ネットワークへの攻撃
13.8 テストの目標と責任
13.8.1 機能側の副作用：エラー処理におけるバグの例

44. 第13章 Webセキュリティテスト
13.9 セキュリティのためのテスト
13.9.1 要件と設計のテスト
13.9.1.1 要件が重要
13.9.1.2 トラステッドコンピューティングベース
13.9.1.3 アクセス制御
13.9.1.4 保護されるべきリソースは何か
13.9.1.5 クライアントのプライバシー問題：機密情報として取り扱わ
れるべき情報は何か
13.9.2 アプリケーションコードのテスト
13.9.2.1 バックドア
13.9.2.2 例外処理とエラー通知
13.9.2.3 IDとパスワードのテスト
13.9.2.4 情報漏れに対するテスト

45. 第13章 Webセキュリティテスト
13.9.2.5 乱数とユニークナンバー
13.9.2.6 GETとPOSTを利用したテスト
13.9.2.7 パラメータ改ざん攻撃
13.9.2.8 SQL注入攻撃
13.9.2.9 クッキー攻撃
13.9.2.10 バッファオーバーフローのテスト
13.9.2.11 不良データのテスト
13.9.2.12 クライアント側のスクリプトに対する信頼
13.9.2.13 入力が出力になる場合
13.9.3 サードパーティコードのテスト
13.9.3.1 既知の脆弱性
13.9.3.2 競合条件

46. 第13章 Webセキュリティテスト
13.9.4 配布時のテスト
13.9.4.1 インストール時のデフォルト
13.9.4.2 デフォルトパスワード
13.9.4.3 インタナショナリゼーション
13.9.4.4 プログラムの捜査
13.9.4.5 顧客サポート担当者との作業
13.9.5 侵入テスト
13.9.6 ブラウザ設定によるユーザ保護のテスト
13.9.6.1 ファイアウォールでのテスト
13.9.7 テスト技術者が直面する課題
13.10 テストで考慮すべき点

47. 第13章 Webセキュリティテスト
13.11 参考文献と追加情報
13.11.1 参考文献
13.11.2 追加情報
13.11.3 便利なインターネット上のリソース
13.11.4 ツール

48. 第14章 パフォーマンステスト
14.1 本章のねらい
14.2 イントロダクション
14.3 パフォーマンステストの概念
14.3.1 許容可能な応答時間もしくは、ユーザが許容できるパ
フォーマンス
14.3.2 応答時間の定義
14.3.3 パフォーマンステスト、負荷テスト、ストレステストの定義
14.3.4 答えの探索
14.3.5 単純な例
14.4 パフォーマンステストにおける主な要素
14.4.1 作業負荷
14.4.2 システム環境と利用可能なリソース
14.4.3 応答時間
14.4.4 応答時間やパフォーマンスに影響を与える大きな要因

49. 第14章 パフォーマンステスト
14.5 パフォーマンステストの3つのフェーズ
14.6 目標と期待値の設定と成果物の定義
14.7 要件の収集
14.7.1 困っていることは何か
14.7.2 要件定義書がない場合どうするか
14.8 作業負荷の定義
14.9 作業負荷の設定
14.9.1 サーバベースのプロファイル
14.9.2 ユーザベースのプロファイル
14.10 作業負荷について考慮すべき問題
14.11 パフォーマンス測定基準の選定
14.11.1 スループットの計算例

50. 第14章 パフォーマンステスト
14.12 どのタイミングでどんなテストを実行するか
14.13 ツールの選択と負荷の生成
14.13.1 ルーツの選択
14.13.2 収集データの分析と報告
14.13.3 負荷の生成
14.14 テスト計画書の作成
14.14.1 基準となるシステム構成とパフォーマンスの要件を明らか
にする
14.14.2 作業負荷の決定
14.14.3 テスト開始時期の決定
14.14.4 テストをハードウェアに依存した方法にするかソフトウェア
に依存した方法にするかの判断
14.14.5 テストケースの作成

51. 第14章 パフォーマンステスト
14.15 テストフェーズ
14.15.1 テストデータの作成
14.15.2 テスト環境の設定
14.15.3 テストツールのパラメータ設定
14.15.4 パフォーマンステスト実行の例
14.16 分析フェーズ
14.17 テストで考慮すべき点
14.18 参考文献

52. 第15章 モバイルWebアプリケーションのテスト
15.1 本章のねらい
15.2 イントロダクション
15.3 モバイルアプリケーションとデスクトップアプリケーションにお
けるテスト
15.4 さまざまな種類のテスト
15.4.1 アドオン方式のインストールテスト
15.4.2 データの同期に関するテスト
15.4.3 UIの実装とユーザビリティテストの制限
15.4.3.1 UIガイドラインリファレンス
15.4.4 ブラウザ特有のテスト
15.4.5 プラットフォーム特有の問題
15.4.5.1 プラットフォーム適合テスト、ロゴ適合テスト
15.4.6 構成テスト、互換性テスト

53. 第15章 モバイルWebアプリケーションのテスト
15.4.7 接続性のテスト
15.4.7.1 ネットワーク接続の周辺機器
15.4.7.2 待ち時間
15.4.7.3 送信エラー
15.4.7.4 通信可能地域から通信不可能地域への移動
15.4.7.5 データ通信と音声通信の間の以降
15.4.7.6 データとメッセージの競合条件
15.4.7.7 パフォーマンステスト
15.4.8 セキュリティテスト
15.4.9 エミュレーション環境でのWebアプリケーションテスト
15.4.10 物理的な環境におけるWebアプリケーションテスト

54. 第15章 モバイルWebアプリケーションのテスト
15.5 モバイルアプリケーションのテストを支援するツールの調査
15.5.1 デバイスエミュレータとブラウザエミュレータ
15.5.1.1 Palm Computing
15.5.1.2 OpenWave
15.5.1.3 Nokia
15.5.1.4 YoSPace
15.5.1.5 マイクロソフト
15.5.2 Webベースの携帯電話エミュレータとWMLバリデータ
15.5.3 デスクトップWAPブラウザ
15.6 テストで考慮すべき点
15.7 参考文献と追加情報
15.7.1 参考文献
15.7.2 追加情報

55. 付録
さして見るべきものなし

56. 日本特有のチェックポイント
HTMLのエンコード指定
シフトJIS拡張文字
URLエンコード
半角ｶﾅ
データベースでの文字数のカウントルール
携帯絵文字
文字コード絡みのセキュリティ問題

57. まとめ
テストの手法について短絡的な結論を示した本ではない
Webアプリケーションのテストは「グレーボックステスト」
複雑なシステムのテスト実施者は、偏りのない広範な知識を獲
得するように真剣に努力すべき。ただし、特定の分野の専門家
として大きく活躍することも出来る
Webアプリケーションに有効な個別のテスト方法については、目
次を参考に調べれば情報は集まる。
不況になると品質への意識が高まる そうです。

58. ご清聴ありがとうございました。

59. もし復刊したら買いましょう