Soumettre la recherche
Mettre en ligne
システムテスト自動化標準ガイド 読書会 第8章
•
Télécharger en tant que PPTX, PDF
•
8 j'aime
•
3,187 vues
M
mirer
Suivre
システムテスト自動化標準ガイド 読書会 第8章
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 52
Télécharger maintenant
Recommandé
キーワード駆動によるシステムテストの自動化について 2015
キーワード駆動によるシステムテストの自動化について 2015
Toru Koido
システムテスト自動化標準ガイド 5章発表資料
システムテスト自動化標準ガイド 5章発表資料
Masatoshi Itoh
20150418 システムテスト自動化 第一章
20150418 システムテスト自動化 第一章
Yuki Fujisawa
システムテスト自動化標準ガイド第6章
システムテスト自動化標準ガイド第6章
nihon buson
GUI自動テストの保守性を高めるには
GUI自動テストの保守性を高めるには
Nozomi Ito
TABOK Skill Category2解説
TABOK Skill Category2解説
Kinji Akemine
テスト自動化のこれまでとこれから
テスト自動化のこれまでとこれから
Keizo Tatsumi
Agileツール適合化分科会(テスト自動化ツール)
Agileツール適合化分科会(テスト自動化ツール)
masanori kataoka
Recommandé
キーワード駆動によるシステムテストの自動化について 2015
キーワード駆動によるシステムテストの自動化について 2015
Toru Koido
システムテスト自動化標準ガイド 5章発表資料
システムテスト自動化標準ガイド 5章発表資料
Masatoshi Itoh
20150418 システムテスト自動化 第一章
20150418 システムテスト自動化 第一章
Yuki Fujisawa
システムテスト自動化標準ガイド第6章
システムテスト自動化標準ガイド第6章
nihon buson
GUI自動テストの保守性を高めるには
GUI自動テストの保守性を高めるには
Nozomi Ito
TABOK Skill Category2解説
TABOK Skill Category2解説
Kinji Akemine
テスト自動化のこれまでとこれから
テスト自動化のこれまでとこれから
Keizo Tatsumi
Agileツール適合化分科会(テスト自動化ツール)
Agileツール適合化分科会(テスト自動化ツール)
masanori kataoka
EMTEを使って自動化の費用対効果をわかりやすく表現する
EMTEを使って自動化の費用対効果をわかりやすく表現する
JYERUEY
事例から見るテスト自動化のポイント
事例から見るテスト自動化のポイント
Hiroshi Maekawa
ビルドプロセスとCI #STAC2014
ビルドプロセスとCI #STAC2014
Koji Hasegawa
自動テスト知識体系TABOKのご紹介
自動テスト知識体系TABOKのご紹介
Shinsuke Matsuki
20131201 テスト自動化カンファレンスLT「激しいUI変更との戦い」
20131201 テスト自動化カンファレンスLT「激しいUI変更との戦い」
Hiroko Tamagawa
実践で学ぶ、効率的な自動テストスクリプトのメンテナンス
実践で学ぶ、効率的な自動テストスクリプトのメンテナンス
Nozomi Ito
スマートフォンアプリの テスト自動化をはじめよう
スマートフォンアプリの テスト自動化をはじめよう
Koji Hasegawa
異業種でのテスト自動化の実際
異業種でのテスト自動化の実際
Satsuki Urayama
システムテスト自動化標準ガイド第7章
システムテスト自動化標準ガイド第7章
nihon buson
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
Nozomi Ito
自動テストの品質とテストパターン
自動テストの品質とテストパターン
Toru Koido
Stac2014 石川
Stac2014 石川
Tatsuya Ishikawa
reg-suitとQA Wolfを活用したVisual Regression Test
reg-suitとQA Wolfを活用したVisual Regression Test
Kazuyuki Tsuzisaki
テスト自動化とアーキテクチャ
テスト自動化とアーキテクチャ
Toru Koido
iOSアプリ開発でもTravis CI #eytokyo
iOSアプリ開発でもTravis CI #eytokyo
Koji Hasegawa
20150418 システムテスト自動化 第二章
20150418 システムテスト自動化 第二章
atsushi ishiji
アジャイル開発におけるシステムテストの自動化
アジャイル開発におけるシステムテストの自動化
Toru Koido
モデル検査入門 #wacate
モデル検査入門 #wacate
Kinji Akemine
【STAC2017】テスト自動化システム 成長記
【STAC2017】テスト自動化システム 成長記
友隆 浅黄
【楽天テックカンファ前夜祭2014】誰がテスト自動化をするべきか #rakutentech
【楽天テックカンファ前夜祭2014】誰がテスト自動化をするべきか #rakutentech
Kotaro Ogino
【JaSST'14 Tokyo】システムテストの自動化による 大規模分散検索プラットフォームの 開発工程改善 #JaSST
【JaSST'14 Tokyo】システムテストの自動化による 大規模分散検索プラットフォームの 開発工程改善 #JaSST
Kotaro Ogino
Test Automation Journey 2023 useful knowledge to start test automation
Test Automation Journey 2023 useful knowledge to start test automation
Sadaaki Emura
Contenu connexe
Tendances
EMTEを使って自動化の費用対効果をわかりやすく表現する
EMTEを使って自動化の費用対効果をわかりやすく表現する
JYERUEY
事例から見るテスト自動化のポイント
事例から見るテスト自動化のポイント
Hiroshi Maekawa
ビルドプロセスとCI #STAC2014
ビルドプロセスとCI #STAC2014
Koji Hasegawa
自動テスト知識体系TABOKのご紹介
自動テスト知識体系TABOKのご紹介
Shinsuke Matsuki
20131201 テスト自動化カンファレンスLT「激しいUI変更との戦い」
20131201 テスト自動化カンファレンスLT「激しいUI変更との戦い」
Hiroko Tamagawa
実践で学ぶ、効率的な自動テストスクリプトのメンテナンス
実践で学ぶ、効率的な自動テストスクリプトのメンテナンス
Nozomi Ito
スマートフォンアプリの テスト自動化をはじめよう
スマートフォンアプリの テスト自動化をはじめよう
Koji Hasegawa
異業種でのテスト自動化の実際
異業種でのテスト自動化の実際
Satsuki Urayama
システムテスト自動化標準ガイド第7章
システムテスト自動化標準ガイド第7章
nihon buson
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
Nozomi Ito
自動テストの品質とテストパターン
自動テストの品質とテストパターン
Toru Koido
Stac2014 石川
Stac2014 石川
Tatsuya Ishikawa
reg-suitとQA Wolfを活用したVisual Regression Test
reg-suitとQA Wolfを活用したVisual Regression Test
Kazuyuki Tsuzisaki
テスト自動化とアーキテクチャ
テスト自動化とアーキテクチャ
Toru Koido
iOSアプリ開発でもTravis CI #eytokyo
iOSアプリ開発でもTravis CI #eytokyo
Koji Hasegawa
20150418 システムテスト自動化 第二章
20150418 システムテスト自動化 第二章
atsushi ishiji
アジャイル開発におけるシステムテストの自動化
アジャイル開発におけるシステムテストの自動化
Toru Koido
モデル検査入門 #wacate
モデル検査入門 #wacate
Kinji Akemine
【STAC2017】テスト自動化システム 成長記
【STAC2017】テスト自動化システム 成長記
友隆 浅黄
【楽天テックカンファ前夜祭2014】誰がテスト自動化をするべきか #rakutentech
【楽天テックカンファ前夜祭2014】誰がテスト自動化をするべきか #rakutentech
Kotaro Ogino
Tendances
(20)
EMTEを使って自動化の費用対効果をわかりやすく表現する
EMTEを使って自動化の費用対効果をわかりやすく表現する
事例から見るテスト自動化のポイント
事例から見るテスト自動化のポイント
ビルドプロセスとCI #STAC2014
ビルドプロセスとCI #STAC2014
自動テスト知識体系TABOKのご紹介
自動テスト知識体系TABOKのご紹介
20131201 テスト自動化カンファレンスLT「激しいUI変更との戦い」
20131201 テスト自動化カンファレンスLT「激しいUI変更との戦い」
実践で学ぶ、効率的な自動テストスクリプトのメンテナンス
実践で学ぶ、効率的な自動テストスクリプトのメンテナンス
スマートフォンアプリの テスト自動化をはじめよう
スマートフォンアプリの テスト自動化をはじめよう
異業種でのテスト自動化の実際
異業種でのテスト自動化の実際
システムテスト自動化標準ガイド第7章
システムテスト自動化標準ガイド第7章
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
自動テストの品質とテストパターン
自動テストの品質とテストパターン
Stac2014 石川
Stac2014 石川
reg-suitとQA Wolfを活用したVisual Regression Test
reg-suitとQA Wolfを活用したVisual Regression Test
テスト自動化とアーキテクチャ
テスト自動化とアーキテクチャ
iOSアプリ開発でもTravis CI #eytokyo
iOSアプリ開発でもTravis CI #eytokyo
20150418 システムテスト自動化 第二章
20150418 システムテスト自動化 第二章
アジャイル開発におけるシステムテストの自動化
アジャイル開発におけるシステムテストの自動化
モデル検査入門 #wacate
モデル検査入門 #wacate
【STAC2017】テスト自動化システム 成長記
【STAC2017】テスト自動化システム 成長記
【楽天テックカンファ前夜祭2014】誰がテスト自動化をするべきか #rakutentech
【楽天テックカンファ前夜祭2014】誰がテスト自動化をするべきか #rakutentech
Similaire à システムテスト自動化標準ガイド 読書会 第8章
【JaSST'14 Tokyo】システムテストの自動化による 大規模分散検索プラットフォームの 開発工程改善 #JaSST
【JaSST'14 Tokyo】システムテストの自動化による 大規模分散検索プラットフォームの 開発工程改善 #JaSST
Kotaro Ogino
Test Automation Journey 2023 useful knowledge to start test automation
Test Automation Journey 2023 useful knowledge to start test automation
Sadaaki Emura
Automation test.ssf alpha
Automation test.ssf alpha
ryuji koyama
Jenkins ユーザ・カンファレンス 2012 東京 S406-4/マルチステージ型継続的インテグレーションのすすめ
Jenkins ユーザ・カンファレンス 2012 東京 S406-4/マルチステージ型継続的インテグレーションのすすめ
atsushi_tmx
【システムテスト自動化カンファレンス2015】 楽天の品質改善を加速する継続的システムテストパターン #stac2015
【システムテスト自動化カンファレンス2015】 楽天の品質改善を加速する継続的システムテストパターン #stac2015
Kotaro Ogino
Et west テスト自動化_公開版
Et west テスト自動化_公開版
Noriyuki Mizuno
How to introduce test automation in VeriServe Test Automation Talk #2
How to introduce test automation in VeriServe Test Automation Talk #2
Sadaaki Emura
ワンクリックデプロイ101 #ocdeploy
ワンクリックデプロイ101 #ocdeploy
Ryutaro YOSHIBA
アジャイルテスト -高品質を追求するアジャイルチームにおけるテストの視点-
アジャイルテスト -高品質を追求するアジャイルチームにおけるテストの視点-
Satoshi Masuda
第5回SIA研究会(例会)プレゼン資料
第5回SIA研究会(例会)プレゼン資料
Tae Yoshida
Keyword System Test
Keyword System Test
Toru Koido
失敗から学ぶテスト自動化導入で大切なこと
失敗から学ぶテスト自動化導入で大切なこと
sono susumu
SGT2013 技術トークス「アジャイルテスティング」
SGT2013 技術トークス「アジャイルテスティング」
yasuohosotani
組み込み開発でのシステムテスト自動化の一つの考え方(STAC)
組み込み開発でのシステムテスト自動化の一つの考え方(STAC)
H Iseri
JUnit実践入門 xUnitTestPatternsで学ぶユニットテスト
JUnit実践入門 xUnitTestPatternsで学ぶユニットテスト
Shuji Watanabe
アジャイル×テスト開発を考える
アジャイル×テスト開発を考える
yasuohosotani
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
Susumu Tokumoto
What's New in the Elastic 8.2 Release - Seamless User Experience with Search -
What's New in the Elastic 8.2 Release - Seamless User Experience with Search -
Shotaro Suzuki
測定によるソフトウェア品質への挑戦 公開用
測定によるソフトウェア品質への挑戦 公開用
Hironori Washizaki
60分でわかった気になるISO29119 #wacate
60分でわかった気になるISO29119 #wacate
Kinji Akemine
Similaire à システムテスト自動化標準ガイド 読書会 第8章
(20)
【JaSST'14 Tokyo】システムテストの自動化による 大規模分散検索プラットフォームの 開発工程改善 #JaSST
【JaSST'14 Tokyo】システムテストの自動化による 大規模分散検索プラットフォームの 開発工程改善 #JaSST
Test Automation Journey 2023 useful knowledge to start test automation
Test Automation Journey 2023 useful knowledge to start test automation
Automation test.ssf alpha
Automation test.ssf alpha
Jenkins ユーザ・カンファレンス 2012 東京 S406-4/マルチステージ型継続的インテグレーションのすすめ
Jenkins ユーザ・カンファレンス 2012 東京 S406-4/マルチステージ型継続的インテグレーションのすすめ
【システムテスト自動化カンファレンス2015】 楽天の品質改善を加速する継続的システムテストパターン #stac2015
【システムテスト自動化カンファレンス2015】 楽天の品質改善を加速する継続的システムテストパターン #stac2015
Et west テスト自動化_公開版
Et west テスト自動化_公開版
How to introduce test automation in VeriServe Test Automation Talk #2
How to introduce test automation in VeriServe Test Automation Talk #2
ワンクリックデプロイ101 #ocdeploy
ワンクリックデプロイ101 #ocdeploy
アジャイルテスト -高品質を追求するアジャイルチームにおけるテストの視点-
アジャイルテスト -高品質を追求するアジャイルチームにおけるテストの視点-
第5回SIA研究会(例会)プレゼン資料
第5回SIA研究会(例会)プレゼン資料
Keyword System Test
Keyword System Test
失敗から学ぶテスト自動化導入で大切なこと
失敗から学ぶテスト自動化導入で大切なこと
SGT2013 技術トークス「アジャイルテスティング」
SGT2013 技術トークス「アジャイルテスティング」
組み込み開発でのシステムテスト自動化の一つの考え方(STAC)
組み込み開発でのシステムテスト自動化の一つの考え方(STAC)
JUnit実践入門 xUnitTestPatternsで学ぶユニットテスト
JUnit実践入門 xUnitTestPatternsで学ぶユニットテスト
アジャイル×テスト開発を考える
アジャイル×テスト開発を考える
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
What's New in the Elastic 8.2 Release - Seamless User Experience with Search -
What's New in the Elastic 8.2 Release - Seamless User Experience with Search -
測定によるソフトウェア品質への挑戦 公開用
測定によるソフトウェア品質への挑戦 公開用
60分でわかった気になるISO29119 #wacate
60分でわかった気になるISO29119 #wacate
Dernier
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Dernier
(12)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
システムテスト自動化標準ガイド 読書会 第8章
1.
最終回(!) システムテスト自動化 標準ガイド 読書会 第8章 メトリクス 2015/08/22 ふじわらようへい
2.
自己紹介
3.
ふじわらようへい 品質保証やってます
テスト戦略策定/テスト計画策定 テスト分析/テスト設計/テスト実装 テスト実施/テスト自動化(CI)/レポート リリース判定/テストマネジメント プロジェクトリーダ 部署横断での開発基盤構築 JaSST Tokyo 実行委員 WACATE 実行委員 @_mirer
4.
第8章 メトリクス 概要
5.
第8章 メトリクス 目次1 8.1
なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3 テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 :
6.
第8章 メトリクス 目次2 : 8.6
最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ
7.
本編
8.
8.1 なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3
テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 8.6 最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ
9.
10.
燃費を計算する理由 自動車が良い買い物だったか どうかを判断するため 選択肢の評価、代案との比較、 改善のモニタのため
問題の早期発見や予測のため 標準や競合に対する ベンチマークのため
11.
投資利益率 ROI 予測および評価のために使われる テスティングの改善の ROI
DDP → 後述! どれだけテストにコストを掛けるか テスト自動化の ROI 手動実行のテストのコストと比較 ただし、上記がすべてではない
12.
8.1 なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3
テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 8.6 最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ
13.
「どんなものであっても、 何らかの方法で計測できるし、 それは計測しないより優れている」 Tom Gilb 「計測できないものは制御できない」 Tom DeMarco
14.
計測できるもの1 コード行数 ファンクションポイント オブジェクトコードサイズ 判定の数 → 循環的複雑度 発見された欠陥の数 工数 開発者の数
15.
計測できるもの2 テスト編 テストスイートに含まれるテストの数 計画しているテスト数 実施済みのテスト数 成功したテスト数 →
テスト進捗率 テスティングの工数 テスティングで発見された欠陥の数 カバレッジ
16.
計測できるもの3 自動化編 自動化スクリプトの数 自動化されたテストの数 自動テストの実行時間 テスト自動化のメンテナンス工数 欠陥が原因で失敗したテストの数
17.
役に立つ計測指標は何か? 計測はあくまで手段 『何を知りたいか』という 目的に依存する 目的を把握する必要がある
18.
8.1 なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3
テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 8.6 最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ
19.
テスティングの目的 様々 組織 テスト領域
テストレベル ドメイン/テスト対象 時期・時間 …によって異なる
20.
テスト自動化の目的(抜粋) 反復可能で一貫したテスティング 人手の要らないテスト実行 リグレッションバグの発見 より頻繁なテスト実行 ソフトウェアの品質をより良くする テストをより完全にする より多くのバグの発見
21.
調査によると、多くの組織で目標を 十分に達成できていない 良い目標 → 達成可能な目的
22.
8.1 なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3
テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 8.6 最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ ここから後半
23.
「テスト自動化」の計測 …の前に「テストそのもの」の計測 貧弱なテストを自動化しても、 利益をほとんど生まない テストの有効性を計測するには…? →DDP
24.
DDP 欠陥検出率
25.
26.
注意点 DDP は事後の計測である →
DDP の値は変化する 潜在的な欠陥の数は誰にも分からない バグ報告が無い ≠ バグが無い → 完璧な情報は決して得られない テスティングや運用規模に依存する → 使われなければ欠陥も見つからない
27.
リリース直後でまだ不具合報告が無い と DDP は
100% にならないか? → なります が、それは無意味な指標なので 通常は期間をとって計算する 時間経過と供に不具合報告が増えると DDP はどんどん下がらないか? → 下がります が、不完全であっても使い方次第で 有用な指標になる
28.
ある保険会社のファイナンスシステムの例 1年目 1ヶ月目: DDP
70% 10ヶ月目: DDP 50% ↓テストの方法を改善↓ 2年目 1ヶ月目: DDP 92%
29.
オプション 欠陥の深刻度を導入する 本来検出すべきだったテストステージ や欠陥のタイプでカテゴライズする → バグ分析 アジャイル開発でのバグの扱いは? → 累積的に計測することを提案 傾向は読み取れる
30.
DDPを使う場合は、 一貫した見方でDDPを使うことです。 そのためには、テストの方針を予め 意志決定する必要があります。 「正確性は重要でありません。一貫性 の方がより重要」(Dorothy氏)。 一部 http://gihyo.jp/news/report/2013/01/3101 より引用
31.
その他の指標
32.
テストの徹底性の計測 良いテストの定義とは、欠陥を 見つけるテストのことだ Myers では、欠陥を見つけないテストは 役に立たないテストか? → そんなことはない
33.
徹底性の評価 主観的な評価 客観的な評価 コードカバレッジ ステートメントカバレッジ ブランチカバレッジ コンディションカバレッジ …etc
ただし、カバレッジ≠徹底性
34.
8.1 なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3
テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 8.6 最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ
35.
テスト自動化において 計測すべき属性を提示 保守性 効率性 信頼性
柔軟性 ユーザビリティ 堅牢性 移植性
36.
保守性 → メンテナンス(コスト) メトリクス: 1テストの更新にかかる時間、工数 ソフトウェアの変更の発生頻度 大きな仕様変更は、自動化システムに 影響を与えることがある
37.
効率性 コストと密接な関係 引用:システムテスト自動化標準ガイド
38.
信頼性 テスト結果は正確か、再現性はあるか メトリクス: テスト設計やテスト自動化の欠陥など、 「テストそのものの」欠陥 その欠陥のせいで必要となったテスト サイクルやイテレーションの数 テスト結果が、実は間違っていた数
39.
柔軟性 様々なテスト目的に対応できるか メトリクス: 特定バージョンに対するテストのために使う時間 特定のバージョンのためのテストセットの 特定にかかる時間
テストケースのサブセットの指定に利用 可能な選択基準の数 アーカイブされたテストケースを リストアするのに必要な時間や工数
40.
ユーザビリティ 自動化の枠組みのユーザーを考慮 メトリクス: 枠組みへテストケース追加に必要な時間 自動テスト実行結果の確認に必要な時間 自動テストの枠組みの使いやすさ
41.
堅牢性 ソフトウェアの変更・安定性に対して どれだけ枠組みが有効であるか メトリクス: 1つの欠陥で失敗するテストの数 自動テストが「つまずく」頻度 テストがつまずくまでの間隔 予期しない障害の原因調査に要した時間
42.
移植性 その自動化の枠組みは様々な環境でも 実行できるか メトリクス: 新しい環境、新しいハードウェアプラット フォームを導入してから、自動テスト実行 を成功させるまでの時間や工数 異なるテストツールを使用してテスト実行 するのに必要な時間や工数 環境の種類の数
43.
8.1 なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3
テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 8.6 最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ
44.
引用:システムテスト自動化標準ガイド
45.
8.1 なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3
テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 8.6 最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ
46.
本当に全てを計測すべきなのか? この読書会に参加しているみなさんは お察しのことと思いますが… →No!
47.
自分たちにとって最も重要な目的 テスティングやテスト自動化の枠組み を監視できるもの 3つか4つ 数ヶ月継続監視し、学習成果を把握 有用でなければ、変更すべし
48.
8.1 なぜテスティングと テスト自動化を計測するのか 8.2 計測できるもの 8.3
テスティングと テスト自動化の目的 8.4 ソフトウェアテストの属性 8.5 テスト自動化の属性 8.6 最高のテスト自動化の枠組みは どれだろう 8.7 本当に全てを計測すべきなのか? 8.8 まとめ
49.
テスティング/テスト自動化は 計測可能、計測すべきもの ROI, 評価や比較、 問題の早期発見、予測、ベンチマーク 何を計測するかは、目的に関連する
50.
テスティングの有効性は 欠陥検出率、欠陥修正、信用度の獲得 に関連付けられる テスト自動化の枠組みのための属性は 保守性・効率性・信頼性・柔軟性・ ユーザビリティ・堅牢性・移植性 がある
51.
テスト自動化の枠組みの計測は重要 計測を通してのみ、監視と管理が可能 最適化が進められる 一方で、達成可能であること、 目的に合致していること、 役に立つことという、現実面も大事 手段と目的を履き違えないように!
52.
参考文献 JaSST’13 Tokyo
基調講演「Challenges in Software Testing ソフトウェアテストのチャレンジ」 - Dorothy Graham http://www.jasst.jp/symposium/jasst13tokyo/pdf/A1.pdf テスティングにまつわる過去,現在,未来をDorothy Graham氏が語 る─ソフトウェアテストシンポジウム 2013基調講演 http://gihyo.jp/news/report/2013/01/3101 資格認定ISTQBはソフトウェア・テストの何を変えたのか? ―― ソフトウェアテストシンポジウム 2013東京(JaSST‘13 Tokyo) http://www.kumikomi.net/archives/2013/02/rp05jast.php
Télécharger maintenant