SlideShare une entreprise Scribd logo
1  sur  35
Télécharger pour lire hors ligne
テスト×AI
2018/07/24 KANSAI AI PUB
バルテス株式会社 江添 智之
自己紹介
私について
 江添 智之(えぞえ ともゆき)
 バルテス株式会社 R&C部
 ソフトウェアテストに関する研究開発、セミナー講師
 JaSST関西実行委員会
この一冊でソフトウェアテストの基本がわかる! ソフトウェアテスト基本の「き」シリーズ
バルテス株式会社について
 ソフトウェアテスト・品質コンサルティング事業
 大阪本社(本町)、東京本社(半蔵門)、名古屋オフィス
福岡オフィス
 ISTQB Gloval Partner
 関連会社: バルテス・モバイルテクノロジー
VALTES Advanced Technology, Inc (Phillippines)
機械学習について
 (ようやく)勉強中
 👈の本でようやく8章(CNN)開始
 「微分の手計算めんどくせー」
「誤差逆伝播法おもしれー」
とか言いながら写経中
 👉の本もぼちぼち読み進め中
 ゼロから作るDeep Learning②
が昨日届いてワクワク
本題
テスト、してますか?
バルテスの事業領域
V字モデルでいうと
だいたいこの辺
データはある
 テスト設計仕様書
 テストケース
 インシデントレポート(バグ・質問)
 消化工数・日数
(テスト計画、テスト設計、テスト実施)
 取扱注意のデータなので、現在調整中・・・
 (AI以外の)分析資料はあります(公開中)
テスト×AI
テスト×AIについて
1. AIシステムをテストする
AIシステムそのもののテスト
AIエンジンを含んだシステムのテスト
2. AI技術を使ったテスト
3. 機械学習によるテストプロジェクト分析
テスト×AIについて
1. AIシステムをテストする
AIシステムそのもののテスト
学習・評価のプロセスそのもの?
AI開発業務そのもの?
お話聞かせてください
テスト×AIについて
1. AIシステムをテストする
AIエンジンを含んだシステムのテスト
普通のシステムとあまり変わらない
多少意識するかも?
ご相談ください
テスト×AIについて
2. AI技術を使ったテスト
まだまだ発展途上、というか情報があまりない
MagicPod(Tridentさん)
スマホアプリのUI自動識別⇒テストスクリプト作成
テスト実施の効率化
HTMLやXAMLの解析⇒テストパターンの自動取得
テスト設計のパターン解析
テスト×AIについて
3. 機械学習によるテストプロジェクト分析
テストプロジェクトデータを使った
バグ分析、プロジェクト分析
残存バグ分析
インシデント解析
バグ修正日数予測
自動タグ付け、自動重要度付け
残存バグ分析
残存バグ分析
信頼度成長曲線
横軸に日数(消化ケース数)、
縦軸に累計バグ数をプロット
7/1 7/2 7/3 7/4 7/5 7/8 7/9 7/10 7/11 7/12
2 4 7 12 18 24 28 32 34 34
信頼度成長曲線
7/1 7/2 7/3 7/4 7/5 7/8 7/9 7/10 7/11 7/12
2 4 7 12 18 24 28 32 34 34
0
5
10
15
20
25
30
35
40
信頼度成長曲線
7/1 7/2 7/3 7/4 7/5 7/8 7/9 7/10 7/11 7/12
2 4 7 12 18 24 28 32 34 34
0
5
10
15
20
25
30
35
40
信頼度成長曲線
信頼度分析モデルを使った残存バグ分析
計算式に当てはめて推測する
7/1 7/2 7/3 7/4 7/5 7/8 7/9 7/10 7/11 7/12
2 4 7 12
この先どうなる?
信頼度分析モデル
信頼度分析モデル
・ゴンぺルツ曲線
・ロジスティック曲線
などなど
http://www.kogures.com/hitoshi/webtext/stat-seicho-kyokusen/
信頼度分析モデル
適切な係数を与えて、予測することが可能
http://www.kogures.com/hitoshi/webtext/stat-seicho-kyokusen/
ちょっと待った!
信頼度分析モデル
モデル、係数の取り方次第でいくらでも変化する!!
同規模、同内容、長期間のプロジェクトデータの蓄積が
必要!!
成功しているプロジェクトもあります
7/1 7/2 7/3 7/4 7/5 7/8 7/9 7/10 7/11 7/12
2 4 7 12
この先どうなる?
信頼度分析モデル
モデル、係数の取り方次第でいくらでも変化する!!
同規模、同内容、長期間のプロジェクトデータの蓄積が
必要!!
成功しているプロジェクトもあります
7/1 7/2 7/3 7/4 7/5 7/8 7/9 7/10 7/11 7/12
2 4 7 12
どうとでもいえる…
テストの
現場では
テストの現場では
そもそもS字なんて悠長なことやってちゃだめ!!
バグは早いうちに、たくさん出すのが鉄則!
そのためにどこからやるのか、どこを手厚くやる
のかを考える
それがテスト設計!!
テストの現場では
テストプロジェクトは生もの
状況はいつでも変化する
同じように進むプロジェクトは皆無
過去の数値があてになることが少ない
(もしくはなんとなくわかる)
テストの現場では
それでもAIなら、AIならなんとかしてくれる(かも?)
ミクロな視点なら「状況次第」。
マクロな視点でどこまで言えるのか
まとめ
テスト×AIについて
1. AIシステムをテストする
2. AI技術を使ったテスト
3. 機械学習によるテストプロジェクト分析
テストプロジェクト分析
テストプロジェクトは生もの
個別のマネジメントは不断の努力が必要
そんな中でデータから見えるものがあるのか?
まずはバグ分析(信頼度成長曲線予測)から
とりあえずやってみよう!!
お話したいです
品質、テスト領域へのAIの活用
効率的なテスト自動化
おすすめボードゲーム
ありがとうございました!!

Contenu connexe

Similaire à KANSAIAIPUB 20180724 「テスト×AI」

JaSST nano vol.7 「なぜペアワイズテストを使いこなせないのか」
JaSST nano vol.7 「なぜペアワイズテストを使いこなせないのか」JaSST nano vol.7 「なぜペアワイズテストを使いこなせないのか」
JaSST nano vol.7 「なぜペアワイズテストを使いこなせないのか」Touyou Horikawa
 
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~Susumu Tokumoto
 
Agile開発でのテストのやり方~私の場合~
Agile開発でのテストのやり方~私の場合~Agile開発でのテストのやり方~私の場合~
Agile開発でのテストのやり方~私の場合~Mineo Matsuya
 
Et west テスト自動化_公開版
Et west テスト自動化_公開版Et west テスト自動化_公開版
Et west テスト自動化_公開版Noriyuki Mizuno
 
テンプレート・エンジンVelocity
テンプレート・エンジンVelocityテンプレート・エンジンVelocity
テンプレート・エンジンVelocity隆行 神戸
 
Z Lab社におけるOpenStack × Kubernetesの活用 〜アプリケーション開発者からみた課題解決 - OpenStack最新情報セミナー...
Z Lab社におけるOpenStack × Kubernetesの活用 〜アプリケーション開発者からみた課題解決  - OpenStack最新情報セミナー...Z Lab社におけるOpenStack × Kubernetesの活用 〜アプリケーション開発者からみた課題解決  - OpenStack最新情報セミナー...
Z Lab社におけるOpenStack × Kubernetesの活用 〜アプリケーション開発者からみた課題解決 - OpenStack最新情報セミナー...VirtualTech Japan Inc.
 
はじめてのテスト技法
はじめてのテスト技法はじめてのテスト技法
はじめてのテスト技法Tatsuya Saito
 
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナーソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナーNaoya Maekawa
 
サポーターズ勉強会スライド 2018/2/27
サポーターズ勉強会スライド 2018/2/27サポーターズ勉強会スライド 2018/2/27
サポーターズ勉強会スライド 2018/2/27Kensuke Mitsuzawa
 
ありえるえりあ勉強会@五反田~テスト編~ Part2
ありえるえりあ勉強会@五反田~テスト編~ Part2ありえるえりあ勉強会@五反田~テスト編~ Part2
ありえるえりあ勉強会@五反田~テスト編~ Part2Tomoyuki Sato
 
あるSIerのAI取組報告
あるSIerのAI取組報告あるSIerのAI取組報告
あるSIerのAI取組報告Masahiro Hayashi
 
杉並診断士会向けKintoneご紹介コンテンツr2
杉並診断士会向けKintoneご紹介コンテンツr2杉並診断士会向けKintoneご紹介コンテンツr2
杉並診断士会向けKintoneご紹介コンテンツr2junji kumooka
 
運用レコメンドプラッフォーム OpsBear ~運用作業における調査/分析の機械化~ OSC Enterprise 2018
運用レコメンドプラッフォーム OpsBear ~運用作業における調査/分析の機械化~ OSC Enterprise 2018運用レコメンドプラッフォーム OpsBear ~運用作業における調査/分析の機械化~ OSC Enterprise 2018
運用レコメンドプラッフォーム OpsBear ~運用作業における調査/分析の機械化~ OSC Enterprise 2018光平 八代
 
WACATE 2010夏 ゆもつよ講演スライド
WACATE 2010夏 ゆもつよ講演スライドWACATE 2010夏 ゆもつよ講演スライド
WACATE 2010夏 ゆもつよ講演スライドTsuyoshi Yumoto
 
「コリビング&コワーキング / スキルアップ / ジョブマッチング / 起業支援」GAOGAO(ガオガオ)エンジニア事務所 18
 「コリビング&コワーキング / スキルアップ / ジョブマッチング / 起業支援」GAOGAO(ガオガオ)エンジニア事務所 18  「コリビング&コワーキング / スキルアップ / ジョブマッチング / 起業支援」GAOGAO(ガオガオ)エンジニア事務所 18
「コリビング&コワーキング / スキルアップ / ジョブマッチング / 起業支援」GAOGAO(ガオガオ)エンジニア事務所 18 Takuya Tejima
 
運用レコメンドPF OpsBear ~運用作業における調査/分析の機械化~ (OpsX Meet Up v18.12)
運用レコメンドPF OpsBear ~運用作業における調査/分析の機械化~ (OpsX Meet Up v18.12)運用レコメンドPF OpsBear ~運用作業における調査/分析の機械化~ (OpsX Meet Up v18.12)
運用レコメンドPF OpsBear ~運用作業における調査/分析の機械化~ (OpsX Meet Up v18.12)光平 八代
 
190717meetalive_vol10_session
190717meetalive_vol10_session190717meetalive_vol10_session
190717meetalive_vol10_sessionKazuha Ogura
 

Similaire à KANSAIAIPUB 20180724 「テスト×AI」 (20)

JaSST nano vol.7 「なぜペアワイズテストを使いこなせないのか」
JaSST nano vol.7 「なぜペアワイズテストを使いこなせないのか」JaSST nano vol.7 「なぜペアワイズテストを使いこなせないのか」
JaSST nano vol.7 「なぜペアワイズテストを使いこなせないのか」
 
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
バグ自動修正ツールって本当に使えるの? ~自動デバッグ技術の現状と課題~
 
Agile開発でのテストのやり方~私の場合~
Agile開発でのテストのやり方~私の場合~Agile開発でのテストのやり方~私の場合~
Agile開発でのテストのやり方~私の場合~
 
Et west テスト自動化_公開版
Et west テスト自動化_公開版Et west テスト自動化_公開版
Et west テスト自動化_公開版
 
テンプレート・エンジンVelocity
テンプレート・エンジンVelocityテンプレート・エンジンVelocity
テンプレート・エンジンVelocity
 
Z Lab社におけるOpenStack × Kubernetesの活用 〜アプリケーション開発者からみた課題解決 - OpenStack最新情報セミナー...
Z Lab社におけるOpenStack × Kubernetesの活用 〜アプリケーション開発者からみた課題解決  - OpenStack最新情報セミナー...Z Lab社におけるOpenStack × Kubernetesの活用 〜アプリケーション開発者からみた課題解決  - OpenStack最新情報セミナー...
Z Lab社におけるOpenStack × Kubernetesの活用 〜アプリケーション開発者からみた課題解決 - OpenStack最新情報セミナー...
 
はじめてのテスト技法
はじめてのテスト技法はじめてのテスト技法
はじめてのテスト技法
 
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナーソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
 
サポーターズ勉強会スライド 2018/2/27
サポーターズ勉強会スライド 2018/2/27サポーターズ勉強会スライド 2018/2/27
サポーターズ勉強会スライド 2018/2/27
 
Smart speaker QA
Smart speaker QASmart speaker QA
Smart speaker QA
 
ありえるえりあ勉強会@五反田~テスト編~ Part2
ありえるえりあ勉強会@五反田~テスト編~ Part2ありえるえりあ勉強会@五反田~テスト編~ Part2
ありえるえりあ勉強会@五反田~テスト編~ Part2
 
あるSIerのAI取組報告
あるSIerのAI取組報告あるSIerのAI取組報告
あるSIerのAI取組報告
 
杉並診断士会向けKintoneご紹介コンテンツr2
杉並診断士会向けKintoneご紹介コンテンツr2杉並診断士会向けKintoneご紹介コンテンツr2
杉並診断士会向けKintoneご紹介コンテンツr2
 
運用レコメンドプラッフォーム OpsBear ~運用作業における調査/分析の機械化~ OSC Enterprise 2018
運用レコメンドプラッフォーム OpsBear ~運用作業における調査/分析の機械化~ OSC Enterprise 2018運用レコメンドプラッフォーム OpsBear ~運用作業における調査/分析の機械化~ OSC Enterprise 2018
運用レコメンドプラッフォーム OpsBear ~運用作業における調査/分析の機械化~ OSC Enterprise 2018
 
WACATE 2010夏 ゆもつよ講演スライド
WACATE 2010夏 ゆもつよ講演スライドWACATE 2010夏 ゆもつよ講演スライド
WACATE 2010夏 ゆもつよ講演スライド
 
アンラーニング
アンラーニングアンラーニング
アンラーニング
 
「コリビング&コワーキング / スキルアップ / ジョブマッチング / 起業支援」GAOGAO(ガオガオ)エンジニア事務所 18
 「コリビング&コワーキング / スキルアップ / ジョブマッチング / 起業支援」GAOGAO(ガオガオ)エンジニア事務所 18  「コリビング&コワーキング / スキルアップ / ジョブマッチング / 起業支援」GAOGAO(ガオガオ)エンジニア事務所 18
「コリビング&コワーキング / スキルアップ / ジョブマッチング / 起業支援」GAOGAO(ガオガオ)エンジニア事務所 18
 
運用レコメンドPF OpsBear ~運用作業における調査/分析の機械化~ (OpsX Meet Up v18.12)
運用レコメンドPF OpsBear ~運用作業における調査/分析の機械化~ (OpsX Meet Up v18.12)運用レコメンドPF OpsBear ~運用作業における調査/分析の機械化~ (OpsX Meet Up v18.12)
運用レコメンドPF OpsBear ~運用作業における調査/分析の機械化~ (OpsX Meet Up v18.12)
 
190717meetalive_vol10_session
190717meetalive_vol10_session190717meetalive_vol10_session
190717meetalive_vol10_session
 
JMAT Groonga Tokenizer Talks
JMAT Groonga  Tokenizer TalksJMAT Groonga  Tokenizer Talks
JMAT Groonga Tokenizer Talks
 

KANSAIAIPUB 20180724 「テスト×AI」