【第6回テックヒルズ】検索基盤開発のための結合テスト環境の自動化
•
10 j'aime•9,395 vues
6月18日、CROOZ株式会社主催の第6回テックヒルズ 「Let’s study Jenkins～さまざまなケーススタディ～」で発表した、「検索基盤開発のための結合テスト自動化」の資料です。
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (12)
Similaire à 【第6回テックヒルズ】検索基盤開発のための結合テスト環境の自動化
Similaire à 【第6回テックヒルズ】検索基盤開発のための結合テスト環境の自動化 (20)
【第6回テックヒルズ】検索基盤開発のための結合テスト環境の自動化
- 1. 検索検索検索検索基盤開発のための基盤開発のための基盤開発のための基盤開発のための 結合テスト環境の自動化結合テスト環境の自動化結合テスト環境の自動化結合テスト環境の自動化 Jun/18/2013 荻野荻野荻野荻野 恒太郎恒太郎恒太郎恒太郎, アビジートアビジートアビジートアビジート パランデパランデパランデパランデ, 松本松本松本松本 幹幹幹幹, 鵜飼鵜飼鵜飼鵜飼 大志大志大志大志 Search Platform Group, Search Section, Big Data Department, Rakuten Inc. http://www.rakuten.co.jp/
- 2. 2 自己紹介自己紹介自己紹介自己紹介 氏名氏名氏名氏名 荻野恒太郎 所属所属所属所属 ビッグデータ部 サーチプラットフォーム開発グループ 業務業務業務業務 - グローバルサーチプラットフォーム （GSP）のサーチコンポーネント周り の設計・開発・品質検証 - Jenkinsもももも使って 結合テスト環境の自動化
- 5. 5 ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合 コンポーネント A コンポーネント A コンポーネント B コンポーネント B コンポーネント C コンポーネント C pullpulluseuse コンポーネント D コンポーネント D pushpush コンポーネント E コンポーネント E useuse Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2
- 6. 6 ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合 コンポーネント A コンポーネント A コンポーネント B コンポーネント B コンポーネント C コンポーネント C pullpulluseuse コンポーネント D コンポーネント D pushpush コンポーネント E コンポーネント E useuse Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 1つのつのつのつのソフトウェアソフトウェアソフトウェアソフトウェア
- 7. 7 ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合 コンポーネント A コンポーネント A コンポーネント B コンポーネント B コンポーネント C コンポーネント C pullpulluseuse コンポーネント D コンポーネント D pushpush コンポーネント E コンポーネント E useuse Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 仮説：Eへの 影響がない 仮説：Eへの 影響がない
- 8. 8 ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合 コンポーネント A コンポーネント A コンポーネント B コンポーネント B コンポーネント C コンポーネント C pullpulluseuse コンポーネント D コンポーネント D pushpush コンポーネント E コンポーネント E useuse Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 仮説：Dの スキーマに 変更がない 仮説：Dの スキーマに 変更がない
- 9. 9 ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合 コンポーネント A コンポーネント A コンポーネント B コンポーネント B コンポーネント C コンポーネント C pullpulluseuse コンポーネント D コンポーネント D pushpush コンポーネント E コンポーネント E useuse Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 仮説：Cには 異常なデータは 含まれない 仮説：Cには 異常なデータは 含まれない
- 10. 10 ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合ソフトウェアの結合 コンポーネント A コンポーネント A コンポーネント B コンポーネント B コンポーネント C コンポーネント C pullpulluseuse コンポーネント D コンポーネント D pushpush コンポーネント E コンポーネント E useuse Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 Developer 2Developer 2 仮説：Bには バグがない！ 仮説：Bには バグがない！
- 13. 13 開発者は多くの開発者は多くの開発者は多くの開発者は多くの 仮説仮説仮説仮説を抱えているを抱えているを抱えているを抱えている “Continuous Integration”, Paul M. Duvall [2006]
- 18. 18 テストテストテストテストの性質の性質の性質の性質 単体テスト 結合テスト 対象 コンポーネント １ 複数 コスト 低 高 対象機能 単純 複雑 可用性可用性 完全性完全性 検索精度検索精度 ドキュメント登録ドキュメント登録 クエリクエリ サーチでの例）
- 19. 19 単体テスト 結合テスト 対象 コンポーネント １ 複数 コスト 低 高 対象機能 単純 複雑 テストテストテストテストの性質の性質の性質の性質 可用性可用性 完全性完全性 検索精度検索精度 ドキュメント登録ドキュメント登録 クエリクエリ サーチでの例） ３０００件以上の３０００件以上の３０００件以上の３０００件以上の テストケーステストケーステストケーステストケース ３０００件以上の３０００件以上の３０００件以上の３０００件以上の テストケーステストケーステストケーステストケース
- 25. 25 結合テスト結合テスト結合テスト結合テスト自動化に自動化に自動化に自動化に向けての向けての向けての向けての課題課題課題課題 課題① テストの複雑さ 課題② テストの実装コスト 課題③ テストの実行時間 課題④ テスト結果の再現性
- 27. 27 課題② テストの実装コスト ・テストフレームワークを開発・テストフレームワークを開発・テストフレームワークを開発・テストフレームワークを開発 - シナリオベースでシナリオベースでシナリオベースでシナリオベースで テストケースを表現テストケースを表現テストケースを表現テストケースを表現 - 仕様変更に対しての保守性仕様変更に対しての保守性仕様変更に対しての保守性仕様変更に対しての保守性 ・テストフレームワークを開発・テストフレームワークを開発・テストフレームワークを開発・テストフレームワークを開発 - シナリオベースでシナリオベースでシナリオベースでシナリオベースで テストケースを表現テストケースを表現テストケースを表現テストケースを表現 - 仕様変更に対しての保守性仕様変更に対しての保守性仕様変更に対しての保守性仕様変更に対しての保守性
- 28. 28 課題③ テストの実行時間 ・・・・コミットビルドでコミットビルドでコミットビルドでコミットビルドで10分の分の分の分の Smoke Test ・結合テストのテストジョブは・結合テストのテストジョブは・結合テストのテストジョブは・結合テストのテストジョブは 1時間で分割時間で分割時間で分割時間で分割 ・・・・50台のテスト環境でスケール台のテスト環境でスケール台のテスト環境でスケール台のテスト環境でスケール ・・・・コミットビルドでコミットビルドでコミットビルドでコミットビルドで10分の分の分の分の Smoke Test ・結合テストのテストジョブは・結合テストのテストジョブは・結合テストのテストジョブは・結合テストのテストジョブは 1時間で分割時間で分割時間で分割時間で分割 ・・・・50台のテスト環境でスケール台のテスト環境でスケール台のテスト環境でスケール台のテスト環境でスケール
- 29. 29 Smoke Test
- 30. 30 Smoke Test 実行時間とカバレッジのバランス ・ 実行時間は10分 ・ End to End のテスト ドキュメント登録/削除, 日本語処理、 平行性等
- 36. 36 課題④ テスト結果の再現性 ・・・・ 原因：原因：原因：原因： - 環境差異環境差異環境差異環境差異 - 連続したテスト実行のための連続したテスト実行のための連続したテスト実行のための連続したテスト実行のための システムの状態差異システムの状態差異システムの状態差異システムの状態差異 ・・・・ 解決方法解決方法解決方法解決方法 クリーンアップクリーンアップクリーンアップクリーンアップ + インストールインストールインストールインストール ・・・・ 原因：原因：原因：原因： - 環境差異環境差異環境差異環境差異 - 連続したテスト実行のための連続したテスト実行のための連続したテスト実行のための連続したテスト実行のための システムの状態差異システムの状態差異システムの状態差異システムの状態差異 ・・・・ 解決方法解決方法解決方法解決方法 クリーンアップクリーンアップクリーンアップクリーンアップ + インストールインストールインストールインストール
- 37. 37 結合テスト自動化の課題と解決方法結合テスト自動化の課題と解決方法結合テスト自動化の課題と解決方法結合テスト自動化の課題と解決方法 課題課題課題課題 解決方法解決方法解決方法解決方法 結合テストの複雑さ ・品質の積み上げ ・結合テストでは ブラックボックステスト テストの実装コストが 高い ・シナリオベースで記述 可能なフレームワーク テストの実行時間が 長い ・10分のSmoke Test ・1時間毎にジョブを分割 ・50台の環境でスケール テスト結果の再現性 ・クリーンアップ + インストール
- 39. 開発プロセス 開発 GIT merge UT/CT Smoke Test IT1 IT2 Smoke Test Pass Pass バージョン Pass Yes No No ST UT&ビルド Yes Pass 開発開発開発開発 Yes No clone 手動手動手動手動 システムテストシステムテストシステムテストシステムテスト リリース 結合結合結合結合テストテストテストテスト ビルドビルドビルドビルド
- 40. 開発プロセス 開発 GIT merge UT/CT Smoke Test IT1 IT2 Smoke Test Pass Pass バージョン Pass Yes No No ST UT&ビルド Yes Pass 開発開発開発開発 Yes No clone 手動手動手動手動 システムテストシステムテストシステムテストシステムテスト リリース 結合結合結合結合テストテストテストテスト ビルドビルドビルドビルド { “cassandra”:“2.4.0-20130228.125411-258.jar”, “indexer”:“2.4.0-20130227.134019-53.jar”, . }
- 45. 45 2013-02-10 2013-02-24 2013-03-10 2013-03-24 2013-04-07 Numberofissues IT2 availability IT2 field type IT2 synonym IT2 join IT2 gateway IT2 Search-API indexing/search IT2 smoke DevelopmentDevelopment QAQA テストタイプごとの積算発見バグ数テストタイプごとの積算発見バグ数テストタイプごとの積算発見バグ数テストタイプごとの積算発見バグ数
- 46. 46 2013-02-10 2013-02-24 2013-03-10 2013-03-24 2013-04-07 Numberofissues IT2 availability IT2 field type IT2 synonym IT2 join IT2 gateway IT2 Search-API indexing/search IT2 smoke DevelopmentDevelopment QAQA テストタイプごとの積算発見バグ数テストタイプごとの積算発見バグ数テストタイプごとの積算発見バグ数テストタイプごとの積算発見バグ数 QA期間はサービス期間はサービス期間はサービス期間はサービスのののの 高度な高度な高度な高度な付加価値のテスト付加価値のテスト付加価値のテスト付加価値のテストに集中に集中に集中に集中 QA期間はサービス期間はサービス期間はサービス期間はサービスのののの 高度な高度な高度な高度な付加価値のテスト付加価値のテスト付加価値のテスト付加価値のテストに集中に集中に集中に集中
- 48. 48 コミットビルドとしてのコミットビルドとしてのコミットビルドとしてのコミットビルドとしてのSmoke Testの重要性の重要性の重要性の重要性 6%のバグがのバグがのバグがのバグが Smoke Testで発見で発見で発見で発見 6%のバグがのバグがのバグがのバグが Smoke Testで発見で発見で発見で発見
- 49. 49 コミットビルドとしてのコミットビルドとしてのコミットビルドとしてのコミットビルドとしてのSmoke Testの重要性の重要性の重要性の重要性 バグ発見数バグ発見数バグ発見数バグ発見数 / テスト実行時間テスト実行時間テスト実行時間テスト実行時間
- 50. 50 コミットビルドとしてのコミットビルドとしてのコミットビルドとしてのコミットビルドとしてのSmoke Testの重要性の重要性の重要性の重要性 バグ発見数バグ発見数バグ発見数バグ発見数 / テスト実行時間テスト実行時間テスト実行時間テスト実行時間 効果的な効果的な効果的な効果的な Smoke Testをををを 実行する事実行する事実行する事実行する事が重要が重要が重要が重要 効果的な効果的な効果的な効果的な Smoke Testをををを 実行する事実行する事実行する事実行する事が重要が重要が重要が重要
- 51. 結合テストの自動化の効果の大きさ結合テストの自動化の効果の大きさ結合テストの自動化の効果の大きさ結合テストの自動化の効果の大きさ 効果効果効果効果 大大大大 効果効果効果効果 小小小小 対象プロダクトの 寿命 長い 短い 開発中の コンポーネント数 多い 少ない 要求・仕様・設計 の変更頻度 多い 少ない
- 53. 53 まとめまとめまとめまとめ 結合テストの自動化結合テストの自動化結合テストの自動化結合テストの自動化結合テストの自動化結合テストの自動化結合テストの自動化結合テストの自動化 ・・・・ 結合の検証までを自動化結合の検証までを自動化結合の検証までを自動化結合の検証までを自動化 →仮説仮説仮説仮説の検証を効率化の検証を効率化の検証を効率化の検証を効率化 ・・・・ 結合バグを早期に発見結合バグを早期に発見結合バグを早期に発見結合バグを早期に発見 →ユーザーに付加価値ユーザーに付加価値ユーザーに付加価値ユーザーに付加価値をををを 提供する機能提供する機能提供する機能提供する機能の検証の検証の検証の検証 ・・・・ 結合の検証までを自動化結合の検証までを自動化結合の検証までを自動化結合の検証までを自動化 →仮説仮説仮説仮説の検証を効率化の検証を効率化の検証を効率化の検証を効率化 ・・・・ 結合バグを早期に発見結合バグを早期に発見結合バグを早期に発見結合バグを早期に発見 →ユーザーに付加価値ユーザーに付加価値ユーザーに付加価値ユーザーに付加価値をををを 提供する機能提供する機能提供する機能提供する機能の検証の検証の検証の検証 =