第4回Seleniumユーザーコミュニティ勉強会の発表スライドです。 https://seleniumjp.connpass.com/event/45208/

1. ディープラーニングとAppiumで
モバイルテスト自動化
2016.12.18
第4回Seleniumユーザーコミュニティ勉強会
伊藤望 (TRIDENT)

2. About Me
p 伊藤 望
p 株式会社TRIDENT 代表取締役
n テスト自動化の支援を行うベンチャー
n www.trident-qa.com (技術ブログあり)
p 執筆

3. About Me
「Sahagin」
p WebDriver / Appium / Gebのレポートツール(OSS)
p ダウンロード数

4. About Me
「Selenium Boot Camp」
p Seleniumについて、1日で基礎から学ぶ講座(有料)

5. Appium x ディープラーニング

6. 自動テストのつらいところ
- Selenium IDEの場合 -
p 操作記録で簡単にスクリプト作成
p つらいところ
n テスト内容がよくわからない
n メンテナンスがつらい

7. 自動テストのつらいところ
- Appium Inspectorの場合 -
p 操作記録と要素調査
p つらいところ
n いろいろ使いにくい

8. 自動テストのつらいところ
- WebDriver/Appiumの場合 -
p コードを書いて、なんでも自由自在
p つらいところ
n コード書くのが大変
n 単調なプログラミング作業…

9. ディープラーニング
p 今話題の人工知能(AI)技術
https://papers.nips.cc/paper/4824-imagenet-classification-with-
deep-convolutional-neural-networks.pdf
http://jacobsschool.ucsd.edu/news/news_releases/release.sfe?id=1883
高精度な物体認識 自動運転でも活躍

10. Appium x ディープラーニング
p ディープラーニングの画像認識を、コンポーネン
ト認識に利用
p 「誰でも」「すばやく」読みやすいスクリプトを作成
できるように

11. そして生まれたのが
Magic Pot

12. コンセプト動画
https://www.youtube.com/watch?v=UEQrIsndFpc

13. デモ
Yahoo!乗換案内 Jenkins
+

14. デモスクリプト
出発「東京」
到着「新大阪」
出発時刻「12/31 12:00」
検索結果の1行目は
「12:00」発の電車

15. デモスクリプト
「出発地」
を指定する画面
「時刻」
を指定する画面
タップ
「到着地」
を指定する画面タップ
タップ

16. デモ
https://www.youtube.com/watch?v=bdF2k-1miD4

17. 実装 -テストを作成する-
①画像解析
(ディープラーニング)
②選んでテスト作成

18. 実装 -テストを実行する-
③unittestのコードに変換
④コマンドラインから実行 ④CIで実行

19. 実装 -テストを実行する-
⑤実行時に再度画像解析
⑥対応するAppium要素を取得
UIATextField[1]
⑦Appiumで実行

20. 実装 -テストを実行する-
⑤実行時に再度画像解析
⑥対応するAppium要素を取得
UIATextField[1]
⑦Appiumで実行
「名前」入力エリア UIATextField[1]
の対応はキャッシュし、
2回目からは高速に動作

21. システム構成
CIツール
クラウド環境
Webサーバ
スクリプトDB
ユーザ環境
Magic Pot
クライアント
端末
①開始
②スクリプト
取得
③テスト
実行

22. よくありそうなQ&A
Q: クラウドサービスなの？ライブラリなの？
A: クラウド + クライアントライブラリの組み合わせです
Q: 有料なの？無料なの？
A: 無料版と有料版両方を提供する予定です
Q: いつから使えるの？
A: クローズドβ開始まであと少し！

23. 今後もまだまだバージョンアップ！
p Webでも使えないの？
p プログラム書かないと辛い時はどうするの？
p UIが変わった時のメンテナンス性ってどうなの？
p AIが誤認識した時はどうするの？
ちゃんと考えてますので、乞うご期待！

24. お知らせ①
pβユーザー先行登録受付中

25. お知らせ②
p 近々改名します！
p 「Magic Pot」=>「Magic Pod」

26. ありがとうございました！