Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
PyAutoGUI等Pythonライブラリによる自動化支援
2016/7/24	テスト自動化研究会 事例報告
井芹 洋輝
【アウトライン】
Part.1		PyAutoGUI &	PyUnitによるGUIベースのテスト自動化
(おまけ)Part...
宣伝
• U30テスト設計コンテスト(30歳以下のテスコン) 開催します!
• チュートリアル開催中。募集は来月予定
• 審査委員長を担当しています
• http://aster.or.jp/business/contest/rulebooku...
Part.1	
PyAutoGUI &	PyUnitによる
GUIベースのテスト自動化
PyAutoGUIとは
• マウス操作、キーボード操作、スクリーンショット操作を自動化するPython
向けライブラリ
• https://pyautogui.readthedocs.io/
• コンセプト
• 可能な限りシンプルかつ直感的に使...
PyAutoGuiの例:APIの例
import	pyautogui
pyautogui.moveTo(100,	200)	#座標100、200にマウスを移動させる
pyautogui.click()	#マウスをクリックする
pyautogui...
PyAutoGuiの例:詳細なパラメータ指定の例
#画面上でhoge.pngとマッチする座標を取得
pyautogui.locateOnScreen(‘hoge.png’)
#グレースケールでマッチングして座標を取得
pyautogui.loc...
PyUnit
• ライブラリ名unittest。Python向け標準xUnitフレームワーク
• シンプルで汎用性が高い
• ツールチェーンも自由に構築できる
• Jenkis向けXML生成、テスト結果集計などテスト用機能を手軽に利用できる
PyAutoGUI &	PyUnit
• PyUnitでテストフレームワーク構築
実行、結果評価をPyAutoGuiで実装
• PyUnitの機能を使いながら、GUIベースのテスト自動化を実現
• 用途を絞ればSikuli程度のツールは簡単に組...
PyAutoGUIデモ:タッチパッド操作テスト自動化
• 指定のタッチバッド操作でMac	OS情報画面を表示できることを自動テスト
PyAutoGUIデモ:タッチパッド操作テスト自動化
#macアイコンをクリック
position	=	pyautogui.locateCenterOnScreen('mac_icon.png')
pyautogui.click(positio...
PyAutoGuiの問題点
• GUI&キャプチャ画像操作しばり
• 画像のマッチングで誤差の許容範囲を指定できない
• 透過効果や強調処理(影、フェード処理など)に弱い
• 処理が遅い
Part.2	
PyAutoGUI &	PyUnit
+色々なPythonライブラリ活用
色々なPythonライブラリの活用
• Pythonはテスト自動化で活用できるライブラリが多数公開されてる
• GUI操作(pyautogui等)、ブラウザ操作(selenium.webdriver等)、Excel操作(openpyxl)、
画...
matplotlib
• MATLABを参考にしたライブラリ。
MATLABのような高機能グラフを簡単に出力できる。
• ※テスト自動化用途ではないが、MATLABでシミューレションや検証を行っ
ている人なら、自動化環境の補助チェックとしてスム...
matplotlibデモ
• プログレスバーのテスト自動化(PyAutoGUIで操作を自動化)
• 自動操作で得られたデータを目視確認できるようにグラフ化
プログレスバー画面
テスト対象ソフトウェア
PyUnit
PyAutoGUI
1.自動タ...
statsmodels(+pandas,	numpy)
• 連続系のモデルやデータの分析ライブラリ
• statsmodels.formula
• Rを参考にしたAPIを使える
• モデルの式を文字列で記述できる
statsmodels.formula
• モデル式
• 「log(OutputData)	=	係数a×log(InputData)+係数b」
• Pythonでの記述(線形回帰分析)
• 「sm.ols(formula=“np.log(Out...
statsmodels.formula
(2)線形回帰分析でモデルの各係数や、モデルとデータの差異を分析
(略)
R-squared: 0.779
(略)
coef std err t P>|t| [95.0% Conf. Int.]
----...
statsmodels.formulaデモ:プログレスバーの自動テスト
• PyAutoGUIで自動操作。プログレスバー進捗を連続キャプチャで取得
• プログレスバーの進捗推移を、線形回帰分析でモデル化。モデルの係数
で、プログレスバーの進捗が...
statsmodels.formulaデモ:プログレスバーの自動テスト
#プログレスバーの進捗の回帰分析結果を取得
def analysis_trend(time,	data):
trend_data =	pd.DataFrame([time,...
statsmodels.formulaデモ:プログレスバーの自動テスト
(続き)
#プログレスバー進捗取得
progress_pos =	[]
progress_time =	[]
start_time =	time.time()
time.s...
Part.3
OpenCVによる
現実空間のテスト自動化
OpenCV
• オープンソースのコンピュータビジョンのライブラリ
• 基本的な画像処理全般に対応。その他、録画・キャプチャ・カメラ制御、
キーボード操作などを扱える
• ロボットの移動制御やLED表示等、現実空間のテストの自動化を単独でサ
ポ...
OpenCVデモ:クレーンロボットのテスト自動化
• Macbook Proのカメラで動画撮影。OpenCVでクレーン位置を解析
• テスト自動化環境の配置チェックと、クレーン制御機能テスト(クレーン位
置が指示通りである事をテスト)を自動化
...
OpenCV余談
• 近年のPythonでは、コンピュータビジョンやデータ分析のライブラリが充実
• 誰でも手軽にコンピュータビジョンベースの自動テストを構築できるようになった
• テストオラクルやシミュレーションのモデル作成も敷居が下がった
...
おわり
Prochain SlideShare
Chargement dans…5
×

PyAutoGUI等Pythonライブラリによる自動化支援

16 197 vues

Publié le

7/24 STAR定例会

Publié dans : Logiciels
  • Identifiez-vous pour voir les commentaires

PyAutoGUI等Pythonライブラリによる自動化支援

  1. 1. PyAutoGUI等Pythonライブラリによる自動化支援 2016/7/24 テスト自動化研究会 事例報告 井芹 洋輝 【アウトライン】 Part.1 PyAutoGUI & PyUnitによるGUIベースのテスト自動化 (おまけ)Part.2 PyAutoGUI & PyUnit +色々なPythonライブラリ活用 (おまけ)Part.3 OpenCVによる現実空間のテスト自動化
  2. 2. 宣伝 • U30テスト設計コンテスト(30歳以下のテスコン) 開催します! • チュートリアル開催中。募集は来月予定 • 審査委員長を担当しています • http://aster.or.jp/business/contest/rulebooku30.html
  3. 3. Part.1 PyAutoGUI & PyUnitによる GUIベースのテスト自動化
  4. 4. PyAutoGUIとは • マウス操作、キーボード操作、スクリーンショット操作を自動化するPython 向けライブラリ • https://pyautogui.readthedocs.io/ • コンセプト • 可能な限りシンプルかつ直感的に使える • どんな環境(e.g. win or mac or linux)でも同じように動く • テスト自動化ツールというわけではないですが、お手軽に自動化ツールを 組めるため今回紹介
  5. 5. PyAutoGuiの例:APIの例 import pyautogui pyautogui.moveTo(100, 200) #座標100、200にマウスを移動させる pyautogui.click() #マウスをクリックする pyautogui.typewrite('Hello world!') #文字を打つ pyautogui.keyDown('shift') #シフトキーを押しっぱなしにする position = pyautogui.locateCenterOnScreen('target.png') #target.pngと一致 する場所の中心の座標を取得する 平易な1ステートメントでGUI操作を記述
  6. 6. PyAutoGuiの例:詳細なパラメータ指定の例 #画面上でhoge.pngとマッチする座標を取得 pyautogui.locateOnScreen(‘hoge.png’) #グレースケールでマッチングして座標を取得 pyautogui.locateOnScreen(‘hoge.png’, grayscale=True) #指定の領域から座標を取得 pyautogui.locateOnScreen(‘hoge.png’, region=(0,0, 300, 400)) #処理実行のインターバルを変更 pyautogui.PAUSE = 0.2 デフォルトはシンプルに、必要に応じて詳細に
  7. 7. PyUnit • ライブラリ名unittest。Python向け標準xUnitフレームワーク • シンプルで汎用性が高い • ツールチェーンも自由に構築できる • Jenkis向けXML生成、テスト結果集計などテスト用機能を手軽に利用できる
  8. 8. PyAutoGUI & PyUnit • PyUnitでテストフレームワーク構築 実行、結果評価をPyAutoGuiで実装 • PyUnitの機能を使いながら、GUIベースのテスト自動化を実現 • 用途を絞ればSikuli程度のツールは簡単に組める
  9. 9. PyAutoGUIデモ:タッチパッド操作テスト自動化 • 指定のタッチバッド操作でMac OS情報画面を表示できることを自動テスト
  10. 10. PyAutoGUIデモ:タッチパッド操作テスト自動化 #macアイコンをクリック position = pyautogui.locateCenterOnScreen('mac_icon.png') pyautogui.click(position) #情報表示メニューをクリック position = pyautogui.locateCenterOnScreen('about.png') pyautogui.click(position) #表示を待つ time.sleep(1) #表示確認 position = pyautogui.locateOnScreen('os_info.png') self.assertNotEqual(position, None)
  11. 11. PyAutoGuiの問題点 • GUI&キャプチャ画像操作しばり • 画像のマッチングで誤差の許容範囲を指定できない • 透過効果や強調処理(影、フェード処理など)に弱い • 処理が遅い
  12. 12. Part.2 PyAutoGUI & PyUnit +色々なPythonライブラリ活用
  13. 13. 色々なPythonライブラリの活用 • Pythonはテスト自動化で活用できるライブラリが多数公開されてる • GUI操作(pyautogui等)、ブラウザ操作(selenium.webdriver等)、Excel操作(openpyxl)、 画像処理(opencv等)、文字識別(tesseract等)、機械学習(TensorFlow、scikit-learn等)、 その他諸々・・ • Pythonベースでテスト自動化フレームワークを組むと、それらライブラリの 活用が可能になる
  14. 14. matplotlib • MATLABを参考にしたライブラリ。 MATLABのような高機能グラフを簡単に出力できる。 • ※テスト自動化用途ではないが、MATLABでシミューレションや検証を行っ ている人なら、自動化環境の補助チェックとしてスムーズに導入できる
  15. 15. matplotlibデモ • プログレスバーのテスト自動化(PyAutoGUIで操作を自動化) • 自動操作で得られたデータを目視確認できるようにグラフ化 プログレスバー画面 テスト対象ソフトウェア PyUnit PyAutoGUI 1.自動タッチパッド操作 2. 連続画面キャプチャ 3. プログレスバーの時間 経過に対する推移 4. 時間×進捗のグラフ matplotlib
  16. 16. statsmodels(+pandas, numpy) • 連続系のモデルやデータの分析ライブラリ • statsmodels.formula • Rを参考にしたAPIを使える • モデルの式を文字列で記述できる
  17. 17. statsmodels.formula • モデル式 • 「log(OutputData) = 係数a×log(InputData)+係数b」 • Pythonでの記述(線形回帰分析) • 「sm.ols(formula=“np.log(OutputData) ~ np.log(InputData)”, data=datalist)」 (1) OutputDataとInputDataを指定する
  18. 18. statsmodels.formula (2)線形回帰分析でモデルの各係数や、モデルとデータの差異を分析 (略) R-squared: 0.779 (略) coef std err t P>|t| [95.0% Conf. Int.] --------------------------------------------------------------------------- Intercept 2.4606 0.325 7.578 0.000 1.794 3.127 np.log(Ouput Data) 0.9564 0.098 9.766 0.000 0.755 1.157 log(Output Data) = 係数a×log(Input Data)+係数b モデルとの合致性パラメータを複数出力
  19. 19. statsmodels.formulaデモ:プログレスバーの自動テスト • PyAutoGUIで自動操作。プログレスバー進捗を連続キャプチャで取得 • プログレスバーの進捗推移を、線形回帰分析でモデル化。モデルの係数 で、プログレスバーの進捗が意図通りか自動テストする プログレスバー機能 テスト対象ソフトウェア PyUnitPyAutoGUI 1.自動タッチパッド操作 2. 連続画面キャプチャ 3. プログレスバーの時間 経過に対する推移 statsmodels 4. プログレスバー進捗の 近似モデルのパラメータ 5. 合否結果
  20. 20. statsmodels.formulaデモ:プログレスバーの自動テスト #プログレスバーの進捗の回帰分析結果を取得 def analysis_trend(time, data): trend_data = pd.DataFrame([time, data]).T trend_data.columns = ["time", "progress"] result = sm.ols(formula = "progress ~ np.log(time)", data=trend_data).fit() return result.params class TestProgressBar(unittest.TestCase): def test_progress_bar(self): #処理高速化のため、GUI操作対象の領域を特定してそこだけ操作するようにする target_area = pyautogui.locateOnScreen('target_area.png') target_region = location_to_region(target_area) #プログレスバーの開始と終了の座標および長さを取得(進捗の取得のため) start_position = pyautogui.locateOnScreen('progress_start.png', grayscale=True, region=target_region) end_position = pyautogui.locateOnScreen('progress_end.png', region=target_region) length = end_position[0] - start_position[0] #プログレスバー 開始操作 position = pyautogui.locateCenterOnScreen('start_button.png', region=target_region) pyautogui.click(transform_coord(position)) (続く)
  21. 21. statsmodels.formulaデモ:プログレスバーの自動テスト (続き) #プログレスバー進捗取得 progress_pos = [] progress_time = [] start_time = time.time() time.sleep(1) while True: position = pyautogui.locateCenterOnScreen('progress_current.png', region=target_region) if position == None: break progress_pos.append((position[0] - start_position[0]) * 100 / length) progress_time.append(time.time() - start_time) #モデルとの合致性確認 result = analysis_trend(progress_time, progress_pos) self.assertTrue(result[0] < 20) self.assertTrue(result[1] > 50 and result[1] < 100) 今回のモデル:progress_pos= result[1]×log(progress_time)+result[0]
  22. 22. Part.3 OpenCVによる 現実空間のテスト自動化
  23. 23. OpenCV • オープンソースのコンピュータビジョンのライブラリ • 基本的な画像処理全般に対応。その他、録画・キャプチャ・カメラ制御、 キーボード操作などを扱える • ロボットの移動制御やLED表示等、現実空間のテストの自動化を単独でサ ポートできる
  24. 24. OpenCVデモ:クレーンロボットのテスト自動化 • Macbook Proのカメラで動画撮影。OpenCVでクレーン位置を解析 • テスト自動化環境の配置チェックと、クレーン制御機能テスト(クレーン位 置が指示通りである事をテスト)を自動化 クレーンロボット 1.動作指示通信 2.動画撮影 PC PyUnit OpenCV 3.ロボット位置情報 (クレーンの遠さと 座標位置) 4.テスト結果 通信制御 ※準備が間に合わなかった ので今回は人間で代用
  25. 25. OpenCV余談 • 近年のPythonでは、コンピュータビジョンやデータ分析のライブラリが充実 • 誰でも手軽にコンピュータビジョンベースの自動テストを構築できるようになった • テストオラクルやシミュレーションのモデル作成も敷居が下がった 高精度を求めなければ機械学習のアプローチでモデルを構築できるようになった • Pythonは組み込みエンジニアにとって重要な基礎教養
  26. 26. おわり

×