Mittlerweile haben sich im VS-Umfeld immer mehr Nicht-MSTest-Testframeworks etabliert. Im Vortrag wollen wir auf mögliche Alternativen zu MSTest und Coded UI eingehen (z. B. Selenium, Ranorex, Protractor, …). Es geht dabei um Vor-/Nachteile, sinnvolle Szenarien und wie man es geschickt in die TFS-Werkzeugwelt integriert. Das Ziel ist dabei, das Beste aus beiden Welten zu bekommen

1. Alternativen zu
Visual Studio Test Tools
Marc Müller 4tecture GmbH, Schweiz
Nico Orschel AIT GmbH & Co. KG, Deutschland

2. Agenda
Zielstellung
Überblick
Alternative Testing Tools
Integration von Test-Frameworks
Fazit

3. No deep dive today!

7. Frameworks sollten immer Technology-spezifisch gewählt warden
Bsp.:
Java – Junit
C++ - MSTest; Google C++ Test, …
PHP – PHPUnit, …
C# - MSTest, Nunit, Xunit , …
…
Link: https://de.wikipedia.org/wiki/Liste_von_Modultest-Software

8. Fluent Assertions

9. Quelle: https://github.com/dennisdoomen/FluentAssertions/wiki/Documentation-(Release-2.2)

10. SpecFlow

11. Business readable automated tests
▪
▪
▪
▪
Gherkin
▪
▪
▪

12. Business writes
SpecFlow scenarios
Coding
Test Steps
Re-use of coded
Test Steps

13. SpecFlow Feature File Steps Implementation Test automation code
Generate
or
write by hand
Use any test
framework
Component
under test

15. UI Testing

16. Mobil Gerät
Windows
Mobile /
Phone
iOS
Android
Coded UI
Ranorex
Xamarin UITest
Perfecto Mobile
Squish
WebDriver /
Appium
PC
WinForms /
WPF
CodedUI
Appium
Web
Selenium
/ WebDriver
/ Perfecto
Store Apps
CodedUI
Appium
Java
Ranorex /
Squish
Flash, SAP

17. Stärken:
- Support für alle
modernen Browser
(Chrome, Firefox,
Edge)
- Open Source
- .NET Wrapper
vorhanden

18. Stärken:
- Basiert auf Webdriver
Engine
- Berücksichtigt und
Abstrahiert Angular
Suchstrategien
- Testen wie Endnutzer
(Ausführung in
richtigen Browser)

19. Client
Firefox
Driver
Chrome
Driver
Edge
Driver
Json Wire Protocol Proprietäres Protokoll

20. {
"SessionId": "a433343ec6e678b1bc17a93bbbf6aea7",
"Status": 0,
"Value": { "AcceptSslCerts": true,
"ApplicationCacheEnabled": false,
"BrowserConnectionEnabled": false,
"BrowserName": "chrome",
"Chrome": { "UserDataDir":
"/var/folders/p6/ll1grbcs4jv_k7675qv47l6m0000gn/T/.org.chromium.Chromium.wEZRL6" },
"CssSelectorsEnabled": true,
"DatabaseEnabled": false,
"HandlesAlerts": true,
"JavascriptEnabled": true,
"LocationContextEnabled": true,
"NativeEvents": true,
"Platform": "Mac OS X",
"Rotatable": false,
"TakesHeapSnapshot": true,
"TakesScreenshot": true,
"Version": "38.0.2125.111",
"WebStorageEnabled": true } }
Quelle: https://app.codegrid.net/entry/selenium-1
Mehr Informationen:
https://github.com/Selenium
HQ/selenium/wiki/JsonWire
Protocol

21. Demo Selenium

22. Stärken:
- (Fast) alles von Selenium
- Selenium API für Mobile Apps
und PC Applications
- Abstraktion für proprietäre
native UI Automation
Frameworks
Download:
http://www.appium.io
24

23. “The current UI test automation solution for Windows app testing is
CodedUI; however, Coded UI only works for apps running on the Windows
platform. For developers who write cross-platform apps, this means they
have to write tests for each platform they are targeting. Additionally, those
developers who write cross-platform apps will have to write custom tests
for each platform they are targeting.
With Appium supporting multiple platforms like Android and iOS,
Microsoft encourages customers to use Selenium and Appium for
Functional UI testing.”
Quelle:
https://blogs.windows.com/buildingapps/2016/11/16/windows-application-driver-for-pc-integrates-
with-appium/#dMmXr1Jkj7TqL60I.97

24. “The Future of Calabash
Part of making sure we deliver as much value to our users as we can
involves frequently asking ourselves if we are working on the right things.
Calabash was created to make mobile automation Less Painful, and this
remains the goal of the framework today. But as the landscape and
technologies have evolved, mobile automation has become more
accessible and developer-friendly. The rising popularity of the native iOS
and Android frameworks alongside the steady adoption of Appium
signaled that it may be time to reevaluate the role Calabash plays in Test
Cloud. After speaking with many of our customers, we believe we can
best serve our users by focusing on the experience of scaling mobile test
automation in the cloud and leveraging existing test frameworks which
continue to improve. For this reason, we will discontinue active
development on Calabash at the end of this month.”
Quelle:
https://forums.xamarin.com/discussion/93584/question-about-calabash-announcement
26

25. Bild Quelle: https://www.hanselman.com/blog/WinAppDriverTestAnyAppWithAppiumsSeleniumlikeTestsOnWindows.aspx

26. Demo Appium
Mobile

27. Demo Appium
„klassische“ Windows Programme

28. Stärken:
- Support für Mobile
Geräte und andere
Plattformen (Java, SAP,
Android, iOS, …)
- Trennung Aktionen und
Ansteuerung
- Geeignet auch für Nicht-
Programmierer
- .NET Engine

29. Quelle: http://www.ranorex.com/automate-testing-of-desktop-web-mobile-software.html

30. Demo Ranorex

31. Stärken:
- Unterstützen Appium
Testframework
- Testen auf physischen
Geräten (iOS, Android)
Quelle: https://www.xamarin.com/test-cloud

32. Demo Xamarin

33. Stärken:
- Breite
Geräteunterstützung
- Multi Browser-Testing
- VSTS+VS Support
- Remote Manual
Testing

34. Demo Perfecto Mobile

35. Stärken:
- Support für Mobile +
Desktop Browser (>
100)
- Selenium Cloud Testing
(C#, Java, … )
- Live Debugging
- Local Server Testing

36. Integration in
die VS Test Tools

37. ▪ MSTest Extension
▪ (Alles )Einpacken in MSTest (Unit)Test
▪ Generic Test

38. Beispiel: https://nunitforvs.codeplex.com/

41. ▪ MSTest Extension
▪ Einpacken in MSTest (Unit)Test
▪ Generic Test
▪ VS Test Adapter (VS + Build Server only, Kein
Lab)

42. Test
Adapter
Test
Discoverer
Test Executor
Test Container
(non DLL +
EXE)

43. ▪ MSTest Extension
▪ Einpacken in MSTest (Unit)Test
▪ Generic Test
▪ VS Test Adapter (VS, Build, Release
Management)
▪ Publish Test Results

45. Frameworks mit Junit Support
- Cucumber
(https://www.relishapp.com/cucumber/cucumber/docs/formatters/juni
t-output-formatter )
- GoogleTest (C++ Unittest) (http://www.yolinux.com/TUTORIALS/Cpp-
GoogleTest.html
- …

47. Demo
Importing 3rd Party Code Coverage and Test Data

48. - Es gibt nicht das “Universelle Werkzeug”
- Aufgaben-spezifisch das Framework wählen
- VSTS / TFS 2017 ist offen für viele Frameworks
- Integration
-
-

50. KONTAKT
Nico.Orschel@aitgmbh.de
+49 151 55052624
@nicoorschel
AIT GmbH & Co. KG
Leitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
BERATUNG
Agile ALM und TFS
.NET und Architektur
ENTWICKLUNG
Dienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert gekennzeichnet. Aus dem Fehlen der
Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes Warenzeichen handelt.

51. Marc Müller
Principal Consultant
für DevOps, ALM, TFS /VS, .NET
E-Mail: marc.mueller@4tecture.ch
Webseite: http://www.4tecture.ch
Schulungen: http://4tecture.ch/trainings
Blog: http://4tecture.ch/blog
Twitter: @muellermarc