Permis de tester Disclaimer : Cette session ne s’adresse pas à ceux qui pensent que c’est une bonne idée d’affirmer : • « On testera si on a le temps », • « Les utilisateurs nous remonteront les bugs » • « Les développeurs testent et débuguent ce qu’ils ont conçu, c'est suffisant pour garantir la qualité de l‘application mobile » • « Un test réussi sur un smartphone garantit que l’application fonctionne sur tous les autres appareils du même OS » • « Le test d'application mobile, c'est comme le test de site web » Cette session « Tester, Monitorer et Déployer son application mobile » est pour ceux qui ont conscience qu’une application offrant une expérience décevante est synonyme : • D’abandon pur et simple par +60% de ses utilisateurs • D’un changement immédiat pour la concurrence pour 34% d’entre eux • D’un impact négatif pour la marque (réseau sociaux, rating, bouche à oreilles) par la moitié des utilisateurs Au final, pas besoin de s’appeler Bond pour éliminer les bugs de votre app ! Inscrivez vous pour découvrir quels sont les usages du « testing mobile » et comment Visual Studio Team Services, Xamarin Tests Cloud & Hockey App, vous permettront d’améliorer la qualité de vos applications mobiles pour iOS, Android & Windows.

2. Tester, Monitorer et Déployer
son application mobile

3. Nicolas Humann
@nicolashumann
CTO – REGIONAL DIRECTOR
Philippe Sentenac
@psentenac
MBU – REGIONAL DIRECTOR
Adrien Siffermann
@asiffermann
FULL STACK DEV - INDEP

4. Mobile DevOps

5. Isoler, suivre et valider les développements
Deux branches principales
Durée de vie infinie
master : production-ready
develop : intégration
Des branches de support
Durée de vie limitée
feature : développement en parallèle
release : préparation des livraisons
hotfix : corrections en production
Dev…
GitFlow

6. …Ops
Les 4 Fantastiques
develop
0.1.0-alpha.4
Version de développement
Integration
« INT »
release/* ou hotfix/*
1.0.0-beta.0
Version à tester
Validation
« VAL »
master
1.0.0+0
Données de production
Preproduction
« PRE »
Déploiement initié manuellement
après approbation
Production
« PRO »

7. Hockey App
All you need is
Télécharger vos
builds, informer vos
utilisateurs, et installer
l'application
directement sur les
devices
Suivre la qualité de
votre application et
obtenir des
rapports d'erreur
complets
Comprendre
comment les
utilisateurs adoptent
et utilisent votre
application
Monitoring

8. DEMO Mobile DevOps

9. Des plateformes et technologies
variées
Des tailles et résolutions différentes
De multiples navigateurs
La gestion du device et du réseau
« instable » (ex. dans le métro)
Développer des apps mobiles de qualité
C’est compliqué

10. « On testera plus tard. Sur mon iPhone, ca marche de
toute façon »
« Les utilisateurs nous remonteront les bugs »
« Les développeurs testent et débuguent ce qu’ils ont
conçu, c'est suffisant »
« Le test d'application mobile, c'est comme le test de
site web. »
« Les tests, c’est sympa mais qui va payer pour ça ? »
« J’ai un émulateur, pas la peine de tester sur des
smartphones »
La phase de test est souvent
Négligée | Oubliée | Abandonnée

11. 80 % des utilisateurs
désinstallent une application à cause
des crashs/bugs
66 % des app ont une note
inférieure ou égale à la moyenne
60% des utilisateurs
abandonnent votre app si elle ne se
charge pas dans les 3secs
Les utilisateurs, eux, n’oublient pas
C’est la sanction immédiate
L'application bloque depuis la
maj de ios 10 merci de faire le
nécessaire rapidement c'est
une horreur!!!
Application qui génère trop
de beugue. Il est souvent
impossible d'actualiser et de
voir nos comptes
L'app daignait planter au
moment du Touch ID.
Maintenant elle ne se lance
même plus et fait planter tout
mon système. Ça fait un bail
que ça dure. À quand une
mise jour qui ne bouffe pas
tout le CPU ?
Excellente appli mais depuis la
mise à jour vers iOS 10 je n'y
ai plus accès ! Obligé de
consulter mes comptes sur
internet mais ça n'est pas
pratique du tout ! J'espère un
retour à la normale
rapidement sinon je
desinstalle !
Nul par rapport aux autres
applications des autres
banques. Absolument pas
clair manque de simplicité.

12. Un vrai casse tête
Android n’est pas le seul problème
19 000 Android
disponibles sur le
marché
74 configurations
possibles pour iOS
A titre d’exemple, aux US, il faut tester
134 différents devices pour couvrir
80% des smartphones utilisés

13. Comment tester ?
Wait for it
Prenons l’exemple d’une application mobile avec 6 releases, sur 20 configurations
1 x 30 x 6 x 15 min x 20 = 112 jours
TESTS RELEASES DURÉE DES
TESTS
APPAREILSAPP

16. Execution identique, à chaque fois sur
chaque device
Testing d’interface extrèmement rapide
Accès aux derniers OS et nouveaux
téléphones
Rapport immédiatement disponible
• Screenshots
• Utilisation memoire et processeur
• Console log, pratique pour le debugging
Au final, on peut réaliser des parcours
et tests d’intégrations très simplement.
L’approche automatisée avec XTC
The holy grail ?
Long Cycles
Rapid
Iterations
High Test Realism
Simplistic Tests
Beta Testing
Manual
Testing
Automated UI
Testing
Unit Testing

17. L’approche automatisée
Quelques exemples d’usages
PRODUCTION
Tester scénarios
critiques sur 2 000
devices (i.e. : non
regression, mise à
jour du BO « en
douce »)
RECETTE
Le fameux cahier de
recette automatisé.
Ça rassure toujours
avant un passage en
prod
AGILE
Exécuté sur chaque
pull request sur les US
principales. Pour une
app toujours
fonctionnelle
ANTICIPER
Rejouer l’ensemble
de vos test sur des
versions d’OS en
béta, en 30 mn. Ça
n’a pas de prix.

18. DEMO Xamarin Test Cloud

19. Créer des tests d'interface
utilisateur automatisés tout en C#
ou Ruby
Télécharger vos tests sur XTC ou
exécuter les sur un simulateur ou
votre device
Exécution à partir de Visual Studio
ou Xamarin studio
Fonctionne sur toute application:
Native, hybride, ou Xamarin
Developper ces tests
Xamarin.UITest | Calabash

20. Datacenter au Danemark
Devices réinitialisés (hard
reset) après chaque tests
IP :
• 195.249.159.238
• 195.249.159.239
Sécurité
Le détail qui compte

21. Les concurrents
AWS Device
Farm
Google Cloud
Test Lab
Xamarin Test
Cloud
Android, iOS & Android Android, iOS
Appium, Junit,
TestNG, Calabash
Instrumentation,
Robo Test
Calabach, Nunit,
Appium, UITests
Java, Ruby, C# Java C#, Ruby
Oui Oui Oui
Oui No Oui
200+ 20+ 2000
Oui Oui Oui

22. Mobile DevOps
La synthèse en « visual »
UWP
apk
apk
apk
Unit Test
Simulator
git push
Release
Management
with Approvals
HockeyApp
Update Manager
HockeyApp
Crash Reports
& Feedback
Debugging
Team Build (CI)
Test & Code Coverage
Emulator / Devices
Bug
Tracking
19/10/2016© SQLI GROUP | 2016
22

23. Visual Studio Team Services : Gratuit
Hockey App : Gratuit
Xamarin Test Cloud : “C’est cool”
Développer des apps mobiles de qualité
C’est pas si compliqué

25. @microsoftfrance @Technet_France @msdev_fr
@nicolashumann @psentenac @asiffermann

26. Notez cette session
Et tentez de gagner un Surface Book
Doublez votre chance en répondant aussi
au questionnaire de satisfaction globale
* Le règlement est disponible sur demande au commissariat général de l’exposition. Image non-contractuelle