1. Tests des applications mobiles
Retours d’expérience PagesJaunes
Bertrand BATOGE (KEREVAL) / Cédric GAUTIER (PagesJaunes)
26 Mars 2013
2. 2
LABORATOIRE CTA KEREVAL
ACCRÉDITATION
N° 1-2347
PORTÉE DISPONIBLE SUR
WWW.COFRAC.FR
Development Member Consortium
Nos Valeurs
10 années
Métier unique
Indépendance
Impartialité
Excellence
Notre Expertise
Nos clients
Venez sur notre Stand N°3
3. SOMMAIRE
1. Application Pages Jaunes Mobile
2. Organisation des tests
3. Validation mobile et stratégies de test Pages Jaunes
1. Volatilités des applications
2. Multiplicité des devices et des OS
3. Problématiques liées aux mobiles
4. User Relationship Management
5. Problématiques liées au réseau
5. Application PagesJaunes Mobile
5 | 26 Mars 2013| Retours d’expérience Tests de l’application
Annuaire de recherche des professionnels
Recherches des professionnels avec
Annuaire Particuliers et Annuaire Inversé
Recherche Géolocalisée
Guidage Pas à Pas
Fonctions contributives et sociales
- Avis des utilisateurs
- Facebook
Intégration mobile
- Click2Call
- Contacts
- …
6. Application Pages Jaunes Mobile
6 | 26 Mars 2013| Retours d’expérience Tests de l’application
Annuaire de recherche des professionnels
Accessible depuis
Site Web
Applications
Mais également
Intégration avec des partenaires
De nouveaux usages
Intégration dans les GPS des automobiles
Mobilier Urbain (JC Decaux)
8. Organisation des tests
8 | 26 Mars 2013| Retours d’expérience Tests de l’application
PagesJaunes – DT Mobile
Direction des services en mobilités
En charge des développements web et applicatifs de PagesJaunes
Direction Technique Mobile
Pôle Validation Pôle Projet Pôle Développement
Tierce Recette
Mobile
9. Organisation des tests
9 | 26 Mars 2013| Retours d’expérience Tests de l’application
PagesJaunes - Pôle Validation
En charge de la qualification de l’infrastructure et des applications
mobiles PagesJaunes
Tests des applications et sites Web Mobiles
Tests des infrastructures BackOffices
Tests de performances des infrastructures Mobiles
Les enjeux
Volonté de se développer sur tous les supports mobiles
Ergodesign propre à la Marque PagesJaunes
Fonctionnels
Qualité des recherches
Géolocalisation
Publicitaire et statistique
10. Organisation des tests
10 | 26 Mars 2013| Retours d’expérience Tests de
KEREVAL - Cellule de Tierce Recette Mobile
Mise à disposition d’un parc de mobiles représentatifs du marché
Conception et exécution de test fonctionnels
Accompagnement sur la stratégie de test
Expériences réussies
Tests de la full-app Android
Tests de la web-app PagesJaunes pour Mappy GPS Free
Tests de portabilité sur BADA et BlackBerry
Organisation PagesJaunes
Evaluation des activités de validation au sein du département des services en mobilité (DSEM)
Méthodologie
Définition du processus de validation de la DSEM
11. Validation mobile et stratégie de test
PagesJaunes
11 | 26 Mars 2013| Retours d’expérience Tests de
12. Validation mobile et stratégie de test
PagesJaunes
12 | 26 Mars 2013| Retours d’expérience Tests de
Volatilité des applications
Multiplications des applications sur les markets
> 700 000 applications sur Android Market
> 730 000 applications sur App Store
Les utilisateurs ont l’embarras du choix
> 1000 applications radios
> 6 applications annuaires
…
Le market est aussi un espace d’expressions
13. Validation mobile et stratégie de test
PagesJaunes
13 | 26 Mars 2013| Retours d’expérience Tests de
Volatilité des applications
En moyenne 24 applications installées
par terminal
4 sont utilisées quotidiennement
L’application doit être irréprochable
Exigence très forte sur l'intégration graphique/ergonomique
Implication très forte nécessaire de la Maîtrise d’ouvrage et du Marketing
3 Applications sur 5 sont désinstallées dans les 24 heures
Le bug ne pardonne pas
Pas de possibilité de mise à jour au fil de l'eau comme sur le web
Règle supplémentaire pour l’embarqué qui s’ajoute aux contraintes de TTM
Causes des rejets par les utilisateurs
14. Validation mobile et stratégie de test
PagesJaunes
14 | 26 Mars 2013| Retours d’expérience Tests de
Multiplicité des Systèmes d’Exploitation
Multiplicité des Terminaux
Open Signal Maps : fragmentation d’Android
sur une multitude de terminaux
Multiplicité des
Navigateurs
Firefox
Chrome
Opera
Safari
Dolphin
…
15. Validation mobile et stratégie de test
PagesJaunes
15 | 26 Mars 2013| Retours d’expérience Tests de
Sur quels OS et sur quels terminaux valider son application ?
Emulateurs ou terminaux réels ?
16. Validation mobile et stratégie de test
PagesJaunes
16 | 26 Mars 2013| Retours d’expérience Tests de
Les émulateurs
Simplifient des environnements de test
Sont utiles pour couvrir une large gamme de terminaux
Existent pour « tous » les terminaux du marché
Outils puissants pour développer des applications mobiles
Mais ce ne sont pas les vrais terminaux !
Sont-ils suffisamment fiables pour
remplacer les terminaux physiques?
17. Validation mobile et stratégie de test
PagesJaunes
17 | 26 Mars 2013| Retours d’expérience Tests de
Limitations des émulateurs
Certaines tâches ne peuvent pas être émulées, exemples :
Changement de connexion réseau
Prise de photo ou de vidéo
Streaming vidéo sur BlackBerry
Ils ne permettent pas d’identifier les problèmes liés à la
mémoire, aux processeurs ou à la batterie
Ils présentent des différences de résolution et donc
d’affichage
Ce ne sont pas les environnements des utilisateurs !
18. Validation mobile et stratégie de test
PagesJaunes
18 | 26 Mars 2013| Retours d’expérience Tests de
Pour ses tests, PagesJaunes s’appuie
Sur des émulateurs / simulateurs pour les tests unitaires et d’intégration
Sur quelques terminaux réels pour les premiers tests systèmes
Sur la flotte de terminaux KEREVAL
19. Validation mobile et stratégie de test
PagesJaunes
19 | 26 Mars 2013| Retours d’expérience Tests de
Stratégie PagesJaunes et Kereval
Limitation du nombre de terminaux basée sur une analyse et une couverture des
caractéristiques des téléphones :
Les résolutions d’écran
Les accès utilisateurs
Les systèmes d’exploitation
Les constructeurs
Les parts de marché
…
8 à 10 terminaux couvrant 90% du marché
Attention aux surcouches opérateurs
OS au fonctionnement parfois différents => impact fort sur les applications avec forte interaction
système (Android, Agenda, contacts, etc...)
Pas d’impact sur l’application PagesJaunes Mobile
20. Validation mobile et stratégie de test
PagesJaunes
20 | 26 Mars 2013| Retours d’expérience Tests de
Quelles sont les autres contraintes à prendre en
compte dans la stratégie de test ?
21. Validation mobile et stratégie de test
PagesJaunes
21 | 26 Mars 2013| Retours d’expérience Tests de
Un Smartphone sert avant tout à communiquer !
Conserver l’utilisateur dans l’application est primordial
Les cas d’interruption sont à prendre au sérieux
Vérifier comment l’application se comporte
Avant
Pendant
Après une interruption
Dans la stratégie de test :
Appels : SMS ; Player Audio / vidéo ; Synthétiseurs Vocaux ; Mail…
Publicité : Interstitiels ; Bannières…
Mise en veille des applications et reprise de session
22. Validation mobile et stratégie de test
PagesJaunes
22 | 26 Mars 2013| Retours d’expérience Tests de
Limites des ressources des terminaux mobiles
Les applications mobiles fonctionnent dans
des environnements de plus en plus
performants mais toujours contraints
Mémoire
CPU
Batterie
Nécessité de conduire des tests de stress et de performance
Dans la stratégie de test :
Une 20aine d’applications parmi les plus populaires et les plus
gourmandes sont exécutées en parallèle de l’application à tester
23. Validation mobile et stratégie de test
PagesJaunes
23 | 26 Mars 2013| Retours d’expérience Tests de
Interactions avec le terminal
Multi-touch :
Nouveaux usages infinis
Les usages et les possibilités ne cessent de croître
Nombreuses failles possibles
Clavier :
Contenu personnalisable,
A la saisie peuvent avoir un impact sur l'utilisation de formulaire de saisie
Dans la stratégie de test :
Vérifier la robustesse de l’interface utilisateur
Vérifier le verrouillage du multi-touch
24. Validation mobile et stratégie de test
PagesJaunes
24 | 26 Mars 2013| Retours d’expérience Tests de
Définition
Relation entre l'entreprise et les utilisateurs de services informatiques
Créer de l’audience en sollicitant les utilisateurs
Cibler les campagnes selon les usages
Les contraintes du point de vue des tests
Récupération des données statistiques
SDK outils URM restent jeunes sur le marché
Mécanismes de statistiques pas assez spécifiés
Perte de réseau ou gestion des timeouts dans les usages beaucoup plus fréquents dans le
cas réel qu'en laboratoire
Dans la stratégie de test
Outils de traces pour valider le contrat d'interface (mais pas la réception
des données)
Mise en évidence de la réception ou la perte d’une statistique sur le réseau
User Relationship Management
25. Validation mobile et stratégie de test
PagesJaunes
25 | 26 Mars 2013| Retours d’expérience Tests de
Conditions d’utilisation du réseau variables
Bande passante et contenu enrichi
Conception des produits pour des conditions idéales
Coupures réseau
Pas toujours simple à simuler (coupure serveur, serveur inaccessible, mobilité dans des zones sans réception)
Cartographie très séduisante mais devant être performante
Attention aux temps de chargement
Réalité augmentée
Attention aux temps de chargement
Roaming
Impact non négligeable sur des applications internationales
Dans la stratégie de test
Tests aux limites : les « pires » cas doivent garantir le bon fonctionnement du fonctionnel nominal
Le déplacement en voiture/forêt peut s'avérer très efficace pour la gestion des cas limites
Problématiques liées au réseau
26. Validation mobile et stratégie de test
PagesJaunes
26 | 26 Mars 2013| Retours d’expérience Tests de
La stratégie de test pour l’application PagesJaunes
Sélection d’un nombre limité de terminaux réels et représentatifs
Tests des interruptions
Tests des interactions utilisateurs
Tests aux limites
Tests URM
Tests en « mobilité »
Tests des « pires cas » réseau
Cette stratégie s’inscrit dans une stratégie de test globale
Optimisation des tests manuel via l’outillage
Analyse de logs
Capture d’écran et vidéo
Ecran déporté
Gestion de test