1. Tests des applications mobiles
Retours d’expérience PagesJaunes
Bertrand BATOGE (KEREVAL) / Cédric GAUTIER (PagesJaunes)
26 Mars 2013

2. 2
LABORATOIRE CTA KEREVAL
ACCRÉDITATION
N° 1-2347
PORTÉE DISPONIBLE SUR
WWW.COFRAC.FR
Development Member Consortium
Nos Valeurs
10 années
Métier unique
Indépendance
Impartialité
Excellence
Notre Expertise
Nos clients
Venez sur notre Stand N°3

3. SOMMAIRE
1. Application Pages Jaunes Mobile
2. Organisation des tests
3. Validation mobile et stratégies de test Pages Jaunes
1. Volatilités des applications
2. Multiplicité des devices et des OS
3. Problématiques liées aux mobiles
4. User Relationship Management
5. Problématiques liées au réseau

4. Application PagesJaunes Mobile
Présentation
4 | 26 Mars 2013| Retours d’expérience Tests de l’application

5. Application PagesJaunes Mobile
5 | 26 Mars 2013| Retours d’expérience Tests de l’application
Annuaire de recherche des professionnels
 Recherches des professionnels avec
 Annuaire Particuliers et Annuaire Inversé
 Recherche Géolocalisée
 Guidage Pas à Pas
 Fonctions contributives et sociales
- Avis des utilisateurs
- Facebook
 Intégration mobile
- Click2Call
- Contacts
- …

6. Application Pages Jaunes Mobile
6 | 26 Mars 2013| Retours d’expérience Tests de l’application
Annuaire de recherche des professionnels
 Accessible depuis
 Site Web
 Applications
 Mais également
 Intégration avec des partenaires
 De nouveaux usages
 Intégration dans les GPS des automobiles
 Mobilier Urbain (JC Decaux)

7. Organisation des tests
7 | 26 Mars 2013| Retours d’expérience Tests de l’application

8. Organisation des tests
8 | 26 Mars 2013| Retours d’expérience Tests de l’application
PagesJaunes – DT Mobile
 Direction des services en mobilités
 En charge des développements web et applicatifs de PagesJaunes
Direction Technique Mobile
Pôle Validation Pôle Projet Pôle Développement
Tierce Recette
Mobile

9. Organisation des tests
9 | 26 Mars 2013| Retours d’expérience Tests de l’application
PagesJaunes - Pôle Validation
 En charge de la qualification de l’infrastructure et des applications
mobiles PagesJaunes
 Tests des applications et sites Web Mobiles
 Tests des infrastructures BackOffices
 Tests de performances des infrastructures Mobiles
Les enjeux
 Volonté de se développer sur tous les supports mobiles
 Ergodesign propre à la Marque PagesJaunes
 Fonctionnels
 Qualité des recherches
 Géolocalisation
 Publicitaire et statistique

10. Organisation des tests
10 | 26 Mars 2013| Retours d’expérience Tests de
KEREVAL - Cellule de Tierce Recette Mobile
 Mise à disposition d’un parc de mobiles représentatifs du marché
 Conception et exécution de test fonctionnels
 Accompagnement sur la stratégie de test
Expériences réussies
 Tests de la full-app Android
 Tests de la web-app PagesJaunes pour Mappy GPS Free
 Tests de portabilité sur BADA et BlackBerry
 Organisation PagesJaunes
 Evaluation des activités de validation au sein du département des services en mobilité (DSEM)
 Méthodologie
 Définition du processus de validation de la DSEM

11. Validation mobile et stratégie de test
PagesJaunes
11 | 26 Mars 2013| Retours d’expérience Tests de

12. Validation mobile et stratégie de test
PagesJaunes
12 | 26 Mars 2013| Retours d’expérience Tests de
Volatilité des applications
 Multiplications des applications sur les markets
 > 700 000 applications sur Android Market
 > 730 000 applications sur App Store
 Les utilisateurs ont l’embarras du choix
 > 1000 applications radios
 > 6 applications annuaires
 …
 Le market est aussi un espace d’expressions

13. Validation mobile et stratégie de test
PagesJaunes
13 | 26 Mars 2013| Retours d’expérience Tests de
Volatilité des applications
 En moyenne 24 applications installées
par terminal
 4 sont utilisées quotidiennement
 L’application doit être irréprochable
 Exigence très forte sur l'intégration graphique/ergonomique
 Implication très forte nécessaire de la Maîtrise d’ouvrage et du Marketing
 3 Applications sur 5 sont désinstallées dans les 24 heures
 Le bug ne pardonne pas
 Pas de possibilité de mise à jour au fil de l'eau comme sur le web
 Règle supplémentaire pour l’embarqué qui s’ajoute aux contraintes de TTM
Causes des rejets par les utilisateurs

14. Validation mobile et stratégie de test
PagesJaunes
14 | 26 Mars 2013| Retours d’expérience Tests de
Multiplicité des Systèmes d’Exploitation
Multiplicité des Terminaux
Open Signal Maps : fragmentation d’Android
sur une multitude de terminaux
Multiplicité des
Navigateurs
 Firefox
 Chrome
 Opera
 Safari
 Dolphin
 …

15. Validation mobile et stratégie de test
PagesJaunes
15 | 26 Mars 2013| Retours d’expérience Tests de
Sur quels OS et sur quels terminaux valider son application ?
Emulateurs ou terminaux réels ?

16. Validation mobile et stratégie de test
PagesJaunes
16 | 26 Mars 2013| Retours d’expérience Tests de
Les émulateurs
 Simplifient des environnements de test
 Sont utiles pour couvrir une large gamme de terminaux
 Existent pour « tous » les terminaux du marché
 Outils puissants pour développer des applications mobiles
Mais ce ne sont pas les vrais terminaux !
Sont-ils suffisamment fiables pour
remplacer les terminaux physiques?

17. Validation mobile et stratégie de test
PagesJaunes
17 | 26 Mars 2013| Retours d’expérience Tests de
Limitations des émulateurs
 Certaines tâches ne peuvent pas être émulées, exemples :
 Changement de connexion réseau
 Prise de photo ou de vidéo
 Streaming vidéo sur BlackBerry
 Ils ne permettent pas d’identifier les problèmes liés à la
mémoire, aux processeurs ou à la batterie
 Ils présentent des différences de résolution et donc
d’affichage
 Ce ne sont pas les environnements des utilisateurs !

18. Validation mobile et stratégie de test
PagesJaunes
18 | 26 Mars 2013| Retours d’expérience Tests de
Pour ses tests, PagesJaunes s’appuie
 Sur des émulateurs / simulateurs pour les tests unitaires et d’intégration
 Sur quelques terminaux réels pour les premiers tests systèmes
 Sur la flotte de terminaux KEREVAL

19. Validation mobile et stratégie de test
PagesJaunes
19 | 26 Mars 2013| Retours d’expérience Tests de
Stratégie PagesJaunes et Kereval
 Limitation du nombre de terminaux basée sur une analyse et une couverture des
caractéristiques des téléphones :
 Les résolutions d’écran
 Les accès utilisateurs
 Les systèmes d’exploitation
 Les constructeurs
 Les parts de marché
 …
  8 à 10 terminaux couvrant 90% du marché
 Attention aux surcouches opérateurs
 OS au fonctionnement parfois différents => impact fort sur les applications avec forte interaction
système (Android, Agenda, contacts, etc...)
 Pas d’impact sur l’application PagesJaunes Mobile

20. Validation mobile et stratégie de test
PagesJaunes
20 | 26 Mars 2013| Retours d’expérience Tests de
Quelles sont les autres contraintes à prendre en
compte dans la stratégie de test ?

21. Validation mobile et stratégie de test
PagesJaunes
21 | 26 Mars 2013| Retours d’expérience Tests de
Un Smartphone sert avant tout à communiquer !
 Conserver l’utilisateur dans l’application est primordial
 Les cas d’interruption sont à prendre au sérieux
 Vérifier comment l’application se comporte
 Avant
 Pendant
 Après une interruption
Dans la stratégie de test :
 Appels : SMS ; Player Audio / vidéo ; Synthétiseurs Vocaux ; Mail…
 Publicité : Interstitiels ; Bannières…
 Mise en veille des applications et reprise de session

22. Validation mobile et stratégie de test
PagesJaunes
22 | 26 Mars 2013| Retours d’expérience Tests de
Limites des ressources des terminaux mobiles
 Les applications mobiles fonctionnent dans
des environnements de plus en plus
performants mais toujours contraints
 Mémoire
 CPU
 Batterie
 Nécessité de conduire des tests de stress et de performance
Dans la stratégie de test :
 Une 20aine d’applications parmi les plus populaires et les plus
gourmandes sont exécutées en parallèle de l’application à tester

23. Validation mobile et stratégie de test
PagesJaunes
23 | 26 Mars 2013| Retours d’expérience Tests de
Interactions avec le terminal
 Multi-touch :
 Nouveaux usages infinis
 Les usages et les possibilités ne cessent de croître
 Nombreuses failles possibles
 Clavier :
 Contenu personnalisable,
 A la saisie peuvent avoir un impact sur l'utilisation de formulaire de saisie
Dans la stratégie de test :
 Vérifier la robustesse de l’interface utilisateur
 Vérifier le verrouillage du multi-touch

24. Validation mobile et stratégie de test
PagesJaunes
24 | 26 Mars 2013| Retours d’expérience Tests de
Définition
 Relation entre l'entreprise et les utilisateurs de services informatiques
 Créer de l’audience en sollicitant les utilisateurs
 Cibler les campagnes selon les usages
Les contraintes du point de vue des tests
 Récupération des données statistiques
 SDK outils URM restent jeunes sur le marché
 Mécanismes de statistiques pas assez spécifiés
 Perte de réseau ou gestion des timeouts dans les usages beaucoup plus fréquents dans le
cas réel qu'en laboratoire
Dans la stratégie de test
 Outils de traces pour valider le contrat d'interface (mais pas la réception
des données)
 Mise en évidence de la réception ou la perte d’une statistique sur le réseau
User Relationship Management

25. Validation mobile et stratégie de test
PagesJaunes
25 | 26 Mars 2013| Retours d’expérience Tests de
Conditions d’utilisation du réseau variables
 Bande passante et contenu enrichi
 Conception des produits pour des conditions idéales
 Coupures réseau
 Pas toujours simple à simuler (coupure serveur, serveur inaccessible, mobilité dans des zones sans réception)
 Cartographie très séduisante mais devant être performante
 Attention aux temps de chargement
 Réalité augmentée
 Attention aux temps de chargement
 Roaming
 Impact non négligeable sur des applications internationales
Dans la stratégie de test
 Tests aux limites : les « pires » cas doivent garantir le bon fonctionnement du fonctionnel nominal
 Le déplacement en voiture/forêt peut s'avérer très efficace pour la gestion des cas limites
Problématiques liées au réseau

26. Validation mobile et stratégie de test
PagesJaunes
26 | 26 Mars 2013| Retours d’expérience Tests de
La stratégie de test pour l’application PagesJaunes
 Sélection d’un nombre limité de terminaux réels et représentatifs
 Tests des interruptions
 Tests des interactions utilisateurs
 Tests aux limites
 Tests URM
 Tests en « mobilité »
 Tests des « pires cas » réseau
Cette stratégie s’inscrit dans une stratégie de test globale
 Optimisation des tests manuel via l’outillage
 Analyse de logs
 Capture d’écran et vidéo
 Ecran déporté
 Gestion de test