Tribulations d'un développeur Java
dans le Cloud
Tugdual Grall
@tgrall
1

Ce que vous allez apprendre
• Retour d’experience d’un developpeur du “Dimanche”
• Comprendre “mes” choix
• Difficultés Surprises du Cloud
2

About me : “Tug”
• CTO chez eXo depuis 2008
• Développeur, Product Manager chez Oracle
• Co fondateur du NantesJUG
• @tgrall sur Twitter & RunKeeper
• Triathlete
• Développeur de resultri.com
3

Agenda
• Le Cloud, Pourquoi ? Comment ?
• Les surprises Bonnes et Mauvaises
• Et Alors ?
4

Le cloud, pourquoi?
• Besoins fonctionnels :
• Analyser les résultats de courses :Triathlons ou autres
• Partager ces résultats simplement : réseaux sociaux
• Besoins techniques :
• Apprendre à développer pour le cloud
• Pas de gestion système, ressources disponibles
5

6

Choisir une plateforme
• Aout 2011, avant mon départ en vacances
• Support du mode déconnecté
• Java & NoSQL
• Documentée et “Connue”
• Gratuite
• Disponible sur Mac OS X sans “hack”
7

Choisir une plateforme
• Aout 2011, avant mon départ en vacances
• Support du mode déconnecté
• Java & NoSQL
• Documentée et “Connue”
• Gratuite
• Disponible sur Mac OS X sans “hack”
7

Google AppEngine
• Google PaaS
• Languages : Java, Python and Go
• Base de données : BigTable (NoSQL) & CloudSQL (MySQL)
• Accès simplifié aux API et Services Google
• Google Cloud Storage, Analytics, Google Apps, Maps...
8

Resultri en quelques mots
• Pour les Geeks • Pour les Sportifs
• Pure Servlet/JSP • 33 courses
• REST avec JAX-RS (Jersey) • 46 754 résultats individuels
• Twitter Boostrap • 3500 visiteurs uniques
• 11 300 pages vues
9

Traitement des données
10

Accès aux données?
• Ma premiere réelle experience du monde NoSQL
• Mon passé (passif?) : 9 années d’Oracle, ... très SQL (JPA,Toplink, BC4J !)
• API : JPA, JDO, Datastore API ou autre (Objectify) ?
11

Accès aux données?
• Mon choix : JDO & Datastore API
• Limité aux API Google (documenté dans le SDK)
• JDO : car la doc était la plus complète
• Datastore : est venu ensuite pour la simplicité
12

Resultri: Les Données
Sites “résultats”
HTML, TXT, CSV, XML
13

Resultri: Les Données
Sites “résultats” Traitements en local
HTML, TXT, CSV, XML Utilisation du GAE Dev Server
Export CSV
13

Resultri: Les Données
Sites “résultats” Traitements en local Import GAE
HTML, TXT, CSV, XML Utilisation du GAE Dev Server Utilisation des outils GAE
Export CSV Import CSV
13

Dev to “Cloud” 1/2
1: DatastoreService datastore = DatastoreServiceFactory.getDatastoreService();
•
2: ...
Une fois les données
3: Map<String, Object> propertiesMap = result.getProperties();
4: properties = (String[]) propertiesMap.keySet()...;
5: ...
6:
7:
Query q = new Query("TriathlonResult");
q.addFilter("raceURI", Query.FilterOperator.EQUAL,race);
importées en local
8: PreparedQuery pq = datastore.prepare(q);
•
9: for (Entity result : pq.asIterable()) {
10:
11:
12:
! for (int i = 0; i < properties.length; i++) {
Object o = result.getProperty(properties[i]);
Création d’un Fichier CSV
13: String printValue = null;
•
14: if (o != null) {
15:
16:
!
!
if (o instanceof java.util.Date) {
! SimpleDateFormat formatter = new SimpleDateFormat("yyy ... H:mm:ss") ;
Utilisation des API Datastore
17: ! ! Date date = (Date) o;
•
18: ! ! printValue = formatter.format(date);
19:
20:
!
}
} else if ... { ...!}
Trop “couteux” à faire sur le
Cloud
21: out.print((printValue == null)?"":printValue);
22: out.print(",");
23: ! }
24: ...
14

Dev to “Cloud” 2/2
appcfg.py upload_data
--config_file=config.yml
--filename=ironman-south-africa.csv
--url=http://dev-result-db.appspot.com/remote_api
--application=dev-result-db
--kind=TriathlonResult
Uploading data records.
[INFO ] Logging to bulkloader-log-20120416.155812
[INFO ] Throttling transfers:
• Création des entités par CLI
[INFO ] Bandwidth: 250000 bytes/second
[INFO ] HTTP connections: 8/second
[INFO ] Entities inserted/fetched/modified: 20/second
[INFO ] Batch Size: 10
• Très rapide
•
[INFO ] Opening database: bulkloader-progress-20120416.155812.sql3
[INFO ] Connecting to dev-result-db.appspot.com/remote_api
Please enter login credentials for dev-result-db.appspot.com
Import des données “formatées”
Email: tugdual@gmail.com
Password for tugdual@gmail.com:
[INFO ] Starting import; maximum 10 entities per post
.................................................................
[INFO ] 1552 entities total, 0 previously transferred
[INFO ] 1552 entities (7016782 bytes) transferred in 60.4 seconds
[INFO ] All entities successfully transferre
15

Recherche Full Text
• Beta privée en Octobre...
• Solution “Resultri”
• Utilisation de Cloud SQL
16

Recherche Full Text
• Beta privée en Octobre...
• Solution “Resultri”
• Utilisation de Cloud SQL
First & Last Names
BigTable CloudSQL
16

Accès aux données
• Attention aux quotas !
17

Accès aux données
• Utilisation de Memcache
• Cache disponible dans GAE
• Gestion du cache par le biais de l’API JCache (JSR-107) ou API Google
• Dans Resultri:
• Tout Entity est automatiquement cachée
18

Memcache
19

Les surprises ....
20

Création de données
1: log.info(" -- Start -- ");
2: DatastoreService datastore = DatastoreServiceFactory.getDatastoreService();
3: Entity employee = new Entity("Employee");
4: employee.setProperty("firstName", "Nicolas");
5: employee.setProperty("lastName", "Martignole");
6: Date hireDate = new Date();
7: employee.setProperty("hireDate", hireDate);
8: employee.setProperty("attendedHrTraining", true);
9: datastore.put(employee);
10: employee = new Entity("Employee");
11: employee.setProperty("firstName", "Antonio");
12: employee.setProperty("lastName", "Goncalvez");
13: hireDate = new Date();
14: employee.setProperty("hireDate", hireDate);
15: employee.setProperty("attendedHrTraining", true);
16: datastore.put(employee);
17: Query q = new Query("Employee");
18: PreparedQuery pq = datastore.prepare(q);
19: for (Entity emp : pq.asIterable()) {
20: ! log.info(emp.getProperty("firstName") + " "+ emp.getProperty("lastName" );
21: }
22: log.info(" -- End -- ");
21

Création de données
1: log.info(" -- Start -- ");
2: DatastoreService datastore = DatastoreServiceFactory.getDatastoreService();
3: Entity employee = new Entity("Employee");
4: employee.setProperty("firstName", "Nicolas");
5: employee.setProperty("lastName", "Martignole");
6: Date hireDate = new Date();
1: Apr 16, 2012 4:22:25 "hireDate", hireDate);
7: employee.setProperty( PM com....Servlet doGet
2: INFO: -- setProperty("attendedHrTraining", true);
8: employee. Start --
3: Apr 16, 2012 4:22:25 PM com....Servlet doGet
9: datastore.put(employee);
4: INFO: Nicolas Martignole
10: employee = new Entity("Employee");
5: Apr 16, 2012 4:22:25 "firstName", "Antonio");
11: employee.setProperty( PM com....Servlet doGet
6: INFO: -- setProperty("lastName", "Goncalvez");
12: employee. End --
7: Apr 16, 2012 4:Date(); com.......$PersistDatastore persist
13: hireDate = new 22:34 PM
8: INFO: Time to persist"hireDate",: hireDate);
14: employee.setProperty( datastore 4 ms
15: employee.setProperty("attendedHrTraining", true);
16: datastore.put(employee);
17: Query q = new Query("Employee");
18: PreparedQuery pq = datastore.prepare(q);
20: !
Mais où est parti Antonio????
19: for (Entity emp : pq.asIterable()) {
log.info(emp.getProperty("firstName") + " "+ emp.getProperty("lastName" );
21: }
22: log.info(" -- End -- ");
21

Datastore : Queries
1: Query q = new Query("Employee");
2: q.addSort("lastName");
3: q.addSort("firstName");
4: PreparedQuery pq = datastore.prepare(q);
5: for (Entity emp : pq.asIterable()) {
6: o.println(emp.getProperty("lastName") +" "+ emp.getProperty("firstName") );
7: }
22

Datastore : Queries
1: Doe John
2: Goncalvez Antonio
1: Query q = new Query("Employee");
3: Grall Briac
2: q.addSort("lastName"); 4: Grall Corentin
3: q.addSort("firstName"); 5: Grall Malo
4: PreparedQuery pq = datastore.prepare(q); 6: Grall Nolwenn
5: for (Entity emp : pq.asIterable()) { 7: Grall Tug
8: Grall Virginie
6: o.println(emp.getProperty("lastName") +" "+ emp.getProperty("firstName") ); 9: Martignole Nicolas
7: } 10: Tabarly Eric
22

Datastore : Queries
1: Query q = new Query("Employee");
2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");
3: q.addSort("lastName");
4: q.addSort("firstName");
5: PreparedQuery pq = datastore.prepare(q);
6: for (Entity emp : pq.asIterable()) {
7: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );
8: }
23

Datastore : Queries
1: Query q = new Query("Employee");
2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");
1: Grall Briac
3: q.addSort("lastName"); 2: Grall Corentin
4: q.addSort("firstName"); 3: Grall Malo
5: PreparedQuery pq = datastore.prepare(q); 4: Grall Nolwenn
6: for (Entity emp : pq.asIterable()) { 5: Grall Tug
6: Grall Virginie
7: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );
8: }
23

Datastore : Queries
1: Query q = new Query("Employee");
2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");
3: q.addFilter("birthYear", FilterOperator.LESS_THAN_OR_EQUAL , 2000);
4: q.addSort("lastName");
5: q.addSort("firstName");
6: PreparedQuery pq = datastore.prepare(q);
7: for (Entity emp : pq.asIterable()) {
8: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );
9: }
24

Datastore : Queries
1: Query q = new Query("Employee");
2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");
3: q.addFilter("birthYear", FilterOperator.LESS_THAN_OR_EQUAL , 2000);
4: q.addSort("lastName");
?
5: q.addSort("firstName");
6: PreparedQuery pq = datastore.prepare(q);
7: for (Entity emp : pq.asIterable()) {
8: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );
9: }
24

Datastore : Queries
1: Query q = new Query("Employee");
2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");
3: q.addFilter("birthYear", FilterOperator.LESS_THAN_OR_EQUAL , 2000);
4: q.addSort("lastName");
java.lang.IllegalArgumentException:
?
5: q.addSort("firstName");
The first sort property must be the same as the property to which the inequality filter is applied.
6: PreparedQuery pq = datastore.prepareproperty is firstName but the inequality filter is on birthYear
In your query the first sort (q);
7: for (Entity emp : pq.asIterable()) {
8: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );
9: }
24

Datastore : Queries
1: PersistenceManager pm = PMF.get().getPersistenceManager();
2: Query q = pm.newQuery(Employee.class,"lastName=='Grall'&& firstName=='Malo'");
3: List<Employee> results = (List<Employee>) q.execute(); !
4: o.println(results);
25

Datastore : Queries
1: PersistenceManager pm = PMF.get().getPersistenceManager();
2: Query q = pm.newQuery(Employee.class,"lastName=='Grall'&& firstName=='Malo'");
3: List<Employee> results = (List<Employee>) q.execute(); !
1: Grall Malo
4: o.println(results);
25

Datastore : Queries
1: PersistenceManager pm = PMF.get().getPersistenceManager();
2: Query q = pm.newQuery(Employee.class,"lastName=='Grall'|| firstName=='Malo'");
3: List<Employee> results = (List<Employee>) q.execute(); !
4: o.println(results);
26

Datastore : Queries
1: PersistenceManager pm = PMF.get().getPersistenceManager();
2: Query q = pm.newQuery(Employee.class,"lastName=='Grall'|| firstName=='Malo'");
3:
4:
List<Employee> results = (List<Employee>) q.execute(); !
o.println(results); ?
26

Datastore : Queries
1: PersistenceManager pm = PMF.get().getPersistenceManager();
org.datanucleus.store.appengine.query.DatastoreQuery$UnsupportedDatastoreFeatureException:
2: Problem = pm.newQuery(Employee.class,"lastName=='Grall'|| firstName=='Malo'");
Query q with query <SELECT FROM com.grallandco.model.Employee WHERE lastName=='Grall' || firstName=='Malo'>:
3: Or filters cannot be applied<Employee>) q.execute(); ! (found both lastName and firstName).
List<Employee> results = (List to multiple properties
4: o.println(results); ?
26

Manipulation des données
• Les données ne sont pas toujours disponibles
• High Data Replication (HDR) : surprenant pendant les tests
• “Limitations” des requêtes (GQL) et JDO
• Attentions aux index : sans index pas de “requetes”
• Verifier la disponibilité des index
• Utilisation de Memcache (must have! )
27

Autres services
28

Task Queues
• Service pour l’execution de taches en arrière plan
• Possibilité d’inclure les taches dans un ordonnanceur (cron)
• Resultri:
• Synchronization (BigTable/CloudSQL) , Nettoyage des données
1: Queue queue = QueueFactory.getQueue("SynchappAppQueue");
2: TaskOptions taskOptions = TaskOptions.Builder.withUrl("/worker/ProcessSynchronizeDataServlet")
3: .param("race-uri", "ironman-florida-2005")
4: .param("type", "syncDB")
5: .method(TaskOptions.Method.POST);
6: queue.add(taskOptions);
29

Test en Local
• Un version de Jetty avec le SDK Google AppEngine
Simulation “Authentification Google” Console Developpeur
30

Disponibilité des services
31

Authentification Google
• Utilisation de Google Account
• Se base sur la sécurité JavaEE standard
• Gestion des administrateurs par le biais de la console AppEngine
<security-constraint>
<web-resource-collection>
<url-pattern>/admin/*</url-pattern>
</web-resource-collection>
<auth-constraint>
<role-name>admin</role-name>
</auth-constraint>
</security-constraint>
32

URL Fetch
• Accès à des serveurs autres que AppEngine par HTTP/HTTPS
• Utilisation de java.net.URL ou
com.google.appengine.api.urlfetch.URLFetchService
• Dans Resultri : utilisation du service de GeoCodage de Google Maps
1: URL url = new URL("http://maps.googleapis.com/maps/api/geocode/json?sensor=false&address="+ address );
33

Accès aux API Google
• Google offre de nombreux Services et API
• Un seul compte => tous les services
34

Resultri & Google
• Les services que j’utilise pour Resultri
• Google Apps : Gestion du nom de domaines, Mail, ...
• CloudSQL : Recherche Full Text (MySQL)
• Cloud Storage : Sauvegarde BigTable, Serveur de fichiers
• Google Maps
• Analytics, Adsense, Webmaster
35

En production
36

Gratuit ?
• Oui mais....
• Avec des quotas
• Les règles peuvent changer
• Septembre : Google modifie ses tarifs
37

Gratuit ?
• Oui mais....
• Avec des quotas
• Les règles peuvent changer
• Septembre : Google modifie ses tarifs
37

Exemple
38

Exemple
Import CSV
38

Gestion du cout
• En Fevrier : Augmentation du cout
• Pas d’activité utilisateur, mais cout en augmentation
39

Gestion du cout
• En Fevrier : Augmentation du cout
• Pas d’activité utilisateur, mais cout en augmentation
• Une idée ?
39

Merci Google!
• Google Bots, et autres moteurs de recherche
• Utilisation de Google Webmaster Tools
• Mise en place d’un fichier robots.txt
40

Merci Google!
• Google Bots, et autres moteurs de recherche
User-agent: Twiceler
•
Disallow: /
Utilisation de Google Webmaster Tools User-agent: psbot
Disallow: /
•
User-agent: *
Mise en place d’un fichier robots.txt Disallow: /search
Disallow: /races/*/compare
Disallow: /rest
Disallow: /races/*/*/position
Disallow: /races/*/*/rank
Disallow: /races/*/*/otherRaces
Disallow: /races/*?page=-*
40

Merci Google!
• Google Bots, et autres moteurs de recherche
User-agent: Twiceler
•
Disallow: /
Utilisation de Google Webmaster Tools User-agent: psbot
Disallow: /
•
User-agent: *
Mise en place d’un fichier robots.txt Disallow: /search
Disallow: /races/*/compare
Disallow: /rest
•
Disallow: /races/*/*/position
243 784 URL bloquées sur Resultri Disallow: /races/*/*/rank
Disallow: /races/*/*/otherRaces
Disallow: /races/*?page=-*
40

Console
41

Console
41

Console
41

Conclusion
42

Conclusion
• AppEngine est-il le bon choix pour Resultri?
• Pour l’instant trop couteux et “puissant”
• Techniquement passionnant
• Feuille de route
• Gestion des utilisateurs : Facebook, Twitter, Google
• Notifications
• Version Mobile
43

Conclusion
• Techniquement : j’apprends beaucoup.... • Publication d’articles sur mon blog
• NoSQL, CloudSQL, Memcache.... • Twitter Boostrap 2 and Google Maps
• Google AppEngine Full Text Search with Cloud
• Utilisation de Git SQL
• Installing Memcached on Mac OS X and using it in
• Twitter Bootstrap, Less Java
• JAX-RS: Jersey and JSON single element arrays
• Create and Deploy a JAX-RS REST service on
Google App Engine
• ....
44

Questions?
45

Tribulations d'un développeur Java
dans le Cloud
Tugdual Grall
@tgrall
46