Softshake 2013 Apiness SA l'envers du décor

L’envers du décor
24 Octobre 2013

Apiness SA
Laurent Kohler

&

Nicolas Marfurt

www.apiness-software.ch

Echange de données

Services Web

Back-end Web
Gestion du contenu de l’application
(data model «business»)
Multilingue
Multi-utilisateurs
Gestion des autorisations
- par fonction
- sur la donnée

•
•

•

Web services de synchronisation

Application mobile
Outil d’aﬃchage de données
Fonctionne également hors ligne
Structure et design simple
Synchronisation des données
- robuste
- performante

Situation «typique»
Un client demande «une petite application
mobile multi-plateformes»
➡ aspect visuel et fonctionnel
➡ mais aussi développement important :
- back-end Web
- synchronisation

Options

Web server & Web services
Persistance données côté client mobile
- Modèle objet (Core Data)
- Modèle relationnel (SQLite natif)
- Autre (XML, JSON, plist...)

Contexte: back-end
Projet d’exemple Audio Guide

LAMP
CMS Joomla
Données «structurées», modèle relationnel
(MySQL)

Contexte: application iOS

Modèle relationnel
Correspond au type de modèle du back-end

SQLite (sans Core Data)
Optimisation du SQL et des paramètres db

Modèle de données

Modèle «server» != modèle «app»
Exemples :

•

Serveur
-

•

Données multilingue
Gestion des autorisations

Application
-

Une langue sélectionnée

Options d’accès à SQLite
•

Utilisation de Core Data

•


•

Utilisation directe de la libraire SQLite native
➡

Fonctions C

•


•

➡

•

Fonctions C

Wrapper ou framework existant
➡

FMDB

•


•

➡

•

➡

•

Fonctions C

FMDB

Wrapper «maison»

•


•

➡

•

➡

•

Fonctions C

FMDB

Wrapper «maison»

-

raison historique, plaisir d’explorer
mainmise sur le code (tests)

Architecture

APSSQLite
APSSQLiteObjectCoding
protocol

APSSQLiteDatabaseController

APSSQLiteDatabase

APSSQLiteRequest

SQLite

APSSQLiteObjectPersisting
protocol

APSSQLiteResultSet

Architecture
MyProjectDatabaseController

APSSQLite
protocol


APSSQLiteDatabase

APSSQLiteRequest

SQLite

protocol

APSSQLiteResultSet

Architecture

MyClassResultSet


protocol

APSSQLite

APSSQLiteDatabase

APSSQLiteRequest

SQLite

protocol

APSSQLiteResultSet

Architecture

MyClassResultSet

MyClass


protocol

protocol

APSSQLite

APSSQLiteDatabase

APSSQLiteRequest

SQLite

APSSQLiteResultSet

Intégration
Modèle

MyClassResultSet

MyViewController
MyClass


Contrôleur

APSSQLite

Appel SQLite
APSSQLiteDatabase
- (BOOL)executeCUDRequest:(APSSQLiteRequest *)request error:(NSError *__autoreleasing *)error {
! BOOL success = YES;
!

sqlite3_stmt *statement;
int rc = sqlite3_prepare(self.db, [request.query UTF8String], -1, &statement, NULL);

!

if(rc == SQLITE_OK) {
rc = sqlite3_step(statement);

!

!

!
!
!
!

!
!
!
}
else {
*error = [[self class] errorWithCode:rc message:[NSString stringWithUTF8String:sqlite3_errmsg(self.db)]];
!
success = NO;
}

!
!
!
}

if(rc != SQLITE_DONE) {
*error = [[self class] errorWithCode:rc message:[NSString stringWithUTF8String:sqlite3_errmsg(self.db)]];
!
success = NO;
}
sqlite3_finalize(statement);

return success;

Exécution d’une requête
TopicResultSet : APSSQLiteResultSet

+ (TopicResultSet *)fetchAll {
__block TopicResultSet *resultSet = nil;
[[GuideDatabaseController sharedDatabaseController] performBlockAndWait:^(APSSQLiteDatabase *database) {
NSString *query = @"SELECT * FROM audio_topic t WHERE t.isPublished = 1 ORDER BY t.sequence";
APSSQLiteRequest *request = [APSSQLiteRequest requestWithQuery:query];
request.resultClass = [TopicResultSet class];
NSError *error = nil;
resultSet = [database executeFetchRequest:request error:&error];
// Handle error...
}];
return resultSet;
}

Exécution d’une requête
TopicResultSet : APSSQLiteResultSet

+ (TopicResultSet *)fetchAll {
__block TopicResultSet *resultSet = nil;
[[GuideDatabaseController sharedDatabaseController] performBlockAndWait:^(APSSQLiteDatabase *database) {
NSString *query = @"SELECT * FROM audio_topic t WHERE t.isPublished = 1 ORDER BY t.sequence";
APSSQLiteRequest *request = [APSSQLiteRequest requestWithQuery:query];
request.resultClass = [TopicResultSet class];

}];
}

NSError *error = nil;
resultSet = [database executeFetchRequest:request error:&error];
// Handle error...

return resultSet;

Afﬁchage des données
MyViewController : UITableViewController
@interface TopicListViewController ()
@property (strong, nonatomic) TopicResultSet *topicResultSet;
@end

- (void)viewDidLoad {
[super viewDidLoad];
}

self.topicResultSet = [TopicResultSet fetchAll];

- (NSInteger)tableView:(UITableView *)tableView numberOfRowsInSection:(NSInteger)section {
return [self.topicResultSet count];
}
- (UITableViewCell *)tableView:(UITableView *)tableView cellForRowAtIndexPath:(NSIndexPath *)indexPath {
TopicTableViewCell *cell = [tableView dequeueReusableCellWithIdentifier:TopicListViewControllerTopicCell];
NSDictionary *topic = self.topicResultSet[indexPath.row];
cell.textLabel.text = topic[TopicColumnTitle];
cell.detailTextLabel.text = topic[TopicColumnDescription];
}

return cell;

@end

}


}

}

return cell;

@end

}


}
Topic *topic = [self.topicResultSet topicForRowAtIndex:indexPath.row];
cell.textLabel.text = topic.title;
cell.detailTextLabel.text = topic.topicDescription;
}

return cell;

Scénarios d’évolution des données

•

Mises à jour fréquentes mais en petit volume (news)
➡ Intégralité des données pas nécessaire

•
•

Mises à jour en masse (catalogue produit)
Installation en masse, mises à jour de petit volume (audio guide)

Contexte

•

Installation de contenu type «audio guide musée»
- Texte, images, audio
- Création par volume de 100 à 1000 éléments environ
- Mise à jour sporadique et en petite quantité

Approches

•
•
•
•

Option 1 : «naïve» (la plus simple)
Option 2 : «typique SQLite» (transaction)
Option 3 : «insertion en masse»
Option 4 : «insertion en masse» + transaction

Contexte
2 tables relativement petites
- table parent : 12 colonnes (int, ﬂoat, varchar)
- table détail : 7 colonnes (int, varchar), foreign key parent
Mesure
- nombre d’insertions par seconde
- données de référence : 1000 parents et 2000 détails

Option 1
Insertion ligne par ligne

FOR EACH ROW
EXEC:INSERT INTO TBL
(c1,c2...) SELECT 123,
‘abc’,...

Option 1

insertions /
sec

FOR EACH ROW
(c1,c2...) SELECT 123,
‘abc’,...

Option 1

insertions /
sec

FOR EACH ROW
(c1,c2...) SELECT 123,
‘abc’,...

Trop lent !

Option 2
Insertion ligne par ligne…
dans une transaction
BEGIN TRANSACTION
FOR EACH ROW
(c1,c2...) SELECT 123,
‘abc’,...
COMMIT (or rollback)

Option 2
BEGIN TRANSACTION
insertions /
sec

FOR EACH ROW
(c1,c2...) SELECT 123,
‘abc’,...

Option 2
BEGIN TRANSACTION
insertions /
sec

FOR EACH ROW
(c1,c2...) SELECT 123,
‘abc’,...

2.5x plus rapide !

Option 3
Insertion de plusieurs lignes en
une commande insert
EXEC:
INSERT
VALUES
(123,
,(345,
,(678,

INTO TBL (c1,c2)
‘Sqlite’)
‘Soft’)
‘Shake’);

Option 3
une commande insert

SQLite ne connait pas insert many values !
(dépend des versions de SQLite…)

EXEC:
INSERT
VALUES
(123,
,(345,
,(678,

INTO TBL (c1,c2)
‘Sqlite’)
‘Soft’)
‘Shake’);

Option 3 - syntaxe SQLite
une commande insert
EXEC:
INSERT INTO TBL (c1,c2)
SELECT 123, ‘Sqlite’
UNION SELECT 345, ‘Soft’
UNION SELECT 678, ‘Shake’;

une commande insert

Limite SQLite :
au maximum 500 union select !

EXEC:

Insertion par paquets de 500
lignes
FOR EACH ROW
BUILD INSERT STATEMENT
WHEN «ENOUGH»
EXEC:

lignes

Code un peu plus
complexe

FOR EACH ROW
WHEN «ENOUGH»
EXEC:

Option 4
lignes…
BEGIN TRANSACTION
FOR EACH ROW
WHEN «ENOUGH»
EXEC:

Option 4
lignes…

Insertion «rapide»
de nombreuses lignes

BEGIN TRANSACTION
FOR EACH ROW
WHEN «ENOUGH»
EXEC:

Comparaison des 4 options

insertions /
sec

Comparaison des 4 options

insertions /
sec

Option 4 45x plus rapide que l’option 1
1500 insertions / seconde sur iPad 3
600 insertions / seconde sur iPhone 4

Option 4
lignes…

Performance satisfaisante dans le contexte
Au prix d’un code un peu plus complexe

Optio
adopt n
ée !

BEGIN TRANSACTION
FOR EACH ROW
WHEN «ENOUGH»
EXEC:

Insert et Update
•

•

Coder «if exists update else insert»

•
•

Long à développer, long à exécuter
Update forcément itératif avec SQLite (1 by 1)

Approche SQLite eﬃcace : INSERT OR REPLACE INTO...
➡ Si validation intégrité référentielle (foreign key)
Diﬀérer le contrôle au moment du commit :
PRAGMA defer_foreign_keys = ON

Optio
adopt n
ée !

Insert et Replace
•
•

Parfait pour des données provenant à 100% du serveur
Attention si certaines colonnes sont maintenues localement !

•

Le «insert or replace» modiﬁe toutes les colonnes

➡ Option possible :
Utiliser un sub-select pour obtenir la valeur locale

Insert et Replace - exemple
EXEC:
INSERT INTO news (newsId, newsTitle,newsDesc, hasBeenRead)
SELECT
123
,‘SoftShake 2013’
,’24 et 25 octobre 2013’
,(SELECT hasBeenRead FROM news WHERE newsId = 123)
UNION SELECT ....

Insert et Replace - exemple
EXEC:
INSERT INTO news (newsId, newsTitle,newsDesc, hasBeenRead)
SELECT
123
,‘SoftShake 2013’
,’24 et 25 octobre 2013’
,(SELECT hasBeenRead FROM news WHERE newsId = 123)
UNION SELECT ....
work
aroun
d
30% p
lus le !
nt.

Insert et Replace - commentaires
•
•

Lorsque certaines colonnes sont maintenues localement
Data model :
- une table pour les données «serveur»
- une table pour les données «locale»
- une view pour accéder aux 2 facilement

•
•

Pas de perte de performance
Approche robuste

Optio
adopt n
ée !

Delete
•

Côté serveur
- «soft delete» (ﬂag data inactive)

•

Côté application
- delete physique (à la ﬁn de la synchronisation)

Réorganisation DB

•
•

SQLite est comparable aux autres base de données
Après de nombreux insert/update/delete, besoin de :
- Récupérer l’espace avec : VACUUM

Quand réorganiser ?
•
•
•

A l’ancienne; «une fois par semaine» ?
Souvent; après chaque synchro ?
Lorsque jugé nécessaire ?
- Evaluer les pages vides avec PRAGMA freelist_count
- Si «nombreuses» pages inutilisées : eﬀectuer le «vacuum»

Quand réorganiser ?
•
•
•

A l’ancienne; «une fois par semaine» ?
Souvent; après chaque synchro ?
Lorsque jugé nécessaire ?
- Evaluer les pages vides avec PRAGMA freelist_count
- Si «nombreuses» pages inutilisées : eﬀectuer le «vacuum»
vacuum est assez rapide
surtout s’il est eﬀectué avant que la db soit totalement désorganisée
Important de le faire, «peu importe» quand !

Options SQLite
•
•

Journal mode

•

Mode «delete» par défaut

Attention au mode Write Ahead Log (WAL)

•
•

Meilleure concurrence d’accès
Meilleure performance «maintenant»...
- Car une partie du travail diﬀérée à plus tard !
- Sur device mobile, comportement potentiellement
ennuyeux

Pour conclure
•
•

SQLite est excellent et très performant !

•

Utiliser EXPLAIN pour analyser ce que fait SQLite

En déﬁnissant bien les indexes, pas de soucis de performance
du côté des select

Merci à vous tous pour votre attention !

No
SQL
?
Core Data ?

SQLite ?

Back-end
Web?

Discussion

Backend web - gestion des données

Backend web - gestion des données
Outils existants (connus)

•

Contraintes par rapport au data model

•

(Très) rapide pour des fonctions simples

•

Risque d’atteindre une impasse

Développement «sur mesure»

•

trop long, trop coûteux

Gestion des données - nos choix
•

•

«middle-tier» commun qui génère le html en fonction de
paramètres et accès aux données par procédures stockées

•
•
•

Code PHP stable, on génère/écrit seulement le sql
Rapide
Optimisation des stored procedures toujours possible

Outil «maison» : JEdit

•

Développement par Apiness (Marc Perroulaz, L.Kohler)

Core Data - iOS 7 - Sqlite
•

Version SQLite

•
•

•

•

- iOS 6: version 3.7.13
- iOS 7.0: version 3.7.13

Options Core Data

•
•

Utilisation du mode WAL par défaut depuis iOS 7
Possibilité de passer des options SQLite à Core Data, entre autre le mode de journalisation:

•

@{ NSSQLitePragmasOption : @{@"journal_mode" : @"DELETE"} }

Trace Core Data (iOS 7 / sans analyse)

•
•
•
•

- pragma journal_mode=wal
- pragma cache_size=200
- pragma page_count
- pragma freelist_count

Softshake 2013 Apiness SA l'envers du décor

Contenu connexe

En vedette

Softshake 2013 Apiness SA l'envers du décor