Multi-tenant software applications serve different organizations from a single instance and help to save development, maintenance, and administration costs. The architectural concepts of these applications and their relation to emerging platform-as-a-service (PaaS) environments are still not well understood, so that it is hard for many developers to design and implement such an application. Existing attempts at a structured documentation of the underlying concepts are either technology-specific or restricted to certain details. We propose documenting the concepts as a new architectural style. This paper initially describes the architectural properties, elements, views, and constraints of this style. We illustrate how the architectural elements are implemented in current PaaS environments, such as Force.com, Windows Azure, and Google App Engine.
3. 28.04.2008:
„SAPs neue Mittelstandssoftware
‚Business By Design‘ klemmt“
25.10.2008:
„SAP will sich von
Outsourcing-Tochter trennen“
19.02.2009:
„SAP dementiert Verkaufsstopp
für ‚Business by Design‘“
Source: heise.de
3
4. Single-Tenancy Multi-Tenancy
Tenant1 Tenant2 Tenant3 Tenant1 Tenant2 Tenant3
App App App App
Database Database Database Database
OS OS OS OS
Hardware Hardware Hardware Hardware
4
5. Challenges
Lack of Ad-hoc Technology
Documentation Solutions Focus
5
6. Architectural Styles
An architectural /style is a coordinated set of
Client Server Blackboard
architectural constraints that restricts
Pipe-and-Filter C2
the roles / features of architectural elements
and the Peer-to-Peer
allowed relationshipsREST (WWW)
among those elements
within any architecture that conforms to that style.
Mobile Code SPIAR (AJAX) [Fielding2000]
Idea: Multi-tenancy Style
6
11. Multi-tenant Database
Private Table Layout Extension Table Layout Universal Table Layout
Account27
AID Name Robot Speed Account33
1 ABC X 20 AID Name
2 DEF Y 50 1 GHI
Account46
AID Name Lines
1 JKM 12
11
12. Multi-tenant Database
Private Table Layout Extension Table Layout Universal Table Layout
Industrial-Account
Tenant ID Row Robot Speed
Account-Extension
27 0 X 20
Tenant ID Row AID Name
27 1 Y 50
27 0 1 ABC
27 1 2 DEF Telecommunication-Account
33 0 1 GHI Tenant ID Row Lines
46 0 1 JKM 46 0 12
12
14. Shared
Single Code Base
Architectural
Architectural Data Resources
Constraints
Properties
STATE
Customization Component Stateless Application Tier
14
15. Architectural Trade-offs
Resource Sharing
vs. Security / Availability
Complexity
vs. Time to market
Customizability
vs. Maintainability
15
18. Client Tier Application Tier Data Tier
Web / Worker Blobs, Tables,
Roles SQL Azure
Application Multi-tenant
Browser Cache (optional)
Load Balancer
Threads Database
REST
Asynch,
Customization Synch Data
REST Transfer
Meta-Data Meta-Data
Rich Client
Manager
Worker Role
18
19. Client Tier Application Tier Data Tier
JSP / Servlet,
Google Big Table
Python
Application Multi-tenant
Browser Cache (optional)
Load Balancer
Threads Database
REST
Asynch,
Customization Synch Data
REST Transfer
Meta-Data Meta-Data
Rich Client
Manager
App Engine
Services
19
20. …and SAP? ?
27.01.2010
„Mit dem Featurepack 2.5,
das Mitte dieses Jahres erscheint,
bekommt Business ByDesign
eine Multi-Tenant-Architektur“
Peter Lorenz
Leiter SME Solutions SAP
Source: isreport.de
20
Salesforce-Amerikanische Silicon Valley FirmaEiner der berühmtestenSoftware as a Service providerCustomerRelationship SoftwareUmsatz 2009: 1 Mrd US$, 47000 Kunden, über 1.1 Mio Benutzer, auf angeblich weniger als 1000 ServernKunden: z.B. Deutsche Bank, Allianz VersicherungSalesforce.com zählt zu den am schnellsten wachsenden Technologieunternehmen weltweit. Laut Forbes wächst nur Google schneller (Stand: Januar 2008).Technisch beeindruckend: hohe Skalierbarkeit, steigende Anzahl an Transaktion: mehr als 14 MrdTransaction pro Quartalsinkende Antwortzeiten: weniger als Viertelsekunde mittlere Antwortzeit pro ausgelieferter Seite
SAP Business By DesignVoll integrierte Enterprise ResourcePlanning Lösung für kleine und mittelständische Unternehmen in einer gehostetenSaaS LösungEntwicklung seit 2003, angekündigt 2007 für 2008, 2010 noch nicht voll ausgerolltGerüchte: Entwicklungskosten bei über 500 Mio EuroKlemmt:-"Das System hat noch nicht die erforderliche Performance und hat noch zu viele Aussetzer", zitiert die Zeitung einen SAP-Entwickler. Es müsse noch viel zu viel aufwendig nachjustiert werden.- massive Performance-Probleme in der früherern Entwicklung, unterstützte nur 10 Benutzer pro ServerVerkaufsstopp?- Ursprünglich hatte man in Walldorf mit 10,000 zahlenden Kunden bis zum Jahr 2010 kalkuliert, doch derzeit scheint es davon noch keine 100 zu geben. -SAP sei mit seinen Diensten einfach zu teuer, und außerdem gebe es speziell bei Mittelständlern anhaltende Ängste, ihre wertvollen Geschäftsdaten einem Software-Dienstleister außerhalb ihrer Kontrolle anzuvertrauen. Die Probleme von Business by Design haben verschiedene Ursachen. Meiner Meinung nach ist eine dieser Ursachen, dass SAP auf eine single-tenant Architektur und nicht auf eine multi-tenant Architektur gesetzt hat
Tenant = Organization, Unternehmen mit Mitarbeitern als BenutzerMTEine applikation / eine Code Basis, zentrale Updates/Patches, spezielle Vorrichtungen für Kundenspezifische AnforderungenEine DB, geteilte Schemata, gemeinsame TabellenEin OSEine Hardware, verteilt, LastverteilungSkalierbarkeit durch Lastverteilung auf Cluster, spezielle Datenbankabfragen, wenig overheads, minimum an mehrfach Vorhandenen RessourcenST- Angepasste Applikation pro Kunde (Firma)DB pro Kunde Viele OS LizenzenServer pro KundeVorteil Sicherheit, Nachteil: Skalierbarkeit, schwierig sich an Lastspitzen anzupassen
Was ist also das Problem? Die Herausforderung?Documentation:Kein Handbuch für Multi-tenancyarchitekturen, keine BücherKaum wissenschaftlich LiteraturDas Umsetzen von Multi-tenancy wird weitläufig noch als Wettbewerbsvorteil gesehen und daher verschleiertKonstruktion schwierig, ohne Hilfestellung/Doku sehr teuerAd-hoc SolutionsTry-and-error Prinzip, kein Erfahrungsschatz, Wissen wird von Unternehmen nicht weitergeben Wacklige LösungenArchitekten können trade-offs (Zielkonflikte) nur schwierig einschätzenTechnologieGuides für Microsoft-Produkte und SaaS, Guides von IBM für Java Produkte und SaaSHöhere Abstraktion fehltArchitekturkonzepte nicht formal und technologie-unabhängig dokumentiert
Jetzt die Lösungidee, mein Ansatz!Was könnte die Lösung sein?Fielding, REST, WWW, 2000: Ein Architekturstil ist eine koordinierte Menge von architektonischen Bedingungen / Einschränkungen, die die Rolle der Architekturelement und deren Beziehungen zu einander einschränken.Beispiele: Client-Server, der Server arbeitet nur auf Anfrage, verschickt keine eigenen AnfragenPipe-and-Filter: es gibt keinen Zwischenspeicher, alle Informationen für die Berechnungen werden zwischen den Komponenten weitergereichtUsw.Modernere Stile sind REST für das WWW und SPIAR for AJAX AnwendungenDie Idee ist nun, Multi-tenancy in diese Liste einzureihen und explizit als Architektur Stil zu dokumentieren.Dokumentationsschema nach Perry und Wolf: Komponenten, Konnektoren, Daten Elemente und constraints auf diesen Elementen
ArchitecturalProperties = Ziele, können auch als Anforderungen verstanden werden,Hier 4 der wichtigsten:ResourceSharing:Möglichst viel Hardware und Software soll gemeinsam genutzt werdeVerhindert die Verschwendung von Ressource, kompliziert aber Isolation von ClientsBeispiele: -Kosteneinsparung für Datenbankadministration durch gemeinsame Datenbanken-Speichereinsparung durch nicht-dedizierte ServerElasticity:Hier könnte auch Scalability stehen, also die Fähigkeit mit wachsender Anfragelast zurecht zukommen (siehe Salesforcefolie)Elasticity schließt auch das Stoppen von Servern mit ein wenn die Anfragelast sinkt, daher werden die Ressourcen am effektivsten genutztWichtig für MT systeme wegen der hohen Anzahl an Tenants und der potentziell sehr großen Anfragelast mit LastspitzenMaintainability:Einsparung von Wartungskosten durch eine einzelne Anwendung und Codebasis für alle TenantsBugs müssen nur einmal behoben werdenBugfixes müssen nur einmal eingespielt werden, es müssen keine Fixes von Kunden installiert werden, dies erfolg zentralCustomizability:-bei nur einer geteilten Anwendung: Anpassungen an eigene Geschäftprozesse und Datenmodelle notwendig-Kunden geben sich nicht mit Standardlösungen zufrieden
SPOSAD steht für Shared, Polymorphic, ScalableApplication and Data- Hier jetzt Teil der Lösung, high-level Ansicht der Komponenten und Connectoren die in diesem Stil zum Einsatz kommenBasiert auf multi-tierarchitektur: clienttier, evtl. presentationtier, applicationtier, datatierClient: Web Browser (Internet Explorer), Rich Client (Eclipse RCP)Synchrone REST Kommunikation mit ApplicationtierOptionale Cache, Lastverteiler für meherer Server ApplicationThreads, stellen Präsentation und Business Logic bereit, basieren auf gleichem Code sind aber für verschiedene Tenants über Metadata anpassbarMeta-Data Manager verwaltet Meta-Daten (z.B. proprietäre Datenfelder, GUI, Workflows, Forms, usw.) und passt den Applikationscode anMulti-tenant Datenbank, gemeinsam genutzt von allen Tenants, Enthält Daten (Kundennr, Konto, usw.) und Meta-daten (Datentypen, proprietäre Erweiterungen)Asynchrone KommunikationAndere Sichten hier nicht gezeigt, Virtualisierung kann drunterliegenErstmal nur highlevel, man kann die einzelnen Komponenten noch aufschlüsseln und die Kommunikationsbeziehungen detailierter beschreibenWie bilden sich nun die gewünschten Architektureigenschaften ab?
ResourceSharing vor allem in der Datenbank aber auch in der Infrastruktur (App Container, VM, OS, Hardware)Elasticity z.B. durch LoadBalancer, die auto-scaling unterstützen also auch downgraden.Maintainbility durch gemeinsame Code-basis der ApplicationThreads, nur einmalige Wartung notwendingCustomizability durch Meta-data Manager, der tenant-spezfischen Anpassungen durchführen kannDatenbank im folgenden noch mal genauer, verschieden Schemata zum ResourceSharing möglich
VorherComponent&connectorView, jetzt Information View, wie sind die Daten strukturiert
Jeder Tenant bekommt seine eigenen Tabellen mit möglicherweise eigenen Datenfeldern 27, 33, 46 sind die TenantidsVorteil: keine komplizierten Joins notwendig, einfach zu implementierenNachteil: Overhead für die Erstellung und Verwaltung von vielen kleinen Tabellen bei großer Anzahl von Tenants
Gemeinsame Daten werden in einer großen Tabelle gehalten für alle TenantsTenant-spezifische Erweiterungen über eigene TabellenVorteil: weniger Tabellen, weniger OverheadNachteil: möglicherweise aufwändige, ineffiziente Joins um die Daten zu rekonstuieren
-Daten aller Tenants in einer einzigen Tabelle, Spalten im Varchar Datentyp für beliebige Erweiterungen-Vorteil: sehr geringer Verwaltungs- und Speicheroverhead-Nachteil: Rekonstruktion der Datentypen, Backups, Rowlevelaccesscontrolusw-> keine one-size-fitsit all Lösung, jedoch ist das Universal Table Layout dasjenige mit dem meisten ResourceSharing- Wird so von force.com genutzt, eine Tabelle mit 500 variablen Spalten für alle 50000 tenants, spezielle Query-Optimierungs Routinen
Nach der Definition von Fielding zeichnen vor allem die Einschränkungen einen Stil ausHier 4 der wichtigsten EinschränkungenNur eine Code-Basis für alle Tenants: Einsparung von Wartungskosten, mehrere Codebasen angepasst für individuelle Tenants/Clients sind nicht zulässingGemeinsame Datenressourcen: keine eigenen Datenbanken pro Tenant zur Einsparung von OverheadsEs gibt eine Komponente zur Anpassung der Applikation an Kundenanforderungen: keine StandardapplikationKein client-spezifischer Zustand darf im Application Tier gehalten werden: Erhöht die Skalierbarkeit, keine Wartezeiten für ApplikationsthreadssEvaluation schwierig. Es müssten erste Applikationen nach dem Stil gebaut werden und dann getestet werden, ob sie die angestrebten Architektureigenschaften erfüllenAuch der Aufwand für die Entwicklung auf Basis des Stils müsste mit einer Ad-hoc Entwicklung verglichen werdenDas ist bisher auch für andere Stile nicht gemacht worden.- Hier nur sehr eingeschränkte Form der Evaluierung: Vergleich der Architekturkonzepte mit den Konzepten der neuen PaaS Plattformen
Force.com basiert auf der Salesforce Infrastruktur, lässt es zu dort eigene Applikationen zu erstellenWindows Azure ist Microsofts Antwort auf Cloud computing, viele MS technologien, .NET, basiert auf Windows Server 2008Google AppEngine: Java und Python Welt
Die Idee ist MT als Architekturstil zu dokumentierenVorteileLeichtere Entwicklung für zukünftige Projekte, schränkt den Entwurfsraum einKosteneinsparungen durch weniger Try-and-errorIngenieursmäßiger Ansatz, best PracticesTechnologieagnostik, keine Spezifika von .NET oder Enterprise Java, Fokus auf ArchitekturkonzepteQuantifizierung und Konkretisierung von Trade-offs, ZielkonfliktenFuture Work: stilbeschreibung verfeinern, detaillieren, Evaluation verbessern, SaaSapplikationen untersuchen