Provenance-Aufzeichnung und -Analyse für Grid-Workflows

Provenance-Aufzeichnung und -Analyse für Grid-Workflows Grid Workflow Workshop 2009 (5./6.3.2009, Berlin) Andreas Schreiber < Andreas.Schreiber@dlr.de> Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR), Köln-Porz http://www.dlr.de/sc

Überblick ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Was ist „Provenance“? Das sagen Wörterbücher… ,[object Object],[object Object],[object Object],[object Object]

Bestimmungen und Konformität Hintergrundwissen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Provenance in der Informatik Was wir darunter verstehen … ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Provenance Von der Anwendung zur Repräsentation ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Dokumentation des Prozesses: „Provenance“- Informationen dazu notwendig

Anwendung auf verteilte Business Prozesse Standardisierte Dokumentation von Business Prozessen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Provenance Store Record Query Apply Medizin Logistik Finanzwesen Luftfahrt Klima Pharmazie

Anwendungsbereiche ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Provenance in der Medizin ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Lab_1 Lab_2 Lab_3 Hospital A (donor side) Hospital B (recipient side) Hospital C Lab_A Lab_B OTA General Practice Center Transplant Unit Transplant Unit Transplant Unit General Practice Center Hospital D WL WL WL WL EHCR EHCR EHCR EHCR EHCR

Provenance in den Ingenieurwissenschaften ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Frage: “Was ist passiert?” ,[object Object],[object Object],SIMULATION FAILED

Provenance in den Ingenieurwissenschaften Fragestellungen zur Nutzung der Informationen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Provenance in der Klimaforschung ,[object Object],[object Object],[object Object],[object Object],[object Object]

Provenance-Konzepte is an execution of Application Services Provenance ( concept ) Data product produces Process Documentation P - structure has a structure operates over P - assertions consists of contains assert Process documents is defined as a past Provenance ( representation ) is represented by Provenance Query is obtained by has

Anwendungen „Provenance-Aware“ machen Provenance Store Provenance von Daten ermitteln durch Stellen von Abfragen Administration von Store und Inhalt Anwendung Daten (Ergebnis) P-Assertions feststellen und als Prozess-Dokumentation aufzeichnen

Service Orientiere Architekturen ,[object Object],[object Object],[object Object],[object Object],[object Object]

Prozess-Dokumentation und P-Assertions (1) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Prozess-Dokumentation und P-Assertions (2) M1 M2 M3 M4 M3 = f1(M1) M2 = f2(M1,M4) M2 is in reply to M1 I received M1, M4 I sent M2, M3 Interaction p-assertions Relationship p-assertions Service state p-assertions I received M1 at time t I used algorithm x.y.z f1 f2

Datenfluss ,[object Object],[object Object],[object Object]

P-Structure (1) ,[object Object],[object Object],Receiver’s view Sender’s view Extensibility (other views or signatures)

P-Structure (2) All p-assertions asserted by a given actor participating in an interaction Asserter identity

Provenance-Architektur ,[object Object],[object Object]

Provenance-Store Beispiel-Implementierung IBM RecordPort XQueryPort XPathPort XPathFactoryPort Provenance Service eXist XML Database OGSA-DAI ProvenanceServiceResourceHome Uses Uses Manages ProvenanceService GT4 Container Tomcat/GT4 Container ProvenanceAuthorizationPDP PStoreDatabase OGSA-DAI Client API ProvenanceStoreResource PStoreDatabase OGSA-DAI Client API ProvenanceStoreResource PStoreDatabase OGSA-DAI Client API ProvenanceServiceResource ProvenanceStoreFactory ProvenanceStoreFactoryPortType ACL File

Client Side Library Implementierungen in Java und Python ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Provenance Aware Application API Utilities Server API Provenance Service Client Side Library

Beispiel-Workflow 2D-CFD-Simulation mit Parametervariation

Mapping von Workflow auf Provenance-Modell “ caused_by” Beziehungen (Relationship P-Assertions) Interaktionen Events zwischen Anwendungskomponenten Aktoren Anwendungskomponenten (z.B. integrierte 3 rd -Party Software) Provenance-Modell Workflow

Beispiel Provenance-Informationen in Simulations-Workflows Interaktionen: Konfiguration Prozessablauf Monitoring Datentransfer Relationen: - r0: i0 causes i1 - r1: i1 causes i2 - r2: i2 causes i3 - r3: i2 causes i4 - r4: i3 causes i2 - r5: i2 causes m1 - r6: i2 causes d1 - r7: i0 causes d2 Status Akteur Process control File-Server Pre- Processing Parameter variation Simulation Visualization i0 i1 i2 i3 i4 m1 d1 d2 c1 c-1 c2 c-2 c3 c-3 c4 c-4

Visualisierung: Process Portlet

Visualisierung: Relationship Portlet

Weitere Visualisierungskonzepte (1) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Weitere Visualisierungskonzepte (2) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Weitere Themen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Compliance Oriented Architecture Einhaltung von Regularien ,[object Object],[object Object],[object Object],Provenance Store Query Provenance of data Record documentation of execution Anwendung Regularien- Prüfung

Einbettung in Arbeits-Umgebung Integration mit weiteren Tools ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Provenance Store generate workflow execute workflow feedback analysis trace workflow execution trace user action Expert System Data & Workflow Management

Provenance in D-Grid ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Credits & Informationsquellen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Provenance-Aufzeichnung und -Analyse für Grid-Workflows

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (11)

Similaire à Provenance-Aufzeichnung und -Analyse für Grid-Workflows

Similaire à Provenance-Aufzeichnung und -Analyse für Grid-Workflows (20)

Plus de Andreas Schreiber

Plus de Andreas Schreiber (20)

Provenance-Aufzeichnung und -Analyse für Grid-Workflows