SlideShare une entreprise Scribd logo
1  sur  30
Télécharger pour lire hors ligne
Administrasjon
av Geodatabasen
(SQL, Oracle og PostgreSQL)

Morten Grimnes og Thor Morten Kopaas
ARCGIS ARKITEKTUREN

Klienter/konsumenter

Web tjenester, GP tjenester
og lagring av data
Vi ser nærmere på databasen
ARCGIS DATABASEN - GEODATABASEN

• Data kan lagres i flere formater, alt fra filer til store
databasesystemer
– Access databaser, personlig geodatabase
– Filgeodatabase
– RDBMS database (Oracle, SQL Server, PostgreSQL + + )

• Personlig- og filgeodatabase gir alle brukere rett til «alt»
• RDBMS database gir muligheter for brukerkontroll
BRUKERTYPER I RDBMS

• RDBMS administrator
– Rettigheter til å opprette alle typer objekter innen en RDBMS
installasjon. Dette er «DBA».

• Geodatabase administrator
– Rettigheter til å administrere alle metadata og brukerdata som ligger
inne i en geodatabase. Normalt bruker SDE.

• Geodatabase eier
– Rettigheter til å jobbe med skjemaet i geodatabasen, utseendet.
– Gi rettigheter til utvalgte data - ikke områder men «typer» av data.

• Redigeringsbruker
– Rettigheter til å endre innholdet i geodatabasen, men ikke «utseendet»

• Innsysnbruker
– Rettigheter til å se innholdet i geodatabasen.
TILKOBLING TIL GEODATABASEN
Direct Connect – anbefalt og fremtidig tilkoblingsmetode
RDBMS server
ArcSDE
biblioteker

RDBMS
klient

Application Server – tidligere metode. Støtte etter 10.2 faller bort

ArcSDE biblioteker
giomgr
gsrvr

RDBMS server
TILKOBLING TIL GEODATABASEN DATABASEKLIENT
•

Må installeres separat. Kan lastes ned fra flere plasser
– Databaseleverandøren (Oracle, Microsoft, PostgreSQL.org)
– ESRI, https://customers.esri.com (ikke nødvendigvis «siste» versjon)
TILKOBLING TIL (GEO)DATABASEN
• Ny tilnærming til kobling mot databaser fra 10.1
– Kan koble til «vanlige» databaser og Geodatabaser fra samme
dialogvindu.
– Direct Connect er standard tilkoblingsmetode
10.0

10.1
ROMLIGE DATATYPER
• Datatype hvor geometrien er en fysisk del av raden i en tabell
• Kan bare være én kolonne pr. tabell som inneholder en romlig
datatype (ArcGIS regel, ikke RDBMS)
• Oracle:
– ST_GEOMETRY (ESRI romlig type)
– SDO_GEOMETRY (Oracle Spatial eller Locator)

• PostgreSQL:
– ST_GEOMETRY (ESRI romlig type)
– POSTGIS (frittstående tillegg fra postgis.org)

• SQL Server:
– GEOMETRY (Geografiske koordinater, har fått Z- og M-verdier fra
SQL Server 2012)
– GEOGRAPHY (lik ESRI ST_GEOMETRY i Oracle og PostgreSQL)
VERSJONERING

Brukere

Enterprise Geodatabase-objekter
GDB
Business-tabeller

Delta-tabeller

Adds (A#)

Vil alltid inneholde
minst én versjon:
SDE.DEFAULT

.
.
.

.
.
.

Deletes (D#)

Hver rad i disse tabellene
inneholder en state.
En state = en endring.
VERSJONERING

• Tre hovedalternativer mulig
• Uversjonert
– Redigering basert på korte transaksjoner (RDBMS transaksjoner)
– Vil ikke «skjerme» redigeringer for andre
– Eksterne systemer kan se alle data

• Versjonert
– Redigering basert på lange transaksjoner
– Full isolering av redigeringer i egne versjoner
– Eksterne systemer har problemer med å se alle data

• Noe midt i mellom? Versjonert med «move edits to base»
–
–
–
–

Redigeringer i egne versjoner basert på lange transaksjoner
Redigeringer i SDE.DEFAULT basert på korte transaksjoner
Alt knyttet til versjon SDE.DEFAULT liggende i businesstabellen
Fungerer bare for enkle geometrier
REPLIKERING
• En måte å synkronisere innholdet i to eller flere databaser
– Krever full versjoneringsmodell (ikke «move edits to base»)
ARKIVERING
• Metode for å holde oversikt over endringer utført i databasen over
tid
• Tar utgangspunkt i alle endringer som gjøres i versjonen
SDE.DEFAULT
• Tidspunkt som registreres er tidspunkt endringen skjer i
SDE.DEFAULT
• Fra 10.1 også mulig å ha på uversjonerte data
Versjon: SDE.DEFAULT

Arkiv (historikk)

1/1 1/2
1/2 1/3
1/3
EDITOR TRACKING

• Holder styr på hvem som endrer et objekt – en type «autoupdater»
• Ved bruk av fil- og personlige-, samt ArcSDE geodatabaser hvor
innlogging er «OS autentisert» er navn lik OS-brukernavn
• Ved bruk av ArcSDE geodatabaser hvor innlogging er et
brukernavn i databasen, er navn lik brukernavn i databasen
• Endringstidspunkt er tidspunktet endringen skjer i databasen
Versjon: Hvilken som helst…

Ole 1/1
Jan 1/2
Eva 1/3
HVA MENER VI MED
GEODATABASEADMINISTRASJON?
• Hvilke oppgaver inngår?
–
–
–
–
–
–

Backup?
Tuning?
Vedlikeholde geodatabaseskjema
Brukere?
Rettigheter
++

• Hvem er involvert
– Bare GDB ansvarlig? DBA’er i tillegg?

• Omfang
– Kan ikke «bare installere» og så ikke gjøre noe mer.
– Gjelder spesielt når det gjøres forvaltning av data i databasen.
NOEN «NOTATER» OM BACKUP

• Trenger ingen spesielle typer backup for en geodatabase
• Standard databaseverktøy fungerer fint
• I tillegg til Geodatabaseeieren, må vi også ha med SDE skjemaet
– Kopi av geodatabaseskjemaet er ubrukelig uten SDE skjemaet

• SQL Server og PostgreSQL databasebackup tar med «alt»
• I Oracle må vi huske på også å ta med SDE skjemaet sammen med
geodatabaseskjemaet ved bruk av exp[dp]/imp[dp]
ytelse og skalerbarhet

Er ytelsesproblemet i databasen?
Clients (Desktop, Browser, Devices)
Web Server
Network

Applications
Application Server(s) (ArcGIS)
Network
Network Devices
Hardware
Disk I/O

Geodatabase
Database
Analyze og rebuild indexes

• Analyze
(Bygger databasestatistikk på tabeller og

indekser slik at RDBMS velger beste
eksekveringsplan)
arcpy.AnalyzeDatasets_management

• Rebuild indexes
(«Utdaterte» indekser kan føre til dårligere

ytelse)
arcpy.RebuildIndexes_management
compress

• Compress
(«Rydder» opp i deltatabellene til feature/objektklassene.)
arcpy.Compress_management
compress

• Dialogen «Geodatabase

Administration» gir en oversikt
over versjoner i geodatabasen.

• Anbefales at ingen brukere er
pålogget under kjøring av
compress -> kast ut brukere
compress

Business-tabeller

Delta-tabeller
Adds (A#)

.
.
.

Deletes (D#)

• Flytter så mange rader som mulig fra delta-tabellene tilbake til
business-tabellene.
• Mange rader i delta-tabellene påvirker ytelsen negativt.
• Kan bare flytte rader med stater som er felles for alle versjoner.
Reconcile / post
• Reconcile
(Henter endringer i «foreldre»-versjon
over i «barn»-versjon)

• Post
(Dytter endringer i «barn»-versjon over i
«foreldre»-versjonen)
arcpy.ReconcileVersions_management
Blokkerende versjoner
• Medfører at vi får en mindre optimal compress av
databasen.
• Versjoner som blokkerer for at en compress kan flytte
alle rader i delta-tabellene for SDE.DEFAULT til
business-tabellene

• Slike versjoner må
spores opp og enten
• Samkjøres

• Slettes
Monitorer system ressurser

• CPU
• Snitt på under 70%
• Disk
• Holdes under 80%
• Memory
• Snitt på under 80%

Tools:
Task Manager, resource monitor, perfmon, osv (windows)

top, glance, iostat, osv (unix/linux)
ytelse og skalerbarhet (Oppsummering)

1. Samkjør regelmessig

• Arcpy.ReconcileVersions.management
2. Komprimer regelmessig
• Arcpy.compress_management

3. Rebuild indekser regelmessig
• arcpy.RebuildIndexes_management
4. Oppdater statistikk regelmessig
• Arcpy.AnalyzeDataset_management
• Monitorer system ressurser regelmessig
Feilsøking
• Sdedc_<RDBMS>.log (C:Users<USERNAME>AppDataLocalTemp)
• Direct-connect loggfil
• Nyttig hvis klienten ikke gir en “fornuftig” feilmelding

• SDEVERBOSE
• SQL-trace
• Veldig nyttig hvis ArcGIS-logger ikke er nok
• Vi kunne se alle SQL’er som er generert av ArcGIS og eventuelle
feilmeldinger
• sde_setup.log (C:Users<USERNAME>AppDataLocalTemp)
• Logger ved kjøring av “Create Enterprise Geodatabase”
• GDBUpgrade.log (C:Users<USERNAME>AppDataLocalEsriDesktop10.2)

• Logger ved oppgradering av en geodatabase.
Testverktøy
System Monitor (http://www.arcgis.com/home/item.html?id=848f48b0f88e4de7a036377197453efe)
• Et gratis verktøy for å monitorere og analysere et enterprise GIS system

(Windows, linux, ArcGIS for server, http, database)
• Ytelse
• Last
• Hardware
• Hvor er flaskehalsen
• Oppetid
• +++
Testverktøy
System Test (http://www.arcgis.com/home/item.html?id=e8bac3559fd64352b799b6adf5721d81)

• Et gratis verktøy for å gjennomføre funksjonalitet- og lasttester i et
enterprise GIS system (Gis Services)
• Automatisk generert test
• Spill av sesjon med Fiddler2/Firebug
• Simuler x-antall brukere
• Resultat fra test er en veldig nyttig
rapport
Testverktøy
PerfQA Analyzer (http://blogs.esri.com/esri/supportcenter/2012/04/03/new-arcgis-performance-calibration-tool/)
• Et gratis verktøy for å tune mxd-dokumenter og database
• Opptegning

• Simuler redigeringsesjoner
• Fetch Data times
• Start/stop SQL-trace
Testverktøy
mxdperfstat (http://www.arcgis.com/home/item.html?id=a269d03aa1c840638680e2902dadecac)
• Et kommandolinje-verktøy for å analysere ytelse på mxd-dokumenter
mxdperfstat -mxd <DocumentName.mxd> [-scale scale1;scale2;...] [-xy <x;y>] [-width <screen width> -height
<screen height>] [-dbms -host -instance -database -service -port -user -password]
Takk for oss

Contenu connexe

Similaire à Administrasjon av Geodatabasen - Esri norsk BK 2014

BK2011 Workflow manager i ArcGIS Desktop
BK2011 Workflow manager i ArcGIS DesktopBK2011 Workflow manager i ArcGIS Desktop
BK2011 Workflow manager i ArcGIS DesktopGeodata AS
 
Enterprise GIS-administratorer seminar 29.10.2014
Enterprise GIS-administratorer seminar 29.10.2014Enterprise GIS-administratorer seminar 29.10.2014
Enterprise GIS-administratorer seminar 29.10.2014Geodata AS
 
GeoMatrikkelAksess – Matrikkeldata for GIS-bruk
GeoMatrikkelAksess – Matrikkeldata for GIS-brukGeoMatrikkelAksess – Matrikkeldata for GIS-bruk
GeoMatrikkelAksess – Matrikkeldata for GIS-brukGeodata AS
 
Effektiv bruk av analyseverktøy og geoprosessering - Geodata sommerkonferanse...
Effektiv bruk av analyseverktøy og geoprosessering - Geodata sommerkonferanse...Effektiv bruk av analyseverktøy og geoprosessering - Geodata sommerkonferanse...
Effektiv bruk av analyseverktøy og geoprosessering - Geodata sommerkonferanse...Geodata AS
 
Forvaltning av raster
Forvaltning av rasterForvaltning av raster
Forvaltning av rasterGeodata AS
 
Geodatabasen som forvaltningsrammeverk
Geodatabasen som forvaltningsrammeverkGeodatabasen som forvaltningsrammeverk
Geodatabasen som forvaltningsrammeverkGeodata AS
 
Systemvedlikehold: En oversikt over noen oppgaver og verktøy som kan brukes
Systemvedlikehold: En oversikt over noen oppgaver og verktøy som kan brukesSystemvedlikehold: En oversikt over noen oppgaver og verktøy som kan brukes
Systemvedlikehold: En oversikt over noen oppgaver og verktøy som kan brukesGeodata AS
 
Enterprise GIS-administratorer seminar 29.10.2014
Enterprise GIS-administratorer seminar 29.10.2014Enterprise GIS-administratorer seminar 29.10.2014
Enterprise GIS-administratorer seminar 29.10.2014Geodata AS
 
ArcGIS for Desktop og veien videre - Esri norsk BK 2014
ArcGIS for Desktop og veien videre - Esri norsk BK 2014ArcGIS for Desktop og veien videre - Esri norsk BK 2014
ArcGIS for Desktop og veien videre - Esri norsk BK 2014Geodata AS
 
Kom i gang med ArcGIS Pro
Kom i gang med ArcGIS ProKom i gang med ArcGIS Pro
Kom i gang med ArcGIS ProGeodata AS
 
Hvordan lage en god datamodell? - BK2016
Hvordan lage en god datamodell? - BK2016Hvordan lage en god datamodell? - BK2016
Hvordan lage en god datamodell? - BK2016Geodata AS
 
Intranett integrasjon for departemente - lars marius garshol
Intranett integrasjon for departemente - lars marius garsholIntranett integrasjon for departemente - lars marius garshol
Intranett integrasjon for departemente - lars marius garsholBouvet ASA
 
Hvorfor er fokus på dataforvaltning så viktig
Hvorfor er fokus på dataforvaltning så viktigHvorfor er fokus på dataforvaltning så viktig
Hvorfor er fokus på dataforvaltning så viktigGeodata AS
 
Responsiv design og Bootstrap 3
Responsiv design og Bootstrap 3Responsiv design og Bootstrap 3
Responsiv design og Bootstrap 3Morten Bergset
 
Funksjonsrike applikasjoner med Geocortex Essentials - BK2016
Funksjonsrike applikasjoner med Geocortex Essentials - BK2016Funksjonsrike applikasjoner med Geocortex Essentials - BK2016
Funksjonsrike applikasjoner med Geocortex Essentials - BK2016Geodata AS
 
BK2011 Framtidsrettet applikasjon for norsk skogbruk
BK2011 Framtidsrettet applikasjon for norsk skogbrukBK2011 Framtidsrettet applikasjon for norsk skogbruk
BK2011 Framtidsrettet applikasjon for norsk skogbrukGeodata AS
 
Windows Virtual Desktop
Windows Virtual DesktopWindows Virtual Desktop
Windows Virtual DesktopMarius Sandbu
 

Similaire à Administrasjon av Geodatabasen - Esri norsk BK 2014 (20)

BK2011 Workflow manager i ArcGIS Desktop
BK2011 Workflow manager i ArcGIS DesktopBK2011 Workflow manager i ArcGIS Desktop
BK2011 Workflow manager i ArcGIS Desktop
 
Enterprise GIS-administratorer seminar 29.10.2014
Enterprise GIS-administratorer seminar 29.10.2014Enterprise GIS-administratorer seminar 29.10.2014
Enterprise GIS-administratorer seminar 29.10.2014
 
GeoMatrikkelAksess – Matrikkeldata for GIS-bruk
GeoMatrikkelAksess – Matrikkeldata for GIS-brukGeoMatrikkelAksess – Matrikkeldata for GIS-bruk
GeoMatrikkelAksess – Matrikkeldata for GIS-bruk
 
Effektiv bruk av analyseverktøy og geoprosessering - Geodata sommerkonferanse...
Effektiv bruk av analyseverktøy og geoprosessering - Geodata sommerkonferanse...Effektiv bruk av analyseverktøy og geoprosessering - Geodata sommerkonferanse...
Effektiv bruk av analyseverktøy og geoprosessering - Geodata sommerkonferanse...
 
Forvaltning av raster
Forvaltning av rasterForvaltning av raster
Forvaltning av raster
 
Geodatabasen som forvaltningsrammeverk
Geodatabasen som forvaltningsrammeverkGeodatabasen som forvaltningsrammeverk
Geodatabasen som forvaltningsrammeverk
 
Systemvedlikehold: En oversikt over noen oppgaver og verktøy som kan brukes
Systemvedlikehold: En oversikt over noen oppgaver og verktøy som kan brukesSystemvedlikehold: En oversikt over noen oppgaver og verktøy som kan brukes
Systemvedlikehold: En oversikt over noen oppgaver og verktøy som kan brukes
 
Bli kjent med PostgreSQL!
Bli kjent med PostgreSQL!Bli kjent med PostgreSQL!
Bli kjent med PostgreSQL!
 
Enterprise GIS-administratorer seminar 29.10.2014
Enterprise GIS-administratorer seminar 29.10.2014Enterprise GIS-administratorer seminar 29.10.2014
Enterprise GIS-administratorer seminar 29.10.2014
 
ArcGIS for Desktop og veien videre - Esri norsk BK 2014
ArcGIS for Desktop og veien videre - Esri norsk BK 2014ArcGIS for Desktop og veien videre - Esri norsk BK 2014
ArcGIS for Desktop og veien videre - Esri norsk BK 2014
 
Kom i gang med ArcGIS Pro
Kom i gang med ArcGIS ProKom i gang med ArcGIS Pro
Kom i gang med ArcGIS Pro
 
Hvordan lage en god datamodell? - BK2016
Hvordan lage en god datamodell? - BK2016Hvordan lage en god datamodell? - BK2016
Hvordan lage en god datamodell? - BK2016
 
Bbs Tjueprosent Nosql
Bbs Tjueprosent NosqlBbs Tjueprosent Nosql
Bbs Tjueprosent Nosql
 
Intranett integrasjon for departemente - lars marius garshol
Intranett integrasjon for departemente - lars marius garsholIntranett integrasjon for departemente - lars marius garshol
Intranett integrasjon for departemente - lars marius garshol
 
Hvorfor er fokus på dataforvaltning så viktig
Hvorfor er fokus på dataforvaltning så viktigHvorfor er fokus på dataforvaltning så viktig
Hvorfor er fokus på dataforvaltning så viktig
 
Responsiv design og Bootstrap 3
Responsiv design og Bootstrap 3Responsiv design og Bootstrap 3
Responsiv design og Bootstrap 3
 
Funksjonsrike applikasjoner med Geocortex Essentials - BK2016
Funksjonsrike applikasjoner med Geocortex Essentials - BK2016Funksjonsrike applikasjoner med Geocortex Essentials - BK2016
Funksjonsrike applikasjoner med Geocortex Essentials - BK2016
 
BK2011 Framtidsrettet applikasjon for norsk skogbruk
BK2011 Framtidsrettet applikasjon for norsk skogbrukBK2011 Framtidsrettet applikasjon for norsk skogbruk
BK2011 Framtidsrettet applikasjon for norsk skogbruk
 
Windows Virtual Desktop
Windows Virtual DesktopWindows Virtual Desktop
Windows Virtual Desktop
 
Skalerbare systemer
Skalerbare systemerSkalerbare systemer
Skalerbare systemer
 

Plus de Geodata AS

Øvelse Oslofjord - BK2016
Øvelse Oslofjord  - BK2016Øvelse Oslofjord  - BK2016
Øvelse Oslofjord - BK2016Geodata AS
 
Kartlegging av flomveier i Oslo - BK2015
Kartlegging av flomveier i Oslo - BK2015Kartlegging av flomveier i Oslo - BK2015
Kartlegging av flomveier i Oslo - BK2015Geodata AS
 
Imagery and beyond - BK 2016
Imagery and beyond - BK 2016Imagery and beyond - BK 2016
Imagery and beyond - BK 2016Geodata AS
 
ArcGIS i samferdselsplanlegging - BK2016
ArcGIS i samferdselsplanlegging - BK2016ArcGIS i samferdselsplanlegging - BK2016
ArcGIS i samferdselsplanlegging - BK2016Geodata AS
 
Disrupt or be disrupted - BK 2016
Disrupt or be disrupted - BK 2016Disrupt or be disrupted - BK 2016
Disrupt or be disrupted - BK 2016Geodata AS
 
ArcGIS Server og FME som duo i dokumentproduksjon - BK2016
ArcGIS Server og FME som duo i dokumentproduksjon - BK2016ArcGIS Server og FME som duo i dokumentproduksjon - BK2016
ArcGIS Server og FME som duo i dokumentproduksjon - BK2016Geodata AS
 
Workflow manager - Kystverkets bruk og erfaringer - BK2016
Workflow manager - Kystverkets bruk og erfaringer - BK2016Workflow manager - Kystverkets bruk og erfaringer - BK2016
Workflow manager - Kystverkets bruk og erfaringer - BK2016Geodata AS
 
Workflow manager – hva er det og hva kan det brukes til - BK2016
Workflow manager – hva er det og hva kan det brukes til - BK2016Workflow manager – hva er det og hva kan det brukes til - BK2016
Workflow manager – hva er det og hva kan det brukes til - BK2016Geodata AS
 
ArcGIS Portal og sharepoint - en fleksibel kombinasjon - BK2016
ArcGIS Portal og sharepoint - en fleksibel kombinasjon - BK2016ArcGIS Portal og sharepoint - en fleksibel kombinasjon - BK2016
ArcGIS Portal og sharepoint - en fleksibel kombinasjon - BK2016Geodata AS
 
Enkel tilgang på live trafikkinformasjon - BK2016
Enkel tilgang på live trafikkinformasjon - BK2016Enkel tilgang på live trafikkinformasjon - BK2016
Enkel tilgang på live trafikkinformasjon - BK2016Geodata AS
 
Anvendelse av ArcGIS-plattformen for planlegging gjennomføring - BK2016
Anvendelse av ArcGIS-plattformen for planlegging gjennomføring - BK2016Anvendelse av ArcGIS-plattformen for planlegging gjennomføring - BK2016
Anvendelse av ArcGIS-plattformen for planlegging gjennomføring - BK2016Geodata AS
 
Dynamisk ressurs modellering - miljørisikoanalyse for arktiske olje og gass a...
Dynamisk ressurs modellering - miljørisikoanalyse for arktiske olje og gass a...Dynamisk ressurs modellering - miljørisikoanalyse for arktiske olje og gass a...
Dynamisk ressurs modellering - miljørisikoanalyse for arktiske olje og gass a...Geodata AS
 
Arctic Risk Map - kommuniserer regionens sikkerhet og miljø risiko - BK2016
Arctic Risk Map -  kommuniserer regionens sikkerhet og miljø risiko - BK2016Arctic Risk Map -  kommuniserer regionens sikkerhet og miljø risiko - BK2016
Arctic Risk Map - kommuniserer regionens sikkerhet og miljø risiko - BK2016Geodata AS
 
Tilstandsregistrering av landbruksveger i Hedmark ved hjelp av collector for ...
Tilstandsregistrering av landbruksveger i Hedmark ved hjelp av collector for ...Tilstandsregistrering av landbruksveger i Hedmark ved hjelp av collector for ...
Tilstandsregistrering av landbruksveger i Hedmark ved hjelp av collector for ...Geodata AS
 
Bruks av ArcGIS Online som samhandlingsplattform i beredskap og krise - BK2016
Bruks av ArcGIS Online som samhandlingsplattform i beredskap og krise - BK2016Bruks av ArcGIS Online som samhandlingsplattform i beredskap og krise - BK2016
Bruks av ArcGIS Online som samhandlingsplattform i beredskap og krise - BK2016Geodata AS
 
ArcGIS en plattform for hele virksomheten - BK2016
ArcGIS  en plattform for hele virksomheten - BK2016ArcGIS  en plattform for hele virksomheten - BK2016
ArcGIS en plattform for hele virksomheten - BK2016Geodata AS
 
Geografiske analyser i ArcGIS - BK 2016
Geografiske analyser i ArcGIS - BK 2016Geografiske analyser i ArcGIS - BK 2016
Geografiske analyser i ArcGIS - BK 2016Geodata AS
 
Skredregistrering.no og norsk skreddatabase - BK2016
Skredregistrering.no og norsk skreddatabase - BK2016Skredregistrering.no og norsk skreddatabase - BK2016
Skredregistrering.no og norsk skreddatabase - BK2016Geodata AS
 
Laserskanning av skog fra drone gir nye muligheter - BK2016
Laserskanning av skog fra drone gir nye muligheter - BK2016Laserskanning av skog fra drone gir nye muligheter - BK2016
Laserskanning av skog fra drone gir nye muligheter - BK2016Geodata AS
 
Effektivisering av kartproduksjon - BK2016
Effektivisering av kartproduksjon - BK2016Effektivisering av kartproduksjon - BK2016
Effektivisering av kartproduksjon - BK2016Geodata AS
 

Plus de Geodata AS (20)

Øvelse Oslofjord - BK2016
Øvelse Oslofjord  - BK2016Øvelse Oslofjord  - BK2016
Øvelse Oslofjord - BK2016
 
Kartlegging av flomveier i Oslo - BK2015
Kartlegging av flomveier i Oslo - BK2015Kartlegging av flomveier i Oslo - BK2015
Kartlegging av flomveier i Oslo - BK2015
 
Imagery and beyond - BK 2016
Imagery and beyond - BK 2016Imagery and beyond - BK 2016
Imagery and beyond - BK 2016
 
ArcGIS i samferdselsplanlegging - BK2016
ArcGIS i samferdselsplanlegging - BK2016ArcGIS i samferdselsplanlegging - BK2016
ArcGIS i samferdselsplanlegging - BK2016
 
Disrupt or be disrupted - BK 2016
Disrupt or be disrupted - BK 2016Disrupt or be disrupted - BK 2016
Disrupt or be disrupted - BK 2016
 
ArcGIS Server og FME som duo i dokumentproduksjon - BK2016
ArcGIS Server og FME som duo i dokumentproduksjon - BK2016ArcGIS Server og FME som duo i dokumentproduksjon - BK2016
ArcGIS Server og FME som duo i dokumentproduksjon - BK2016
 
Workflow manager - Kystverkets bruk og erfaringer - BK2016
Workflow manager - Kystverkets bruk og erfaringer - BK2016Workflow manager - Kystverkets bruk og erfaringer - BK2016
Workflow manager - Kystverkets bruk og erfaringer - BK2016
 
Workflow manager – hva er det og hva kan det brukes til - BK2016
Workflow manager – hva er det og hva kan det brukes til - BK2016Workflow manager – hva er det og hva kan det brukes til - BK2016
Workflow manager – hva er det og hva kan det brukes til - BK2016
 
ArcGIS Portal og sharepoint - en fleksibel kombinasjon - BK2016
ArcGIS Portal og sharepoint - en fleksibel kombinasjon - BK2016ArcGIS Portal og sharepoint - en fleksibel kombinasjon - BK2016
ArcGIS Portal og sharepoint - en fleksibel kombinasjon - BK2016
 
Enkel tilgang på live trafikkinformasjon - BK2016
Enkel tilgang på live trafikkinformasjon - BK2016Enkel tilgang på live trafikkinformasjon - BK2016
Enkel tilgang på live trafikkinformasjon - BK2016
 
Anvendelse av ArcGIS-plattformen for planlegging gjennomføring - BK2016
Anvendelse av ArcGIS-plattformen for planlegging gjennomføring - BK2016Anvendelse av ArcGIS-plattformen for planlegging gjennomføring - BK2016
Anvendelse av ArcGIS-plattformen for planlegging gjennomføring - BK2016
 
Dynamisk ressurs modellering - miljørisikoanalyse for arktiske olje og gass a...
Dynamisk ressurs modellering - miljørisikoanalyse for arktiske olje og gass a...Dynamisk ressurs modellering - miljørisikoanalyse for arktiske olje og gass a...
Dynamisk ressurs modellering - miljørisikoanalyse for arktiske olje og gass a...
 
Arctic Risk Map - kommuniserer regionens sikkerhet og miljø risiko - BK2016
Arctic Risk Map -  kommuniserer regionens sikkerhet og miljø risiko - BK2016Arctic Risk Map -  kommuniserer regionens sikkerhet og miljø risiko - BK2016
Arctic Risk Map - kommuniserer regionens sikkerhet og miljø risiko - BK2016
 
Tilstandsregistrering av landbruksveger i Hedmark ved hjelp av collector for ...
Tilstandsregistrering av landbruksveger i Hedmark ved hjelp av collector for ...Tilstandsregistrering av landbruksveger i Hedmark ved hjelp av collector for ...
Tilstandsregistrering av landbruksveger i Hedmark ved hjelp av collector for ...
 
Bruks av ArcGIS Online som samhandlingsplattform i beredskap og krise - BK2016
Bruks av ArcGIS Online som samhandlingsplattform i beredskap og krise - BK2016Bruks av ArcGIS Online som samhandlingsplattform i beredskap og krise - BK2016
Bruks av ArcGIS Online som samhandlingsplattform i beredskap og krise - BK2016
 
ArcGIS en plattform for hele virksomheten - BK2016
ArcGIS  en plattform for hele virksomheten - BK2016ArcGIS  en plattform for hele virksomheten - BK2016
ArcGIS en plattform for hele virksomheten - BK2016
 
Geografiske analyser i ArcGIS - BK 2016
Geografiske analyser i ArcGIS - BK 2016Geografiske analyser i ArcGIS - BK 2016
Geografiske analyser i ArcGIS - BK 2016
 
Skredregistrering.no og norsk skreddatabase - BK2016
Skredregistrering.no og norsk skreddatabase - BK2016Skredregistrering.no og norsk skreddatabase - BK2016
Skredregistrering.no og norsk skreddatabase - BK2016
 
Laserskanning av skog fra drone gir nye muligheter - BK2016
Laserskanning av skog fra drone gir nye muligheter - BK2016Laserskanning av skog fra drone gir nye muligheter - BK2016
Laserskanning av skog fra drone gir nye muligheter - BK2016
 
Effektivisering av kartproduksjon - BK2016
Effektivisering av kartproduksjon - BK2016Effektivisering av kartproduksjon - BK2016
Effektivisering av kartproduksjon - BK2016
 

Administrasjon av Geodatabasen - Esri norsk BK 2014

  • 1. Administrasjon av Geodatabasen (SQL, Oracle og PostgreSQL) Morten Grimnes og Thor Morten Kopaas
  • 2. ARCGIS ARKITEKTUREN Klienter/konsumenter Web tjenester, GP tjenester og lagring av data Vi ser nærmere på databasen
  • 3. ARCGIS DATABASEN - GEODATABASEN • Data kan lagres i flere formater, alt fra filer til store databasesystemer – Access databaser, personlig geodatabase – Filgeodatabase – RDBMS database (Oracle, SQL Server, PostgreSQL + + ) • Personlig- og filgeodatabase gir alle brukere rett til «alt» • RDBMS database gir muligheter for brukerkontroll
  • 4. BRUKERTYPER I RDBMS • RDBMS administrator – Rettigheter til å opprette alle typer objekter innen en RDBMS installasjon. Dette er «DBA». • Geodatabase administrator – Rettigheter til å administrere alle metadata og brukerdata som ligger inne i en geodatabase. Normalt bruker SDE. • Geodatabase eier – Rettigheter til å jobbe med skjemaet i geodatabasen, utseendet. – Gi rettigheter til utvalgte data - ikke områder men «typer» av data. • Redigeringsbruker – Rettigheter til å endre innholdet i geodatabasen, men ikke «utseendet» • Innsysnbruker – Rettigheter til å se innholdet i geodatabasen.
  • 5. TILKOBLING TIL GEODATABASEN Direct Connect – anbefalt og fremtidig tilkoblingsmetode RDBMS server ArcSDE biblioteker RDBMS klient Application Server – tidligere metode. Støtte etter 10.2 faller bort ArcSDE biblioteker giomgr gsrvr RDBMS server
  • 6. TILKOBLING TIL GEODATABASEN DATABASEKLIENT • Må installeres separat. Kan lastes ned fra flere plasser – Databaseleverandøren (Oracle, Microsoft, PostgreSQL.org) – ESRI, https://customers.esri.com (ikke nødvendigvis «siste» versjon)
  • 7. TILKOBLING TIL (GEO)DATABASEN • Ny tilnærming til kobling mot databaser fra 10.1 – Kan koble til «vanlige» databaser og Geodatabaser fra samme dialogvindu. – Direct Connect er standard tilkoblingsmetode 10.0 10.1
  • 8. ROMLIGE DATATYPER • Datatype hvor geometrien er en fysisk del av raden i en tabell • Kan bare være én kolonne pr. tabell som inneholder en romlig datatype (ArcGIS regel, ikke RDBMS) • Oracle: – ST_GEOMETRY (ESRI romlig type) – SDO_GEOMETRY (Oracle Spatial eller Locator) • PostgreSQL: – ST_GEOMETRY (ESRI romlig type) – POSTGIS (frittstående tillegg fra postgis.org) • SQL Server: – GEOMETRY (Geografiske koordinater, har fått Z- og M-verdier fra SQL Server 2012) – GEOGRAPHY (lik ESRI ST_GEOMETRY i Oracle og PostgreSQL)
  • 9. VERSJONERING Brukere Enterprise Geodatabase-objekter GDB Business-tabeller Delta-tabeller Adds (A#) Vil alltid inneholde minst én versjon: SDE.DEFAULT . . . . . . Deletes (D#) Hver rad i disse tabellene inneholder en state. En state = en endring.
  • 10. VERSJONERING • Tre hovedalternativer mulig • Uversjonert – Redigering basert på korte transaksjoner (RDBMS transaksjoner) – Vil ikke «skjerme» redigeringer for andre – Eksterne systemer kan se alle data • Versjonert – Redigering basert på lange transaksjoner – Full isolering av redigeringer i egne versjoner – Eksterne systemer har problemer med å se alle data • Noe midt i mellom? Versjonert med «move edits to base» – – – – Redigeringer i egne versjoner basert på lange transaksjoner Redigeringer i SDE.DEFAULT basert på korte transaksjoner Alt knyttet til versjon SDE.DEFAULT liggende i businesstabellen Fungerer bare for enkle geometrier
  • 11. REPLIKERING • En måte å synkronisere innholdet i to eller flere databaser – Krever full versjoneringsmodell (ikke «move edits to base»)
  • 12. ARKIVERING • Metode for å holde oversikt over endringer utført i databasen over tid • Tar utgangspunkt i alle endringer som gjøres i versjonen SDE.DEFAULT • Tidspunkt som registreres er tidspunkt endringen skjer i SDE.DEFAULT • Fra 10.1 også mulig å ha på uversjonerte data Versjon: SDE.DEFAULT Arkiv (historikk) 1/1 1/2 1/2 1/3 1/3
  • 13. EDITOR TRACKING • Holder styr på hvem som endrer et objekt – en type «autoupdater» • Ved bruk av fil- og personlige-, samt ArcSDE geodatabaser hvor innlogging er «OS autentisert» er navn lik OS-brukernavn • Ved bruk av ArcSDE geodatabaser hvor innlogging er et brukernavn i databasen, er navn lik brukernavn i databasen • Endringstidspunkt er tidspunktet endringen skjer i databasen Versjon: Hvilken som helst… Ole 1/1 Jan 1/2 Eva 1/3
  • 14. HVA MENER VI MED GEODATABASEADMINISTRASJON? • Hvilke oppgaver inngår? – – – – – – Backup? Tuning? Vedlikeholde geodatabaseskjema Brukere? Rettigheter ++ • Hvem er involvert – Bare GDB ansvarlig? DBA’er i tillegg? • Omfang – Kan ikke «bare installere» og så ikke gjøre noe mer. – Gjelder spesielt når det gjøres forvaltning av data i databasen.
  • 15. NOEN «NOTATER» OM BACKUP • Trenger ingen spesielle typer backup for en geodatabase • Standard databaseverktøy fungerer fint • I tillegg til Geodatabaseeieren, må vi også ha med SDE skjemaet – Kopi av geodatabaseskjemaet er ubrukelig uten SDE skjemaet • SQL Server og PostgreSQL databasebackup tar med «alt» • I Oracle må vi huske på også å ta med SDE skjemaet sammen med geodatabaseskjemaet ved bruk av exp[dp]/imp[dp]
  • 16. ytelse og skalerbarhet Er ytelsesproblemet i databasen? Clients (Desktop, Browser, Devices) Web Server Network Applications Application Server(s) (ArcGIS) Network Network Devices Hardware Disk I/O Geodatabase Database
  • 17. Analyze og rebuild indexes • Analyze (Bygger databasestatistikk på tabeller og indekser slik at RDBMS velger beste eksekveringsplan) arcpy.AnalyzeDatasets_management • Rebuild indexes («Utdaterte» indekser kan føre til dårligere ytelse) arcpy.RebuildIndexes_management
  • 18. compress • Compress («Rydder» opp i deltatabellene til feature/objektklassene.) arcpy.Compress_management
  • 19. compress • Dialogen «Geodatabase Administration» gir en oversikt over versjoner i geodatabasen. • Anbefales at ingen brukere er pålogget under kjøring av compress -> kast ut brukere
  • 20. compress Business-tabeller Delta-tabeller Adds (A#) . . . Deletes (D#) • Flytter så mange rader som mulig fra delta-tabellene tilbake til business-tabellene. • Mange rader i delta-tabellene påvirker ytelsen negativt. • Kan bare flytte rader med stater som er felles for alle versjoner.
  • 21. Reconcile / post • Reconcile (Henter endringer i «foreldre»-versjon over i «barn»-versjon) • Post (Dytter endringer i «barn»-versjon over i «foreldre»-versjonen) arcpy.ReconcileVersions_management
  • 22. Blokkerende versjoner • Medfører at vi får en mindre optimal compress av databasen. • Versjoner som blokkerer for at en compress kan flytte alle rader i delta-tabellene for SDE.DEFAULT til business-tabellene • Slike versjoner må spores opp og enten • Samkjøres • Slettes
  • 23. Monitorer system ressurser • CPU • Snitt på under 70% • Disk • Holdes under 80% • Memory • Snitt på under 80% Tools: Task Manager, resource monitor, perfmon, osv (windows) top, glance, iostat, osv (unix/linux)
  • 24. ytelse og skalerbarhet (Oppsummering) 1. Samkjør regelmessig • Arcpy.ReconcileVersions.management 2. Komprimer regelmessig • Arcpy.compress_management 3. Rebuild indekser regelmessig • arcpy.RebuildIndexes_management 4. Oppdater statistikk regelmessig • Arcpy.AnalyzeDataset_management • Monitorer system ressurser regelmessig
  • 25. Feilsøking • Sdedc_<RDBMS>.log (C:Users<USERNAME>AppDataLocalTemp) • Direct-connect loggfil • Nyttig hvis klienten ikke gir en “fornuftig” feilmelding • SDEVERBOSE • SQL-trace • Veldig nyttig hvis ArcGIS-logger ikke er nok • Vi kunne se alle SQL’er som er generert av ArcGIS og eventuelle feilmeldinger • sde_setup.log (C:Users<USERNAME>AppDataLocalTemp) • Logger ved kjøring av “Create Enterprise Geodatabase” • GDBUpgrade.log (C:Users<USERNAME>AppDataLocalEsriDesktop10.2) • Logger ved oppgradering av en geodatabase.
  • 26. Testverktøy System Monitor (http://www.arcgis.com/home/item.html?id=848f48b0f88e4de7a036377197453efe) • Et gratis verktøy for å monitorere og analysere et enterprise GIS system (Windows, linux, ArcGIS for server, http, database) • Ytelse • Last • Hardware • Hvor er flaskehalsen • Oppetid • +++
  • 27. Testverktøy System Test (http://www.arcgis.com/home/item.html?id=e8bac3559fd64352b799b6adf5721d81) • Et gratis verktøy for å gjennomføre funksjonalitet- og lasttester i et enterprise GIS system (Gis Services) • Automatisk generert test • Spill av sesjon med Fiddler2/Firebug • Simuler x-antall brukere • Resultat fra test er en veldig nyttig rapport
  • 28. Testverktøy PerfQA Analyzer (http://blogs.esri.com/esri/supportcenter/2012/04/03/new-arcgis-performance-calibration-tool/) • Et gratis verktøy for å tune mxd-dokumenter og database • Opptegning • Simuler redigeringsesjoner • Fetch Data times • Start/stop SQL-trace
  • 29. Testverktøy mxdperfstat (http://www.arcgis.com/home/item.html?id=a269d03aa1c840638680e2902dadecac) • Et kommandolinje-verktøy for å analysere ytelse på mxd-dokumenter mxdperfstat -mxd <DocumentName.mxd> [-scale scale1;scale2;...] [-xy <x;y>] [-width <screen width> -height <screen height>] [-dbms -host -instance -database -service -port -user -password]