Prezentacja powstała na potrzeby prezentacji JUG Bielsko-Biała. Na początku zaczynamy od postawienia sobie pytania dlaczego liquibase jest nam potrzebny i z jakimi problemami spotykamy się na co dzień podczas zarządzania schematem relacyjnej bazy danych. W kolejnej części prezentacji odpowiadamy sobie na zadane pytania zgłębiając wiedzę o liquibase Do prezentacji dołączony jest demo: https://github.com/mlubanski/questionnarie-server

1. Liquibase w praktyce
Mateusz Lubański
JUG Bielsko-Biała
1 września 2016
Mateusz Lubański Liquibase w praktyce 1 września 2016 1 / 30

2. O mnie
Java Developer 5+
Technologie backendowe
Obecnie pracuje w Omnetric
Fan Agile i Scrum
Hobby: narty/kajaki/trekking//salsa
http://linkedin.com/in/mateuszlubanski
Mateusz Lubański Liquibase w praktyce 1 września 2016 2 / 30

3. Podstawowe problemy w zarządzaniu bazą
śledzenie zmian
dane słownikowe
dane testowe
automatyzacja
wersjonowanie
niezależny od środowiska
łatwy
Mateusz Lubański Liquibase w praktyce 1 września 2016 3 / 30

4. Istniejące rozwiązania
Liquibase
złożony
xml, yaml, json, sql
<databaseChangeLog>
<changeSet id=”1” author=”mlubanski”>
<sqlFile path=”V1.sql” />
</changeSet>
<changeSet id=”2” author=”mlubanski”>
<sqlFile path=”V2.sql” />
</changeSet>
<databaseChangeLog>
Flyway
prosty
sql
V1.sql
V2.sql
V3.sql
Mateusz Lubański Liquibase w praktyce 1 września 2016 4 / 30

5. Integracja
Command Line
Maven
Spring-Boot
Mateusz Lubański Liquibase w praktyce 1 września 2016 5 / 30

6. Command Line Integration
full command
java −jar ./liquibase−core−3.5.1.jar
−−driver=org.postgresql.Driver
−−classpath=./postgresql−9.2−1002−jdbc4.jar
−−changeLogFile=src/main/resources/db/changelog/db.changelog−master.xml
−−url=”jdbc:postgresql://localhost:5432/sampledb”
−−username=sample
−−password=topsecret
update
using liquibase.properties
driver: org.postgresql.Driver
classpath: ./postgresql−9.2−1002−jdbc4.jar
url: jdbc:postgresql://localhost:5432/sampledb
username: sample
password: topsecret
java −jar ./liquibase−core−3.5.1.jar
−−changeLogFile=src/main/resources/db/changelog/db.changelog−master.xml
update
Mateusz Lubański Liquibase w praktyce 1 września 2016 6 / 30

7. Maven Integration
dependency
<dependency>
<groupId>org.liquibase</groupId>
<artifactId>liquibase−core</artifactId>
<version>3.5.1</version>
</dependency>
plugin
<plugin>
<groupId>org.liquibase</groupId>
<artifactId>liquibase−maven−plugin</artifactId>
<version>3.5.1</version>
<configuration>
<propertyFile>src/main/resources/liquibase/liquibase.properties</propertyFile>
<changeLogFile>src/main/resources/db/changelog/db.changelog−master.xml</changeLogFile>
</configuration>
<executions>
<execution>
<goals>
<goal>update</goal>
</goals>
</execution>
</executions>
</plugin>
command
mvn liquibase:update
Mateusz Lubański Liquibase w praktyce 1 września 2016 7 / 30

8. Spring-Boot Integration
dependency
<dependency>
<groupId>org.liquibase</groupId>
<artifactId>liquibase−core</artifactId>
</dependency>
plugin
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring−boot−maven−plugin</artifactId>
</plugin>
application.properties
liquibase.enabled=true
liquibase.change−log=classpath:/db/changelog/db.changelog−master.xml
spring.datasource.url=jdbc:postgresql://localhost:5432/sampledb
spring.datasource.username=sample
spring.datasource.password=secret
command
mvn spring−boot:run
Mateusz Lubański Liquibase w praktyce 1 września 2016 8 / 30

9. Struktura xml
databaseChangeLog
preConditions
property
changeSet
include
changeSet
comment
preConditions
Any Refactoring Tag(s)
rollback
Mateusz Lubański Liquibase w praktyce 1 września 2016 9 / 30

10. Pierwszy changeSet
sql
<changeSet id=”1” author=”mlubanski”>
<sqlFile relativeToChangelogFile=”true” path=”sql/create person.sql”/>
</changeSet>
CREATE TABLE person
(
id serial NOT NULL,
name character varying(100) NOT NULL,
date date DEFAULT now(),
CONSTRAINT pk person PRIMARY KEY (id),
CONSTRAINT person name key UNIQUE (name)
);
xml
<changeSet id=”2” author=”mlubanski”>
<createTable tableName=”USER”>
<column name=”ID” type=”int” autoIncrement=”true” >
<constraints primaryKey=”true” nullable=”false” />
</column>
<column name=”NAME” type=”varchar(100)” >
<constraints nullable=”false” unique=”true”/>
</column>
<column name=”DATE” type=”date” defaultValueComputed=”now()”>
<constraints nullable=”false” />
</column>
</createTable>
</changeSet>
Mateusz Lubański Liquibase w praktyce 1 września 2016 10 / 30

11. Skąd Liquibase wie który skrypt został już wykonany?
id musi być unikalne dla changeLog’a i użytkownika
Liquibase generuje i zapisuje md5sum dla każdego wykonanego
changeSet’a
Główna idea liquibase’a to ciągła liniowa sekwencja zmian na bazie
danych. Podobnie jak przy Versioning Control System nie
modyfikujemy starych commit’ów tak przy liquibas’e nie
modyfikujemy starych changeSet’ów ponieważ możemy zerwać
spójność bazy danych.
Mateusz Lubański Liquibase w praktyce 1 września 2016 11 / 30

12. Skąd Liquibase wie który skrypt został już wykonany?
DATABASECHANGELOGLOCK (liquibase releaseLocks)
LOCKED
LOCKGRANTED
LOCKEDBY
DATABASECHANGELOG
ID
AUTHOR
FILENAME
DATEEXECUTED
EXECTYPE [EXECUTED, FAILED, SKIPPED, RERAN, MARKRAN]
MD5SUM
DESCRIPTION
Mateusz Lubański Liquibase w praktyce 1 września 2016 12 / 30

13. Wspierane Refactorings
create: table, view, procedure, sequence, index
add: column, foreign key, not null, unique, default value, primary key,
autoincrement
drop: ...
rename: column, table, view,
others: insert, load data, sql, sqlFile, modify data type, update
Mateusz Lubański Liquibase w praktyce 1 września 2016 13 / 30

14. Wspierane bazy danych
MySQL
PostgreSQL
Oracle
Sql Server
Sybase
DB2
Apache Derby
HSQL
H2
Informmix
Firebird
SQLite
Mateusz Lubański Liquibase w praktyce 1 września 2016 14 / 30

15. Wykonywanie tego samego changeSet wielokrotnie
<databaseChangeLog>
<changeSet id=”3” author=”mlubanski” runOnChange=”true”>
<sqlFile path=”deactivate user procedure.sql” splitStatements=”false” />
<rollback>DROP PROCEDURE DEACTIVATE USER;</rollback>
</changeSet>
<changeSet id=”4” author=”mlubanski” runAlways=”true” >
<sqlFile path=”clean deactivated users.sql” splitStatements=”false” />
</changeSet>
<databaseChangeLog>
Mateusz Lubański Liquibase w praktyce 1 września 2016 15 / 30

16. Wprowadzanie danych
changelog.xml
<changeSet author=”mlubanski” id=”5” runOnChange=”true”>
<loadData tableName=”COUNTRY” file=”data/countries.csv” >
<column name=”name” type=”STRING” />
<column name=”sequence” type=”NUMERIC” />
</loadData>
<rollback>
DELETE FROM COUNTRY;
</rollback>
</changeSet>
countries.csv
name,sequence
Polska,1
Austria,2
Niemcy,3
Anglia,4
Mateusz Lubański Liquibase w praktyce 1 września 2016 16 / 30

17. Context
changelog.xml
<changeSet author=”mlubanski” id=”5” runOnChange=”true” context=”dev”>
...
</changeSet>
Spring-Boot application.properties
liquibase.contexts=dev
Maven plugin
<plugin>
<groupId>org.liquibase</groupId>
<artifactId>liquibase−maven−plugin</artifactId>
<configuration>
<contexts>dev</contexts>
...
</configuration>
</plugin>
Command Line
java −jar ./liquibase−core−3.5.1.jar
−−changeLogFile=src/main/resources/db/changelog/db.changelog−master.xml
−−contexts=dev
update
Mateusz Lubański Liquibase w praktyce 1 września 2016 17 / 30

18. Preconditions
Warunki zadeklarowane na poziomie changeLog mają globalny zakres do
wszystkich changeSet’ów
<preConditions>
<or>
<dbms type=”h2” />
<dbms type=”mysql” />
</or>
</preConditions>
<changeSet id=”6” author=”mlubanski”>
<preConditions onFail=”WARN”>
<sqlCheck expectedResult=”0”>select count(∗) from oldtable</sqlCheck>
</preConditions>
<dropTable tableName=”oldtable”/>
</changeSet>
onFail: HALT, CONTINUE, MARK RAN, WARN
<changeSet id=”7” author=”mlubanski” dbms=”postgresql”>
<sqlFile path=”insert.sql” />
</changeSet>
Mateusz Lubański Liquibase w praktyce 1 września 2016 18 / 30

19. Preconditions
Dostępne warunki:
dbms
changeSetExecuted
columnExists, tableExists, viewExists, foreignKeyConstraintExists,
sequenceExists, primaryKeyExists
sqlCheck
changeLogPropertyDefined
customPrecondition
Mateusz Lubański Liquibase w praktyce 1 września 2016 19 / 30

20. Property and Include
Property:
<property name=”key.type” value=”NUMERIC(10,0)” />
<property name=”name.type” value=”VARCHAR(255)”/>
<property name=”text.type” value=”VARCHAR(2000)” />
<property name=”now” value=”SYSDATE ” dbms=”oracle” />
<property name=”now” value=”NOW()” dbms=”postgresql” />
<changeSet id=”8” author=”mlubanski”>
<createTable tableName=”MESSAGE”>
<column name=”ID” type=”${key.type}” autoIncrement=”true”>
<constraints primaryKey=”true” nullable=”false” />
</column>
<column name=”TITLE” type=”${name.type}”>
<constraints nullable=”false” />
</column>
<column name=”CONTENT” type=”${text.type}” />
<column name=”DATE” type=”date” defaultValueComputed=”${now}”>
<constraints nullable=”false” />
</column>
</createTable>
</changeSet>
Include:
<include file=”R1/db.changelog−master.xml” relativeToChangelogFile=”true” />
<include file=”dev/sample−data.changelog.xml” relativeToChangelogFile=”true” context=”dev” />
Mateusz Lubański Liquibase w praktyce 1 września 2016 20 / 30

21. Przykładowa struktura
db
changelog
db.changelog.dev.xml
db.changelog.production.xml
R1
data
dictionary.csv
db.changelog.2016-08.20.xml
db.changelog.2016-08.21.xml
db.changelog.master.xml
R2
data
dictionary.csv
db.changelog.2016-08.20.xml
db.changelog.2016-08.21.xml
db.changelog.master.xml
Mateusz Lubański Liquibase w praktyce 1 września 2016 21 / 30

22. Przykładowa struktura
dbchangelogdb.changelog.dev.xml
<property name=”key.type” value=”NUMERIC(10,0)” />
<property name=”name.type” value=”VARCHAR(255)”/>
...
<include file=”R1/db.changelog.master.xml” relativeToChangelogFile=”true” />
<include file=”R2/db.changelog.master.xml” relativeToChangelogFile=”true” />
dbchangelogR1db.changelog.master.xml
<include file=”db.changelog.2016−08.20.xml” relativeToChangelogFile=”true” />
<include file=”db.changelog.2016−08.20.xml” relativeToChangelogFile=”true” />
Mateusz Lubański Liquibase w praktyce 1 września 2016 22 / 30

23. Jak wdrożyć liquibase do istniejącego projektu
1 Generujemy changeLog’a (komenda ta nie eksportuje: Stored
procedures, functions, packages, Triggers)
java −jar ./liquibase−core−3.5.1.jar
db.changelog.xml
generateChangeLog
2 Odpalamy changelogSync który wypełnia nam tabelę
DATABASECHANGELOG wpisami z changeSet’ów bez wykonywania
ich na bazie
java −jar ./liquibase−core−3.5.1.jar
db.changelog.xml
changeLogSync
Mateusz Lubański Liquibase w praktyce 1 września 2016 23 / 30

24. Przydatne triki
Co gdy admin na powie, że on musi mieć SQL’a? :)
java −jar ./liquibase−core−3.5.1.jar
src/main/resources/db/changelog/db.changelog−master.xml
updateSQL > /tmp/script.sql
Czy na pewno baza A jest taka sama jak baza B?
java −jar ./liquibase−core−3.5.1.jar
diffChangeLog
−−referenceUrl=”jdbc:postgresql://localhost:5432/B”
−−referenceUsername=sample
−−referencePassword=topsecret
> diff.database.changelog.xml
Diff Nie wspiera: Non-foreign key constraints (check, etc), Stored
Procedures, Data type length
Mateusz Lubański Liquibase w praktyce 1 września 2016 24 / 30

25. Warto wspomnieć?
dbDoc
Current Tables
Authors
Change Logs
Pending Changes
Pending SQL
Most Recent Changes
Rollback
Liczba
Data
Tag
Mateusz Lubański Liquibase w praktyce 1 września 2016 25 / 30

26. Podsumowanie
śledzenie zmian - spersonalizowane changeSet’y zapisywane w bazie
wraz z dbDoc
dane słownikowe - loadData + .csv
dane testowe - contexts
automatyzacja - libuibase:update
wersjonowanie - include + odpowiednia struktura
niezależny od środowiska - xml
łatwy - umiarkowanie łatwy z wielkimi możliwościami
Mateusz Lubański Liquibase w praktyce 1 września 2016 26 / 30

27. Demo Time :)
Mateusz Lubański Liquibase w praktyce 1 września 2016 27 / 30

28. Pytania?
Mateusz Lubański Liquibase w praktyce 1 września 2016 28 / 30

29. Dziękuję za uwagę :)
Mateusz Lubański Liquibase w praktyce 1 września 2016 29 / 30

30. Przydatne linki
http://www.liquibase.org/documentation/index.html
http://www.liquibase.org/documentation/changes/
http://projects.spring.io/spring-boot/
http://docs.spring.io/spring-boot/docs/current/reference/html/
common-application-properties.html
http://www.slideshare.net/MateuszLubaski/liquibase-w-praktyce
https://github.com/mlubanski/questionnarie-server
Mateusz Lubański Liquibase w praktyce 1 września 2016 30 / 30