Làm rồi, gặp vấn đề thì chia sẻ. Muốn học chi tiết hãy thực tập dự án ở Techmaster sẽ rõ

1. Postgresql thực tế
Vấn đề thực tế trường không dạy
cuong@techmaster.vn
http://techmaster.vn

2. Cài đặt

3. Mac OS
https://postgresapp.com/

4. docker run --name db -p 5432:5432 -e
POSTGRES_PASSWORD=abc -d postgres:9.6.1-alpine
Tốt nhất là chạy docker bộ cài chuẩn Postgresql Alpine Linux
1. Cài docker
2. Trên terminal, gõ lệnh dưới đây

5. Kết nối

6. Command line tool
psql -h payroll -U postgres -d payroll –W
pgcli -h payroll -U postgres -W -d dvdrental
# brew install pgcli

7. Học chi tiết
• http://www.postgresqltutorial.com/
• Trouble Shooting Postgresql của Hans-Jurgen
Schonig
• SQL Antipatterns: Avoiding the Pitfalls of
Database Programming của Bill Karwin
• Postgresql official document

8. Quy ước đặt tên bảng, cột

9. • Luôn dùng chữ thường, số ít
• Tránh tên bảng trùng keyword
order, user
Chú ý không dẫm phải cứt
https://www.postgresql.org/docs/current/static/sql-keywords-appendix.html

10. Từ thay thế
order purchase, buy
user person
default defaults
except exception

11. Code gọn hơn

12. TABLE film;
SELECT * FROM film;
Ngắn hơn
TABLE film LIMIT 10;

13. CREATE TABLE demo.item
(
id bigint default util.id_generator(),
title text,
CONSTRAINT item_pkey PRIMARY KEY (id)
);
CREATE TABLE demo.item
(
id bigint default util.id_generator() PRIMARY KEY,
title text,
);
Ngắn hơn !

14. CREATE TABLE item_variant
(
id bigint default util.id_generator() PRIMARY KEY,
item_id bigint NOT NULL REFERENCES item(id),
)
CREATE TABLE item_variant
(
id bigint default util.id_generator() PRIMARY KEY,
item_id bigint NOT NULL,
FOREIGN KEY (item_id) REFERENCES item(id)
)
Ngắn hơn

15. Thay vì chỉ dùng duy nhất 1 schema public
• Hãy phân tách schema nhóm các bảng lại.
• Trong tương lai nếu tách ra các microservice thì
schema dùng để tách bảng
CREATE SCHEMA 'user’;
SET SCHEMA 'user';

17. Liên kết bảng căn bản

18. Mẫu đã biết học ở trường
• 1 : nhiều
• 1 : 1
• nhiều : nhiều
• đa cấp - recursive
• compose vs reference

19. Mèo chết, chân có tự tồn tại được không?

21. ERD Annotation chú thích quan hệ giữa các bảng

22. Một môn học có nhiều học viên theo học
Một học viên có thể học vài môn học

25. Một nhân viên báo cáo nhiều sếp

26. Self reference Many : many

27. Liên kết bảng nâng cao

28. • Kế thừa 1 bảng – single table inheritance
• Kế thừa nhiều bảng – multiple table inheritance
------------------------------------------------
• Liên kết đa hình - polymorphism association
• Product item variant
• EAV

29. Single Table Inheritance
dư thừa dữ liệu, liên tục
mở rộng cột

30. Chỉ có 1 số loại CSDL hỗ trợ Table Inheritance
Nếu không hỗ trợ sử dụng quan hệ 1:1 thay thế

31. CREATE TABLE animal (
id serial,
name text
);
CREATE TABLE cow (
is_meat_cow BOOLEAN,
is_milk_cow BOOLEAN
) INHERITS animal;

32. MySQL dùng quan hệ 1:1 thay thế cho inheritance

33. Thiết kế bảng web site thương mại
điện tử

34. • Data chi phối Meta Data
– Một đơn hàng có nhiều phương pháp thanh toán
• Dữ liệu khó chuẩn hóa
– Chủng loại mặt hàng lớn. Mỗi mặt hàng có nhiều
thuộc tính khác nhau
• Temporal data
– Thuộc tính của bản ghi, tập bản ghi thay đổi theo thời
gian

35. Thanh toán đơn hàng
thanh toán bằng 1 trong 4
cách.
Polymorphism
Association

36. Không dùng foreign key vì
foreign chỉ chiếu đến 1!
bảng

37. Đầu vào là id làm sao chọn đúng bảng truy vấn?
Có id sẽ suy ra được type, có type suy ra được bảng?
Dạng cột trả về sẽ tùy thuộc payment.type
Kế thừa

38. Giải pháp
”Data decides metadata” ~ dữ liệu chi phối
cấu trúc dữ liệu
• Khó có thể chỉ viết 1 câu lệnh SQL
• Viết logic chọn bảng ở PHP, Node.js, Python…
• Viết function trực tiếp trong Postgresql

39. Giao diện hiển thị cũng sẽ phải động theo
từng kiểu thanh toán
React, Vue.js !

40. Một sản phẩm có nhiều biến thể
Coi là 2 sản phẩm có
mã khác nhau

41. Một mặt hàng có lựa chọn
màu sắc và kích cỡ
Giá tùy biến theo lựa chọn

42. Tách biệt mã hàng
• Tiện cho lập trình, quản lý
• Mất công gõ lại mô tả sản
phẩm
• Khó cho khách hàng so
sánh, tùy chỉnh
Một mã hàng nhiều lựa chọn
• Phức tạp khi lập trình, quản lý
• Tái sử dụng thông tin chung
• Dễ cho khách hàng so sánh,
tùy chỉnh

43. item.title = "Polo shirt" -> options = {"size": "M", "color": "red"}
item.title = "iPhone 7” -> options = {"mem": "32G", "color": "rose"}
Một sản phẩm thực sự cần 2 key: item.id và variant.id để xác định

44. Dữ liệu khó chuẩn hóa
Chủng loại mặt hàng lớn. Mỗi mặt hàng có nhiều thuộc
tính khác nhau ~ Single Table Inheritance
Cột sẽ mở rộng không ngừng, Null xuất hiện rất nhiều

45. Tách 2 bảng
Entity Attributes - Values

46. Tách thành 3 bảng
Phức tạp, kiểu lỏng lẻo. Mô hình này Magento đang dùng

47. EAV – Entity – Attribute - Value
• Đảm bảo không dư thừa dữ liệu
• Không gia tăng cột
• Phức tạp, join bảng lằng nhằng
• Kiểu dữ liệu lỏng lẻo

48. Lu
Thuộc tính chuyên biệt được lưu trong JSONB. Mềm
dẻo chấp tất !
Index được, truy vấn được, chậm hơn kiểu căn bản

49. Làm sao để kiểm tra cấu trúc dữ liệu khi lưu JSON
JSON có JSON Schema http://json-schema.org/

50. Dữ liệu thay đổi theo thời gian
temporal data

51. Dữ liệu
thay đổi theo
thời gian
Bản ghi chỉ lưu
trạng thái
cuối cùng
Temporal Data CRUD

52. • Tỷ giá đổi tiền thay đổi từng giờ
• Chỉ số chứng khoán thay đổi từng phút
• Giá mặt hàng
• Số lượng học viên đi học thay đổi từng buổi

53. Lưu log thay đổi vào 1 trường JSON trong chính bảng đó
Lưu log thay đổi vào 1 bảng riêng

54. Event Sourcing
Lưu tất cả các sự kiện lên đối tượng và play back
lại
https://ookami86.github.io/event-sourcing-in-practice/
https://msdn.microsoft.com/en-us/library/dn589792.aspx
Đang thử nghiệm chưa dám phán, đối với 1 đơn
hàng, thay đổi < 20 sự kiện, thời gian playback lại
sẽ nhanh

55. Các câu hỏi đặt ra với Event Sourcing
• Event Source khác hẳn với CRUD, các constrain ràng buộc PK-FK còn áp dụng
được hay không
• Khi một đối tượng ràng buộc quan hệ với nhiều đối tượng hay tập khác (1:1,
1:nhiều, nhiều nhiều), việc lưu event tác động lên đối tượng đó sẽ dẫn theo
một loạt event lên nhiều đối tượng khác => xử lý transaction thế nào, thứ tự
trước sau….
• Pattern Event Sourcing có vẻ hay nhưng không dễ áp dụng !

56. Tối ưu tốc độ

57. Sinh dữ liệu giả
• https://www.mockaroo.com

58. EXPLAIN (ANALYZE, FORMAT JSON) SELECT * FROM
demo.t_test WHERE id = 124123;
+--------------+
| QUERY PLAN |
|--------------|
| [
{
"Plan": {
"Node Type": "Seq Scan",
"Relation Name": "t_test",
"Alias": "t_test",
"Startup Cost": 0.00,
"Total Cost": 16925.00,
"Plan Rows": 1,
"Plan Width": 4,
"Actual Startup Time": 7.123,
"Actual Total Time": 55.906,
"Actual Rows": 1,
"Actual Loops": 1,
"Filter": "(id = 124123)",
"Rows Removed by Filter": 999999
},
"Planning Time": 0.030,
"Triggers": [
],
"Execution Time": 55.939
}
] |
+--------------+
http://tatiyants.com/pev

60. SELECT a.first_name || ' ' || a.last_name AS fullname,
f.title FROM actor AS a
JOIN film_actor AS fa ON fa.actor_id = a.actor_id
JOIN film AS f ON f.film_id = fa.film_id
ORDER BY fullname;

62. CREATE INDEX idx_title ON public.film
USING btree
(title COLLATE pg_catalog."default”
varchar_pattern_ops)
Tốc độ 8 lần
SELECT title FROM film WHERE title LIKE 'Bea%';

63. Không có index trường email
EXPLAIN (ANALYZE, FORMAT JSON) SELECT * FROM person
WHERE lower(email) = 'adunn6@zdnet.com';
Sequential Scan, Execution time: 2.91
Duyệt tuần tự, lower case từng email, so sánh

64. Index lower(email)
Execution time 0.051, nhanh hơn 57 lần
CREATE INDEX lower_email_idx ON person
(lower(email));

65. Sử dụng EXTENSION

66. SELECT * FROM pg_available_extensions;
+--------------------+----------------------------------------------------------------------+
| name | comment |
|--------------------+----------------------------------------------------------------------|
| file_fdw | foreign-data wrapper for flat file access |
| dict_xsyn | text search dictionary template for extended synonym processing |
| refint | functions for implementing referential integrity (obsolete) |
| postgres_fdw | foreign-data wrapper for remote PostgreSQL servers |
| pgrowlocks | show row-level locking information |
| btree_gin | support for indexing common datatypes in GIN |
| tsm_system_time | TABLESAMPLE method which accepts time in milliseconds as a limit |
| intagg | integer aggregator and enumerator (obsolete) |
| pg_prewarm | prewarm relation data |
| pg_trgm | text similarity measurement and index searching based on trigrams |
| pg_stat_statements | track execution statistics of all SQL statements executed |
| moddatetime | functions for tracking last modification time |
| fuzzystrmatch | determine similarities and distance between strings |
| seg | data type for representing line segments or floating-point intervals |
| pg_buffercache | examine the shared buffer cache |
| dict_int | text search dictionary template for integers |
| pageinspect | inspect the contents of database pages at a low level |
| timetravel | functions for implementing time travel |
| tablefunc | functions that manipulate whole tables, including crosstab |
| ltree | data type for hierarchical tree-like structures |

67. +--------------------+----------------------------------------------------------------------+
| name | comment |
|--------------------+----------------------------------------------------------------------|
| pgstattuple | show tuple-level statistics |
| hstore | data type for storing sets of (key, value) pairs |
| cube | data type for multidimensional cubes |
| btree_gist | support for indexing common datatypes in GiST |
| pgcrypto | cryptographic functions |
| earthdistance | calculate great-circle distances on the surface of the Earth |
| dblink | connect to other PostgreSQL databases from within a database |
| plpgsql | PL/pgSQL procedural language |
| isn | data types for international product numbering standards |
| insert_username | functions for tracking who changed a table |
| tcn | Triggered change notifications |
| intarray | functions, operators, and index support for 1-D arrays of integers |
| sslinfo | information about SSL certificates |
| tsm_system_rows | TABLESAMPLE method which accepts number of rows as a limit |
| pg_freespacemap | examine the free space map (FSM) |
| lo | Large Object maintenance |
| chkpass | data type for auto-encrypted passwords |
| autoinc | functions for autoincrementing fields |
| citext | data type for case-insensitive character strings |
| adminpack | administrative functions for PostgreSQL |
| unaccent | text search dictionary that removes accents |
| tsearch2 | compatibility package for pre-8.3 text search functions |
+--------------------+----------------------------------------------------------------------+
SELECT * FROM pg_available_extensions;

68. CREATE EXTENSION pg_trgm;
Distance between
two words
SELECT 'hanoi' <-> 'Ha Noi'; 0.555556
SELECT 'hanoi' <-> 'Ha loi'; 0.7
SELECT 'hanoi' <-> 'Hanoi'; 0.0
SELECT 'hanoi' <-> 'hà nội'; 0.916667

69. CREATE EXTENSION ltree;
https://www.postgresql.org/docs/9.6/static/ltree.html

70. CREATE EXTENSION unaccent;
SELECT unaccent('Hà nội')
+------------+
| unaccent |
|------------|
| Ha noi |
+------------+
À A
Á A
 A
à A
Ä A
Å A
à a
ộ o
Địa chỉ bằng tiếng Việt có quá nhiều biến thể, unaccent giúp bỏ dấu