Hiện nay, tại tập đoàn CMC, phương pháp phát hiện bất thường bằng Machine Learning đang là một công nghệ được nghiên cứu và ứng dụng trong nhiều giải pháp khác nhau cho nhiều lĩnh vực.
[VFS 2019] Phương pháp phát hiện bất thường bằng học máy
1. Phương pháp phát hiện
bất thường bằng học
máy
TS.Nguyễn Thị Ngọc Anh
Vietnam Frontier Summit 2019
2. Giới thiệu tổng quan về Artificial Intelligence (AI)
Hạ tầng và công nghệ cho các bài toán phân tích dữ
liệu AI
Quy trình phân tích dữ liệu AI
01
02
03
04
Ứng dụng phân tích dữ liệu AI vào bài toán phát hiện
bất thường
4. 4
1. Giới thiệu
tổng quan về
Artificial
Intelligence
(AI)
● Sự bùng nổ và đa dạng của dữ liệu đưa
ra thách thức to lớn về việc quản lý và
phân tích chúng trong thời gian thực.
● Các chương trình phần mềm thủ tục
không thể giải quyết được các vấn đề
dữ liệu lớn và sự thay đổi liên tục.
● Trí tuệ nhân tạo, học máy, phân tích dữ
liệu là các ngành khoa học máy tính có
thể giải quyết được các vấn đề này
5. Khái niệm
Artificial
Intelligence
(AI)
● AI là trí thông minh được thể
hiện bằng máy móc.
● Có 4 phương pháp/ con đường
tiếp cận trí tuệ nhân tạo: suy
nghĩ giống người, hành động
giống người, suy nghĩ hợp lý
,hành động hợp lý.
7. 7
2. Hạ tầng và công
nghệ cho các bài
toán phân tích dữ
liệu AI
8. Các công nghệ
cho các bài
toán phân tích
dữ liệu AI
● Nhóm Machine Learning
● Nhóm Computer Vision
● Nhóm NLP - Text Mining
● Nhóm Data Lake - Web Mining
● Nhóm Data Modeling
● Nhóm Graph Analytics
10. 10
4. Ứng dụng việc
phân tích dữ liệu
AI vào bài toán
phát hiện bất
thường
● Để xử lý dữ liệu nhanh hơn và hiệu quả
hơn là phát hiện các sự kiện bất
thường, thay đổi.
● Phát hiện bất thường xác định các mẫu
bất thường không phù hợp với hành vi
dự kiến
11. Một số ứng
dụng phân
tích dữ liệu AI
phát hiện bất
thường
● Phát hiện xâm nhập
● Hệ thống theo dõi sức khỏe trong bệnh
viện
● Phát hiện gian lận trong giao dịch thẻ
tín dụng tại Ngân hàng
● Phát hiện lỗi trong môi trường hoạt
động
● Phát hiện tin tức giả và thông tin sai
lệch trên Internet
● Phát hiện thiệt hại công nghiệp
● An ninh và giám sát
● Sự kiện cảm biến điện tử rối loạn chức
năng
● ...
12. Bất thường là
gì?
1. Điểm bất thường
2. Bất thường bối cảnh
3. Bất thường tập thể
13. Phương pháp
phát hiện bất
thường
1. Phương pháp thống kê đơn
giản
2. Phương pháp phát hiện dựa
trên máy học
2.1. Phát hiện dị thường dựa
trên cụm
2.2. Phát hiện dị thường dựa
trên mật độ
2.3. Phát hiện dị thường dựa
trên phân tích chuỗi thời gian
2.4. Phát hiện dị thường dựa
trên sâu giám sát
2.5. Phát hiện dị thường dựa
trên sâu bán giám sát
2.6. Phát hiện dị thường dựa
trên mạng thần kinh một lớp
14. Mô hình phát
hiện bất
thường
Mô hình tổng quan
Sơ đồ khối của phương pháp
15. 15
Kết luận
● Phát hiện bất thường, một công nghệ
dựa trên trí tuệ nhân tạo xác định hành
vi bất thường đã trở thành một trong
những mục tiêu chính của ngành công
nghiệp 4.0
● Phát hiện bất thường là một phương
tiện hiệu quả để bắt gian lận và khám
phá các hoạt động lạ trong dữ liệu lớn,
phức tạp
● Nó rất quan trọng trong tất cả các lĩnh
vực như an ninh mạng, ngân hàng, sản
xuất,... góp phần tăng hiệu quả, an toàn
16. 16
Tài liệu tham khảo
● ABE, N., Zadrozny, B., and Langford, J.
2006. Outlier detection by active learning. In
Proceedings of the 12th ACM SIGKDD
International Conference on Knowledge
Discovery and Data Mining. ACM Press, New
York, 504–509
● V Chandola, A Banerjee and V Kumar 2009.
Anomaly Detection: A Survey Article No. 15
in ACM Computing Surveys
● Zimek, Arthur; Schubert, Erich (2017), "Outlier
Detection", Encyclopedia of Database Systems,
Springer New York, pp. 1–5,
doi:10.1007/978-1-4899-7993-3_80719-1, ISBN
9781489979933
17. Does anyone have any
questions?
+84989190192
ntnanh@cmc.com.vn
www.cmc.com.vn
THANKS!