SlideShare une entreprise Scribd logo
1  sur  17
Télécharger pour lire hors ligne
Phương pháp phát hiện
bất thường bằng học
máy
TS.Nguyễn Thị Ngọc Anh
Vietnam Frontier Summit 2019
Giới thiệu tổng quan về Artificial Intelligence (AI)
Hạ tầng và công nghệ cho các bài toán phân tích dữ
liệu AI
Quy trình phân tích dữ liệu AI
01
02
03
04
Ứng dụng phân tích dữ liệu AI vào bài toán phát hiện
bất thường
—SOMEONE FAMOUS
“Internet vạn vật sẽ thay đổi thế giới một ngày nào
đó!”
4
1. Giới thiệu
tổng quan về
Artificial
Intelligence
(AI)
● Sự bùng nổ và đa dạng của dữ liệu đưa
ra thách thức to lớn về việc quản lý và
phân tích chúng trong thời gian thực.
● Các chương trình phần mềm thủ tục
không thể giải quyết được các vấn đề
dữ liệu lớn và sự thay đổi liên tục.
● Trí tuệ nhân tạo, học máy, phân tích dữ
liệu là các ngành khoa học máy tính có
thể giải quyết được các vấn đề này
Khái niệm
Artificial
Intelligence
(AI)
● AI là trí thông minh được thể
hiện bằng máy móc.
● Có 4 phương pháp/ con đường
tiếp cận trí tuệ nhân tạo: suy
nghĩ giống người, hành động
giống người, suy nghĩ hợp lý
,hành động hợp lý.
Quy trình hoạt
động tổng
quát của hệ
thống AI
7
2. Hạ tầng và công
nghệ cho các bài
toán phân tích dữ
liệu AI
Các công nghệ
cho các bài
toán phân tích
dữ liệu AI
● Nhóm Machine Learning
● Nhóm Computer Vision
● Nhóm NLP - Text Mining
● Nhóm Data Lake - Web Mining
● Nhóm Data Modeling
● Nhóm Graph Analytics
9
3. Quy trình phân
tích dữ liệu nhờ AI
10
4. Ứng dụng việc
phân tích dữ liệu
AI vào bài toán
phát hiện bất
thường
● Để xử lý dữ liệu nhanh hơn và hiệu quả
hơn là phát hiện các sự kiện bất
thường, thay đổi.
● Phát hiện bất thường xác định các mẫu
bất thường không phù hợp với hành vi
dự kiến
Một số ứng
dụng phân
tích dữ liệu AI
phát hiện bất
thường
● Phát hiện xâm nhập
● Hệ thống theo dõi sức khỏe trong bệnh
viện
● Phát hiện gian lận trong giao dịch thẻ
tín dụng tại Ngân hàng
● Phát hiện lỗi trong môi trường hoạt
động
● Phát hiện tin tức giả và thông tin sai
lệch trên Internet
● Phát hiện thiệt hại công nghiệp
● An ninh và giám sát
● Sự kiện cảm biến điện tử rối loạn chức
năng
● ...
Bất thường là
gì?
1. Điểm bất thường
2. Bất thường bối cảnh
3. Bất thường tập thể
Phương pháp
phát hiện bất
thường
1. Phương pháp thống kê đơn
giản
2. Phương pháp phát hiện dựa
trên máy học
2.1. Phát hiện dị thường dựa
trên cụm
2.2. Phát hiện dị thường dựa
trên mật độ
2.3. Phát hiện dị thường dựa
trên phân tích chuỗi thời gian
2.4. Phát hiện dị thường dựa
trên sâu giám sát
2.5. Phát hiện dị thường dựa
trên sâu bán giám sát
2.6. Phát hiện dị thường dựa
trên mạng thần kinh một lớp
Mô hình phát
hiện bất
thường
Mô hình tổng quan
Sơ đồ khối của phương pháp
15
Kết luận
● Phát hiện bất thường, một công nghệ
dựa trên trí tuệ nhân tạo xác định hành
vi bất thường đã trở thành một trong
những mục tiêu chính của ngành công
nghiệp 4.0
● Phát hiện bất thường là một phương
tiện hiệu quả để bắt gian lận và khám
phá các hoạt động lạ trong dữ liệu lớn,
phức tạp
● Nó rất quan trọng trong tất cả các lĩnh
vực như an ninh mạng, ngân hàng, sản
xuất,... góp phần tăng hiệu quả, an toàn
16
Tài liệu tham khảo
● ABE, N., Zadrozny, B., and Langford, J.
2006. Outlier detection by active learning. In
Proceedings of the 12th ACM SIGKDD
International Conference on Knowledge
Discovery and Data Mining. ACM Press, New
York, 504–509
● V Chandola, A Banerjee and V Kumar 2009.
Anomaly Detection: A Survey Article No. 15
in ACM Computing Surveys
● Zimek, Arthur; Schubert, Erich (2017), "Outlier
Detection", Encyclopedia of Database Systems,
Springer New York, pp. 1–5,
doi:10.1007/978-1-4899-7993-3_80719-1, ISBN
9781489979933
Does anyone have any
questions?
+84989190192
ntnanh@cmc.com.vn
www.cmc.com.vn
THANKS!

Contenu connexe

Tendances

bao cao linux
bao cao linuxbao cao linux
bao cao linuxbinhnv186
 
Báo cáo xây dựng và phát triển phần mềm
Báo cáo xây dựng và phát triển phần mềmBáo cáo xây dựng và phát triển phần mềm
Báo cáo xây dựng và phát triển phần mềmytthuan
 
Nhom 16 big data
Nhom 16 big dataNhom 16 big data
Nhom 16 big dataDuy Phan
 
Phân tích mã độc cơ bản - báo cáo thực tập
Phân tích mã độc cơ bản - báo cáo thực tậpPhân tích mã độc cơ bản - báo cáo thực tập
Phân tích mã độc cơ bản - báo cáo thực tậpPhạm Trung Đức
 
Chp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de DonnéesChp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de DonnéesLilia Sfaxi
 
Báo Cáo Đồ Án 2 : Thiết Kế Web Bán Đồng Hồ
Báo Cáo Đồ Án 2 : Thiết Kế Web Bán Đồng HồBáo Cáo Đồ Án 2 : Thiết Kế Web Bán Đồng Hồ
Báo Cáo Đồ Án 2 : Thiết Kế Web Bán Đồng HồzDollz Lovez
 
Phân tích thiết kế hệ thống quản lý bán nước giải khát
Phân tích thiết kế hệ thống quản lý bán nước giải khátPhân tích thiết kế hệ thống quản lý bán nước giải khát
Phân tích thiết kế hệ thống quản lý bán nước giải khátMinh Nguyển
 
Beezo Share - Đồ Án Thực Tập Công Cụ Giám Sát Mạng Python
Beezo Share - Đồ Án Thực Tập Công Cụ Giám Sát Mạng PythonBeezo Share - Đồ Án Thực Tập Công Cụ Giám Sát Mạng Python
Beezo Share - Đồ Án Thực Tập Công Cụ Giám Sát Mạng PythonBeezo
 
Báo cáo bài tập lớn phân tích thiết kế hệ thống
Báo cáo bài tập lớn phân tích thiết kế hệ thốngBáo cáo bài tập lớn phân tích thiết kế hệ thống
Báo cáo bài tập lớn phân tích thiết kế hệ thốngJojo Kim
 
Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection) và sửa lỗ...
Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection) và sửa lỗ...Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection) và sửa lỗ...
Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection) và sửa lỗ...GMO-Z.com Vietnam Lab Center
 
phân tích thiết kế hệ thống thông tin
phân tích thiết kế hệ thống thông tinphân tích thiết kế hệ thống thông tin
phân tích thiết kế hệ thống thông tinQuynh michelanh quynh
 
Bai giang atbmtt
Bai giang atbmtt Bai giang atbmtt
Bai giang atbmtt Hà Vũ
 
Data mining - Luật kết hợp và ứng dụng
Data mining - Luật kết hợp và ứng dụngData mining - Luật kết hợp và ứng dụng
Data mining - Luật kết hợp và ứng dụngPhien Le
 
Báo cáo môn mã nguồn mở
Báo cáo môn mã nguồn mởBáo cáo môn mã nguồn mở
Báo cáo môn mã nguồn mởThuyet Nguyen
 
NLP-Text classification.pptx
NLP-Text classification.pptxNLP-Text classification.pptx
NLP-Text classification.pptxNguyễn Thái
 
Lập trình phân tích bắt gói tin mạng bằng Python
Lập trình phân tích bắt gói tin mạng bằng PythonLập trình phân tích bắt gói tin mạng bằng Python
Lập trình phân tích bắt gói tin mạng bằng PythonPhạm Trung Đức
 
Slide An toàn mạng nâng cao PTIT
Slide An toàn mạng nâng cao PTITSlide An toàn mạng nâng cao PTIT
Slide An toàn mạng nâng cao PTITNguynMinh294
 
Giáo án an toàn và bảo mật thông tin.pdf
Giáo án an toàn và bảo mật thông tin.pdfGiáo án an toàn và bảo mật thông tin.pdf
Giáo án an toàn và bảo mật thông tin.pdfMan_Ebook
 
Báo cáo đồ án môn công nghệ phần mềm
Báo cáo đồ án môn công nghệ phần mềmBáo cáo đồ án môn công nghệ phần mềm
Báo cáo đồ án môn công nghệ phần mềmRiTa15
 

Tendances (20)

bao cao linux
bao cao linuxbao cao linux
bao cao linux
 
Báo cáo xây dựng và phát triển phần mềm
Báo cáo xây dựng và phát triển phần mềmBáo cáo xây dựng và phát triển phần mềm
Báo cáo xây dựng và phát triển phần mềm
 
Nhom 16 big data
Nhom 16 big dataNhom 16 big data
Nhom 16 big data
 
Phân tích mã độc cơ bản - báo cáo thực tập
Phân tích mã độc cơ bản - báo cáo thực tậpPhân tích mã độc cơ bản - báo cáo thực tập
Phân tích mã độc cơ bản - báo cáo thực tập
 
Chp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de DonnéesChp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de Données
 
Báo Cáo Đồ Án 2 : Thiết Kế Web Bán Đồng Hồ
Báo Cáo Đồ Án 2 : Thiết Kế Web Bán Đồng HồBáo Cáo Đồ Án 2 : Thiết Kế Web Bán Đồng Hồ
Báo Cáo Đồ Án 2 : Thiết Kế Web Bán Đồng Hồ
 
Phân tích thiết kế hệ thống quản lý bán nước giải khát
Phân tích thiết kế hệ thống quản lý bán nước giải khátPhân tích thiết kế hệ thống quản lý bán nước giải khát
Phân tích thiết kế hệ thống quản lý bán nước giải khát
 
Beezo Share - Đồ Án Thực Tập Công Cụ Giám Sát Mạng Python
Beezo Share - Đồ Án Thực Tập Công Cụ Giám Sát Mạng PythonBeezo Share - Đồ Án Thực Tập Công Cụ Giám Sát Mạng Python
Beezo Share - Đồ Án Thực Tập Công Cụ Giám Sát Mạng Python
 
Báo cáo bài tập lớn phân tích thiết kế hệ thống
Báo cáo bài tập lớn phân tích thiết kế hệ thốngBáo cáo bài tập lớn phân tích thiết kế hệ thống
Báo cáo bài tập lớn phân tích thiết kế hệ thống
 
Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection) và sửa lỗ...
Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection) và sửa lỗ...Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection) và sửa lỗ...
Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection) và sửa lỗ...
 
Đề tài: Hệ thống hỗ trợ đăng ký đề tài nghiên cứu khoa học trên web
Đề tài: Hệ thống hỗ trợ đăng ký đề tài nghiên cứu khoa học trên webĐề tài: Hệ thống hỗ trợ đăng ký đề tài nghiên cứu khoa học trên web
Đề tài: Hệ thống hỗ trợ đăng ký đề tài nghiên cứu khoa học trên web
 
phân tích thiết kế hệ thống thông tin
phân tích thiết kế hệ thống thông tinphân tích thiết kế hệ thống thông tin
phân tích thiết kế hệ thống thông tin
 
Bai giang atbmtt
Bai giang atbmtt Bai giang atbmtt
Bai giang atbmtt
 
Data mining - Luật kết hợp và ứng dụng
Data mining - Luật kết hợp và ứng dụngData mining - Luật kết hợp và ứng dụng
Data mining - Luật kết hợp và ứng dụng
 
Báo cáo môn mã nguồn mở
Báo cáo môn mã nguồn mởBáo cáo môn mã nguồn mở
Báo cáo môn mã nguồn mở
 
NLP-Text classification.pptx
NLP-Text classification.pptxNLP-Text classification.pptx
NLP-Text classification.pptx
 
Lập trình phân tích bắt gói tin mạng bằng Python
Lập trình phân tích bắt gói tin mạng bằng PythonLập trình phân tích bắt gói tin mạng bằng Python
Lập trình phân tích bắt gói tin mạng bằng Python
 
Slide An toàn mạng nâng cao PTIT
Slide An toàn mạng nâng cao PTITSlide An toàn mạng nâng cao PTIT
Slide An toàn mạng nâng cao PTIT
 
Giáo án an toàn và bảo mật thông tin.pdf
Giáo án an toàn và bảo mật thông tin.pdfGiáo án an toàn và bảo mật thông tin.pdf
Giáo án an toàn và bảo mật thông tin.pdf
 
Báo cáo đồ án môn công nghệ phần mềm
Báo cáo đồ án môn công nghệ phần mềmBáo cáo đồ án môn công nghệ phần mềm
Báo cáo đồ án môn công nghệ phần mềm
 

Similaire à [VFS 2019] Phương pháp phát hiện bất thường bằng học máy

[Fablab Hanoi] 20161211_Talk: Trí tuệ nhân tạo và ứng dụng_Chương 1: Tổng quan
[Fablab Hanoi] 20161211_Talk: Trí tuệ nhân tạo và ứng dụng_Chương 1: Tổng quan[Fablab Hanoi] 20161211_Talk: Trí tuệ nhân tạo và ứng dụng_Chương 1: Tổng quan
[Fablab Hanoi] 20161211_Talk: Trí tuệ nhân tạo và ứng dụng_Chương 1: Tổng quanFablab Hanoi
 
Hướng dẫn tìm kiếm thông tin trên internet
Hướng dẫn tìm kiếm thông tin trên internetHướng dẫn tìm kiếm thông tin trên internet
Hướng dẫn tìm kiếm thông tin trên internetNhomHTTP
 
Hướng dẫn tìm kiếm thông tin trên internet
Hướng dẫn tìm kiếm thông tin trên internetHướng dẫn tìm kiếm thông tin trên internet
Hướng dẫn tìm kiếm thông tin trên internetNhomHTTP
 
hệ thống thông tin và nghiên cứu marketing
hệ thống thông tin và nghiên cứu marketinghệ thống thông tin và nghiên cứu marketing
hệ thống thông tin và nghiên cứu marketingxuanduong92
 
Chương 2 - Hệ thống thông tin và nghiên cứu marketing (2014)
Chương 2 - Hệ thống thông tin và nghiên cứu marketing (2014)Chương 2 - Hệ thống thông tin và nghiên cứu marketing (2014)
Chương 2 - Hệ thống thông tin và nghiên cứu marketing (2014)Trong Hoang
 
Info sec foss-migration-may-2014-haproinfo
Info sec foss-migration-may-2014-haproinfoInfo sec foss-migration-may-2014-haproinfo
Info sec foss-migration-may-2014-haproinfonghia le trung
 
Tiet 1 tin hoc la mot nganh khoa hoc
Tiet 1 tin hoc la mot nganh khoa hocTiet 1 tin hoc la mot nganh khoa hoc
Tiet 1 tin hoc la mot nganh khoa hocThi Thanh Thuan Tran
 
http://avatarvip.com/tai-game-avatar - Bảo mật mạng máy tính và tường lửa
http://avatarvip.com/tai-game-avatar - Bảo mật mạng máy tính và tường lửahttp://avatarvip.com/tai-game-avatar - Bảo mật mạng máy tính và tường lửa
http://avatarvip.com/tai-game-avatar - Bảo mật mạng máy tính và tường lửataigameavatarvip
 
Bảo mật mạng máy tính và tường lửa
Bảo mật mạng máy tính và tường lửaBảo mật mạng máy tính và tường lửa
Bảo mật mạng máy tính và tường lửateenteen.mobi mobile
 
ỨNG DỤNG CÔNG NGHỆ DI ĐỘNG TRONG THU THẬP DỮ LIỆU NGHIÊN CỨU Y HỌC
ỨNG DỤNG CÔNG NGHỆ DI ĐỘNG TRONG THU THẬP DỮ LIỆU NGHIÊN CỨU Y HỌCỨNG DỤNG CÔNG NGHỆ DI ĐỘNG TRONG THU THẬP DỮ LIỆU NGHIÊN CỨU Y HỌC
ỨNG DỤNG CÔNG NGHỆ DI ĐỘNG TRONG THU THẬP DỮ LIỆU NGHIÊN CỨU Y HỌCSoM
 

Similaire à [VFS 2019] Phương pháp phát hiện bất thường bằng học máy (16)

[Fablab Hanoi] 20161211_Talk: Trí tuệ nhân tạo và ứng dụng_Chương 1: Tổng quan
[Fablab Hanoi] 20161211_Talk: Trí tuệ nhân tạo và ứng dụng_Chương 1: Tổng quan[Fablab Hanoi] 20161211_Talk: Trí tuệ nhân tạo và ứng dụng_Chương 1: Tổng quan
[Fablab Hanoi] 20161211_Talk: Trí tuệ nhân tạo và ứng dụng_Chương 1: Tổng quan
 
Đề tài: Xây dựng phần mềm diệt virus Ictuav, HAY
Đề tài: Xây dựng phần mềm diệt virus Ictuav, HAYĐề tài: Xây dựng phần mềm diệt virus Ictuav, HAY
Đề tài: Xây dựng phần mềm diệt virus Ictuav, HAY
 
Hướng dẫn tìm kiếm thông tin trên internet
Hướng dẫn tìm kiếm thông tin trên internetHướng dẫn tìm kiếm thông tin trên internet
Hướng dẫn tìm kiếm thông tin trên internet
 
Hướng dẫn tìm kiếm thông tin trên internet
Hướng dẫn tìm kiếm thông tin trên internetHướng dẫn tìm kiếm thông tin trên internet
Hướng dẫn tìm kiếm thông tin trên internet
 
Danh sách 200 đề tài luận văn thạc sĩ khoa học máy tính, 9 điểm
Danh sách 200 đề tài luận văn thạc sĩ khoa học máy tính, 9 điểmDanh sách 200 đề tài luận văn thạc sĩ khoa học máy tính, 9 điểm
Danh sách 200 đề tài luận văn thạc sĩ khoa học máy tính, 9 điểm
 
hệ thống thông tin và nghiên cứu marketing
hệ thống thông tin và nghiên cứu marketinghệ thống thông tin và nghiên cứu marketing
hệ thống thông tin và nghiên cứu marketing
 
Chương 2 - Hệ thống thông tin và nghiên cứu marketing (2014)
Chương 2 - Hệ thống thông tin và nghiên cứu marketing (2014)Chương 2 - Hệ thống thông tin và nghiên cứu marketing (2014)
Chương 2 - Hệ thống thông tin và nghiên cứu marketing (2014)
 
Luan van
Luan vanLuan van
Luan van
 
B ai1 tin10
B ai1 tin10B ai1 tin10
B ai1 tin10
 
Phương pháp xác định đề tài nghiên cứu khoa học
Phương pháp xác định đề tài nghiên cứu khoa họcPhương pháp xác định đề tài nghiên cứu khoa học
Phương pháp xác định đề tài nghiên cứu khoa học
 
Info sec foss-migration-may-2014-haproinfo
Info sec foss-migration-may-2014-haproinfoInfo sec foss-migration-may-2014-haproinfo
Info sec foss-migration-may-2014-haproinfo
 
Tin
TinTin
Tin
 
Tiet 1 tin hoc la mot nganh khoa hoc
Tiet 1 tin hoc la mot nganh khoa hocTiet 1 tin hoc la mot nganh khoa hoc
Tiet 1 tin hoc la mot nganh khoa hoc
 
http://avatarvip.com/tai-game-avatar - Bảo mật mạng máy tính và tường lửa
http://avatarvip.com/tai-game-avatar - Bảo mật mạng máy tính và tường lửahttp://avatarvip.com/tai-game-avatar - Bảo mật mạng máy tính và tường lửa
http://avatarvip.com/tai-game-avatar - Bảo mật mạng máy tính và tường lửa
 
Bảo mật mạng máy tính và tường lửa
Bảo mật mạng máy tính và tường lửaBảo mật mạng máy tính và tường lửa
Bảo mật mạng máy tính và tường lửa
 
ỨNG DỤNG CÔNG NGHỆ DI ĐỘNG TRONG THU THẬP DỮ LIỆU NGHIÊN CỨU Y HỌC
ỨNG DỤNG CÔNG NGHỆ DI ĐỘNG TRONG THU THẬP DỮ LIỆU NGHIÊN CỨU Y HỌCỨNG DỤNG CÔNG NGHỆ DI ĐỘNG TRONG THU THẬP DỮ LIỆU NGHIÊN CỨU Y HỌC
ỨNG DỤNG CÔNG NGHỆ DI ĐỘNG TRONG THU THẬP DỮ LIỆU NGHIÊN CỨU Y HỌC
 

Plus de Nexus FrontierTech

[Executive Lounge Talk] Digital Transformation Journey
[Executive Lounge Talk] Digital Transformation Journey[Executive Lounge Talk] Digital Transformation Journey
[Executive Lounge Talk] Digital Transformation JourneyNexus FrontierTech
 
[AI series Talk #2] From PoC to Production - A Case Study
[AI series Talk #2] From PoC to Production - A Case Study[AI series Talk #2] From PoC to Production - A Case Study
[AI series Talk #2] From PoC to Production - A Case StudyNexus FrontierTech
 
[AI Series Talk #2] Moving AI from PoC Stage to Production
[AI Series Talk #2] Moving AI from PoC Stage to Production[AI Series Talk #2] Moving AI from PoC Stage to Production
[AI Series Talk #2] Moving AI from PoC Stage to ProductionNexus FrontierTech
 
[VFS 2019] Introduction to GANs - Pixta Vietnam
[VFS 2019] Introduction to GANs - Pixta Vietnam[VFS 2019] Introduction to GANs - Pixta Vietnam
[VFS 2019] Introduction to GANs - Pixta VietnamNexus FrontierTech
 
[VFS 2019] Enabling Young Generation for Future - AWS Vietnam User Group
[VFS 2019] Enabling Young Generation for Future - AWS Vietnam User Group[VFS 2019] Enabling Young Generation for Future - AWS Vietnam User Group
[VFS 2019] Enabling Young Generation for Future - AWS Vietnam User GroupNexus FrontierTech
 
[VFS 2019] Building chatbot with RASA
[VFS 2019] Building chatbot with RASA[VFS 2019] Building chatbot with RASA
[VFS 2019] Building chatbot with RASANexus FrontierTech
 
[VFS 2019] Vietnamese Speech-to-Text: Applications and Product
[VFS 2019] Vietnamese Speech-to-Text: Applications and Product[VFS 2019] Vietnamese Speech-to-Text: Applications and Product
[VFS 2019] Vietnamese Speech-to-Text: Applications and ProductNexus FrontierTech
 
[VFS 2019] How AI Will Innovate Recruitment
[VFS 2019] How AI Will Innovate Recruitment[VFS 2019] How AI Will Innovate Recruitment
[VFS 2019] How AI Will Innovate RecruitmentNexus FrontierTech
 
[VFS 2019] Preventive Approach to Designing and Selling Healthy AI System
[VFS 2019] Preventive Approach to Designing and Selling Healthy AI System [VFS 2019] Preventive Approach to Designing and Selling Healthy AI System
[VFS 2019] Preventive Approach to Designing and Selling Healthy AI System Nexus FrontierTech
 
[VFS 2019] OCR Techniques for Digital Transformation Evolution
[VFS 2019] OCR Techniques for Digital Transformation Evolution[VFS 2019] OCR Techniques for Digital Transformation Evolution
[VFS 2019] OCR Techniques for Digital Transformation EvolutionNexus FrontierTech
 
[VFS 2019] Human Activity Recognition Approaches
[VFS 2019] Human Activity Recognition Approaches [VFS 2019] Human Activity Recognition Approaches
[VFS 2019] Human Activity Recognition Approaches Nexus FrontierTech
 
[VFS 2019] Datamart Introduction (brief)
[VFS 2019] Datamart Introduction (brief)[VFS 2019] Datamart Introduction (brief)
[VFS 2019] Datamart Introduction (brief)Nexus FrontierTech
 
[VFS 2019] Data Strategy for Vietnamese Businesses to Levarage AI
[VFS 2019] Data Strategy for Vietnamese Businesses to Levarage AI[VFS 2019] Data Strategy for Vietnamese Businesses to Levarage AI
[VFS 2019] Data Strategy for Vietnamese Businesses to Levarage AINexus FrontierTech
 
[VFS 2019] Digital Solution for Enterprises: 24/7 A.I English Speaking Coach
[VFS 2019] Digital Solution for Enterprises: 24/7 A.I English Speaking Coach[VFS 2019] Digital Solution for Enterprises: 24/7 A.I English Speaking Coach
[VFS 2019] Digital Solution for Enterprises: 24/7 A.I English Speaking CoachNexus FrontierTech
 
[VFS 2019] Project Management for AI-based Product - A Better Approach
[VFS 2019] Project Management for AI-based Product - A Better Approach[VFS 2019] Project Management for AI-based Product - A Better Approach
[VFS 2019] Project Management for AI-based Product - A Better ApproachNexus FrontierTech
 
[VFS 2019] AI Ecosystem transition from zero to hero - case study by rubikAI
[VFS 2019] AI Ecosystem transition from zero to hero - case study by rubikAI[VFS 2019] AI Ecosystem transition from zero to hero - case study by rubikAI
[VFS 2019] AI Ecosystem transition from zero to hero - case study by rubikAINexus FrontierTech
 
[VFS 2019] Capitalize E-Commerce Opportunities
[VFS 2019] Capitalize E-Commerce Opportunities[VFS 2019] Capitalize E-Commerce Opportunities
[VFS 2019] Capitalize E-Commerce OpportunitiesNexus FrontierTech
 

Plus de Nexus FrontierTech (20)

[Executive Lounge Talk] Digital Transformation Journey
[Executive Lounge Talk] Digital Transformation Journey[Executive Lounge Talk] Digital Transformation Journey
[Executive Lounge Talk] Digital Transformation Journey
 
[AI series Talk #2] From PoC to Production - A Case Study
[AI series Talk #2] From PoC to Production - A Case Study[AI series Talk #2] From PoC to Production - A Case Study
[AI series Talk #2] From PoC to Production - A Case Study
 
[AI Series Talk #2] Moving AI from PoC Stage to Production
[AI Series Talk #2] Moving AI from PoC Stage to Production[AI Series Talk #2] Moving AI from PoC Stage to Production
[AI Series Talk #2] Moving AI from PoC Stage to Production
 
[VFS 2019] Introduction to GANs - Pixta Vietnam
[VFS 2019] Introduction to GANs - Pixta Vietnam[VFS 2019] Introduction to GANs - Pixta Vietnam
[VFS 2019] Introduction to GANs - Pixta Vietnam
 
[VFS 2019] Enabling Young Generation for Future - AWS Vietnam User Group
[VFS 2019] Enabling Young Generation for Future - AWS Vietnam User Group[VFS 2019] Enabling Young Generation for Future - AWS Vietnam User Group
[VFS 2019] Enabling Young Generation for Future - AWS Vietnam User Group
 
[VFS 2019] Building chatbot with RASA
[VFS 2019] Building chatbot with RASA[VFS 2019] Building chatbot with RASA
[VFS 2019] Building chatbot with RASA
 
[VFS 2019] Vietnamese Speech-to-Text: Applications and Product
[VFS 2019] Vietnamese Speech-to-Text: Applications and Product[VFS 2019] Vietnamese Speech-to-Text: Applications and Product
[VFS 2019] Vietnamese Speech-to-Text: Applications and Product
 
[VFS 2019] How AI Will Innovate Recruitment
[VFS 2019] How AI Will Innovate Recruitment[VFS 2019] How AI Will Innovate Recruitment
[VFS 2019] How AI Will Innovate Recruitment
 
[VFS 2019] AI in Finance
[VFS 2019] AI in Finance[VFS 2019] AI in Finance
[VFS 2019] AI in Finance
 
[VFS 2019] Preventive Approach to Designing and Selling Healthy AI System
[VFS 2019] Preventive Approach to Designing and Selling Healthy AI System [VFS 2019] Preventive Approach to Designing and Selling Healthy AI System
[VFS 2019] Preventive Approach to Designing and Selling Healthy AI System
 
[VFS 2019] OCR Techniques for Digital Transformation Evolution
[VFS 2019] OCR Techniques for Digital Transformation Evolution[VFS 2019] OCR Techniques for Digital Transformation Evolution
[VFS 2019] OCR Techniques for Digital Transformation Evolution
 
[VFS 2019] Human Activity Recognition Approaches
[VFS 2019] Human Activity Recognition Approaches [VFS 2019] Human Activity Recognition Approaches
[VFS 2019] Human Activity Recognition Approaches
 
[VFS 2019] Aimesoft Solutions
[VFS 2019] Aimesoft Solutions[VFS 2019] Aimesoft Solutions
[VFS 2019] Aimesoft Solutions
 
[VFS 2019] Datamart Introduction (brief)
[VFS 2019] Datamart Introduction (brief)[VFS 2019] Datamart Introduction (brief)
[VFS 2019] Datamart Introduction (brief)
 
[VFS 2019] Data Strategy for Vietnamese Businesses to Levarage AI
[VFS 2019] Data Strategy for Vietnamese Businesses to Levarage AI[VFS 2019] Data Strategy for Vietnamese Businesses to Levarage AI
[VFS 2019] Data Strategy for Vietnamese Businesses to Levarage AI
 
[VFS 2019] AI for Banks
[VFS 2019] AI for Banks[VFS 2019] AI for Banks
[VFS 2019] AI for Banks
 
[VFS 2019] Digital Solution for Enterprises: 24/7 A.I English Speaking Coach
[VFS 2019] Digital Solution for Enterprises: 24/7 A.I English Speaking Coach[VFS 2019] Digital Solution for Enterprises: 24/7 A.I English Speaking Coach
[VFS 2019] Digital Solution for Enterprises: 24/7 A.I English Speaking Coach
 
[VFS 2019] Project Management for AI-based Product - A Better Approach
[VFS 2019] Project Management for AI-based Product - A Better Approach[VFS 2019] Project Management for AI-based Product - A Better Approach
[VFS 2019] Project Management for AI-based Product - A Better Approach
 
[VFS 2019] AI Ecosystem transition from zero to hero - case study by rubikAI
[VFS 2019] AI Ecosystem transition from zero to hero - case study by rubikAI[VFS 2019] AI Ecosystem transition from zero to hero - case study by rubikAI
[VFS 2019] AI Ecosystem transition from zero to hero - case study by rubikAI
 
[VFS 2019] Capitalize E-Commerce Opportunities
[VFS 2019] Capitalize E-Commerce Opportunities[VFS 2019] Capitalize E-Commerce Opportunities
[VFS 2019] Capitalize E-Commerce Opportunities
 

[VFS 2019] Phương pháp phát hiện bất thường bằng học máy

  • 1. Phương pháp phát hiện bất thường bằng học máy TS.Nguyễn Thị Ngọc Anh Vietnam Frontier Summit 2019
  • 2. Giới thiệu tổng quan về Artificial Intelligence (AI) Hạ tầng và công nghệ cho các bài toán phân tích dữ liệu AI Quy trình phân tích dữ liệu AI 01 02 03 04 Ứng dụng phân tích dữ liệu AI vào bài toán phát hiện bất thường
  • 3. —SOMEONE FAMOUS “Internet vạn vật sẽ thay đổi thế giới một ngày nào đó!”
  • 4. 4 1. Giới thiệu tổng quan về Artificial Intelligence (AI) ● Sự bùng nổ và đa dạng của dữ liệu đưa ra thách thức to lớn về việc quản lý và phân tích chúng trong thời gian thực. ● Các chương trình phần mềm thủ tục không thể giải quyết được các vấn đề dữ liệu lớn và sự thay đổi liên tục. ● Trí tuệ nhân tạo, học máy, phân tích dữ liệu là các ngành khoa học máy tính có thể giải quyết được các vấn đề này
  • 5. Khái niệm Artificial Intelligence (AI) ● AI là trí thông minh được thể hiện bằng máy móc. ● Có 4 phương pháp/ con đường tiếp cận trí tuệ nhân tạo: suy nghĩ giống người, hành động giống người, suy nghĩ hợp lý ,hành động hợp lý.
  • 6. Quy trình hoạt động tổng quát của hệ thống AI
  • 7. 7 2. Hạ tầng và công nghệ cho các bài toán phân tích dữ liệu AI
  • 8. Các công nghệ cho các bài toán phân tích dữ liệu AI ● Nhóm Machine Learning ● Nhóm Computer Vision ● Nhóm NLP - Text Mining ● Nhóm Data Lake - Web Mining ● Nhóm Data Modeling ● Nhóm Graph Analytics
  • 9. 9 3. Quy trình phân tích dữ liệu nhờ AI
  • 10. 10 4. Ứng dụng việc phân tích dữ liệu AI vào bài toán phát hiện bất thường ● Để xử lý dữ liệu nhanh hơn và hiệu quả hơn là phát hiện các sự kiện bất thường, thay đổi. ● Phát hiện bất thường xác định các mẫu bất thường không phù hợp với hành vi dự kiến
  • 11. Một số ứng dụng phân tích dữ liệu AI phát hiện bất thường ● Phát hiện xâm nhập ● Hệ thống theo dõi sức khỏe trong bệnh viện ● Phát hiện gian lận trong giao dịch thẻ tín dụng tại Ngân hàng ● Phát hiện lỗi trong môi trường hoạt động ● Phát hiện tin tức giả và thông tin sai lệch trên Internet ● Phát hiện thiệt hại công nghiệp ● An ninh và giám sát ● Sự kiện cảm biến điện tử rối loạn chức năng ● ...
  • 12. Bất thường là gì? 1. Điểm bất thường 2. Bất thường bối cảnh 3. Bất thường tập thể
  • 13. Phương pháp phát hiện bất thường 1. Phương pháp thống kê đơn giản 2. Phương pháp phát hiện dựa trên máy học 2.1. Phát hiện dị thường dựa trên cụm 2.2. Phát hiện dị thường dựa trên mật độ 2.3. Phát hiện dị thường dựa trên phân tích chuỗi thời gian 2.4. Phát hiện dị thường dựa trên sâu giám sát 2.5. Phát hiện dị thường dựa trên sâu bán giám sát 2.6. Phát hiện dị thường dựa trên mạng thần kinh một lớp
  • 14. Mô hình phát hiện bất thường Mô hình tổng quan Sơ đồ khối của phương pháp
  • 15. 15 Kết luận ● Phát hiện bất thường, một công nghệ dựa trên trí tuệ nhân tạo xác định hành vi bất thường đã trở thành một trong những mục tiêu chính của ngành công nghiệp 4.0 ● Phát hiện bất thường là một phương tiện hiệu quả để bắt gian lận và khám phá các hoạt động lạ trong dữ liệu lớn, phức tạp ● Nó rất quan trọng trong tất cả các lĩnh vực như an ninh mạng, ngân hàng, sản xuất,... góp phần tăng hiệu quả, an toàn
  • 16. 16 Tài liệu tham khảo ● ABE, N., Zadrozny, B., and Langford, J. 2006. Outlier detection by active learning. In Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM Press, New York, 504–509 ● V Chandola, A Banerjee and V Kumar 2009. Anomaly Detection: A Survey Article No. 15 in ACM Computing Surveys ● Zimek, Arthur; Schubert, Erich (2017), "Outlier Detection", Encyclopedia of Database Systems, Springer New York, pp. 1–5, doi:10.1007/978-1-4899-7993-3_80719-1, ISBN 9781489979933
  • 17. Does anyone have any questions? +84989190192 ntnanh@cmc.com.vn www.cmc.com.vn THANKS!