Clustering Images based on Content Features Combining with Textual Characteristics

1. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT
HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ
VĂN BẢN ĐI KÈM TRONG PHÂN CỤM
ẢNH
Sinh viên thực hiện
Nguyễn Thị Hương Nguyễn Minh Hoàng
Nguyễn Phước Thảo
Cán bộ hướng dẫn
ThS Nguyễn Cẩm Tú CN Nguyễn Thanh Sơn
KT–SIS LAB, Đại học Công Nghệ, Đại học Quốc Gia Hà Nội
Báo cáo hội nghị sinh viên nghiên cứu khoa học 2011Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả1/ 31

2. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Nội dung
1 Giới thiệu bài toán phân cụm ảnh
2 Một số nghiên cứu liên quan
3 Mô hình giải quyết bài toán
Cơ sở lý thuyết
Mô hình giải quyết bài toán
4 Thực nghiệm
5 Kết luận và định hướng nghiên cứu tiếp theo
Kết luận
Định hướng nghiên cứu tiếp theo
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả2/ 31

3. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Nội dung
1 Giới thiệu bài toán phân cụm ảnh
2 Một số nghiên cứu liên quan
3 Mô hình giải quyết bài toán
Cơ sở lý thuyết
Mô hình giải quyết bài toán
4 Thực nghiệm
5 Kết luận và định hướng nghiên cứu tiếp theo
Kết luận
Định hướng nghiên cứu tiếp theo
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả3/ 31

4. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Giới thiệu bài toán phân cụm ảnh
• Lượng dữ liệu ảnh trao đổi và lưu trữ trên Internet phát triển rất
nhanh.
• Nhu cầu tìm kiếm hình ảnh, thông tin liên quan tới hình ảnh trở
nên cần thiết.
Tìm kiếm thông tin điểm du lịch dựa vào ảnh (tên, vị trí ...)
Tìm kiếm thông tin cá nhân dựa vào ảnh,...
• Một số Search Engine ảnh (Google Image Search, Flickr,..) cho
phép nhập truy vấn dạng văn bản hoặc dạng ảnh
→ đáp ứng một phần nhu cầu của người sử dụng.
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả4/ 31

5. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Giới thiệu bài toán phân cụm ảnh
Một kết quả trả về từ máy tìm kiếm ảnh Google
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả5/ 31

6. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Giới thiệu bài toán phân cụm ảnh
Một kết quả trả về từ máy tìm kiếm ảnh Flickr
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả6/ 31

7. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Giới thiệu bài toán phân cụm ảnh
• Vấn đề đặt ra
Với những truy vấn nhập nhằng, Search Engine sẽ xử lý
ra sao?
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả7/ 31

8. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Giới thiệu bài toán phân cụm ảnh
• Vấn đề đặt ra
Với những truy vấn nhập nhằng, Search Engine sẽ xử lý
ra sao?
• Giải pháp đề xuất
Phân cụm lại các ảnh kết quả trả về từ một máy tìm kiếm
ảnh theo câu truy vấn của người dùng
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả7/ 31

9. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Giới thiệu bài toán phân cụm ảnh
• Vấn đề đặt ra
Với những truy vấn nhập nhằng, Search Engine sẽ xử lý
ra sao?
• Giải pháp đề xuất
Phân cụm lại các ảnh kết quả trả về từ một máy tìm kiếm
ảnh theo câu truy vấn của người dùng
→ đưa ra kết quả tốt hơn cho người dùng.
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả7/ 31

10. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Nội dung
1 Giới thiệu bài toán phân cụm ảnh
2 Một số nghiên cứu liên quan
3 Mô hình giải quyết bài toán
Cơ sở lý thuyết
Mô hình giải quyết bài toán
4 Thực nghiệm
5 Kết luận và định hướng nghiên cứu tiếp theo
Kết luận
Định hướng nghiên cứu tiếp theo
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả8/ 31

11. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Một số nghiên cứu liên quan
• Guangqing Liu, Byungwook Lee 2009 [LL09] phân cụm
các ảnh bằng cách tính toán độ tương tự sử dụng đặc trưng màu
HSV.
• Haoyang Ding, Jing Liu, Hanqing Lu 2008 [DLL08] phân
cụm lại các kết quả trả về từ máy tìm kiếm bằng cách trích xuất
các cụm từ khóa trong các văn bản đi kèm với ảnh.
• Feng Jing và cộng sự [JWY06] sử dụng phương pháp học
tên cụm ảnh(Learning Image Cluster Names) nhằm tổ chức lại kết
quả tìm kiếm dưới dạng các nhóm ảnh tương tự nhau.
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả9/ 31

12. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Một số nghiên cứu liên quan
Sử dụng kết quả tìm kiếm của google, phân cụm top kết quả trả
về dựa trên độ tương đồng
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả10/ 31

13. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Một số nghiên cứu liên quan
Sử dụng kết quả tìm kiếm của google, phân cụm top kết quả trả
về dựa trên độ tương đồng
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả11/ 31

14. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Nội dung
1 Giới thiệu bài toán phân cụm ảnh
2 Một số nghiên cứu liên quan
3 Mô hình giải quyết bài toán
Cơ sở lý thuyết
Mô hình giải quyết bài toán
4 Thực nghiệm
5 Kết luận và định hướng nghiên cứu tiếp theo
Kết luận
Định hướng nghiên cứu tiếp theo
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả12/ 31

15. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Cơ sở lý thuyết
Cơ sở lý thuyết
• Trích xuất đặc trưng của ảnh
Đặc trưng màu sắc (Color Feature)
Đặc trưng kết cấu (Texture Feature)
Đặc trưng văn bản (Textual Feature)
Sự kết hợp các đặc trưng ảnh
• Thuật toán K-means
• Lý thuyết đồ thị trong xếp hạng ảnh
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả13/ 31

16. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Cơ sở lý thuyết
Trích xuất đặc trưng của ảnh
• Đặc trưng màu sắc (Color Feature)
Không gian màu RGB
Sử dụng các độ đo tương đồng dựa vào khoảng cách Euclid
• Đặc trưng kết cấu (Texture Feature)
Cung cấp thông tin trong sự sắp xếp về mặt không gian của
màu sắc và cường độ trong ảnh
Sử dụng độ đo Euclid
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả14/ 31

17. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Cơ sở lý thuyết
Trích xuất đặc trưng của ảnh
• Đặc trưng văn bản (Textual Feature)
Tên ảnh: “White Flower”
Tags : [whiteflower,
hongkongflowershow, 2009,
bokeh, causewaybay, hongkong, jonnoj,
jonbinalay, nikond80, interestingness50]
Bình luận: “ ..very interesting title isn’t
it? Hong Kong Flower Show 2009
Causeway bay Hong Kong”
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả15/ 31

18. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Cơ sở lý thuyết
Trích xuất đặc trưng của ảnh
• Sự kết hợp các đặc trưng ảnh
Kết hợp hai vector đặc trưng theo công thức :
F = [ α × L1
L2
× F1 F2 ]
F là vector đặc trưng kết hợp
α là hệ số nhân thu được từ quá trình thực nghiệm
L1 là số chiều của vector đặc trưng thứ nhất
L2 là số chiều của vector đặc trưng thứ hai
F1 là vector đặc trưng thứ nhất
F2 là vector đặc trưng thứ hai
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả16/ 31

19. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Cơ sở lý thuyết
Thuật toán K-means
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả17/ 31

20. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Cơ sở lý thuyết
Lý thuyết đồ thị trong xếp hạng ảnh
• Xây dựng đồ thị ảnh
• Đưa đồ thị về dạng nhị
phân
• Xếp hạng lại các ảnh
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả18/ 31

21. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Mô hình giải quyết bài toán
Mô hình giải quyết bài toán
• Mô hình đề xuất gồm 4 giai đoạn:
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31

22. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Mô hình giải quyết bài toán
Mô hình giải quyết bài toán
• Mô hình đề xuất gồm 4 giai đoạn:
Giai đoạn 1: Trích xuất tập dữ liệu
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31

23. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Mô hình giải quyết bài toán
Mô hình giải quyết bài toán
• Mô hình đề xuất gồm 4 giai đoạn:
Giai đoạn 1: Trích xuất tập dữ liệu
Giai đoạn 2: Tính toán vector đặc trưng
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31

24. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Mô hình giải quyết bài toán
Mô hình giải quyết bài toán
• Mô hình đề xuất gồm 4 giai đoạn:
Giai đoạn 1: Trích xuất tập dữ liệu
Giai đoạn 2: Tính toán vector đặc trưng
Giai đoạn 3: Phân cụm ảnh
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31

25. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Mô hình giải quyết bài toán
Mô hình giải quyết bài toán
• Mô hình đề xuất gồm 4 giai đoạn:
Giai đoạn 1: Trích xuất tập dữ liệu
Giai đoạn 2: Tính toán vector đặc trưng
Giai đoạn 3: Phân cụm ảnh
Giai đoạn 4: Xếp hạng lại ảnh trong mỗi cụm
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31

26. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Mô hình giải quyết bài toán
Mô hình giải quyết bài toán
Mô hình đề xuất hệ thống phân cụm
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả20/ 31

27. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Nội dung
1 Giới thiệu bài toán phân cụm ảnh
2 Một số nghiên cứu liên quan
3 Mô hình giải quyết bài toán
Cơ sở lý thuyết
Mô hình giải quyết bài toán
4 Thực nghiệm
5 Kết luận và định hướng nghiên cứu tiếp theo
Kết luận
Định hướng nghiên cứu tiếp theo
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả21/ 31

28. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Thực nghiệm
• Các phương án thực nghiệm
Phân cụm dựa trên vector đặc trưng màu sắc ảnh
Phân cụm dựa trên vector đặc trưng kết cấu ảnh
Phân cụm dựa trên vector đặc trưng văn bản đi kèm ảnh
Phân cụm sau khi kết hợp các đặc trưng
• Đánh giá hệ thống dựa vào độ chính xác (Precision), độ hồi
tưởng (recall) và độ đo f-store (F1)
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả22/ 31

29. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Thực nghiệm
• Kết quả
Kết quả phân cụm của truy vấn "leopard" sau khi kết hợp các
đặc trưng
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả23/ 31

30. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Thực nghiệm
• Kết quả
Đánh giá kết quả phân cụm của hệ thống
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả24/ 31

31. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Nội dung
1 Giới thiệu bài toán phân cụm ảnh
2 Một số nghiên cứu liên quan
3 Mô hình giải quyết bài toán
Cơ sở lý thuyết
Mô hình giải quyết bài toán
4 Thực nghiệm
5 Kết luận và định hướng nghiên cứu tiếp theo
Kết luận
Định hướng nghiên cứu tiếp theo
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả25/ 31

32. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Kết luận
Kết luận
• Đối với đặc trưng nội dung ảnh, sử dụng đặc trưng màu sắc cho
kết quả chính xác hơn và thời gian phân cụm nhanh hơn so với
đặc trưng kết cấu.
• Thực nghiệm chứng tỏ sự kết hợp đặc trưng màu sắc và văn bản
cho kết quả tốt hơn việc chỉ dùng riêng rẽ các đặc trưng.
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả26/ 31

33. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Kết luận
Kết luận
• Mỗi vector đặc trưng có độ quan trọng khác nhau với mỗi loại
truy vấn:
Đặc trưng màu sắc: Hữu ích khi các ảnh có sự phân biệt về
màu nền.
Đặc trưng kết cấu: Hữu ích với các ảnh có sự phân bố cấu
trúc không gian.
Đặc trưng văn bản: Hữu ích với các ảnh có sự phân biệt tên
đối tượng theo ngữ cảnh.
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả27/ 31

34. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Định hướng nghiên cứu tiếp theo
Định hướng nghiên cứu tiếp theo
•Cải thiện thuật toán phân cụm
• Tự động nhận biết số cụm
•Nghiên cứu và thực nghiệm với một số đặc trưng nội dung khác
của ảnh (đặc trưng SIFT – SIFT feature, đặc trưng hình dạng
– Shape feature)
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả28/ 31

35. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Tài liệu tham khảo
[CHL04] Deng Cai, Xiaofei He2, Zhiwei Li, Wei-Ying Ma and
Ji-Rong Wen,
Hierarchical Clustering of WWW Image Search Results
Using Visual, Textual and Link Information, MM’04,
October 10–16, 2004..
[DAM00] Dengsheng Zhang, Aylwin Wong, Maria Indrawan,
Guojun Lu,
Content-based Image Retrieval Using Gabor Texture
Features, IEEE Transactions PAMI, 2000.
[JWY06] Feng Jing, Changhu Wang, Yuhuan Yao, Kefeng Deng,
Lei Zhang, Wei-Ying Ma,
IGroup: Web Image Search Results Clustering ,Santa
Barbara, California, USA : s.n., 2006.
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả29/ 31

36. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Tài liệu tham khảo
[LL09] Guangqing Liu, Byungwook Lee,
A Color-based Clustering Approach for Web Image Search
Results.Conference on Convergence and Hybrid
Information Technology 2009.
[ZSO08] Hilal Zitouni, Sare Sevil, Derya ¨Ozkan, Pınar Duygulu,
Re-ranking of Image Search Results using a Graph
Algorithm, Preprint submitted to 19th International
Conference on Pattern Recognition, 2008.
[DLL08] Haoyang Ding, Jing Liu, Hanqing Lui,
Hierarchical Clustering-Based Navigation of Image Search
Results , MM’08, October 26–31, 2008
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả30/ 31

37. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng
Cảm ơn các thầy, các
anh chị và các bạn đã
quan tâm theo dõi!
Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU
NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả31/ 31