Introduction to Support Vector Machine.

1. Support Vector Machine
Randy C. Wihandika
Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya

2. Support Vector Machine
● Dikembangkan oleh B. E. Boser, I. M. Guyon, dan V. N. Vapnik
pada 1992 dan dipresentasikan di Fifth Annual Workshop of
Computational Learning Theory
● Digunakan untuk pengenalan tulisan tangan

3. Decision Boundary
● Pemisah antara dua kelas
● Banyak decision boundary
yang dapat dibuat antara
dua kelas
● Dapat dicari menggunakan
algoritma perceptron, e.g.
neural network
● SVM Mencari hyperplane
yang paling optimal

4. Support Vector Machine
● Decision boundary harus
sejauh mungkin dari kedua
kelas
● Harus memaksimalkan
margin

5. Support Vector Machine
Data:
Optimasi:
(constrained optimization problem)

6. Constrained Optimization
Misal: minimalkan f(x) dengan constrain g(x) = 0
α: Lagrange multiplier
Untuk banyak constrain:
Lagrangian

7. Support Vector Machine
Optimasi:
Minimalkan w dan b, maksimalkan α (Lagrangian):

8. Support Vector Machine
Diferensialkan:
Maksimalkan:

9. Support Vector Machine
Dapatkan b:

10. Soft-margin SVM
● Memperbolehkan "error" pada klasifikasi
● Menggunakan variabel slack ξ

11. Soft-margin SVM
Minimalkan:
C: tradeoff antara error
dan margin
Minimalkan w, b, dan ξ, maksimalkan α:

12. Soft-margin SVM
Diferensialkan:
Selanjutnya sama dengan proses hard-
margin SVM

13. Non-linear SVM
● Memisahkan dua kelas secara non-linier
● Ide:
○ Petakan data ke ruang yang berdimensi lebih tinggi
○ Klasifikasi secara linier
● Fungsi yang memetakan: kernel function Ф
○ Input space: ruang asal data
○ Feature space: ruang data setelah transformasi
● Contoh:
Input Space Feature Space
(1D) (2D)
xi Ф Ф(xi2)

14. Non-linear SVM

15. Kernel Functions
● Polynomial
● Radial basis function (RBF)
● Sigmoidal

16. Overfitting
● Terjadi jika data dipetakan ke dimensi yang sangat tinggi

17. Support Vector Machine
● Kelebihan:
○ Tidak terjebak pada local optima
○ Dapat mengklasifikasi data berdimensi tinggi
● Kekurangan:
○ Harus memilih kernel function yang cocok

18. Conclusion
● SVM adalah alternatif yang baik dari neural network
● Konsep penting dalam SVM:
○ Memaksimalkan margin
○ Penggunaan kernel function

19. Selesai.