Data Mining

1. Klasifikasi dengan
Naive Bayes
Sardo P Sipayung, M.Kom

2. Naive Bayes
Simple Naïve Bayesian
Classifier merupakan salah satu
metode pengklasifikasi
berpeluang sederhana yang
berdasarkan pada penerapan
Teorema Bayes dengan asumsi
antar variabel penjelas saling
bebas (independen).

3. Algoritma ini
memanfaatkan metode
probabilitas dan statistik
yang dikemukakan oleh
ilmuwan Inggris Thomas
Bayes, yaitu memprediksi
probabilitas di masa depan
berdasarkan pengalaman di

4. ...
• Dua kelompok peneliti, satu oleh Pantel dan
Lin, dan yang lain oleh Microsoft Research
memperkenalkan metode statistik Bayesian
ini pada teknologi anti spam filter.
• Tetapi yang membuat algoritma Bayesian
filtering ini popular adalah pendekatan yang
dilakukan oleh Paul Graham. Dasar dari
teorema naive digunakan dalam
pemrograman adalah rumus Bayes berikut
ini:
P (A|B) = (P(B|A) * P(A))/P(B)
Artinya Peluang kejadian A sebagai B
ditentukan dari peluang B saat A, peluang A,
dan peluang B.

5. Penerapan Naive Bayes
•Untuk klasifikasi Dokumen
•Untuk deteksi SPAM atau
fitering SPAM

6. ContohKasus
• Menentukan Pertandingan Tennis dimainkan atau tidak

7. 1. Menentukan Probabilitas Class
Jumlah data = 14
a. Jumlah Class “Ya” = 10
b. Jumlah Class “Tidak = 4
Maka probabilitas
P (Main|Ya ) = 10/14 = 0.71
P (Main|Tidak) = 4/14 = 0.29

8. 2. Menentukan Probabilitas Kategori/Atribut
a. CUACA
Cuaca = Ya
P(Cuaca = Cerah|Ya) = 2/10 = 0.20
P(Cuaca = Berawan|Ya) = 4/10 = 0.40
P(Cuaca = Hujan|Ya) = 4/10 = 0.40
Cuaca = Tidak
P(Cuaca = Cerah|Tidak) = 3/4 = 0.75
P(Cuaca = Berawan|Tidak) = 0/4 = 0
P(Cuaca = Hujan|Tidak) = 1/4 = 0.25

9. 2. Menentukan Probabilitas Kategori/Atribut
b. SUHU
Suhu = Ya
P(Suhu = Panas|Ya) = 2/10 = 0.20
P(Suhu = Sejuk|Ya) = 4/10 = 0.40
P(Suhu = Dingin|Ya) = 4/10 = 0.40
Cuaca = Tidak
P(Suhu = Panas|Tidak) = 2/4 = 0.50
P(Suhu = Sejuk|Tidak) = 2/4 = 0.50
P(Suhu = Dingin|Tidak) = 0/4 = 0

10. 2. Menentukan Probabilitas Kategori/Atribut
c. KELEMBABAN
kelembaban = Ya
P(kelembaban = Tinggi|Ya) = 3/10 = 0.30
P(kelembaban = Normal|Ya) = 7/10 = 0.70
kelembaban = Tidak
P(kelembaban = Tinggi|Tidak) = 4/4 = 1
P(kelembaban = Normal|Tidak) = 0/4 = 0

11. 2. Menentukan Probabilitas Kategori/Atribut
d. BERANGIN
Berangin= Ya
P(Berangin = Salah|Ya) = 6/10 = 0.60
P(Berangin = Benar|Ya) = 4/10 = 0.40
Berangin = Tidak
P(Berangin = Salah|Tidak) = 2/4 = 0.50
P(Berangin = Benar|Tidak) = 2/4 = 0.50

12. Kategori/
Atrribut
Subset Ya Tidak
CUACA Cerah 0.20 0.75
Berawan 0.40 0
Hujan 0.40 0.25
SUHU Panas 0.20 0.50
Sejuk 0.40 0.50
Dingin 0.40 0
KELEMBABAN Tinggi 0.30 1
Normal 0.70 0
BERANGIN Salah 0.60 0.50
Benar 0.40 0.50

13. 3. Menentukan Hasil Klasifikasi NBC
DATA NO 1
YA =
P(Main|Ya)=P(Main|Ya)*(P(Cuaca=Cerah)*
P(Suhu=Panas)*P(Kelembaban=Tinggi)*P(Berangin=
Salah))
P(Main|Ya) = 0.71
P(Cuaca=Cerah) = 0.20
P(Suhu=Panas) = 0.20
P(Kelembaban=Tinggi) = 0.30
P(Berangin=Salah) = 0.60
= 0.71 *(0.20*0.20*0.30*0.60) = 0.005112

14. 3. Menentukan Hasil Klasifikasi NBC
DATA NO 1
TIDAK =
P(Main|Tidak)=P(Main|Tidak)*(P(Cuaca=Cerah)*
P(Suhu=Panas)*P(Kelembaban=Tinggi)*P(Berangin=
Salah))
P(Main|Ya) = 0.29
P(Cuaca=Cerah) = 0.75
P(Suhu=Panas) = 0.50
P(Kelembaban=Tinggi) = 1
P(Berangin=Salah) = 0.50
= 0.29 *(0.75*0.50*1*0.50) = 0.054375

15. 3. Menentukan Hasil Klasifikasi NBC
DATA NO 2
Ya =
P(Main|Ya)=P(Main|Ya)*(P(Cuaca=Cerah)*
P(Suhu=Panas)*P(Kelembaban=Tinggi)*P(Berangin=
Benar))
P(Main|Ya) = 0.71
P(Cuaca=Cerah) = 0.20
P(Suhu=Panas) = 0.20
P(Kelembaban=Tinggi) = 0.30
P(Berangin=Salah) = 0.40
= 0.71 *(0.20*0.20*30*0.40) = 0.003408

16. 3. Menentukan Hasil Klasifikasi NBC
DATA NO 2
Tidak =
P(Main|Tidak)=P(Main|Tidak)*(P(Cuaca=Cerah)*
P(Suhu=Panas)*P(Kelembaban=Tinggi)*P(Berangin=
Benar))
P(Main|Ya) = 0.29
P(Cuaca=Cerah) = 0.75
P(Suhu=Panas) = 0.50
P(Kelembaban=Tinggi) = 1
P(Berangin=Salah) = 0.50
= 0.29 *(0.75*0.50*1*0.50) = 0.054375

17. DihitungsampaiData14,sehinggadiperolehhasilsebagaiberikut:

18. Fakta data Faktual dari Tabel
Klasifikasi
• Membandingkan data “Ya” dengan “Tidak”
Contoh
No.1
Ya = 0.00514
Tidak = 0.05357
Jika “Tidak” lebih besar maka klasifikasi “Tidak”
Jika “Ya” lebih besar maka klasifikasi “ Ya”

19. Pengujian
Misalnya ada Data Baru yaitu
Cuaca = Hujan
Suhu = Panas
Kelembaban = Tinggi
Berangin = Benar
Apakah data diatas Klasifikasi “Ya” atau “Tidak”
P(Main|Ya) =0.71*(0.4*0.2*0.3*0.4) =
0.00686
P(Main|Tidak)=0.29*(0.25*0.5*1*0.5) =
0.01786
Karena Klasifikasi “Tidak” Lebih besar
Maka Klasifikasinya adalah “ Tidak”

20. Latihan
Misalnya terdapat ingin diketahui
apakah suatu objek masuk dalam
ketegori dipilih untuk perumahan
atau tidak dengan algoritma Naive
Bayes Classifier. Untuk
menetapkan suatu daerah akan
dipilih sebagai lokasi untuk
mendirikan perumahan, telah
dihimpun 10 aturan.

21. Ada 4 atribut yang digunakan, yaitu:
• harga tanah per meter persegi (C1),
• jarak daerah tersebut dari pusat kota
(C2),
• ada atau tidaknya angkutan umum di
daerah tersebut (C3), dan
• keputusan untuk memilih daerah
tersebut sebagai lokasi perumahan
(C4).

22. ...

23. ...
• Test Set:
Berdasarkan data tersebut, apabila diketahui
suatu daerah dengan
• harga tanah MAHAL,
• jarak dari pusat kota SEDANG,
• dan ADA angkutan umum,
• Bagaimana kategori data diatas apakah Dipilih
untuk Perumahan atau Tidak…

24. Terima Kasih 