Machine Learning
1


Supervised Learning
(
‫מפוקחת‬ ‫למידה‬
)

‫סוכן‬
"
‫רואה‬
"
‫ואדומים‬ ‫ירוקים‬ ‫תפוחים‬

‫ירוק‬ ‫או‬ ‫אדום‬ ‫הוא‬ ‫האם‬ ‫לסוכן‬ ‫אומרים‬ ‫תפוח‬ ‫לכל‬

‫אדום‬ ‫ומהו‬ ‫ירוק‬ ‫תפוח‬ ‫מהו‬ ‫לומד‬ ‫הסוכן‬

‫חדש‬ ‫תפוח‬ ‫לסוכן‬ ‫נראה‬

‫אדום‬ ‫או‬ ‫ירוק‬ ‫תפוח‬ ‫זה‬ ‫אם‬ ‫ידע‬ ‫הסוכן‬

Unsupervised Learning
(
‫מפוקחת‬ ‫בלתי‬ ‫למידה‬
)

‫סוכן‬
"
‫רואה‬
"
‫ואדומים‬ ‫ירוקים‬ ‫תפוחים‬ ‫הרבה‬

‫לא‬
‫התפוחים‬ ‫צבע‬ ‫מה‬ ‫לסוכן‬ ‫אומרים‬

‫פירות‬ ‫של‬ ‫קבוצות‬ ‫שתי‬ ‫שיש‬ ‫לומד‬ ‫הסוכן‬

‫קורה‬ ‫זה‬ ‫כל‬ ‫איך‬
?
‫נלמד‬
...
2
‫למידה‬ ‫של‬ ‫סוגים‬
-
‫ואינטואיציה‬ ‫דוגמאות‬
‫ירוק‬ ‫אדום‬


‫מכונה‬ ‫למידת‬
‫לשפר‬ ‫לסוכן‬ ‫המאפשרות‬ ‫טכניקות‬ ‫של‬ ‫אוסף‬ ‫היא‬
‫לרשותו‬ ‫שעומדים‬ ‫הנתונים‬ ‫בעזרת‬ ‫ביצועים‬

‫כאשר‬ ‫בלמידה‬ ‫המשתמש‬ ‫חכם‬ ‫סוכן‬ ‫לתכנן‬ ‫כדאי‬
:

‫הסביבה‬ ‫על‬ ‫מספיק‬ ‫יודעים‬ ‫לא‬ ‫אנחנו‬

‫במאדים‬ ‫ניווט‬
(
http://www.sciencedirect.com/science/article/pii/0921889095000228
)

‫הזמן‬ ‫במשך‬ ‫משתנה‬ ‫הסביבה‬

‫משתנה‬ ‫במבוך‬ ‫ניווט‬

‫שלנו‬ ‫הידע‬ ‫את‬ ‫להסביר‬ ‫מתקשים‬ ‫אנחנו‬

‫דיבור‬ ‫זיהוי‬
,
‫ראייה‬
(
‫רואה‬ ‫העין‬ ‫איך‬ ‫יודעים‬ ‫איננו‬
)

‫אישית‬ ‫התאמה‬ ‫דורשת‬ ‫הבעיה‬

‫משתמש‬ ‫של‬ ‫אצבע‬ ‫טביעת‬ ‫הכרת‬

‫מדי‬ ‫מסובך‬ ‫הוא‬ ‫חכם‬ ‫סוכן‬ ‫תכנון‬ ‫לפעמים‬

‫אינטרנט‬ ‫דפי‬ ‫של‬ ‫דירוג‬ ‫חישוב‬
(
‫דינמיות‬
,
‫אישית‬ ‫התאמה‬
)...
3
‫מכונה‬ ‫למידת‬
:
‫ומתי‬ ‫מה‬
?

4

‫דוגמא‬
1
–
‫פנים‬ ‫זיהוי‬

‫הסוכן‬
"
‫יראה‬
"
‫התג‬ ‫עם‬ ‫לתמונות‬ ‫דוגמאות‬ ‫הרבה‬
,
‫האדם‬ ‫שם‬ ‫שהוא‬

‫האדם‬ ‫את‬ ‫לתאר‬ ‫איך‬ ‫מהם‬ ‫ילמד‬ ‫הסוכן‬

‫בד‬
"
‫שליליות‬ ‫דוגמאות‬ ‫גם‬ ‫יש‬ ‫כ‬
AT&T Laboratories, Cambridge UK
http://www.uk.research.att.com/facedatabase.html

‫חדשה‬ ‫תמונה‬ ‫כל‬ ‫על‬ ‫לומר‬ ‫ידע‬ ‫הסוכן‬
,
‫לא‬ ‫או‬ ‫האדם‬ ‫של‬ ‫תמונה‬ ‫היא‬ ‫אם‬
.
5


‫הקרויים‬ ‫נתונים‬ ‫אוסף‬ ‫נתון‬
‫דוגמאות‬
(
examples
)

‫ע‬ ‫מיוצגת‬ ‫דוגמא‬ ‫כל‬
"
‫של‬ ‫וקטור‬ ‫י‬
‫תכונות‬
(
features,attributes
)

‫נתון‬ ‫דוגמה‬ ‫לכל‬
‫תג‬
(
label
)
‫אפשריים‬ ‫תגים‬ ‫קבוצת‬ ‫מתוך‬

‫דוגמא‬
:

‫מבנקים‬ ‫לווים‬ ‫עבור‬ ‫נתונים‬ ‫לנו‬ ‫שיש‬ ‫נניח‬

‫דוגמא‬ ‫הוא‬ ‫לווה‬ ‫כל‬
(
‫ע‬ ‫מיוצגת‬
"
‫וקטור‬ ‫י‬
)
‫המבנה‬ ‫בעלת‬

(
‫שכר‬
,
‫משפחתי‬ ‫מצב‬
,
‫לימוד‬ ‫שנות‬
)...

‫תיוג‬ ‫ועם‬
"
‫בזמן‬
"
‫או‬
"
‫באיחור‬
"
( (
7000
,
‫נשוי‬
,
12
)...
,
‫בזמן‬
)
( (
4000
,
‫רווק‬
,
14
)...
,
‫באיחור‬
)
( (
16000
,
‫נשוי‬
,
16
)...
,
‫בזמן‬
)
6
Supervised Learning
(
‫מפוקחת‬ ‫למידה‬
)
‫נתון‬ ‫מה‬
?


‫מטרה‬
:
‫חדשה‬ ‫דוגמא‬ ‫בהינתן‬
,
‫מתויגת‬ ‫ולא‬
,
‫לתייג‬ ‫רוצים‬
‫אותה‬
,
‫לנו‬ ‫שיש‬ ‫בדוגמאות‬ ‫שימוש‬ ‫בעזרת‬
.

‫איך‬
?
.1
‫פונקציה‬ ‫להפיק‬ ‫עלינו‬
(
‫מודל‬
)
‫הנתונים‬ ‫לאוסף‬ ‫שמתאימה‬
(
‫דוגמאות‬
+
‫תיוג‬
)
.2
‫בפונקציה‬ ‫נשתמש‬
(
‫מודל‬
)
‫החדשה‬ ‫הדוגמא‬ ‫לתיוג‬
.

‫דוגמה‬
:

‫בהלוואה‬ ‫המעוניין‬ ‫לקוח‬ ‫של‬ ‫אטריבוטים‬ ‫נתונים‬
.

‫על‬ ‫נתונים‬ ‫סמך‬ ‫על‬
1,000
‫במערכת‬ ‫השמורים‬ ‫קודמים‬ ‫לווים‬
,
‫יש‬
‫ההלוואה‬ ‫את‬ ‫לאשר‬ ‫האם‬ ‫להחליט‬
7
Supervised Learning
(
‫מפוקחת‬ ‫למידה‬
)
‫המטרה‬ ‫מה‬
?


‫דוגמאות‬ ‫מספר‬ ‫נתונים‬

‫נקרא‬ ‫הדוגמאות‬ ‫סט‬
training set
(
‫אימון‬ ‫סט‬
)

‫מספר‬ ‫דוגמה‬ ‫של‬ ‫אטריבוטים‬ ‫נסמן‬
i
‫ידי‬ ‫על‬
‫ווקטור‬
xi

‫נניח‬
m
‫אטריבוטים‬
.
‫אזי‬
xi=(xi1, xi2, …, xim)

‫מספר‬ ‫דוגמה‬ ‫של‬ ‫תג‬ ‫נסמן‬
i
‫ידי‬ ‫על‬
yi

‫עם‬ ‫אימון‬ ‫סט‬
n
‫דוגמאות‬
:
{(x1, y1), (x2, y2), …, (xn, yn)}

‫לתגים‬ ‫אטריבוטים‬ ‫בין‬ ‫קשר‬ ‫קיים‬
:
yi=f(xi)

‫הפונקציה‬ ‫אך‬
f
‫לנו‬ ‫ידועה‬ ‫לא‬
8
‫של‬ ‫פורמלית‬ ‫הגדרה‬
Supervised Learning


‫של‬ ‫המטרה‬
Supervised Learning
‫בין‬ ‫קשר‬ ‫לגלות‬ ‫היא‬
‫לתגים‬ ‫אטריבוטים‬
:
yi=f(xi)

‫חדשה‬ ‫דוגמה‬ ‫עבור‬ ‫שגם‬ ‫כך‬
x
‫החישוב‬ ‫יתאים‬
y=f(x)
,
‫כלומר‬
f(x)
‫הדוגמה‬ ‫של‬ ‫האמתי‬ ‫התג‬ ‫על‬ ‫טוב‬ ‫צפי‬ ‫יהיה‬

hypothesis
(
‫היפותזה‬
)
‫של‬ ‫השערה‬ ‫היא‬
f
‫האמתי‬

‫היפותזה‬ ‫נסמן‬
h

hypothesis space
(
‫היפותזות‬ ‫מרחב‬
)
–
‫של‬ ‫מרחב‬
‫עבור‬ ‫אפשריות‬ ‫פונקציות‬
h

‫לינאריות‬ ‫פונקציות‬ ‫כגון‬

‫נקראת‬ ‫היפותזה‬
consistent
(
‫עקבית‬
)
‫עם‬ ‫מסכימה‬ ‫היא‬ ‫אם‬
f
‫אימון‬ ‫סט‬ ‫של‬ ‫הדוגמאות‬ ‫כל‬ ‫על‬
,
‫אם‬ ‫כלומר‬
h(xi)=f(xi)
9
Hypothesis
‫ו‬
Hypothesis Space


‫סוגי‬ ‫שני‬ ‫בין‬ ‫מבדילים‬
Supervised Learning

‫תגים‬ ‫של‬ ‫תחום‬ ‫לפי‬
yi

‫אם‬
yi
‫קטגוריות‬ ‫של‬ ‫סופית‬ ‫מקבוצה‬ ‫נלקחים‬
(
‫כגון‬
"
‫הלוואה‬
‫הוחזרה‬
"
‫או‬
"
‫הוחזרה‬ ‫לא‬ ‫הלוואה‬
)"
,
‫היא‬ ‫למידה‬ ‫בעיית‬ ‫אזי‬
‫בעיית‬
Classification
(
‫סיווג‬
)

‫אם‬
yi
‫מספרים‬ ‫הם‬
(
‫אויר‬ ‫טמפרטורת‬ ‫כגון‬
)
,
‫בעיית‬ ‫אזי‬
‫בעיית‬ ‫היא‬ ‫למידה‬
Regression
(
‫רגרסיה‬
)

‫רגרסיה‬ ‫בעיית‬ ‫של‬ ‫דוגמה‬
:
‫אוויר‬ ‫טמפרטורת‬ ‫נתונה‬
(
‫תג‬
)
‫עבור‬
100
‫האחרונים‬ ‫הימים‬
.
‫אוויר‬ ‫לחץ‬ ‫גם‬ ‫נתונים‬ ‫אלה‬ ‫ימים‬ ‫עבור‬
,
‫הקודם‬ ‫היום‬ ‫של‬ ‫אוויר‬ ‫וטמפרטורת‬ ‫לחות‬
(
‫אטריבוטים‬
.)
‫רוצים‬ ‫אנו‬
‫מחר‬ ‫שתהיה‬ ‫טמפרטורה‬ ‫על‬ ‫צפי‬ ‫לקבל‬
10
‫של‬ ‫סוגים‬
Supervised Learning


Okham’s Razor
(
‫של‬ ‫סכין‬
Okham
)

‫לפשטותה‬ ‫היפותזה‬ ‫של‬ ‫עקביות‬ ‫בין‬ ‫נכון‬ ‫באיזון‬ ‫צורך‬ ‫יש‬

‫היפותזה‬ ‫לבנות‬ ‫אפשר‬
h
‫אימון‬ ‫סט‬ ‫עם‬ ‫עקבית‬ ‫שתהיה‬ ‫מסובכת‬
,
‫עתידיות‬ ‫דוגמאות‬ ‫על‬ ‫טוב‬ ‫צפי‬ ‫לבצע‬ ‫תצליח‬ ‫לא‬ ‫אך‬

‫מכנים‬ ‫זאת‬ ‫בעיה‬
overfitting
(
‫יתר‬ ‫תיאום‬
)

‫בעיית‬ ‫נבין‬
overfitting
‫רגרסיה‬ ‫של‬ ‫דוגמה‬ ‫בעזרת‬
:
11
‫עיקרון‬
Okham’s Razor

12

‫לינארית‬ ‫רגרסיה‬
-
Linear Regression

‫האחרונות‬ ‫בשנים‬ ‫משומשים‬ ‫רכבים‬ ‫מחירי‬ ‫שנתונים‬ ‫נניח‬

x
-
‫הרכב‬ ‫של‬ ‫אטריבוטים‬

y
-
‫מחיר‬

h = h (x)

‫למשל‬
h=w1x+ w0

‫את‬ ‫נמצא‬ ‫איך‬
‫הוקטור‬
w
?

‫נגדיר‬
loss function
(
‫הפסד‬ ‫פונקציית‬
)

‫הניתן‬ ‫ככל‬ ‫קטנה‬ ‫תהיה‬ ‫שהיא‬ ‫רוצים‬ ‫אנחנו‬

‫למשל‬
:
‫מ‬ ‫הנקודות‬ ‫מרחקי‬ ‫סכום‬
h
h = w1x+w0
13


‫לינאריות‬ ‫פונקציות‬ ‫בעזרת‬ ‫רגרסיה‬ ‫מבצעים‬ ‫איך‬ ‫נראה‬

‫כלומר‬
,
‫בצורת‬ ‫פונקציות‬ ‫הוא‬ ‫היפותזות‬ ‫מרחב‬
:
hw(x)=w0+w1x1+w2x2+…wmxm

‫אחד‬ ‫אטריביוט‬ ‫בתי‬ ‫מדוגמאות‬ ‫נתחיל‬ ‫פשטות‬ ‫לצורך‬

‫בצורת‬ ‫יהיו‬ ‫ההיפותזות‬
hw(x)=w0+w1x

‫למצוא‬ ‫צריכים‬ ‫אנחנו‬
w0
‫ו‬
w1
‫לדוגמאות‬ ‫ביותר‬ ‫המתאימים‬
‫האימון‬ ‫בסט‬

‫נגדיר‬ ‫איך‬
"
‫ביותר‬ ‫מתאימים‬
"
?

‫נגדיר‬
loss function
(
‫הפסד‬ ‫פונקציית‬
)

‫התאמת‬ ‫של‬ ‫המודד‬ ‫תהיה‬ ‫היא‬
h
‫אימון‬ ‫לסט‬

‫הניתן‬ ‫ככל‬ ‫קטנה‬ ‫תהיה‬ ‫שהיא‬ ‫רוצים‬ ‫אנחנו‬

‫פופולארית‬ ‫הפסד‬ ‫פונקציית‬
: 14
‫נוספת‬ ‫העמקה‬


‫אנליטי‬ ‫בדרך‬ ‫למצוא‬ ‫יכולים‬ ‫אנחנו‬
w0
‫ו‬
w1
‫שההפסד‬ ‫כך‬
(
‫שהגדרנו‬ ‫כמו‬
)
‫מינימלי‬ ‫יהיה‬

Loss(hw)
‫קיצוניות‬ ‫בנקודות‬ ‫רק‬ ‫מינימלי‬ ‫להיות‬ ‫יכול‬
,
‫כלומר‬
‫עבור‬ ‫חלקיות‬ ‫שנגזרות‬ ‫במקומות‬
w0
‫ו‬
w1
‫אפס‬ ‫הם‬
:



‫הפתרונות‬ ‫אלו‬
:
15
‫עבור‬ ‫לינארית‬ ‫רגרסיה‬ ‫עבור‬ ‫אופטימלי‬ ‫פתרון‬
‫אחד‬ ‫אטריביוט‬ ‫של‬ ‫מקרה‬


‫עבור‬ ‫נכון‬ ‫הינו‬ ‫הקודמת‬ ‫בשקופית‬ ‫שקיבלנו‬ ‫אופטימלי‬ ‫פתרון‬
‫מסוימת‬ ‫הפסד‬ ‫ופונקציית‬ ‫לינאריות‬ ‫היפותזות‬

‫אחרת‬ ‫הפסד‬ ‫פונקציית‬ ‫או‬ ‫אחר‬ ‫היפותזות‬ ‫מרחב‬ ‫עבור‬
,
‫לא‬
‫אנליטי‬ ‫באופן‬ ‫פתרון‬ ‫לקבל‬ ‫נוכל‬ ‫תמיד‬

‫בשם‬ ‫לוקלי‬ ‫חיפוש‬ ‫בסוג‬ ‫משתמשים‬ ‫אז‬
gradient descent
:

‫מקודם‬ ‫כמו‬ ‫הפסד‬ ‫פונקציית‬ ‫עם‬ ‫לינארית‬ ‫רגרסיה‬ ‫עבור‬
,
‫נקבל‬
:
16
‫מסובך‬ ‫יותר‬ ‫הוא‬ ‫כשהמצב‬ ‫עושים‬ ‫מה‬
?

‫כדי‬ ‫מכונה‬ ‫למידת‬ ‫המשמש‬ ‫פופולרי‬ ‫אופטימיזציה‬ ‫אלגוריתם‬
‫פונקציה‬ ‫של‬ ‫המינימלי‬ ‫הערך‬ ‫את‬ ‫למצוא‬
.
‫ידי‬ ‫על‬ ‫עובד‬ ‫זה‬
‫התאמה‬
‫איטרטיבית‬
‫כדי‬ ‫פונקציה‬ ‫של‬ ‫הפרמטרים‬ ‫ערכי‬ ‫של‬
‫של‬ ‫בפועל‬ ‫לפלט‬ ‫החזוי‬ ‫הפלט‬ ‫בין‬ ‫השגיאה‬ ‫את‬ ‫למזער‬
‫הנתונים‬
.
‫לתחתית‬ ‫להגיע‬ ‫רוצים‬ ‫ואתם‬ ‫הר‬ ‫על‬ ‫עומדים‬ ‫שאתם‬ ‫דמיינו‬
‫העמק‬
.
‫מפה‬ ‫לכם‬ ‫אין‬
,
‫כיוון‬ ‫את‬ ‫שאומר‬ ‫מצפן‬ ‫לכם‬ ‫יש‬ ‫אבל‬
‫ביותר‬ ‫התלולה‬ ‫הירידה‬
.
‫כדי‬ ‫הזה‬ ‫במצפן‬ ‫להשתמש‬ ‫אפשר‬
‫התהליך‬ ‫על‬ ‫ולחזור‬ ‫ביותר‬ ‫התלולה‬ ‫הירידה‬ ‫בכיוון‬ ‫צעד‬ ‫לעשות‬
‫העמק‬ ‫לתחתית‬ ‫שתגיעו‬ ‫עד‬ ‫הזה‬
.
17
gradient descent

‫דומה‬ ‫באופן‬
,
gradient descent
‫ראשוני‬ ‫בניחוש‬ ‫מתחילים‬
‫השיפוע‬ ‫את‬ ‫ומחשבים‬ ‫הפונקציה‬ ‫של‬ ‫לפרמטרים‬
,
‫כיוון‬ ‫שהוא‬
‫ביותר‬ ‫התלולה‬ ‫הירידה‬
.
‫הפרמטרים‬ ‫את‬ ‫מכוונים‬ ‫מכן‬ ‫לאחר‬
‫הפלט‬ ‫בין‬ ‫השגיאה‬ ‫את‬ ‫למזער‬ ‫כדי‬ ‫השיפוע‬ ‫של‬ ‫ההפוך‬ ‫בכיוון‬
‫בפועל‬ ‫לפלט‬ ‫החזוי‬
.
‫לערך‬ ‫שמגיעים‬ ‫עד‬ ‫זה‬ ‫תהליך‬ ‫על‬ ‫חוזרים‬
‫הפונקציה‬ ‫של‬ ‫המינימלי‬
.
‫הלמידה‬ ‫קצב‬ ‫נקרא‬ ‫השיפוע‬ ‫בכיוון‬ ‫עושה‬ ‫שאתה‬ ‫הצעד‬ ‫גודל‬
.
‫ושיעור‬ ‫מהמינימום‬ ‫לחריגה‬ ‫לגרום‬ ‫עלול‬ ‫גדול‬ ‫למידה‬ ‫שיעור‬
‫להגיע‬ ‫כדי‬ ‫צעדים‬ ‫מדי‬ ‫יותר‬ ‫ללכת‬ ‫לנו‬ ‫לגרום‬ ‫עלול‬ ‫קטן‬ ‫למידה‬
‫למינימום‬
.
18
gradient descent


‫היפותזות‬ ‫מרחב‬
:
hw(x)=w0+w1x1+w2x2+…wmxm

‫הפסד‬ ‫פונקציית‬
:

‫עבור‬ ‫העדכונים‬
gradient descent
:

‫ל‬ ‫אפילו‬ ‫מתאים‬ ‫זה‬ ‫עדכון‬
w0
,
‫מספר‬ ‫עם‬ ‫אטריביוט‬ ‫נוסיף‬ ‫רק‬
0
‫של‬ ‫קבוע‬ ‫ערך‬ ‫בעל‬
1
,
‫כלומר‬
xj,0=1
‫הדוגמאות‬ ‫כל‬ ‫עבור‬

‫קצר‬ ‫באופן‬ ‫שלנו‬ ‫היפותזות‬ ‫לבטא‬ ‫אפשר‬ ‫שעכשיו‬ ‫לב‬ ‫שימו‬
:
hw(x)=w∙x

‫אנליטי‬ ‫באופן‬ ‫גם‬ ‫פתרון‬ ‫לקבל‬ ‫אפשר‬
19
‫אטריבוטים‬ ‫של‬ ‫רב‬ ‫מספר‬ ‫עם‬ ‫לינארית‬ ‫רגרסיה‬

20


‫היפותזות‬ ‫מרחב‬ ‫הם‬ ‫החלטה‬ ‫עצי‬

‫היפותזה‬ ‫הוא‬ ‫החלטה‬ ‫עץ‬

‫הזה‬ ‫במרחב‬ ‫להשתמש‬ ‫כדי‬
,
‫אלגוריתמים‬ ‫שני‬ ‫צריכים‬

‫היפותזה‬ ‫לבניית‬ ‫אלגוריתם‬
-
‫החלטה‬ ‫עץ‬ ‫יצירת‬

‫שבנינו‬ ‫ההיפותזה‬ ‫בעזרת‬ ‫לסיווג‬ ‫אלגוריתם‬

‫דוגמאות‬ ‫אוסף‬ ‫סמך‬ ‫על‬ ‫מתבצעת‬ ‫החלטה‬ ‫עץ‬ ‫בניית‬

‫העץ‬ ‫בהינתן‬
,
‫ע‬ ‫חדשה‬ ‫דוגמא‬ ‫לסווג‬ ‫ניתן‬
"
‫העלה‬ ‫ומציאת‬ ‫בעץ‬ ‫טיול‬ ‫י‬
‫המתאים‬

‫דוגמא‬
:
‫אם‬ ‫בודק‬ ‫ההחלטה‬ ‫עץ‬
‫בחוץ‬ ‫לשחק‬ ‫כדאי‬

‫השאלה‬
‫היא‬ ‫הקשה‬
:
‫העץ‬ ‫את‬ ‫בונים‬ ‫איך‬
?
21
‫החלטה‬ ‫עצי‬


‫במסעדה‬ ‫לקוחות‬ ‫של‬ ‫דוגמאות‬ ‫נתונים‬

‫שמתפנה‬ ‫עד‬ ‫מחכה‬ ‫לקוח‬ ‫אם‬ ‫המתאר‬ ‫תג‬ ‫יש‬ ‫לקוח‬ ‫כל‬ ‫עבור‬
‫מקום‬

‫עבור‬ ‫נתונים‬ ‫קיימים‬
12
‫לקוחות‬
.
‫נמדדו‬
10
‫אטריבוטים‬
22
‫במסעדה‬ ‫לקוחות‬ ‫עבור‬ ‫החלטה‬ ‫עץ‬ ‫נבנה‬
...
22


Alternate
–
‫באזור‬ ‫אחרת‬ ‫מסעדה‬ ‫יש‬ ‫האם‬

Bar
–
‫בו‬ ‫לחכות‬ ‫נוח‬ ‫אזור‬ ‫יש‬ ‫האם‬

Fri/Sat
-
‫שישי‬ ‫יום‬ ‫האם‬
/
‫מוצ‬
"
‫ש‬

Hungry
-
‫רעב‬ ‫אני‬ ‫האם‬

Patrons
–
‫במסעדה‬ ‫האנשים‬ ‫כמות‬
(None, Some, Full)

Price
–
‫מחירים‬ ‫טווח‬
($, $$, $$$)

Raining
–
‫גשם‬ ‫יורד‬ ‫האם‬

Reservation
-
‫מקום‬ ‫שמרנו‬ ‫האם‬

Type
-
‫סוג‬

WaitEstimate
-
‫משוער‬ ‫המתנה‬ ‫זמן‬
(0-10, 10-30, 30-60, >60)
‫לשימושכם‬
:
‫לאטריבוטים‬ ‫מקרא‬
...
23


‫בדוגמה‬ ‫אימון‬ ‫סט‬ ‫עבור‬
,
‫ההחלטה‬ ‫עץ‬ ‫את‬ ‫לבנות‬ ‫אפשר‬
‫הבא‬
:
24
‫בדוגמה‬ ‫אימון‬ ‫סט‬ ‫עבור‬ ‫החלטה‬ ‫עץ‬


‫ל‬ ‫בהתאם‬
Okham’s Razor
,
‫ככל‬ ‫קטן‬ ‫עץ‬ ‫לבנות‬ ‫רוצים‬ ‫אנחנו‬
‫אימון‬ ‫בסט‬ ‫הדוגמאות‬ ‫עם‬ ‫עקבי‬ ‫שיהיה‬ ‫שניתן‬

‫ביותר‬ ‫הקטן‬ ‫העץ‬ ‫מהו‬ ‫לחשב‬ ‫ישירה‬ ‫דרך‬ ‫אין‬

‫אצבע‬ ‫בחוק‬ ‫משתמשים‬
:
‫עבור‬ ‫קדקוד‬ ‫מוסיפים‬ ‫פעם‬ ‫כל‬
‫הניתן‬ ‫ככל‬ ‫מהר‬ ‫להחלטה‬ ‫אותנו‬ ‫שיקרב‬ ‫אטריבוט‬

(
‫כלומר‬
,
‫דומה‬ ‫תג‬ ‫בעלי‬ ‫יהיו‬ ‫ענף‬ ‫כל‬ ‫תחת‬ ‫הדוגמאות‬ ‫שכל‬
)
25
‫החלטה‬ ‫עץ‬ ‫בונים‬ ‫איך‬
?


‫אותנו‬ ‫שמקרב‬ ‫אטריבוט‬ ‫עבור‬ ‫קדקוד‬ ‫מוסיפים‬ ‫פעם‬ ‫כל‬
‫הניתן‬ ‫ככל‬ ‫להחלטה‬
.
‫דוגמה‬
(
‫בכיתה‬ ‫הוסברה‬
:)
26
‫הבא‬ ‫האטריבוט‬ ‫בחירת‬


‫דוגמה‬
:

‫מכונות‬ ‫מספר‬ ‫עבור‬
(
‫שבורות‬ ‫מהן‬ ‫וחלק‬ ‫תקינות‬ ‫מהן‬ ‫חלק‬
)
‫מדדו‬
RPM
‫ו‬
vibration

‫שבורה‬ ‫למכונה‬ ‫תקינה‬ ‫מכונה‬ ‫בין‬ ‫להבדיל‬ ‫כיצד‬ ‫ללמוד‬ ‫רוצים‬ ‫אנו‬
‫אלו‬ ‫אטריבוטים‬ ‫סמך‬ ‫על‬
27
‫לינארי‬ ‫סיווג‬

‫לינארי‬ ‫בסיווג‬
,
‫רוצים‬ ‫אנו‬
‫למצוא‬
separator
function
(
‫פונקציית‬
‫הפרדה‬
)
‫בצורת‬
0
w∙x=


‫שחישבנו‬ ‫נניח‬
w
‫הפרדה‬ ‫פונקציית‬ ‫לנו‬ ‫ויש‬
0
=
w∙x

‫חדשה‬ ‫דוגמה‬ ‫נתייג‬
x
‫הבא‬ ‫באופן‬
:
28
‫הפרדה‬ ‫פונקציית‬ ‫בעזרת‬ ‫סיווג‬ ‫נבצע‬ ‫איך‬
?


‫דוגמה‬
:

‫מכונות‬ ‫מספר‬ ‫עבור‬
(
‫שבורות‬ ‫מהן‬ ‫וחלק‬ ‫תקינות‬ ‫מהן‬ ‫חלק‬
)
‫מדדו‬
RPM
‫ו‬
vibration

‫שבורה‬ ‫למכונה‬ ‫תקינה‬ ‫מכונה‬ ‫בין‬ ‫להבדיל‬ ‫כיצד‬ ‫ללמוד‬ ‫רוצים‬ ‫אנו‬
‫אלו‬ ‫אטריבוטים‬ ‫סמך‬ ‫על‬
29
‫לינארי‬ ‫סיווג‬ ‫הרחבה‬

‫לינארי‬ ‫בסיווג‬
,
‫רוצים‬ ‫אנו‬
‫למצוא‬
separator
function
(
‫פונקציית‬
‫הפרדה‬
)
‫בצורת‬
0
w∙x=

‫תרגיל‬
:
‫הייתה‬ ‫מה‬
‫הפרדה‬ ‫פונקציית‬
‫בדוגמה‬
?

‫רמז‬
:
‫מלאכותי‬ ‫אטריבוט‬ ‫להוסיף‬ ‫יש‬


‫שחישבנו‬ ‫נניח‬
w
‫הפרדה‬ ‫פונקציית‬ ‫לנו‬ ‫ויש‬
0
=
w∙x

‫חדשה‬ ‫דוגמה‬ ‫נתייג‬
x
‫הבא‬ ‫באופן‬
:

‫בכיתה‬ ‫הוסבר‬
(
‫אחד‬ ‫אטריביוט‬ ‫עם‬ ‫דוגמה‬ ‫בעזרת‬
)
‫מדוע‬
‫נכון‬ ‫זה‬
30
‫הפרדה‬ ‫פונקציית‬ ‫בעזרת‬ ‫סיווג‬ ‫נבצע‬ ‫איך‬
?


‫לחשב‬ ‫אפשר‬ ‫האם‬
w
‫אנליטי‬ ‫באופן‬
?

‫לא‬
...

‫מינימלי‬ ‫הפסד‬ ‫להבטיח‬ ‫רוצים‬ ‫אנו‬

‫ל‬ ‫שוות‬ ‫חלקיות‬ ‫כשנגזרות‬ ‫יושג‬ ‫זה‬
0

‫של‬ ‫הנגזרות‬ ‫אבל‬
hw
‫או‬ ‫הם‬
0
‫קיימות‬ ‫לא‬ ‫או‬
(
‫בה‬ ‫יש‬ ‫היא‬ ‫כי‬
‫קפיצות‬
!)
31
‫לינארי‬ ‫סיווג‬ ‫של‬ ‫פתרון‬


‫עקבית‬ ‫היפותזה‬ ‫קיימת‬ ‫אם‬
,
‫אותה‬ ‫לחשב‬ ‫אפשר‬ ‫אזי‬
‫בעזרת‬
gradient descent
‫עדכונים‬ ‫עם‬
:

‫ברגרסיה‬ ‫כמו‬ ‫בדיוק‬
!

‫עובד‬ ‫זה‬ ‫עדכון‬ ‫מדוע‬
?

‫אחת‬ ‫דוגמה‬ ‫עבור‬ ‫זה‬ ‫בעדכון‬ ‫נתבונן‬
:

‫אפשרויות‬ ‫שלוש‬ ‫קיימות‬
:

y=hw(x)
–
‫עדכון‬ ‫אין‬ ‫אזי‬

y>hw(x)
(
‫כלומר‬
y=1
,
hw(x)=0
)
–
‫אזי‬
wi
‫של‬ ‫לסימן‬ ‫בהתאם‬ ‫משתנה‬
x
,
‫להגדיל‬ ‫צריכים‬ ‫אנחנו‬ ‫כי‬
wx
‫שיהיה‬ ‫כדי‬
hw(x)=1

y<hw(x)
.
‫תרגיל‬
! 32
‫לינארי‬ ‫סיווג‬ ‫עבור‬ ‫לוקלי‬ ‫חיפוש‬
j

33
‫עקבית‬ ‫היפותזה‬ ‫תהיה‬ ‫לא‬ ‫אם‬ ‫יקרה‬ ‫מה‬
?
‫יתרון‬ ‫עוד‬
:
‫נגזרות‬ ‫קיימות‬
!

‫עקבית‬ ‫היפותזה‬ ‫קיימת‬ ‫לא‬ ‫אם‬
,
‫מתבדרים‬ ‫העדכונים‬ ‫אזי‬
(
‫כלומר‬
,
‫עבור‬ ‫מסוימים‬ ‫לערכים‬ ‫מתכנסים‬ ‫לא‬
wi
)

‫נבחר‬ ‫אם‬ ‫להתכנס‬ ‫לעדכונים‬ ‫לגרום‬ ‫אפשר‬ ‫אבל‬
α
‫בדרך‬
‫נבונה‬
:

α=O(1/t)
,
t
‫זמן‬ ‫הוא‬
,
‫העדכון‬ ‫מספר‬ ‫כלומר‬

‫לקחת‬ ‫אפשר‬ ‫למשל‬
α=1000/(1000+t)

‫בתור‬ ‫לוגיסטית‬ ‫בפונקציה‬ ‫להשתמש‬ ‫הוא‬ ‫פתרון‬ ‫עוד‬
‫היפותזה‬
:

‫ב‬ ‫משתמשים‬ ‫במקום‬
:

‫עבור‬
x
‫מסוים‬
,
‫מספקת‬ ‫זאת‬ ‫היפותזה‬
‫ביטחון‬ ‫רמת‬
‫ש‬
f(x)=1
:

‫אם‬
wx=0
,
‫אזי‬
h (x)=0.5


K-Nearest Neighbors
‫מאד‬ ‫פשוט‬ ‫אלגוריתם‬ ‫הוא‬

‫חדשה‬ ‫דוגמה‬ ‫בהינתן‬
,
‫מוצאים‬
k
‫בסט‬ ‫ביותר‬ ‫לה‬ ‫שדומות‬ ‫דוגמאות‬
‫אימון‬

‫דוגמה‬

K=3
(
3-NN
)

K=5
(
5-NN
)

‫זה‬ ‫מה‬
"
‫ביותר‬ ‫דומה‬
"
?
‫ב‬ ‫משתמשים‬
Minkovski Distance

‫וקטורים‬ ‫שני‬ ‫יש‬ ‫אם‬

‫אז‬
Minkovski Distance
‫הוא‬
:

‫ב‬ ‫משתמשים‬ ‫הרבה‬
p=2
(
‫אוקלידי‬ ‫מרחק‬
)

‫אטריבוטים‬ ‫לנרמל‬ ‫צורך‬ ‫יש‬ ‫לפעמים‬
(
‫בכיתה‬ ‫הוסבר‬
)
K-Nearest Neighbors
34

How To Perform Supervised Learning
35


‫קבוצות‬ ‫לשתי‬ ‫לרשותנו‬ ‫העומדים‬ ‫הנתונים‬ ‫את‬ ‫נחלק‬
:

‫אימון‬ ‫סט‬

‫בדיקה‬ ‫סט‬

‫לדוגמה‬
:
‫אקראית‬ ‫בדרך‬ ‫לבחור‬ ‫אפשר‬
80%
‫שתהיינה‬ ‫דוגמאות‬ ‫של‬
‫בדיקה‬ ‫בסט‬ ‫תהיינה‬ ‫הדוגמאות‬ ‫ושאר‬ ‫אימון‬ ‫בסט‬

‫המודל‬ ‫את‬ ‫יבנה‬ ‫הסוכן‬

‫אימון‬ ‫סט‬ ‫בעזרת‬

‫הלמידה‬ ‫איכות‬ ‫את‬ ‫נעריך‬

‫בדיקה‬ ‫סט‬ ‫בסיס‬ ‫על‬

‫נקראת‬ ‫זאת‬ ‫טכניקה‬
holdout cross-validation
(
‫עם‬ ‫אימות‬
‫מחבוא‬
)
36
‫הלמידה‬ ‫איכות‬ ‫את‬ ‫נעריך‬ ‫איך‬
?


‫ל‬
holdout cross-validation
‫חסרון‬ ‫ישנו‬
:
‫משתמש‬ ‫לא‬ ‫הוא‬
‫לרשותנו‬ ‫העומדות‬ ‫הדוגמאות‬ ‫בכל‬
(
‫המודל‬ ‫לבנית‬
)

K-Fold Cross-Validation
‫דוגמה‬ ‫כל‬ ‫שבו‬ ‫חכם‬ ‫תהליך‬ ‫הוא‬
‫יחד‬ ‫גם‬ ‫בדיקה‬ ‫בסט‬ ‫וגם‬ ‫אימון‬ ‫בסט‬ ‫גם‬ ‫להיות‬ ‫יכולה‬
:

‫ל‬ ‫דוגמאות‬ ‫מחלקים‬
K
‫קבוצות‬

‫לדוגמה‬
,
‫שקיימות‬ ‫נניח‬
n=100
‫ב‬ ‫ומשתמשים‬ ‫דוגמאות‬
K=5

‫יש‬ ‫אזי‬
5
‫של‬ ‫קבוצות‬
n/K=20
‫קבוצה‬ ‫בכל‬ ‫דוגמאות‬

‫מבצעים‬
K
‫למידה‬ ‫שלבי‬

‫בדיקה‬ ‫סט‬ ‫היא‬ ‫אחת‬ ‫קבוצה‬ ‫שלב‬ ‫בכל‬
.
‫הקבוצות‬ ‫משאר‬ ‫מורכב‬ ‫אימון‬ ‫סט‬

‫האימון‬ ‫מסט‬ ‫מודל‬ ‫בונים‬
,
‫פה‬ ‫נבנים‬ ‫כלומר‬
K
‫מודלים‬

‫שנקבע‬ ‫באופן‬ ‫המודלים‬ ‫את‬ ‫יחבר‬ ‫שנבנה‬ ‫הסוכן‬

‫רוב‬ ‫לפי‬
(
‫סיווג‬
)
,
‫ממוצע‬
(
‫רגרסיה‬
)

‫ב‬ ‫להשתמש‬ ‫מקובל‬
K
=
10
37
K-Fold Cross-Validation


‫נתונים‬ ‫אותם‬ ‫על‬ ‫יתאמן‬ ‫לא‬ ‫שהסוכן‬ ‫לוודא‬ ‫מאד‬ ‫חשוב‬
‫איכותו‬ ‫תיקבע‬ ‫שבעזרתם‬

‫הנתונים‬ ‫כל‬ ‫על‬ ‫יתאמן‬ ‫הסוכן‬ ‫אם‬ ‫לקרות‬ ‫יכול‬ ‫מה‬
?

‫ב‬ ‫להשתמש‬ ‫יכול‬ ‫הוא‬
overfitting
!

‫מצוין‬ ‫הוא‬ ‫שהסוכן‬ ‫נחשוב‬ ‫אז‬
,
‫עבור‬ ‫יצליח‬ ‫לא‬ ‫הוא‬ ‫באמת‬ ‫אבל‬
‫חדשות‬ ‫דוגמאות‬
38
‫ההפרדה‬ ‫חשיבות‬
‫בדיקה‬ ‫לסט‬ ‫אימון‬ ‫סט‬ ‫בין‬

‫בינארי‬ ‫מסווג‬
–
Binary Classifier

‫תגים‬ ‫שני‬ ‫בין‬ ‫להבדיל‬ ‫נרצה‬ ‫רבות‬ ‫פעמים‬
.

‫בינארי‬ ‫סיווג‬ ‫נקרא‬ ‫זה‬

‫של‬ ‫שילוב‬ ‫מבצעים‬ ‫תגים‬ ‫יותר‬ ‫עם‬ ‫סיווג‬ ‫של‬ ‫מקרים‬ ‫בהרבה‬
‫בינריים‬ ‫מסווגים‬

‫דוגמה‬
:
‫יד‬ ‫בכתב‬ ‫ספרות‬ ‫סיווג‬
(
‫בכיתה‬ ‫הוסבר‬
)
39

‫חזוי‬ ‫תג‬
(
‫ע‬
"
‫המודל‬ ‫י‬
)
Positive (A) Negative (B)
‫ידועה‬ ‫תגית‬
Positive (A)
True Positive
(TP)
False Negative
(FN)
Negative (B)
False Positive
(FP)
True Negative
(TN)
‫הבינרי‬ ‫המודל‬ ‫של‬ ‫הביצועים‬ ‫מדידת‬

‫תגים‬ ‫שני‬ ‫שיש‬ ‫נניח‬
,
A
,
B

‫את‬ ‫נבחר‬
A
‫חיובית‬ ‫להיות‬
(
Positive
)

‫בטבלה‬ ‫כמו‬ ‫מחלוקות‬ ‫הבדיקה‬ ‫מסט‬ ‫הדוגמאות‬
:
40

‫הגדרות‬
:
Precision RecallAccuracy
41
‫משמעות‬
... Formula Measure
‫כחיוביות‬ ‫שסווגו‬ ‫הדוגמאות‬
‫נכון‬ ‫באופן‬
TP / (TP + FP) Precision
‫שסווגו‬ ‫החיוביות‬ ‫הדוגמאות‬
‫נכון‬ ‫באופן‬ ‫כחיוביות‬
TP / (TP + FN) Recall
‫באופן‬ ‫שסווגו‬ ‫הדוגמאות‬
‫נכון‬
(TP + TN) / (TP + TN +
FP + FN)
Accuracy

‫בין‬ ‫ערכים‬ ‫נקבל‬
0-1

‫לאחוזים‬ ‫להמיר‬ ‫מקובל‬ ‫לפעמים‬
,
‫ע‬
"
‫ב‬ ‫הכפלה‬ ‫י‬
100


‫חולה‬ ‫מישהו‬ ‫אם‬ ‫שבודק‬ ‫מודל‬ ‫שרוצים‬ ‫נניח‬

‫בדיקה‬ ‫בסט‬ ‫שיש‬ ‫ונניח‬
80
‫ו‬ ‫חולים‬
20
‫בריאים‬

‫שסיווגנו‬ ‫נניח‬
80
‫כחולים‬ ‫מהחולים‬
,
‫וגם‬
15
‫כחולים‬ ‫מהבריאים‬
 TP = 80, FP = 15, TN = 5, FN = 0
 Precision = 80/95 = 0.84
 Recall = 80/80 = 1
 Accuracy = 85/100 = 0.85
‫דוגמא‬
1
:
Precision Recall Accuracy
42
‫משמעות‬
... Formula Measure
‫שסווגו‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬ ‫באופן‬ ‫כחיוביות‬
TP / (TP + FP) Precision
‫החיוביות‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬ ‫באופן‬ ‫כחיוביות‬ ‫שסווגו‬
TP / (TP + FN) Recall
‫באופן‬ ‫שסווגו‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬
(TP + TN) / (TP + TN +
FP + FN)
Accuracy
‫חזויה‬ ‫תגית‬
(
‫ע‬
"
‫המודל‬ ‫י‬
)
Positive (A)
Negative
(B)
‫ידועה‬ ‫תגית‬
Positive (A) 80 0
Negative
(B) 15 5


‫שסיווגנו‬ ‫נניח‬ ‫עכשיו‬
20
‫כחולים‬ ‫מהחולים‬
,
‫וגם‬
5
‫כחולים‬ ‫מהבריאים‬
 TP = 20, FP = 5, TN = 15, FN = 60
 Precision = 20/25 = 0.8
 Recall = 20/80 = 0.25
 Accuracy = 35/100 = 0.35
‫דוגמא‬
2
:
Precision RecallAccuracy
43
‫משמעות‬
... Formula Measure
‫שסווגו‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬ ‫באופן‬ ‫כחיוביות‬
TP / (TP + FP) Precision
‫החיוביות‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬ ‫באופן‬ ‫כחיוביות‬ ‫שסווגו‬
TP / (TP + FN) Recall
‫באופן‬ ‫שסווגו‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬
(TP + TN) / (TP + TN +
FP + FN)
Accuracy
‫חזויה‬ ‫תגית‬
(
‫ע‬
"
‫המודל‬ ‫י‬
)
Positive (A)
Negative
(B)
‫ידועה‬ ‫תגית‬
Positive (A) 20 60
Negative
(B) 5 15


‫שסיווגנו‬ ‫נניח‬ ‫עכשיו‬
10
‫כחולים‬ ‫מהחולים‬
,
‫ו‬
20
‫כחולים‬ ‫מהבריאים‬
 TP = 10, FP = 20, TN = 0, FN = 70
 Precision = 10/30 = 0.33
 Recall = 10/80 = 0.12
 Accuracy = 10/100 = 0.10
‫דוגמא‬
3
:
Precision RecallAccuracy
44
‫משמעות‬
... Formula Measure
‫שסווגו‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬ ‫באופן‬ ‫כחיוביות‬
TP / (TP + FP) Precision
‫החיוביות‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬ ‫באופן‬ ‫כחיוביות‬ ‫שסווגו‬
TP / (TP + FN) Recall
‫באופן‬ ‫שסווגו‬ ‫הדוגמאות‬ ‫אחוז‬
‫נכון‬
(TP + TN) / (TP + TN +
FP + FN)
Accuracy
‫חזויה‬ ‫תגית‬
(
‫ע‬
"
‫המודל‬ ‫י‬
)
Positive (A)
Negative
(B)
‫ידועה‬ ‫תגית‬
Positive (A) 10 70
Negative
(B) 20 0


‫למה‬
Accuracy
‫מספיק‬ ‫אינו‬
?

‫לנו‬ ‫שיש‬ ‫נניח‬
95
‫חולים‬
,
‫ו‬
5
‫בריאים‬
.

‫כחולים‬ ‫כולם‬ ‫את‬ ‫נסווג‬ ‫אם‬
,
‫נקבל‬
Accuracy
‫של‬
95%

‫טוב‬ ‫זה‬ ‫האם‬
?

‫תלוי‬
...

‫תרופה‬ ‫לכולם‬ ‫לתת‬ ‫אפשר‬ ‫אם‬
,
‫בבריאים‬ ‫פוגעת‬ ‫אינה‬ ‫והתרופה‬
,
‫מצוין‬ ‫זה‬
.

‫אותה‬ ‫לתת‬ ‫ואסור‬ ‫מסוכנת‬ ‫מאד‬ ‫התרופה‬ ‫זאת‬ ‫לעומת‬ ‫אם‬
‫לבריאים‬
,
‫מטופלים‬ ‫לא‬ ‫מהחולים‬ ‫חלק‬ ‫אם‬ ‫בסדר‬ ‫זה‬ ‫אבל‬
,
‫אז‬
accuracy
‫טוב‬ ‫מדד‬ ‫לא‬
.
45
‫מדדים‬ ‫בחירת‬

‫נוספת‬ ‫דוגמא‬
Precision = 50% (500/1000)
Recall = 83% (500/600)
Accuracy = 95% (10500/11100)
‫חזויה‬ ‫תגית‬
(
‫ע‬
"
‫המודל‬ ‫י‬
)
Positive (A) Negative (B)
‫ידועה‬ ‫תגית‬
Positive (A) 500 100
Negative (B) 500 10,000
46

‫נוספים‬ ‫נושאים‬
47

‫כאן‬ ‫עדינות‬ ‫נקודות‬ ‫הרבה‬ ‫עוד‬ ‫יש‬

‫סוג‬ ‫מכל‬ ‫הדוגמאות‬ ‫כמויות‬

‫נוספים‬ ‫מדדים‬

...

‫מידע‬ ‫כריית‬ ‫של‬ ‫בקורס‬ ‫לעומק‬ ‫ילמד‬ ‫זה‬
(
‫ד‬ ‫שנה‬
)


‫רגרסיה‬
:

‫ליניארית‬ ‫רגרסיה‬ ‫למדנו‬

‫סיווג‬
:

‫ליניארית‬ ‫פונקציה‬

‫החלטה‬ ‫עץ‬

K-Nearest Neighbors

‫חשובים‬ ‫נושאים‬ ‫כמה‬ ‫בחוץ‬ ‫נשארו‬
:

‫בשביל‬ ‫לבחור‬ ‫ליניארית‬ ‫פונקציה‬ ‫איזו‬
‫עם‬ ‫עקביות‬ ‫פונקציות‬ ‫כמה‬ ‫כשיש‬ ‫סיווג‬
‫אימון‬ ‫סט‬
?

‫למטה‬ ‫בתמונה‬ ‫סטים‬ ‫לתייג‬ ‫איך‬
?

Support Vector Machines
48
‫מפוקחת‬ ‫למידה‬ ‫על‬ ‫סיכום‬