دوره مقدماتی یادگیری ژرف
مقدمات یادگیری ماشین و یادگیری نظارت شده
آشنایی با نوع داده تصویر در پایتون
پیده سازی طبقه بندی ساده در پایتون
در این جلسه با مفاهیم پایه شبکه های عصبی و یادگیری عمیق آشنا شدیم. نوع خاصی از داده که داده تصویری است معرفی شد. و سپس به معرفی و بررسی انواع توابع فعال سازی ( activation function) معرفی مدل های پرسپترون چندلایه (MLP یا multi-layer Perceptron) انواع توابع هزینه در شبکه های عصبی (Cost Functions یا Loss Function) یادگیری و آموزش شبکه های عصبی پرداخته شد.
همچنین به بررسی tensorflow playground پرداخته و مباحثی مانند تعداد لایه و نورون و نوع activation function و تاثیر آن بر روی آموزش مورد بحث قرار گرفت. در ادامه آموزش کتابخانه Keras در پایتون و پیاده سازی یک شبکه عصبی ساده بیان شد. مشکل over-fitting و راهکار Dropout به عنوان یکی از راه حل های regularization بیان شد.
10. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده
An image classifier
Unlike e.g. sorting a list of numbers,
no obvious way to hard-code the algorithm for
recognizing a cat, or other classes.
11. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده
Data-driven approach:
1. Collect a dataset of images and labels
2. Use Machine Learning to train an image classifier
3. Evaluate the classifier on a withheld set of test images
Example training set
12. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده
● Supervised Learning uses labeled data to predict
a label given some features.
● If the label is continuous its called a regression
problem, if its categorical it is a classification
problem.
Supervised Learning(شده نظارت یادگیری)
35. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده
k-Nearest Neighbor on images never used.
- terrible performance at test time
- distance metrics on level of whole images can be
very unintuitive
(all 3 images have same L2 distance to the one on the left)
68. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده
کاهشی گرادیان و خطا انتشارپس
کاهشی گرادیان(بعد یک در)
w
C
Gradient Descent (in 1 dimension)
w
C
w
C
w
C
69. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده
کاهشی گرادیان و خطا انتشارپس
کاهشی گرادیان(بعد یک در)
Gradient Descent (in 1 dimension)
w
C
w
C
70. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده
کاهشی گرادیان و خطا انتشارپس
مقدار توانیم می بصری صورت به
هزینه رساندن حداقل به برای انتخابی
ببینیم را!
w
C
w
C
79. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده w
C
کراس در سازی پیاده:
اندازه ،آموزشی داده تعیینmini-batchو
تعدادepoch
w
C
80. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده w
C
کراس در سازی پیاده:
اندازه ،آموزشی داده تعیینmini-batchو
تعدادepoch
w
C
81. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده w
C
کراس در سازی پیاده:
اندازه ،آموزشی داده تعیینmini-batchو
تعدادepoch
w
C
82. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده w
C
کراس در سازی پیاده:
اندازه ،آموزشی داده تعیینmini-batchو
تعدادepoch
w
C
w
C
83. پور اخوان علیرضا
و عصبی هایشبکه بر ای مقدمهکت در سازیپیاده w
C
کراس در سازی پیاده:
اندازه ،آموزشی داده تعیینmini-batchو
تعدادepoch
w
C
86. Main Idea: approximately
combining exponentially many
different neural network
architectures efficiently
Srivastava, Hinton, Krizhevsky, Sutskever & Salakhutdinov, JMLR (2014)
x x
xxx
xx
کراس در سازی پیاده-Dropout