SlideShare une entreprise Scribd logo
1  sur  45
شبکه   های   عصبی   مصنوعی Instructor : Saeed Shiry Amirkabir University of Technology Computer Engineering & Information Technology Department
مقدمه ,[object Object],[object Object]
شبکه   عصبی   چیست؟ ,[object Object],[object Object]
شبکه   عصبی   چه   قابلیتهائی   دارد؟ ,[object Object],[object Object],[object Object],[object Object],[object Object]
الهام   از   طبیعت ,[object Object],[object Object],[object Object]
[object Object],[object Object],[object Object],[object Object],[object Object],مسائل   مناسب   برای   یادگیری   شبکه   های   عصبی
x1 x2 xn {1 or –1} X0=1 w0 w1 w2 wn Σ ,[object Object],Perceptron
[object Object],[object Object],یادگیری   یک  پرسپترون O(x1,x2,…,xn) =  1 if w0 + w1x1 + w2x2 + … + wnxn > 0 -1 otherwise O( X ) = sgn( WX ) where Sgn(y) =  1 if y > 0 -1 otherwise یادگیری  پرسپترون   عبارت   است   از : پیدا   کردن   مقادیردرستی   برای   W  بنابراین   فضای   فرضیه   H  در   یادگیری  پرسپترون   عبارت   است   ازمجموعه   تمام   مقادیر   حقیقی   ممکن   برای   بردارهای   وزن .
[object Object],توانائی   پرسپترون + + + - - - Decision boundary ( WX  = 0)
[object Object],توابعی   که  پرسپترون   قادر   به   یادگیری   آنها   میباشد + + + - - - + + + - - - Linearly separable Non-linearly separable
[object Object],[object Object],[object Object],توابع   بولی   و  پرسپترون AND:  x1 x2 X0=1 W0 = -0.8 W1=0.5 W2=0.5 Σ
[object Object],[object Object],[object Object],[object Object],آموزش  پرسپترون
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],آموزش  پرسپترون
[object Object],[object Object],[object Object],قانون  پرسپترون Δwi =  η ( t – o ) xi t: target output o: output generated by the perceptron η: constant called the learning rate (e.g., 0.1) اثبات   شده   است   که   برای   یک   مجموعه   مثال   جداپذیرخطی   این   روش   همگرا   شده   و  پرسپترون   قادر   به   جدا   سازی   صحیح   مثالها   خواهد   شد .
[object Object],[object Object],[object Object],قانون   دلتا   Delta Rule
قانون   دلتا   Delta Rule  ,[object Object],[object Object],[object Object]
الگوریتم   gradient descent  ,[object Object],w1 w2 E( W )
بدست   آوردن   قانون   gradient descent  ,[object Object],[object Object],[object Object],[object Object],Δ Δ
قانون   دلتا   Delta Rule  ,[object Object],[object Object],[object Object],[object Object],[object Object]
محاسبه   گرادیان ,[object Object],[object Object],[object Object],[object Object]
خلاصه   یادگیری   قانون   دلتا ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Δ Δ Δ  Δ  Δ
مشکلات   روش   gradient descent  ,[object Object],[object Object],[object Object],[object Object],[object Object]
تقریب   افزایشی   gradient descent  ,[object Object],[object Object],[object Object],Δ
شبکه   های   چند   لایه بر   خلاف  پرسپترونها   شبکه   های   چند   لایه   میتوانند   برای   یادگیری   مسائل   غیر   خطی   و   همچنین   مسائلی   با   تصمیم   گیری   های   متعدد   بکار   روند . Input nodes Internal nodes Output nodes
مثال x1 x2
یک   سلول   واحد x1 x2 xn X0=1 w0 w1 w2 wn Σ O = σ(net) = 1 / 1 + e  -net net برای   اینکه   بتوانیم   فضای   تصمیم   گیری   را   بصورت   غیر   خطی   از   هم   جدا   بکنیم،   لازم   است   تا   هر   سلول   واحد   را   بصورت   یک   تابع   غیر   خطی   تعریف   نمائیم .  مثالی   از   چنین   سلولی   میتواند   یک   واحد   سیگموئید   باشد :
تابع   سیگموئید O(x1,x2,…,xn) =  σ ( WX ) where:  σ  ( WX ) = 1 / 1 + e  -WX   d σ(y) / dy  = σ(y)  (1 – σ(y)) تابع   σ   تابع   سیگموئید   یا   لجستیک   نامیده   میشود .  این   تابع   دارای   خاصیت   زیر   است : خروجی   این   سلول   واحد   را   بصورت   زیر   میتوان   بیان   نمود :
الگوریتم   Back propagation  ,[object Object],[object Object],مراد   از outputs  خروجیهای   مجموعه   واحد   های   لایه   خروجی   و   t kd و   o kd   مقدار   هدف   و   خروجی   متناظر   با   k  امین   واحد   خروجی   و   مثال   آموزشی   d  است .
الگوریتم   Back propagation  ,[object Object]
الگوریتم   BP  ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],هر   مثال   آموزشی   بصورت   یک   زوج   (x,t)  ارائه   میشود   که   بردار   x  مقادیر   ورودی   و   بردار   t  مقادیر   هدف   برای   خروجی   شبکه   را   تعیین   میکنند .
انتشار   به   سمت   جلو ,[object Object],Input nodes Internal nodes Output nodes Example X Compute sigmoid  function
انتشار   به   سمت   عقب ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],η عبارت   است   از   نرخ   یادگیری
شرط   خاتمه ,[object Object],[object Object],[object Object],[object Object],[object Object]
مرور   الگوریتم   BP  ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
افزودن   ممنتم ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],قانون   تغییر   وزن عبارت   ممنتم
قدرت   نمایش   توابع ,[object Object],[object Object],[object Object],[object Object],با   این   وجود   باید   درنظر   داست   که   فضای   فرضیه   جستجو   شده   توسط   روش   gradient deescent  ممکن   است   در   برگیرنده   تمام   مقادیر   ممکن   وزنها   نباشد .
فضای   فرضیه   و   بایاس   استقرا ,[object Object],[object Object],[object Object],[object Object],[object Object]
مثال x1 x2 Smooth regions
قدرت   نمایش   لایه   پنهان ,[object Object],برای   مثال   شبکه   8x3x8  زیر   طوری   آموزش   داده   میشود   که   مقدارهرمثال   ورودی   را   عینا   در   خروجی   بوجو   د   آورد   ) تابع   f(x)=x  را   یاد   بگیرد (.  ساختار   خاص   این   شبکه   باعث   میشود   تا   واحد   های   لایه   وسط   ویژگی   های   مقادیر   ورودی   را   به   نحوی   کد   بندی   کنند   که   لایه   خروحی   بتواند   از   آنان   برای   نمایش   مجدد   داده   ها   استفاده   نماید .  ورودی خروجی
قدرت   نمایش   لایه   پنهان 10000000 01000000 00100000 00010000 00001000 00000100 00000010 00000001 10000000 01000000 00100000 00010000 00001000 00000100 00000010 00000001 Hidden nodes در   این   آزمایش   که   به   تعداد   5000  بار   تکرار   شده   از   8  داده   مختلف   به   عنوان   ورودی   استفاده   شده   و   شبکه   با   استفاده   از   الگوریتم   BP  موفق   شده   تا   تابع   هدف   را   بیاموزد . با   مشاهده   خروجی   واحد   های   لایه   میانی   مشخص   میشود   که   بردار   حاصل   معادل   انکدینگ   استاندارد   داده   ههای   ورودی   بوده   است   (000,001,,...,111)
نمودارخطا   Error iterations Different units iterations Different weights weight
قدرت   تعمیم   و   overfitting Number of weight updates Error Validation set error Training set error ,[object Object],[object Object]
دلایل   رخ   دادن   overfitting  ,[object Object],[object Object]
راه   حل ,[object Object],[object Object],[object Object]
روشهای   دیگر ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Contenu connexe

En vedette

دانلود رایگان کد فایل آموزشی شبکه های عصبی مصنوعی Artificial Neural Networ...
دانلود رایگان کد فایل آموزشی شبکه های عصبی مصنوعی    Artificial Neural Networ...دانلود رایگان کد فایل آموزشی شبکه های عصبی مصنوعی    Artificial Neural Networ...
دانلود رایگان کد فایل آموزشی شبکه های عصبی مصنوعی Artificial Neural Networ...کتابخانه خانه متلب
 
داده، dikw ، داده بزرگ و علم داده
داده، dikw ، داده بزرگ و علم دادهداده، dikw ، داده بزرگ و علم داده
داده، dikw ، داده بزرگ و علم دادهfatemeh zatajam
 
تشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان دادهتشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان دادهNavid Sedighpour
 
مقدمه ای بر داده کاوی
مقدمه ای بر داده کاویمقدمه ای بر داده کاوی
مقدمه ای بر داده کاویdata scientist
 
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهرانFarafekr Technology
 
Big Data - 25 Amazing Facts Everyone Should Know
Big Data - 25 Amazing Facts Everyone Should KnowBig Data - 25 Amazing Facts Everyone Should Know
Big Data - 25 Amazing Facts Everyone Should KnowBernard Marr
 
Introduction to Big Data/Machine Learning
Introduction to Big Data/Machine LearningIntroduction to Big Data/Machine Learning
Introduction to Big Data/Machine LearningLars Marius Garshol
 
Big Data Analytics with Hadoop
Big Data Analytics with HadoopBig Data Analytics with Hadoop
Big Data Analytics with HadoopPhilippe Julio
 

En vedette (13)

دانلود رایگان کد فایل آموزشی شبکه های عصبی مصنوعی Artificial Neural Networ...
دانلود رایگان کد فایل آموزشی شبکه های عصبی مصنوعی    Artificial Neural Networ...دانلود رایگان کد فایل آموزشی شبکه های عصبی مصنوعی    Artificial Neural Networ...
دانلود رایگان کد فایل آموزشی شبکه های عصبی مصنوعی Artificial Neural Networ...
 
Webmining
WebminingWebmining
Webmining
 
Edms hamara 2017
Edms hamara 2017Edms hamara 2017
Edms hamara 2017
 
داده، dikw ، داده بزرگ و علم داده
داده، dikw ، داده بزرگ و علم دادهداده، dikw ، داده بزرگ و علم داده
داده، dikw ، داده بزرگ و علم داده
 
تشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان دادهتشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان داده
 
مقدمه ای بر داده کاوی
مقدمه ای بر داده کاویمقدمه ای بر داده کاوی
مقدمه ای بر داده کاوی
 
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
 
Big Data - 25 Amazing Facts Everyone Should Know
Big Data - 25 Amazing Facts Everyone Should KnowBig Data - 25 Amazing Facts Everyone Should Know
Big Data - 25 Amazing Facts Everyone Should Know
 
Introduction to Big Data/Machine Learning
Introduction to Big Data/Machine LearningIntroduction to Big Data/Machine Learning
Introduction to Big Data/Machine Learning
 
Big Data Analytics with Hadoop
Big Data Analytics with HadoopBig Data Analytics with Hadoop
Big Data Analytics with Hadoop
 
Big data ppt
Big  data pptBig  data ppt
Big data ppt
 
What is big data?
What is big data?What is big data?
What is big data?
 
What is Big Data?
What is Big Data?What is Big Data?
What is Big Data?
 

شبکه های عصبی مصنوعی

  • 1. شبکه های عصبی مصنوعی Instructor : Saeed Shiry Amirkabir University of Technology Computer Engineering & Information Technology Department
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24. شبکه های چند لایه بر خلاف پرسپترونها شبکه های چند لایه میتوانند برای یادگیری مسائل غیر خطی و همچنین مسائلی با تصمیم گیری های متعدد بکار روند . Input nodes Internal nodes Output nodes
  • 26. یک سلول واحد x1 x2 xn X0=1 w0 w1 w2 wn Σ O = σ(net) = 1 / 1 + e -net net برای اینکه بتوانیم فضای تصمیم گیری را بصورت غیر خطی از هم جدا بکنیم، لازم است تا هر سلول واحد را بصورت یک تابع غیر خطی تعریف نمائیم . مثالی از چنین سلولی میتواند یک واحد سیگموئید باشد :
  • 27. تابع سیگموئید O(x1,x2,…,xn) = σ ( WX ) where: σ ( WX ) = 1 / 1 + e -WX d σ(y) / dy = σ(y) (1 – σ(y)) تابع σ تابع سیگموئید یا لجستیک نامیده میشود . این تابع دارای خاصیت زیر است : خروجی این سلول واحد را بصورت زیر میتوان بیان نمود :
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38. مثال x1 x2 Smooth regions
  • 39.
  • 40. قدرت نمایش لایه پنهان 10000000 01000000 00100000 00010000 00001000 00000100 00000010 00000001 10000000 01000000 00100000 00010000 00001000 00000100 00000010 00000001 Hidden nodes در این آزمایش که به تعداد 5000 بار تکرار شده از 8 داده مختلف به عنوان ورودی استفاده شده و شبکه با استفاده از الگوریتم BP موفق شده تا تابع هدف را بیاموزد . با مشاهده خروجی واحد های لایه میانی مشخص میشود که بردار حاصل معادل انکدینگ استاندارد داده ههای ورودی بوده است (000,001,,...,111)
  • 41. نمودارخطا Error iterations Different units iterations Different weights weight
  • 42.
  • 43.
  • 44.
  • 45.