Tesina di Samuele Zanella sulle reti neurali

1. LE RETI NEURALI

2. INTRODUZIONE
 Tutti noi possediamo un computer
 I computer sono in grado di risolvere problemi
molto complessi ed eseguire calcoli massicci in
tempi molto brevi
 In generale sono ottimi per risolvere problemi
descrivibili con un algoritmo

3. TUTTAVIA
 Non sono in grado di portare a termine compiti
immediati per il cervello umano
 Riconoscimento di facce e suoni
 Compiti caratterizzati da grande variabilità e da
disturbi
 È quasi impossibile elaborare un algoritmo

4. QUINDI
 Si usa un approccio diverso, cercando di imitare
le meccaniche del cervello umano
 Paradigmi in grado di apprendere dall’esperienza
e di adattarsi

5. IL CERVELLO UMANO
 Sistema estremamente complesso
 Formato da circa 100 miliardi di unità di calcolo
elementari, i neuroni, strettamente
interconnesse fra loro
 Unica rete processante, in cui le elaborazioni
sono distribuite e avvengono parallelamente
 Capacità di apprendimento

6. IL NEURONE
 Cellule fondamentali con compito di ricevere,
elaborare e ritrasmettere informazioni (impulsi
nervosi)
 Si suddividono in neuroni sensori, motori e
intermedi
 Composti da soma, dendriti, assone
 Connessi da sinapsi (eccitatorie o inibitorie)

7. STRUTTURA DI UN NEURONE

8. FUNZIONAMENTO NEURONE
 Gli impulsi raggiungono i dendriti e vengono
portati nel corpo cellulare
 Viene effettuata una “somma algebrica” tra gli
impulsi
 Se la somma supera la soglia di attivazione il
neurone invia un impulso tramite l’assone

9. LE RETI NEURALI ARTIFICIALI
 Per imitare il funzionamento del cervello si usano
le reti neurali artificiali
 Apprendono da dati sperimentali senza bisogno
di algoritmi
 Modello black box
 Non si programma, ma si addestra

10. PARADIGMI DI APPRENDIMENTO
 Apprendimento supervisionato
 Apprendimento non supervisionato
 Apprendimento per rinforzo

11. I NEURONI ARTIFICIALI
 Come i loro corrispondenti biologici, hanno una
parte dedicata all’ingresso, una all’elaborazione
ed una alla trasmissione
 All’interno di una rete si suddividono in strati
 Tra ciascuno dei neuroni ci sono delle connessioni
pesate affini alle sinapsi biologiche

12.  In base alla struttura di queste connessioni la rete può
essere totalmente connessa o parzialmente connessa
 Le informazioni passano attraverso le connessioni e
vengono elaborate
 In base al flusso delle informazioni la rete è
feedforward o feedback

13. ESEMPIO

14. CARATTERISTICHE GENERALI
 Apprende tramite esempi
 Generalizza le soluzioni apprese (input affini)
 Prevede nuove soluzioni (input diversi)
 Lavora con dati soggetti a “rumore”

15. RETI NEURALI FEEDFORWARD
 Informazioni viaggiano sempre e solo da strato di
ingresso verso strato di uscita
 Uno degli esempi più semplici è il percettrone,
creato da Rosenblatt nel 1958
 Consiste in un solo neurone con n ingressi ed una
sola uscita

16. IL PERCETTRONE

17.  Ingressi rappresentati dalle variabili [x1,..,xn]
 Pesi rappresentati dalle variabili [w1,..,wn]
 Uscita rappresentata dalla variabile y
 Il percettrone è caratterizzato da una soglia di
attivazione e da una funzione di attivazione

18. LA SOGLIA DEL PERCETTRONE
 Corrispondente dell’omonima biologica
 Ha lo scopo di abbassare il valore in ingresso alla
funzione di attivazione
 Viene effettuata una somma pesata tra gli
ingressi e successivamente viene sottratta la
soglia
 La soglia è un parametro chiave del neurone

19. LA FUNZIONE DI ATTIVAZIONE
 Determina l’uscita in base agli ingressi
 Può essere di più tipi

20. FUNZIONE A SOGLIA

21. FUNZIONE LINEARE

22. FUNZIONE SIGMOIDE

23. L’ APPRENDIMENTO NEL
PERCETTRONE
 In generale l’output di una rete dipende dalla
struttura della rete, dalla funzione di attivazione
e dai pesi sinaptici
 I primi due parametri sono fissati all’inizio,
quindi l’addestramento aggiusta l’ultimo
 Il paradigma più usato nel percettrone è
l’apprendimento supervisionato

24.  Il percettrone viene inizializzato con pesi casuali e
quindi sottoposto al training set
 Per ciascuno degli esempi del training set viene
calcolato l’errore commesso
 L’errore viene usato per aggiustare i pesi della rete
 Per aggiustare i pesi si usa generalmente la delta
rule

25. DELTA RULE
 Sia x l’insieme degli ingressi, y l’uscita del
percettrone e t l’uscita del training set
 Si calcola l’errore della rete come:
 Per la delta rule, la variazione di ciascun peso
sarà pari a:

26.  Il parametro η è detto tasso di apprendimento e
determina la velocità con cui avviene l’apprendimento
 A ciascuno dei pesi si somma il corrispondente ∆w
 La delta rule modifica ciascun peso proporzionalmente
all’errore commesso
 Esclude gli ingressi che non hanno contribuito
all’errore

27.  Il processo viene ripetuto molte volte, fino a che la rete
non commette un errore medio al di sotto di una certa
soglia
 Dopo l’addestramento si procede alla fase di test con il
test set per verificare la capacità di generalizzare della
rete
 Per un corretto addestramento è necessario scegliere
un training set corretto

28. APPLICAZIONI PRATICHE
 Le reti neurali artificiali attualmente trovano già
impiego in diversi campi
 Sistemi OCR (Optical Character Recognition)
 Kurzweil 1000 e 3000, prodotti dalla Kurzweil
Educational System

29. APPLICAZIONI PRATICHE
 Campo medico
 Utilizzate per la diagnosi e la prognosi
individuale in particolari patologie (esofagite,
sindrome dell’intestino irritabile, gastrite
cronica)
 Reti neurali utilizzate specialmente per il grande
numero di variabili che determinano la diagnosi
di queste malattie

30. APPLICAZIONI PRATICHE
 Sono in corso studi per tecniche radiologiche per
la cura del cancro e la diagnosi precoce
dell’infarto miocardico acuto
 Sono utilizzate nella diagnosi precoce e nella
prevenzione dell’Alzheimer

31. SIMULATORE DI RETI NEURALI
 Scritta in linguaggio Java e composta da 6 classi
 Simula reti feedforward a più strati con
paradigma di apprendimento supervisionato e
funzione di attivazione sigmoide
 Correzione dei pesi avviene tramite