Un ripasso della teoria assiomatica e un passo piccolo piccolo nella direzione di una teoria Bayesiana

1. Un ripasso di probabilità
PaulKlee,GiardinodiTunisi,1919
Riccardo Rigon

2. “Fare Scienza è oggi una attività che
non si svolge più nella notte dei secoli
bui, nè alla chiara luce dei lumi, ma nel
crepuscolo della probabilità ”
Paolo Agnoli citando Paolo Vineis che cita John
Locke

3. R. Rigon
!3
Sommario
• Nella lezione presente ricorderemo alcune proprietà
fondamentali della probabilità
• Tratteremo anche delle differenze tra probabilità e
statistica
• Descriveremo alcune distribuzioni di probabilità e le loro
caratteristiche
• Ricorderemo il teorema del limite centrale

4. R. Rigon
!4
I fatti centrali del CP si possono derivare dal considerare
semplici esperimenti come quelli del lancio di una moneta:
se si lancia una moneta un numero grande di volte, la
proporzione di teste o croce, raggiunge valori prossimi al
50%.
Il calcolo delle probabilità

5. R. Rigon
!5
In altre parole mentre il risultato di un lancio è
completamente incerto, una lunga serie di lanci porta ad un
risultato certo.
Il passaggio da una forma di incertezza ad una di certezza
è uno dei temi essenziali del CP
Il calcolo delle probabilità

6. R. Rigon
!6
Alcune applicazioni del CP
•La Fisica Statistica, inclusa la modellazione dei sistemi biologici
•La teoria dei giochi
•Decisioni in economia e finanza
•La teoria dell’informazione
•La bioinformatica
•L’analisi dei dati idro-meteorologici!

7. R. Rigon
!7
L’esperimento probabilistico
Dunque con il CP abbiamo a che fare con:
!
• Experimenti il cui esito non può essere predetto con certezza
!
• Le realizzazioni dell’esperimento
!
Il termine esperimento è qui usato in senso lato, per significare il
verificarsi di eventi fisici ( e la loro misura) di cui il calcolo delle
probabilità rappresenta una astrazione in senso matematico

8. R. Rigon
!8
Lo spazio degli eventi
L’insieme di tutte le possibili realizzazioni di un esperimento è chiamato
spazio degli eventi (relativo all’esperimento).
!
Ogni singolo elemento dello spazio degli eventi è chiamato campione,
evento.
!
I campioni e lo spazio degli eventi dipendono da che cosa lo
sperimentatore decide di osservare.

9. R. Rigon
!9
Un Esempio classico
Piove o non piove
L’osservatore può scegliere di osservare il verificarsi di precipitazione in una sequenza di
intevalli prefissati. Chiamamo P il caso di istante piovoso e S un istante non piovoso. Allora
!
R= {PP, PS, SP, SS}
!
Possiamo scegliere di registrare le coppie di istanti non piovosi. Allora lo spazio degli eventi
è costituito da:
!
S= {0, 1, 2}
!
eventi piovosi.

10. R. Rigon
!10
Un Esempio classico
Piove o non piove
Se invece la nostra osservazione corrisponde al fatto che due giorni
successivi hanno lo stesso stato pluviometrico (U) o un diverso stato
pluivometrico (D), allora lo spazio degli eventi è:
!
T= {U, D}

11. R. Rigon
!11
Una definizione formale
• Sia Ω lo spazio degli eventi:
– Esso contiene tutte le possibili realizzazioni di un determinato
esperimento
!
– è un singolo evento
– è un insieme di eventi
!
– E’ richiesto che sia una sigma-algebra
A

12. R. Rigon
!12
Una definizione più formale
gli assiomi della probabilità
e.g. Feller, 1968

13. R. Rigon
!13
Non perseguiremo qui la prova dei seguenti enunciati. Tuttavia,
una evidenza intuitiva deriva dall’associare alla probabilità
l’area della figura geometrica disegnata nelle slides che
seguono.
Altre proprietà della probabilità.
dedotte dagli assiomi 1-3:

14. R. Rigon
!14
Altre proprietà della probabilità.
dedotte dagli assiomi 1-3:
Se
A + Ac
=
Allora:
P(A) = 1 P(Ac
)
A
Ac

15. R. Rigon
!15
Altre proprietà della probabilità.
dedotte dagli assiomi 1-3:
A ⇥ B =⇤ P(A) P(B)
B A
B

16. R. Rigon
!16
Altre proprietà della probabilità.
dedotte dagli assiomi 1-3:
P(A ⇥ B) = P(A) + P(B) P(A ⇤ B)
A

17. R. Rigon
!17
Altre proprietà della probabilità.
dedotte dagli assiomi 1-3:
P(A ⇥ B) = P(A) + P(B) P(A ⇤ B)
B

18. R. Rigon
!18
Altre proprietà della probabilità.
dedotte dagli assiomi 1-3:
P(A ⇥ B) = P(A) + P(B) P(A ⇤ B)
A B
A B

19. R. Rigon
!19
Il problema centrale
non è il calcolo: che risulta “automatico”. Ma l’assegnazione
delle probabilità ovvero della forma funzionale della P( ).
Quando si conosce la probabilità, si conosce tutto del fenomeno che
si va descrivendo: se ne è assegnata “la fisica”.

20. R. Rigon
!20
La probabilità condizionale
Si dice che una probabilità è condizionale, se essa è assegnata in
seguito alla conoscenza della realizzazione di uno o più eventi e si
scrive:
L a c o n o s c e n z a c h e c i h a
permesso di assegnare la
probabilità

21. R. Rigon
!21
La probabilità condizionale
Si dice che una probabilità è condizionale, se essa è assegnata in
seguito alla conoscenza della realizzazione di uno o più eventi e si
scrive:
O più semplicemente:
se l’evento x è condizionato da y

22. R. Rigon
!22
Probabilità composte
Come negli esempi iniziali, è possibile considerare, il contemporaneo
realizzarsi di più insiemi di eventi. Si parla allora di Probabilità
congiunta, indicata con le due scritture equivalenti:
A, B

23. R. Rigon
!23
Probabilità composte
Come negli esempi iniziali, è possibile considerare, il contemporaneo
realizzarsi di più insiemi di eventi. Si parla allora di Probabilità
congiunta:
La probabilità è, in questo caso,
l’area del trapezio rosso,
rispetto all’area di
A, B

24. R. Rigon
!24
Probabilità condizionali
La probabilità condizionale è invece definita come
Pertanto

25. Riccardo Rigon
!25
Dunque
La probabilità (pdf) di due eventi A e B congiunti è data da
dove P(A | B) è la probabilità di ottenere A da un campione casuale, sapendo che
B è certo, èd è chiamata probabilità condizionale di A rispetto ad B, e P(B) è la
probabilità di ottenere B. Equivalentemente il teorema si legge anche:
vista la simmetria esistente tra gli insiemi A e B
Bayes Theorem

26. Riccardo Rigon
!26
La regola di Bayes
Vale allora la Regola di Bayes
Bayes Theorem
Che di solito è scritta come:

27. R. Rigon
!27
Indipendenza statistica:
A e B sono detti statisticamente indipendenti se
Analogamente, se gli Aj sono indipendenti, allora
e

28. R. Rigon
!28
Indipendenza statistica:
Il concetto di indipendenza statistica estende quello del calcolo combinatorico
di eventi discreti, ma non è affatto intuitivo geometricamente.
Esso afferma, nella sostanza, che l’area dell’intersenzione (non nulla) di due
insiemi è uguale al prodotto delle aree degli insiemi. L’indipendenza statistica
rappresenta perciò una equazione che deve essere soddisfatta.
A
B

29. R. Rigon
!29
Indipendenza statistica:
Sia considerato, per illustrare l’esempio, uno spazio degli eventi rappresentato
da un quadrato di lato unitario e i due suoi sottoinsiemi con un lato unitario ed
uno, lungo 2/3
A
B

30. R. Rigon
!30
Indipendenza statistica:
Qualora i due sottoinsiemi siano disposti come in figura, la loro intersezione e’
di area 2/3 x 2/3 = 4/9 e, poichè P(B) = 2/3 e P(A) = 2/3
A
B
Allora A e B (come disposti in figura) sono eventi indipendenti !
2/3
1/3
2/3 1/3

31. R. Rigon
!31
Indipendenza statistica:
Se i due insiemi A e B sono fatti muovere parallelamente a se stessi, in base alla
definizione data, si ottengono altri insieme isomorfi ai primi che rimangono
indipendenti.
A
B
2/3
1/3
2/3 1/3

32. R. Rigon
!32
Indipendenza statistica:
In altre configurazioni, some quella rappresentata sotto, non sono più
indipendenti statisticamente.
A
B
2/3
1/3
2/3 1/3

33. R. Rigon
!33
Probabilità in spazi metrici
Sinora si è pensata la probabilità come definita su insiemi generici. D’ora in poi
assumeremo che lo spazio degli eventi siano uno spazio metrico, isomorfo ad
Rn. In questo caso gli insiemi sono generalmente rappresentati da
coordinate, di solito cartesiane e la probabilità viene rappresentata da
funzioni su Rn che vengono dette
• Funzioni di ripartizione
Se tali funzioni sono funzioni sono di una sola variabile (P: R ->R ) , il processo
viene detto:
•univariato
Altrimenti viene detto
•multivariato
!
!

34. R. Rigon
!34
D’ora in poi
Faremo assumeremo sempre di lavorare in Rn o R. Quindi:
In genere, A e B saranno intervalli di

35. R. Rigon
!35
D’ora in poi
Per indicare la probabilità di ottenere valori minori di x useremo la notazione:
oppure la probabilità di ottenere valori compresi tra x1 ed x2:
con ovvie generalizzazioni ai casi molti-dimensionali

36. R. Rigon
!36
La regola di Bayes
con questa notazione diviene
?

37. Riccardo Rigon
!37
Vista la simmetria tra le variabili
vale anche:
che può essere riscritto:
Ciò che qui appare un semplice rimaneggaimento algebrico è in effetti la
nascita di una nuova visione della disciplina.
Bayes Theorem

38. Riccardo Rigon
!38
Bayes Theorem
Infatti:
Si assuma infatti la conoscenza a priori della variabile x, definita dalla
la distribuzione a priori. Il teorema di Bayes afferma che la conoscenza
introdotta dalla variabile y (o meglio dai fatti che y descrive), modifica la
conoscenza della variabile x (o meglio: della sua distribuzione), e che
questa conoscenza è garantita della distribuzione a posteriori:
che è proporzionale, ma non necessariamente uguale alla prima.
,
,

39. Riccardo Rigon
!39
Bayes Theorem
Il fattore di proporzionalità
è chiamato verosimiglianza:
Cosicchè:
la probabilità a posteriori (di x) uguaglia il prodotto della verosimiglianza per la
probabilità a priori (di x) diviso per l’evidenza
Alcuni distinguono tra numeratore, la verosimiglianza e denominatore che è
chiamato evidenza. Noi adotteremo quest’ultima convenzione.

40. R. Rigon
!40
Probabilità e causalità
La probabilità non riguarda necessariamente la rapporti causali
non significa che y causa x. Solo accenna alle relazioni tra y ed x.
Paradossalmente l’evento y può precedere x !

41. R. Rigon
!41
Distribuzioni delle variabili casuali
• La funzione di ripartizione o Cumulative Probability
Distribution (CDF) è definita:
• La sua derivata (se esiste) è la funzione densità di probabilità
Probability Density Function (PDF):

42. R. Rigon
!42
• Dalle due equazioni precedenti segue:
Distribuzioni delle variabili casuali

43. R. Rigon
!43
La distribuzione uniforme
• Una variabile random X è uniformemente distribuita tra x1 e
x2 se ha funzione densità:
X1 X2

44. R. Rigon
!44
La distribuzione Gaussiana o Normale
• La densità di probabilità
!
!
• La probabilità

45. R. Rigon
• Si dice standard se μ = 0 e σ2 = 1
La distribuzione Gaussiana o Normale
-2 -1 1 2
0.2
0.4
0.6
0.8
1.0

46. Riccardo Rigon
Un Ripasso sulla Probabilità
Calcolo delle probabilità
• Probabilità di ottenere un intervallo di valori
!
!
• Significato della deviazione standard
!
!
!

47. Riccardo Rigon
Un Ripasso sulla Probabilità
• Esempio
» X è una variabile random con μ = 0.8 & σ2 = 4
Calcolo delle probabilità

48. R. Rigon
!48
Uno sguardo più sistematico
1. Distribuzioni a valori discreti
2. Altre distribuzioni continue

49. R. Rigon
!49
Distribuzioni di Probabilità
!
!
• La distribuzione di probabilità
!
– Determina la probabilità di un particolare evento
– Le distribuzioni discrete sono quelle che assumono un valori
nel campo dei numeri naturali o razionali
– Le distribuzioni continue sono quelle che assumono valori nel
campo dei numeri reali.

50. R. Rigon
• Se una variabile casuale X può assumere solo valori
discreti: x1, x2, x3, …
• La funzione densità di probabilità f(x) è del tipo:
!
!
!
!
!
!
!
• La CDF:
!50
Distribuzioni di probabilità discrete

51. R. Rigon
• Se una variabile casuale X può assumere solo valori
discreti: x1, x2, x3, …
!
!
• Tra le sue proprietà
!51
Distribuzioni di probabilità discrete

52. R. Rigon
!52
Distribuzioni di probabilità discrete

53. R. Rigon
!53
Distribuzioni di probabilità discrete

54. R. Rigon
!54
Distribuzioni di probabilità discrete
• Nei fatti, un istogramma e la ECDF sono delle distribuzioni a
valori discreti e la scrittura formale delle entità statistiche e
probabilistiche può coincidere.
!
• E’ bene ricordare però che mentre le entità statistiche
rappresentano campioni, le entità probabilistiche
rappresentano popolazioni (l’ontologia è diversa).

55. R. Rigon
!55
• Varianza di X:
• Deviazione standard di X:
Caratterizzazione delle distribuzioni

56. R. Rigon
!56
Caratterizzazione delle distribuzioni
• Si può definire, in generale, il momento n-esimo di una
distribuzione come:
M(n)
:=
⇥
⇥
xn
pX(x) dx

57. R. Rigon
Funzione caratteristica
La funzione caratteristica è definita come il valore
atteso della della funzione a valori complessi - eitx

58. R. Rigon
Funzione generatrice dei momenti
!
!
!
La funzione generatrice dei momenti è definita come (il valore
atterso di etx ):
!
!
Il momento n-esimo può,, una volta ottenuto l’integrale di cui
sopra essere calcolati da:
!
!
!
Ovvero mediante la derivata n-esima dell funzione generatrice dei
momenti, calcolata per t=0

59. R. Rigon
!59
La distribuzione Binomiale
• Governa la probabilità nel campo dei giochi, nell’analisi di qualità, nello studio delle opinioni, etc.
!
!
!

60. R. Rigon
!60
La distribuzione Binomiale
• Supponiamo di fare n tentativi, ovvero di avere n copie del
processo descritto a A e !A. Allora, la probabilità di avere x
volte A è:

61. R. Rigon
!61
La distribuzione Binomiale
!
• La media e la varianza della distribuzione sono

62. R. Rigon
!62
Poisson Distribution
• Infiniti eventi possibili
A1, A2, A3 ... An
La probabilità dei singoli eventi
ma

63. R. Rigon
!63
Poisson Distribution
• Allora
• Il valore numerico di media e varianza della distribuzione di Poisson sono
uguali

64. R. Rigon
!64
Poisson Distribution
• Un calcolo esemplificativo

65. R. Rigon
!65
Altre distribuzioni continue
•Gaussiana o Normale
•Esponenziale
•Gamma
•Lognormale
•Chi square
•F and T

66. R. Rigon
Esponenziale
P[X < x; ] := 1 e x
0 ⇥ x ⇥ ⇤
f(x; ) := e x
0 x ⇥
V ar[x; ] =
1
2
E[X; ] =
1

67. R. Rigon
Esponenziale

68. R. Rigon
Esponenziale
More information on Wikipedia (Exponential distribution)

69. R. Rigon
Gamma
La distribuzione Gamma può essere considerata una generalizzazione della distribuzione esponenziale e ha forma:
!
!!
Il suo integrale, cioè la probabilità è una funzione trascendente, che si trova
tabulata (o si può calcolare con appropriati metodi numerici) e si chiama
funzione gamma uncompleta
f(x; k, ) :=
xk 1
e x/
k (k)
0 x ⇥ k, >
( ) ⇥ ( 1)!

70. R. Rigon
!70
Gamma

71. R. Rigon
!71
Gamma

72. R. Rigon
!72
Gamma
V ar(x; k, ) = k 2
Mode(x; k, ) = (k 1) k > 1
E[x; k, ] = k
More information on Wikipedia (Gamma distribution)

73. R. Rigon
!73
Lognormale

74. R. Rigon
!74
Lognormale

75. R. Rigon
!75
Lognormale

76. R. Rigon
!76
Lognormale
E[x; µ, ⇥] = eµ+⇥2
/2
Median[x; µ] = eµ
Mode[x; µ, ⇥] = emu 2
V ar[x; µ, ⇥] = (e⇥2
1)e2µ+⇥2
More information on Wikipedia (Lognormal distribution)

77. R. Rigon
χ2
Le distribuzione della somma dei quadrati di n variabili random
standardizzate ha una distribuzione χ2 con n gradi di libertà.
La funzione densità e la funzione di ripartizione sono rispettivamente:
f(x; k) =
1
2k/2 (k/2)
x(k/2 1)
e x/2
x > 0
0 x 0
F[x; k] =
(k/2, x/2)
k/2

78. R. Rigon
!78
χ2

79. R. Rigon
!79
χ2

80. R. Rigon
!80
E[x; k] = k
V ar[x; k] = 2k
χ2
More information on Wikipedia (Chi square distribution)
Mode[x; k] = k 2 k ⇥ 2

81. R. Rigon
!81
χ2

82. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!82
Perchè la distribuzione Normale
è così importante ?
-2 -1 1 2
0.2
0.4
0.6
0.8
1.0

83. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!83
4 Simulazione 3
4 Simulazione 3
In un terzo esempio, considereremo la distribuzione campionaria della
media nel caso di una variabile continua.
1. Verr`a utilizzata una popolazione teorica distribuita normalmente con
media e varianza conosciute: N(125, 33).
2. Usando R, verranno estratti da questa popolazione 50000 campioni
causali di grandezza n = 10.
3. Verr`a calcolata la media di ciascuno di questi campioni di grandezza
n = 10;
4. Verranno calcolate la media e la varianza della distribuzione delle
medie dei 50000 campioni di grandezza n = 10.
Tecniche di Ricerca Psicologica e di Analisi dei Dati 30
CorradoCaudek

84. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!84
4 Simulazione 3
n <- 10
nSamples<- 50000
Mean <- 125
SD <- sqrt(33)
SampDistr <- rep(0,nSamples)
for (i in 1:nSamples){
samp <- rnorm(n, Mean, SD)
SampDistr[i] <- mean(samp)
}
MeanSampDistr <- mean(SampDistr)
VarSampDistr <- var(SampDistr)*(nSamples-1)/nSamples
Tecniche di Ricerca Psicologica e di Analisi dei Dati 31
CorradoCaudek

85. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!85
4 Simulazione 3
Risultati della simulazione
> Mean
[1] 125
> Var
[1] 33
> MeanSampDistr
[1] 125.0029
> VarSampDistr
[1] 3.277463
> Var/n
[1] 3.300000
Tecniche di Ricerca Psicologica e di Analisi dei Dati 32
CorradoCaudek

86. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!86
4 Simulazione 3
• Popolazione: µ = 125, 2
= 33.
• Distribuzione campionaria della media: µ¯x = 125, 2
¯x = 3.3.
• Risultati della simulazione: ˆµ¯x = 125.0029, ˆ2
¯x = 3.277463.
Tecniche di Ricerca Psicologica e di Analisi dei Dati 33
CorradoCaudek

87. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!87
4 Simulazione 3
110 120 130 140
0.00.20.40.6
Media di campioni di grandezza n = 2
Densità
110 120 130 1400.00.20.40.6
Media di campioni di grandezza n = 10
Densità
110 120 130 140
0.00.20.40.6
Media di campioni di grandezza n = 100
Densità
Tecniche di Ricerca Psicologica e di Analisi dei Dati 34
CorradoCaudek

88. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!88
5 Simulazione 4
0 1 2 3 4 5 6
0.00.51.01.52.0
Media di campioni di grandezza n = 2
Densità
0 1 2 3 4 5 6
0.00.51.01.52.0
Media di campioni di grandezza n = 5
Densità
0 1 2 3 4 5 6
0.00.51.01.52.0
Media di campioni di grandezza n = 25
Densità
0 1 2 3 4 5 6
0.00.51.01.52.0
Media di campioni di grandezza n = 100
Densità
Tecniche di Ricerca Psicologica e di Analisi dei Dati 38
CorradoCaudek

89. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!89
6 Conclusioni
6 Conclusioni
• Da questi esempi possiamo concludere le seguenti regole generali.
Supponiamo che ¯x sia la media di un campione casuale estratto da
una popolazione avente media µ e varianza 2
.
– La media della distribuzione campionaria di ¯x `e uguale alla media
della popolazione: µ¯x = µ.
– La varianza della distribuzione campionaria di ¯x `e uguale a
2
¯x =
2
n .
Tecniche di Ricerca Psicologica e di Analisi dei Dati 39
CorradoCaudek

90. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!90
6 Conclusioni
Legge dei grandi numeri
• Di conseguenza, al crescere della numerosit`a del campione, la media
del campione ¯x diventa via via pi`u simile alla media della
popolazione µ.
– In un campione molto grande, ¯x sar`a quasi certamente molto
simile a µ. Tale fatto `e chiamato legge dei grandi numeri.
Tecniche di Ricerca Psicologica e di Analisi dei Dati 40
CorradoCaudek

91. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!91
6 Conclusioni
Teorema del limite centrale
• Indipendentemente dalla forma della distribuzione della popolazione,
la distribuzione campionaria di ¯x `e approssimativamente normale e
quest’approssimazione `e tanto migliore quanto maggiori sono le
dimensioni del campione: ¯x N(µ, n
). Tale fatto `e chiamato
teorema del limite centrale.
– Quanto debba essere grande n a nch´e questa approssimazione
sia accettabile dipende dalla forma della distribuzione della
popolazione – in generale, comunque, n = 30 `e su ciente.
Tecniche di Ricerca Psicologica e di Analisi dei Dati 41
CorradoCaudek

92. Inferenza statistica e statistica descrittiva
Riccardo Rigon
!92
6 Conclusioni
Distribuzione campionaria nel caso di una popolazione gaussiana
• Se la distribuzione della popolazione `e gaussiana allora la
distribuzione campionaria di ¯x sar`a normale, indipendentemente
dalla numerosit`a n del campione.
Tecniche di Ricerca Psicologica e di Analisi dei Dati 42
CorradoCaudek

93. Riccardo Rigon
Grazie per l’attenzione!
G.Ulrici,2000?