Intervento svolto al Convegno annuale della Società Italiana di Informatica Giuridica «Internet of Things e i Diritti della Rete» tenutosi il 5 novembre 2016 presso il CIRSFID, Università degli Studi di Bologna. Autori della ricerca: Federico Costantini, Pier Luca Montessoro

1. Convegno annuale della Società Italiana di Informatica
Giuridica «Internet of Things e i Diritti della Rete»
5 Novembre 2016 – 9.30-16.00
Sala Kelsen - CIRSFID
Via Galliera 3, Bologna
Problemi inerenti la “sicurezza”
negli “autonomous vehicles”
Federico Costantini (DISG)

2. <Sommario/>
<1.- Premessa/>
Presentazione del contesto del «questionario»
<2.- introduzione/>
Il problema dei sinistri stradali e la «guida automatica» come soluzione
tecnologica
<3.- Il questionario «… nei panni di un algoritmo …»/>
Criteri dell’analisi, scenari proposti, risultati
<4.- Discussione dei risultati/>
Valutazione sulla «sicurezza» della «guida autonoma»
<5.- Valutazioni conclusive/>
Prospettive e problemi nella «sicurezza» della «guida autonoma»

3. <1.- Premessa/>
<DATA/>
Giovedì, 6 ottobre 2016
<LUOGO/>
Udine
<EVENTO/>
Conferenza «Algoritmi al volante Problemi inerenti la sicurezza delle
“Self Driving Car” (veicoli a guida autonoma) tra informatica e diritto»
<RELATORI/>
Federico Costantini (DISG)
Pier Luca Montessoro (DPIA)

4. Il problema di fondo è molto semplice: sulle strade si muore.
ITALIA
Anno
Numero di
sinistri
stradali con
lesioni
Numero di
vittime
(deceduti
entro il 30°
giorno)
2013 181.227 3.385
2014 177.031 3.381
2015* 173.892 3.419
http://www.istat.it/it/archivio/189322
* Dati provvisori
U.E. (28)
Anno
Numero di
vittime
2013 26.000
2014 25.900
2015 -
http://ec.europa.eu/transport/road_saf
ety/index_en.htm
U.S.A.
Anno
Numero di
vittime
- -
- -
2015 35.092
https://www.transportation.gov/AV
<2.- Introduzione/>
La maggior parte degli incidenti è causato da errore umano
(95% secondo le statistiche U.S.A., 90% secondo dati U.E.)

5. Si distinguono sei livelli di
automazione a seconda
dell’incremento delle
funzionalità dei sistemi.
Studio per la commissione Trasporti - VEICOLI AUTONOMI: IL FUTURO DEI TRASPORTI SU STRADA?
IP/B/TRAN/FWC/2010-006/Lot1/C1/SC11 2016 PE 573.434, pag. 20
La soluzione è altrettanto
semplice:
ridurre o eliminare il
rischio connesso
all’errore umano
mediante l’automazione
della guida
<2.- Introduzione/>

6. Per consentire la circolazione di autoveicoli con un elevato grado di automazione, è stata
modificata la Convenzione di Vienna del 1968 sul traffico stradale nell’ambito della
Commissione economica per l'Europa delle Nazioni Unite (UNECE) con efficacia a partire
dal 23 marzo 2016.
Art. 8 comma 5bis.
«I sistemi di bordo che influiscono sulla guida del veicolo sono
considerati conformi al paragrafo 5 del presente articolo e al primo
paragrafo dell’articolo 13 se sono conformi alle disposizioni in
materia di costruzione, montaggio e utilizzo previste negli strumenti
giuridici internazionali riguardanti i veicoli a ruote e gli
equipaggiamenti e componenti montati e/o utilizzati sugli stessi.
I sistemi di bordo che influiscono sulla guida del veicolo e non
conformi alle disposizioni in materia di costruzione, montaggio e
utilizzo summenzionate sono considerati conformi al paragrafo 5
del presente articolo e al primo paragrafo dell’articolo 13 se
possono essere neutralizzati o disattivati dal conducente».
Le «Self
Driving Cars»
non sono «il
futuro» ma «il
presente»
<2.- Introduzione/>

7. https://www.eutruckplatooning.com/
<2.- Introduzione/>
Ligier EZ-10 (Wikipedia)
Trasporto pubblicoTrasporto commerciale

8. La soluzione tecnologica al problema dell’errore umano
del conducente mette in discussione quello che è il
presupposto concettuale della vigente normativa in
materia di circolazione stradale (e in generale di tutti i
trasporti).
La distinzione tra veicolo e conducente
Studio per la commissione trasporti (EN), pag. 54
<2.- Introduzione/>
(ed è anche per questo che l’argomento riguarda la Internet of Things)

9. Ciò fa emergere diversi ordini di questioni, tra le quali vale la pena di individuare
diverse problematiche (ma qui possiamo approfondirne solo alcune):
1.- Cibernetica di I grado (sistemi autopoietici):
Definizione di standard industriali o criteri di conformità per i veicoli introdotti nel
mercato (es: protocolli di interazione tra «Smart Driving Cars» e con altri dispositivi)
2.- Cibernetica di II grado (interazione uomo / macchina):
Modifica della normativa sulla circolazione stradale che preveda l’interazione con «Self
Driving Cars» (es: norme di precedenza)
3.- Cibernetica di III grado (soggettività artificiale):
Previsione di precauzioni concernenti rischi relativi a situazioni prima non esistenti
(gestione della sicurezza da parte dei «sistemi autonomi di guida»)
<2.- Introduzione/>

10. Nel tentativo di individuare criteri con cui «programmare» gli algoritmi di guida si è fatto
riferimento al famoso «Trolley Problem» (problema del carrello ferroviario, formulato da
Philippa Foot nel 1967 e qui rappresentato nella sua formulazione base).
<2.- Introduzione/>

11. The social dilemma of autonomous vehicles, Jean-François Bonnefon, Azim Shariff and Iyad Rahwan (June 23,
2016) Science 352 (6293), 1573-1576. [doi: 10.1126/science.aaf2654]
“This is the classic signature of a social dilemma, in which everyone has a temptation to freeride
instead of adopting the behavior that would lead to the best global outcome”.
<2.- Introduzione/>
Il «problema del
carrello» in termini di
«Autonomous
Vehicles»

12. http://moralmachine.mit.edu/
In un sito divenuto
ormai «virale» si sfida
l’utente a misurarsi
con ipotetici scenari
di sinistri stradali.
<2.- Introduzione/>

13. Criteri generali adottati nella scelta degli scenari
(1) La preferenza per la “vita”
Si presuppone che l’agente propenda sempre per la scelta migliore, ossia quella
che consente di minimizzare il danno, la perdita, il dolore, il “male” («diminuire
l’entropia»).
(2) L’assenza di qualsiasi discriminazione
Sesso o orientamento sessuale; disabilità; differenze “razziali” o provenienza
geografica; status economico o sociale; orientamenti ideologici o culturali;
convinzioni religiose (a differenza del test del MIT)
(3) La radicalità delle opzioni
Non si considerano possibilità intermedie
I criteri (1) e (2) non sono previsti come «vincolanti» per i
sistemi di intelligenza artificiale attualmente in fase di studio.
<3.- Il questionario/>

14. Metodologia
Due gruppi di test
- Studenti di giurisprudenza (Courtesy of ELSA) (votazioni «live»)
- Autisti di linea (Courtesy of SAF) (votazioni «per corrispondenza»)
11 componenti per gruppo
15 diversi scenari:
- 8 Scenari semplici (un solo criterio di valutazione) -> macrodilemmi isolati
- 7 Scenari complessi (diversi criteri di valutazione) -> macrodilemmi composti
<3.- Il questionario/>

15. PARTE I
macrodilemmi isolati
<3.- Il questionario/>

16. <3.- Il questionario/>

17. <3.- Il questionario/>

18. <3.- Il questionario/>

19. <3.- Il questionario/>

20. <3.- Il questionario/>

21. <3.- Il questionario/>

22. <3.- Il questionario/>

23. <3.- Il questionario/>

24. PARTE II
dilemmi combinati
<3.- Il questionario/>

25. <3.- Il questionario/>

26. <3.- Il questionario/>

27. <3.- Il questionario/>

28. <3.- Il questionario/>

29. <3.- Il questionario/>

30. <3.- Il questionario/>

31. <3.- Il questionario/>

32. «Cosa faresti se, nei panni di un algoritmo, dovessi scegliere tra…»
Scenario
Group
(D =
Drivers,
S =
studenti)
Op. 1 Op. 2
Dilemmi semplici
«… la vita di un pedone (1) e l’integrità fisica dell’autoveicolo (2)?»
D 11 0
S 11 0
«… la vita di un pedone che viola un divieto (1) e quella di un animale sul ciglio della strada (2)?»
D 11 0
S 11 0
«… la vita di un bambino (1) e quella di un anziano (2)?»
D 0 11
S 0 11
«… la vita di un pedone che attraversa sulle strisce (1) e quella di uno che lo fa fuori, violando un
divieto (2)?»
D 10 1
S 11 0
«… la vita di un pedone (1) e quella di un passeggero (2)?»
D 4 7
S 3 8
«… la vita del proprietario / conducente (1) e quella di un passeggero (2)?»
D 3 8
S 4 7
«… la via del proprietario / conducente (1) e quella di un pedone (2)?»
D 1 10
S 5 6
«… fare una manovra, uccidendo un pedone (1) o non farla, uccidendone cinque (2)»
D 0 11
S 1 10
<3.- Il questionario/>

33. «Cosa faresti se, nei panni di un algoritmo, dovessi scegliere tra…»
Scenario
Group
(D =
Drivers,
S =
studenti)
Op. 1 Op. 2
Dilemmi combinati
«… la vita di un pedone che attraversa la strada sulle strisce (1) e quella di due pedoni che
attraversano fuori, violando un divieto (2)?»
D 5 6
S 7 4
«… le vite di due anziani (1) e quella di un bambino (2)?»
D 2 9
S 4 7
«… la vita di un pedone che attraversa la strada fuori dalle strisce (1) e quella di un passeggero
(2)?»
D 6 5
S 3 8
«… la vita di cinque pedoni (1) e quella di un passeggero (2)?»
D 10 1
S 9 2
«… la vita di un bambino (1) e quella di un passeggero (2)?»
D 10 1
S 10 1
«… la vita di un bambino (1) e quella di tutti i passeggeri (2)?»
D 7 4
S 3 8
«… la vita di un bambino (1) e quella del proprietario / conducente (2)?»
D 11 0
S 11 0
<3.- Il questionario/>

34. <4.- Discussione/>
(1) Non è possibile prevedere a priori tutti gli scenari
(2) In alcuni casi studenti e autisti hanno fornito risposte identiche o simili, in altri
casi risposte diverse e persino antitetiche:
(1) Pedone fuori dalle strisce / passeggero
(2) Bambino / tutti i passeggeri
(3) La valutazione può essere diversa per effetto di diversi fattori, tra cui
l’esperienza del singolo «conducente», la decisione di un sistema esperto
alla guida di un veicolo non è prevedibile.
Osservazioni

35. <5.- Conclusioni/>
(1) Se è vero che «errare è umano, perseverare è diabolico», è vero anche che…
… Non sbagliare è «disumano», tipico solo di un «cervello artificiale»
« … e così ci sarà un
pensatore, che costruirà un
cervello che sappia pensare
esattamente» (Faust)
«und so ein Hirn, das trefflich denken soll, / wird künftig auch ein
Denker machen» Johann Wolfgang von Goethe, Faust: eine
Tragödie, Stuttgart-Tübingen, Cotta, 1831, atto II, vv. 6869-6870.
Wikipedia

36. <5.- Conclusioni/>
(2) … Ogni tecnologia è sempre e solo «relativamente sicura», non fornisce «verità» metafisica o
«certezza» scientifica
La «sicurezza» non è l’assenza totale di pericolo, ma il «controllo» dell’incertezza, ossia la
valutazione dei profili di rischio (che dipende da diversi fattori) ...
http://blog.caranddriver.com/self-driving-mercedes-will-prioritize-occupant-safety-over-
pedestrians/
https://www.inverse.com/article/16667-sorry-the-uk-s-self-driving-
car-insurance-won-t-let-you-drink-and-drive

37. <5.- Conclusioni/>
(3) Il «controllo» dipende da una logica che si pone su un piano diverso e per questo è sempre
diversa da quella di chi è coinvolto in prima persona e quindi il problema è non solo «chi» controlla,
ma «come», «cosa» …
… e perché si mettono su un piatto della bilancia le vittime degli incidenti stradali
e sull’altro i posti di lavoro …
«Per quanto riguarda il trasporto merci, la circolazione di camion per plotoni ("truck platooning")
dovrebbe procedere gradualmente, passando dalla progressiva riduzione delle attività dei camionisti
fino alla loro totale scomparsa dalla cabina guida» (Studio per la commissione Trasporti,
Summary (IT), cit., pag. 3
<<[…] in the EU available data indicate that close to 2.4 million people are active in the road freight
sector in the 23 member states for which data are available. The scale of the impact will depend on the
necessity of the presence of a driver inside the vehicle once truck platooning is implemented. The AXA
report also recognises that the increased use of autonomous vehicles could have a negative impact on
the employment figures for drivers within the haulage industry. However, they note that there is natural
wastage in the numbers of drivers, particularly as drivers retire. Furthermore, increased levels of
autonomy do not necessarily eliminate the need for drivers (due to the need to unload at their
destination, manoeuvre the vehicle at depots etc.).>> Studio – versione integrale in inglese, pag. 83.

38. «Riguardo ai potenziali impatti sul mercato del lavoro, siamo convinti che l'automazione dei veicoli
possa apportare importanti incrementi di produttività nel settore trasporto-merci e della logistica,
ma sarebbe anche utile tenere sotto controllo il mercato per accertarsi che i consumatori ne
traggano beneficio attraverso una riduzione dei prezzi dei prodotti. L'istruzione e la formazione
svolgeranno inoltre un ruolo fondamentale nell'addestramento dei conducenti professionisti e per
familiarizzare le nuove generazioni col mondo del lavoro completamente tecnologizzato, nel quale
nuovi ruoli professionali potrebbero eclissare quelli più tradizionali». (Studio per la commissione
Trasporti, cit., pag. 3)
<5.- Conclusioni/>
Tom’s Hardware

39. «[…] addossare il problema della propria
responsabilità alla macchina (sia che possa
apprendere oppure no) vorrà dire affidare la
propria responsabilità al vento e vedersela
tornare indietro fra i turbini della tempesta»
Wiener, Norbert, The Human Use of Human Beings, tr. it. di Dario
Persiani, Introduzione alla cibernetica. L'uso umano degli esseri umani,
Torino, Bollati Boringhieri (Grandi pensatori; 38), 2012 (1950), pag. 228
<5.- Conclusioni/>

40. federico.costantini[at]uniud.it
Grazie per l’attenzione

41. AD COLORANDUM

42. «Legge
Costantini
Montessoro»
sul rapporto tra
intelligenza
«umana» e
intelligenza
artificiale nel
campo della
sicurezza
… work in
progress …
A proposito di «t-shirt philosophy»…
IA= SL / IU
IA= Intelligenza
artificiale
IU= Intelligenza
«umana»
SL= Livello di sicurezza
del sistema
IA
IU
<5.- Conclusioni/>
SL

43. Le prime «Smart Cars» di
Uber (USA TODAY,
settembre 2016,
Pittsburgh, San Francisco)
Home page di Uber (maggio 2015)
Un ulteriore
esempio
prima di
concludere:
Uber

44. Secondo la stampa, salire su una Uber a guida
automatica significa viaggiare:
- in determinate ore (di giorno)
- In determinate zone (su strade di periferia mappate
con precisione)
- Gratuitamente
- Mentre si viene filmati (prima, durante e dopo)
- A proprio rischio e pericolo (si rinuncia
contrattualmente a richiedere danni a Uber)
- Avere un conducente umano per i casi di estema
emergenza (non è vera e propria guida autonoma)
Se il passeggero è una cavia … lo sono anche il conducente e tutti
coloro che incrociano il veicolo lungo il suo percorso…
(solo che questi ultimi non lo sanno)
The Guardian, 26 settembre 2016

45. <4.- Conclusioni/>
… a proposito di «sicurezza» …

46. Commission Decision of 19.10.2015 setting up
the High Level Group on the Competitiveness
and Sustainable Growth of the Automotive
Industry in the European Union (GEAR 2030)
Per sostenere e orientare lo
sviluppo dell’industria
automobilistica è stato
creato un gruppo di lavoro
denominato «GEAR 2030».
Al suo interno vi è un gruppo
specificamente dedicato alle
questioni concernenti gli
autoveicoli a guida autonoma.
<2.- Introduzione/>