Un viaggio alla scoperta dei Language Models e dell’intelligenza artificiale in produzione: novità, esempi e consigli utili.

1. Intelligenza artificiale e testo
a cura di: Andrea Guzzo
Che funziona…
at reasonable scale…

2. Ciao Commit University!
I'm Andrea Guzzo:
- AI Technical Leader @MDPI
- Organizer @PythonBiellaGroup
- Nerd @ByNight
- Sometimes @ComputerScientist
Trying to follow the PEP8 way..
Reach me:
- https://linktr.ee/jeydi92
Grazie di avermi invitato e grazie di essere qui!!!

3. È vero che solo le big tech possono fare "intelligenza artificiale"?
Di cosa parliamo?
● Cosa vuol dire NLP?
● Qual è lo stato dell’arte dell’Intelligenza Artificiale?
● Quali sono i modelli più utilizzati? Che problemi si possono risolvere?
● Come si può realizzare un Sistema di Intelligenza Artificiale che utilizza il testo
e il linguaggio naturale?
● Facciamo qualche esempio!

4. NLP, cosa vuol dire?

5. Cosa vuol dire fare NLP?
- Processare differenti formati di testo scritti in linguaggio naturale in modo che
siano comprensibili da una macchina
- Utilizzare il testo per estrarre informazioni utili tramite l'impiego di algoritmi.
Il linguaggio naturale comporta moltissimi problemi

6. Un po' di storia
3 / 5 anni fa il mio attuale lavoro non esisteva
Quanto testo "digitale" esiste ora? Quanto è grande il "web" adesso?

7. Cosa sta succedendo adesso?
https://openai.com/dall-e-2/
https://www.midjourney.com/home/
https://github.com/features/copilot
https://openai.com/blog/whisper/
https://www.theverge.com/2022/9/29/23378210/meta-text-to-video-ai-generation-
make-a-video-model-dall-e
● Ma ci sono sempre gli umani!

8. Cosa sta succedendo adesso?
● È una beta
● È GPT
● È GROSSO (175 miliardi di parametri)
● È probabilistico e molto arrogante
● Funziona bene su cose semplici
● Sbaglia ancora tanto
● Non è aggiornato
● Potrebbe essere rivoluzionario (però è figo)

9. Algoritmi e modelli
Quali sono e quali problemi risolvono?

10. Che problemi posso risolvere?
https://paperswithcode.com/

11. Si ma concretamente, cosa si può fare?
A partire da degli articoli scientifici (papers e journals):
● Trovare delle similarità semantiche: Article Similarity
● Trovare simili autori e revisori per gli articoli: Peer Reviewer Finder
● Capire di cosa parlano certi articoli: Topic Finder, Article Summarization
● Raggruppare articoli simili: Article Clustering
● Estrarre parole chiave: Topic Modelling
● Capire se ci sono delle copiature o dei problemi: Ethical Project
● Migliorare il processo di revisione manuale: Regole sintattiche e sematiche (POS)
● Suggerire riviste e articoli agli utenti: Finder
● Creare dashboard per l'analisi dei dati
● E tanto tanto altro ancora…

12. Facciamo qualche esempio!
https://app.scilit.net/publications/2f886c5a1a8858cba1e81d837276cf1c

13. Di quali algoritmi stiamo parlando?
BERT Model
Word Embeddings
https://medium.com/@hari4om/word-embedding-d816f643140 https://jalammar.github.io/illustrated-bert/

14. Di quali algoritmi stiamo parlando?
Transformer!
https://jalammar.github.io/illustrated-transformer/ https://jalammar.github.io/how-gpt3-works-visualizations-animations/

15. Che problemi posso risolvere?

16. Alcuni concetti fondamentali…
● Algoritmi addestrati da altri: Pre-addestrati
● Modelli pre-addestrati sono molto difficili da addestrare e serve tanto corpus
● Grazie al transfer learning è possibile specializzare gli algoritmi pre addestrati
● È possibile condividere modelli pre addestrati
● Specializzare un algoritmo sui tuoi dati: fine tuning
● Alla fine si ottengono degli embeddings (vettori in uno spazio)
● È possibile applicare della «matematica» agli embeddings per fare calcoli (similarità)
https://huggingface.co/

17. NLP!
Come si può fare per davvero?

18. Anatomie delle aziende
● Come faccio a valorizzare i dati e le informazioni che ho a disposizione?
● Posso realizzare anche io un progetto Dati (Science, AI) che funziona davvero?

19. Ma non dimentichiamo mai
Ogni azienda è unica perchè ha dati unici e persone uniche
I dati sono più importanti degli oggetti che li hanno creati:
- Le informazioni estratte valgono più dei dati
- La conoscenza vale più dell'informazione
- La saggezza ricavata ha un valore inestimabile
“Ogni azienda è una società di analisi dati” Amir Orad, Forbes Feb. 2020
“Chi controlla la spezia controlla l'universo!” Baron Vladimir Harkonnen

20. Reasonable Scale
Criteri:
- Computazione: hanno una disponibilità limitata di budget per la computazione, non un intero data
center a disposizione
- Grandezza del team: hanno dozzine di ingegneri, non centinaia
- Ricavato: hanno fatturati da milioni all'anno, non miliardi (e magari la tecnologia non è il loro core
business)
- Dati: hanno una disponibilità limitata di datasets (terabytes-sized), non petabytes.
- Impatto: non utilizzano Data Science come strumento quotidiano nel loro lavoro
Jacopo Tagliabue (Adjunct Professor NYU) - StanfordMLSysSeminars

21. Come possiamo trovare una soluzione e fare un progetto?
Siamo "data people", quindi il nostro compito è quello di creare qualcosa
che abbia un valore (per davvero).
La risposta: Non abbiamo bisogno di una barca più grande!
● Il dato è il Re: ossessionati con la qualità del dati, perchè è il punto in cui il guadagno è maggiore
○ Corollario: importante prima investire in Data Engineers (più che in) Data Scientists
● PaaS è meglio di Iaas: Il tempo è spesso la risorsa più scarsa e ci sono molte soluzioni e strumenti che ci
possono semplificare la vita, usiamole!
○ Corollario = less is more e KISS: non scrivere codice che altri hanno già scritto
● Sforzarsi di essere "agili": L'archiviazione intelligente dei dati, moderni computer portatili, accesso
facilitato alle risorse "scalable computing" è tutto quello di cui c'è bisogno
○ Corollary: il calcolo distribuito (ad esempio Spark) è la radice di tutti i mali
Jacopo Tagliabue (Adjunct Professor NYU) - StanfordMLSysSeminars

22. Come possiamo trovare una soluzione?
● General trend 1: I modelli sono diventati delle commodities (es: computer vision e NLP),
le pipelines di gestione dei dati rappresentano il vantaggio competitivo (ma fa meno figo)
● General trend 2: al di là di alcuni giganti tecnologici il 95% (ma anche il 99%) degli strumenti,
delle necessità e dei modelli possono essere risolti con strumenti off-the-shelf (principalmente
open source)

23. Facciamo un esempio!

24. Reasonable scale: per noi!
Come abbiamo costruito i nostri progetti?
- Partire con il team: creare una metodologia di lavoro che funzioni bene per il
tuo team, coinvolgere sempre il "gestore" dei dati e l'utente finale nel processo.
Bisogna costruire qualcosa che funzioni!
- Creare building blocks: partire dai fondamentali, creare semplici template e generalizzare il codice
per tutti i progetti.
- Get out of the building: bisogna andare in produzione subito, dal giorno 0
- Shiny object syndrome: l'ultimo modello o l'ultima tecnologia sul mercato non risolverà il tuo
problema nella maggior parte dei casi
- Nessuna scusa: se non puoi fare qualcosa, costruisci con quello che hai, e solitamente è più che
abbastanza.
- Deve funzionapre per gli utenti: alla fine, il progetto deve funzionare e deve essere utilizzato dagli
utenti
- Il "perchè" (la domanda di ricerca) è sempre il faro nella notte!

25. Workflow di lavoro

26. Architettura
Si, non c'è nessun
cloud qui :)

27. E adesso?
Cosa ci portiamo a casa?

28. Si può fare!
- Democratizzazione: al giorno d'oggi l'Intelligenza Artificiale è stata molto
"democratizzata"
- Non solo le big tech: tutti possono realizzare la propria soluzione (non serve una barca
sempre più grande)
- Giusta filosofia: Bisogna conoscere, approfondire, imparare (never ending learning), ma avendo la
giusta metodologia e filosofia di lavoro fin da subito
- Trovare la propria: "reasonable scale"
- Il mondo dell'Intelligenza Artificiale sta evolvendo tantissimo! Soprattutto in alcuni campi
- Attenzione: è un mondo vasto e ci si può perdere facilmente, se non sai cosa stai facendo
- Non cediamo alla fuffa… o a terminator!

29. Domande?
https://linktr.ee/jeydi92
Grazie!