1. UNIONE EUROPEA
FONDO EUROPEO DI SVILUPPO
REGIONALE.
REGIONE PUGLIA
AREA POLITICHE PER LO SVILUPPO
IL LAVORO E L’INNOVAZIONE
P.O. PUGLIA 2007-2013 - Linea 1.1 – Azione 1.1.2
Bando “Aiuti agli Investimenti in Ricerca per le PMI”
Progetto SIRIO
Sistema di Interpretazione e Rapida Immissione di Output
diversi, elettronici e cartacei, all’interno di una cartella clinica
nefrologica digitale
2. ApuliaBiotech è una Società Consortile a responsabilità
limitata senza scopo di lucro, costituita nel 2000, con sede in
Valenzano presso il Consorzio C.A.R.S.O. (Centro di
Addestramento per la Ricerca Scientifica Oncologica), sito sulla
Strada Provinciale per Casamassima all’altezza del Km. 3,000.
Le attività svolte negli anni hanno riguardato maggiormente il
settore ICT e le Biotecnologie per la Sanità
3. La composizione societaria del Consorzio Apuliabiotech rispecchia la coniugazione fra
Tecnologie Informatiche e Biomedicina:
Universita' degli Studi di Bari
Dipartimento dell'Emergenza e dei Trapianti di Organi (DETO)
Sezione di Nefrologia – Bari;
Teseo.it Srl – Bari
Progettazione e sviluppo software – Reti e sicurezza informatica – Applicazioni di
telematica
Altanet Srl – Altamura
Progettazione e sviluppo software
Abiotec sas – Bari
Distribuzione ed assistenza di apparecchiature per le biotecnologie - Consulenza ed
assistenza in apparecchiature medicali
Euromed Srl– Bari
Consulenza ed assistenza in apparecchiature medicali
ONE – ditta individuale - Servizi
Cacciapaglia – ditta individuale – Consulenza informatica
4. Presidente Consiglio di Amministrazione
Prof. Francesco Paolo Schena
Professore di Nefrologia all’Università di Bari
Presidente del Consorzio C.A.R.S.O. (Centro Addestramento
Ricerca Scientifica e Oncologica)
Direttore del Centro Regionale Trapianti e Responsabile del
programma Trapianti di Organi della Regione Puglia
Direttore del Centro Interregionale Trapianti (AIRT)
Membro della Consulta Tecnica Nazionale
Membro della Commissione Ricerca Scientifica Sanitaria
Nazionale
6. In 11 anni di attività, il Laboratorio di Biologia Molecolare è diventato un punto di
riferimento per laboratori di ricerca e strutture sanitarie pubbliche o private, che si
occupano di espressione genica, fornendo ad essi un supporto qualificato grazie alla
grande professionalità di un personale altamente specializzato.
Il Laboratorio di Biologia Molecolare ha basato il suo punto di forza nella dotazione di
strumenti tecnologicamente avanzati, e sul continuo aggiornamento ai progressi della
tecnica ed alle nuove esigenze diagnostiche emergenti, e nell'impiego di metodi analitici
sofisticati ed innovativi e fornisce i seguenti servizi:
Real Time PCR;
Citofluorimetria;
Analisi OGM;
ELISA.
Il Laboratorio di Biologia Molecolare, inoltre, dispone di una serie numerosa di
strumentazioni altamente sofisticate e all’avanguardia con lo sviluppo tecnico scientifico
quali per esempio:
Cycler Optical System;
Flow Pas Cytometer.
7. Apulia Biotech – ICT s.c.r.l. si occupa dello sviluppo e della promozione di supporti informatici
operativi. L'obiettivo finale è la realizzazione di un modello informatizzato integrato di gestione
della struttura medico/ospedaliera.
Apulia Biotech - ICT fornisce i seguenti servizi:
Sviluppo siti web; Progettazione e sviluppo Database relazionali e per workgroup; Applicativi
web oriented, stand-alone, client/server.
Servizi al mondo medico-sanitario attraverso l’erogazione di servizi di assistenza, manutenzione
e aggiornamento del SIGMA – Sistema Informatizzato per la Gestione dei dati Medici Avanzato
(http://www.sigmanephro.com ), un sistema sviluppato da Apulia Biotech che consente la
gestione dei pazienti uremici e in special modo degli emodializzati e la realizzazione di studi
epidemiologici.
Servizi di supporto nella raccolta e analisi dei dati del Registro Italiano Biopsie Renali per la S.I.N.
(Società Italiana di Nefrologia).
Servizi di supporto nella gestione del Registro Dialisi e Trapianti Pugliese per la SIN-AL (Società
Italiana di Nefrologia – Sezione Apulo-Lucana).
Apulia Biotech - ICT ha realizzato, commissionato dall’AReS- Puglia, il Sistema Informativo per la
gestione dei dati dei pazienti uremici Albanesi nell’ambito del Progetto Interreg 3.
ApuliaBiotech – ICT ha realizzato un progetto di Ricerca e Sviluppo (POR 2007-2013)
denominato SIRIO (Sistema di Interpretazione e Rapida Immissione di Output diversi, elettronici
e cartacei, all’interno di una cartella clinica nefrologica digitale)
8. ApuliaBiotech è stato Soggetto Organizzatore di Eventi e Progetti Formativi Aziendali ai fini
dell'accreditamento nel programma di Educazione Continua in medicina avviato nel 2000 dal
Ministero della Salute, e che prevede un programma nazionale annuale per la formazione
continua degli operatori della Sanità.
Per questo scopo infatti in tutti i Paesi del mondo sono nati i programmi di Educazione Continua in
Medicina (E.C.M.); essa comprende l'insieme organizzato e controllato di tutte quelle attività
formative, sia teoriche che pratiche, promosse da chiunque lo desideri (si tratti di una Società
Scientifica o di una Società professionale, di una Azienda Ospedaliera, o di una Struttura
specificamente dedicata alla Formazione in campo sanitario, ecc.), con lo scopo di mantenere
elevata ed al passo con i tempi la professionalità degli operatori della Sanità.
Dall'anno 2003 Apuliabiotech ha organizzato circa 40 eventi formativi dedicati prevalentemente a
Nefrologi, specialisti di Medicina Interna ed infermieri.
ApuliaBiotech ha rilasciato crediti formativi ECM per ogni giornata di formazione organizzata a tutti
i partecipanti all'aggiornamento.
Negli anni 2011 e 2012 ApuliaBiotech ha dato supporto tecnico-scientifico alla realizzazione della
International Summer School of Renal Pathology.
9. Apulia Biotech ha portato a termine e ha tuttora in corso progetti di ricerca in
collaborazione con organizzazioni esterne, progetti approvati dal Ministero della
Sanità, dal Ministero dell'Istruzione dell'Università e della Ricerca e nell’ambito dei
PON e dei POR.
10. P.O. PUGLIA 2007-2013 - Linea 1.1 – Azione 1.1.2
Bando “Aiuti agli Investimenti in Ricerca per le PMI”
Sistema di Interpretazione e Rapida Immissione di Output diversi, elettronici e
cartacei, all’interno di una cartella clinica nefrologica digitale
Durata del progetto
17/11/2009 – 31/10/2011
11. Nel corso dell’utilizzo della Cartella Clinica, proprietaria, SIGMA (Sistema
Informatizzato per la Gestione dei dati Medici Avanzato) da parte dei centri
nefrologici, utenti del sistema, sono emerse grosse difficoltà per ciò che attiene
l’inserimento della notevole mole di dati provenienti dagli esami clinici di
laboratorio e soprattutto nella gestione dei pazienti di ambulatorio. Infatti, nella
maggior parte dei casi, i pazienti arrivano in clinica portando con se i risultati di
esami di laboratorio su supporto cartaceo che andrebbero inseriti all’interno della
cartella clinica.
12. Da qui l’idea di studiare una metodologia che permettesse l’acquisizione, in maniera
automatizzata e veloce, dei dati relativi agli esami di laboratorio.
Gli esami di laboratorio possono arrivare all’operatore in diverse forme:
elettronico – sotto forma di output provenienti da sistemi che gestiscono i dati di
laboratorio presenti nel centro stesso (ospedale il più delle volte); questi output non
sono standardizzati poiché il sistema di gestione dei dati di laboratorio all’interno di
una struttura ospedaliera o di dialisi può essere completamente diverso da quello di
un altro;
cartaceo - sotto forma di referti di laboratorio che riportano i risultati degli esami
effettuati.
13. Una tale metodologia diventa utile al fine di:
Risparmiare in risorse umane
(tempo necessario per l’introduzione dei dati);
Ridurre drasticamente errori di trascrizione del dato;
Avere una base dati completa per il miglioramento della
salute del paziente e fondamentale per poter effettuare
studi epidemiologici fondati;
Eliminare ingombranti archivi cartacei con tutti i problemi
relativi a spazi fisici necessari e complicazioni e perdite di
tempo per la ricerca dei documenti archiviati.
14. Università di Foggia – Nefrologia
(supporto medico -scientifico)
Politecnico di Bari – Laboratorio di misure
(supporto tecnico - scientifico)
15.
16. Con il supporto dell’Università degli Studi di Foggia (Sezione di Nefrologia) si è fatta
una disamina dei dati caratteristici dell’ambito nefrologico. Sono state individuate
diverse fonti, le più rappresentative, provenienti sia dai file digitali dei macchinari,
sia dalla digitalizzazione del cartaceo. Queste fonti hanno costituito il dominio di
input dei valori di interesse.
Individuata la base dati, si è passato alla identificazione delle unità di misura e delle
regole di conversione atte ad ottenere un output standardizzato e conforme ai
dettami europei (e laddove mancanti, secondo quelli utilizzati dal mondo medico
nefrologico di riferimento).
17. È stato individuato il formato XML di output dell’attività del SIRIO
18. È stata effettuata la classificazione ed interpretazione degli esami di laboratorio
20. L’attività di ricerca ha avuto come obiettivo finale la realizzazione di un prototipo
software per la scansione e il riconoscimento di dati medici su supporto cartaceo; il
sistema parametrizzabile è in grado di elaborare dati di ingresso eterogenei e
renderli automaticamente disponibili in uscita in un formato digitale standardizzato
e utilizzabile da altri software.
La realizzazione del sistema è associata alla raccolta di dati e referti provenienti da
diversi ambiti medici e tali da costituire il dominio di ingresso dello stesso e le sue
uscite sono oggetto di elaborazione per un software di tipo XML il cui risultato dovrà
essere un file standard XML di tipo strutturato.
Per raggiungere tale obiettivo si sono analizzate le problematiche relative all’analisi e
alla segmentazione di documenti cartacei il cui scopo è il recupero di informazioni
sintattiche e semantiche da immagini ottenute per mezzo di un processo di
scannerizzazione; molta attenzione è stata dedicata ai prodotti presenti sul mercato,
sia commerciali che open source, prevalentemente utilizzati nel Office Automation
per la classificazione e archiviazione di libri e documenti.
21. La segmentazione di immagini rappresenta uno degli argomenti più dibattuti nell’analisi dei
documenti (Document Image Analysis) a testimonianza del fatto che le problematiche ad essa
associata sono ad oggi non ancora risolte.
Fondamentalmente, l’elaborazione di queste immagini si compie attraverso una serie di
operazioni a vari livelli: low level, che si occupa di individuare le soglie di binarizzazione e di
rimuovere il rumore presente; mid level che si interessa del rilevamento dei bordi e della
segmentazione; high level che produce l’identificazione dei contenuti del documento sotto
indagine.
Definendo il document space come il set di documenti che un classificatore deve trattare
(documenti di banca, documenti di assicurazione, lettere commerciali, rapporti finanziari,
referti medici, ecc) e le document classe come le parti in cui il document space è suddiviso sulla
base di opportune feature (copertina, intestazione, titolo, figure, ecc.), si è posta l’attenzione
sullo spazio documenti "referti medici", classificati in base alle intestazioni ed in base alle
tipologie di tabelle contenenti i risultati delle analisi di laboratorio.
22. La realizzazione di un prototipo per questo caso di studio, che rappresenta l’oggetto della
ricerca, potrebbe essere esteso in sviluppi successivi a classi e documenti differenti.
In particolare, il problema della trasformazione di tabelle e documenti medici in forma
cartacea ha richiesto lo studio e l’approfondimento della fase di analisi del layout, che si
occupa di stimare le direzioni preferenziali del documento e di eseguirne la
scomposizione della fase di riconoscimento dei caratteri (OCR)
Allo scopo di ottimizzare i tempi di elaborazione e di ridurre gli errori di conversione si
sono esaminati i differenti metodi proposti in letteratura; per l’analisi del layout, si sono
approfondite le tecniche di tipo top-down, bottom-up e ibrido. Per il riconoscimento dei
caratteri si sono esaminati i diversi OCR proposti come applicazioni di tipo commerciale o
come strumenti di tipo “open source” ponendo particolare attenzione alla loro
espandibilità al caso di termini greci o cirillici.
In fase di progetto si è agito con l’intento di poter facilmente interfacciare il prototipo con
il software per la produzione di documenti XML. Il prototipo sviluppato, in una prima fase,
effettua l’estrazione dei componenti fondamentali del documento (testo, figure, dati e
unità di misura), in una seconda fase eliminare le informazioni ritenute non utili per il
monitoraggio del paziente (figure), in una terza riconosce ed estrae le informazioni da
trasmettere e in una quarta e ultima fase le memorizza in un formato utilizzabile dal
motore interno XML.
23. Il referto medico è analizzato suddividendo le pagine in uno o più blocchi per poi estrarre
le righe di testo.
L'algoritmo agisce in quattro fasi successive: nella prima esegue una preprocessing
dell'immagine per migliorarne la leggibilità; nella seconda analizza il layout del
documento al fine di identificare le colonne e le righe contenenti le informazioni da
estrarre scartando elementi grafici estranei come bordi e grafici; nella terza estrae i
caratteri mediante OCR ed interpreta le informazioni contenute nell'immagine; infine,
nella quarta e ultima fase esporta i dati estratti in formato XML.
La seconda e la terza fase sono assistite da una knowledge base (KB) opportunamente
predisposta. Nella fase di preprocessing l’immagine viene ruotata e sottoposta a
sogliatura adattativa per convertirla in formato bianco/nero e filtrata.
Nella fase di analisi del layout, il referto medico è suddiviso in blocchi; le righe di testo
sono sottoposte all’analisi dell’OCR confrontando le parole con quelle di una lista
appositamente preparata di intestazioni di colonna. Tali intestazioni identificano le
colonne delle tabelle che contengono informazioni mediche pertinenti (Fig. 1).
25. Le intestazioni di colonna,
come riconosciute da una
versione preliminare
dall'algoritmo, sono quindi
circoscritte da riquadri
rossi; solo in seguito
l’algoritmo identifica le
celle della tabella dei dati
differenziando i nomi dei
test (rettangoli blu), i
risultati numerici o
alfanumerici (rettangoli
verdi), le unità di misura
(rettangoli rosa) i valori di
riferimento rettangoli gialli.
Fig. 2. Segmentazione e riconoscimento del tipo di dati
26. Dopo aver opportunamente profilato i vari ambiti applicativi (file digitali, formato specifico
peculiare di ogni vendor e file cartacei), il motore di conversione interno interpreta
correttamente i risultati delle analisi, attribuendoli ad un nominativo digitato nel software.
Il software, sviluppato in ambiente Windows, consente di ottenere record di informazione
(strutturati in forma di coppie <nome,valore>) recanti i nomi degli esami e il loro valore. Questi
valori vengono poi processati dal software che si occupa della creazione dei file XML, pronti per
essere interpretati ed assorbiti dal software SIGMA o altri software in ambito nefrologico.
L’attività di sviluppo del prototipo software ha raggiunto i risultati fissati come obiettivi sia per
quanto attiene l’acquisizione di dati di tipo digitale, sia per quanto attiene l’acquisizione di dati
provenienti da supporto cartaceo.
Nella fase di estrazione dei dati, le celle delle tabelle sono sottoposte ad OCR e per ciascuna
voce d'esame, viene effettuato un best match tra il suo nome, come restituito dall'OCR, e la KB.
Nel matching è considerata anche la corrispondenza dell'unità di misura; se il matching è
positivo viene creato un record che contiene i dati grezzi restituiti dall'OCR, e i dati normalizzati
con l'ausilio della KB.
I dati normalizzati includono un identificativo univoco per il test, il nome standardizzato (scelto
tra le diverse varianti riscontrate in letteratura), il risultato, l'eventuale unità di misura
standardizzata (anch'essa scelta tra le varianti riscontrate in letteratura).
27. Nella quarta ed ultima fase di
esportazione, i dati elaborati
vengono raccolti in un file
XML di output i cui elementi
più significativi sono il
“testId” e il “name”, che
identificano il tipo di analisi
ed il suo nome insieme al
“nameIm”, “resultIm” e
“unitIm” che precisano le
coordinate nell'immagine di
input dei riquadri in cui sono
contenuti.
Un esempio completo di file
XML di output è riportato di
Fig.3.
Fig. 3. Estratto dell’uscita xml contenente i dati presenti nel referto medico di Fig. 1
28. Le prove per la verifica del sistema realizzato
sono state effettuate su documenti in formato
A4 in scala di grigi acquisiti per mezzo di
comune scanner avente risoluzione 300 dpi.
Le prestazioni del sistema sono state riportate
in dettaglio nell'Allegato 1, cui si rimanda,
dove sono riportati dati quantitativi.
Il tasso d'errore è stato non superiore al 4.8%.
I risultati dell'insieme completo di prove
effettuate, tra cui immagini di partenza,
informazioni diagnostiche, file XML d'uscita,
sono forniti in formato elettronico.
29. La KB consiste in un file nel comune formato XLS, di cui è riportato un estratto in Tabella I. Ogni riga
corrisponde ad un test riconosciuto dal sistema.
Attualmente sono inclusi circa 120 test.
Ogni test è individuato da un insieme di attributi:
'id': identificativo univoco del test
'name': nome normalizzato del test
'unit': unità di misura normalizzata del test
'nameAliases': elenco di varianti possibili per il nome del test
'unit': elenco di varianti possibili per l'unità di misura del test
Altri tre attributi 'testHeaderId', 'level', 'multiLine' consentono di definire casi in cui le informazioni di
un test devono essere estratte esaminando più righe.
Infine l'attributo 'specialParse' consente il parsing di casi particolari come, ad esempio, il peso specifico
dell'urina, la cui unità di misura spesso non viene indicata e deve essere dedotta a partire dal risultato
numerico scegliendo tra 'g/mL' e 'g/L'.
La versione più recente della KB è contenuta nel file 'sirioKnowledgeBase_A - Rev 01.xls'.
31. Il sistema è stato implementato nel linguaggio di programmazione Python, ricorrendo all'uso di
librerie open source.
L'esecuzione tramite di riga di comando ha la seguente sintassi:
ocrMain_01.py [-h] [-d] [-t TMPDIR] [-v] inImgPath xmlPath
Positional arguments:
inImgPath path of the image to be analyzed. Only *.png images
are allowed. A full path can be given, or a path
relative to this Python program.
xmlPath path of the file where analysis will be stored.
Existing files are overwritten. A full path can be
given, or a path relative to this Python program.
32. Optional arguments:
-h, --help show this help message and exit
-d, --deskew an attempt is made to deskew the image. If the found
skew angle is less than 1.0 degrees, deskewing is undone.
-t TMPDIR, tmpDir TMPDIR
directory where temporary files are stored. Among
temporary files there is tmpPreProcessedImage.png. The
default value is taken from the config script PythonlocalConfig.py.
-v, --version show program's version number and exit
'inImgPath' ed 'xmlPath' sono, rispettivamente, i percorsi dell'immagine da analizzare, in formato PNG, e
del file XML che verrà prodotto.
E' possibile effettuare un deskew opzionale dell'immagine, per correggere un eventuale disallineamento
del documento cartaceo al momento della scansione. La correzione è applicata solo se la rotazione è
maggiore di 1°.
Per la descrizione dettagliata delle opzioni e per ulteriori informazioni sulla struttura del software si
rimanda all'help integrato (visualizzabile con lo switch –h) ed alla distribuzione software più recente
fornita.
33. Tipo di dati: Esami di Laboratorio
Fonte: Laboratorio Analisi Scotti srl
Formato dati: File Excel
Struttura: Bari - New Dial
Tipo di dati: Pesi e pressioni
Fonte: Finesse Professional - Fresenius
Formato dati: File Excel
Struttura: Bari - New Dial
Tipo di dati: Dati seduta dialitica
Fonte: Exalis - Hospal
Formato dati: File XML HL7
Struttura: Tutte le strutture
Tipo di dati: Status in lista d'attesa
Fonte: CRPRTO
Formato dati: Dblink Oracle
Struttura: Tutte le strutture
Tipo di dati: Esami di Laboratorio
Fonte: SIEMENS
Formato dati: File html
Struttura: Livorno - Osp. Riuniti
• Tipo di dati: Esami di Laboratorio
• Fonte: NoemaLife
• Formato dati: Tabelle di transizione Oracle
• Struttura: Acquaviva delle Fonti - Osp. Miulli
• Tipo di dati: Esami di Laboratorio
• Fonte: CED
• Formato dati: File txt
• Struttura: Roma – Columbus
• Tipo di dati: Esami di Laboratorio
• Fonte: CED
• Formato dati: File html
• Struttura: Genova - HSM
• Tipo di dati: Esami di Laboratorio
• Fonte: THESI
• Formato dati: File html
• Struttura: Foggia - Osp. Riuniti
• Tipo di dati: Esami di Laboratorio
• Fonte: CED
• Formato dati: File html
• Struttura: Altamura - Osp. Umberto I
Sono state realizzate interfacce per l’acquisizione di dati provenienti da diverse fonti che possono
essere così riassunte:
34. Il progetto ha conseguito gli obiettivi prefissati, realizzando un prototipo di
software utile all’acquisizione, in maniera automatizzata da parte della cartella
clinica proprietaria, di dati clinici provenienti da supporti cartacei e da supporti
digitali.
35. Formati digitali
Formato
digitale
SIRIO
Sistema di
Interpretazione e
Rapida
Immissione di
Output diversi,
elettronici e
cartacei,
all’interno di una
cartella clinica
nefrologica
digitale
Formato
digitale
Supporto
cartaceo
Prelievo dal paziente
Laboratorio analisi
Acquisizione dei dati nella cartella clinica digitale
36. Realizzazione portale web aziendale: www.apuliabiotech.it/sirio
Pubblicazione scientifica internazionale su “Instrumentation and Measurement” dell’IEEE
(Institute of Electrical and Electronics Engineers): F. Adamo, F. Attivissimo, A. Di Nisio: An
Integrated System for the Management of Medical Data, Proceedings of Medical
Measurements and Applications, Bari, Maggio 2011, pp. 241-245.
Informativa per il Progetto Sirio sulla rivista scientifica nazionale “Tutto Misure” -
dicembre 2011.
Sono stati realizzati incontri per la diffusione dei risultati presso:
Convegno SIN (Società Italiana di Nefrologia) – Genova 21-24 settembre 2011:
Presentazione risultati del progetto e prototipo SIRIO.
Convegno SIN-AL (Società Italiana di Nefrologia – sez. Apulo-Lucana) – Lucera (FG) 14 –
14 ottobre 2011: Presentazione risultati del progetto e prototipo SIRIO.
Convegno di nefrologia - Milano dal 7 al 10 dicembre 2011: Presentazione risultati del
progetto e prototipo SIRIO.
Per la diffusione dei risultati sono state realizzate le seguenti attività:
37. APULIA BIOTECH S.c.r.l.
STRADA PROVINCIALE PER CASAMASSIMA Km. 3,000, C/O CARSO
70010 VALENZANO
www.apuliabiotech.it
Pec: apuliabiotech@legalmail.it
