Presentada en "Sesión de demostración de IMPACT en la BNE. Octubre 2011. Biblioteca Nacional España

1. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
INTRODUCCIÓN A IMPACT
SESIÓN DE DEMOSTRACIÓN IMPACT
Biblioteca Nacional de España, 5 de octubre de 2011

2. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Antecedentes
El texto no digitalizado es “virtualmente” invisible
Disponibilidad de material digitalizado demasiado lento, pequeñas cantidades y
pocas fuentes
Tecnología OCR (reconocimiento óptico de caracteres) no resultados satisfactorios
para documentos históricos
Falta de conocimiento institucional y especialización ineficiencia y “reinventar la
rueda”
2

3. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Texto histórico: típicos resultados OCR
VVt Venetien den 1.Junij, Anno 1618.
DJgn i f paffato te S' aö'Jifeert mo?üen/bah .)etgi'uotbciraetail)i.r/JtmelchontDecht te /
sbnbe bele btr felbrr geiufttceert baer bnber eeniglje jprant o^fen/bie ftcb .met
beSpaenfcbeu enbeeemgljen bifet Cbeiiupcen berbonbru befe
3

4. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Retos OCR
Tintas traspasadas
Manchas
Encuadernaciones
Orificios/desgarros
Errores de impresión
Sellos
Pliegues
Suciedad
Animales
Entintado débil
Reparaciones
Calidad del papel
Laminación
4

5. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Retos lingüísticos: variantes ortográficas, variantes de
grafía, formas conjugadas, declinadas…y más
Variantes históricas para la forma verbal hubo:
hubo, huvo, uvo, vuo, uuo, huuo…
Variantes históricas para la palabra holandesa ‘wereld’ (mundo):
werelt weerelt wereld weerelds wereldt werelden weereld werrelts waerelds weerlyt wereldts
vveerelts waereld weerelden waerelden weerlt werlt werelds sweerels zwerlys swarels swerelts
werelts swerrels weirelts tsweerelds werret vverelt werlts werrelt worreld werlden wareld weirelt
weireld waerelt werreld werld vvereld weerelts werlde tswerels werreldts weereldt wereldje
waereldje weurlt wald weëled
5

6. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Reto institucional: falta de conocimiento y experiencia →
ineficiencia
6

7. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Cómo afrontar estos retos: La visión de IMPACT
• Digitalizar los textos impresos históricos
en Europa mejor, más rápido , más
barato
• Proporcionar herramientas, servicios e
instalaciones para continuar avanzando
en este campo
7

8. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
El proyecto en cifras
Apoyado por la Comunidad Europea a través de la línea ICT del FP7
Coordinación Biblioteca Nacional de Países Bajos (KB)
Tipo de proyecto: Proyecto de integración a Gran Escala
Financiación de la UE : € 11 500 000
Fecha de inicio: 1 enero 2008
Duración: 48 meses
A partir de 2012: Centro de competencia sostenible
Contacto: impact@kb.nl
Sitio web: www.impact-project.eu
8

9. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Consorcio IMPACT - Inicial
Bibliotecas Universidades y Centros de Investigación
– National Library of the Netherlands (KB) – Dutch Institute for Lexicology (INL)
– The British Library (BL) – National Centre for Scientific Research –
– Bibliothèque nationale de France (BNF) Demokritos (NCSR)
– German National Library (DNB) – University of Salford (USAL)
– Bavarian State Library (BSB) – University of Munich (CIS group)
– Göttingen State and University Library – University of Innsbruck (InfMath group)
(UGOE) – University of Bath (UKOLN)
– Austrian National Library (ONB)
– University of Innsbruck Library (UIBK) Proveedores comerciales
– IBM (Haifa Research Lab)
– ABBYY (Moscow)
9

10. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
OBJETIVOS
Mejora significativa de la digitalización masiva del texto impreso históricos mediante:
Innovación del software OCR y tecnologías en torno a los idiomas
Compartir conocimientos y poner en pie habilidades a nivel europeo
Garantizar existencia a largo plazo herramientas y servicios al finalizar el proyecto
Conseguir el intercambio de procesos o datos entre sistemas heterogéneos
(‘interoperabilidad’)
Proporcionar una Guía de Mejores Prácticas en el ámbito de la digitalización
Atender las necesidades de usuarios en diversos idiomas
10

11. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Inicio 2010 nuevos socios i.a.:
… ... … …
23 Biblioteca Nacional de España BNE ES
24 Fundación Biblioteca Virtual Miguel de Cervantes BVC ES
25 Poznań Supercomputing and Networking Center PSNC PL
… … … …
BNE/UA = marzo de 2010
11

12. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
12

13. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Extensión de objetivos
Utilizar las herramientas de IMPACT para construir un léxico eficiente para idiomas
fuera de los objetivos iniciales de IMPACT
→ Inicialmente: inglés, alemán, holandés
→ Dp: lenguas romance y eslavas ej español
Demostrar y difundir los resultados del proyecto en Europa del Sur y del Este, y
apoyar la adquisición de conocimientos en digitalización en dichos países
Reforzar la cooperación y mejorar la explotación de las sinergias de I+D sobre ICT
a lo largo de la Unión Europea
Establecer vínculos estratégicos con el fin de avanzar en:
el acceso al conocimiento,
desarrollo de estándares y
soluciones interoperables
13

14. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Estructura del proyecto: 4 subproyectos
OPERATIONAL CONTEXT (OC)
Requisitos, documentación wfs y mediciones
Mejores prácticas y directrices
Marco de trabajo e integración técnica - interoperabilidad
TEXT RECOGNITION (TR) -5 WG ENHANCEMENT & ENRICHMENT (EE)
Pre-procesamiento y segmentación Corrección colaborativa
OCR adaptativo y experimental Lexica e índices geográficos
Modelos y diccionarios Metadatos estructurales
CAPACITY BUILDING (CB)
Publicación recursos
Formación y apoyo
Demostraciones
14

15. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Herramientas de OCR
Tecnologías para la extracción de texto en formato digital a partir de una página
Motor de OCR adaptativo: Clave del proyecto IMPACT, software de primera línea
adaptado específicamente a las necesidades de las bibliotecas y que se adapta durante el
proceso de OCR, integrando otras herramientas:
Image enhancement toolkit
Segmentation toolkit
Módulos de post-corrección
Otros motores OCR
Prototipos y herramientas experimentales
Prototipo OCR sobre textos escritos a máquina (Typewritten OCR prototype)
Wordspotting…
OC
TR EE
CB
15

16. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Herramientas de enriquecimiento (tecnología
lingüística)
Conseguir que los resultados de OCR sean más precisos y accesibles
Corrección colaborativa
Sistema de corrección colaborativa a través de web: plataforma web, adecuada para
participación voluntaria masiva, valida y corrige resultados OCR. La primera herramienta de
este tipo que se relaciona directamente a un motor de OCR
Lexicon e índices geográficos
Léxicos generales y NER (nnll-uk-ger)
Herramientas para proporcionar medios que permitan superar barrera lingüística
histórica
Metadatos estructurales
FEP: un conjunto de servicios web que pueden explotarse para detectar y etiquetar
automáticamente metadatos estructurales del material escaneado
OC
TR EE
CB 16

17. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Herramientas y servicios estratégicos
Sitio web proporciona acceso a todos los resultados del proyecto y constituye el núcleo de una red virtual formada
por todos los centros de competencia europeos en materia de digitalización y las actividades de investigación
asociadas
Un conjunto de herramientas de Apoyo a la Toma de Decisiones que puede utilizarse para inciar,
organizar, gestionar y evaluar el coste de los proyectos de digitalización masiva
Recursos de aprendizaje (learning resource toolbox) con directrices de funcionamiento que sirvan
de guía para la implementación real de todas las herramientas producidas en el proyecto.
Formación y apoyo
Sistema Help Desk peticiones, ayuda entre usuarios, socios del proyecto, centros de competencia de
digitalización.
Programa de formación sobre temas y tecnologías en torno a la digitalización a gran escala con una amplia
gama de documentación de apoyo disponible a través del sitio web del proyecto
Demos OC
TR EE
CB
17

18. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Biblioteca Nacional de España (CB)
Entró a formar parte en marzo de 2010, II Fase del proyecto , en colaboración con
la Universidad de Alicante
Aportación de más de 60.000 imágenes (UA-BVMC) y subida a PRIMA (md):
Escala grises, color, 300 dpi, TIFF
Obras anteriores XIX ej: Teatro Siglo de Oro
Obras cuyo OCR no está ofreciendo buenos resultados
– En 3 sets: Development (Lexicon Building) – Evaluation - Demonstration
Probar las funcionalidades realizadas por los desarrolladores participantes
Demonstration dataset
Lotes, repositorio resultados
Difundir el proyecto (presentaciones a nivel interno, FESABID, sesión externa)
18

19. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Universidad de Alicante (EE-CB)
Colaboración en carga en el servidor de imágenes PRIMA
Gestión de contrato GroundTruth (evaluación), control de calidad y subida a PRIMA
Difundir el proyecto
Creación de léxico español antiguo para conectar a las soluciones de OCR
19

20. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Herramientas del entorno de trabajo
20

21. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
PRIMA
Repositorio de imágenes aportadas por las bibliotecas participantes que sirven de ejemplo
para los diversos planes proyectados
Home
21

22. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
PRIMA: Groundtruth-formato PAGE
22

23. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
MyExperiment
Plataforma o entorno de desarrollo donde investigadores intercambian ideas, desarrollos y
planes
Home
23

24. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
24

25. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
TAVERNA
Herramienta creada por un Grupo de Trabajo (myGrid) , de código libre (JAVA), que permite el
diseño y ejecución de Flujos de Trabajos
Servicio Web:
Interoperabilidad
Facilidad acceso
Dinamismo
Flujos simples & complejos
25

26. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
TAVERNA: flujos simples o complejos
26

27. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Funcionamiento Taverna en Impact
27

28. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
28

29. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
29

30. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
30

31. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
31

32. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
32

33. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
33

34. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
34

35. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
35

36. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
36

37. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
37

38. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
38

39. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
39

40. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Cómo estar al día sobre IMPACT
En Twitter
Unión al LinkedIn group
Visita el blog y el website
Lista de correo del proyecto para recibir el boletín trimestral
Canal Youtube
Para cualquier pregunta ó feedback: contactar con IMPACT helpdesk
40

41. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Twitter: @impactocr, #impactproject
Tweets sobre últimas
noticias en IMPACT
(Re)tweets de noticias
en torno a la
digitalización,
tecnología OCR y
lingüística
Tweets en vivo
durante conferencias,
talleres
41

42. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
LinkedIn group: IMPACT Improving Access to Text
Comunidad online
Canal para obtener
feedback sobre los
entregables IMPACT
(versiones posteriores)
Discusiones sobre
digitalización, tecnología
OCR y lingüística
42

43. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT blog: impactocr.wordpress.com
Utilizado para talleres
y días de
demostración
Incorporación de
– Presentaciones
– Vídeos
43

44. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
www.impact-project.eu
44

45. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Boletín trimestral IMPACT
Secciones:
Novedades
Especial en torno a una
herramienta
Fotos e informes sobre
contribuciones de IMPACT
a conferencias
Entrevistas equipo humano
IMPACT
45

46. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Canal de IMPACT en Youtube
www.youtube.com/user/theimpactproject
Breves
introducciones sobre
cada subproyecto y
cada uno de los
líderes de los
distintos work
package
Vídeo de
presentación de
IMPACT elaborado
por la KB
Video de IBM sobre
CONCERT
46

47. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT Helpdesk
www.impact-project.eu/helpdesk
47

48. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
GRACIAS POR SU ATENCIÓN
Isabel Bordes Cabrera
Jefe de Servicio de Biblioteca Digital, BNE
isabel.bordes@bne.es
48