SlideShare une entreprise Scribd logo
1  sur  20
Web Archiving Project IIPC Standard and NLKs’ OASIS 2010. 12. 23. 박진호, 국립중앙도서관 전문연구관
IIPC 1 웹 사이트는 복잡한 속성을 갖는 정보객체 - 다양한 포맷들과  - 밀접한 상관 관계를 갖는 요소들과 - 광범위하고 분산된 저자(정보생산자)들과 - 불분명한 소유권들로 구성되고,    - 막대한 양의 콘텐츠가 존재하고 (생산되고, 소멸되고)    - 웹과 관련된 기술들은 지속적으로 변화하고 있음
IIPC 2 2003년  12개 기관을 중심으로  International Internet Preservation Consortium (IIPC) 시작 - Australia – Canada - Denmark – Finland - France – Iceland - Italy – Norway - Sweden - British Library - Library of Congress - Internet Archive 12개 기관은 공통된 툴과, 기술, 표준을 사용해서 아카이빙 시작
IIPC 2010 3 2003년  12개 기관을 중심으로  International Internet Preservation Consortium (IIPC) 시작 Australia – Canada - Denmark – Finland - France – Iceland - Italy – Norway - Sweden - British Library - Library of Congress - Internet Archive 12개 기관은 공통된 툴과, 기술, 표준을 사용해서 아카이빙 시작 2010년 현재 28개국 39개 기관이 참여하고 있으며, 3개의 작업반과 14명의 운영위원으로 IIPC 운영
4 공통된 툴(Software Tools)과, 기술, 표준
Software Tools of IIPC 5 ,[object Object]
  IIPC 회원들이 직접 개발한 오픈소스 소프트웨어
공통 적용 사양
크롤링과하베스팅(Crawling and harvesting)
웹 아카이브 디스플레이(Display/view web archive)
분석(Analytics)IIPC기반으로 시스템을 구성하려면 최소한 위 3개 영역 모두에 대한공통 소프트웨어 적용이 필요함,[object Object]
 DNS lookups(도메인 -> IP, IP -> 도메인)
 HTTP 요청과 응답
메타데이터 : 수집(Crawl 환경, 포맷 변환 등)
IIPC에서 개발하여 ISO 28500:2009 표준으로 채택된 유연하고 확장가능 한 포맷,[object Object]
 Hanzo Archives에서 개발하여 보급하고 있는 오픈소스로 C기반으로 구현되었으며, JAVA, Python 외 다른 언어와도 바인딩 가능함
 WARC 레코드를 읽고, 쓰고, 인증, 추출함
기존 데이터 포맷을 WARC 포맷으로 컨버전,[object Object]
  1,000,000,000 URLs을 초과하지 않는 범위에서 도메인 크롤링 가능
수집한 자료는 WARC 포맷으로 쓸 수 있음,[object Object]

Contenu connexe

Similaire à (2010.12.23)iipc oasis

웹을 지탱하는 기술
웹을 지탱하는 기술웹을 지탱하는 기술
웹을 지탱하는 기술JungHyuk Kwon
 
1. 개방형 데이터 허브 핵심 기술 V2.pdf
1. 개방형 데이터 허브 핵심 기술 V2.pdf1. 개방형 데이터 허브 핵심 기술 V2.pdf
1. 개방형 데이터 허브 핵심 기술 V2.pdfssuserde0b2d
 
아이리스닷넷 김정우 발표용
아이리스닷넷 김정우 발표용아이리스닷넷 김정우 발표용
아이리스닷넷 김정우 발표용JeongWoo Kim
 
웹캣소개서 (스마트교육연구소)
웹캣소개서 (스마트교육연구소)웹캣소개서 (스마트교육연구소)
웹캣소개서 (스마트교육연구소)tekville2
 
[경북] I'mcloud information
[경북] I'mcloud information[경북] I'mcloud information
[경북] I'mcloud informationstartupkorea
 
[OpenStack] 공개 소프트웨어 오픈스택 입문 & 파헤치기
[OpenStack] 공개 소프트웨어 오픈스택 입문 & 파헤치기[OpenStack] 공개 소프트웨어 오픈스택 입문 & 파헤치기
[OpenStack] 공개 소프트웨어 오픈스택 입문 & 파헤치기Ian Choi
 
Upgrade VCL! 오래된 프로그램, 최신 버전으로 탈바꿈하기
Upgrade VCL! 오래된 프로그램, 최신 버전으로 탈바꿈하기Upgrade VCL! 오래된 프로그램, 최신 버전으로 탈바꿈하기
Upgrade VCL! 오래된 프로그램, 최신 버전으로 탈바꿈하기Devgear
 
[오픈소스컨설팅] About Storage Cloud
[오픈소스컨설팅] About Storage Cloud [오픈소스컨설팅] About Storage Cloud
[오픈소스컨설팅] About Storage Cloud Ji-Woong Choi
 
Web os세미나.v1.0.111510
Web os세미나.v1.0.111510Web os세미나.v1.0.111510
Web os세미나.v1.0.111510우일 권
 
문화유산 오픈 아카이브 구현을 위한 데이터 모델 - 유로피아나 데이터 모델과 응용 사례 -
문화유산 오픈 아카이브 구현을 위한 데이터 모델 - 유로피아나 데이터 모델과 응용 사례 - 문화유산 오픈 아카이브 구현을 위한 데이터 모델 - 유로피아나 데이터 모델과 응용 사례 -
문화유산 오픈 아카이브 구현을 위한 데이터 모델 - 유로피아나 데이터 모델과 응용 사례 - Baro Kim
 
Richslide for enterprise
Richslide for enterpriseRichslide for enterprise
Richslide for enterpriseJun Gyun Bae
 
2010 0603 황혜경_해외저널_0603
2010 0603 황혜경_해외저널_06032010 0603 황혜경_해외저널_0603
2010 0603 황혜경_해외저널_0603glorykim
 
KT 안재석 박사 - 오픈 소스 기반 클라우드 컴퓨팅 솔루션 open stack 이야기 (2011Y05M28D)
KT 안재석 박사 - 오픈 소스 기반 클라우드 컴퓨팅 솔루션 open stack 이야기 (2011Y05M28D)KT 안재석 박사 - 오픈 소스 기반 클라우드 컴퓨팅 솔루션 open stack 이야기 (2011Y05M28D)
KT 안재석 박사 - 오픈 소스 기반 클라우드 컴퓨팅 솔루션 open stack 이야기 (2011Y05M28D)Ubuntu Korea Community
 
CMS를 활용한 도서관웹사이트 발전방향 _ ㈜나인팩토리인터랙티브
CMS를 활용한 도서관웹사이트 발전방향 _ ㈜나인팩토리인터랙티브CMS를 활용한 도서관웹사이트 발전방향 _ ㈜나인팩토리인터랙티브
CMS를 활용한 도서관웹사이트 발전방향 _ ㈜나인팩토리인터랙티브ninefactory
 
20170623 최신OS와 멀티플랫폼 개발 전략 with RAD Studio
20170623 최신OS와 멀티플랫폼 개발 전략 with RAD Studio20170623 최신OS와 멀티플랫폼 개발 전략 with RAD Studio
20170623 최신OS와 멀티플랫폼 개발 전략 with RAD StudioDevgear
 
[오픈소스컨설팅]오픈소스 클라우드 개발플랫폼_및_Docker의_이해_v1
[오픈소스컨설팅]오픈소스 클라우드 개발플랫폼_및_Docker의_이해_v1[오픈소스컨설팅]오픈소스 클라우드 개발플랫폼_및_Docker의_이해_v1
[오픈소스컨설팅]오픈소스 클라우드 개발플랫폼_및_Docker의_이해_v1Ji-Woong Choi
 
MySQL Document Store를 활용한 NoSQL 개발
MySQL Document Store를 활용한 NoSQL 개발MySQL Document Store를 활용한 NoSQL 개발
MySQL Document Store를 활용한 NoSQL 개발Oracle Korea
 

Similaire à (2010.12.23)iipc oasis (20)

웹을 지탱하는 기술
웹을 지탱하는 기술웹을 지탱하는 기술
웹을 지탱하는 기술
 
1. 개방형 데이터 허브 핵심 기술 V2.pdf
1. 개방형 데이터 허브 핵심 기술 V2.pdf1. 개방형 데이터 허브 핵심 기술 V2.pdf
1. 개방형 데이터 허브 핵심 기술 V2.pdf
 
웹 2.0과 도서관
웹 2.0과 도서관웹 2.0과 도서관
웹 2.0과 도서관
 
아이리스닷넷 김정우 발표용
아이리스닷넷 김정우 발표용아이리스닷넷 김정우 발표용
아이리스닷넷 김정우 발표용
 
웹캣소개서 (스마트교육연구소)
웹캣소개서 (스마트교육연구소)웹캣소개서 (스마트교육연구소)
웹캣소개서 (스마트교육연구소)
 
[경북] I'mcloud information
[경북] I'mcloud information[경북] I'mcloud information
[경북] I'mcloud information
 
[OpenStack] 공개 소프트웨어 오픈스택 입문 & 파헤치기
[OpenStack] 공개 소프트웨어 오픈스택 입문 & 파헤치기[OpenStack] 공개 소프트웨어 오픈스택 입문 & 파헤치기
[OpenStack] 공개 소프트웨어 오픈스택 입문 & 파헤치기
 
Upgrade VCL! 오래된 프로그램, 최신 버전으로 탈바꿈하기
Upgrade VCL! 오래된 프로그램, 최신 버전으로 탈바꿈하기Upgrade VCL! 오래된 프로그램, 최신 버전으로 탈바꿈하기
Upgrade VCL! 오래된 프로그램, 최신 버전으로 탈바꿈하기
 
Web 2.0 기술을 활용한 Library 2.0 적용사례
Web 2.0 기술을 활용한 Library 2.0 적용사례Web 2.0 기술을 활용한 Library 2.0 적용사례
Web 2.0 기술을 활용한 Library 2.0 적용사례
 
[오픈소스컨설팅] About Storage Cloud
[오픈소스컨설팅] About Storage Cloud [오픈소스컨설팅] About Storage Cloud
[오픈소스컨설팅] About Storage Cloud
 
Web os세미나.v1.0.111510
Web os세미나.v1.0.111510Web os세미나.v1.0.111510
Web os세미나.v1.0.111510
 
문화유산 오픈 아카이브 구현을 위한 데이터 모델 - 유로피아나 데이터 모델과 응용 사례 -
문화유산 오픈 아카이브 구현을 위한 데이터 모델 - 유로피아나 데이터 모델과 응용 사례 - 문화유산 오픈 아카이브 구현을 위한 데이터 모델 - 유로피아나 데이터 모델과 응용 사례 -
문화유산 오픈 아카이브 구현을 위한 데이터 모델 - 유로피아나 데이터 모델과 응용 사례 -
 
Richslide for enterprise
Richslide for enterpriseRichslide for enterprise
Richslide for enterprise
 
2010 0603 황혜경_해외저널_0603
2010 0603 황혜경_해외저널_06032010 0603 황혜경_해외저널_0603
2010 0603 황혜경_해외저널_0603
 
KT 안재석 박사 - 오픈 소스 기반 클라우드 컴퓨팅 솔루션 open stack 이야기 (2011Y05M28D)
KT 안재석 박사 - 오픈 소스 기반 클라우드 컴퓨팅 솔루션 open stack 이야기 (2011Y05M28D)KT 안재석 박사 - 오픈 소스 기반 클라우드 컴퓨팅 솔루션 open stack 이야기 (2011Y05M28D)
KT 안재석 박사 - 오픈 소스 기반 클라우드 컴퓨팅 솔루션 open stack 이야기 (2011Y05M28D)
 
CMS를 활용한 도서관웹사이트 발전방향 _ ㈜나인팩토리인터랙티브
CMS를 활용한 도서관웹사이트 발전방향 _ ㈜나인팩토리인터랙티브CMS를 활용한 도서관웹사이트 발전방향 _ ㈜나인팩토리인터랙티브
CMS를 활용한 도서관웹사이트 발전방향 _ ㈜나인팩토리인터랙티브
 
CouchDB - Introduction - Korean
CouchDB - Introduction - KoreanCouchDB - Introduction - Korean
CouchDB - Introduction - Korean
 
20170623 최신OS와 멀티플랫폼 개발 전략 with RAD Studio
20170623 최신OS와 멀티플랫폼 개발 전략 with RAD Studio20170623 최신OS와 멀티플랫폼 개발 전략 with RAD Studio
20170623 최신OS와 멀티플랫폼 개발 전략 with RAD Studio
 
[오픈소스컨설팅]오픈소스 클라우드 개발플랫폼_및_Docker의_이해_v1
[오픈소스컨설팅]오픈소스 클라우드 개발플랫폼_및_Docker의_이해_v1[오픈소스컨설팅]오픈소스 클라우드 개발플랫폼_및_Docker의_이해_v1
[오픈소스컨설팅]오픈소스 클라우드 개발플랫폼_및_Docker의_이해_v1
 
MySQL Document Store를 활용한 NoSQL 개발
MySQL Document Store를 활용한 NoSQL 개발MySQL Document Store를 활용한 NoSQL 개발
MySQL Document Store를 활용한 NoSQL 개발
 

Plus de Hansung University

AI에게 이유를 묻다: 설명 가능한 인공지능(XAI: eXplainable AI)
AI에게 이유를 묻다: 설명 가능한 인공지능(XAI: eXplainable AI)AI에게 이유를 묻다: 설명 가능한 인공지능(XAI: eXplainable AI)
AI에게 이유를 묻다: 설명 가능한 인공지능(XAI: eXplainable AI)Hansung University
 
Open Science - 열린 학술 저작, 공유 생태계
Open Science - 열린 학술 저작, 공유 생태계Open Science - 열린 학술 저작, 공유 생태계
Open Science - 열린 학술 저작, 공유 생태계Hansung University
 
데이터 활용과 가치 보전 관점에서 공공문서의 기술적 요건
데이터 활용과 가치 보전 관점에서 공공문서의 기술적 요건데이터 활용과 가치 보전 관점에서 공공문서의 기술적 요건
데이터 활용과 가치 보전 관점에서 공공문서의 기술적 요건Hansung University
 
데이터베이스활용기술전망
데이터베이스활용기술전망데이터베이스활용기술전망
데이터베이스활용기술전망Hansung University
 
도서관 및 관련기관의 DMP(Data Management Plan) 지원 서비스(pre-print)
도서관 및 관련기관의 DMP(Data Management Plan) 지원 서비스(pre-print)도서관 및 관련기관의 DMP(Data Management Plan) 지원 서비스(pre-print)
도서관 및 관련기관의 DMP(Data Management Plan) 지원 서비스(pre-print)Hansung University
 
도서관 Linked Open Data의 필요성
도서관 Linked Open Data의 필요성도서관 Linked Open Data의 필요성
도서관 Linked Open Data의 필요성Hansung University
 
개방형 데이터(Open Data) 평가를 위한 오픈데이터 측정지표 현황 분석
개방형 데이터(Open Data) 평가를 위한 오픈데이터 측정지표 현황 분석개방형 데이터(Open Data) 평가를 위한 오픈데이터 측정지표 현황 분석
개방형 데이터(Open Data) 평가를 위한 오픈데이터 측정지표 현황 분석Hansung University
 
데이터베이스활용기술전망
데이터베이스활용기술전망데이터베이스활용기술전망
데이터베이스활용기술전망Hansung University
 
2014 한국 링크드 데이터 사례집
2014 한국 링크드 데이터 사례집2014 한국 링크드 데이터 사례집
2014 한국 링크드 데이터 사례집Hansung University
 
LOD를 말하다: Europeana, BBC, LinkedUp
LOD를 말하다: Europeana, BBC, LinkedUpLOD를 말하다: Europeana, BBC, LinkedUp
LOD를 말하다: Europeana, BBC, LinkedUpHansung University
 
LOD 구축 공정 가이드라인
LOD 구축 공정 가이드라인LOD 구축 공정 가이드라인
LOD 구축 공정 가이드라인Hansung University
 
링크드 데이터 구축 공정 가이드V1.0
링크드 데이터 구축 공정 가이드V1.0링크드 데이터 구축 공정 가이드V1.0
링크드 데이터 구축 공정 가이드V1.0Hansung University
 
국립중앙도서관 RDA 실행전략 보고서
국립중앙도서관 RDA 실행전략 보고서국립중앙도서관 RDA 실행전략 보고서
국립중앙도서관 RDA 실행전략 보고서Hansung University
 
도서관 분야의 링크드 데이터 구축 동향
도서관 분야의 링크드 데이터 구축 동향도서관 분야의 링크드 데이터 구축 동향
도서관 분야의 링크드 데이터 구축 동향Hansung University
 

Plus de Hansung University (20)

AI에게 이유를 묻다: 설명 가능한 인공지능(XAI: eXplainable AI)
AI에게 이유를 묻다: 설명 가능한 인공지능(XAI: eXplainable AI)AI에게 이유를 묻다: 설명 가능한 인공지능(XAI: eXplainable AI)
AI에게 이유를 묻다: 설명 가능한 인공지능(XAI: eXplainable AI)
 
Open Science - 열린 학술 저작, 공유 생태계
Open Science - 열린 학술 저작, 공유 생태계Open Science - 열린 학술 저작, 공유 생태계
Open Science - 열린 학술 저작, 공유 생태계
 
데이터 활용과 가치 보전 관점에서 공공문서의 기술적 요건
데이터 활용과 가치 보전 관점에서 공공문서의 기술적 요건데이터 활용과 가치 보전 관점에서 공공문서의 기술적 요건
데이터 활용과 가치 보전 관점에서 공공문서의 기술적 요건
 
RDF 해설서
RDF 해설서RDF 해설서
RDF 해설서
 
데이터베이스활용기술전망
데이터베이스활용기술전망데이터베이스활용기술전망
데이터베이스활용기술전망
 
도서관 및 관련기관의 DMP(Data Management Plan) 지원 서비스(pre-print)
도서관 및 관련기관의 DMP(Data Management Plan) 지원 서비스(pre-print)도서관 및 관련기관의 DMP(Data Management Plan) 지원 서비스(pre-print)
도서관 및 관련기관의 DMP(Data Management Plan) 지원 서비스(pre-print)
 
도서관 Linked Open Data의 필요성
도서관 Linked Open Data의 필요성도서관 Linked Open Data의 필요성
도서관 Linked Open Data의 필요성
 
Linked Open Data
Linked Open DataLinked Open Data
Linked Open Data
 
2014 odb 한국현황
2014 odb 한국현황2014 odb 한국현황
2014 odb 한국현황
 
개방형 데이터(Open Data) 평가를 위한 오픈데이터 측정지표 현황 분석
개방형 데이터(Open Data) 평가를 위한 오픈데이터 측정지표 현황 분석개방형 데이터(Open Data) 평가를 위한 오픈데이터 측정지표 현황 분석
개방형 데이터(Open Data) 평가를 위한 오픈데이터 측정지표 현황 분석
 
데이터베이스활용기술전망
데이터베이스활용기술전망데이터베이스활용기술전망
데이터베이스활용기술전망
 
2014 한국 링크드 데이터 사례집
2014 한국 링크드 데이터 사례집2014 한국 링크드 데이터 사례집
2014 한국 링크드 데이터 사례집
 
digital archiving
digital archivingdigital archiving
digital archiving
 
library linked data
library linked datalibrary linked data
library linked data
 
LOD를 말하다: Europeana, BBC, LinkedUp
LOD를 말하다: Europeana, BBC, LinkedUpLOD를 말하다: Europeana, BBC, LinkedUp
LOD를 말하다: Europeana, BBC, LinkedUp
 
LOD 구축 공정 가이드라인
LOD 구축 공정 가이드라인LOD 구축 공정 가이드라인
LOD 구축 공정 가이드라인
 
링크드 데이터 구축 공정 가이드V1.0
링크드 데이터 구축 공정 가이드V1.0링크드 데이터 구축 공정 가이드V1.0
링크드 데이터 구축 공정 가이드V1.0
 
국립중앙도서관 RDA 실행전략 보고서
국립중앙도서관 RDA 실행전략 보고서국립중앙도서관 RDA 실행전략 보고서
국립중앙도서관 RDA 실행전략 보고서
 
Bibframe
BibframeBibframe
Bibframe
 
도서관 분야의 링크드 데이터 구축 동향
도서관 분야의 링크드 데이터 구축 동향도서관 분야의 링크드 데이터 구축 동향
도서관 분야의 링크드 데이터 구축 동향
 

Dernier

캐드앤그래픽스 2024년 5월호 목차
캐드앤그래픽스 2024년 5월호 목차캐드앤그래픽스 2024년 5월호 목차
캐드앤그래픽스 2024년 5월호 목차캐드앤그래픽스
 
Console API (Kitworks Team Study 백혜인 발표자료)
Console API (Kitworks Team Study 백혜인 발표자료)Console API (Kitworks Team Study 백혜인 발표자료)
Console API (Kitworks Team Study 백혜인 발표자료)Wonjun Hwang
 
MOODv2 : Masked Image Modeling for Out-of-Distribution Detection
MOODv2 : Masked Image Modeling for Out-of-Distribution DetectionMOODv2 : Masked Image Modeling for Out-of-Distribution Detection
MOODv2 : Masked Image Modeling for Out-of-Distribution DetectionKim Daeun
 
A future that integrates LLMs and LAMs (Symposium)
A future that integrates LLMs and LAMs (Symposium)A future that integrates LLMs and LAMs (Symposium)
A future that integrates LLMs and LAMs (Symposium)Tae Young Lee
 
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...Continual Active Learning for Efficient Adaptation of Machine LearningModels ...
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...Kim Daeun
 
Merge (Kitworks Team Study 이성수 발표자료 240426)
Merge (Kitworks Team Study 이성수 발표자료 240426)Merge (Kitworks Team Study 이성수 발표자료 240426)
Merge (Kitworks Team Study 이성수 발표자료 240426)Wonjun Hwang
 

Dernier (6)

캐드앤그래픽스 2024년 5월호 목차
캐드앤그래픽스 2024년 5월호 목차캐드앤그래픽스 2024년 5월호 목차
캐드앤그래픽스 2024년 5월호 목차
 
Console API (Kitworks Team Study 백혜인 발표자료)
Console API (Kitworks Team Study 백혜인 발표자료)Console API (Kitworks Team Study 백혜인 발표자료)
Console API (Kitworks Team Study 백혜인 발표자료)
 
MOODv2 : Masked Image Modeling for Out-of-Distribution Detection
MOODv2 : Masked Image Modeling for Out-of-Distribution DetectionMOODv2 : Masked Image Modeling for Out-of-Distribution Detection
MOODv2 : Masked Image Modeling for Out-of-Distribution Detection
 
A future that integrates LLMs and LAMs (Symposium)
A future that integrates LLMs and LAMs (Symposium)A future that integrates LLMs and LAMs (Symposium)
A future that integrates LLMs and LAMs (Symposium)
 
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...Continual Active Learning for Efficient Adaptation of Machine LearningModels ...
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...
 
Merge (Kitworks Team Study 이성수 발표자료 240426)
Merge (Kitworks Team Study 이성수 발표자료 240426)Merge (Kitworks Team Study 이성수 발표자료 240426)
Merge (Kitworks Team Study 이성수 발표자료 240426)
 

(2010.12.23)iipc oasis