第4回 AIツール入門講座 Linked Open Data入門
•
30 j'aime•8,490 vues
2013-07-05 に行われた 人工知能学会主催 第4回 AIツール入門講座の資料 http://www.ai-gakkai.or.jp/no04_jsai_tool_introductory_course/
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 第4回 AIツール入門講座 Linked Open Data入門
Similaire à 第4回 AIツール入門講座 Linked Open Data入門 (20)
Plus de Fumihiro Kato
Plus de Fumihiro Kato (20)
Dernier
Dernier (9)
第4回 AIツール入門講座 Linked Open Data入門
- 2. 加藤 文彦 (かとうふみひろ) • (共)情報・システム研究機構 特任研究員 • LODACプロジェクト • DBpedia Japanese • NPO リンクト・オープン・データ・イニシアティブ 理事 • CKAN • Open DATA METI • コミュニティ • Linked Data勉強会 • Linked Open Data チャレンジ Japan • CKAN日本語 2
- 6. Open Data 6
- 8. データやコンテンツがオープンであるというの は，クレジット表示と/またはライセンスの継承を するくらいの条件で，誰もが自由に利用，再利 用，再配布できるということである． The Open Defini+on -‐ h.p://opendefini+on.org 8
- 9. ⃝ ☓ 9
- 11. 11
- 13. 13
- 16. 16
- 17. 17
- 18. 18
- 19. by DPADM/UMU, OGDCE Toolkit 19
- 21. CKAN • FLOSSのデータポータルソフトウェア • AGPL v3.0 • http://github.com/okfn/ckan • Open Knowledge Foundation • 約50の国や地方自治体等で採用 • Python+JavaScript • PostgreSQL+SOLR • API提供 • 豊富な拡張 21
- 24. Linked Data 24
- 25. 25
- 27. データのWeb 27
- 28. Webの原則 1.IRIをHTML文書の識別 子として使う 2.IRIにはhttpスキームを 使う 3.IRIを見るとHTML文書 が返ってくる 4.HTML文書には他のIRI へのリンクがある 28
- 29. Linked Dataの原則 1.IRIをモノ(Thing)の識 別子として使う 2.IRIにはhttpスキームを 使う 3.IRIを見るとモノの構造 化データが返ってくる 4.データには他のIRIへの 型付リンクがある 子供 執筆 発行日 誕生日 出版社 所在地 "Things, not Strings" by Google 29
- 30. 30
- 31. 作品 作品 書誌 31
- 32. 友人 在住 人物 32
- 36. Reuse 構造化データ 36
- 37. IRIID 37
- 38. 26 38
- 44. 1. request /resource/Japan 2. return an HTML document for /resource/Japan http://dbpedia.orgWeb Browser % curl -ILH 'Accept: text/html' http://dbpedia.org/resource/Japan HTTP/1.1 303 See Other Date: Thu, 04 Jul 2013 09:30:17 GMT Content-Type: text/html; charset=UTF-8 Content-Length: 0 Connection: keep-alive Server: Virtuoso/07.00.3203 (Linux) i686-generic-linux-glibc212-64 VDB Accept-Ranges: bytes Location: http://dbpedia.org/page/Japan HTTP/1.1 200 OK Date: Thu, 04 Jul 2013 09:31:07 GMT Content-Type: text/html; charset=UTF-8 Content-Length: 2023382 Connection: keep-alive Vary: Accept-Encoding ..... 44
- 45. 1. request /resource/Japan 2. return a turtle document for /resource/Japan http://dbpedia.orgLOD Agent @prefix yago-res: <http://mpii.de/yago/resource/> . @prefix dbpedia: <http://dbpedia.org/resource/> . yago-res:Japan owl:sameAs dbpedia:Japan . <http://data.nytimes.com/59436095099277148161> owl:sameAs dbpedia:Japan . <http://data.nytimes.com/66220885916538669281> owl:sameAs dbpedia:Japan . @prefix dbpedia-owl: <http://dbpedia.org/ontology/> . dbpedia:Ayumi_Hamasaki dbpedia-owl:hometown dbpedia:Japan ; dbpedia-owl:birthPlace dbpedia:Japan . dbpedia:Nippon_Columbia dbpedia-owl:distributingCompany dbpedia:Japan ; dbpedia-owl:distributingLabel dbpedia:Japan ; dbpedia-owl:country dbpedia:Japan . @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix yago: <http://dbpedia.org/class/yago/> . dbpedia:Japan rdf:type yago:EastAsianCountries , owl:Thing . @prefix ns6: <http://schema.org/> . dbpedia:Japan rdf:type ns6:Country , yago:CountriesBorderingThePhilippineSea , yago:Empires , yago:IslandCountries , yago:StatesAndTerritoriesEstablishedIn660BC , dbpedia-owl:Country , dbpedia-owl:PopulatedPlace , ns6:Place , yago:CountriesBorderingThePacificOcean . @prefix ns7: <http://umbel.org/umbel/rc/> . dbpedia:Japan rdf:type ns7:Country , ns7:PopulatedPlace , dbpedia-owl:Place , yago:OECDMemberEconomies . % curl -ILH 'Accept: text/turtle' http://dbpedia.org/resource/Japan HTTP/1.1 303 See Other Date: Thu, 04 Jul 2013 09:36:52 GMT Content-Type: text/turtle; qs=0.7 Content-Length: 0 Connection: keep-alive Server: Virtuoso/07.00.3203 (Linux) i686-generic-linux-glibc212-64 VDB TCN: choice Vary: negotiate,accept Link: <http://mementoarchive.lanl.gov/dbpedia/timegate/http:// dbpedia.org/resource/Japan>; rel="timegate" Location: http://dbpedia.org/data/Japan.ttl HTTP/1.1 200 OK Date: Thu, 04 Jul 2013 09:36:52 GMT Content-Type: text/turtle; charset=UTF-8 Content-Length: 1967774 Connection: keep-alive ...... 45
- 46. Cool URIs • 実体とその表現のIRIも分離 • ２つの代表的なソリューション • 303 See Other • 実体IRIを参照したときに適切なIRIへ303でリダイレ クトする • ハッシュIRI • 実体を # 付きのIRI • エージェントがアクセスするときには # 以下が取れる 46
- 48. ID name tel zipcode prefecture 001 市役所 0778-51-2200 916-8666 福井県 施設データテーブル 48
- 49. ID name population 18 福井県 795824 26 京都府 2623924 ID name tel zipcode prefecture 001 市役所 0778-51-2200 916-8666 18 施設データテーブル 都道府県データテーブル IDでjoin 49
- 50. ID name population http://.../3166/jp/18 福井県 795824 http://.../3166/jp/26 京都府 2623924 ID name tel zipcode prefecture 001 市役所 0778-51-2200 916-8666 http://.../3166/jp/18 IDをhttp IRIにすることで外部から参照される prefectureのデータ 施設データテーブル 都道府県データテーブル 50
- 54. シリアライズ形式 • Turtle (N3) • JSON-LD • RDFa • Microdata • RDF/XML • TriX • TriG • ...... 54
- 57. 57
- 60. 1. オープンライセンス 2. 構造化データ 3. オープンな形式 4. IRIによる識別 / W3C標準 5. 他データへのリンク Linked Open Data 60
- 61. As of September 2011 Music Brainz (zitgist) P20 Turismo de Zaragoza yovisto Yahoo! Geo Planet YAGO World Fact- book El Viajero Tourism WordNet (W3C) WordNet (VUA) VIVO UF VIVO Indiana VIVO Cornell VIAF URI Burner Sussex Reading Lists Plymouth Reading Lists UniRef UniProt UMBEL UK Post- codes legislation data.gov.uk Uberblic UB Mann- heim TWC LOGD Twarql transport data.gov. uk Traffic Scotland theses. fr Thesau- rus W totl.net Tele- graphis TCM Gene DIT Taxon Concept Open Library (Talis) tags2con delicious t4gm info Swedish Open Cultural Heritage Surge Radio Sudoc STW RAMEAU SH statistics data.gov. uk St. Andrews Resource Lists ECS South- ampton EPrints SSW Thesaur us Smart Link Slideshare 2RDF semantic web.org Semantic Tweet Semantic XBRL SW Dog Food Source Code Ecosystem Linked Data US SEC (rdfabout) Sears Scotland Geo- graphy Scotland Pupils & Exams Scholaro- meter WordNet (RKB Explorer) Wiki UN/ LOCODE Ulm ECS (RKB Explorer) Roma RISKS RESEX RAE2001 Pisa OS OAI NSF New- castle LAAS KISTI JISC IRIT IEEE IBM Eurécom ERA ePrints dotAC DEPLOY DBLP (RKB Explorer) Crime Reports UK Course- ware CORDIS (RKB Explorer) CiteSeer Budapest ACM riese Revyu research data.gov. ukRen. Energy Genera- tors reference data.gov. uk Recht- spraak. nl RDF ohloh Last.FM (rdfize) RDF Book Mashup Rådata nå! PSH Product Types Ontology Product DB PBAC Poké- pédia patents data.go v.uk Ox Points Ord- nance Survey Openly Local Open Library Open Cyc Open Corpo- rates Open Calais OpenEI Open Election Data Project Open Data Thesau- rus Ontos News Portal OGOLOD Janus AMP Ocean Drilling Codices New York Times NVD ntnusc NTU Resource Lists Norwe- gian MeSH NDL subjects ndlna my Experi- ment Italian Museums medu- cator MARC Codes List Man- chester Reading Lists Lotico Weather Stations London Gazette LOIUS Linked Open Colors lobid Resources lobid Organi- sations LEM Linked MDB LinkedL CCN Linked GeoData LinkedCT Linked User Feedback LOV Linked Open Numbers LODE Eurostat (Ontology Central) Linked EDGAR (Ontology Central) Linked Crunch- base lingvoj Lichfield Spen- ding LIBRIS Lexvo LCSH DBLP (L3S) Linked Sensor Data (Kno.e.sis) Klapp- stuhl- club Good- win Family National Radio- activity JP Jamendo (DBtune) Italian public schools ISTAT Immi- gration iServe IdRef Sudoc NSZL Catalog Hellenic PD Hellenic FBD Piedmont Accomo- dations GovTrack GovWILD Google Art wrapper gnoss GESIS GeoWord Net Geo Species Geo Names Geo Linked Data GEMET GTAA STITCH SIDER Project Guten- berg Medi Care Euro- stat (FUB) EURES Drug Bank Disea- some DBLP (FU Berlin) Daily Med CORDIS (FUB) Freebase flickr wrappr Fishes of Texas Finnish Munici- palities ChEMBL FanHubz Event Media EUTC Produc- tions Eurostat Europeana EUNIS EU Insti- tutions ESD stan- dards EARTh Enipedia Popula- tion (En- AKTing) NHS (En- AKTing) Mortality (En- AKTing) Energy (En- AKTing) Crime (En- AKTing) CO2 Emission (En- AKTing) EEA SISVU educatio n.data.g ov.uk ECS South- ampton ECCO- TCP GND Didactal ia DDC Deutsche Bio- graphie data dcs Music Brainz (DBTune) Magna- tune John Peel (DBTune) Classical (DB Tune) Audio Scrobbler (DBTune) Last.FM artists (DBTune) DB Tropes Portu- guese DBpedia dbpedia lite Greek DBpedia DBpedia data- open- ac-uk SMC Journals Pokedex Airports NASA (Data Incu- bator) Music Brainz (Data Incubator) Moseley Folk Metoffice Weather Forecasts Discogs (Data Incubator) Climbing data.gov.uk intervals Data Gov.ie data bnf.fr Cornetto reegle Chronic- ling America Chem2 Bio2RDF Calames business data.gov. uk Bricklink Brazilian Poli- ticians BNB UniSTS UniPath way UniParc Taxono my UniProt (Bio2RDF) SGD Reactome PubMed Pub Chem PRO- SITE ProDom Pfam PDB OMIM MGI KEGG Reaction KEGG Pathway KEGG Glycan KEGG Enzyme KEGG Drug KEGG Com- pound InterPro Homolo Gene HGNC Gene Ontology GeneID Affy- metrix bible ontology BibBase FTS BBC Wildlife Finder BBC Program mes BBC Music Alpine Ski Austria LOCAH Amster- dam Museum AGROV OC AEMET US Census (rdfabout) Media Geographic Publications Government Cross-domain Life sciences User-generated content Linking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/ 61
- 68. 68
- 75. 75
- 77. 77
- 78. 78
- 79. SPARQL 79
- 80. クエリ言語 • データの検索や操作を行うための言語 • データモデルやDBシステムに合わせて設計 • 例: SQL – データモデル: 関係モデル – DBシステム: RDBMS • LODのデータモデル: グラフモデル 80
- 81. グラフのクエリ • グラフの最小単位: 3つ組 (トリプル) • グラフパターン 1. 完全一致 • dbp:東京都 dbp-owl:country dbp:日本 . 2. 変数によるパターンマッチ • dbp:東京都 dbp-owl:country ?country . 3. 1と2の組み合わせ dbp:東京都 dbp:日本 dbpedia-‐owl:country 81
- 82. :Amy :Bob :Cathy :Dan :Jim :Ed :Kate :Gil :Flo :Hal :Ian :Lee :May :like :like :like :like :like :like :like :dislike :dislike :dislike :dislike :dislike :dislike :dislike :dislike 好き嫌いグラフ 82
- 83. :Amy :Bob :Cathy :Dan :Jim :Ed :Kate :Gil :Flo :Hal :Ian :Lee :May :like :like :like :like :like :like :like :dislike :dislike :dislike :dislike :dislike :dislike :dislike :dislike Amyが好きな人 グラフパターン :Amy :like ?person . 83
- 84. :Amy :Bob :Cathy :Dan :Jim :Ed :Kate :Gil :Flo :Hal :Ian :Lee :May :like :like :like :like :like :like :like :dislike :dislike :dislike :dislike :dislike :dislike :dislike :dislike Amyが好きな人 が好きな人 グラフパターン :Amy :like ?person1 . ?person1 :like ?person2 . 84
- 85. SPARQL • LOD用クエリ言語 • SQLのような文法 • データモデル: RDF • プロトコル: HTTP • W3C仕様 • 1.1が2013-03-21に勧告 • 11種類の文書 85
- 86. RDB Query DB Model RDF Model SQL Relational Model RDF Store SPARQL 86
- 87. SPARQLエンドポイント • SPARQLクエリを受け付ける場所 • SPARQLエンドポイントURI • プログラムからSPARQLを使うときに指定 • 入力フォームがある場合もあり 87
- 90. dbp-‐owl:AdministraMveRegion dbp:サイボーグ009 dbp-‐owl: ComicsCreator dbp:宮城県 dbp:石ノ森章太郎 rdfs:label rdf:type rdfs:label dbp-‐prop:生年 dbp-‐owl:notableWork dbp-‐owl:award dbp-‐owl:birthPlace rdf:type サイボーグ009 宮城県 foaf:Person 1938 石ノ森章太郎 rdf:type rdfs:label dbp:村井嘉浩 dbp-‐owl:leaderName dbp:手塚治虫 文化賞 dbp-‐owl:Comics rdf:type クエリ: 石ノ森章太郎の出身地 PREFIX dbp: <hYp://ja.dbpedia.org/resource/> PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/> SELECT ?birthPlace WHERE { dbp:石ノ森章太郎 dbp-‐owl:birthPlace ?birthPlace . } 90
- 91. 91
- 92. • SELECT: 取得したい変数を指定 • SELECT * は全ての変数指定と同等 • 結果形式: XML, JSON, CSV, TSV, ... • WHERE: {}内にグラフパターンの組み合わせを記述 • LIMIT: 件数の制限 • 100だと1-‐100まで取得 • LIMITがない場合は全件取得 • 量が多い場合はサーバに負荷をかけるので注意 • PREFIX: URIを短縮して記述するための仕組み • dbp:東京都 = <hYp://ja.dbpedia.org/resource/東京都> PREFIX dbp: <hYp://ja.dbpedia.org/resource/> PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/> SELECT ?birthPlace WHERE { dbp:石ノ森章太郎 dbp-‐owl:birthPlace ?birthPlace . } 92
- 93. dbp-‐owl:AdministraMveRegion dbp:サイボーグ009 dbp-‐owl: ComicsCreator dbp:宮城県 dbp:石ノ森章太郎 rdfs:label rdf:type rdfs:label dbp-‐prop:生年 dbp-‐owl:notableWork dbp-‐owl:award dbp-‐owl:birthPlace rdf:type サイボーグ009 宮城県 foaf:Person 1938 石ノ森章太郎 rdf:type rdfs:label dbp:村井嘉浩 dbp-‐owl:leaderName dbp:手塚治虫 文化賞 dbp-‐owl:Comics rdf:type クエリ: 手塚治虫文化賞を受賞した漫画家 PREFIX dbp: <hYp://ja.dbpedia.org/resource/> PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/> SELECT ?creator WHERE { ?creator rdf:type dbp-‐owl:ComicsCreator ; dbp-‐owl:award dbp:手塚治虫文化賞 . } 93
- 94. 94
- 95. dbp-‐owl:AdministraMveRegion dbp:サイボーグ009 dbp-‐owl: ComicsCreator dbp:宮城県 dbp:石ノ森章太郎 rdfs:label rdf:type rdfs:label dbp-‐prop:生年 dbp-‐owl:notableWork dbp-‐owl:award dbp-‐owl:birthPlace rdf:type サイボーグ009 宮城県 foaf:Person 1938 rdf:type rdfs:label dbp:村井嘉浩 dbp-‐owl:leaderName dbp:手塚治虫 文化賞 dbp-‐owl:Comics rdf:type クエリ: 手塚治虫文化賞を受賞した漫画家の代表的な漫画 PREFIX dbp: <hYp://ja.dbpedia.org/resource/> PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/> SELECT ?creatorName ?comicName WHERE { ?creator a dbp-‐owl:ComicsCreator ; dbp-‐owl:award dbp:手塚治虫文化賞 ; dbp-‐owl:notableWork ?comic ; rdfs:label ?creatorName . ?comic a dbp-‐owl:Comics ; rdfs:label ?comicName . } 石ノ森章太郎 95
- 96. 96
- 97. SPARQL 1.0 • データ取得 • SELECT • ASK • DESCRIBE • CONSTRUCT • ほぼどこでも使える 97
- 98. SELECT 例) 任意の3つ組を100件取得 SELECT ?s ?p ?o WHERE { ?s ?p ?o . } LIMIT 100 98
- 99. ASK • ASK: グラフパターンにマッチするものがあるか • 結果yes か no 例) 石ノ森章太郎の出身地が含まれているかどうか PREFIX dbp: <hYp://ja.dbpedia.org/resource/> PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/> ASK WHERE { dbp:石ノ森章太郎 dbp-‐owl:birthPlace ?birthPlace . } 99
- 100. DESCRIBE • DESCRIBE: リソースに関するグラフを取得 • 実装依存 • 多くの場合は対象リソースをsubjectかobjectに 含む3つ組の集合 • 結果形式: RDF/XML,Turtle, … 例) http://ja.dbpedia.org/resource/横浜市に関するグラフを取得 DESCRIBE <http://ja.dbpedia.org/resource/横浜市> 100
- 101. CONSTRUCT • CONSTRUCT: 新しいグラフを作成して取得 • 結果形式: RDF/XML, Turtle, … 例) foaf:nameプロパティの3つ組をそのまま取得 PREFIX foaf: <hYp://xmlns.com/foaf/0.1/> CONSTRUCT { ?s foaf:name ?o . } WHERE { ?s foaf:name ?o . } 101
- 102. Named Graph • 3つ組の集合を区別 したいという要求 • データソースや ファイルの違い • Triple(3つ組)では なくQuad(4つ組) 102
- 103. Named Graphの例 PREFIX dcndl: hYp://ndl.go.jp/dcndl/terms/> PREFIX rdfs: <hYp://www.w3.org/2000/01/rdf-‐schema#> PREFIX dc: <hYp://purl.org/dc/terms/> SELECT DISTINCT * WHERE { GRAPH ?g { <hYp://lod.ac/species/Papilio_xuthus> ?p ?o . } ?g dc:source ?source . ?source dcndl:ediMon ?ediMon ; dc:publisher/rdfs:label ?publisher . } 103
- 104. SPARQL 1.1 • データ管理 • 作成・更新・削除用句 • INSERT, UPDATE, DELETE, LOAD, DROP • サービス記述 • Graph Store HTTP Protocol • 結果形式の追加: JSON, CSV, TSV • 様々な追加機能 • プロパティパス，集約，条件，数値関数，文字列関数，サブクエリ，Federatedクエリなど • 実装の差 • 最新の実装だと大分カバーされている • 実働中のエンドポイントは差あり • 特にFederatedクエリやBINDあたりは使えないところも多い 104
- 105. プロパティパス •通常の3つ組パターン: ?s ?p ?o •?oの省略や?pの繰り返し，?pの逆向き 等を記述可能 PREFIX dbp: <hYp://ja.dbpedia.org/resource/> PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/> SELECT ?creatorName ?comicName WHERE { ?creator dbp-‐owl:notableWork/rdfs:label ?comicName . } 105
- 106. プロパティパスの例 •?s foaf:knows/foaf:knows ?o •?s foaf:knows+ ?o •?s ^foaf:knows ?o •?s foaf:name¦rdfs:label ?o 106
- 107. 集約 • COUNT: 個数 • SUM: 合計 • AVG: 平均 • MIN: 最小値 • MAX: 最大値 • GROUP BY: 107
- 108. COUNT 例) 森薫リソースのオブジェクトの数 SELECT (COUNT(?o) AS ?count) WHERE { <hYp://dbpedia.org/resource/Kaoru_Mori> ?p ?o . } 108
- 109. GROUP BY 例) クラス毎のインスタンスの数上位100件を降順 SELECT ?class (COUNT(?instance) AS ?noOfInstances) WHERE { ?instance a ?class . } GROUP BY ?class ORDER BY DESC(?noOfInstances) LIMIT 100 109
- 110. サブクエリ 例) クラス毎のインスタンスの数の平均 SELECT (AVG(?noOfInstances) AS ?avg) WHERE { { SELECT ?class (COUNT(?instance) AS ?noOfInstances) WHERE { ?instance a ?class . } GROUP BY ?class } } 110
- 111. Federatedクエリ • サブクエリの延長 • SERVICE句 • クエリを直接投げたエンドポイント以外を指定し てクエリを投げられる • 2ヶ所以上のSPARQLエンドポイントに対してク エリを発行して自動的に結果を結合 • まだ使えるエンドポイントが限られるし相互運用性 も怪しいがSPARQLのパワフルさの象徴の一つ 111
- 112. SPARQL Endpointリスト • http://datahub.io/dataset?q=&res_format=api %2Fsparql • http://labs.mondeca.com/sparqlEndpointsStatus/ 112
- 116. PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX geo: <http://www.w3.org/2003/01/geo/wgs84_pos#> SELECT DISTINCT ?link ?title ?lat ?long WHERE { ?link rdfs:label ?title; geo:lat ?lat; geo:long ?long . FILTER ( ?lat > #{sw_lat} && ?lat < #{ne_lat} && ?long > #{sw_long} && ?long < #{ne_long} && lang(?title) = "ja" ) } 116
- 118. 118
- 119. 119
- 120. © 2013 Scholex co.,ltd. and ATR Creative Inc. © 2013 ATR Creative Inc., Linked Open Data Initiative 120
- 121. Tool 121
- 122. ライブラリ 122
- 123. RDFライブラリ • Java: Jena, Sesame • C: Redland • C#: dotNetRDF • Ruby: RDF.rb • PHP: ARC2, Graphite •Python: rdflib •Perl: PerlRDF •JavaScript: rdfQuery, rdfstore-js •.... http://www.w3.org/2001/sw/wiki/Tools参照 123
- 124. SPARQLクライアント ライブラリ • Ruby: sparql • Python: SPARQLWrapper • Java: ARQ • C: Rasqal • R: SPARQL • Haskell: hsparql • 等々 • http://linkeddata.jp/wiki/ツール • http://www.w3.org/wiki/SparqlImplementations 124
- 125. sparql - RDF.rb $ gem install sparql 125
- 126. Querying a SPARQL Endpoint 1 #!/usr/bin/env ruby 2 # -*- coding: utf-8 -*- 3 4 require 'linkeddata' 5 6 client = SPARQL::Client.new("http://dbpedia.org/sparql") 7 8 query = """SELECT ?o 9 WHERE { 10 <http://dbpedia.org/resource/Daejeon> <http://dbpedia.org/ontology/country> ?o . 11 }""" 12 13 client.query(query).each do |solution| 14 puts solution[:o] 15 end 126
- 127. R SPARQL > install.packages( SPARQL ) 127
- 128. > library(SPARQL) > endpoint <- 'http://dbpedia.org/sparql' > q <- "SELECT ?class (count(?instance) AS ?noOfInstances) WHERE { ?instance a ?class . } GROUP BY ?class ORDER BY DESC(?noOfInstances) LIMIT 10" > res <- SPARQL(endpoint, q)$results > pie(res$noOfInstances, label=res$class) 128
- 129. RDB Query DB Model RDF Model SQL Relational Model RDF Store SPARQL 129
- 130. RDF Store • TripleStore / QuadStore / Graph DB • SPARQLエンドポイント • オプション • RDFS/OWL Inference • Full text indexing • Clustering • See http://en.wikipedia.org/wiki/ Triplestore Bigdata® 130
- 133. Virtuoso Open Source • http://virtuoso.openlinksw.com/dataspace/dav/wiki/ Main/ • バイナリとソースあり • ソースからインストール $ tar xvzf virtuoso-opensource-6.1.6.tar.gz $ cd virtuoso-opensource-6.1.6 $ ./configure $ make $ make install $ /usr/local/virtuoso-opensource/bin/virtuoso-t +configfile /usr/local/virtuoso-opensource/ var/lib/virtuoso/db/virtuoso.ini 133
- 136. 136
- 137. 137
- 139. Sgvizler • Javascript/jQueryの可視化ライブラリ • https://code.google.com/p/sgvizler/ • 基本的にSPARQL埋め込むだけ • 主にGoogle Visualization API • 安定版は0.5 • HEADは大分変更があるので注意 139
- 140. 140
- 142. OpenRefine • Freebase Gridworks, GoogleRefine • データと遊ぶためのツール (一部要拡張) • インポート形式: *SV, Excel, JSON, XML, RDF/XML Google Data(Spreadsheet, Fusion Table) • エクスポート形式: *SV, HTML, Excel, ODF Spreadsheet, MQL, RDF/XML, RDF/Turtle • アップロード: Freebase, CKAN • ビュアー: ファセット, フィルター，フラグ • 編集履歴 • スクリプト: GREL • データ変換 • データ公開 • 様々な拡張 • Reconciliation 142
- 143. Reconciliation • ラベル(と付加情報)にマッチ する潜在的なエンティティリ ストを推薦 • Apple社 vs フルーツの apple vs New York City • pathやURI • サービス • Freebase • Reconciliation API • SPARQL (要RDFRefine) 143
- 144. 144
- 146. 146