汎用Web API“SPARQL”でオープンデータ検索

汎用Web API“SPARQL”
でオープンデータ検索
@uedayou
http://uedayou.net/
Kobe.R #13 + Open Data
2014.11.24

オープンデータとの関わり
• 特定非営利活動法人リンクト・オープン・データ・
イニシアティブ
• 2014年より理事
• 関西支部支部長補佐
• Linked Open Data チャレンジJapan
• 2014年度より実行委員
• オープンデータを利用するWebアプリを公開中
• http://uedayou.net/
• ソースコード：https://github.com/uedayou

• 目的
• リンクト・オープン・データ（LOD）の国内での普及促進
• 理事長
• 国立情報学研究所武田英明教授
• 主な事業
• LOD並びにオープンデータに関する調査研究事業
• 講座やシンポジウムの開催
• LOD並びにオープンデータへの取り組み支援
• オープンデータへの取り組み評価

• 主な実績
• Open Data METI（平成24〜25年度経済産業省）
• データカタログサイトの構築
• LODの設計
• アイディアソン、ヴィジュアライズソンの開催
• 都道府県・市区町村コード（平成25年度独立行政法
人統計センター）
• 自治体行政情報流通連携基盤実証事業（平成25年度
総務省）
• LOD連続セミナー（自主事業）

LOD連続セミナー（自主事業）
• 2014年5～7月まで計6回開催
• 資料はLODI のWebサイトで公開中
• http://linkedopendata.jp/?cat=17

今日お話する内容
•汎用Web API“SPARQL”とは？
•SPARQLを使ってみよう！
•SPARQLでアプリを作ってみよう！

汎用Web API“SPARQL”
とは？

SPARQL
いろんなデータベース
で使えます
• RDF(LOD)用の汎用クエリ言語
• RDF(LOD)用のデータベースからトリプル（3つ組）
データを検索して、表形式でデータが取得できます
扱いやすい！
PREFIX rdfs:
<http://www.w3.org/2000/01/rdf-schema#>
SELECT * WHERE {
?uri rdfs:label ?label .
}
LIMIT 10
?uri ?label
http://ja.dbpedia.org/resource/岩手県"岩手県"
http://ja.dbpedia.org/resource/石川県"石川県"
http://ja.dbpedia.org/resource/愛媛県"愛媛県"
http://ja.dbpedia.org/resource/岡山県"岡山県"

SPARQLで検索できる
オープンデータが増えています
データ種別Web API
Wikipedia DBPedia
Wikipediaオントロジー
行政データデータシティ鯖江
都道府県・市区町村コード情報
Open Data METI
イベントデータヨコハマ・アート・LOD
博物館データEuropeana
LODAC Museum
The British Museum
図書館データThe British National Bibliography
Web NDL Authorities
地理データLinked Geo Data
LODAC Location
気象データ気象庁XML用API
生物種データLODAC Species
この他にも多くのオープンデータがSPARQLで検索できます

LODチャレンジもSPARQLで
検索できるデータベースを公開中！
http://lodc.jp

過去3年分+αのオープンライセンス
のデータセットが検索可能
http://lodc.jp/#dataset

RDFとは
（Resource Description Framework）
主語
(Subject)
目的語
(Object)
述語
(Predicate)
• データを「主語」「述語」「目的語」を1つのセット
（トリプル、三つ組み）として記述
例えば…
東京都隣の県神奈川県

トリプルデータを表形式に変換
主語述語目的語
dbpedia:
rdfs:label "東京都"
東京都
dbpedia:
東京都
rdfs:comment “東京都（とうきょうと）は、日本
の都道府県の一つである。"
dbpedia:
大阪府
変換！
id label comment
rdfs:label “大阪府”
dbpedia:
大阪府
dbpedia:
東京都
"東京都" “東京都（とうきょうと）は、日本
rdfs:comment "大阪府（おおさかふ）は、近畿
地方（関西地方）に属する日本
の都道府県の一つ。"
dbpedia:
京都府
rdfs:label “京都府”
dbpedia:
京都府
rdfs:comment "京都府（きょうとふ）は、日本
国・近畿地方の都道府県。"
dbpedia:
大阪府
“大阪府” "大阪府（おおさかふ）は、近畿
dbpedia:
京都府
“京都府” "京都府（きょうとふ）は、日本
SPARQLなら簡単にできます！

HTML・CSV・XML・JSONなど
さまざまな形式で出力可能！
• formatパラメータを変更するだけ
JSON
http://db.lodc.jp/sparql?query=...&format=json
XML
http://db.lodc.jp/sparql?query=...&format=xml
CSV
http://db.lodc.jp/sparql?query=...&format=csv
“format”はSPARQLエンドポイントによって異なる場合があります

SPARQLを使ってみよう！

URI(IRI)とリテラル
• URI(IRI) : <http://ja.dbpedia.org/resource/東京都>
• 「<」「>」で挟まれた文字列
• 人・もの・出来事などを指し示すID
• 指定したURIを同じURIを含むデータが検索される
• リテラル: “東京” , “100” , “2014-09-20” …
• 「”」で挟まれた文字列
• データそのもの(string, integer, float他)
• 指定した文字列と同じ文字列を含むデータが検索され
る
• 目的語以外は指定できない

東京都
http://ja.dbpedia.or
g/resource/東京都
http://ja.dbpedia.org/
property/隣接都道府県
g/resource/山梨県
g/resource/千葉県
http://ja.dbpedia.org
/resource/神奈川県
http://www.w3.org/2000
/01/rdf-schema#label
g/resource/埼玉県
山梨県
千葉県埼玉県
神奈川県
東京都と隣接県
RDFグラフ
東京都（とうきょうと）は、日本
の都道府県の一つである。
/01/rdf-schema#comment

データベース上では…
<http://ja.dbpedia.org/resource
/東京都>
<http://www.w3.org/2000/01/
rdf-schema#label>
"東京都"
/東京都>
rdf-schema#comment>
“東京都（とうきょうと）は、日本
/東京都>
<http://ja.dbpedia.org/property
/隣接都道府県>
/山梨県>
/東京都>
/千葉県>
/東京都>
/埼玉県>
/東京都>
/神奈川県>
/山梨県>
rdf-schema#label>
“山梨県”
/千葉県>
rdf-schema#label>
“千葉県”
/埼玉県>
rdf-schema#label>
“埼玉県”
/神奈川県>
rdf-schema#label>
“神奈川県”

URIとリテラル
/東京都>
rdf-schema#label>
"東京都"
/東京都>
rdf-schema#comment>
/東京都>
/山梨県>
/東京都>
/千葉県>
/東京都>
/埼玉県>
/東京都>
/神奈川県>
/山梨県>
rdf-schema#label>
“山梨県”
/千葉県>
rdf-schema#label>
“千葉県”
/埼玉県>
rdf-schema#label>
“埼玉県”
/神奈川県>
rdf-schema#label>
“神奈川県”

東京都東京都（とうきょうと）は、日本
山梨県
千葉県埼玉県
神奈川県
RDFグラフ

(1) シンプルなSPARQLクエリ
SELECT ?s ?p ?o WHERE
{
?s ?p ?o.
}
• 全てのトリプルデータを検索

SELECT
{
?s ?p ?o.
}
• SELECT の後ろに続く変数（?で始まる文字列)に格納さ
れたデータを表形式で取得
• 変数名は必ずWHERE文の中で指定したものを記述す
ること
• 例では?s 、?p 、?o

SELECT
SELECT * WHERE
{
?s ?p ?o .
• アスタリスク「＊」を指定すると、WHERE文の中の
全ての変数を指定したことと同じになる
• ?s、?p、?o が抽出される
}
{
?s ?p ?o.
}
=

DISTINCT
SELECT DISTINCT ?s ?p ?o WHERE
{
?s ?p ?o.
}
• 「SELECT」と変数の間に「DISTINCT」を入れると指定
した全ての変数で重複したパターンがあった場合、
検索結果から除外される

WHERE
{
?s ?p ?o .
}
• WHERE { } 内に検索したいトリプルパターンを書く

基本構造
述語の
指定
目的語
の指定
{
?s ?p ?o .
}
主語の
指定
必ずピリオド
で終わる
• トリプルデータを指定するために、3つの変数(?s, ?p, ?o)
またはURI、リテラル（目的語のみ）を1セットで書く
• 1セットの終わりには必ずピリオド「．」をつける

?s ?p ?o
/東京都>
rdf-schema#label>
"東京都"
/東京都>
rdf-schema#comment>
/東京都>
/山梨県>
/東京都>
/千葉県>
/東京都>
/埼玉県>
/東京都>
/神奈川県>
/山梨県>
rdf-schema#label>
“山梨県”
/千葉県>
rdf-schema#label>
“千葉県”
/埼玉県>
rdf-schema#label>
“埼玉県”
/神奈川県>
rdf-schema#label>
“神奈川県”
検索対象

http://uedayou.net/sparql-mashup/test-endpoint/

変数
• 変数： ?s , ?p , ?o, ?label, ?comment …
• 「?」で始まる文字列
• パターンに当てはまるデータ全てが格納される
• 検索式内の同一変数は同じデータが入るという意味に
トリプルパターン
?id rdfs:label ?label.
id label
dbpedia:
東京都
"東京都"
dbpedia:
大阪府
“大阪府”
dbpedia:
京都府
“京都府”

?id rdfs:comment ?comment.
id comment
dbpedia:
東京都
dbpedia:
大阪府
"大阪府（おおさかふ）は、近畿
dbpedia:
京都府
"京都府（きょうとふ）は、日本

同じ名前の変数(?id)は
AND検索を意味します
?id rdfs:label ?label.
?id rdfs:comment ?comment.

(2) 述語が
<http://www.w3.org/2000/01/rdf-schema#label>
であるトリプルを取得
主語の
指定
SELECT ?s ?o WHERE
{
述語の
指定
目的語
の指定
?s <http://www.w3.org/2000/01/rdf-schema#label> ?o .
}
• <http://www.w3.org/2000/01/rdf-schema#label> はデータ
のラベル（名前）を示す場合によく利用されています。
• 省略形は「rdfs:label」

(3)主語に<http://ja.dbpedia.org/resource/東京都>
が指定されているトリプルを取得
述語の
指定
select distinct * where
{
<http://ja.dbpedia.org/resource/東京都> ?p ?o .
}
主語の
指定
目的語
の指定
• <http://ja.dbpedia.org/resource/東京都>に関する
データ（述語と目的語）全て検索

(4) 東京都に隣接する県の名前
1. 東京都のURIから隣接する都道府県を表す
<http://ja.dbpedia.org/property/隣接都道府県>
を述語として持つ目的語を検索する
2. さらに、検索された目的語を主語に指定して、そ
のrdfs:labelを検索する
SELECT DISTINCT ?pref ?label WHERE
{
<http://ja.dbpedia.org/resource/東京都> <http://ja.dbpedia.org/property/隣接都道府県> ?pref.
?pref <http://www.w3.org/2000/01/rdf-schema#label> ?label.
}
• 同じ変数(例えば?pref)を異なるトリプルパターン
で記述すると、同じURIを持つもののみ検索される
(AND検索)

/東京都>
rdf-schema#label>
"東京都"
/東京都>
rdf-schema#comment>
/東京都>
/山梨県>
/東京都>
/千葉県>
/東京都>
/埼玉県>
/東京都>
/神奈川県>
/山梨県>
rdf-schema#label>
“山梨県”
/千葉県>
rdf-schema#label>
“千葉県”
/埼玉県>
rdf-schema#label>
“埼玉県”
/神奈川県>
rdf-schema#label>
“神奈川県”
検索対象
?pref
?label
「?pref」と同じURIを
主語に持つトリプル
を選択

PREFIXによるURIの省略表記
• URI記述はPREFIXを利用することで省略表記が可能
• クエリ先頭行に以下のような形式で追加
• PREFIX BINDNAME : <URI>
• 例：PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
• PREFIX を指定するとURIを省略表記に
• <http://www.w3.org/2000/01/rdf-schema#label>
• PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
• rdfs:label

PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/>
PREFIX prop-ja: <http://ja.dbpedia.org/property/>
<http://ja.dbpedia.org/resource/
東京都>
rdf-schema#label>
"東京都"
東京都>
rdf-schema#comment>
東京都>
山梨県>
東京都>
千葉県>
東京都>
埼玉県>
東京都>
神奈川県>
山梨県>
rdf-schema#label>
“山梨県”
千葉県>
rdf-schema#label>
埼玉県>
rdf-schema#label>
“埼玉県”
神奈川県>
rdf-schema#label>
“神奈川県”
dbpedia-jp:東京都rdfs:label dbpedia-jp:東京都rdfs:comment dbpedia-jp:東京都prop-ja:隣接都道府県dbpedia-jp:山梨県
dbpedia-jp:東京都prop-ja:隣接都道府県dbpedia-jp:千葉県
dbpedia-jp:東京都prop-ja:隣接都道府県dbpedia-jp:埼玉県
dbpedia-jp:東京都prop-ja:隣接都道府県dbpedia-jp:神奈川県
dbpedia-jp:山梨県rdfs:label dbpedia-jp:千葉県rdfs:label “千葉県”
dbpedia-jp:埼玉県rdfs:label “埼玉県”
dbpedia-jp:神奈川県rdfs:label “神奈川県”

rdfs:label
RDFグラフ
prop-ja:隣接都道府県
dbpedia-ja:東京都
東京都（とうきょうと）は、日本
http://rdfs:www.comment
w3.org/2000
dbpedia-ja:神奈川県
山梨県
千葉県埼玉県
神奈川県
東京都
dbpedia-ja:山梨県
dbpedia-ja:千葉県dbpedia-ja:埼玉県
rdfs:label
rdfs:label rdfs:label
rdfs:label

(5) 「東京都に隣接する県の名前」
のクエリを省略して書くと…
{
<http://ja.dbpedia.org/resource/東京都> <http://ja.dbpedia.org/property/隣接都道府県> ?pref.
?pref <http://www.w3.org/2000/01/rdf-schema#label> ?label.
}
PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/>
PREFIX prop-ja: <http://ja.dbpedia.org/property/>
{
dbpedia-ja:東京都prop-ja:隣接都道府県?pref .
?pref rdfs:label ?label .
}

(6) 同一主語の省略
• 同じ主語から異なる複数の述語を指定する場合、
目的語のあとのピリオド「.」をセミコロン「;」にするこ
とで次のトリプルパターンの主語を省略できます
SELECT DISTINCT * WHERE {
dbpedia-ja:東京都rdfs:label ?label .
dbpedia-ja:東京都rdfs:comment ?comment .
}
SELECT DISTINCT * WHERE {
dbpedia-ja:東京都rdfs:label ?label ;
rdfs:comment ?comment .
} 省略を終了するトリプルパターン
の最後は必ずピリオドにすること
主語を
省略
できる

SPARQLの便利な検索機能
検索句機能
LIMIT 検索結果の上限を設定
OFFSET 検索結果の取得位置を指定
ORDER BY 検索結果の並び順を指定
OPTIONAL OPTIONAL内は任意検索
FILTER 検索結果のフィルタリングが可能
REGEX 正規表現による検索が可能
BIND 新たな変数への割り当てが可能
CONCAT 文字列の結合が可能
REPLACE 文字列の置き換えが可能（正規表現使用可）
SUBSTR 文字列の切り出しが可能
COUNT 検索件数を表示
GROUP BY 変数のグループ化が可能
HAVING グループ化した変数の絞込みが可能

FROM
• トリプルデータには、その全体を現す名前（グラフ
名）が指定されています
• FROMを使うとグラフ名ごとに検索が行えます
SELECT DISTINCT ?uri ?label
FROM
<http://lod.sfc.keio.ac.jp/challenge2014/show_status.php?id=d001>
WHERE
{
?uri rdfs:label ?label .
}
<http://lod.sfc.keio.ac.jp/challenge2014/show_status.php?id=d001>
というグラフ名がついているトリプルデータを対象とする

http://lod.sfc.keio.ac.jp/challenge2014
/show_status.php?id=d001
グラフ名ごと
に検索が可能主語述語目的語
http://lod.sfc.keio.ac.jp/challenge2013
/show_status.php?id=d030
dbpedia-ja:大阪府rdfs:label “大阪府"
dbpedia-ja:大阪府prop-ja:隣接都道府県dbpedia-ja:兵庫県
dbpedia-ja:大阪府prop-ja:隣接都道府県dbpedia-ja:和歌山県
dbpedia-ja:大阪府prop-ja:隣接都道府県dbpedia-ja:京都府
dbpedia-ja:大阪府prop-ja:隣接都道府県dbpedia-ja:奈良県
dbpedia-ja:兵庫県rdfs:label “兵庫県”
dbpedia-ja:和歌山県rdfs:label “和歌山県”
dbpedia-ja:京都府rdfs:label “京都府”
dbpedia-ja:奈良県rdfs:label “奈良県”
FROM
LODチャレンジエンドポイントでは、
エントリーページのURLが
グラフ名になっています

SPARQLでアプリを
作ってみよう！

トイレ危険地帯
• Linked Open Data チャレンジ2013 受賞作品
• 鯖江市が公開するオープンデータのうち、公衆トイ
レの位置を利用してトイレのない地域をWebアプリ
でビジュアライズ
http://y4ashida.github.io/toilet/

○○危険地帯
• トイレ危険地帯のソースコードを修正して、SPARQL
でさまざまなデータで空白地域をビジュアライズで
きるようにしました
• https://github.com/uedayou/dangerzone-sparql

大阪市版トイレ危険地帯
http://uedayou.github.io/dangerzone-sparql/

○○危険地帯の使い方
1. 「Download ZIP」ボタンを押してソースコード
をダウンロード
2. ZIPファイルを解凍
3. config.js の書き換える
4. Index.html をブラウザで開く
SPARQLを書きます

config.js の書き方
// SPARQLエンドポイントを指定
var endpoint = "http://db.lodc.jp/sparql";
// SPARQLクエリを指定
var query = (function () {/*
SELECT DISTINCT *
FROM <http://lod.sfc.keio.ac.jp/challenge2013/show_status.php?id=d030>
WHERE{
?uri <http://lodosaka.hozo.jp/category_1> "公衆トイレ"@ja ;
<http://www.w3.org/2003/01/geo/wgs84_pos#lat> ?latitude ;
<http://www.w3.org/2003/01/geo/wgs84_pos#long> ?longitude .
}
*/}).toString().match(/¥n([¥s¥S]*)¥n/)[1];
// 中心位置を指定
var initial_latitude =34.68206400648744;
var initial_longitude =135.49816131591797;
// ズーム率を指定
var initial_zoom = 11;
SPARQL
エンドポイント
SPARQL
クエリ

大阪市のいろんな危険地帯を作っ
てみよう！
// SPARQLエンドポイントを指定
var endpoint = "http://db.lodc.jp/sparql";
// SPARQLクエリを指定
var query = (function () {/*
SELECT DISTINCT *
FROM <http://lod.sfc.keio.ac.jp/challenge2013/show_status.php?id=d030>
WHERE{
?uri <http://lodosaka.hozo.jp/category_1> "公衆トイレ"@ja ;
<http://www.w3.org/2003/01/geo/wgs84_pos#lat> ?latitude ;
<http://www.w3.org/2003/01/geo/wgs84_pos#long> ?longitude .
}
LIMIT 1000
*/}).toString().match(/¥n([¥s¥S]*)¥n/)[1];
// 中心位置を指定
var initial_latitude =34.68206400648744;
var initial_longitude =135.49816131591797;
// ズーム率を指定
var initial_zoom = 11;
ここのカテゴリを変えると
いろんな危険地帯が
作れます
例：
“学校・保育所”@ja
“名所・旧跡”@ja
“警察・消防”@ja
“医療・福祉”@ja
“公園・スポーツ”@ja
“駅・バス停”@ja
…

汎用Web API“SPARQL”でオープンデータ検索

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 汎用Web API“SPARQL”でオープンデータ検索

Similar to 汎用Web API“SPARQL”でオープンデータ検索 (20)

More from uedayou

More from uedayou (15)

汎用Web API“SPARQL”でオープンデータ検索