1. Is EDINET 5 star? N. Shimizu chikoski@gmail.com / @chikoski 2011.1.27 1 N. Shimizu <chikoski@gmail.com>

2. 自己紹介 清水智公 / @chikoski 嘉悦大学情報メディアセンター / 慶應義塾大学政策・メディア研究科 http://chikoski.info/ 2011.1.27 2 N. Shimizu <chikoski@gmail.com>

3. http://xbrl.tom.sfc.keio.ac.jp/ 2011.1.27 3 N. Shimizu <chikoski@gmail.com>

4. http://edinet.chikoski.info/ 2011.1.27 4 N. Shimizu <chikoski@gmail.com>

5. 概要 EDINET Web APIの概要 作成の背景 リストの取得方法 レポートの取得方法 作成しているときに思ったこと 今後の方向性 2011.1.27 5 N. Shimizu <chikoski@gmail.com>

6. EDINET Web APIの概要 2011.1.27 6 N. Shimizu <chikoski@gmail.com>

7. 作成の背景 EDINETを機械に優しいサイトに 機械：プログラム 今のEDINETは機械に対してつめたい 他のシステムに対してオープンに 簡単な検索インタフェースの提供 XBRLファイルへのアクセス手段の提供 2011.1.27 7 N. Shimizu <chikoski@gmail.com>

8. 設計の方針：リンク可能にする 報告書に固定のURLを与えること GETで取得できること トークン等はつかわないこと URLが検索文を兼ねること 2011.1.27 8 N. Shimizu <chikoski@gmail.com>

9. EDINET Web API 提出されたレポートの検索 日付、期間 EDINETコード 業種 レポートのダウンロード ZIP, xbrlファイル単体 書類管理番号がキー 2011.1.27 9 N. Shimizu <chikoski@gmail.com>

10. デモ 2011.1.27 10 N. Shimizu <chikoski@gmail.com>

11. 検索：/list/{条件}[.形式] 条件 recent, today, yesterday YYYYMMDD YYYYMMDD-YYYYMMDD EDINETコード 業種 形式：JSON 2011.1.27 11 N. Shimizu <chikoski@gmail.com>

12. 検索結果 2011.1.27 12 N. Shimizu <chikoski@gmail.com>

13. 検索結果 報告書のURL 2011.1.27 13 N. Shimizu <chikoski@gmail.com>

14. 報告書の取得：/report/{管理番号} EDINETの管理番号を指定する /report/S00070PB /report/S00071D9 取得できるレポート XBRLファイルのみ 全部入りのzipファイル 2011.1.27 14 N. Shimizu <chikoski@gmail.com>

15. システムの概要 2011.1.27 15 N. Shimizu <chikoski@gmail.com>

16. システムの構成 クローラー：ページなどをダウンロード スクレイパー：必要な情報を抽出 Webインタフェース：検索の受け口 2011.1.27 16 N. Shimizu <chikoski@gmail.com>

17. システムの構成 クローラー：ページなどをダウンロード スクレイパー：必要な情報を抽出 Webインタフェース：検索の受け口 一番面倒だった 2011.1.27 17 N. Shimizu <chikoski@gmail.com>

18. 2011.1.27 18 N. Shimizu <chikoski@gmail.com>

19. 機械に優しくないサイト 2011.1.27 19 N. Shimizu <chikoski@gmail.com>

20. クローラー作成の壁 ステータスコードを正しく返さない POSTパラメータの解析 セッションキーの取り扱い 2011.1.27 20 N. Shimizu <chikoski@gmail.com>

21. ステータスコードを正しく返さない 突然コネクションを切断する 処理に失敗しても200を返す 普通 400番台のコードを返して切断 500番台のコード＋ページを返す 2011.1.27 21 N. Shimizu <chikoski@gmail.com>

22. ステータスコード アクセスの成否を示した数字 数字と意味 200番台：アクセス成功 300番台：転居届 400番台：アクセス失敗 500番台：エラー 2011.1.27 22 N. Shimizu <chikoski@gmail.com>

23. リクエストヘッダに不備->切断 Hostがinfo.edinet-fsa.go.jpではない User-Agentが対応ブラウザではない Firefox Chrome / Safari IE 2011.1.27 23 N. Shimizu <chikoski@gmail.com>

24. 処理に失敗しても200を返す 処理に失敗するパターン POSTするパラメーターの組み合わせが不正 セッションタイムアウト ファイルが存在しない この全てで200が返ってくる ステータスコードからエラーが検知できない 原因は返ってくるページをみて初めてわかる 2011.1.27 24 N. Shimizu <chikoski@gmail.com>

25. POSTされる主なパラメーター uji.verb uji.bean TID PID pageUp / pageDown / be.page SESSIONKEY 2011.1.27 25 N. Shimizu <chikoski@gmail.com>

26. セッションがタイムアウトする原因 アクセス間隔が長い 30分くらい間を置くと切れている 正確な生存期間は不明… POSTするセッションキーとEDINET側のキーが異なる場合 2011.1.27 26 N. Shimizu <chikoski@gmail.com>

27. EDINETのセッション管理 クッキー セッションキー パラメータ名：SESSIONKEY 13桁の乱数 アクセスするごとに変わる 2011.1.27 27 N. Shimizu <chikoski@gmail.com>

28. EDINETのセッション管理 クッキー セッションキー パラメータ名：SESSIONKEY 13桁の乱数 アクセスするごとに変わる ポイント 2011.1.27 28 N. Shimizu <chikoski@gmail.com>

29. 2011.1.27 29 N. Shimizu <chikoski@gmail.com>

30. 機械に優しいサイトになるには ステータスコードをきちんと返すこと User-Agentを制限しないこと POSTではなくGETでページが取得できること 不必要なセッション管理をしないこと robots.txtを置くこと 2011.1.27 30 N. Shimizu <chikoski@gmail.com>

31. EDINETにはrobots.txtがない クローラーに対するポリシーがない キャッシュしてよいもの、悪いものの判断がつかない クローラーでアクセスしてよいの？ 2011.1.27 31 N. Shimizu <chikoski@gmail.com>

32. APIの今後 2011.1.27 32 N. Shimizu <chikoski@gmail.com>

33. Web = Database 2011.1.27 33 N. Shimizu <chikoski@gmail.com>

34. よりオープンに 2011.1.27 34 N. Shimizu <chikoski@gmail.com>

35. Is your data 5star? ☆☆☆☆★：Web上で公開されていること。 オープンライセンスであること ☆☆☆★★：プログラム処理可能な構造化データであること ☆☆★★★：プロプライエタリなフォーマットではないこと ☆★★★★：RDFを利用してデータが表現されていること ★★★★★：他のデータとリンクしていること 2011.1.27 35 N. Shimizu <chikoski@gmail.com>

36. Is your data 5star? ☆☆☆☆★：Web上で公開されていること。 オープンライセンスであること ☆☆☆★★：プログラム処理可能な構造化データであること ☆☆★★★：プロプライエタリなフォーマットではないこと ☆★★★★：RDFを利用してデータが表現されていること ★★★★★：他のデータとリンクしていること 今ココ 2011.1.27 36 N. Shimizu <chikoski@gmail.com>

37. Is your data 5star? ☆☆☆☆★：Web上で公開されていること。 オープンライセンスであること ☆☆☆★★：プログラム処理可能な構造化データであること ☆☆★★★：プロプライエタリなフォーマットではないこと ☆★★★★：RDFを利用してデータが表現されていること ★★★★★：他のデータとリンクしていること ココを目指す 2011.1.27 37 N. Shimizu <chikoski@gmail.com>

38. 直近の目標：4つ星を目指す 出力するもの 検索結果 XBRL, XSD, ラベルなど XBRLファイルの変換 XML2RDFを利用する スキーマはXSD2OWLを利用 http://rhizomik.net/html/redefer/ 2011.1.27 38 N. Shimizu <chikoski@gmail.com>

39. XML2RDFで行われる変換 [1]より 2011.1.27 39 N. Shimizu <chikoski@gmail.com>

40. 5つ星になるには 全てのものをURLで表現 例 会社 業種 dbpedia.jpを参照する予定 2011.1.27 40 N. Shimizu <chikoski@gmail.com>

41. Linked Data 2011.1.27 41 N. Shimizu <chikoski@gmail.com>

42. 5つ星になった後 企業情報におけるLOD.ACに c.f LODAC Museumhttp://lod.ac/ 2011.1.27 42 N. Shimizu <chikoski@gmail.com>

43. ご静聴ありがとうございました 2011.1.27 43 N. Shimizu <chikoski@gmail.com>

44. Linked Dataに関する情報 Tim Berners-Lee, “Linked Data”, http://goo.gl/katw http://linkeddata.org/ http://linkeddata.jp/ “Linked Data in Japan”, http://goo.gl/8pvAI http://lod.ac/ http://scholex.com/ocdi/ 2011.1.27 44 N. Shimizu <chikoski@gmail.com>