SlideShare une entreprise Scribd logo
1  sur  9
Télécharger pour lire hors ligne
GTFSデータリポジトリ
サーバーレスで作るGTFS共有システム
だれ?
@PEmugi2
AIGID (一般社団法人 社会基盤情報流通協議会)
なんでもエンジニア
株式会社Mobility Technologies
データ & GIS エンジニア
GTFSデータリポジトリ
GTFS作成者 GTFS利用者
GTFSデータリポジトリ
https://gtfs-data.jp
GTFS作成者と利用者を様々な方法でつなぐプラットフォーム
交通事業者
自治体
etc…
乗換案内
プロバイダ
開発者
研究者
etc
データ掲載
固定
GTFS URL
APIアクセス
世代管理
検索/閲覧
掲載
API
Web
国土交通
データプラットフォーム
品質管理
更新通知
+ GTFS-GO
既存の
データ
カタログ
クローリング 可視化データ
自動生成
何がうれしいの?
作成者 利用者
ブラウザからGTFS URLの発行とデータ登録
● GTFS公開作業の省力化
データカタログに自動登録・公開
● GTFS検索ページを公開ページとして
使用できる
固定GTFS URLが世代管理に対応
● 現在有効なGTFSだけでなく、過去有効だったもの
から、今後行われる改正後のGTFSも管理できる
● 乗換案内プロバイダとの連携が容易
公開時の自動エラーチェック(実装予定)
● 公開時にGTFSの品質チェックが可能
データカタログとしての役割
● ワンストップでGTFSを検索・取得可能に
検索、メタデータ取得、データ取得
API
● システムによるデータ取り込みの自動化が容易になる
● サードパーティアプリから直接利用可能に
● 描画用のバス停geojsonや経路geojson、バスの動きデータ
が自動生成・取得できる
固定GTFS URLが世代管理に対応
● 過去/未来のデータを分析に利用可能
● 次に有効になる
GTFSを事前にシステムに取り込み、遅延な
くサービス反映可能
公開時の自動エラーチェック
(実装予定)
● GTFSの品質が担保されたデータを利用できる
世代管理
GTFS はダイヤ改正等によって更新される!
機能
● 世代名
○ 現在日時から判定する相対的なインデックス名
● 登録時にfeed_info.txtから有効期間を解析し自動で世代名を判定
する
● 固定URLでデータ取得時にパラメータとして付与することで必要な
世代を指定して取得可能
解決される課題
● 「次期ダイヤ用」「アーカイブ」などを公開ページで管理しファイルを
入れ替えなければならない
● プロバイダへの通知が手作業になる
● 今有効か、次に有効になる
GTFSを取得できるURL
がシステム連携に必須(= next)
current
prev_1
next_1 (or next※)
next_2
2020/10~
2021/10~
2022/10~
2023/10~
2022/03/5
世代名
開始日
※ nextはnext_1があればnext_1を、なけれ
ばcurrentを表す
データ登録のながれ
1. ログイン
2. GTFSの登録
a. GTFS URLの作成
3. GTFSのファイルをアップロード
デモ
利用のながれ
検索ページ紹介
デモ
API 紹介
● 検索API
○ 県名、日付による登録 GTFSの検索
● メタデータAPI
○ 世代名一覧、各世代のファイルの更新情報などのメタデータの取得
● ファイル取得API (=固定URL)
○ GTFS の ZIP ファイル取得
○ ビジュアライズ用データ
■ バス停、経路の GeoJSON、バスの動きシミュレーション用の分ごとのバス位置情報の JSON
■ 経路とバスの動きは shapes.txt 等を登録時に解析し自動生成される
アーキテクチャ
AWS Amplify を中心としたサーバレス構成
DynamoDB
データベース
https://gtfs-data.jp
React + Amplify
(TypeScript)
API
https://api.gtfs-data.jp
GraphQL
S3
GTFSストレージ
エラーチェック
ビジュアライズ用データ生成
データ検索、抽出ロジック
ユーザー認証 EventTrigger
今後の展開
機能強化
● 自動エラーチェック
● GTFS-RT 対応
● 国土交通データプラットフォームはじめサードパーティとのより高度な連携
● ユーザーの意見の反映
掲載GTFSを拡大
● 他のカタログサイトとの連携

Contenu connexe

Tendances

[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
de:code 2017
 
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
Amazon Web Services Japan
 
MongoDBご紹介:事例紹介もあり
MongoDBご紹介:事例紹介もありMongoDBご紹介:事例紹介もあり
MongoDBご紹介:事例紹介もあり
ippei_suzuki
 

Tendances (20)

The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のりThe Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
 
ビックデータ処理技術の全体像とリクルートでの使い分け
ビックデータ処理技術の全体像とリクルートでの使い分けビックデータ処理技術の全体像とリクルートでの使い分け
ビックデータ処理技術の全体像とリクルートでの使い分け
 
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分けビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年version
 
Azure Purview Linage for Dataflow/Spark
Azure Purview Linage for Dataflow/SparkAzure Purview Linage for Dataflow/Spark
Azure Purview Linage for Dataflow/Spark
 
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組みData Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
 
Cm re growth-devio-mtup11-sapporo-004
Cm re growth-devio-mtup11-sapporo-004Cm re growth-devio-mtup11-sapporo-004
Cm re growth-devio-mtup11-sapporo-004
 
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
 
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1	セッション① 数年間、レイクハウスを設計運用してみたAWS朝会2022/1	セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
 
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
 
Apache tinkerpopとグラフデータベースの世界
Apache tinkerpopとグラフデータベースの世界Apache tinkerpopとグラフデータベースの世界
Apache tinkerpopとグラフデータベースの世界
 
トレジャーデータとtableau実現する自動レポーティング
トレジャーデータとtableau実現する自動レポーティングトレジャーデータとtableau実現する自動レポーティング
トレジャーデータとtableau実現する自動レポーティング
 
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
 
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
 
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
 
MongoDBご紹介:事例紹介もあり
MongoDBご紹介:事例紹介もありMongoDBご紹介:事例紹介もあり
MongoDBご紹介:事例紹介もあり
 
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
 
Amazon Redshiftを使ったデータ分析
Amazon Redshiftを使ったデータ分析Amazon Redshiftを使ったデータ分析
Amazon Redshiftを使ったデータ分析
 
【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [概要編]
【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [概要編]【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [概要編]
【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [概要編]
 
Hadoop / Elastic MapReduceつまみ食い
Hadoop / Elastic MapReduceつまみ食いHadoop / Elastic MapReduceつまみ食い
Hadoop / Elastic MapReduceつまみ食い
 

Similaire à Gtfsデータリポジトリ紹介 iodd発表資料

[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
de:code 2017
 

Similaire à Gtfsデータリポジトリ紹介 iodd発表資料 (20)

GTFSオープンデータで公共交通をアップデート
GTFSオープンデータで公共交通をアップデートGTFSオープンデータで公共交通をアップデート
GTFSオープンデータで公共交通をアップデート
 
【Japan Partner Conference 2019】Society 5.0 “超スマート社会” の実現に向けた日本マイクロソフトの取り組み
【Japan Partner Conference 2019】Society 5.0 “超スマート社会” の実現に向けた日本マイクロソフトの取り組み  【Japan Partner Conference 2019】Society 5.0 “超スマート社会” の実現に向けた日本マイクロソフトの取り組み
【Japan Partner Conference 2019】Society 5.0 “超スマート社会” の実現に向けた日本マイクロソフトの取り組み
 
Sum awsloft tko-iotloft-10-lt4-may-2020
Sum awsloft tko-iotloft-10-lt4-may-2020Sum awsloft tko-iotloft-10-lt4-may-2020
Sum awsloft tko-iotloft-10-lt4-may-2020
 
Data analysis platform ver1.1
Data analysis platform ver1.1Data analysis platform ver1.1
Data analysis platform ver1.1
 
170827 jtf garafana
170827 jtf garafana170827 jtf garafana
170827 jtf garafana
 
マーケティング向け大規模ログ解析事例紹介
マーケティング向け大規模ログ解析事例紹介マーケティング向け大規模ログ解析事例紹介
マーケティング向け大規模ログ解析事例紹介
 
Gis camp 2015 講義資料
Gis camp 2015 講義資料Gis camp 2015 講義資料
Gis camp 2015 講義資料
 
社内システムの構造と設計、実装のはなし(下書きバージョン)
社内システムの構造と設計、実装のはなし(下書きバージョン)社内システムの構造と設計、実装のはなし(下書きバージョン)
社内システムの構造と設計、実装のはなし(下書きバージョン)
 
Iot algyan jhirono 20190111
Iot algyan jhirono 20190111Iot algyan jhirono 20190111
Iot algyan jhirono 20190111
 
ロボット管理プラットフォーム「 RoboticBase 」の紹介
ロボット管理プラットフォーム「 RoboticBase 」の紹介ロボット管理プラットフォーム「 RoboticBase 」の紹介
ロボット管理プラットフォーム「 RoboticBase 」の紹介
 
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
 
【Japan Partner Conference 2019 基調講演】Industry Innovation による Society 5.0 の実現に向けて
【Japan Partner Conference 2019 基調講演】Industry Innovation による Society 5.0 の実現に向けて【Japan Partner Conference 2019 基調講演】Industry Innovation による Society 5.0 の実現に向けて
【Japan Partner Conference 2019 基調講演】Industry Innovation による Society 5.0 の実現に向けて
 
FIWARE Overview and description of GEs
FIWARE Overview and description of GEsFIWARE Overview and description of GEs
FIWARE Overview and description of GEs
 
Web アプリケーションにおけるクライアントサイドのデータハンドリングと可視化の実現
Web アプリケーションにおけるクライアントサイドのデータハンドリングと可視化の実現Web アプリケーションにおけるクライアントサイドのデータハンドリングと可視化の実現
Web アプリケーションにおけるクライアントサイドのデータハンドリングと可視化の実現
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
 
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組みリクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
 
FileMaker プラットフォームにSalesforceやkintoneなどクラウドデータ連携機能を拡張
FileMaker プラットフォームにSalesforceやkintoneなどクラウドデータ連携機能を拡張FileMaker プラットフォームにSalesforceやkintoneなどクラウドデータ連携機能を拡張
FileMaker プラットフォームにSalesforceやkintoneなどクラウドデータ連携機能を拡張
 
OTRS紹介資料
OTRS紹介資料OTRS紹介資料
OTRS紹介資料
 
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
 
Otrs&OTOBO_document 20210402
Otrs&OTOBO_document 20210402Otrs&OTOBO_document 20210402
Otrs&OTOBO_document 20210402
 

Dernier

Dernier (7)

ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルLoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
 
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルLoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
 
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
 

Gtfsデータリポジトリ紹介 iodd発表資料