Submit Search
Upload
為替のTickdataをDukascopyからダウンロードする
•
Download as PPTX, PDF
•
6 likes
•
7,855 views
Maho Nakata
Follow
為替のTickdataをDukascopyからダウンロードする
Read less
Read more
Technology
Report
Share
Report
Share
1 of 8
Download now
Recommended
為替取引(FX)でのtickdataの加工とMySQLで管理
為替取引(FX)でのtickdataの加工とMySQLで管理
Maho Nakata
ゲームエンジニアのためのデータベース設計
ゲームエンジニアのためのデータベース設計
sairoutine
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
Marp Tutorial
Marp Tutorial
Rui Watanabe
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
Daiyu Hatakeyama
トランザクションの設計と進化
トランザクションの設計と進化
Kumazaki Hiroki
デキるプログラマだけが知っているコードレビュー7つの秘訣
デキるプログラマだけが知っているコードレビュー7つの秘訣
Masahiro Nishimi
Recommended
為替取引(FX)でのtickdataの加工とMySQLで管理
為替取引(FX)でのtickdataの加工とMySQLで管理
Maho Nakata
ゲームエンジニアのためのデータベース設計
ゲームエンジニアのためのデータベース設計
sairoutine
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
Marp Tutorial
Marp Tutorial
Rui Watanabe
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
Daiyu Hatakeyama
トランザクションの設計と進化
トランザクションの設計と進化
Kumazaki Hiroki
デキるプログラマだけが知っているコードレビュー7つの秘訣
デキるプログラマだけが知っているコードレビュー7つの秘訣
Masahiro Nishimi
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Akihiro Kuwano
Raft
Raft
Preferred Networks
暗号技術の実装と数学
暗号技術の実装と数学
MITSUNARI Shigeo
AVX-512(フォーマット)詳解
AVX-512(フォーマット)詳解
MITSUNARI Shigeo
プログラムを高速化する話Ⅱ 〜GPGPU編〜
プログラムを高速化する話Ⅱ 〜GPGPU編〜
京大 マイコンクラブ
検索評価ツールキットNTCIREVALを用いた様々な情報アクセス技術の評価方法
検索評価ツールキットNTCIREVALを用いた様々な情報アクセス技術の評価方法
kt.mako
オブジェクト指向できていますか?
オブジェクト指向できていますか?
Moriharu Ohzu
地理分散DBについて
地理分散DBについて
Kumazaki Hiroki
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
Samir Hammoudi
PostgreSQLアーキテクチャ入門(INSIGHT OUT 2011)
PostgreSQLアーキテクチャ入門(INSIGHT OUT 2011)
Uptime Technologies LLC (JP)
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
ブロックチェーンの仕組みと動向(入門編)
ブロックチェーンの仕組みと動向(入門編)
NTT DATA OSS Professional Services
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Panda Yamaki
プログラムを高速化する話
プログラムを高速化する話
京大 マイコンクラブ
20191115-PGconf.Japan
20191115-PGconf.Japan
Kohei KaiGai
Data platformdesign
Data platformdesign
Ryoma Nagata
インメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギ
Masaki Yamakawa
PostgreSQL安定運用のコツ2009 @hbstudy#5
PostgreSQL安定運用のコツ2009 @hbstudy#5
Uptime Technologies LLC (JP)
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
Google Cloud Platform - Japan
quantum chemistry on quantum computer handson by Q# (2019/8/4@MDR Hongo, Tokyo)
quantum chemistry on quantum computer handson by Q# (2019/8/4@MDR Hongo, Tokyo)
Maho Nakata
Lie-Trotter-Suzuki分解、特にフラクタル分解について
Lie-Trotter-Suzuki分解、特にフラクタル分解について
Maho Nakata
More Related Content
What's hot
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Akihiro Kuwano
Raft
Raft
Preferred Networks
暗号技術の実装と数学
暗号技術の実装と数学
MITSUNARI Shigeo
AVX-512(フォーマット)詳解
AVX-512(フォーマット)詳解
MITSUNARI Shigeo
プログラムを高速化する話Ⅱ 〜GPGPU編〜
プログラムを高速化する話Ⅱ 〜GPGPU編〜
京大 マイコンクラブ
検索評価ツールキットNTCIREVALを用いた様々な情報アクセス技術の評価方法
検索評価ツールキットNTCIREVALを用いた様々な情報アクセス技術の評価方法
kt.mako
オブジェクト指向できていますか?
オブジェクト指向できていますか?
Moriharu Ohzu
地理分散DBについて
地理分散DBについて
Kumazaki Hiroki
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
Samir Hammoudi
PostgreSQLアーキテクチャ入門(INSIGHT OUT 2011)
PostgreSQLアーキテクチャ入門(INSIGHT OUT 2011)
Uptime Technologies LLC (JP)
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
ブロックチェーンの仕組みと動向(入門編)
ブロックチェーンの仕組みと動向(入門編)
NTT DATA OSS Professional Services
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Panda Yamaki
プログラムを高速化する話
プログラムを高速化する話
京大 マイコンクラブ
20191115-PGconf.Japan
20191115-PGconf.Japan
Kohei KaiGai
Data platformdesign
Data platformdesign
Ryoma Nagata
インメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギ
Masaki Yamakawa
PostgreSQL安定運用のコツ2009 @hbstudy#5
PostgreSQL安定運用のコツ2009 @hbstudy#5
Uptime Technologies LLC (JP)
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
Google Cloud Platform - Japan
What's hot
(20)
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Raft
Raft
暗号技術の実装と数学
暗号技術の実装と数学
AVX-512(フォーマット)詳解
AVX-512(フォーマット)詳解
プログラムを高速化する話Ⅱ 〜GPGPU編〜
プログラムを高速化する話Ⅱ 〜GPGPU編〜
検索評価ツールキットNTCIREVALを用いた様々な情報アクセス技術の評価方法
検索評価ツールキットNTCIREVALを用いた様々な情報アクセス技術の評価方法
オブジェクト指向できていますか?
オブジェクト指向できていますか?
地理分散DBについて
地理分散DBについて
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
PostgreSQLアーキテクチャ入門(INSIGHT OUT 2011)
PostgreSQLアーキテクチャ入門(INSIGHT OUT 2011)
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
ブロックチェーンの仕組みと動向(入門編)
ブロックチェーンの仕組みと動向(入門編)
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
プログラムを高速化する話
プログラムを高速化する話
20191115-PGconf.Japan
20191115-PGconf.Japan
Data platformdesign
Data platformdesign
インメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギ
PostgreSQL安定運用のコツ2009 @hbstudy#5
PostgreSQL安定運用のコツ2009 @hbstudy#5
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
More from Maho Nakata
quantum chemistry on quantum computer handson by Q# (2019/8/4@MDR Hongo, Tokyo)
quantum chemistry on quantum computer handson by Q# (2019/8/4@MDR Hongo, Tokyo)
Maho Nakata
Lie-Trotter-Suzuki分解、特にフラクタル分解について
Lie-Trotter-Suzuki分解、特にフラクタル分解について
Maho Nakata
LiHのポテンシャルエネルギー曲面 を量子コンピュータで行う Q#+位相推定編
LiHのポテンシャルエネルギー曲面 を量子コンピュータで行う Q#+位相推定編
Maho Nakata
Q#による量子化学計算 : 水素分子の位相推定について
Q#による量子化学計算 : 水素分子の位相推定について
Maho Nakata
量子コンピュータの量子化学計算への応用の現状と展望
量子コンピュータの量子化学計算への応用の現状と展望
Maho Nakata
qubitによる波動関数の虚時間発展のシミュレーション: a review
qubitによる波動関数の虚時間発展のシミュレーション: a review
Maho Nakata
Openfermionを使った分子の計算 part I
Openfermionを使った分子の計算 part I
Maho Nakata
量子コンピュータで量子化学のfullCIが超高速になる(かも
量子コンピュータで量子化学のfullCIが超高速になる(かも
Maho Nakata
20180723 量子コンピュータの量子化学への応用; Bravyi-Kitaev基底の実装
20180723 量子コンピュータの量子化学への応用; Bravyi-Kitaev基底の実装
Maho Nakata
第11回分子科学 2017/9/17 Pubchemqcプロジェクト
第11回分子科学 2017/9/17 Pubchemqcプロジェクト
Maho Nakata
Kobeworkshop pubchemqc project
Kobeworkshop pubchemqc project
Maho Nakata
計算化学実習講座:第二回
計算化学実習講座:第二回
Maho Nakata
計算化学実習講座:第一回
計算化学実習講座:第一回
Maho Nakata
HOKUSAIのベンチマーク 理研シンポジウム 中田分
HOKUSAIのベンチマーク 理研シンポジウム 中田分
Maho Nakata
HPCS2015 pythonを用いた量子化学プログラムの開発と応用
HPCS2015 pythonを用いた量子化学プログラムの開発と応用
Maho Nakata
HPCS2015 大規模量子化学計算プログラムSMASHの開発と公開(石村)
HPCS2015 大規模量子化学計算プログラムSMASHの開発と公開(石村)
Maho Nakata
The PubChemQC Project
The PubChemQC Project
Maho Nakata
3Dプリンタ導入記 タンパク質の模型をプリントする
3Dプリンタ導入記 タンパク質の模型をプリントする
Maho Nakata
QuantumChemistry500
QuantumChemistry500
Maho Nakata
立教大学化学実験3 SMILESを中心とした高度な分子モデリング 2014/7/1
立教大学化学実験3 SMILESを中心とした高度な分子モデリング 2014/7/1
Maho Nakata
More from Maho Nakata
(20)
quantum chemistry on quantum computer handson by Q# (2019/8/4@MDR Hongo, Tokyo)
quantum chemistry on quantum computer handson by Q# (2019/8/4@MDR Hongo, Tokyo)
Lie-Trotter-Suzuki分解、特にフラクタル分解について
Lie-Trotter-Suzuki分解、特にフラクタル分解について
LiHのポテンシャルエネルギー曲面 を量子コンピュータで行う Q#+位相推定編
LiHのポテンシャルエネルギー曲面 を量子コンピュータで行う Q#+位相推定編
Q#による量子化学計算 : 水素分子の位相推定について
Q#による量子化学計算 : 水素分子の位相推定について
量子コンピュータの量子化学計算への応用の現状と展望
量子コンピュータの量子化学計算への応用の現状と展望
qubitによる波動関数の虚時間発展のシミュレーション: a review
qubitによる波動関数の虚時間発展のシミュレーション: a review
Openfermionを使った分子の計算 part I
Openfermionを使った分子の計算 part I
量子コンピュータで量子化学のfullCIが超高速になる(かも
量子コンピュータで量子化学のfullCIが超高速になる(かも
20180723 量子コンピュータの量子化学への応用; Bravyi-Kitaev基底の実装
20180723 量子コンピュータの量子化学への応用; Bravyi-Kitaev基底の実装
第11回分子科学 2017/9/17 Pubchemqcプロジェクト
第11回分子科学 2017/9/17 Pubchemqcプロジェクト
Kobeworkshop pubchemqc project
Kobeworkshop pubchemqc project
計算化学実習講座:第二回
計算化学実習講座:第二回
計算化学実習講座:第一回
計算化学実習講座:第一回
HOKUSAIのベンチマーク 理研シンポジウム 中田分
HOKUSAIのベンチマーク 理研シンポジウム 中田分
HPCS2015 pythonを用いた量子化学プログラムの開発と応用
HPCS2015 pythonを用いた量子化学プログラムの開発と応用
HPCS2015 大規模量子化学計算プログラムSMASHの開発と公開(石村)
HPCS2015 大規模量子化学計算プログラムSMASHの開発と公開(石村)
The PubChemQC Project
The PubChemQC Project
3Dプリンタ導入記 タンパク質の模型をプリントする
3Dプリンタ導入記 タンパク質の模型をプリントする
QuantumChemistry500
QuantumChemistry500
立教大学化学実験3 SMILESを中心とした高度な分子モデリング 2014/7/1
立教大学化学実験3 SMILESを中心とした高度な分子モデリング 2014/7/1
Recently uploaded
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Recently uploaded
(8)
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
為替のTickdataをDukascopyからダウンロードする
1.
FXのtickデータ入手法 Dukascopyより 理化学研究所情報基盤センター 中田真秀 2015/6/10
2.
話の概略 • 為替取引などにおける、もっとも解像度の高 いデータを得たい • 小売、個人向け配信を集めてくるだけだと データの遅れ、欠け、信頼性(ブローカーによ るストップ狩りなど)に問題がある。 •
bid, askはマーケットメーカーにも依存する。 • Dukascopyのtickdataをダウンロードして使うと いうことを行う。
3.
Tick dataとは • 市場での為替取引に関して、個人の顧客まで、 売値、買値が渡ってくる。その最小単位のデータ である。 •
ミリ秒単位で、不規則に気配値 (ask, bid)が渡さ れる。 – 1秒間に何度も変わるときもあれば数分何もないこと もある(市場の都合) • 具体的には(trueFX, Dukascopyより) – AUD/JPY 1433903439298 95.540 95.549 95.453 95.754 95.581 – 通貨ペア、UNIX Time, bid, ask … – EURUSD 2010.08.19 19:00:44.536,1.2823,1.2824 – タイムスタンプ、bid, ask
4.
高品質のtickdataは MT4からは得られない • MetaTrader4から得られると思いがちだが – ブローカーのbid,askはそもそも信頼できるか?
ストップ狩 りetc – データが抜けることがある • サーバ、クライアント、途中のネットワークのわずかなトラブル – ネットワークの遅延 • MetaTrader4にはサーバーに ping したときの時間が帰ってくる。 日本からNYまで、だいたい100-200ms • 配信されたデータにはタイムスタンプがない。 – 1分足のbidの値しかヒストリーセンターには無い • 技術的にはtickを読み出すことは可能 • Spreadを含んだbacktestは困難
5.
無料でTickデータを得るには? Dukascopyが一番 • TrueFX (Integral) –
登録必要、ただし無料 – いくつかのmarket makerからデータを入手している – 2009年から、限られた通貨ペアのみのtickdataがある。 – Web APIによるストリーミングもかのう – ちょこちょこ欠けていることあり。 – 最新のデータが一月前 – PepperstoneのHistorical dataはコレへの直リンク • Dukascopy – スイスに位置する銀行、かつ、market maker、ブローカーとして老舗かつ信頼されている。 – 登録不要、無料。 – 2007年くらいからのデータから、多くの通貨ペア、証券のtickdataがある。 – 最新のデータが一時間前 – 信頼性が高い(らしい) • Alpari RU – Tickdataじゃないが、metatrader4で接続する自社のhistory centerに接続、充実(1min bid)。た だしデータ抜けなどもある。老舗FX broker。 • FXDD – Metaquotesのサーバにあるデータをそのまま配布。データに長い下ヒゲ多数発見されてる Dukascopyからtickデータをダウンロードするのが正しい
6.
Dukascopyからデータを入手 • https://www.dukascopy.com/swiss/japanese/marketwatch/historical/ から手動ダウンロードだと気が狂いそうになるので • http://eareview.net/tick-data/dukascopy-php-scripts
からBirt’s Dukascopy tick data PHP scripts v0.27 (updated 27.09.2013)をダウンロー ドする。 • Ubuntuを使うと… $ sudo apt-get install php5 curl php5-curl $ php download_dukascopy_data.php とする。むちゃくちゃ時間がかかります。EUR/NOKなどマイナーな通貨は、ス クリプトを編集して入手すること。 データの形式は独自のもの、加工方法は次のページで。
7.
CSVへ変換する。 $ php process_dukascopy_data.php
EURUSD 200702 201501 EURUSD.csv これで、 …. 2012.06.21 18:33:09.575,1.25555,1.25566,1.50,6.75 … などのデータが得られる。 Pandasをつかってresamplingするとmetatrader4が扱える CVSなどに加工するのも容易。
8.
注意点 • ダウンロードには何日もかかるかも。多分帯 域制限をしている。
Download now