Soumettre la recherche
Mettre en ligne
Ruby/Rails Benchmarking and Profiling with TDD
•
2 j'aime
•
1,189 vues
Yasutomo Uemori
Suivre
大阪Ruby会議02での発表資料です https://regional.rubykaigi.org/osaka02/
Lire moins
Lire la suite
Ingénierie
Signaler
Partager
Signaler
Partager
1 sur 69
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
Fixstars Corporation
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
Yuji Otani
マイクロサービスにおける非同期アーキテクチャ
マイクロサービスにおける非同期アーキテクチャ
ota42y
Ponanzaにおける強化学習とディープラーニングの応用
Ponanzaにおける強化学習とディープラーニングの応用
HEROZ-JAPAN
ソフトウェア アーキテクチャ基礎 輪読会資料 第2章 アーキテクチャ思考
ソフトウェア アーキテクチャ基礎 輪読会資料 第2章 アーキテクチャ思考
琢磨 三浦
これでBigQueryをドヤ顔で語れる!BigQueryの基本
これでBigQueryをドヤ顔で語れる!BigQueryの基本
Tomohiro Shinden
Group normalization
Group normalization
Ryutaro Yamauchi
基礎線形代数講座
基礎線形代数講座
SEGADevTech
Recommandé
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
Fixstars Corporation
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
Yuji Otani
マイクロサービスにおける非同期アーキテクチャ
マイクロサービスにおける非同期アーキテクチャ
ota42y
Ponanzaにおける強化学習とディープラーニングの応用
Ponanzaにおける強化学習とディープラーニングの応用
HEROZ-JAPAN
ソフトウェア アーキテクチャ基礎 輪読会資料 第2章 アーキテクチャ思考
ソフトウェア アーキテクチャ基礎 輪読会資料 第2章 アーキテクチャ思考
琢磨 三浦
これでBigQueryをドヤ顔で語れる!BigQueryの基本
これでBigQueryをドヤ顔で語れる!BigQueryの基本
Tomohiro Shinden
Group normalization
Group normalization
Ryutaro Yamauchi
基礎線形代数講座
基礎線形代数講座
SEGADevTech
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
@yuzutas0 Yokoyama
さくっと理解するSpring bootの仕組み
さくっと理解するSpring bootの仕組み
Takeshi Ogawa
実践に向けたドメイン駆動設計のエッセンス
実践に向けたドメイン駆動設計のエッセンス
増田 亨
「いい検索」を考える
「いい検索」を考える
Shuryo Uchida
オンラインゲームのRails複数db戦略
オンラインゲームのRails複数db戦略
Yasutomo Uemori
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Holden Karau
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)
PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)
Hironobu Suzuki
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
Guide To AGPL
Guide To AGPL
Mikiya Okuno
型安全性入門
型安全性入門
Akinori Abe
2009/12/10 GPUコンピューティングの現状とスーパーコンピューティングの未来
2009/12/10 GPUコンピューティングの現状とスーパーコンピューティングの未来
Preferred Networks
20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術
Preferred Networks
古典プログラマ向け量子プログラミング入門 [フル版]
古典プログラマ向け量子プログラミング入門 [フル版]
OsSAL
市場価値で給料が決まるサイボウズの社員だけど、転職ドラフトに参加して給与交渉に挑戦してみました —結果編—
市場価値で給料が決まるサイボウズの社員だけど、転職ドラフトに参加して給与交渉に挑戦してみました —結果編—
Yusuke Amano
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
データ分析コンテストとデータサイエンティストの働きかた
データ分析コンテストとデータサイエンティストの働きかた
Ken'ichi Matsui
Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考える
Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考える
pospome
【CVPR 2020 メタサーベイ】Computational Photography
【CVPR 2020 メタサーベイ】Computational Photography
cvpaper. challenge
脱RESTful API設計の提案
脱RESTful API設計の提案
樽八 仲川
Active job meets kubernetes
Active job meets kubernetes
Yasutomo Uemori
capybara で快適なテスト生活を
capybara で快適なテスト生活を
Ryunosuke SATO
Contenu connexe
Tendances
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
@yuzutas0 Yokoyama
さくっと理解するSpring bootの仕組み
さくっと理解するSpring bootの仕組み
Takeshi Ogawa
実践に向けたドメイン駆動設計のエッセンス
実践に向けたドメイン駆動設計のエッセンス
増田 亨
「いい検索」を考える
「いい検索」を考える
Shuryo Uchida
オンラインゲームのRails複数db戦略
オンラインゲームのRails複数db戦略
Yasutomo Uemori
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Holden Karau
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)
PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)
Hironobu Suzuki
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
Guide To AGPL
Guide To AGPL
Mikiya Okuno
型安全性入門
型安全性入門
Akinori Abe
2009/12/10 GPUコンピューティングの現状とスーパーコンピューティングの未来
2009/12/10 GPUコンピューティングの現状とスーパーコンピューティングの未来
Preferred Networks
20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術
Preferred Networks
古典プログラマ向け量子プログラミング入門 [フル版]
古典プログラマ向け量子プログラミング入門 [フル版]
OsSAL
市場価値で給料が決まるサイボウズの社員だけど、転職ドラフトに参加して給与交渉に挑戦してみました —結果編—
市場価値で給料が決まるサイボウズの社員だけど、転職ドラフトに参加して給与交渉に挑戦してみました —結果編—
Yusuke Amano
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
データ分析コンテストとデータサイエンティストの働きかた
データ分析コンテストとデータサイエンティストの働きかた
Ken'ichi Matsui
Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考える
Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考える
pospome
【CVPR 2020 メタサーベイ】Computational Photography
【CVPR 2020 メタサーベイ】Computational Photography
cvpaper. challenge
脱RESTful API設計の提案
脱RESTful API設計の提案
樽八 仲川
Tendances
(20)
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
さくっと理解するSpring bootの仕組み
さくっと理解するSpring bootの仕組み
実践に向けたドメイン駆動設計のエッセンス
実践に向けたドメイン駆動設計のエッセンス
「いい検索」を考える
「いい検索」を考える
オンラインゲームのRails複数db戦略
オンラインゲームのRails複数db戦略
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)
PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)
ゼロから始める転移学習
ゼロから始める転移学習
Guide To AGPL
Guide To AGPL
型安全性入門
型安全性入門
2009/12/10 GPUコンピューティングの現状とスーパーコンピューティングの未来
2009/12/10 GPUコンピューティングの現状とスーパーコンピューティングの未来
20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術
古典プログラマ向け量子プログラミング入門 [フル版]
古典プログラマ向け量子プログラミング入門 [フル版]
市場価値で給料が決まるサイボウズの社員だけど、転職ドラフトに参加して給与交渉に挑戦してみました —結果編—
市場価値で給料が決まるサイボウズの社員だけど、転職ドラフトに参加して給与交渉に挑戦してみました —結果編—
メタプログラミングって何だろう
メタプログラミングって何だろう
データ分析コンテストとデータサイエンティストの働きかた
データ分析コンテストとデータサイエンティストの働きかた
Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考える
Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考える
【CVPR 2020 メタサーベイ】Computational Photography
【CVPR 2020 メタサーベイ】Computational Photography
脱RESTful API設計の提案
脱RESTful API設計の提案
Similaire à Ruby/Rails Benchmarking and Profiling with TDD
Active job meets kubernetes
Active job meets kubernetes
Yasutomo Uemori
capybara で快適なテスト生活を
capybara で快適なテスト生活を
Ryunosuke SATO
Application Bootstrap
Application Bootstrap
Takafumi ONAKA
PHP Application E2E with Capybara
PHP Application E2E with Capybara
Yoshiaki Yoshida
Ruby on Rails を用いたWEBアプリケーションの開発
Ruby on Rails を用いたWEBアプリケーションの開発
Koichi Shimozono
ScalaでASICやFPGA用の回路を設計するChisel
ScalaでASICやFPGA用の回路を設計するChisel
Kei Nakazawa
Sinatra軽量Web開発 - LOUPE Study #1
Sinatra軽量Web開発 - LOUPE Study #1
Takuya Mukohira
高トラフィックサイトをRailsで構築するためのTips基礎編
高トラフィックサイトをRailsで構築するためのTips基礎編
Kazuya Numata
Railsのフロントエンド開発を考える
Railsのフロントエンド開発を考える
Hirata Tomoko
逆引きクイックセミナー
逆引きクイックセミナー
Koichiro Ohba
20091119_sinatraを使ってみた
20091119_sinatraを使ってみた
ngi group.
RESTとRailsスタイル
RESTとRailsスタイル
Toru Kawamura
Rails templateで開発の初速を上げよう
Rails templateで開発の初速を上げよう
豊明 尾古
Benchmarkspec
Benchmarkspec
Yuichiro Shibata
Benchmarkspec
Benchmarkspec
RubyCorporation, Inc
Skinny Framework で始めた Scala
Skinny Framework で始めた Scala
Ryuji Yamashita
オブラブ冬合宿以降にやったことのふりかえり
オブラブ冬合宿以降にやったことのふりかえり
Yasunobu Kawaguchi
ビッグじゃなくても使えるSpark Streaming
ビッグじゃなくても使えるSpark Streaming
chibochibo
アウトプットはスキルアップもするしトクもする
アウトプットはスキルアップもするしトクもする
Mitsuhiro Yamashita
Next GAE Heroku を使って 3分でRailsアプリをリリース
Next GAE Heroku を使って 3分でRailsアプリをリリース
よしだ あつし
Similaire à Ruby/Rails Benchmarking and Profiling with TDD
(20)
Active job meets kubernetes
Active job meets kubernetes
capybara で快適なテスト生活を
capybara で快適なテスト生活を
Application Bootstrap
Application Bootstrap
PHP Application E2E with Capybara
PHP Application E2E with Capybara
Ruby on Rails を用いたWEBアプリケーションの開発
Ruby on Rails を用いたWEBアプリケーションの開発
ScalaでASICやFPGA用の回路を設計するChisel
ScalaでASICやFPGA用の回路を設計するChisel
Sinatra軽量Web開発 - LOUPE Study #1
Sinatra軽量Web開発 - LOUPE Study #1
高トラフィックサイトをRailsで構築するためのTips基礎編
高トラフィックサイトをRailsで構築するためのTips基礎編
Railsのフロントエンド開発を考える
Railsのフロントエンド開発を考える
逆引きクイックセミナー
逆引きクイックセミナー
20091119_sinatraを使ってみた
20091119_sinatraを使ってみた
RESTとRailsスタイル
RESTとRailsスタイル
Rails templateで開発の初速を上げよう
Rails templateで開発の初速を上げよう
Benchmarkspec
Benchmarkspec
Benchmarkspec
Benchmarkspec
Skinny Framework で始めた Scala
Skinny Framework で始めた Scala
オブラブ冬合宿以降にやったことのふりかえり
オブラブ冬合宿以降にやったことのふりかえり
ビッグじゃなくても使えるSpark Streaming
ビッグじゃなくても使えるSpark Streaming
アウトプットはスキルアップもするしトクもする
アウトプットはスキルアップもするしトクもする
Next GAE Heroku を使って 3分でRailsアプリをリリース
Next GAE Heroku を使って 3分でRailsアプリをリリース
Plus de Yasutomo Uemori
GCP・GKEで作るスケーラブルなゲーム開発環境
GCP・GKEで作るスケーラブルなゲーム開発環境
Yasutomo Uemori
サービスクラス、その前に
サービスクラス、その前に
Yasutomo Uemori
Rails on Dockerとの戦い
Rails on Dockerとの戦い
Yasutomo Uemori
Rubocopとの付き合い方
Rubocopとの付き合い方
Yasutomo Uemori
Rails api way in aiming
Rails api way in aiming
Yasutomo Uemori
ゲーム会社でのRuby : rails活用事例
ゲーム会社でのRuby : rails活用事例
Yasutomo Uemori
Plus de Yasutomo Uemori
(6)
GCP・GKEで作るスケーラブルなゲーム開発環境
GCP・GKEで作るスケーラブルなゲーム開発環境
サービスクラス、その前に
サービスクラス、その前に
Rails on Dockerとの戦い
Rails on Dockerとの戦い
Rubocopとの付き合い方
Rubocopとの付き合い方
Rails api way in aiming
Rails api way in aiming
ゲーム会社でのRuby : rails活用事例
ゲーム会社でのRuby : rails活用事例
Ruby/Rails Benchmarking and Profiling with TDD
1.
Ruby/Rails Benchmarking and Profiling with
TDD 2019/09/14 Osaka Ruby Kaigi02 Yasutomo Uemori (wakaba260)
2.
me.inspect => { “HN”: "wakaba260", “name”:
"Yasutomo Uemori", “company”: "株式会社Aiming", “twitter”: "https://twitter.com/wakaba260yen", “github”: "https://github.com/yuemori", “skills”: ["rails api", "docker", "kubernetes", "GCP"] }
3.
突然ですが
4.
Ruby/Railsの プロファイルや ベンチマーク
5.
とったことある人?
6.
今日の話はこんな人向けの話 - Ruby/Railsのベンチマークやプロファイリングに興味がある - パフォーマンス改善にどう手を付けていいかわからない ⇛ 主に初心者向けの話
7.
Agenda 話すこと - Benchmark and
Performance Testing - チューニングを行ったときの取り組み 話さないこと - Rackサーバのチューニング - 改善をしたときの実装内容
8.
Benchmark and Performance Testing
9.
はじめに大事なこと
10.
推測するな 計測せよ
11.
プログラミングで時間がかかっている場所を 推測してはいけない。
12.
どうやって 計測しよう🤔
13.
Testing そうだ、テストを書こう
14.
なぜTestを書くのか 我々は普段からアプリケーションに対しテストを書いている - エラーがないこと - バグが修正されたこと -
仕様どおりに動くこと こういったことを再現性高く保証するためにテストがある ⇛ パフォーマンスについてもテストを書きたい
15.
Red GreenRefactor Standard TDD
16.
Benchmark ProfileRefactor Performance TDD
17.
Benchmark ProfileRefactor 実行速度を計測
18.
Benchmark ProfileRefactor 原因箇所を特定
19.
Benchmark ProfileRefactor コードを改善
20.
Benchmark ProfileRefactor 改善されたことを確認
21.
Benchmark ProfileRefactor Measure Measure Improve
22.
Benchmark ProfileRefactor Measure Measure Improve 計測、計測、そして改善
23.
💎今回テストを書くのに使ったgemたち ・Testing:RSpec ・Benchmark:module Benchmark ・Profile:https://github.com/tmm1/stackprof
24.
Benchmark プロファイリングとあわせてベンチマークは必ずとっておこう - 実際にどのぐらい時間がかかるか?を把握する - プロファイリングを有効にすると、実行速度自体が下がる -
一回だけの実行ではばらつきが出やすいのでウォームアップや実 行回数もポイント
25.
Benchmark module ・公式のベンチマークライブラリ ・簡単な計測ならこれだけで十分
26.
Profiling 速度計測後はプロファイリングを行い、ボトルネックを特定する - 速度を計測したあと、どこが遅いかを推測で直さない - 利用しているミドルウェアや外部サービスが遅いなどもある程度わ かる
27.
Stackprof a sampling call-stack
profiler for ruby 2.1+ ・mode, interval, outを指定してサンプリング対象のコードを ブロックで呼び出すだけ ・CPU Clock Time: CPUの利用時間。 Wall Clock Time: 開始から終了までの時間。Railsの場合はこれ 参考:https://scoutapm.com/blog/profiling-rails-with-stackprof
28.
Stackprof
29.
Stackprof 総サンプリング回数
30.
Stackprof そのメソッドが呼び出しているメソッドの時間も含めた、 TOTALのサンプリング回数
31.
Stackprof 純粋にそのメソッドの サンプリング回数
32.
Stackprof 処理に時間がかかっている箇所
33.
Stackprof 呼び出している処理のため、 時間がかかっている箇所
34.
Stackprof-webnav
35.
Stackprof-webnav 行単位で時間がかかっている箇所を表示できる
36.
Stackprof-webnav 一番時間がかかっている場所を特定!
37.
Stackprof --flamegraph ・上記のようなflamegraphのhtmlを生成してくれる ・呼び出しのスタックトレースや時間などが可視化されるので便利
38.
実践 https://github.com/yuemori/performance_test_app demo1 demo2
39.
最低限のテストは 出来るようになった
40.
Problem ?
41.
Problem めんどくさい
42.
Problem めんどくさい ・手動実行に頼っている ・目視確認に頼っている ⇛ 一度直った問題が再発してないかを確認しにくい ⇛ もっと複雑なケースだとテストケースの再現性も問題
43.
Performance Spec
44.
Performance Spec
45.
Performance Spec
46.
詳細 https://github.com/yuemori/performance_test_app
47.
余談 既にそういったgemがあることに後から気づいた - https://github.com/piotrmurach/rspec-benchmark - https://github.com/rails/rails-perftest また必要になったときにはこれらを使うかどうかも検討したい
48.
ここまでのまとめ 手早くパフォーマンス改善を行うためにはどうしたらいいか - パフォーマンスチューニングにおいては計測が重要 - いろんなgemを使って計測を楽にする -
計測とチューニングのサイクルを確立する
49.
パフォーマンス 改善時のとりくみ
50.
パフォーマンス改善時の取り組み - 改善箇所の調査 - パフォーマンステスト -
パフォーマンス改善方法論の共有
51.
社内テスト内容から遅いAPIの調査 - 改善箇所を検討するために遅いAPIはどこかを調査 - アクセスログからレポートを作成 -
指標 - 総リクエスト数 - 平均レスポンス速度 - 最大レスポンス速度 - 50%、90%、99%、99%...のレスポンス速度
52.
社内テスト内容から遅いAPIの調査
53.
・・・どこから手を付けていこう?🤔 社内テスト内容から遅いAPIの調査
54.
社内テスト内容から遅いAPIの調査:チューニングの検討 - サービスとして遅い箇所が問題になるもの - 例)毎回ログインに時間がかかる -
共通処理で遅いもの - 例)毎回呼び出される認証が遅い - 遅い原因が他の問題を引き起こすもの - 例)N+1問題が原因なためDBへの負荷が懸念される
55.
呼び出し頻度は少ないが取得系なので、 かなり酷いN+1なことが予想されるので直したい 社内テスト内容から遅いAPIの調査
56.
同じくN+1っぽいが、ほとんど呼ばれないため 優先度を下げる 社内テスト内容から遅いAPIの調査
57.
平均速度は上位に比べると早いが、 速度劣化の仕方が激しいので原因を見ておきたい 社内テスト内容から遅いAPIの調査
58.
気になるほど遅いわけではないが、 呼び出し回数が飛び抜けて高いのでもう少し早くしたい 社内テスト内容から遅いAPIの調査
59.
社内テスト内容から遅いAPIの調査:計測方法 - ログから計測 - 今回はStackdriver
+ BigQuery + DataPortal - 構造化ログを出しておくことで集計が容易になる - サービスの利用 - NewRelicやDatadogなど - productionではおすすめ - CIやローカルで実行するのに難がある
60.
パフォーマンステスト - 紹介した実装をベースにテスト環境を整備 - DBのボトルネック調査にクエリレポートを追加実装 -
ActiveSupport::Notificationsを使ってクエリをトレース
61.
パフォーマンステスト:クエリレポート - railsの提供するイベントから計測、集計 - テスト時に実行されるSQLのレポートを作成して可視化
62.
パフォーマンス改善方法論の共有 チューニングを個人に依存しないようにしたいと考えていた - 実際にチューニングを行ったときのことをチーム内勉強会で共有 - ドキュメントの作成 ⇛ 方法論を共有することでチューニングをチームのものにする
💪
63.
パフォーマンス改善方法論の共有:ドキュメントの作成
64.
パフォーマンス改善方法論の共有:ドキュメントの作成
65.
パフォーマンス改善方法論の共有:レビュー - パフォーマンス改善のPRを出した時はdescriptionに結果を記載 - 改善時にチェックしたポイントをわかりやすくする -
before/afterを掲載して改善されていることを伝える
66.
パフォーマンス改善方法論の共有:レビュー
67.
パフォーマンス改善方法論の共有:レビュー
68.
まとめ - パフォーマンス改善の心得:推測するな、計測せよ - パフォーマンスのテストコードを書いて改善を楽にしよう -
パフォーマンス改善は楽しいので是非Tryしてみてください
69.
ご静聴 ありがとうございました
Télécharger maintenant