Submit Search
Upload
pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス
•
17 likes
•
11,833 views
Shunsuke Michii
Follow
pixivのインフラになって2ヶ月がたったので最近の構成とかをかるく。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 22
Download now
Download to read offline
Recommended
オンラインゲームの最新ニーズに応えるネットワークインフラとは
オンラインゲームの最新ニーズに応えるネットワークインフラとは
IDC Frontier
Open hackday3 idcf_cloud
Open hackday3 idcf_cloud
Makoto Oya
Vagrantでクラウド上にdocker環境を作る
Vagrantでクラウド上にdocker環境を作る
IDC Frontier
VYATTA USERS MEETING Autumn 2013_idcf
VYATTA USERS MEETING Autumn 2013_idcf
IDC Frontier
Idcfクラウドhw占有タイプ開発話
Idcfクラウドhw占有タイプ開発話
IDC Frontier
201310 ITproEXPO_clouddaystokyo2013fall_idcf
201310 ITproEXPO_clouddaystokyo2013fall_idcf
IDC Frontier
MPLS_JAPAN_2013_IDCF
MPLS_JAPAN_2013_IDCF
IDC Frontier
Aerospike on IDCF Cloud
Aerospike on IDCF Cloud
IDC Frontier
Recommended
オンラインゲームの最新ニーズに応えるネットワークインフラとは
オンラインゲームの最新ニーズに応えるネットワークインフラとは
IDC Frontier
Open hackday3 idcf_cloud
Open hackday3 idcf_cloud
Makoto Oya
Vagrantでクラウド上にdocker環境を作る
Vagrantでクラウド上にdocker環境を作る
IDC Frontier
VYATTA USERS MEETING Autumn 2013_idcf
VYATTA USERS MEETING Autumn 2013_idcf
IDC Frontier
Idcfクラウドhw占有タイプ開発話
Idcfクラウドhw占有タイプ開発話
IDC Frontier
201310 ITproEXPO_clouddaystokyo2013fall_idcf
201310 ITproEXPO_clouddaystokyo2013fall_idcf
IDC Frontier
MPLS_JAPAN_2013_IDCF
MPLS_JAPAN_2013_IDCF
IDC Frontier
Aerospike on IDCF Cloud
Aerospike on IDCF Cloud
IDC Frontier
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
IDC Frontier
201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf
IDC Frontier
サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順
IDC Frontier
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDC Frontier
実話!実はIDCFクラウドって◯◯なんです
実話!実はIDCFクラウドって◯◯なんです
IDC Frontier
IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!
IDC Frontier
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
More Related Content
Viewers also liked
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
IDC Frontier
201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf
IDC Frontier
サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順
IDC Frontier
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDC Frontier
実話!実はIDCFクラウドって◯◯なんです
実話!実はIDCFクラウドって◯◯なんです
IDC Frontier
IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!
IDC Frontier
Viewers also liked
(6)
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf
サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
実話!実はIDCFクラウドって◯◯なんです
実話!実はIDCFクラウドって◯◯なんです
IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!
Recently uploaded
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Recently uploaded
(9)
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス
1.
NSEG feat. Kosenconf-053nseg 2012-06-23 pixivのインフラになっ て2ヶ月がたった はるかさん
/ harukasan
2.
高専カンファレンス の方から来ました!
3.
はるかさん ・久留米高専制御情報工学科43期生 ・NHK高専ロボコン ・ACM/ICPC ・筑波大学大学院卒業 ・pixivのインフラ3ヶ月目
4.
はるかさん ・Kosenconf-003tokyo ・Kosenconf-005kyushu ・Kosenconf-013salesio ・Kosenconf-014tokyo ・Kosenconf-020salesio2 ・Kosenconf-031sciences ・Kosenconf-038tokyo ・Kosenconf-045tokyo ・Kosenconf-053nseg ←NEW!!
5.
http://www.pixiv.net
6.
7.
・イラストコミュニケーションサービス ・2007年9月10日にスタート 会員数 444400万人 作品数 2288,,000000,,000000 平均投稿数 ページビュー 2288,,000000//日 3300億PPVV//月
8.
pixivのインフラ
9.
2拠点のハイブリッド 構成
10.
自作サーバー群 ・AthlonX2 64 505e
/ Athlon II X4 605e ・B-28(ベニヤ)機 ・1Gbps線 6本
11.
データセンターサーバー群 ・hp DL120G7(DB、TS、Front) ・hp DL165G7(AP、Solr) ・1Gbps線10本
12.
アプリケーションまわりの構成 Internet Internet Front Front Front Front AP AP AP AP Slave LVS L3 Slave L3 Slave Master Slave Slave KVS 旧社屋クラスタ KVS Slave LVS Slave iDCクラスタ ・旧社屋とデータセンタの2つで捌いている ・2拠点間を1Gbpsの専用線で接続
13.
画像まわりの構成 Internet Front Cache Cache Dispatcher L3 Front Cache Origin Front Dispatcher Dispatcher Original Thumbnail L3 Origin Origin Origin 旧社屋クラスタ iDCクラスタ ・旧社屋に画像オリジンがある ・データセンタ側でキャッシュ(95%) ・オリジナル、サムネイルの一部はiDCに
14.
画像まわりの構成 Internet Front Front Front Cache Cache Cache Dispatcher Dispatcher Dispatcher Original Front: NGINX (RAM
Cache) Cache: TrafficServer (SSD Cache) Dispatcher: NGINX Thumbnail L3 iDCクラスタ ・Front、Cache、Dispatcherを同居させて ネットワークコストを下げる ・tmpfsを利用してRAM領域にキャッシュ ・画像集約サーバーにサムネイルを集約
15.
最近のプロダクト
16.
17.
・pixivでマンガの試し読みができるサービス ・2012年6月5日にスタート ・Ruby on Rails
3.2 / Unicorn ・インフラの担当をやっている
18.
国際版
19.
国際版 ・海外向けpixiv ・日本ではプレミアム会員になれば見られる ・Rails/ActiveResource + PHP5.3/Restful
API ・2011年12月末にスタート Internet ・Ruby on Rails 3.2 / Unicorn ・PHP5.3 / Apache Front Front Rails Rails PHP PHP pixiv.netのインフラ
20.
まとめ ・データセンターの依存度高まってきた ・Ruby on Railsのプロダクト増えてきた ・バックアップちゃんとする
21.
pixivではエンジニアを募集しています!! http://recruit.pixiv.net/
22.
サマーインターン申し込み受付中です! http://recruit.pixiv.net/
Download now