Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à お金が無いときのMySQL Cluster頼み
Similaire à お金が無いときのMySQL Cluster頼み (20)
お金が無いときのMySQL Cluster頼み
- 3. システム費用って・・・ サーバなどハードウェア費用 システム構築費・ライセンス費用 回線・設備費用 運用・保守費用 経済産業省いわく … 25% … 30% … 15% … 30% 結局のところ人間が一番高くつく！ 24時間365日のサポート? 平日9:00-17:00の5倍もかかるよ！！ 結局のところ人間が一番高くつく！ 24時間365日のサポート? 平日9:00-17:00の5倍もかかるよ！！
- 6. オンサイトで構築する！！ MySQL Cluster 使って構築するぞ MySQL Clusterのページより抜粋
- 7. MySQL Clusterについて知る MySQL Cluster による高可用システム運用ガイド 山崎さん著 「まずは自分で立ち上げてみる」 MySQL Cluster構築・運用バイブル 奥野さん著 「実際に本番で使うには必携」 Pro MySQL NDB Cluster 奥野さん著 「興味ある人はぜひ一読（でも英語よ？）」
- 8. MySQL Clusterの構成要素 クラスタの調停とか データバックアップ 普段使ってるMySQLサーバ ストレージエンジンがinnodb→ndb変更 (Pluggable Storage Engineゆえ…) データベースのコア ここがクラスタ特性のすべて もともとは、こういうDB
- 9. MySQL Clusterのサーバ構成 まずは最小構成 SQL Node SQL Node Data Node Data Node 管理 Node Server1 Server2 Server3 サーバ３台必要 Why? Split Brain 防ぐ為 Data Network Service Network こいつ邪魔やね なにもの？？
- 10. 管理ノードの役目 SQL Node SQL Node Data Node Data Node 管理 Node Server1 Server2 Server3 X①HeartBeat ②問い合わせ Server1のデータノード Server2のデータノード 「あれ？相手切れた？」 「あれ？相手切れた？」 ↓ ↓ 「管理ノードに聞いてみよう」 「管理ノードに聞いてみよう」 ↓ ↓ 「管理ノード見えるね」 「管理ノード見えない」 ↓ ↓ 「俺正常♪」 「ハブられた。死のう… orz。」
- 11. 切断された方は何故自殺するの？ SQL Node SQL Node Data Node Data Node Server1 Server2 X INSERT INTO TABLE VALUES (‘A’); INSERT INTO TABLE VALUES (‘B’); Aのレコードだけ Bのレコードだけ ハブられて悲しいからではない レコードの不整合を起こすのを防止するため データノード間で 同期が取れないと不整合 SQLノードは正常だから 普段どおりにお仕事 Service Network Data Network
- 12. ところでAppサーバは？？ 金無いんだし、ApDbサーバにしてしまうよね？ データアクセスも少ないならネットワークも１系統でいいよね SQL Node SQL Node Data Node Data Node Server1 Server2 App Server App Server
- 13. 冗長化スタックで書くと… SQL Node SQL Node Data Node Data Node Server1 Server2 App Server App Server
- 14. Server2のNWが切断された SQL Node SQL Node Data Node Data Node Server1 Server2 App Server App Server Server2のデータノードを 外部から更新する経路が 無くなった Server2単体で何かしない かぎり大丈夫！！
- 15. つくってみる… NWが切断された サーバの電源が切れた OSがリブートした 障害復旧後は DBも勝手に復旧させる！ Systemd使って自動的に起動させる 良いのか悪いのかは知らんが、起動させる！
- 16. なぜか存在しないMySQLのsystemdのサンプル [Unit] Description=NDB Manager After=syslog.target After=network.target [Service] Type=simple ExecStart=/opt/mysql/bin/ndb_mgmd PIDFile=/var/lib/mysql/data/mgmd/ndb_1.pid Restart=always User=mysql [Install] WantedBy=multi-user.target [Unit] Description=NDB MultiThread Daemon After=syslog.target After=network.target After=ndb_mgmd.service [Service] Type=simple ExecStart=/opt/mysql/bin/ndbmtd PIDFile=/var/lib/mysql/cluster-data/ndb_11.pid Restart=always User=mysql [Install] WantedBy=multi-user.target [Unit] Description=MySQL Server After=syslog.target After=network.target After=ndb_mgmd.service After=ndbd.service [Service] Type=simple ExecStart=/opt/mysql/bin/mysqld PIDFile=/var/lib/mysql/mysql.pid Restart=always User=mysql [Install] WantedBy=multi-user.target ndb_mgmd.service ndbd.service mysqld.service すべてType=simple,Restart=always。 とりあえず動くから良し！！ すべてType=simple,Restart=always。 とりあえず動くから良し！！
- 17. [mysql_cluster] ndb-connectstring = mc1,mc2 [mysqld] ndbcluster default_storage_engine = ndbcluster ndb_cluster_connection_pool = 2 … [ndb_mgmd] config-file = /etc/mysql-cluster.ini config-cache = false nodaemon = true nowait-nodes = 2 [ndbd] nodaemon = true /etc/my.cnf “mysql_cluster”セクションを書いておくと セクションごとにconnectstring書かずに済む MySQL Cluster固有の記述 ・ndb-clusterのconfigファイルを指定 ・configキャッシュは無効化しておいた方が迷わず済む ・nodaemonとすることでforegroundプロセスにする ・もう一方の管理ノードの起動を待たないようにする ・ndbdもforegroundプロセスにする NDBクラスタのconfigファイルには要注意!! ・先に起動している管理ノードがある場合には、そこからコピー →ローカルから読まない ・すべての管理ノードで内容が同じでないとエラーになる ・デフォルト(キャッシュ有効)だと--reloadしないと変更が反映されない ndb_mgmd, ndbd はnodaemonオプションつけて起動すること！ 忘れるとsystemdから起動した時に、起動後すぐにプロセスが終了してしまう。 (systemdのType=forkingを使う手もあるにはあるが・・)
- 18. [ndb_mgmd default] DataDir = /var/lib/mysql/data/mgmd HeartbeatIntervalMgmdMgmd = 1500 LogDestination = FILE:filename=/var/log/mysql/cluster.log,maxsize=1000000,maxfiles=6 [ndbd default] NoOfReplicas = 2 IndexMemory = 256M DataMemory = 1G DataDir = /var/lib/mysql/cluster-data ODirect = true CompressedLCP = true CompressedBackup = true BackupDataDir = /var/lib/mysql/backup HeartbeatIntervalDbDb = 5000 HeartbeatIntervalDbApi = 5000 ArbitrationTimeout = 7500 Arbitration = WaitExternal StartPartialTimeout = 10000 StartPartitionedTimeout = 0 [mysqld default] AutoReconnect = true [ndb_mgmd] NodeId = 1 hostname = mc1 … /etc/mysql-cluster.ini SQL-Dataノード間が切断されても自動復旧 管理ノードとの疎通が無くなった時の挙動 クラスタ起動(双方のDataノード停止から)の挙動 ★ ★HeartBeat関係のタイミングは 環境に合わせて調整する ★
- 19. うごかしてみる… 1. 片側のサーバ(A)をshutdown 2. その状態でDBを更新する 3. サーバ(A)を起動 4. もう一方のサーバ(B)をNWから切り離してみる 5. サーバ(A)で更新が反映されていればOK！
- 20. わかったこと MySQL Clusterは、いわゆる”スゴい”システム以外でも便利！ ・十分な運用要員を確保できないシステム(=金が無いorz)こそ使え!! ・しょぼいシステムだとリソースにシビアにならなくても大丈夫 ・10万/台くらいの中古サーバ2台で完全無停止なシステム作ることも可能 Split-Brain Syndromeは怖くないぞ ・”両方で更新”さえしなければ大丈夫!! ・不整合さえ発生させなければMySQL Clusterは勝手に修復してくれる 少々手順が面倒＆HeartBeatのタイミング調整が面倒だぞ ・無停止アップグレードすら出来るがローリングブート等手順は少々複雑 ・環境に合わせてタイミング調整しないと”安全に自殺”してくれる orz サポートつけると高いぞ!! ・community版でのサポートが無く、Carrier Grade Editionだけサポート ・10万/月とか、しょぼいシステムであり？？
- 21. Oracleさん、おねがい… 我要 “Oracle MySQL Cloud Service Cluster Edition” !! ・オーケストレーションのDefferentNode設定でサーバノード自動的に冗長化とか… ・マシン構成に合わせたInterval設定のテンプレート提供とか… ・ボタン１つでスケールアップやバージョンアップとか… を”安い値段で”提供して欲しい。そもそもMySQL Clusterのサポート内容って ・Cluster構築段階におけるチューニング問い合わせ ・MySQL経験者が”NDB Engine固有の”問い合わせ がメインの筈だから、クラウドサービスならStandard Editionより手間少ないはず!!
- 22. End Of Document Special thanks to …