第6回Reactive System Meetup in 西新宿 の資料です。 https://reactive-shinjuku.connpass.com/event/202517/

1. © 2021 TIS Inc.
第6回Reactive System Meetup in 西新宿
可用性を突き詰めたリアクティブシステム
2021.3.5
テクノロジー&イノベーション本部
テクノロジー&エンジニアリングセンター
前出 祐吾

2. © 2021 TIS Inc. 2
自己紹介
• 現在の取り組みテーマ
オープン環境で高可用・高スループットなシステムを如何にして構築するか？
ソフトウェアスタック『Lerna』のプロダクトオーナーとして基盤整備と実戦投入
• 訳書
Akka実践バイブル
• Web連載
ThinkIT：メニーコア時代のバラダイム リアクティブシステムを知ろう
• イベント登壇
Scala Matsuri、JJUG CCCなど
テクノロジー＆イノベーション本部
テクノロジー＆エンジニアリングセンター ≒ 技術特化横断組織
前出 祐吾 Twitter @yugolf

3. © 2021 TIS Inc. 3
我々が目指すゴール
ハイスペック
かつ
高価なサーバー
オープン環境
＝分散システム
高可用性かつ高スループットなシステムを安価かつスピーディーに構築する

4. © 2021 TIS Inc. 4
高可用性かつ高スループットな分散システムに必要なこと
高スループット
⚫ステートフルなアプリケーション
⚫サービスの成長に合わせた弾力性
高可用性
⚫すべてのレイヤを冗長化
⚫ノード障害時の影響を極小化
⚫時間
⚫ユーザー
⚫機能
※前提：一貫性を失わない

5. © 2021 TIS Inc. 5
非機能要件実現のための羅針盤
リアクティブシステム
ステートフルなアプリケーション
サービスの成長に合わせた弾力性
すべてのレイヤを冗長化
ノード障害時の影響を極小化
リアクティブ宣言 https://www.reactivemanifesto.org/ja

6. © 2021 TIS Inc. 6
非機能要件実現のための羅針盤
リアクティブシステム
Akkaのメッセージ駆動で実現
リアクティブ宣言 https://www.reactivemanifesto.org/ja

7. © 2021 TIS Inc. 7
アーキテクチャ
Web AP DB
状態保持 状態保持
ステートフルなアプリケーション
サービスの成長に合わせた弾力性
すべてのレイヤを冗長化

8. © 2021 TIS Inc. 8
Akka Clusterによる「ステートフルなアプリケーション」
• 多くのイベントが蓄積するとリプレイに時間がかかるため一定間隔でスナップショットを取っておく
• スナップショットは一定数のイベントが蓄積した場合や、一定周期などイベントの性質に合わせて任意
のタイミングで取得する
イベント
-------------
ー100円
＋50円
＋100円
Alice
Bob
Charlie
残高150円
残高200円
残高10円
利用者が増えリソースが足りなくなったらノードを追加
リプレイしてアクターを復元
状態はAkkaのアクター（Entity）に持ち、速いレスポンスが可能
アクターは1つのノードにのみ存在し、ノード障害時はCassandraからイベントをリプレイして復旧

9. © 2021 TIS Inc. 9
項目 Min Max
ハートビートの間隔 0ms 500ms
ハートビートの応答待ち時間 1,200ms
標準偏差phiを元に算出した誤検知防止待ち時間 1,550ms
「unreachable」としてマークされるまでの期間 0ms 500ms
「down」状態になるまでの時間 3,500ms 4,375ms
「removed」状態になるまでの時間 3,500ms
アクターの再生成 α α
合計ダウンタイム 9,750 + α 11,625 + α
×
Alice
Bob
Charlie
Unreachable
↓
down
↓
removed
Alice
ハートビート
➢ Akkaクラスタ内のメンバーの状態遷移
アプリケーションにおける「ノード障害時の影響を極小化」
https://doc.akka.io/docs/akka/current/typed/cluster-
membership.html#state-diagrams
ダウンしたサーバーが司る処理を、ダウン後（15秒以下）で別のサーバーで処理できるように

10. © 2021 TIS Inc. 10
「サービスの成長に合わせた弾力性」における課題
CQRS（コマンドクエリ責務分離）とES（イベントソーシング）の採用
⚫ アプリケーションとデータベースを書込処理を行うコマンドサイドと読込処理を行うリードサイドに分離（CQRS）
⚫ 書込処理はCassandraに対してイベントを登録（ES）を行うためスケールアウト可能
⚫ 参照しやすいように非同期でRDBMSへデータを反映（イベントから状態へ変換）し、読み込み処理はRDBMSを参照
⚫ 書込み後、クエリサイドに反映されるまで若干のタイムラグがある => 結果整合性 の許容
⚫ 最新の状態はコマンドサイドのAkkaアクターに保持しており、残高などのチェックをインメモリで行うので最終的に整合性が
崩れることはない
イベント
-------------
出金 100円
出金 300円
入金 1,000円
決済100円
600円
残高
-------------
700円
残高表示
参照しやすい形でデータ保持
参照用データストアへ反映
（決済が完了した場合のみ書込み）
課題
読み込み処理はデータベースのリードレプリカを作成することで比較的スケールしやすいが、書込み処
理のスケールアウトは困難でボトルネックとなりやすい。
解決策 書込み処理にNoSQLデータベースであるCassandraを採用し、レコードのアップデートを排除
入金 100円

11. © 2021 TIS Inc. 11
◆ 体制のスケール
✓ 教育
✓ 標準化
◆ プロジェクトのスケール
✓ 導入コストの低減
TISにおけるリアクティブシステムの現在地
ミッションクリティカルなサービスへ適用し、高可用性・高スループットの
New Normalへ
New Normalへ必要なもの

12. © 2021 TIS Inc. 12
『Lerna』としてOSS公開
https://lerna-stack.github.io/

13. © 2021 TIS Inc. 13
『Lerna』とは
MW
Application
HW
Public Cloud
Business
Application
Lernaは高可用・高スループット※なシステムを構築するソフトウェアスタックです。
※1,000TPS下でフェイルオーバー実測値ベースの年間論理稼働率99.999%
https://lerna-stack.github.io/
MariaDB
Keepalived
HAProxy
Project template Akka
Terraform
script
A toolkit for building highly concurrent, distributed,
and resilient message-driven applications
Lerna
クラウド上で稼働しているVMに対して、Lernaの環境構築スクリプトを実行すると高可用性と高スループット
を実現する設定がなされた環境が構築される。
その環境で、アクターモデル（Akka）・CQRSのアーキテクチャで設計し実装すると高可用システムが構築で
きる。
Cassandra
Library
guides
Reference
Code
Learning
content
Private Cloud
VM
OS
VM
OS
https://lerna-stack.github.io/

14. © 2021 TIS Inc. 14
『Lerna』のコンセプト
高い可用性とスループットが要求されるサービスを低価格でスピーディーに提供する
低価格・スピーディー
⚫ 高額なハードウェアを使用せず、オープンな環境で高可用性・高スループットを実現するため、開発はスピーディーに運用コストは
安価にサービスを提供できる
プラットフォーム依存なし
⚫ プラットフォームはパブリッククラウド、オンプレ問わず構築が可能であらゆる利用者の制約に応じた環境で
サービスを提要できる
OSSとして進化
⚫ ソースコードはすべてOSSとして公開し世界中のパートナーと共に開発することで、投資コスト以上の品質・ス
ピードで進化さる
⚫ ソースコードを公開することでベンダーロックを避け、利用者はEOLを気にせず利用できる
⚫ インハウスFWによる要員調達・育成・展開の足かせをなくす
新技術の積極採用
⚫ 「進化なきOSSは衰退」「車輪の再発明は進化の妨げ」と捉え、進化のためのOSS活用は拒まず積極採用により
進化させる
⚫ ソースの公開されていないライブラリは活用せず、活用しカスタマイズしたOSSはコントリビュートしOSSと共
に成長させる
⚫ ないものは作って公開し成長させる。ただし、できる限り論文など実証された方式を採用
https://lerna-stack.github.io/

15. © 2021 TIS Inc. 15
『Lerna』のコンテンツマップ
https://lerna-stack.github.io/

16. © 2021 TIS Inc. 16
リアクティブ宣言 ＜抜粋＞
『Lerna』の何がうれしいの？
でもどうやって作ればいいの？を『Lerna』が解決！！
– 可用性を突き詰めたアーキテクチャパターン
– with 環境構築キット
– with ライブラリ
– with 開発ガイド
– with リファレンス実装
– with 学習コンテンツ with
https://lerna-stack.github.io/

17. © 2021 TIS Inc. 17
『Lerna』はどこから始めれば良いの？
 ３つの
 Akkaハンズオン（2021.3公開予定）
https://lerna-stack.github.io/

18. © 2021 TIS Inc. 18
from 『Fintan』： TISのノウハウ集約サイト
◆Lerna日本語サイト
◆TISのあらゆるノウハウを公開
https://fintan.jp/

19. © 2021 TIS Inc. 19
<宣伝> TIS Developers Night
◆2021/3/19(金) 19:30 ～
connpassよりエントリー下さい。
https://tidev-meetup.connpass.com/event/199990/

20. © 2021 TIS Inc. 20
まとめ
• 分散システムで安価に実現
• リアクティブシステムを羅針盤にAkkaのメッセージ駆動
を適用
– ステートフルなアプリケーション
– サービスの成長に合わせた弾力性
– すべてのレイヤを冗長化
– ノード障害時の影響を極小化
• ソフトウェアスタック「Lerna」を公開
– 可用性を突き詰めたリアクティブシステムのパターン
高可用性かつ高スループットなシステムを安価かつスピーディーに構築する

21. THANK YOU
＜本資料の取り扱いに関して＞
本資料は、著作権法及び不正競争防止法上の保護を受けております。資料の一部あるいは全部について、 TIS株式会社から許諾を得ずに、複写、複製、転記、転載、
改変、ノウハウの使用、営業秘密の開示等を行うことは禁じられております。本文記載の社名・製品名・ロゴは各社の商標または登録商標です。