1. リアルタイム性に厳しい
アプリケーションに対する
通信遅延を考慮した実装と
通信遅延を抑えるための研究
4/23 定例セミナー

2. 目次
• 通信遅延を考慮した実装(技術書)
– オンラインゲームに適した通信方式
– 移動モードと通信遅延
• 通信遅延を抑えるための研究(論文)
– エッジコンピューティングを利用した分散処理
– イベント処理の順序性を考慮した定式化
2

3. 前半
リアルタイム性に厳しい
アプリケーションに対する
通信遅延を考慮した実装
3

4. 読んだ技術書
• タイトル: ドラゴンクエストXを支える技術
• 出版日: 2018/11/14
• ドラゴンクエストXとは…
• MMPRPG(大規模多人数参加型オンラインRPG)
• 2012年8月 Wii版発売
• 2013年3月 Windows版発売
• 2017年8月 PlayStation4版発売
• 2017年9月 Nintendo Switch版発売
4
MMORPG…Massively Multiplayer Online Role Playing Game
 通信遅延を取り扱った研究の背景として, 実際にどういった技
術が使われているのかを調べた。

5. オンラインゲームの通信方式
 Vceというオンラインゲームに適したプロトコルが用いられ
ていた。
• ステートフルな通信
• サーバーがクライアントの状態を保持
• 通信量が必要最小限
• 通信内容の保証
• TCPによって順番通りの確実な送受信
• 低遅延
• 受信したパケットをバッファリングせずに処理
• 安定した通信環境
• バッファリングしないので安定性が必要
5Vce… https://github.com/kengonakajima/book

6. 通常移動モード
 クライアントとサーバーの不整合を許可する。
• 座標の整合性をとらないため高レスポンス
• 高負荷にならないよう0.5秒ごとに座標を送信
• 座標を全クライアントで共有するには1.5秒かかる
6
図1: 通常移動の流れ

7. 移動干渉モード
 遅延を許可してサーバーで演算を行う。
• 戦闘中のキャラクター同士の押し合いなどを実現
• クライアント側でも1.5秒遅れて動作
7
図2: 移動干渉の流れ

8. 移動干渉モードへの遷移
 違和感を感じないようにうまく切り替える。
• 最初は通常移動モード
• 戦闘中に接触状態になったときのみに移動干渉モードに遷移
• 座標の整合性は…
- 非接触状態から接触状態になるように座標を近づける
- 戦闘中のパケット送信間隔を狭める
- 移動目的地を予測する
8図3: 移動干渉開始時の座標のズレ

9. 移動処理の負荷軽減
 空間を分けて表示する対象を限定する。
• 最大1000人が同じフィールドにいるので高負荷
– 1000人が動くとその情報をほか999人に送信
– 送受信合わせて1人につき1000回
– 1000人が動くと100万回の通信
9
• 空間を分ける
– 右図のように空間を分割
– 自分のいる空間とその周辺の
空間にいるキャラのみ表示
– 人数が増えると分割数を増や
す

10. 技術書を読んだまとめ
 通信遅延のボトルネックを常に考慮して開発されていた。
• 通信遅延があったとしてもなるべくユーザーが快適にゲームをプ
レイできるように, 細かい点にもたくさんの工夫がなされていた。
• 通信の点以外も…
– 不具合対応のしやすかから, ゲームサーバープロセスはシングル
スレッドで構成されていて, 負荷分散が難しそうだった。
– 家庭用ゲーム機のメモリやストレージが小さいため, メモリの管
理しやすいC++などで実装されていた。
– DBは, RDBMSのOracle ExadataとKVSのKyoto Tycoonが使われ
ていた。
10
RDBMS…Relational DataBase Management System, KVS…Key-Value Store

11. 後半
リアルタイム性に厳しい
アプリケーションに対する
通信遅延を抑えるための研
究
11

12. 読んだ論文
• 論文一覧
– A. Kawabata, B. C. Chatterjee and E. Oki, "Distributed processing communication
scheme for real-time applications considering admissible delay," 2016 IEEE
International Workshop Technical Committee on Communications Quality and
Reliability (CQR 2016), Stevenson, WA, 2016, pp. 1-6.
– S. Ba, A. Kawabata, B. C. Chatterjee and E. Oki, "Computational time complexity of
allocation problem for distributed servers in real-time applications," 2016 18th Asia-
Pacific Network Operations and Management Symposium (APNOMS), Kanazawa,
2016, pp. 1-4.
– 川端明生, & 大木英司. (2016). リアルタイム型アプリケーションに適用する分散処理型
通信方式. 電子情報通信学会論文誌 B, 99(4), 356-367.
– A. Kawabata, B. C. Chatterjee, S. Ba and E. Oki, "A Real-Time Delay-Sensitive
Communication Approach Based on Distributed Processing," in IEEE Access, vol. 5, pp.
20235-20248, 2017.
doi: 10.1109/ACCESS.2017.2758803
– Ito T., Kakimura N., Kamiyama N., Kobayashi Y., Okamoto Y., Shiitada T. (2018) Tight
Approximability of the Server Allocation Problem for Real-Time Applications. In: Alistarh
D., Delis A., Pallis G. (eds) Algorithmic Aspects of Cloud Computing. ALGOCLOUD
2017. Lecture Notes in Computer Science, vol 10739. Springer, Cham
12
 次の研究に関連する論文に目を通した。

13. 背景
• NFVやSDNなどの仮想化技術に関する標準化や製品化の取り組み
が加速し, オンプレミス環境にあったアプリケーションをクラウド
上のサービスとして実現
13
 リアルタイム性に厳しいアプリケーションでは, 通信遅延が課
題となっている。
• リアルタイム性に厳しいアプリ
ケーションでは通信遅延が課題
– 特にユーザー端末間で双方向
通信のあるアプリでは, 遅延に
よって違和感を覚えたり, 特定
ユーザー端末がボトルネック
になる
SLA…Service Level Agreement, ITS… Intelligent Transport Systems

14. 従来と提案方式
 エッジコンピューティングを利用してよりユーザーに近い
サーバで分散処理を行う。
• エッジコンピューティングとは…
– ネットワークのクラウド上で処理されていたアプリを, よりユー
ザー端末との通信遅延が少ないネットワークのエッジ部分で処理
して, リアルタイム性を保持
14
従来では, 集約された拠点の
サーバーで集中処理
提案方式では, ユーザーに近い
サーバーで分散処理

15. イベント処理の順序性
 ユーザーごとの遅延から仮想時刻を計算する。
• 複数のサーバー上で, 通信遅延を考慮した仮想時刻にずらして同期
して処理し, イベントの順序性を保証
15
• 変数の意味
– 𝑑 𝑝𝑖…ユーザー𝑝とサーバ𝑖間
の遅延時間
– 𝐷 𝑝…ユーザー𝑝が選択した
サーバへの遅延時間
– 𝐷 𝑈
ma𝑥
…全ユーザーの𝐷 𝑝の最
大値

16. 目的関数
 通信遅延時間2𝐷 𝑈
ma𝑥
+ 𝐷𝑆
ma𝑥
を最小化する。
• 通信遅延時間…実時刻の順序性が保持された形で全ユーザーに処
理結果が配信されるまでの時間
16
提案方式の遅延時間
= 2𝐷 𝑈
ma𝑥
+ 𝐷𝑆
ma𝑥
= 0.5 + 2.5 + 0.5 = 3.5 ms
従来方式の遅延時間
= 2𝐷 𝑈
𝑚𝑎𝑥
= 5.5 + 5.5 = 11 ms

17. 定式化
 ILPの問題に落とし込む。
• 𝑉𝑈…ユーザーの集合
• 𝑉𝑆…サーバーの集合
• 𝐸 𝑈 … ユーザーとサーバー間のリ
ンクの集合
• 𝐸𝑆 … サーバーとサーバー間のリ
ンクの集合
• 𝑥𝑖𝑗…リンク(𝑖, 𝑗) ∈ 𝐸が使用され
ていれば1, そうでなければ0
• 𝑦𝑖…サーバー𝑖 ∈ 𝑉𝑆が使用されて
いれば1, そうでなければ0
– つまり𝑦𝑖 ∙ 𝑦𝑗 = 𝑥𝑖𝑗
17

18. 論文を読んだまとめ
 主要な要素を切り取ってうまく定式化されていた
• リアルタイム型アプリケーションでは, 通信遅延が課題
• エッジコンピューティングを利用してユーザーに近いサーバーで
分散処理を実行
• イベント処理の順序性を確保するために, ユーザーごとの遅延から
仮想時刻を計算
• 通信遅延時間を最小化する最適化問題を定式化
18

19. まとめ
 リアルタイム性に厳しいアプリに対して, 通信遅延を考慮した
「実装」と通信遅延を抑える「研究」が行われている。
• 実装では, ユーザに通信遅延を感じさせないようにさまざ
まな工夫が凝らされている
• 研究では, 通信遅延をなるべく小さくするためにエッジコ
ンピューティングを前提とした分散処理の手法が提案され
ていた
19