SlideShare une entreprise Scribd logo
1  sur  61
世界中のゲーム分析をしてきたPlayFabが大進化!
一緒に裏側の最新データ探索の仕組みを覗いてみよう
Data is eating the world
マイクロソフト
グローバルブラックベルトアジア地域
ゲームサーバーアーキテクト
増渕大輔
@dmasubuchi
slideshare
`本日のお話
 第一部: PlayFab Insights
 ゲームの BaaS 「 PlayFab 」の分析機能 についてお話します
 従来の分析機能が大幅にバージョンアップしました(新機能=PlayFab Insights)
 内部には、Azure Data Explorer が使われています。機構をご紹介します
 第二部: Azure Data Explorer
 Azure Data Explore についてさらにお話します
 この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
Kusto と Azure Data Explorer の言葉の定義
Kusto は、テレメトリ データをすばやく検索および視覚化するためのビッグデータ ログ検索および分析の社内向けに開
発されたサービスであり、開発コードです
当初はApplication Insightsや、OMS(現 Azure Monitor)のエンジンとして使われました
この社内サービス(Kusto)を一般企業向けに提供したものが、Azure Data Explorer です
ただし今でも Kusto の愛称で呼ばれることがあります。またツールやクエリーには Kusto の名前が残っています
例: Kusto Explorer、 KQL(Kusto Query Language)
今年リリースされた、PlayFabの新しい分析機能の、PlayFab Insights の基盤は、Azure Data Explorer です
ゲームデータ管理やマルチプレイ通信をサポートし
ます
ゲーム内ストア運営や、仮想通貨管理、アイテム管
理などの機能があります
様々なプラットフォームやデバイスに対応
開発者はサーバーのスキルを必用としません
プレイヤー行動ログ(イベント)を即座に可視化
ゲーム運営をスムーズにします
ゲーム向けBaaS 「PlayFab」とは?
https://playfab.com/
https://playfab.com/
https://www.buzzsprout.com/489403
PlayFab を使うと誰でも簡単にデータ設計できる
PlayFabを手に入れた
これは、数千件のオンラインゲームの
運用実績があるツールだ
データ設計のスキルUpの効果がある
PlayFab を 装備しますか?
> はい
いいえ
PlayStream
すべてのイベントのリアルタイムストリーム(と履歴)をモニター
Real-Time Segmentation
プロパティを利用して、プレーヤーをセグメント化
プレーヤーがセグメントに出入りするときにアクションをトリガー
Reports
ゲームの日次・月次の状況を、電子メール等でレポーティング
Real-Time Rules Engine
PlayStreamイベントに応答する強力なアクションとトリガーを設定
Event Filter and Search
タイムスライスを利用し、プレーヤー、イベント、エラー状態を分析
Microsoft Azure によって
強化された新しいログ分
析機能
アドホックなデータ探索
と分析用に最適化された
クエリ言語KQLで可視化
時系列のデータに対する
機械学習を利用した異常
検知を実装可能に
PlayStream Event Model reference
https://docs.microsoft.com/en-us/gaming/playfab/api-references/events/
PlayFab内のイベントのプロパティ説明
Player、Title、など、PlayFabのデータの概念を理解していると読みとくの
はとても簡単です
Kusto の概要
https://docs.microsoft.com/ja-jp/azure/data-explorer/kusto/concepts/
Kusto のクエリ言語の説明や、よく使われる
テーブル演算子の説明があります
チュートリアルやサンプル配下の天気データを用いることで、
実際に手を動かしながらKQLを学ぶことができます
['events.all']
| take 10
// Event list
['events.all']
| distinct FullName_Name
// project(“select” in SQL): https://docs.microsoft.com/en-us/azure/data-
explorer/kusto/query/projectoperator
['events.all']
| take 10
| project EventData
// “dynamic” data type: https://docs.microsoft.com/ja-jp/azure/data-
explorer/kusto/query/scalar-data-types/dynamic
['events.all']
| take 10
| project EventData
| getschema
['events.all']
| where FullName_Name == 'player_logged_in'
| take 10
| project EventData, EventData.Source
['events.all']
| where FullName_Name == 'player_logged_in'
| take 10
| project EventData, EventData.Location.CountryCode
// extend(define new column): https://docs.microsoft.com/en-us/azure/data-
explorer/kusto/query/extendoperator
['events.all']
| where FullName_Name == 'player_logged_in'
| take 10
| project EventData
| extend ipv4adress = tostring(EventData.IPV4Address)
| extend CountryCode = tostring(EventData.Location.CountryCode)
| extend Timestamp = todatetime(EventData.Timestamp)
// DAU, NRU, Retention rate, Churn rate
let startdate = datetime(2020-03-01);
let enddate = datetime(2020-06-30);
['events.all']
| where FullName_Name == 'player_logged_in'
| evaluate activity_metrics(Entity_Id, Timestamp, startdate, endofday(enddate), 1d)
//| render timechart
// DAU, NRU, Retention rate, Churn rate by Country
let startdate = datetime(2020-03-01);
let enddate = datetime(2020-06-30);
['events.all']
| where FullName_Name == 'player_logged_in'
| extend CountryCode = tostring(EventData.Location.CountryCode)
| evaluate activity_metrics(Entity_Id, Timestamp, startdate, endofday(enddate), 1d,
CountryCode)
//| render timechart
// DAU by country
let startdate = datetime(2020-03-01);
let enddate = datetime(2020-06-30);
['events.all']
| where FullName_Name == 'player_logged_in' and Timestamp between (startdate ..
endofday(enddate))
| extend CountryCode = tostring(EventData.Location.CountryCode)
| summarize dcount(Entity_Id) by CountryCode, bin(Timestamp, 1d)
| project Timestamp, CountryCode, dcount_Entity_Id
// Power BI
['events.all’]
| where Timestamp > ago(7d)
PlayFabイベントに関する情報
詳しくは・・・ https://docs.microsoft.com/en-us/gaming/playfab/api-references/events/
以前のPlayFab
• モバイル/カジュアル中心
• 小規模組織
• PlayFab 自身の情報が把握しにくかった
• 高度な分析ニーズはなかった
Microsoft への合流後
• AAAのタイトルのニーズ急増
• マルチプレイやチャットなど、PlayFab のワー
クロードが多様化
• データサイエンティストがいる
スタジオの高度な分析機会
• PlayFab 運営チーム自身が顧客の状況をリアル
タイムで把握できるように
データの量・質が増えたら、分析手法も変わるべき
• PlayFab はもともと分析に強いと好評でした
• さらに、Azure に移行したことで、PlayFab Insights (Preview) の提供を開始
• プレーヤーの全体像をより把握しやすくなる
• インポート、エクスポートの柔軟性
• 様々なBIツールとの連携
• 機械学習の対応
PlayFab Analytics Architecture (high level)
PlayStream
PlayFab
Client
SDK
Game Manager
PlayFab.com
PlayFab Customer
Game Manager
Game Manager
PlayFab Action
Services
Ingestion
ADX Clusters
ADF
Proxy
PlayFab
Services
Logs &
Metrics
CosmosDB
Operational logs
and metrics
Tenancy
RTA
*ADX - Azure Data Explorer
*ADF - Azure Data Factory
Warehouse: Reports, Trends
etc.
AzureBlob
Scorecard compute
PlayFab Facts /
Dimensions
PlayFab Analytics (ETL scenarios)
PlayFab
Client
SDK
ADX Clusters
GDE004
(table per event)
CosmosDB
ADX Clusters
GDEPF001
(follower DB from GDE001)
ADF
PlayFab
Services
PlayFab Facts /
Dimensions
Power BI PF internal reportsPlayFab DB
ADX Functions
PlayFab Metrics
PlayFab Metrics
PlayFab Metrics
ADF
PlayFab Facts /
Dimensions
PlayFab Facts /
Dimensions
PlayFab Analytics – direct access
Powering analytics with Azure Data Explorer
• クエリの埋め込みエクスペリエンス
• 保存されたクエリ/レンダリングされたグラフ
• データのインポートとエクスポート
• スケーラブルなパフォーマンス (IPU メーター)
Connectors through Proxy
ADX continuous
export to Azure Blob
Manage Experiments
Experience
• UI と API を使用する
• CRUD API サーフェス
• 実験のスケジュール
• Expのコンプライアンス
• Expのアクセス制御
• コードレスExp
•
*A&E – Analytics and Experimentation
 Variant ID でタグ付けされ
た PlayFab Profile
(treatment)
 Variant ID でタグ付けされ
た PlayFab Events
 メトリック生成用
Azure BLOB データ
 Data Bricks による
スコアカード
Azure Data Explorer
(Kusto)
PlayFab Data Governance – GDPR
PlayFab.com
Game Manager
PlayFab
APIPurge or
Export
PlayFab SDK
Service Fabric Cluster
PCF Command
Feed Ingestion
Command Actor
Orchestrator
Actor
Table Delete Service
CRM
Management
API
PlayFab
Webhook
Stateful Service
(Partitioned by
Cluster]
Stateless Service
Stateful Actor
(Partitioned by PlayerId)
Stateful Actor
Determines Query Execution
GDPR compliance for all customers
• Data Portability: 顧客データのエクスポートを提供
• Forgottenの権利: すべてのPlayFabテレメトリの顧客データ消去
NGP Compliance (for Xbox Game Studios)
• Integrated into Microsoft Privacy Portal
DeleteMasterPlayer
ExportMasterPlayer
`本日のお話
 第一部: PlayFab Insights
 ゲームの BaaS である PlayFab の分析機能についてお話します
 PlayFab は従来の分析機能が大幅にバージョンアップしました
 内部には、Azure Data Explorer が使われており、その機構をご紹介します
 第二部: Azure Data Explorer
 Azure Data Explore (ADX、または Kusto )についてさらにお話します
 この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
PlayFab 以外もいろいろと使われている ADX
Azure Monitor Security Products IoT
Office 365 Telemetry
Gaming
Kusto Basics – What & Why
• ビッグ データ ログ検索とテキスト分析
• ログ データへの格納とクエリに最適化
• クラウドベースのサービス
• 時系列データへの機械学習が優れている
• RDBMSではない
• クエリの最適化を可能にするレコードの更新
はサポートしていません
• インポート速度が速い(Ingestion の容量が大
きい)
• キホンはインメモリーデータベース(階層型
でディスクを組み合わせることも可能)
• Azure では、テレメトリ データをモダンな
データサービスに格納し、Kusto を使用して
新しいダッシュボードを構築するという大き
な流れがあった
• KQL(Kusto Query Language)はシンプルで
簡単
• 数十億行を数秒で検索
• Azureのデータセンター内部、ネットワークに
関する深い洞察を得ることができるようにな
る
• 視覚的なグラフですばやく要約する
• 迅速にCSV、Excel、プレーンテキストまたは
Power BIにエクスポートすることもできる
• 機械学習を応用して、異常検出などの追加の
シナリオの実装が簡単
• トラブルシューティングシナリオでかなり役
に立つ
Kusto Basics – Terminology
 すべてのデータは、固有のクラスターを介してアクセス可能
 クラスタにデータベースが含まれる
 データベースにテーブルが含まれる
 テーブルは、列と行にデータを格納 "表形式のデータ"
(Cluster)
(Database)
(Tables)
Kusto Basics – Exploring data
 Kusto Explorer でデータの探索を開始する最も簡単な方法
 リスト内のテーブルをダブルクリックすることです。
注意!!
この方法では実行しないでください
Kusto Basics – Exploring data
右のスクショの環境には24億行以上の
データが含まれていました!
制限のないクエリを実行すると、GB 相
当のデータが返され、
クラスターリソースが無駄になる可能性
があります
(2.4 Billion Rows)
ただし、Azure Data Explorer はクラスターのCore
数課金なのでクエリー課金バーストはありません
(ご安心ください)
Kusto Basics – Pipes & Operators
 Kusto のパイプは他のシステムのパ
イピング データと同じ (UNIX、
BSD、JUNOS)
 パイプは、クエリを非常に読みやす
くします
 演算子の順序も重要
 タイムスタンプwhere句で最初に
フィルタリングするのが◎
 時間でフィルタリングするように最
適化されています
Kusto Basics – Limit Operator
 クエリ結果を小さなサイズに制限する。
 テーブル内の生データをすばやく確認
でき、データに含まれる内容、構造を
理解できます。
 右の場合は、結果をスキミングして、
デバイス名、インターフェイス、説明、
各種カウンタなどの詳細がテーブルに
含まれているかをチェック
Kusto Basics – Where Operator
右のスクショでは以下の条件に合致す
るルータのみを表示
 時間が過去 1 日
 tunnel を含まない
 ibr と lax を含む
Kusto Basics – Summarize Operator
Summarize(集計)演算の例
 TIMESTAMP列が最も近い時間にラ
ウンドされている
 T-SQL で DISTINCT を使用する場
合と似ています
Kusto Basics – Render Operator
Renderでデータをグラフィカルに
 右の例は(現在の時間を除く) 7 時間 の
データを取得
 TIMESTAMP で集計し、棒グラフに表示
タイムチャートの例
//performance index % of requests meeting SLA (5 second)
request
|where context_data_eventTime >= now(-7d)
| summarize reqCount = count(), reqCountovr5 =
count(request_durationMetric_value > 50000000) by
context_data_eventTime bin = time(1h)
| extend pctover5s = reqCountovr5 *100.0 / reqCount
| extend pctIndex = 100.00 - pctover5s
| project context_data_eventTime , pctIndex
| render timechart
//reliability index - % of failed requests
request
| where context_data_eventTime >= now() -time(7d)
| summarize reqCount = count(), reqError =
count(request_responseCode >= 500) by
context_data_eventTime bin = time(1h)
| extend relIndex = reqError *100.00 / reqCount
| extend reliabilityIndex = 100.00 - relIndex
| project context_data_eventTime , reliabilityIndex
|render timechart
Kusto 続き.
Kusto + Power BI
ADXが
地味な理由
1ノード、200MB/秒のインポート速度
数十億件のクエリが1秒
1兆超のイベントを毎日処理
しかし、多くの企業にビックなデータは
ない(ゆえに営業部門では興味を持つ人が少ない)
“Digital feedback loops help you
better engage with your customers,
empower your employees, optimize
your operations, and reinvent
products and business models”
S. Nadela
Log files
Spatial & GPS
coordinates
Data market feeds
eGov feeds
Weather
Text/image
Web 2.0Advertising
Mobile
Collaboration
eCommerce
Web logs
Digital Marketing
Search Marketing
Recommendations
40
More decision makers
BigData
Megabytes
Gigabytes
Terabytes
Petabytes
Data Complexity: Velocity, Variety
ERP/CRM
Payables
Payroll
Inventory
Contacts
Deal Tracking
Sales Pipeline
Click streams
Wikis, Blogs
Sensors/RFID/
Devices
Social Sentiment
Audio/Video
エンジニア部門
やサポート部門
では、ADXは
絶対的な存在
7 PB 27K
MSFT ENG
MONTHLY UNIQUE USERS
Per day, at 2017
800K
CORES
Any append-
only stream
of records
Relational query
model:
Filter, aggregate, join,
calculated columns, …
Fully-
managed
Rapid iterations to
explore the data
High volume
High velocity
High variance
(structured, semi-
structured, free-text)
PaaS,
Vanilla,
Database
Purposely built
1センテンスで理解するADX
• メトリックと時系列データ
• テキスト検索とテキスト分析
• 多次元/リレーショナル分析
Comprehensive Strength
• シンプルで強力なデータ探索
• リッチ リレーショナル クエリ言語
• 全文検索
• ML Extentionの拡張性
• SQL/TDS エンドポイント
Analytics Query language
• 低遅延インジェズレーション
• 圧縮とインデックス作成
• 自動保持(リテンション設定)
• Hot/cold resource アロケーション
Data Ingestion and Management
• ハードウェアでスケールアウト
• ジオ全体でスケールアウト
• 細かいリソース使用率制御
• クロスジオでのクエリ
High performance over large data sets
Azure Data Explorer
A big data interactive platformAzure Data Explorer の内部の構造
Ingestion
Dev/BI Tools
Telemetry Analytics for internal Analytics Data Platform for products
AI OMS ASC Defender IOT
Interactive Analytics Big Data Platform
2015 - 2016
Israelの研究所で行われた社内のインキュ
ベーションプログラム
マイクロソフト社内のデータ分析プラッ
トフォームを作るビジョンで開始された
2019
サードパーティのオファーを試験運営
Operational Management Suite/Application
Insightsにまたがる統合プラットフォーム
クライアント/サーバー・セキュリティー
を介してブリッジされるシナリオに拡張
(IoT、テレメトリーシナリオ)
2017
パブリックプレビューは2018年後半
GAは、2019年
Kusto (現ADX)の生い立ち
昔々、VSTSサービス停止とスローダウン障害発生
 SQL Azure クエリ プロセッサの互換性レベルを 100 (SQL Server 2008) から 120 (SQL Server 2014) に変更
 SQL Server 2014 クエリ オプティマイザは、カーディナリティの推定値に大幅な変更があった
 これは、クエリのメモリアロケーション算定に使用されました
 (ワーキングメモリのディスクへの流出を避けるためにクエリのメモリを事前に計算している)
 処理に必要なクエリのメモリ許可の推定値が以前の小さな値から 3.5 GB に急増
 メモリ不足を防ぐため、クエリを実行する前にバックアップされシリアル化される可能性が発生
 これによる、ジョブの渋滞が発生
 お客様の要求がタイムアウト/失敗
 解決方法はクエリに使用する最大メモリ付与をクエリ オプティマイザーに伝えるヒントを追加する
Blog: https://devblogs.microsoft.com/bharry/vs-team-services-incidents-on-feb-3-4/
(続き)
 SQL の互換性レベルを変更する前に、すべての SQL 待機タイプを確認
 上位の待機タイプが CXPACKET であり、並列化された部分が別の並列部分の完了を待機している
 RESOURCE_SEMAPHOREで待機しているものを見ることによってさらに掘削すると、prc_UpdateIdentitiesが支配的
 sproc に対するメモリ許可要求のタイム チャートを見ると、 SQL compat レベルに変更した瞬間から巨大なスパイクが発生
Blog: https://devblogs.microsoft.com/bharry/a-bit-more-on-the-feb-3-and-4-incidents/
https://devblogs.microsoft.com/bharry/a-bit-more-on-the-feb-3-and-4-incidents/
* Microsoft Edge にて機械翻訳をしています
Brian
February 6th, 2016
弊社サービスのボリューム例 (5-6年前)
1 MILLION
1 秒あたりのイベント数
78 TB
1 日あたりに取り込むデータ
20 PB
2013年 XX 月の処理データ合計
99.99%
2013年 XX 月以降のコレクターの可用性
75 SECONDS
PUB-SUB へのイベントの 99.9% の待機時間
390 MILLION
デバイスとサービスの接続の数
1.8 MILLION
データ サービスに対する 1 日あたりのクエリ
1000 VIEWS
ポータルの 1 日あたりのページ ビュー
このような巨大SaaSサービスがAzure Data Explorer(ADX)のユーザーです
最近は、社内の承認アプリや Oderアプリにも使われ始めています
Azure Data Explorer を使う主な目的
素晴らしいクラウドサービスを開発・運用するチームづくりには絶対に必要
1. Monitorするため
品質、製品健全性、ユーザーインサイト、ビジネス指標における監視とアクション
2. Correlate による作業効率化
クラウド、モバイル、Web アプリ間のデータの意味付け
3. Security を確保するため
準拠した方法でのコンシューマ・企業データのセキュリティ
4. Interop で好きなツールやデータにつなぐため
他のデータ セットおよびテクノロジとの相互運用
Engineer Raw Data Cooked
Data
Alerts
Dashboards
Cosmos
Data Apps
Diagnostics
Services
Data
Processing
“Analyze”
“Debug”
“Mine”
“Glance”
“Monitor”
Data Information
データサイエンティストやビジネ
スアナリストの助けを借りて
チームは、KPI から開始し、ドリルダウンして実行可能な
ステップを特定し、優先順位を付け、洞察を得ることが
できる
エンジニアは
彼らが素早く洞察を得ること
ができる
魔法はここで起こる
生データを、迅速に問い合わせることができる意味の
ある洞察に変換する
IntelligenceInsight
Democratize access to data-driven insight
データに関する深い専門知識, 洗練された分析
“Log”
Service/Client Feedback “Tune”
Clients
高レベルのシナリオをサポート
監視、診断、軽減、異常検出、実験、本番でのテスト
KPI 主導のアクション
なぜこれらの
訪問者は買い
物カゴを放棄
するのです
か? 最も不満な
ユーザーは誰
ですか?
お客様がこの
コンテンツを
クリックしな
いのはなぜで
すか?
生産品質に影
響を与えるも
のは何です
か?
何の背後にあ
る理由を理解
する
サービスのパ
ターンを深く
理解する
創発的な行動
と傾向を発見
する 新しいアイデ
アを刺激でき
る予期しない
パターンを発
見する
2019 GA 以降、徐々に 顧客事例登場
 クラウド化
 巨大化するサービス
 デジタルデータ肥大化
 データ活用の重要性
大規模なIoTアプリケーション
> 数十億のセンサー、製造設備、車両からのテレメトリー監視
ビッグ データ ログの分析が必要な企業
> アドネットワーク、オンラインゲーム、ニュースサイト等
推奨コンテンツ、異常検知、データサイエンティスト負荷軽減
成長したSaaSアプリケーション
> トレンドの発見、パーソナライズされた体感の提供
Azure Data Explorer
Estimating costsコスト計算ツール
 https://aka.ms/adx.cost
Azureの利用の気を付けるべき点やチューニングのヒント、設計パターンを提案する公
式ドキュメント (URL: https://docs.microsoft.com/ja-jp/azure/architecture/ )
ワークロード「Analytics」の配下に、Azure Data Explorer を利用したパターンが4
つほどあります
注意: ADXはデータウェアハウス処理が苦手です
Modern data warehousing Real-time analytics
リアルタイムで様々な
サービス、デバイスから
洞察を得る
Machine Learning
高度な異常検知のための
分析プラットフォーム
複数のソースから、さまざま
な形式でデータを分析
ここが得意
Kusto の 名前の意味は
何だと思いますか?
最後に問題です
ジャック=イヴ・クストー Jacques-Yves Cousteau
彼の名前が由来のようです( precision_score = ??? )
1930年にフランス海軍に参加。潜水用の呼吸装置スクーバ(商品
名:アクアラング)の発明者の一人として知られる。
水中考古学を始めた人物でもある。
1957年、海軍大佐で海軍を退役し、モナコ海洋博物館長に就任。
1959年海の国連と呼ばれる世界水中連盟CMASを創設。1971年に
ベリーズのグレート・ブルーホールを訪れ、世界のトップダイビン
グスポットに選定した[1]。1992年の地球サミットで環境破壊・海
洋汚染を警告し、母国フランスの核実験再開を激しく批判。
赤いニット帽がトレードマーク。「海の恋人」と呼ばれていた。
(日本版Wikipediaより抜粋)
“Explore the ocean of data”
という言葉を残してます
Explore the ocean of data with Kusto
ThinkIT紙にご紹介いただきました
山田様・宮城様のビックデータ基盤の記事に Azure Data Explorer が取
り上げられました。Microsoft Azure、GCP(Google Cloud Platform)、
AWS(Amazon Web Services)の3社が展開する基盤の比較も掲載予定
https://thinkit.co.jp/series/9868
Product
 Product Page: http://aka.ms/AzureDataExplorer
 Docs: https://aka.ms/adx.docs
 Pricing Page: https://azure.microsoft.com/en-us/pricing/details/data-explorer/
 Cost Estimator: http://aka.ms/adx.cost
Demos
 Scott Guthrie’s Keynote (ADX Announcement/Demo)
 Rohan Kumar’s Keynote (ADX Announcement/Demo)
 Scott Guthrie’s in Techorama (Scott’s demo)
Blogs
 Announcement: https://azure.microsoft.com/en-in/blog/introducing-azure-data-explorer/
 Whitepaper: https://azure.microsoft.com/en-us/resources/azure-data-explorer/en-us/
 101 blog: https://azure.microsoft.com/en-us/blog/azure-data-explorer-technology-101/
Social and Community
 Twitter: @AzDataExplorer
 Stack overflow: https://stackoverflow.com/search?q=Azure+Data+Explorer
 Tech Community: https://techcommunity.microsoft.com/t5/Azure-Data-Explorer/bd-p/Kusto
リンク集
ご清聴いただき、ありがとうございました。
世界中のゲーム分析をしてきたPlayFabが大進化!
一緒に裏側の最新データ探索の仕組みを覗いてみよう
マイクロソフト
グローバルブラックベルトアジア地域
ゲームサーバーアーキテクト
増渕大輔
Data is eating the world
@dmasubuchi
slideshare

Contenu connexe

Tendances

The Usage and Patterns of MagicOnion
The Usage and Patterns of MagicOnionThe Usage and Patterns of MagicOnion
The Usage and Patterns of MagicOnionYoshifumi Kawai
 
Unity対応してるmbass全部紹介する
Unity対応してるmbass全部紹介するUnity対応してるmbass全部紹介する
Unity対応してるmbass全部紹介するTakaaki Ichijo
 
Google Cloud Game Servers 徹底入門 | 第 10 回 Google Cloud INSIDE Games & Apps Online
Google Cloud Game Servers 徹底入門 | 第 10 回 Google Cloud INSIDE Games & Apps OnlineGoogle Cloud Game Servers 徹底入門 | 第 10 回 Google Cloud INSIDE Games & Apps Online
Google Cloud Game Servers 徹底入門 | 第 10 回 Google Cloud INSIDE Games & Apps OnlineGoogle Cloud Platform - Japan
 
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例sairoutine
 
Building the Game Server both API and Realtime via c#
Building the Game Server both API and Realtime via c#Building the Game Server both API and Realtime via c#
Building the Game Server both API and Realtime via c#Yoshifumi Kawai
 
MagicOnion入門
MagicOnion入門MagicOnion入門
MagicOnion入門torisoup
 
ゲーム開発とデザインパターン
ゲーム開発とデザインパターンゲーム開発とデザインパターン
ゲーム開発とデザインパターンTakashi Komada
 
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?京大 マイコンクラブ
 
NextGen Server/Client Architecture - gRPC + Unity + C#
NextGen Server/Client Architecture - gRPC + Unity + C#NextGen Server/Client Architecture - gRPC + Unity + C#
NextGen Server/Client Architecture - gRPC + Unity + C#Yoshifumi Kawai
 
リアルタイムコマンドバトルのゲームで PlayFab を使ってみた
リアルタイムコマンドバトルのゲームで PlayFab を使ってみたリアルタイムコマンドバトルのゲームで PlayFab を使ってみた
リアルタイムコマンドバトルのゲームで PlayFab を使ってみたYutoNishine
 
FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術dena_study
 
ゲーム向けマネジメントツール 「Hansoft」の概要と コンシューマ開発で1年間 運用した事例
ゲーム向けマネジメントツール「Hansoft」の概要とコンシューマ開発で1年間運用した事例ゲーム向けマネジメントツール「Hansoft」の概要とコンシューマ開発で1年間運用した事例
ゲーム向けマネジメントツール 「Hansoft」の概要と コンシューマ開発で1年間 運用した事例Hiroyuki Tanaka
 
Halo2 におけるHFSM(階層型有限状態マシン) 【ビヘイビアツリー解説】
Halo2 におけるHFSM(階層型有限状態マシン)  【ビヘイビアツリー解説】Halo2 におけるHFSM(階層型有限状態マシン)  【ビヘイビアツリー解説】
Halo2 におけるHFSM(階層型有限状態マシン) 【ビヘイビアツリー解説】Youichiro Miyake
 
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術Unity Technologies Japan K.K.
 
UnityでUI開発を高速化した件
UnityでUI開発を高速化した件UnityでUI開発を高速化した件
UnityでUI開発を高速化した件Grenge, Inc.
 
【Unite Tokyo 2018 Training Day】ProBuilderで学ぶレベルデザイン ProBuilderをマスターしよう!
【Unite Tokyo 2018 Training Day】ProBuilderで学ぶレベルデザイン ProBuilderをマスターしよう!【Unite Tokyo 2018 Training Day】ProBuilderで学ぶレベルデザイン ProBuilderをマスターしよう!
【Unite Tokyo 2018 Training Day】ProBuilderで学ぶレベルデザイン ProBuilderをマスターしよう!Unity Technologies Japan K.K.
 
DeNAの最新のマスタデータ管理システム Oyakata の全容
DeNAの最新のマスタデータ管理システム Oyakata の全容DeNAの最新のマスタデータ管理システム Oyakata の全容
DeNAの最新のマスタデータ管理システム Oyakata の全容sairoutine
 
【Unity道場スペシャル 2017京都】最適化をする前に覚えておきたい技術
【Unity道場スペシャル 2017京都】最適化をする前に覚えておきたい技術【Unity道場スペシャル 2017京都】最適化をする前に覚えておきたい技術
【Unity道場スペシャル 2017京都】最適化をする前に覚えておきたい技術Unity Technologies Japan K.K.
 
Unityで始めるバージョン管理 Git LFS 入門編
Unityで始めるバージョン管理 Git LFS 入門編Unityで始めるバージョン管理 Git LFS 入門編
Unityで始めるバージョン管理 Git LFS 入門編NAKAOKU Takahiro
 

Tendances (20)

The Usage and Patterns of MagicOnion
The Usage and Patterns of MagicOnionThe Usage and Patterns of MagicOnion
The Usage and Patterns of MagicOnion
 
Unity対応してるmbass全部紹介する
Unity対応してるmbass全部紹介するUnity対応してるmbass全部紹介する
Unity対応してるmbass全部紹介する
 
Google Cloud Game Servers 徹底入門 | 第 10 回 Google Cloud INSIDE Games & Apps Online
Google Cloud Game Servers 徹底入門 | 第 10 回 Google Cloud INSIDE Games & Apps OnlineGoogle Cloud Game Servers 徹底入門 | 第 10 回 Google Cloud INSIDE Games & Apps Online
Google Cloud Game Servers 徹底入門 | 第 10 回 Google Cloud INSIDE Games & Apps Online
 
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
 
Building the Game Server both API and Realtime via c#
Building the Game Server both API and Realtime via c#Building the Game Server both API and Realtime via c#
Building the Game Server both API and Realtime via c#
 
MagicOnion入門
MagicOnion入門MagicOnion入門
MagicOnion入門
 
ゲーム開発とデザインパターン
ゲーム開発とデザインパターンゲーム開発とデザインパターン
ゲーム開発とデザインパターン
 
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
 
NextGen Server/Client Architecture - gRPC + Unity + C#
NextGen Server/Client Architecture - gRPC + Unity + C#NextGen Server/Client Architecture - gRPC + Unity + C#
NextGen Server/Client Architecture - gRPC + Unity + C#
 
リアルタイムコマンドバトルのゲームで PlayFab を使ってみた
リアルタイムコマンドバトルのゲームで PlayFab を使ってみたリアルタイムコマンドバトルのゲームで PlayFab を使ってみた
リアルタイムコマンドバトルのゲームで PlayFab を使ってみた
 
FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術
 
ゲーム向けマネジメントツール 「Hansoft」の概要と コンシューマ開発で1年間 運用した事例
ゲーム向けマネジメントツール「Hansoft」の概要とコンシューマ開発で1年間運用した事例ゲーム向けマネジメントツール「Hansoft」の概要とコンシューマ開発で1年間運用した事例
ゲーム向けマネジメントツール 「Hansoft」の概要と コンシューマ開発で1年間 運用した事例
 
Halo2 におけるHFSM(階層型有限状態マシン) 【ビヘイビアツリー解説】
Halo2 におけるHFSM(階層型有限状態マシン)  【ビヘイビアツリー解説】Halo2 におけるHFSM(階層型有限状態マシン)  【ビヘイビアツリー解説】
Halo2 におけるHFSM(階層型有限状態マシン) 【ビヘイビアツリー解説】
 
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
 
UnityでUI開発を高速化した件
UnityでUI開発を高速化した件UnityでUI開発を高速化した件
UnityでUI開発を高速化した件
 
【Unite Tokyo 2018 Training Day】ProBuilderで学ぶレベルデザイン ProBuilderをマスターしよう!
【Unite Tokyo 2018 Training Day】ProBuilderで学ぶレベルデザイン ProBuilderをマスターしよう!【Unite Tokyo 2018 Training Day】ProBuilderで学ぶレベルデザイン ProBuilderをマスターしよう!
【Unite Tokyo 2018 Training Day】ProBuilderで学ぶレベルデザイン ProBuilderをマスターしよう!
 
DeNAの最新のマスタデータ管理システム Oyakata の全容
DeNAの最新のマスタデータ管理システム Oyakata の全容DeNAの最新のマスタデータ管理システム Oyakata の全容
DeNAの最新のマスタデータ管理システム Oyakata の全容
 
【Unity道場スペシャル 2017京都】最適化をする前に覚えておきたい技術
【Unity道場スペシャル 2017京都】最適化をする前に覚えておきたい技術【Unity道場スペシャル 2017京都】最適化をする前に覚えておきたい技術
【Unity道場スペシャル 2017京都】最適化をする前に覚えておきたい技術
 
Unityで始めるバージョン管理 Git LFS 入門編
Unityで始めるバージョン管理 Git LFS 入門編Unityで始めるバージョン管理 Git LFS 入門編
Unityで始めるバージョン管理 Git LFS 入門編
 
UE4 MultiPlayer Online Deep Dive 実践編2 (ソレイユ株式会社様ご講演) #UE4DD
UE4 MultiPlayer Online Deep Dive 実践編2 (ソレイユ株式会社様ご講演) #UE4DDUE4 MultiPlayer Online Deep Dive 実践編2 (ソレイユ株式会社様ご講演) #UE4DD
UE4 MultiPlayer Online Deep Dive 実践編2 (ソレイユ株式会社様ご講演) #UE4DD
 

Similaire à PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう

PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020Daisuke Masubuchi
 
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようMicrosoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようHideo Takagi
 
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsMicrosoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsShohei Nagata
 
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報Naoki (Neo) SATO
 
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data LakeAzure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data LakeHideo Takagi
 
Data platformdesign
Data platformdesignData platformdesign
Data platformdesignRyoma Nagata
 
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~Daisuke Masubuchi
 
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~日本マイクロソフト株式会社
 
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)Yosuke Katsuki
 
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現Ryoma Nagata
 
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...Insight Technology, Inc.
 
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)日本マイクロソフト株式会社
 
Microsoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update TopicsMicrosoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update TopicsMicrosoft
 
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門Yoichi Kawasaki
 
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...日本マイクロソフト株式会社
 
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...Daiyu Hatakeyama
 
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~NISSHO USA
 

Similaire à PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう (20)

PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
 
Azure Data Explorer
Azure Data ExplorerAzure Data Explorer
Azure Data Explorer
 
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようMicrosoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
 
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsMicrosoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
 
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
 
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data LakeAzure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data Lake
 
Data platformdesign
Data platformdesignData platformdesign
Data platformdesign
 
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
 
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
 
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
 
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
 
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
 
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
 
Microsoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update TopicsMicrosoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update Topics
 
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門
 
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
 
DLLAB Ignite Update Data Platform
DLLAB  Ignite Update Data PlatformDLLAB  Ignite Update Data Platform
DLLAB Ignite Update Data Platform
 
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
 
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
 
【de:code 2020】 Azure Cosmos DB - Build 2020 アップデート
【de:code 2020】 Azure Cosmos DB - Build 2020 アップデート【de:code 2020】 Azure Cosmos DB - Build 2020 アップデート
【de:code 2020】 Azure Cosmos DB - Build 2020 アップデート
 

Plus de Daisuke Masubuchi

ChatGPTの ビジネス活用とセキュリティ
ChatGPTのビジネス活用とセキュリティChatGPTのビジネス活用とセキュリティ
ChatGPTの ビジネス活用とセキュリティDaisuke Masubuchi
 
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft AzureDaisuke Masubuchi
 
AI に取り組むべき4つの領域
AI に取り組むべき4つの領域AI に取り組むべき4つの領域
AI に取り組むべき4つの領域Daisuke Masubuchi
 
Preview: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Preview: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみようPreview: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Preview: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみようDaisuke Masubuchi
 
Azure インフラの信頼性とガバナンス
Azure インフラの信頼性とガバナンスAzure インフラの信頼性とガバナンス
Azure インフラの信頼性とガバナンスDaisuke Masubuchi
 
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...Daisuke Masubuchi
 
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ マルチプレイサーバー編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ マルチプレイサーバー編 ~2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ マルチプレイサーバー編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ マルチプレイサーバー編 ~Daisuke Masubuchi
 
PlayFabの2020 3月 最新情報
PlayFabの2020 3月 最新情報PlayFabの2020 3月 最新情報
PlayFabの2020 3月 最新情報Daisuke Masubuchi
 
カード収集ゲームにおけるPlayFabの使い方
カード収集ゲームにおけるPlayFabの使い方カード収集ゲームにおけるPlayFabの使い方
カード収集ゲームにおけるPlayFabの使い方Daisuke Masubuchi
 
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築Daisuke Masubuchi
 
韓国オンラインゲームから学ぶアドホックなビックデータ分析
韓国オンラインゲームから学ぶアドホックなビックデータ分析韓国オンラインゲームから学ぶアドホックなビックデータ分析
韓国オンラインゲームから学ぶアドホックなビックデータ分析Daisuke Masubuchi
 
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)Daisuke Masubuchi
 
これからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトこれからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトDaisuke Masubuchi
 
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!Daisuke Masubuchi
 
全部見せ。マイクロソフトのゲーム開発テクノロジー最新Update
全部見せ。マイクロソフトのゲーム開発テクノロジー最新Update全部見せ。マイクロソフトのゲーム開発テクノロジー最新Update
全部見せ。マイクロソフトのゲーム開発テクノロジー最新UpdateDaisuke Masubuchi
 
GDC2019報告会 発表資料(Microsoft 増渕)
GDC2019報告会 発表資料(Microsoft 増渕)GDC2019報告会 発表資料(Microsoft 増渕)
GDC2019報告会 発表資料(Microsoft 増渕)Daisuke Masubuchi
 
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?Daisuke Masubuchi
 
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャーDaisuke Masubuchi
 
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2Daisuke Masubuchi
 
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカーDaisuke Masubuchi
 

Plus de Daisuke Masubuchi (20)

ChatGPTの ビジネス活用とセキュリティ
ChatGPTのビジネス活用とセキュリティChatGPTのビジネス活用とセキュリティ
ChatGPTの ビジネス活用とセキュリティ
 
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
 
AI に取り組むべき4つの領域
AI に取り組むべき4つの領域AI に取り組むべき4つの領域
AI に取り組むべき4つの領域
 
Preview: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Preview: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみようPreview: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Preview: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
 
Azure インフラの信頼性とガバナンス
Azure インフラの信頼性とガバナンスAzure インフラの信頼性とガバナンス
Azure インフラの信頼性とガバナンス
 
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
 
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ マルチプレイサーバー編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ マルチプレイサーバー編 ~2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ マルチプレイサーバー編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ マルチプレイサーバー編 ~
 
PlayFabの2020 3月 最新情報
PlayFabの2020 3月 最新情報PlayFabの2020 3月 最新情報
PlayFabの2020 3月 最新情報
 
カード収集ゲームにおけるPlayFabの使い方
カード収集ゲームにおけるPlayFabの使い方カード収集ゲームにおけるPlayFabの使い方
カード収集ゲームにおけるPlayFabの使い方
 
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
 
韓国オンラインゲームから学ぶアドホックなビックデータ分析
韓国オンラインゲームから学ぶアドホックなビックデータ分析韓国オンラインゲームから学ぶアドホックなビックデータ分析
韓国オンラインゲームから学ぶアドホックなビックデータ分析
 
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
 
これからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトこれからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフト
 
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
 
全部見せ。マイクロソフトのゲーム開発テクノロジー最新Update
全部見せ。マイクロソフトのゲーム開発テクノロジー最新Update全部見せ。マイクロソフトのゲーム開発テクノロジー最新Update
全部見せ。マイクロソフトのゲーム開発テクノロジー最新Update
 
GDC2019報告会 発表資料(Microsoft 増渕)
GDC2019報告会 発表資料(Microsoft 増渕)GDC2019報告会 発表資料(Microsoft 増渕)
GDC2019報告会 発表資料(Microsoft 増渕)
 
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
 
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
 
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
 
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
 

PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう

  • 1. 世界中のゲーム分析をしてきたPlayFabが大進化! 一緒に裏側の最新データ探索の仕組みを覗いてみよう Data is eating the world マイクロソフト グローバルブラックベルトアジア地域 ゲームサーバーアーキテクト 増渕大輔 @dmasubuchi slideshare
  • 2. `本日のお話  第一部: PlayFab Insights  ゲームの BaaS 「 PlayFab 」の分析機能 についてお話します  従来の分析機能が大幅にバージョンアップしました(新機能=PlayFab Insights)  内部には、Azure Data Explorer が使われています。機構をご紹介します  第二部: Azure Data Explorer  Azure Data Explore についてさらにお話します  この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
  • 3. Kusto と Azure Data Explorer の言葉の定義 Kusto は、テレメトリ データをすばやく検索および視覚化するためのビッグデータ ログ検索および分析の社内向けに開 発されたサービスであり、開発コードです 当初はApplication Insightsや、OMS(現 Azure Monitor)のエンジンとして使われました この社内サービス(Kusto)を一般企業向けに提供したものが、Azure Data Explorer です ただし今でも Kusto の愛称で呼ばれることがあります。またツールやクエリーには Kusto の名前が残っています 例: Kusto Explorer、 KQL(Kusto Query Language) 今年リリースされた、PlayFabの新しい分析機能の、PlayFab Insights の基盤は、Azure Data Explorer です
  • 7.
  • 8.
  • 11. PlayStream Event Model reference https://docs.microsoft.com/en-us/gaming/playfab/api-references/events/ PlayFab内のイベントのプロパティ説明 Player、Title、など、PlayFabのデータの概念を理解していると読みとくの はとても簡単です Kusto の概要 https://docs.microsoft.com/ja-jp/azure/data-explorer/kusto/concepts/ Kusto のクエリ言語の説明や、よく使われる テーブル演算子の説明があります チュートリアルやサンプル配下の天気データを用いることで、 実際に手を動かしながらKQLを学ぶことができます
  • 12. ['events.all'] | take 10 // Event list ['events.all'] | distinct FullName_Name // project(“select” in SQL): https://docs.microsoft.com/en-us/azure/data- explorer/kusto/query/projectoperator ['events.all'] | take 10 | project EventData // “dynamic” data type: https://docs.microsoft.com/ja-jp/azure/data- explorer/kusto/query/scalar-data-types/dynamic ['events.all'] | take 10 | project EventData | getschema ['events.all'] | where FullName_Name == 'player_logged_in' | take 10 | project EventData, EventData.Source ['events.all'] | where FullName_Name == 'player_logged_in' | take 10 | project EventData, EventData.Location.CountryCode // extend(define new column): https://docs.microsoft.com/en-us/azure/data- explorer/kusto/query/extendoperator ['events.all'] | where FullName_Name == 'player_logged_in' | take 10 | project EventData | extend ipv4adress = tostring(EventData.IPV4Address) | extend CountryCode = tostring(EventData.Location.CountryCode) | extend Timestamp = todatetime(EventData.Timestamp) // DAU, NRU, Retention rate, Churn rate let startdate = datetime(2020-03-01); let enddate = datetime(2020-06-30); ['events.all'] | where FullName_Name == 'player_logged_in' | evaluate activity_metrics(Entity_Id, Timestamp, startdate, endofday(enddate), 1d) //| render timechart // DAU, NRU, Retention rate, Churn rate by Country let startdate = datetime(2020-03-01); let enddate = datetime(2020-06-30); ['events.all'] | where FullName_Name == 'player_logged_in' | extend CountryCode = tostring(EventData.Location.CountryCode) | evaluate activity_metrics(Entity_Id, Timestamp, startdate, endofday(enddate), 1d, CountryCode) //| render timechart // DAU by country let startdate = datetime(2020-03-01); let enddate = datetime(2020-06-30); ['events.all'] | where FullName_Name == 'player_logged_in' and Timestamp between (startdate .. endofday(enddate)) | extend CountryCode = tostring(EventData.Location.CountryCode) | summarize dcount(Entity_Id) by CountryCode, bin(Timestamp, 1d) | project Timestamp, CountryCode, dcount_Entity_Id // Power BI ['events.all’] | where Timestamp > ago(7d) PlayFabイベントに関する情報 詳しくは・・・ https://docs.microsoft.com/en-us/gaming/playfab/api-references/events/
  • 13.
  • 14. 以前のPlayFab • モバイル/カジュアル中心 • 小規模組織 • PlayFab 自身の情報が把握しにくかった • 高度な分析ニーズはなかった Microsoft への合流後 • AAAのタイトルのニーズ急増 • マルチプレイやチャットなど、PlayFab のワー クロードが多様化 • データサイエンティストがいる スタジオの高度な分析機会 • PlayFab 運営チーム自身が顧客の状況をリアル タイムで把握できるように
  • 15. データの量・質が増えたら、分析手法も変わるべき • PlayFab はもともと分析に強いと好評でした • さらに、Azure に移行したことで、PlayFab Insights (Preview) の提供を開始 • プレーヤーの全体像をより把握しやすくなる • インポート、エクスポートの柔軟性 • 様々なBIツールとの連携 • 機械学習の対応
  • 16. PlayFab Analytics Architecture (high level) PlayStream PlayFab Client SDK Game Manager PlayFab.com PlayFab Customer Game Manager Game Manager PlayFab Action Services Ingestion ADX Clusters ADF Proxy PlayFab Services Logs & Metrics CosmosDB Operational logs and metrics Tenancy RTA *ADX - Azure Data Explorer *ADF - Azure Data Factory Warehouse: Reports, Trends etc. AzureBlob Scorecard compute
  • 17. PlayFab Facts / Dimensions PlayFab Analytics (ETL scenarios) PlayFab Client SDK ADX Clusters GDE004 (table per event) CosmosDB ADX Clusters GDEPF001 (follower DB from GDE001) ADF PlayFab Services PlayFab Facts / Dimensions Power BI PF internal reportsPlayFab DB ADX Functions PlayFab Metrics PlayFab Metrics PlayFab Metrics ADF PlayFab Facts / Dimensions PlayFab Facts / Dimensions
  • 18. PlayFab Analytics – direct access Powering analytics with Azure Data Explorer • クエリの埋め込みエクスペリエンス • 保存されたクエリ/レンダリングされたグラフ • データのインポートとエクスポート • スケーラブルなパフォーマンス (IPU メーター) Connectors through Proxy
  • 19. ADX continuous export to Azure Blob Manage Experiments Experience • UI と API を使用する • CRUD API サーフェス • 実験のスケジュール • Expのコンプライアンス • Expのアクセス制御 • コードレスExp • *A&E – Analytics and Experimentation  Variant ID でタグ付けされ た PlayFab Profile (treatment)  Variant ID でタグ付けされ た PlayFab Events  メトリック生成用 Azure BLOB データ  Data Bricks による スコアカード
  • 20. Azure Data Explorer (Kusto) PlayFab Data Governance – GDPR PlayFab.com Game Manager PlayFab APIPurge or Export PlayFab SDK Service Fabric Cluster PCF Command Feed Ingestion Command Actor Orchestrator Actor Table Delete Service CRM Management API PlayFab Webhook Stateful Service (Partitioned by Cluster] Stateless Service Stateful Actor (Partitioned by PlayerId) Stateful Actor Determines Query Execution GDPR compliance for all customers • Data Portability: 顧客データのエクスポートを提供 • Forgottenの権利: すべてのPlayFabテレメトリの顧客データ消去 NGP Compliance (for Xbox Game Studios) • Integrated into Microsoft Privacy Portal DeleteMasterPlayer ExportMasterPlayer
  • 21.
  • 22. `本日のお話  第一部: PlayFab Insights  ゲームの BaaS である PlayFab の分析機能についてお話します  PlayFab は従来の分析機能が大幅にバージョンアップしました  内部には、Azure Data Explorer が使われており、その機構をご紹介します  第二部: Azure Data Explorer  Azure Data Explore (ADX、または Kusto )についてさらにお話します  この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
  • 23. PlayFab 以外もいろいろと使われている ADX Azure Monitor Security Products IoT Office 365 Telemetry Gaming
  • 24.
  • 25.
  • 26. Kusto Basics – What & Why • ビッグ データ ログ検索とテキスト分析 • ログ データへの格納とクエリに最適化 • クラウドベースのサービス • 時系列データへの機械学習が優れている • RDBMSではない • クエリの最適化を可能にするレコードの更新 はサポートしていません • インポート速度が速い(Ingestion の容量が大 きい) • キホンはインメモリーデータベース(階層型 でディスクを組み合わせることも可能) • Azure では、テレメトリ データをモダンな データサービスに格納し、Kusto を使用して 新しいダッシュボードを構築するという大き な流れがあった • KQL(Kusto Query Language)はシンプルで 簡単 • 数十億行を数秒で検索 • Azureのデータセンター内部、ネットワークに 関する深い洞察を得ることができるようにな る • 視覚的なグラフですばやく要約する • 迅速にCSV、Excel、プレーンテキストまたは Power BIにエクスポートすることもできる • 機械学習を応用して、異常検出などの追加の シナリオの実装が簡単 • トラブルシューティングシナリオでかなり役 に立つ
  • 27. Kusto Basics – Terminology  すべてのデータは、固有のクラスターを介してアクセス可能  クラスタにデータベースが含まれる  データベースにテーブルが含まれる  テーブルは、列と行にデータを格納 "表形式のデータ" (Cluster) (Database) (Tables)
  • 28. Kusto Basics – Exploring data  Kusto Explorer でデータの探索を開始する最も簡単な方法  リスト内のテーブルをダブルクリックすることです。 注意!! この方法では実行しないでください
  • 29. Kusto Basics – Exploring data 右のスクショの環境には24億行以上の データが含まれていました! 制限のないクエリを実行すると、GB 相 当のデータが返され、 クラスターリソースが無駄になる可能性 があります (2.4 Billion Rows) ただし、Azure Data Explorer はクラスターのCore 数課金なのでクエリー課金バーストはありません (ご安心ください)
  • 30. Kusto Basics – Pipes & Operators  Kusto のパイプは他のシステムのパ イピング データと同じ (UNIX、 BSD、JUNOS)  パイプは、クエリを非常に読みやす くします  演算子の順序も重要  タイムスタンプwhere句で最初に フィルタリングするのが◎  時間でフィルタリングするように最 適化されています
  • 31. Kusto Basics – Limit Operator  クエリ結果を小さなサイズに制限する。  テーブル内の生データをすばやく確認 でき、データに含まれる内容、構造を 理解できます。  右の場合は、結果をスキミングして、 デバイス名、インターフェイス、説明、 各種カウンタなどの詳細がテーブルに 含まれているかをチェック
  • 32. Kusto Basics – Where Operator 右のスクショでは以下の条件に合致す るルータのみを表示  時間が過去 1 日  tunnel を含まない  ibr と lax を含む
  • 33. Kusto Basics – Summarize Operator Summarize(集計)演算の例  TIMESTAMP列が最も近い時間にラ ウンドされている  T-SQL で DISTINCT を使用する場 合と似ています
  • 34. Kusto Basics – Render Operator Renderでデータをグラフィカルに  右の例は(現在の時間を除く) 7 時間 の データを取得  TIMESTAMP で集計し、棒グラフに表示
  • 35. タイムチャートの例 //performance index % of requests meeting SLA (5 second) request |where context_data_eventTime >= now(-7d) | summarize reqCount = count(), reqCountovr5 = count(request_durationMetric_value > 50000000) by context_data_eventTime bin = time(1h) | extend pctover5s = reqCountovr5 *100.0 / reqCount | extend pctIndex = 100.00 - pctover5s | project context_data_eventTime , pctIndex | render timechart //reliability index - % of failed requests request | where context_data_eventTime >= now() -time(7d) | summarize reqCount = count(), reqError = count(request_responseCode >= 500) by context_data_eventTime bin = time(1h) | extend relIndex = reqError *100.00 / reqCount | extend reliabilityIndex = 100.00 - relIndex | project context_data_eventTime , reliabilityIndex |render timechart
  • 39. “Digital feedback loops help you better engage with your customers, empower your employees, optimize your operations, and reinvent products and business models” S. Nadela
  • 40. Log files Spatial & GPS coordinates Data market feeds eGov feeds Weather Text/image Web 2.0Advertising Mobile Collaboration eCommerce Web logs Digital Marketing Search Marketing Recommendations 40 More decision makers BigData Megabytes Gigabytes Terabytes Petabytes Data Complexity: Velocity, Variety ERP/CRM Payables Payroll Inventory Contacts Deal Tracking Sales Pipeline Click streams Wikis, Blogs Sensors/RFID/ Devices Social Sentiment Audio/Video
  • 42. Any append- only stream of records Relational query model: Filter, aggregate, join, calculated columns, … Fully- managed Rapid iterations to explore the data High volume High velocity High variance (structured, semi- structured, free-text) PaaS, Vanilla, Database Purposely built 1センテンスで理解するADX
  • 43. • メトリックと時系列データ • テキスト検索とテキスト分析 • 多次元/リレーショナル分析 Comprehensive Strength • シンプルで強力なデータ探索 • リッチ リレーショナル クエリ言語 • 全文検索 • ML Extentionの拡張性 • SQL/TDS エンドポイント Analytics Query language • 低遅延インジェズレーション • 圧縮とインデックス作成 • 自動保持(リテンション設定) • Hot/cold resource アロケーション Data Ingestion and Management • ハードウェアでスケールアウト • ジオ全体でスケールアウト • 細かいリソース使用率制御 • クロスジオでのクエリ High performance over large data sets Azure Data Explorer A big data interactive platformAzure Data Explorer の内部の構造 Ingestion Dev/BI Tools
  • 44. Telemetry Analytics for internal Analytics Data Platform for products AI OMS ASC Defender IOT Interactive Analytics Big Data Platform 2015 - 2016 Israelの研究所で行われた社内のインキュ ベーションプログラム マイクロソフト社内のデータ分析プラッ トフォームを作るビジョンで開始された 2019 サードパーティのオファーを試験運営 Operational Management Suite/Application Insightsにまたがる統合プラットフォーム クライアント/サーバー・セキュリティー を介してブリッジされるシナリオに拡張 (IoT、テレメトリーシナリオ) 2017 パブリックプレビューは2018年後半 GAは、2019年 Kusto (現ADX)の生い立ち
  • 45. 昔々、VSTSサービス停止とスローダウン障害発生  SQL Azure クエリ プロセッサの互換性レベルを 100 (SQL Server 2008) から 120 (SQL Server 2014) に変更  SQL Server 2014 クエリ オプティマイザは、カーディナリティの推定値に大幅な変更があった  これは、クエリのメモリアロケーション算定に使用されました  (ワーキングメモリのディスクへの流出を避けるためにクエリのメモリを事前に計算している)  処理に必要なクエリのメモリ許可の推定値が以前の小さな値から 3.5 GB に急増  メモリ不足を防ぐため、クエリを実行する前にバックアップされシリアル化される可能性が発生  これによる、ジョブの渋滞が発生  お客様の要求がタイムアウト/失敗  解決方法はクエリに使用する最大メモリ付与をクエリ オプティマイザーに伝えるヒントを追加する Blog: https://devblogs.microsoft.com/bharry/vs-team-services-incidents-on-feb-3-4/
  • 46. (続き)  SQL の互換性レベルを変更する前に、すべての SQL 待機タイプを確認  上位の待機タイプが CXPACKET であり、並列化された部分が別の並列部分の完了を待機している  RESOURCE_SEMAPHOREで待機しているものを見ることによってさらに掘削すると、prc_UpdateIdentitiesが支配的  sproc に対するメモリ許可要求のタイム チャートを見ると、 SQL compat レベルに変更した瞬間から巨大なスパイクが発生 Blog: https://devblogs.microsoft.com/bharry/a-bit-more-on-the-feb-3-and-4-incidents/
  • 47. https://devblogs.microsoft.com/bharry/a-bit-more-on-the-feb-3-and-4-incidents/ * Microsoft Edge にて機械翻訳をしています Brian February 6th, 2016
  • 48. 弊社サービスのボリューム例 (5-6年前) 1 MILLION 1 秒あたりのイベント数 78 TB 1 日あたりに取り込むデータ 20 PB 2013年 XX 月の処理データ合計 99.99% 2013年 XX 月以降のコレクターの可用性 75 SECONDS PUB-SUB へのイベントの 99.9% の待機時間 390 MILLION デバイスとサービスの接続の数 1.8 MILLION データ サービスに対する 1 日あたりのクエリ 1000 VIEWS ポータルの 1 日あたりのページ ビュー このような巨大SaaSサービスがAzure Data Explorer(ADX)のユーザーです 最近は、社内の承認アプリや Oderアプリにも使われ始めています
  • 49. Azure Data Explorer を使う主な目的 素晴らしいクラウドサービスを開発・運用するチームづくりには絶対に必要 1. Monitorするため 品質、製品健全性、ユーザーインサイト、ビジネス指標における監視とアクション 2. Correlate による作業効率化 クラウド、モバイル、Web アプリ間のデータの意味付け 3. Security を確保するため 準拠した方法でのコンシューマ・企業データのセキュリティ 4. Interop で好きなツールやデータにつなぐため 他のデータ セットおよびテクノロジとの相互運用
  • 50. Engineer Raw Data Cooked Data Alerts Dashboards Cosmos Data Apps Diagnostics Services Data Processing “Analyze” “Debug” “Mine” “Glance” “Monitor” Data Information データサイエンティストやビジネ スアナリストの助けを借りて チームは、KPI から開始し、ドリルダウンして実行可能な ステップを特定し、優先順位を付け、洞察を得ることが できる エンジニアは 彼らが素早く洞察を得ること ができる 魔法はここで起こる 生データを、迅速に問い合わせることができる意味の ある洞察に変換する IntelligenceInsight Democratize access to data-driven insight データに関する深い専門知識, 洗練された分析 “Log” Service/Client Feedback “Tune” Clients 高レベルのシナリオをサポート 監視、診断、軽減、異常検出、実験、本番でのテスト KPI 主導のアクション
  • 52. 2019 GA 以降、徐々に 顧客事例登場  クラウド化  巨大化するサービス  デジタルデータ肥大化  データ活用の重要性 大規模なIoTアプリケーション > 数十億のセンサー、製造設備、車両からのテレメトリー監視 ビッグ データ ログの分析が必要な企業 > アドネットワーク、オンラインゲーム、ニュースサイト等 推奨コンテンツ、異常検知、データサイエンティスト負荷軽減 成長したSaaSアプリケーション > トレンドの発見、パーソナライズされた体感の提供
  • 53. Azure Data Explorer Estimating costsコスト計算ツール  https://aka.ms/adx.cost
  • 55. 注意: ADXはデータウェアハウス処理が苦手です Modern data warehousing Real-time analytics リアルタイムで様々な サービス、デバイスから 洞察を得る Machine Learning 高度な異常検知のための 分析プラットフォーム 複数のソースから、さまざま な形式でデータを分析 ここが得意
  • 57. ジャック=イヴ・クストー Jacques-Yves Cousteau 彼の名前が由来のようです( precision_score = ??? ) 1930年にフランス海軍に参加。潜水用の呼吸装置スクーバ(商品 名:アクアラング)の発明者の一人として知られる。 水中考古学を始めた人物でもある。 1957年、海軍大佐で海軍を退役し、モナコ海洋博物館長に就任。 1959年海の国連と呼ばれる世界水中連盟CMASを創設。1971年に ベリーズのグレート・ブルーホールを訪れ、世界のトップダイビン グスポットに選定した[1]。1992年の地球サミットで環境破壊・海 洋汚染を警告し、母国フランスの核実験再開を激しく批判。 赤いニット帽がトレードマーク。「海の恋人」と呼ばれていた。 (日本版Wikipediaより抜粋) “Explore the ocean of data” という言葉を残してます
  • 58. Explore the ocean of data with Kusto
  • 59. ThinkIT紙にご紹介いただきました 山田様・宮城様のビックデータ基盤の記事に Azure Data Explorer が取 り上げられました。Microsoft Azure、GCP(Google Cloud Platform)、 AWS(Amazon Web Services)の3社が展開する基盤の比較も掲載予定 https://thinkit.co.jp/series/9868
  • 60. Product  Product Page: http://aka.ms/AzureDataExplorer  Docs: https://aka.ms/adx.docs  Pricing Page: https://azure.microsoft.com/en-us/pricing/details/data-explorer/  Cost Estimator: http://aka.ms/adx.cost Demos  Scott Guthrie’s Keynote (ADX Announcement/Demo)  Rohan Kumar’s Keynote (ADX Announcement/Demo)  Scott Guthrie’s in Techorama (Scott’s demo) Blogs  Announcement: https://azure.microsoft.com/en-in/blog/introducing-azure-data-explorer/  Whitepaper: https://azure.microsoft.com/en-us/resources/azure-data-explorer/en-us/  101 blog: https://azure.microsoft.com/en-us/blog/azure-data-explorer-technology-101/ Social and Community  Twitter: @AzDataExplorer  Stack overflow: https://stackoverflow.com/search?q=Azure+Data+Explorer  Tech Community: https://techcommunity.microsoft.com/t5/Azure-Data-Explorer/bd-p/Kusto リンク集