http://atnd.org/events/28303

2. ある朝、こんな電波を受信した
( のヮの) BigDataとセマン
ティックWebですよ!
プロデューサーさん!!
時代はXMLですよ!
よし、分かった!

3. <?xml version="1.0" encoding="UTF-8" ?>
<presentation>
<author twid=”muo_jp”>なかざわ けい / KLab Inc. </author>
<title>キャバァーン!サツバツエアアイオー弐〇壱弐</title>
<まえがき>
Google I/Oで気になったクラウド系セッションのまとめ

4. Google App Engineなど、クラウド系
サービスで気になったセッション

5. Google Compute Engine
Technical Details
http://www.youtube.com/watch?v=ws2VRHq5ars

6. まえがき
Google Compute Engineって何?
→Google App Engine(PaaS)に対してIaaSなサービス。Linux
仮想マシンを作成して自由にソフトインストールした
り実行したり出来る。つまりはAWSのEC2競合
どうやって試せばいいの?
→まだ一般公開されてない。 http://cloud.google.com/
products/compute-engine.html から事前登録受付中

7. GCEの基盤
仮想CPU1枚はHyperThreadingのスレッド1本
KVM+cgroupsで構成(RedHatと連携)
エフェメラルストレージ(インスタンスのローカルディ
スク)、パーマネントストレージ(ネットワーク越しの永
続ストア)共に暗号化して保存
99.999%以上のデータ保持信頼性

8. 超ポイント
パーマネントストレージはRead-Onlyで
複数インスタンスからマウント出来る

9. ネットワーク関連
あるプロジェクト内のインスタンス群はVPNで結ばれる
プロジェクト内に複数のVPNを作ることも出来る(AWS VPCより
はセキュリティグループに近い感じかな…)
他リージョンのインスタンスにもシームレスにアクセス出来る
Googleサービス群へのアクセスレイテンシがかなり小さい
Elastic IPのように、外向けのIPアドレスをアタッチすることで外部
向けサービスを運用出来る
外向きのSMTP通信は禁止されている
通るプロトコルはUDP、TCP、ICMPのみ

10. Q&Aとか雑多に紹介
政府機関で使うためのコンプライアンス規定はクリアしてる?→重要
性は認識してるけどまだ
ロードバランサはある?→まだないけど追加する予定
複数のインスタンスを起動する際に、なるべく同じ物理マシンに割
り当てられるように出来る?→運が良ければ
プロジェクト間の連携はどうやる?→GCEのAPIを使って叩くのが基本
他のGoogleサービス(AppEngineとか)との通信レイテンシは?→かなり
小さい。びっくりするほど小さい
APIセットがEC2の丸パクらしいので移行簡単みたい(事例だと2週間
で運用開始までいけたと)

11. 個人的な使い所
なんでもかんでもIaaSにしないで良い
∵出来合いの処理を実行するならPaaSのほうが安価で安全
データ分析でも、SQLへ落とし込めるならGoogle BigQuery
∵自前でデータ構造を作りこむ必要が無いしメンテも不要
ここで使うと嬉しいはず
App Engineでは書きにくい、独自の処理が必要
x86/x64ネイティブバイナリを実行したい
既存の構成をそのままGoogle基盤上で動作させたい

12. Optimizing Your
Google App Engine App
http://www.youtube.com/watch?v=zQ5_47zy4bY

13. まえがき
皆さんご存知Google App Engine
使い始めてみるとよくある
「あれ?なんか遅くね?」
「あれ?無料枠すぐ無くなるんじゃね?」
これ、いくつかポイントを押さえるだけでかなり解消
出来るよ。という話

14. ポイント
とにかく、課金を減らすためには実行するインスタン
ス数とデータストアアクセスを減らす
データストアの設計と使い方を工夫する
キャッシュ出来るものはキャッシュする
API呼び出し回数を減らす(バッチ処理する)
可能なものは並列(非同期)処理する

15. データストアの設計と
使い方を工夫する
リクエストごとのコール回数を減らす
データ取得には可能な限りfetchではなくキーのid/nameを使う
Pythonの場合、fetchではなくrunを使う(メモリ効率が良い)
ページングにはカーソルを使う(LIMIT/OFFSETを使うとめっ
ちゃ遅い)
構造化データを格納するには埋め込みエンティティを使う
不要なものについてはプロパティのindexed指定をFalseにする
不要なカラムまで取得しないようにする

16. キャッシュ出来るものはキャッ
シュする
Memcacheを使う
よく使われて計算に時間のかかるものを置く
※ただし1MBまでのデータに限る
2ms-5msぐらいはレイテンシがあることに注意
インスタンスキャッシュを使う
可能なものはcache-controlでブラウザキャッシュを使う

17. API呼び出し回数を減らす
(バッチ処理する)
API呼び出しのネットワーク遅延を軽減出来る
対応しているもの
Memcache(get/set)
Datastore(put/get/query)
Taskqueue(add/lease_tasks)
Full Text Search(index.add)

18. 可能なものは
並列(非同期)処理する
CPUがネックとなる処理と、I/Oがネックとなる処理は並列化しやす
い
安易にやるとアプリケーションの作り方(データ間の依存性)によって
はコードを追いづらくなるので要注意
対応しているAPI: Blobstore(create_upload_url_async, delete_async),
Memcache(get/set/delete-multi, incr/decr他), URLFetch, Datastore
コールバック処理を自前で書くか、ndb.taskletを使うか
ndb.taskletを使うと、ある部分のロジックに限定して並列化が可能
https://developers.google.com/appengine/docs/python/ndb/async
コールバックに埋もれて「Σ(ﾟдﾟlll)あぎゃあああ」とならずに済む

20. ＿人人人人人人人人＿
＞ 突然の仕様変更 ＜
￣^Y^Y^Y^Y^Y^Y^￣

21. App Engineに”Server”設定が増える
より良く自動スケールさせるためのもの(導入日程未定)
フロントエンドサーバ、バックエンドサーバなどのコン
ポーネント種別によってどのようなスケールをさせるか、
という設定は異なる
これをコンポーネント種別ごとに設定出来るようにするの
が"Server"
例えば、フロントエンドは小規模のインスタンスを最低
25個アイドル状態に、解析用バックエンドは大規模インス
タンスを10個固定で、といった設定が出来るようになる

23. </まえがき>

24. キャバァーン!
サツバツエアアイオー弐〇壱弐
@muo_jp(なかざわ けい) / KLab Inc.

25. キャバァーン?

26. ご存知ですか?

27. 特に関係ありません

28. 現地行く?遠隔で観る?
Google I/O

29. Google I/Oの楽しみ方
現地を楽しむ
セッションを聞く
85%
15%

30. 現地の楽しみ方
現地企業を訪問する(TwitterとかFacebookとかGoogleとか
Appleとか、可能な場合)
ベンダー主催のパーティーに参加する
観光名所を観てﾋｬｯﾊｰする
カニ食べてﾋｬｯﾊｰする
クラムチャウダー食べてﾋｬｯﾊｰする
現地の日本食をdisって海原雄山ごっこする

31. これだけでも一度行く価値ある

32. 一方セッションは
◎ リアルタイムに質問出来る
× ネット回線(Wi-Fi)が酷く使えない状態なので関連事項を
ネットで調べるの辛い
× 会場が空いているうちにご飯を食べようと思うと、セッ
ション中座が当たり前
× 超人気セッション(ADKとか)になるとかなり前から並ぶ
のでセッション中座が当たり前
× セッション始まって序盤で「これはチョイス外したΣ(ﾟдﾟ
lll)」と思ったらセッション中座が当たり前

33. ☝( ◠◠ )☝ めっちゃストレス

34. セッション中座が当たり前

35. なら会期後に動画でおk

36. でもセッション観るのに
時間かかるよね

37. 問題無い( ｰ`дｰ́)ｷﾘｯ

38. 動画4つぐらいは案外同時に観れる

39. いやいや無理やで

40. かといってYouTubeで観るのも
シーン飛ばしたり戻したりめんどい

41. は 屋
動画は動画プレイヤー

42. 用意するのは、どのご家庭にも
あるVLC(フリー動画プレイヤー)
•再生速度変更機能(x0.5, x1.0, x1.5, x2.0)
•4秒飛ばす/戻すなど、かゆいところに手が届く機能
•豊富なショートカット編集機能

43. ←お勧めショートカット

44. あと、動画本体のダウンロード。
これは合法行為(2012/07/21時点)です

45. クラウド系(GAE/GCE/GCS)
セッションは18本(720pで10GB)

46. 発表準備にあたり観たのは8本

47. 基本x1.5再生 → キーでスキップして
興味惹かれるスライドあればちょい戻る

48. かかったのは3時間弱

49. なんとかなる

50. I/O初日
I/O Extendedというイベントが

51. エアI/Oですよ

52. ←気付いたらめっちゃツイートしてた
http://twilog.org/muo_jp

53. 正直めっちゃ楽しかったっす(*́ω`*)

54. 少しだけその様子を紹介

56. I/O初日は
6/27の深夜スタート

71. 超楽しかった(*́ω`*)

72. そんなわけで

74. ものを作って公開
するまでがI/Oです
(超意訳)

75. 俺達のI/O(主にO)はまだ始まったばかりだ!!
Google先生の次回作にご期待ください

76. <thanks for=”listening” />
</presentation>