2012/07/14 オープンセミナー2012@香川 ライトニングトーク GAE/Goで限界に挑戦してみた。

1. GAE/GOで限界に
挑戦してみた
オープンセミナー2012@香川
ライトニングトーク
2012/7/14

2. 自己紹介
ハンドル：ちいといつ
所属？：GDG神戸のあたりでごにょごにょ
属性：制御系よりのプログラマー
最近はAndroid …… かりません orz
Twitter : titoi2
ブログ：http:/ /barsoom.seesaa.net/

3. 本日のお題
「GAE/Goで限界に挑戦してみた」
GAEとは？
google app engine の略，googleの提供するクラ
ウドサービス

4. GAE/GOとは
GAE には，Python, Java, Go の三つの言語用
SDKが提供されている。
GAE/Go はもちろんGo言語のこと。
みなさんも大好きですよねGo言語。

5. GAE各言語比較
言語 実行速度 ライブラリ 情報
Python × ⃝ ⃝
Java ⃝ ◎ ◎
Go ◎ △ ×

6. 一目瞭然
GAE は Go を選ぶ
しか無いですよね？

7. GAE/GOの事例
GAE/Goなんて実際に使われているのか？
僕が使ってます。
（ここでどや顔）

8. GAE/GOの事例
Android用の青空文庫ビューアを作成。
「A・文庫」https://play.google.com/store/apps/details?id=jp.aboutsoft.android.bunkoreader
青空文庫の書籍データベースをクラウドに構
築。

9. システム
クラウド 青空文庫サーバ
書籍データベース データベースはほぼ毎日更新
書籍データベース 取得
GAE/Go
作品ダウンロード
作品検索
Android Android Android
端末 端末 端末
A・文庫 A・文庫 A・文庫

10. 実際の検索画面
著者検索画面 書籍一覧画面

11. 青空文庫とは
青空文庫とは著作権の切れた文学作品などを
電子化して公開しているインターネット図書
館。
現在，約１万２千作品ほど。
来年は吉川英治も公開される予定。

12. GAEの問題点
GAEは有料のクラウドサービス。ですが，あ
る程度まで無料で使える。
しかし，無料で使えるリソースが少なすぎ
る。

13. GAEの問題点
特に，データベースへの読み書き操作が一日
にそれぞれ５万回まで。

14. ５万回も書けるやん？
書籍情報のレコード
type EntityBooks struct {
１５カラムのレ
Id string // 作品ID
Title
Yomi
string // 作品名
string // 作品名読み コードが二千件
Subtitle string // 副題
Subtitle_yomi string // 副題読み
Type_characters_doing string // 文字遣い種別 も書けませんで
Yomi_order string // ソート用読み
Original_title
File_last_update
string // 原題
string // テキストファイル最終更新日 した。orz
Text_encoding string // テキストファイル符号化方式
Text_character_set string // テキストファイル文字集合
File_url string // テキストファイルURL
Release_date string // 公開日
Author_id string // 著者ID
Author_name string // 著者名
}

15. あかんやん
一日に二千件しか書けなかった
ら，青空文庫の１万２千件登録
するだけで６日はかかる。

16. ちょっと調べてみた
・カラム数が多いせい？
・どうやらレコードのカラム数が多いと，操
作数の消費が増えるらしい。

17. そこで
無料の５万回で，どんなけ書ける
のか調べてみた。

18. 調査方法
・カラム数が異なる数種類のレコードを用
意。
・GAE/Goの無料枠内で何レコード書けるか
調査。
・書けたレコード数とかかった時間を計測。

19. 調査内容
・文字列カラム数が１，２，４，８個の４種類のレコード
を用意。
データサイズにも影響されるかも？
・ケース１：各文字列カラムに”あ” １文字をセット
・ケース２：各文字列カラムに”あ” ５００文字をセット
・実行はbackends のB2で行う。

20. 調査結果
カラム数 文字列長 レコード 時間
1 1 12742 （秒）
数 547
1 500 13124 555
2 1 8638 393
2 500 8515 398
4 1 5199 232
4 500 5082 237
8 1 3218 131
8 500 3107 132

21. 結論
・カラム数が増えると，５万操作で書けるレ
コード数は減っていく。
・文字列の長さ１と５００では差は無いよう
だ。

22. カラム数は減らそう
書籍情報のレコード
type EntityBooks struct { type EntityBooks struct {
Id string // 作品ID Yomi_order string // ソート用読み
Title
string // 作品名 Info string // 書籍情報
Yomi string // 作品名読み }
Subtitle string // 副題
Subtitle_yomi string // 副題読み
Type_characters_doing string // 文字遣い種別
Yomi_order string // ソート用読み 二日で書き込めた
Original_title string // 原題
いえいι(｀ﾛ´)ノ
File_last_update
string // テキストファイル最終更新日
Text_encoding string // テキストファイル符号化方式
Text_character_set string // テキストファイル文字集合
File_url string // テキストファイルURL
Release_date string // 公開日
Author_id string // 著者ID
Author_name string // 著者名
}