Rubyのままで速くなる方法

1. 明日使える超高速 Ruby
～ Ruby で Xbyak ～
2009/10/22
id:n_shuyo / @shuyo
中谷 秀洋＠サイボウズ・ラボ

2. 最近のマイブーム

3. 機械学習
自然言語処理

4. なんかこんな本
• Introduction to Information Retreival(IIR)
• パターン認識と機械学習(PRML, ぷるむる)
• とか

5. なんかこんなやつ
• ロジスティック回帰
• パーセプトロン
• ニューラルネットワーク
• サポートベクトルマシン(そのうち)

6. 読んでるだけではよくわからない
• めっちゃ数式いっぱい
– 関数解析/線形代数/確率分布
– 最適化(プログラムのそれとは違うよ！)
– ラグランジュ未定乗数法
• よく知らない概念いっぱい
– ベイズ理論
– 回帰分析
– 確率過程
– カーネル法

7. 実装してみると
わかる（こともある）

8. Rubyで実装
• これが間違い（＞＜

9. Rubyはつらいよ……

10. MNISTデータセット(手書き数字)
• ニューラルネットワークによる学習
– 入力 : 28x28(ピクセル)
– 中間層 : 300
– 出力 : 10 (0～9 の判別)
– 枝の本数 W = 27万
• ６万件の学習(一周)に24時間
– 計算量が O(W^2)!
– Rubyの範囲での最適化はやりつくしたつもり
• もちろん Ruby1.9

11. Rubyにもいいところはある
• ネットワーク構造をDSL で表現！
– ネットワークを変えての実験が容易
# units
in_units = [Unit.new("x1"), Unit.new("x2")]
hiddenunits = (1..6).map{|i| TanhUnit.new("z1#{i}")}
out_unit = [SigUnit.new("y1")]
# network
network = Network.new(:error_func=>ErrorFunction::CrossEntropy)
network.in = in_units # 入力
network.link in_units, hiddenunits # 入力 → 隠れユニット
network.link hiddenunits, out_unit # 隠れユニット → 出力
network.out = out_unit # 出力

12. そうは言っても、速さは正義
• 少なくとも何百回とか学習が必要
– パラメータを変えながら交差検定とかしたい
• やっぱりC++で実装するか……
– Rubyの100倍～1000倍違うし
• 24時間/100 = 15分
– Rubyのお手軽さは捨てがたくもある
• C++はいちいちコンパイル
– C++に逃げたらなんか負けた気がする
• naoya_tさん曰く「リニアに速くなるだけでしょ？」

13. Rubyのままで
速くなる方法は
ないのか？

14. RubyでXbyak

15. Xbyak(カイビャック)
• 実行バイナリ(ネイティブコード)を動的に生
成するC++ライブラリ
• つまり JIT (Just in Time compiler)
• C++より速い
– C++のライブラリなのに!?
– もちろんRubyなんかメじゃない
• 光成さん(サイボウズ・ラボ)開発
– http://homepage1.nifty.com/herumi/soft/xbyak.html

16. JITってなんだ？

17. JIT=MSXべーしっ君

18. 要するに
「めっっちゃ速い」

19. Ruby で
Xbyak が使えたら
いいんじゃね？

20. RXbyak (Xbyak for Ruby)
• Xbyakを使えるRuby拡張
• Xbyak のネイティブコード生成機能を Ruby
からそのまま利用可能に
• 生成したコードをRubyから呼び出す
– 実装率低め
– 明日まだ使えない！(><
http://github.com/shuyo/cpp/tree/master/rxbyak/

21. ひとことで
いうと

22. RXbyak とは

23. Rubyで
アセンブラが
書ける

24. RXbyak サンプル
• SIMDを使って倍精度の掛け算
– どこからどうみても Ruby のプログラム。
rx = RXbyak.new
rx.mov :eax, [:esp, 8] # mov eax, (esp+8) // 第１引数のポインタ
rx.movq :xmm0, [:eax] # movq xmm0, (eax)
rx.mov :eax, [:esp, 12] # mov eax, (esp+12) // 第２引数のポインタ
rx.movq :xmm1, [:eax] # movq xmm1, (eax)
rx.mulsd :xmm0, :xmm1 # mulsd xmm0, xmm1 // かけ算
rx.mov :eax, [:esp, 4] # mov eax, (esp+4) // 返値のポインタ
rx.movq [:eax], :xmm0 # movq (eax), xmm0
rx.ret # ret
puts rx.call(256.0, 256.0) # => 65536.0
puts rx.call(123.45, 678.9) # => 83810.205
※このサンプルに使われている命令しかまだ実装されていません。

25. 機械学習を
RXbyak で書いたら
「××倍速くなったよ！」

26. まにあわんかった
すまん(汗

27. (参考) Python vs Xbyak
http://labs.cybozu.co.jp/blog/mitsunari/2007/08/ll2007.html

28. 何に使えるの？

29. RXbyakの応用範囲
• 実行時に処理が決まる場合(JIT)
– ニューラルネットワークはグラフが与えられれば
– URI Templates はテンプレートが与えられれば
• 参考：URI Templates のC++(Xbyak)実装
• http://labs.cybozu.co.jp/blog/nakatani/2008/07/uri_template_c_xbyak_jit.html
– 正規表現
• プロセッサを極限まで使い切る！(アセンブラ)
– SIMD(SSE) で浮動小数演算
• 並列演算とか128bit精度とか。SSE4.1 なら内積も１命
令で！
※使用者の感想であり、
効用を約束するものではありません。

30. 本日Mitaka.rb に
参加した皆さんは

31. これでもう

32. 「RXbyak で
高速Rubyコード
書いちゃうぞ～」

33. 明日から
ビュンビュン
ですね！
※2009/10/22現在、
mov(代入) と mul(掛け算) と ret しか実装されていません。

34. ありがとう
ございました