第16回　岡山Ruby, Ruby on Rails勉強会発表スライド。デモを挟まないと無いと全然面白くないですが、一応アップしておきます。

1. Rubyを用いた統計的処理と構文解析
2014/07/26
第16回 岡山Ruby, Ruby on Rails勉強会
貞松 政史 (＠sady_nitro)

2. 自己紹介
•貞松 政史 (@sady_nitro)
•＃R社
•仕事では専らマイクロソフト製品を利用
•趣味で色々な技術をちょっとかじっては飽きる
多芸は無芸を地でいく、自作自演何でも屋
(最近Raspberry Pi買いました)

3. たのしいRuby読書会参加してます
http://www.circleaf.com/groups/22

4. 本セッションの目的
•発端はオープンセミナー岡山のLT
•OITECでの登壇から中1週間で若干後悔している
•オープンセミナー岡山でやったネタの裏側について
詳細説明
•しようと思ってたけどポカーン枠になること請け合い
なので、OSOのLTで使用した技術の中から
ピックアップして入門編的内容で構成
•統計的手法とか機械学習げなものに興味を
持っていただければ幸い(今後の布石的に)

5. おしながき
•統計的処理と構文解析
•Rubyを使ってやってみよう
•classifierで単純なベイジアンフィルタ
•Mecabを使って構文解析
•mecab-rubyを導入
•日本語に対してベイジアンフィルタを適用
•まとめ

6. •統計的処理
–経験的に得られたバラツキのあるデータから、
応用数学の手法を用いて数値上の性質や
規則性あるいは不規則性を見いだす
•構文解析
–ある文章の文法的な関係を説明すること
–計算機の世界ではおなじみ(コンパイラ・パーサー)
–最近(?)は自然言語処理の分野で注目されている
統計処理と構文解析

7. Rubyを使ってやってみよう
•ベイジアンフィルタ
–単純ベイズ分類器を応用し、対象となるデータを解析・学習し
分類する為のフィルタ。学習量が増えるとフィルタの分類精度
が上昇するという特徴をもつ。
個々の判定を間違えた場合にはユーザが正しい内容に
判定し直すことで再学習を行う。
•文章の分類
–スパムフィルタなどが一般的

8. ベイジアンフィルタの実装
•単純ベイジアン分類器
–単純ベイズ確率モデル
–確率モデルを基にした分類器

9. classifierで単純なベイジアンフィルタ
•classifier
–https://github.com/cardmagic/classifier
–Rubyでベイジアンフィルタを扱うためのgem
•まずは英文を分類
–理由は後ほど説明
–比較的簡単にベイジアンフィルタを適用できる

10. 日本語の文章にベイジアンフィルタを適用するには
•日本語の文章の特徴
–単語が空白で区切られていない
–“わかち書き”なるものに変換する必要がある
•わかち書き
–文章において語の区切りに空白を挟んで記述する

11. Mecabを使ってわかち書き
•Mecab(和布蕪)
–http://mecab.googlecode.com/svn/trunk/mecab/doc/index.
html
–オープンソースの形態素解析エンジン
–インストールが比較的容易
–わかち書きするだけならとても容易

12. mecab-rubyを導入
•mecab-ruby
–MecabをRuby上で扱うためのgem
–毎回インストール(コンパイル)に苦戦する

13. 日本語に対してベイジアンフィルタを適用
•mecab-rubyでわかち書き
↓
•classifierでベイジアンフィルタを適用
↓
•日本語の文章を分類
•Rubyのコード内で完結！

14. せっかくだから学習させてみる
•学習データの保存
•分類したい文章を標準入力
•分類結果を出力
•ちょっとした機械学習の出来上がり！

15. まとめ
•機械学習とあわせて何かと流行りの
統計的手法や自然言語処理
•Rubyを使うと、便利なgem(他力)により
比較的容易に日本語の文章にベイジアン
フィルタを適用することができる