Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
PHP と MySQL で  カジュアルにMapReduce する  (Short Version)   @yuya_takeyama
ショートバージョンで         お送りします•   MyMR on GitHub    https://github.com/yuya-takeyama/mymr•   PHP と MySQL でカジュアルに MapReduce する  ...
お断りビッグデータの話は  ありません
問いMongoDB にあってMySQL にないもの   なーんだ?
構造化データ?自動シャーディング?自動フェイルオーバ?
MapReduce!
それ   もカMapReduce!      ジュ      !!         アル            な
MongoDB は   JavaScript で      カジュアルにMapReduce できる
MySQL でもMapReduce  したい!!!
MySQL でも それ    もカMapReduce       ジュ          アル             に!!  したい!!!
モチベーション•プログラミングモデルとしてのMapReduce を使いたい•   GROUP BY では難しい集計•MySQL を入出力にしたい• LL でサクッとやりたい
モチベーション•プログラミングモデルとしてのMapReduce を使いたい•   GROUP BY では難しい集計•MySQL を入出力にしたい            PHP である必要はあまり無い• LL でサクッとやりたい
MapReduce とは(word count による例)
MapReduce とはデータ処理のためのプログラミングモデル
入力処理の流れ      ↓         Map           ↓        Shuffle           ↓        Reduce           ↓          出力
Map•入力データを受け取り• 複数の Key/Value ペアを出力
•to be or not to be
•<"to", 1>•<"be", 1>•<"or", 1>•<"not", 1>•<"to", 1>•<"be", 1>
Shuffle•Map による Key/Value を• Key ごとにまとめて出力
•<"to", 1>•<"be", 1>•<"or", 1>•<"not", 1>•<"to", 1>•<"be", 1>
•<"be", [1, 1]>•<"not", [1]>•<"or", [1]>•<"to", [1, 1]>
Reduce•Shuffle による中間データを• 集約して答えを出力
•<"be", [1, 1]>•<"not", [1]>•<"or", [1]>•<"to", [1, 1]>
•<"be", 2>•<"not", 1>•<"or", 1>•<"to", 2>
複数の関数の入出力を経て最終的な答えを出力
MySQL でもMapReduceしたい!!! (再)
というわけで作りました
MyMR   https://github.com/yuya-takeyama/mymr•MySQL を入出力とする• PHP で Map/Reduce を書く• コマンドラインで実行
MyMR による処理の流れ•テーブルからレコードを読む•1 行 1 行に Map (PHP) を適用して  中間テーブルへ•MySQL による Shuffle•その結果に Reduce (PHP) を適用して  出力テーブルへ
に よ る yM RM    文章中の単語の数を数える例 (word count)
use MyMRBuilder;                      Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts...
use MyMRBuilder;                      Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts...
use MyMRBuilder;                      Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts...
use MyMRBuilder;                      Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts...
入力•to be or not to be
Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u,                        $record[text]);    foreach ($words ...
Map       レコードを                       連想配列として受け取るfunction ($record, $emitter) {    $words = preg_split(/s+/u,             ...
Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u,                        $record[text]);    foreach ($words ...
Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u,                        $record[text]);    foreach ($words ...
+----+--------------------+Map    | id | text               |       +----+--------------------+       | 1 | to be or not t...
+----+--------------------+Map          | id | text               |             +----+--------------------+             | ...
+----+---------+-------+                            | id | key     | value |Shuffle                      +----+---------+--...
Reducefunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array...
Reduce                 Key      Value の配列function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $...
Reduce                         Value を全て足すfunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        ...
Reducefunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array...
+---------+--------+            | key     | values |Reduce      +---------+--------+            | be      | 1,1    |      ...
+---------+--------+                 | key     | values |Reduce           +---------+--------+                 | be      |...
今後の目標•非同期 INSERT による並列化• Hadoop へのシームレスな移行方法の提供
今後の野望•V8 エンジンとかで•ストレージエンジン API を• カジュアルに叩いて•MapReduce したい
ご清聴 ありがとうございました
Prochain SlideShare
Chargement dans…5
×

PHP と MySQL でカジュアルに MapReduce する (Short Version)

10 457 vues

Publié le

以下のスライドを再編集・一部加筆した Short Version です
http://www.slideshare.net/taketyan/php-mysql-mapreduce

Publié dans : Technologie
  • Follow the link, new dating source: ♥♥♥ http://bit.ly/2ZDZFYj ♥♥♥
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • Dating direct: ♥♥♥ http://bit.ly/2ZDZFYj ♥♥♥
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici

PHP と MySQL でカジュアルに MapReduce する (Short Version)

  1. 1. PHP と MySQL で カジュアルにMapReduce する (Short Version) @yuya_takeyama
  2. 2. ショートバージョンで お送りします• MyMR on GitHub https://github.com/yuya-takeyama/mymr• PHP と MySQL でカジュアルに MapReduce する http://blog.yuyat.jp/archives/1706• もっとカジュアルに PHP と MySQL で MapReduce する http://blog.yuyat.jp/archives/1853• PHP と MySQL でカジュアルに MapReduce する (スライド・Long Version) http://www.slideshare.net/taketyan/php-mysql-mapreduce
  3. 3. お断りビッグデータの話は ありません
  4. 4. 問いMongoDB にあってMySQL にないもの なーんだ?
  5. 5. 構造化データ?自動シャーディング?自動フェイルオーバ?
  6. 6. MapReduce!
  7. 7. それ もカMapReduce! ジュ !! アル な
  8. 8. MongoDB は JavaScript で カジュアルにMapReduce できる
  9. 9. MySQL でもMapReduce したい!!!
  10. 10. MySQL でも それ もカMapReduce ジュ アル に!! したい!!!
  11. 11. モチベーション•プログラミングモデルとしてのMapReduce を使いたい• GROUP BY では難しい集計•MySQL を入出力にしたい• LL でサクッとやりたい
  12. 12. モチベーション•プログラミングモデルとしてのMapReduce を使いたい• GROUP BY では難しい集計•MySQL を入出力にしたい PHP である必要はあまり無い• LL でサクッとやりたい
  13. 13. MapReduce とは(word count による例)
  14. 14. MapReduce とはデータ処理のためのプログラミングモデル
  15. 15. 入力処理の流れ ↓ Map ↓ Shuffle ↓ Reduce ↓ 出力
  16. 16. Map•入力データを受け取り• 複数の Key/Value ペアを出力
  17. 17. •to be or not to be
  18. 18. •<"to", 1>•<"be", 1>•<"or", 1>•<"not", 1>•<"to", 1>•<"be", 1>
  19. 19. Shuffle•Map による Key/Value を• Key ごとにまとめて出力
  20. 20. •<"to", 1>•<"be", 1>•<"or", 1>•<"not", 1>•<"to", 1>•<"be", 1>
  21. 21. •<"be", [1, 1]>•<"not", [1]>•<"or", [1]>•<"to", [1, 1]>
  22. 22. Reduce•Shuffle による中間データを• 集約して答えを出力
  23. 23. •<"be", [1, 1]>•<"not", [1]>•<"or", [1]>•<"to", [1, 1]>
  24. 24. •<"be", 2>•<"not", 1>•<"or", 1>•<"to", 2>
  25. 25. 複数の関数の入出力を経て最終的な答えを出力
  26. 26. MySQL でもMapReduceしたい!!! (再)
  27. 27. というわけで作りました
  28. 28. MyMR https://github.com/yuya-takeyama/mymr•MySQL を入出力とする• PHP で Map/Reduce を書く• コマンドラインで実行
  29. 29. MyMR による処理の流れ•テーブルからレコードを読む•1 行 1 行に Map (PHP) を適用して 中間テーブルへ•MySQL による Shuffle•その結果に Reduce (PHP) を適用して 出力テーブルへ
  30. 30. に よ る yM RM 文章中の単語の数を数える例 (word count)
  31. 31. use MyMRBuilder; Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts);$builder->setOutputTable(root@localhost/db/word_counts);$builder->setMapper(function ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }});$builder->setReducer(function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);});return $builder;
  32. 32. use MyMRBuilder; Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts);$builder->setOutputTable(root@localhost/db/word_counts);$builder->setMapper(function ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) { 入出力テーブルの指定        $emitter->emit($word, 1);    }});$builder->setReducer(function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);});return $builder;
  33. 33. use MyMRBuilder; Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts);$builder->setOutputTable(root@localhost/db/word_counts);$builder->setMapper(function ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    } この辺が Map});$builder->setReducer(function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);});return $builder;
  34. 34. use MyMRBuilder; Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts);$builder->setOutputTable(root@localhost/db/word_counts);$builder->setMapper(function ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }});$builder->setReducer(function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum); この辺が Reduce});return $builder;
  35. 35. 入力•to be or not to be
  36. 36. Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }}
  37. 37. Map レコードを 連想配列として受け取るfunction ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }}
  38. 38. Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }} text カラム内の 文字列をスペースで分割
  39. 39. Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }} Key/Value のペアとして 中間テーブルに INSERT
  40. 40. +----+--------------------+Map | id | text | +----+--------------------+ | 1 | to be or not to be | +----+--------------------+ ↓ レコードを連想配列として Map へ ↓ +----+---------+-------+ | id | key | value | +----+---------+-------+ | 1 | to | 1 | | 2 | be | 1 | | 3 | or | 1 | | 4 | not | 1 | | 5 | to | 1 | | 6 | be | 1 | +----+---------+-------+
  41. 41. +----+--------------------+Map | id | text | +----+--------------------+ | 1 | to be or not to be | +----+--------------------+ ↓ レコードを連想配列として Map へ ↓ +----+---------+-------+ | id | key | value | +----+---------+-------+ | 1 | to | 1 | | 2 | be | 1 | | 3 | or | 1 | | 4 | not value には JSON で入れるので | 1 | | 5 | to 構造化データも使用可能 | 1 | | 6 | be | 1 | +----+---------+-------+
  42. 42. +----+---------+-------+ | id | key | value |Shuffle +----+---------+-------+ | 1 | to | 2 | be | 1 | 1 | | | 3 | or | 1 | | 4 | not | 1 | | 5 | to | 1 | | 6 | be | 1 | +----+---------+-------+ ↓ キーで GROUP BY して ↓SELECT ↓ 値は GROUP_CONCAT ↓ `key`, +---------+--------+ GROUP_CONCAT(`value`) | key | values |FROM +---------+--------+ `中間テーブル` | be | 1,1 | | not | 1 |GROUP BY | or | 1 | `key` | to | 1,1 | +---------+--------+
  43. 43. Reducefunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);}
  44. 44. Reduce Key Value の配列function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);}
  45. 45. Reduce Value を全て足すfunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);}
  46. 46. Reducefunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);} 返り値の連想配列を レコードとして INSERT
  47. 47. +---------+--------+ | key | values |Reduce +---------+--------+ | be | 1,1 | | not | 1 | | or | 1 | | to | 1,1 | +---------+--------+ ↓ キーと値の配列を Reduce へ ↓ +----+---------+-------+ | id | key | count | +----+---------+-------+ | 1 | be | 2 | | 2 | not | 1 | | 3 | or | 1 | | 4 | to | 2 | +----+---------+-------+
  48. 48. +---------+--------+ | key | values |Reduce +---------+--------+ | be | 1,1 | | not | 1 | | or | 1 | 実際にはデリミタとして改行を使用| to | 1,1 | +---------+--------+ 改行区切りの JSON になる ↓ キーと値の配列を Reduce へ ↓ +----+---------+-------+ | id | key | count | +----+---------+-------+ | 1 | be | 2 | | 2 | not | 1 | | 3 | or | 1 | | 4 | to | 2 | +----+---------+-------+
  49. 49. 今後の目標•非同期 INSERT による並列化• Hadoop へのシームレスな移行方法の提供
  50. 50. 今後の野望•V8 エンジンとかで•ストレージエンジン API を• カジュアルに叩いて•MapReduce したい
  51. 51. ご清聴 ありがとうございました

×