データサイエンティストの祭り、「DataPalooza」に参加して、 感じたことのまとめ

1. データサイエンティスト
の今
データサイエンティストの祭り、「Data Palooza」に、
参加してみて感じたことのまとめ

2. モテる、データサイエンティスト
これやれば売上倍増だね！
ここが穴場じゃない？
統計、AI、駆使しちゃうよー
データの意味を見つけちゃうよー
ビックデータを使うシステム
作っちゃうよー
データ見える化しちゃうよー
・・・ビジネス視点
・・・サイエンス視点
・・・エンジニアリング視点
→ この３つの視点を持つことがモテるらしい

3. 掘り下げる
サイエンス
エンジニアリング
SPSS/SAS/R + jupyter notebook
インフラ・・・Hadoop → Apache Spark
Webアプリケーション・・・Python + Tornado
回帰分析
独立性の検定
主成分分析・因子分析
クラスタリング
決定木 / 回帰木
サポートベクターマシン（SVM）
ロジスティック回帰
ランダムフォレスト
アソシエーション分析
計量時系列分析
ソフトウェア
分析手法
https://datascientistworkbench.com
クラウド作業環境（無料）
学習＝mooc（無料）
仕事
http://bigdatauniversity.com
https://deepanalytics.jp/
・・・まだまだ変わっていく！

4. とある日の作業１
上司から無茶振り
「タイ料理が流行ってる、今のうちに原料を買い込むので何を買えば良い？」
「タイ料理で一番使われている原料を探すか」
「どこから探そう」
「料理の原料は、、レシピサイトにありそうだな」
→ レシピサイトからデータ収集しCSV形式で保存
クラウドのデータ分析サービスのdatascientistWorkbentchを起動。
同サービスのjupyter notebookを起動し、
レシピサイトから収集したデータを読み込む
まずは生姜、ショウガ、 Gingerなどの表記乱れをショウガに統一しよう。
→ データクレンジング（ Open refine By google ）
次はRを使って、グルーピングしてカウントを実施。
パクチーが一番多いことが判明！ → 上司に報告

5. とある日の作業２
上司から無茶振り
「パクチー買い込んで大分儲けたわ。でもタイ料理下火になってきたので、次にくる
料理を教えて」
「レシピサイトの全料理の過去の傾向を見て、今後の予測をしてみよう」
どの予測モデルを利用しようかな。下記のようなチートシートを参考にモデルを選択
http://scikit-learn.org/stable/tutorial/machine_learning_map/
→ モデルの学習
インドネシア料理、ベトナム料理？など、上で作ったモデルに当てはめてみる。
→ テストデータを予測
インドネシア料理は８５％の確立で流行る、ベトナムは９０％！
→ 予測結果の評価
上司に報告せず、自分で買い込む。 end

6. とある日の作業（紀元前）
１００万人のデータにアクセスすると、
結果取得に１時間掛かるよ、、分析なんてやってられない（＞＜）
じゃ、パソコンをたくさん用意して、それぞれ別々にデータを格納して、
一度に全部のパソコンにアクセスすれば早くなるんじゃない？
データを別々に格納 → 分散ファイル・システム（HDFS）
一度に全部のパソコンにアクセス → （MapReduce）
これらを統合した技術が、Hadoop
で、MapReduceを改善したものが、Apache Spark、
「僕はHDDなんて遅いのにアクセスしないで、高速なメモリ上で処理を全部やっちゃうよー」
「よし、準備もできたし、分析作業に取り掛かるか」
→ とある日の作業１へ
データエンジニア視点だよ

7. 最後に、うちらこんなん使って分析してます
「jupyter notebook」・・・レポートと数式やプログラミングを一緒に書ける！モテる！