Soumettre la recherche
Mettre en ligne
TokyoR LT Rで連続データを離散化
•
5 j'aime
•
3,812 vues
tetsuro ito
Suivre
2015/10/10 Tokyo.R #51のLT資料です
Lire moins
Lire la suite
Données & analyses
Signaler
Partager
Signaler
Partager
1 sur 18
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Visual Studio CodeでRを使う
Visual Studio CodeでRを使う
Atsushi Hayakawa
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
負の二項分布について
負の二項分布について
Hiroshi Shimizu
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Kosuke Shinoda
PRML8章
PRML8章
弘毅 露崎
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
takehikoihayashi
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
Recommandé
Visual Studio CodeでRを使う
Visual Studio CodeでRを使う
Atsushi Hayakawa
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
負の二項分布について
負の二項分布について
Hiroshi Shimizu
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Kosuke Shinoda
PRML8章
PRML8章
弘毅 露崎
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
takehikoihayashi
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
Rで学ぶロバスト推定
Rで学ぶロバスト推定
Shintaro Fukushima
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
tanutarou
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
hoxo_m
質的変数の相関・因子分析
質的変数の相関・因子分析
Mitsuo Shimohata
Prophet入門【理論編】Facebookの時系列予測ツール
Prophet入門【理論編】Facebookの時系列予測ツール
hoxo_m
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
劣微分
劣微分
ShintaUrakami
セミパラメトリック推論の基礎
セミパラメトリック推論の基礎
Daisuke Yoneoka
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
Hiroshi Shimizu
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
nocchi_airport
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
Rによる高速処理 まだfor使ってるの?
Rによる高速処理 まだfor使ってるの?
jundoll
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
nishioka1
最適輸送の解き方
最適輸送の解き方
joisino
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
Ken'ichi Matsui
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
Takashi Yamane
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
機械学習 入門
機械学習 入門
Hayato Maki
20150217 イタンジプログラミング講座テキスト第3回
20150217 イタンジプログラミング講座テキスト第3回
Yusuke Yokozawa
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
Kazuto Kusama
Contenu connexe
Tendances
Rで学ぶロバスト推定
Rで学ぶロバスト推定
Shintaro Fukushima
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
tanutarou
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
hoxo_m
質的変数の相関・因子分析
質的変数の相関・因子分析
Mitsuo Shimohata
Prophet入門【理論編】Facebookの時系列予測ツール
Prophet入門【理論編】Facebookの時系列予測ツール
hoxo_m
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
劣微分
劣微分
ShintaUrakami
セミパラメトリック推論の基礎
セミパラメトリック推論の基礎
Daisuke Yoneoka
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
Hiroshi Shimizu
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
nocchi_airport
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
Rによる高速処理 まだfor使ってるの?
Rによる高速処理 まだfor使ってるの?
jundoll
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
nishioka1
最適輸送の解き方
最適輸送の解き方
joisino
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
Ken'ichi Matsui
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
Takashi Yamane
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
機械学習 入門
機械学習 入門
Hayato Maki
Tendances
(20)
Rで学ぶロバスト推定
Rで学ぶロバスト推定
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
質的変数の相関・因子分析
質的変数の相関・因子分析
Prophet入門【理論編】Facebookの時系列予測ツール
Prophet入門【理論編】Facebookの時系列予測ツール
Stanコードの書き方 中級編
Stanコードの書き方 中級編
劣微分
劣微分
セミパラメトリック推論の基礎
セミパラメトリック推論の基礎
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
Stan超初心者入門
Stan超初心者入門
Rによる高速処理 まだfor使ってるの?
Rによる高速処理 まだfor使ってるの?
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
最適輸送の解き方
最適輸送の解き方
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
機械学習 入門
機械学習 入門
Similaire à TokyoR LT Rで連続データを離散化
20150217 イタンジプログラミング講座テキスト第3回
20150217 イタンジプログラミング講座テキスト第3回
Yusuke Yokozawa
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
Kazuto Kusama
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
DNA Data Bank of Japan center
Rubyの仕事で食べていくために僕らは!
Rubyの仕事で食べていくために僕らは!
Ouka Yuka
PHPerのためのpostgresqlチューニングmini
PHPerのためのpostgresqlチューニングmini
Takhisa Hirokawa
YAPC::Hokkaido 2016 「普段使い言語環境」更新によるスキルリセットサバイバルガイド
YAPC::Hokkaido 2016 「普段使い言語環境」更新によるスキルリセットサバイバルガイド
keroyonn
20170527 inside .NET Core on Linux
20170527 inside .NET Core on Linux
Takayoshi Tanaka
"Continuous Publication" with Python: Another Approach
"Continuous Publication" with Python: Another Approach
Daisuke Miyakawa
[db tech showcase Tokyo 2014] L34: そのデータベース 5年後大丈夫ですか by 日本ヒューレット・パッカード株式会社 後藤宏
[db tech showcase Tokyo 2014] L34: そのデータベース 5年後大丈夫ですか by 日本ヒューレット・パッカード株式会社 後藤宏
Insight Technology, Inc.
2011年10月21日
2011年10月21日
nukaemon
MapReduce/YARNの仕組みを知る
MapReduce/YARNの仕組みを知る
日本ヒューレット・パッカード株式会社
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Tokoroten Nakayama
Rubyの会社でPythonistaが三ヶ月生き延びた話
Rubyの会社でPythonistaが三ヶ月生き延びた話
Drecom Co., Ltd.
今から始めるDocument db
今から始めるDocument db
Kazunori Hamamoto
Hadoop事始め
Hadoop事始め
You&I
nomlab_okayamaruby_slide
nomlab_okayamaruby_slide
nomlab
DLR言語によるSilverlightプログラミング
DLR言語によるSilverlightプログラミング
terurou
Nishimotz pycon2011jan
Nishimotz pycon2011jan
Takuya Nishimoto
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
私とOSSの25年
私とOSSの25年
MITSUNARI Shigeo
Similaire à TokyoR LT Rで連続データを離散化
(20)
20150217 イタンジプログラミング講座テキスト第3回
20150217 イタンジプログラミング講座テキスト第3回
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
Rubyの仕事で食べていくために僕らは!
Rubyの仕事で食べていくために僕らは!
PHPerのためのpostgresqlチューニングmini
PHPerのためのpostgresqlチューニングmini
YAPC::Hokkaido 2016 「普段使い言語環境」更新によるスキルリセットサバイバルガイド
YAPC::Hokkaido 2016 「普段使い言語環境」更新によるスキルリセットサバイバルガイド
20170527 inside .NET Core on Linux
20170527 inside .NET Core on Linux
"Continuous Publication" with Python: Another Approach
"Continuous Publication" with Python: Another Approach
[db tech showcase Tokyo 2014] L34: そのデータベース 5年後大丈夫ですか by 日本ヒューレット・パッカード株式会社 後藤宏
[db tech showcase Tokyo 2014] L34: そのデータベース 5年後大丈夫ですか by 日本ヒューレット・パッカード株式会社 後藤宏
2011年10月21日
2011年10月21日
MapReduce/YARNの仕組みを知る
MapReduce/YARNの仕組みを知る
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが三ヶ月生き延びた話
Rubyの会社でPythonistaが三ヶ月生き延びた話
今から始めるDocument db
今から始めるDocument db
Hadoop事始め
Hadoop事始め
nomlab_okayamaruby_slide
nomlab_okayamaruby_slide
DLR言語によるSilverlightプログラミング
DLR言語によるSilverlightプログラミング
Nishimotz pycon2011jan
Nishimotz pycon2011jan
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
私とOSSの25年
私とOSSの25年
Plus de tetsuro ito
[Up用]rでqr
[Up用]rでqr
tetsuro ito
20170912 data analyst meetup tokyo vol.5
20170912 data analyst meetup tokyo vol.5
tetsuro ito
DataOps in Moneyforward
DataOps in Moneyforward
tetsuro ito
20170207 bigdata analytics_tokyo講演資料
20170207 bigdata analytics_tokyo講演資料
tetsuro ito
20161029 dots machine learning in money forward
20161029 dots machine learning in money forward
tetsuro ito
20160906 bq sushi
20160906 bq sushi
tetsuro ito
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
tetsuro ito
20150303続パタ5章後半
20150303続パタ5章後半
tetsuro ito
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
tetsuro ito
20140614 tokyo r lt
20140614 tokyo r lt
tetsuro ito
20140329 tokyo r lt 「カーネルとsvm」
20140329 tokyo r lt 「カーネルとsvm」
tetsuro ito
20140204はじパタlt
20140204はじパタlt
tetsuro ito
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
tetsuro ito
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
Tokyo R LT 20131109
Tokyo R LT 20131109
tetsuro ito
はじパタ2章
はじパタ2章
tetsuro ito
第31回TokyoR LT資料
第31回TokyoR LT資料
tetsuro ito
集合知プログラミング5章発表
集合知プログラミング5章発表
tetsuro ito
集合知プログラミング11章
集合知プログラミング11章
tetsuro ito
集合知プログラミング勉強会キックオフMTG LT用資料
集合知プログラミング勉強会キックオフMTG LT用資料
tetsuro ito
Plus de tetsuro ito
(20)
[Up用]rでqr
[Up用]rでqr
20170912 data analyst meetup tokyo vol.5
20170912 data analyst meetup tokyo vol.5
DataOps in Moneyforward
DataOps in Moneyforward
20170207 bigdata analytics_tokyo講演資料
20170207 bigdata analytics_tokyo講演資料
20161029 dots machine learning in money forward
20161029 dots machine learning in money forward
20160906 bq sushi
20160906 bq sushi
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
20150303続パタ5章後半
20150303続パタ5章後半
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
20140614 tokyo r lt
20140614 tokyo r lt
20140329 tokyo r lt 「カーネルとsvm」
20140329 tokyo r lt 「カーネルとsvm」
20140204はじパタlt
20140204はじパタlt
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
はじパタ8章 svm
はじパタ8章 svm
Tokyo R LT 20131109
Tokyo R LT 20131109
はじパタ2章
はじパタ2章
第31回TokyoR LT資料
第31回TokyoR LT資料
集合知プログラミング5章発表
集合知プログラミング5章発表
集合知プログラミング11章
集合知プログラミング11章
集合知プログラミング勉強会キックオフMTG LT用資料
集合知プログラミング勉強会キックオフMTG LT用資料
TokyoR LT Rで連続データを離散化
1.
Rで連続データを離散化 #51 Tokyo.R 2015/10/10 ニフティ株式会社
2.
伊藤 徹郎 (@tetsuroito) 食欲の秋、ハロウィンですね 最近運動不足気味 自己紹介
3.
ありがたいご恵贈の数々 近況
4.
みなさんの素晴らしい 成果によって 日々助けられてます
5.
ありがとうございます
6.
データ分析よくあるパターン 1. WindowsのGUIアプリやWebサービスの管理画面 2. Windows上でのプログラミング 3.
Linux上でのコマンド操作 4. Linux上でのプログラミング 5. DBとかKVSとかを自前で用意する 6. Hiveとか、最近だとMPP 7. Hadoop/Sparkなどの環境下でのプログラミング 上記2,3のギャップを埋める書籍です。 コマンドラインでの記述がメインですが、 Rも関連したコマンドラインの紹介もあります ggplot2の話もいっぱい
7.
もうこの会では何度も紹介されてきた名著 Rの基礎から可視化、データ加工、分析、 パッケージ作成までを網羅した1冊! 現在、第3版! 最新版はさらに内容がよくなっているそうです! もう説明は不要ですよね? Tokyo.Rテキストシリーズで採用しても良さそう!
8.
よくあるデータ分析の手法 (多変量解析、機械学習)の解説書ではなく 適切な分析計画の立案、データ収集・蓄積、 データ加工やデータ変換などの前処理、 その後の分析手法の適用、活用までを 幅広く解説したall in oneの書籍 本日のLTはこちらから 「連続データの離散化」の箇所を紹介します
9.
データの離散化のメリット データ記述の簡略 データ及びその処理結果に対する理解向上 多くの数値属性を含むデータ処理の実行
10.
データ離散化の手法の分類 ・・・・・・・・・ ・・・・・・・・・ ・・・・・・・・・ トップダウンアプローチ ボトムアップアプローチ ・・・・・・・・・ 全データを1区間からスタート 逐次的に分割 ・・・・・・・・・ ・・・・・・・・・ 複数区間からスタート 必要に応じて区間を併合
11.
連続データの離散化手法 教師データなし 教師データあり トップダウン 等間隔区間による 離散化(EWD) 等頻度区間による 離散化(EFD)など エントロピーを用いた 離散化 (CAIM,CACC,Aeva) 最小記述長原理による 離散化(MDLP)など ボトムアップ k-meansなど
カイマージ、カイ2など k-meansは割愛します
12.
連続データ離散化を実現するRパッケージ discretization パッケージ infotheo パッケージ >install.packages("infotheo",quiet=TRUE) >install.packages("discretization",quiet=TRUE)
13.
等間隔区間による離散化 irisデータで試してみる 分割数はnbins引数で指定可能
14.
等頻度区間による離散化 irisデータで試してみる 分割数はnbins引数で指定可能 引数を変更
15.
カイマージによる離散化 カイマージとは‥ χ二乗検定を用いて分割点を決定するもの 具体的には‥ 属性を離散化して隣接する区間で各クラスの確率に 有意な違いはないと判断されたら2区間を併合する discretization パッケージ chiM関数で実行可能
16.
カイマージによる離散化 irisデータで試してみる
17.
情報エントロピーを用いた離散化 おそらく、5分で説明するには時間が足らない と思うので、知りたい方は書籍を読んでください 最小記述長原理を用いた離散化 http://d.hatena.ne.jp/sfchaos/20131208/p1 もしくは著者のブログをチェック!
18.
Enjoy!
Télécharger maintenant