Soumettre la recherche
Mettre en ligne
NagoyaStat #5 ご挨拶と前回の復習
•
0 j'aime
•
1,052 vues
I
itoyan110
Suivre
NagoyaStat #5の開始に先立ち、GLMMとMCMCの手法の一つであるメトロポリス法について20分程度で復習しました。
Lire moins
Lire la suite
Sciences
Signaler
Partager
Signaler
Partager
1 sur 19
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
NagoyaStat #9 で使用した資料です(公開に当たって口頭の内容を補完したものになります)。 「StanとRでベイズ統計モデリング」の第7章になります。 内容は単に回帰分析を行うだけではダメなケースについての取り扱い方について、著者の流儀について理解しようというものになります。 --- The title of textbook is "Bayesian statistical modeling with Stan and R", and that of Chapter 7 in textbook is "Troublesome situation in regression analysys" in English.
Chapter7 回帰分析の悩みどころ
Chapter7 回帰分析の悩みどころ
itoyan110
尤度比検定、二種類の過誤、p値、パラメトリックブートストラップ法、ロジスティック回帰などについて20分程度で復習しました。
NagoyaStat #4 ご挨拶と前回の復習
NagoyaStat #4 ご挨拶と前回の復習
itoyan110
Tokyo.R #10
なめるな!plot
なめるな!plot
itoyan110
NagoyaStat #1 で用いた発表資料になります。主な内容は統計モデリングの考え方と、ポアソン分布に従うデータに対して最尤推定法を適用する方法です。 This slide is used at NagoyaStat #1 on August 6, 2016. Main contents are way of thinking of statistical modeling and applying Maximum Likelihood Estimation to data following poisson distribution.
データ解析のための統計モデリング入門 1~2章
データ解析のための統計モデリング入門 1~2章
itoyan110
JSSC holds certification exam of ability for statistics since 2011. Grade 2 is provided mainly for freshmen and sophomores. I introduced the level of this exam and solved acutual exam questions with R in Tokyo.R #49.
Rで確認しながら解く統計検定2級
Rで確認しながら解く統計検定2級
itoyan110
このスライドではベイズ統計学によく登場する確率分布の関係について紹介している。平易なベルヌーイ分布から多少複雑なベータ分布までがどのようにつながっているかを示している。いくつかの重要な性質については実際に証明を与えた。本スライドは2016年10月1日のNagoyaStat #2で発表したものである。 Some probability distributions are used for bayes statistics. This slide shows relationships from Bernoulli distribution to Beta distribution. Some important properties are proofed in this slide.
ベルヌーイ分布からベータ分布までを関係づける
ベルヌーイ分布からベータ分布までを関係づける
itoyan110
2017年12月2日に開催されたJapan.R 2017での発表資料を加筆・修正したスライドです。 Website: http://japanr.net/
このIRのグラフがすごい!上場企業2017
このIRのグラフがすごい!上場企業2017
itoyan110
English: This slide deck introduces amazing graphs which are drawn by listed Japanese companies in 2021. Japanese: このスライドでは2021年に上場企業によって描かれたすごいグラフを紹介します。
このIRのグラフがすごい!上場企業2021
このIRのグラフがすごい!上場企業2021
itoyan110
Recommandé
NagoyaStat #9 で使用した資料です(公開に当たって口頭の内容を補完したものになります)。 「StanとRでベイズ統計モデリング」の第7章になります。 内容は単に回帰分析を行うだけではダメなケースについての取り扱い方について、著者の流儀について理解しようというものになります。 --- The title of textbook is "Bayesian statistical modeling with Stan and R", and that of Chapter 7 in textbook is "Troublesome situation in regression analysys" in English.
Chapter7 回帰分析の悩みどころ
Chapter7 回帰分析の悩みどころ
itoyan110
尤度比検定、二種類の過誤、p値、パラメトリックブートストラップ法、ロジスティック回帰などについて20分程度で復習しました。
NagoyaStat #4 ご挨拶と前回の復習
NagoyaStat #4 ご挨拶と前回の復習
itoyan110
Tokyo.R #10
なめるな!plot
なめるな!plot
itoyan110
NagoyaStat #1 で用いた発表資料になります。主な内容は統計モデリングの考え方と、ポアソン分布に従うデータに対して最尤推定法を適用する方法です。 This slide is used at NagoyaStat #1 on August 6, 2016. Main contents are way of thinking of statistical modeling and applying Maximum Likelihood Estimation to data following poisson distribution.
データ解析のための統計モデリング入門 1~2章
データ解析のための統計モデリング入門 1~2章
itoyan110
JSSC holds certification exam of ability for statistics since 2011. Grade 2 is provided mainly for freshmen and sophomores. I introduced the level of this exam and solved acutual exam questions with R in Tokyo.R #49.
Rで確認しながら解く統計検定2級
Rで確認しながら解く統計検定2級
itoyan110
このスライドではベイズ統計学によく登場する確率分布の関係について紹介している。平易なベルヌーイ分布から多少複雑なベータ分布までがどのようにつながっているかを示している。いくつかの重要な性質については実際に証明を与えた。本スライドは2016年10月1日のNagoyaStat #2で発表したものである。 Some probability distributions are used for bayes statistics. This slide shows relationships from Bernoulli distribution to Beta distribution. Some important properties are proofed in this slide.
ベルヌーイ分布からベータ分布までを関係づける
ベルヌーイ分布からベータ分布までを関係づける
itoyan110
2017年12月2日に開催されたJapan.R 2017での発表資料を加筆・修正したスライドです。 Website: http://japanr.net/
このIRのグラフがすごい!上場企業2017
このIRのグラフがすごい!上場企業2017
itoyan110
English: This slide deck introduces amazing graphs which are drawn by listed Japanese companies in 2021. Japanese: このスライドでは2021年に上場企業によって描かれたすごいグラフを紹介します。
このIRのグラフがすごい!上場企業2021
このIRのグラフがすごい!上場企業2021
itoyan110
2018年12月1日に開催されたJapan.R 2018での発表資料を加筆・修正したスライドです。 I introduced amazing graphs which are drawn by listed Japanese companies at Japan.R 2018. These slides includes 10 graphs for investors. Useful Websites: - http://japanr.net/ - https://togetter.com/li/1294419
このIRのグラフがすごい!上場企業2018
このIRのグラフがすごい!上場企業2018
itoyan110
2019年12月7日に開催されたJapan.R 2019での発表資料を加筆・修正したスライドです。 I introduced amazing graphs which are drawn by listed Japanese and American companies at Japan.R 2019. Useful Websites: - http://japanr.net/ - https://togetter.com/li/1440517
このIRのグラフがすごい!上場企業2019
このIRのグラフがすごい!上場企業2019
itoyan110
I introduced amazing graphs which are drawn by listed Japanese companies at Japan.R 2016 again. These slides include 6 graphs for investors. Japan.R is the largest event of R study group in Japan. By participating this event, you can keep up with trends of analytics for business and academia. Website: http://japanr.net/
このIRのグラフがすごい!上場企業2016
このIRのグラフがすごい!上場企業2016
itoyan110
At Nagoya.R #10, I introduced basic nonparametric statistical methods, sign test and Wilcoxon signed-rank test. These slides show that they can also be used in some special cases such as test for contigency table. Nagoya.R #10において、符号検定とウィルコクソンの符号付き順位和検定という、基本的なノンパラメトリックな統計手法について紹介した。スライドでは、これらの手法が例えば分割表に対する検定などのような、特別な場合においても利用することもできることを示した。
Rでノンパラメトリック法 1
Rでノンパラメトリック法 1
itoyan110
I introduced amazing graphs which are drawn by listed Japanese companies at Japan.R 2015. These slides includes 10 graphs for investors. If you want to know more about Japan.R, please visit http://www.r-bloggers.com/the-annual-japanese-r-user-conference-japan-r-2015/ .
このIRのグラフがすごい!上場企業2015
このIRのグラフがすごい!上場企業2015
itoyan110
I introduced 1-sample run-test at Japan.R 2013. Though this test rarely listed in Japanese statistics textbook, it can be useful test when we doubt whether coin is fixed or not. Japan.R 2013で1標本ラン検定(連検定)について紹介した。日本の統計学の教科書ではまず見かけない手法ではあるが、コインがイカサマか否かを疑っているときには有用な検定手法になることがある。
コイン投げの分析を一捻り (Japan.R 2013 LT)
コイン投げの分析を一捻り (Japan.R 2013 LT)
itoyan110
情報の扱い方を知るための編集実践授業 WEB生放送の授業を無料で配信しています。 ▼こちらから授業に参加すると、先生への質問や、ユーザーとのチャット、資料の拡大表示等が可能です。 https://schoo.jp/class/177/room
Excelを使って学ぶ、統計の基礎
Excelを使って学ぶ、統計の基礎
webcampusschoo
35thwebmining_lt
35thwebmining_lt
Daisuke Amano
These slides include many inappropriate graphs. If you want to tell the summary of the data correctly, you should avoid to use graphs in this presentation. They can mislead those who view them. In English, the title of presentaion is "24 slides including graphs that should not be absolutely drawn".
絶対に描いてはいけないグラフ入りスライド24枚
絶対に描いてはいけないグラフ入りスライド24枚
itoyan110
2014年11月10日オープンラボ@公立はこだて未来大学
相互運用可能な知的活動測定システムの研究
相互運用可能な知的活動測定システムの研究
yamahige
Bi&データ可視化ツール@tokyowebmining35
Bi&データ可視化ツール@tokyowebmining35
智明 高松
2016.06.18 関西大学で行われたKandai.Rの入門者講習スライドです
Kandai R 入門者講習
Kandai R 入門者講習
考司 小杉
非変態ユーザーのためのR Tips
Kandai.R #1 公開用
Kandai.R #1 公開用
Daisuke Nakanishi
Rmarkdownをつかって心理統計の課題を作ります。 データの乱数発生の仕組み,とその後の話です。
心理統計の課題をRmdで作る
心理統計の課題をRmdで作る
考司 小杉
2015年9月のゼミ夏合宿でプレゼンをした資料です。 Rと言う統計ソフトを用い「スタバ」を含むTweetを取得し、スターバックスにおける「経験経済」について考察しています。 初めてテキストマイニングを行ったため、至らぬ点も多いとは思いますが、ご了承いただければと思います。
RでTwitterテキストマイニング
RでTwitterテキストマイニング
Yudai Shinbo
データ解析入門〜グラフ分析処理・スクレイピング〜【found IT projectセミナー#6】 https://foundit-project.connpass.com/event/51809/
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門
Tatsuya Tojima
datatech-jp Casual Talks #2 の発表資料です https://datatech-jp.connpass.com/event/244516/
データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する
株式会社MonotaRO Tech Team
2015年5月26日、エヌビディア様主催「ディープラーニングフォーラム2015」でのPreferred Networksの講演資料です http://www.gdep.jp/page/view/412
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
「MLOpsとはなにか?」という質問に対し、「データサイエンティストが、システム開発において、やらないことすべて」と定義した上で、MLOpsの説明、海外事例、「JapanTaxi」アプリでの事例を説明します
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
2017/12/22(金)開催 「Data Engineering and Data Analysis Workshop #3」登壇資料
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
cyberagent
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
Shoji Shirotori
最近、D3.jsが「WEB+DB Press」や「データベースエンジニア要請読本」などの雑誌に取り上げられています。「データの可視化」といっても、立場によって異なるものなので、少し整理してみようと思いました。プレゼンの形式は、「すごプレ」を参考につくってみました。
LT データ可視化とd3.js js_cafe_20130908_otanet
LT データ可視化とd3.js js_cafe_20130908_otanet
博三 太田
Contenu connexe
Tendances
2018年12月1日に開催されたJapan.R 2018での発表資料を加筆・修正したスライドです。 I introduced amazing graphs which are drawn by listed Japanese companies at Japan.R 2018. These slides includes 10 graphs for investors. Useful Websites: - http://japanr.net/ - https://togetter.com/li/1294419
このIRのグラフがすごい!上場企業2018
このIRのグラフがすごい!上場企業2018
itoyan110
2019年12月7日に開催されたJapan.R 2019での発表資料を加筆・修正したスライドです。 I introduced amazing graphs which are drawn by listed Japanese and American companies at Japan.R 2019. Useful Websites: - http://japanr.net/ - https://togetter.com/li/1440517
このIRのグラフがすごい!上場企業2019
このIRのグラフがすごい!上場企業2019
itoyan110
I introduced amazing graphs which are drawn by listed Japanese companies at Japan.R 2016 again. These slides include 6 graphs for investors. Japan.R is the largest event of R study group in Japan. By participating this event, you can keep up with trends of analytics for business and academia. Website: http://japanr.net/
このIRのグラフがすごい!上場企業2016
このIRのグラフがすごい!上場企業2016
itoyan110
At Nagoya.R #10, I introduced basic nonparametric statistical methods, sign test and Wilcoxon signed-rank test. These slides show that they can also be used in some special cases such as test for contigency table. Nagoya.R #10において、符号検定とウィルコクソンの符号付き順位和検定という、基本的なノンパラメトリックな統計手法について紹介した。スライドでは、これらの手法が例えば分割表に対する検定などのような、特別な場合においても利用することもできることを示した。
Rでノンパラメトリック法 1
Rでノンパラメトリック法 1
itoyan110
I introduced amazing graphs which are drawn by listed Japanese companies at Japan.R 2015. These slides includes 10 graphs for investors. If you want to know more about Japan.R, please visit http://www.r-bloggers.com/the-annual-japanese-r-user-conference-japan-r-2015/ .
このIRのグラフがすごい!上場企業2015
このIRのグラフがすごい!上場企業2015
itoyan110
I introduced 1-sample run-test at Japan.R 2013. Though this test rarely listed in Japanese statistics textbook, it can be useful test when we doubt whether coin is fixed or not. Japan.R 2013で1標本ラン検定(連検定)について紹介した。日本の統計学の教科書ではまず見かけない手法ではあるが、コインがイカサマか否かを疑っているときには有用な検定手法になることがある。
コイン投げの分析を一捻り (Japan.R 2013 LT)
コイン投げの分析を一捻り (Japan.R 2013 LT)
itoyan110
情報の扱い方を知るための編集実践授業 WEB生放送の授業を無料で配信しています。 ▼こちらから授業に参加すると、先生への質問や、ユーザーとのチャット、資料の拡大表示等が可能です。 https://schoo.jp/class/177/room
Excelを使って学ぶ、統計の基礎
Excelを使って学ぶ、統計の基礎
webcampusschoo
35thwebmining_lt
35thwebmining_lt
Daisuke Amano
These slides include many inappropriate graphs. If you want to tell the summary of the data correctly, you should avoid to use graphs in this presentation. They can mislead those who view them. In English, the title of presentaion is "24 slides including graphs that should not be absolutely drawn".
絶対に描いてはいけないグラフ入りスライド24枚
絶対に描いてはいけないグラフ入りスライド24枚
itoyan110
2014年11月10日オープンラボ@公立はこだて未来大学
相互運用可能な知的活動測定システムの研究
相互運用可能な知的活動測定システムの研究
yamahige
Bi&データ可視化ツール@tokyowebmining35
Bi&データ可視化ツール@tokyowebmining35
智明 高松
2016.06.18 関西大学で行われたKandai.Rの入門者講習スライドです
Kandai R 入門者講習
Kandai R 入門者講習
考司 小杉
非変態ユーザーのためのR Tips
Kandai.R #1 公開用
Kandai.R #1 公開用
Daisuke Nakanishi
Rmarkdownをつかって心理統計の課題を作ります。 データの乱数発生の仕組み,とその後の話です。
心理統計の課題をRmdで作る
心理統計の課題をRmdで作る
考司 小杉
2015年9月のゼミ夏合宿でプレゼンをした資料です。 Rと言う統計ソフトを用い「スタバ」を含むTweetを取得し、スターバックスにおける「経験経済」について考察しています。 初めてテキストマイニングを行ったため、至らぬ点も多いとは思いますが、ご了承いただければと思います。
RでTwitterテキストマイニング
RでTwitterテキストマイニング
Yudai Shinbo
Tendances
(15)
このIRのグラフがすごい!上場企業2018
このIRのグラフがすごい!上場企業2018
このIRのグラフがすごい!上場企業2019
このIRのグラフがすごい!上場企業2019
このIRのグラフがすごい!上場企業2016
このIRのグラフがすごい!上場企業2016
Rでノンパラメトリック法 1
Rでノンパラメトリック法 1
このIRのグラフがすごい!上場企業2015
このIRのグラフがすごい!上場企業2015
コイン投げの分析を一捻り (Japan.R 2013 LT)
コイン投げの分析を一捻り (Japan.R 2013 LT)
Excelを使って学ぶ、統計の基礎
Excelを使って学ぶ、統計の基礎
35thwebmining_lt
35thwebmining_lt
絶対に描いてはいけないグラフ入りスライド24枚
絶対に描いてはいけないグラフ入りスライド24枚
相互運用可能な知的活動測定システムの研究
相互運用可能な知的活動測定システムの研究
Bi&データ可視化ツール@tokyowebmining35
Bi&データ可視化ツール@tokyowebmining35
Kandai R 入門者講習
Kandai R 入門者講習
Kandai.R #1 公開用
Kandai.R #1 公開用
心理統計の課題をRmdで作る
心理統計の課題をRmdで作る
RでTwitterテキストマイニング
RでTwitterテキストマイニング
Similaire à NagoyaStat #5 ご挨拶と前回の復習
データ解析入門〜グラフ分析処理・スクレイピング〜【found IT projectセミナー#6】 https://foundit-project.connpass.com/event/51809/
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門
Tatsuya Tojima
datatech-jp Casual Talks #2 の発表資料です https://datatech-jp.connpass.com/event/244516/
データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する
株式会社MonotaRO Tech Team
2015年5月26日、エヌビディア様主催「ディープラーニングフォーラム2015」でのPreferred Networksの講演資料です http://www.gdep.jp/page/view/412
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
「MLOpsとはなにか?」という質問に対し、「データサイエンティストが、システム開発において、やらないことすべて」と定義した上で、MLOpsの説明、海外事例、「JapanTaxi」アプリでの事例を説明します
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
2017/12/22(金)開催 「Data Engineering and Data Analysis Workshop #3」登壇資料
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
cyberagent
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
Shoji Shirotori
最近、D3.jsが「WEB+DB Press」や「データベースエンジニア要請読本」などの雑誌に取り上げられています。「データの可視化」といっても、立場によって異なるものなので、少し整理してみようと思いました。プレゼンの形式は、「すごプレ」を参考につくってみました。
LT データ可視化とd3.js js_cafe_20130908_otanet
LT データ可視化とd3.js js_cafe_20130908_otanet
博三 太田
Rによる特徴抽出 第48回R勉強会@東京(#TokyoR)
Rによる特徴抽出 第48回R勉強会@東京(#TokyoR)
Keiku322
2022年4月27日 すごい広島 with Python [61] 西本卓也 24motz / nishimotz
220427-pydata 統計・データ分析 特集
220427-pydata 統計・データ分析 特集
Takuya Nishimoto
2021/11/06 オンライン勉強会 「マイクロアドのデータ基盤について アドテクを支える基盤〜10Tバイト/日のビッグデータを処理する〜」 https://microad.connpass.com/event/229092/
マイクロアドのデータ基盤について アドテクを支える基盤〜10Tバイト/日のビッグデータを処理する〜
マイクロアドのデータ基盤について アドテクを支える基盤〜10Tバイト/日のビッグデータを処理する〜
MicroAd, Inc.(Engineer)
「アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜」 【23卒/24卒】オンライン勉強会:「アドテクを支える技術 〜1日40億リクエストを捌くには〜」 https://microad.connpass.com/event/255303/ #MicroadDevs
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
MicroAd, Inc.(Engineer)
UX思考で変わるテクニカルライティング勉強会 #2
探しやすさを支えるメタデータ 基本のキ
探しやすさを支えるメタデータ 基本のキ
Ray Atarashi
2017-11-22 wed. 第 2 回 Google Cloud INSIDE Games & Apps 株式会社リクルートライフスタイル データエンジニア 南谷 和毅 氏の登壇スライドです。
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
こちらの会で喋った資料です。 https://reading-circle-beginners.connpass.com/event/135881/ 「ベイズ推論による機械学習 入門」の紹介です。
20190723 mlp lt_bayes_pub
20190723 mlp lt_bayes_pub
Yoichi Tokita
ETL処理のユースケースや、ETL処理のセオリーを解説します。 2018/05/23(水)開催の「PLAZMA Data Engineer Day: TD Tech Talk 2018」にてお話ししたスライドです。 https://techplay.jp/event/669346
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
2018/11/29 に JSUG の SpringOne Platform 2018 報告会で使用した資料です. (目次の2, 3が私の作成した範囲です.)
SpringOne Platform 2018 全体報告
SpringOne Platform 2018 全体報告
Takuya Iwatsuka
11月29日に開催されたJSUG勉強会の資料です。SpringOneの参加レポートですので、SpringOneに関心のある方は是非参考にしてください。
SpringOne Platform 2018 全体報告
SpringOne Platform 2018 全体報告
apkiban
https://analytics-and-intelligence.connpass.com/event/174369/ での発表資料です。
カスタマーサクセスのためのデータ整備人の活動記録
カスタマーサクセスのためのデータ整備人の活動記録
syou6162
Ims@sparqlではじめるr markdownとgitbookによるレポート生成 2017.9.2 あいますえんじにあ Meetup in 京都
Ims@sparqlではじめるr markdownとgitbookによるレポート生成
Ims@sparqlではじめるr markdownとgitbookによるレポート生成
Takeshi Mikami
解析初心者の東大生向けの講座の第四回。sklearnを使った演習。
東大生向けデータ解析講座 第4回 2018/01/05
東大生向けデータ解析講座 第4回 2018/01/05
西岡 賢一郎
Similaire à NagoyaStat #5 ご挨拶と前回の復習
(20)
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門
データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
LT データ可視化とd3.js js_cafe_20130908_otanet
LT データ可視化とd3.js js_cafe_20130908_otanet
Rによる特徴抽出 第48回R勉強会@東京(#TokyoR)
Rによる特徴抽出 第48回R勉強会@東京(#TokyoR)
220427-pydata 統計・データ分析 特集
220427-pydata 統計・データ分析 特集
マイクロアドのデータ基盤について アドテクを支える基盤〜10Tバイト/日のビッグデータを処理する〜
マイクロアドのデータ基盤について アドテクを支える基盤〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
探しやすさを支えるメタデータ 基本のキ
探しやすさを支えるメタデータ 基本のキ
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
20190723 mlp lt_bayes_pub
20190723 mlp lt_bayes_pub
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
SpringOne Platform 2018 全体報告
SpringOne Platform 2018 全体報告
SpringOne Platform 2018 全体報告
SpringOne Platform 2018 全体報告
カスタマーサクセスのためのデータ整備人の活動記録
カスタマーサクセスのためのデータ整備人の活動記録
Ims@sparqlではじめるr markdownとgitbookによるレポート生成
Ims@sparqlではじめるr markdownとgitbookによるレポート生成
東大生向けデータ解析講座 第4回 2018/01/05
東大生向けデータ解析講座 第4回 2018/01/05
Plus de itoyan110
English: This slide introduces amazing graphs which are drawn by listed Japanese companies in 2023. Japanese: このスライドでは2023年に日本の上場企業によって描かれたすごい!グラフを紹介します。 If you want to know more about Japan.R, please visit https://japanr.connpass.com/
このIRのグラフがすごい!上場企業2023
このIRのグラフがすごい!上場企業2023
itoyan110
Introducing amazing graphs which are drawn by listed Japanese companies in 2020.
このIRのグラフがすごい!上場企業2020
このIRのグラフがすごい!上場企業2020
itoyan110
NagoyaStat #12 で使用した資料です(公開に当たって当日ホワイトボードに書いた内容等を補完したものになります)。 「StanとRでベイズ統計モデリング」の第9章前半になります。 第9章のテーマは行列やベクトルを使った演算の高速化です。 --- The title of textbook is "Bayesian statistical modeling with Stan and R", and that of Chapter 9 in textbook is "advanced grammar" in English.
Chapter9 一歩進んだ文法(前半)
Chapter9 一歩進んだ文法(前半)
itoyan110
NagoyaStat #10 で利用した、2017年11月の統計検定2級、2017年6月の統計検定準1級に関する解説スライドです。 --- Commentary of statistical certificate Grade 2 and Grade Pre-1 held by the Japan Statistical Society in 2017.
2018年6月期 統計検定2級&準1級 対策スライド
2018年6月期 統計検定2級&準1級 対策スライド
itoyan110
レッツノートCF-SX4のHDDモデルを購入して、SSD換装とメモリの追加を行った。また、 VMware Workstation Pro 12 を入れることで、ソフトウェア開発時に利用するテスト環境を構築し、その使い勝手について検証を行った。
レッツノートを業務用途にカスタマイズする
レッツノートを業務用途にカスタマイズする
itoyan110
このPDFファイルは2013年3月下旬にリリースしたWriting R Extensions 2.15.2を日本語に翻訳したドキュメントである。10年以上前の2.1.0の頃から更新されていない状態であったため、本ドキュメントを作成した。
Rの拡張を書く (R 2.15.2)
Rの拡張を書く (R 2.15.2)
itoyan110
This slide was presented in Tokyo.R #22.It describes about design of experiment with R. DoE.base package is useful for software testing because it makes easier for us to make orthogonal array.
Rで実験計画法 後編
Rで実験計画法 後編
itoyan110
This slide was presented in Tokyo.R #16.It describes about design of experiment with R.
Rで実験計画法 前編
Rで実験計画法 前編
itoyan110
Plus de itoyan110
(8)
このIRのグラフがすごい!上場企業2023
このIRのグラフがすごい!上場企業2023
このIRのグラフがすごい!上場企業2020
このIRのグラフがすごい!上場企業2020
Chapter9 一歩進んだ文法(前半)
Chapter9 一歩進んだ文法(前半)
2018年6月期 統計検定2級&準1級 対策スライド
2018年6月期 統計検定2級&準1級 対策スライド
レッツノートを業務用途にカスタマイズする
レッツノートを業務用途にカスタマイズする
Rの拡張を書く (R 2.15.2)
Rの拡張を書く (R 2.15.2)
Rで実験計画法 後編
Rで実験計画法 後編
Rで実験計画法 前編
Rで実験計画法 前編
NagoyaStat #5 ご挨拶と前回の復習
1.
NagoyaStat #5 ご挨拶と前回の復習 @ito_yan E-mail: 1mail2itoh3
[at] gmail.com 2017.04.07 NagoyaStat #5
2.
今回の内容 • ご挨拶と前回の復習 • 参加者による自己紹介 •
「データ解析のための統計モデリング入門」 • 第9章 tmkz.it 様 • 第10章 nishioka0902 様 2
3.
主催者について • TwitterID: @ito_yan •
ITインフラ屋さん • 仮想サーバ(構築、運用) • Javaアプリケーション開発 • 最近はドメイン移行に伴うメール移行とか • 小規模ネットワーク構築 3
4.
勉強会で取り上げる書籍について • 「データ解析のための統計モデリング入門」 • 通称:緑本 •
農学系のデータを扱っているが、農学系以外の 分野でも適用可能なことを扱っている 4
5.
第7章の復習 • 第3章や第6章でみた回帰は、現実のデータモデ リングへの適用が難しい • カウントデータのばらつきがポアソン分布や二項分 布「だけ」ではうまく説明できないことが多い •
説明変数が同じなら平均も同じになるというGLMの 仮定は、生物データには当てはまらないのが普通 • 第7章では測定できない個体差(原因不明の差 異)を組み込んだGLMであるGLMMが登場した 5
6.
問題設定 • 植物の各個体から8個の種子をとってきて、いくつ 生存しているかを調べる • 生存種子数が葉数と共に増大するかを調べたい •
葉数は2~6とし、各葉数で20個体を調査する 6 何となく葉数が増えると、 生存している種子数は増 えているように見えるが…
7.
一般化線形混合モデル(GLMM) • 通常のロジスティック回帰はうまくいかない • 推定すると、真の傾きに近い結果が得られない •
そもそもデータは二項分布に従っていない • X=4の箇所は特にその傾向が強い • 観測できない個体差や場所差の影響を組み込ん だ統計モデリングが必要となる • 生物的な要因(遺伝子、経験の相違) • 非生物的な要因(栄養・水・光など環境の違い) • 原因不明の個体差や場所差の効果をGLMに組 み込んだ統計モデルをGLMMと呼んでいる 7
8.
GLMMのモデル • 3項目に原因不明の効果をいれておく • 正規分布を選ぶ根拠はない •
そもそも個体差は観測不可なので分布も不明 • 統計モデリングに便利という程度で選ばれている • 単純化のため、個体差は相互に独立とする • 最初の2項は固定効果、最後の項はランダム効 果、それらを合わせると混合モデルと呼ばれる 8 sは集団内のばらつきを表す
9.
GLMMの最尤推定 • 個体差をすべて推定するのは無理がある • 各個体の尤度は次式で与えられる •
個体差を標準偏差に置き換えるのがキモ • 各個体の尤度は3つのパラメータで書ける • 全体の尤度は で与えられ るので、ここからパラメータを推定することになる →RのGLMM関数を用いる 9
10.
GLMMの実行コード • 教科書のコードそのままでは動かないので注意 10
11.
推定結果 • 赤は真値、青は推定値をもとに描いた曲線 11
12.
GLMMが必要な状況とは? • 擬似反復が含まれているかで決まる • 1個体から複数データをとることで、個体差の推定 ができるため、モデルの中で個体差を組み込む必 要が出てくる •
個体差を考えないと過分散のようなことになる • 逆に1個体に1つしかデータが得られない場合、 個体差の推定はやりようがない • この場合は個体差を考えないGLMで推定する 12
13.
第8章 • 考慮しなければならない誤差の原因(ランダム効 果)が増える • ランダム効果の発生源の数だけ多重積分が発生 するため、計算ができなくなるという問題が発生 •
MCMC(マルコフ連鎖モンテカルロ法)により、パ ラメータの分布を得る • 点推定ではなく、分布の形で得る 13
14.
第8章の例題 • 第6章6.2節の例題(上限のあるカウントデータ)と 同じように20個体の植物から種子8個を得て、そ の生死を調べる • 各植物は均質で、生存数は二項分布に従うとす ると、ある個体iの種子数が
である確率は • 尤度は あとはLの対数をとってをqで微分してやればよく、 最尤推定量は種子数の平均で与えられる 14
15.
ふらふらした最尤推定 • では、(第7章の積分が複雑になる場合のように) 最尤推定で解析的にパラメータが求まらないケー スはどう対応するか? • qを離散化(qは0~1で0.01刻み) •
ある値からスタートし • ランダムに隣接するqを選び • 対数尤度が高ければそちらに移動する • すると、例題においてはqの値の最尤推定値に向 かって移動していく 15
16.
メトロポリス法 • ランダムに隣接するqを選んで尤度が小さくなる 場合でも、確率 でそちらの方 に移動させる •
ふらふらした最尤推定の拡張 • メトロポリス法は直前のステップのみで新しい状 態を作り出し(マルコフ連鎖)、また隣接するqの 選択にランダム性がある(モンテカルロ法)ので、 MCMCと呼ばれるアルゴリズムの一種である 16
17.
定常分布 • メトロポリス法でqが変化すると、qの値で作るヒス トグラムがある確率分布に近づいていき、その分 布は定常分布と呼ばれる • 例題のqは初期値によらず定常分布に近づく •
詳細釣り合いの条件を満たしているため • qの値の最初に得られたサンプルは初期値に依存 したものなので、定常分布には含めない • 良いMCMCアルゴリズムは1ステップ間でサンプ ルされた値の相関が低いアルゴリズムである • 直前の値を引きずらず、定常分布が早く作れる 17
18.
最尤推定とベイズ統計の違い • 最尤推定は頻度主義のやりかたであり、パラメー タはある定数であるという考え方である • ベイズ統計は推定したいパラメータを確率分布で 表現するため、定常分布(MCMC)との親和性が 高い 18
19.
ベイズ統計モデル • ベイズの定理を変形していく • 事後分布は尤度と事前分布の積に比例 •
パラメータは分布の形で推定されるので、最尤推 定法のように1つの値では決まらない • 事前分布が定数なら単に尤度に比例する 19 分母はqに依存しない
Télécharger maintenant