Soumettre la recherche
Mettre en ligne
最強のハードディスクはどれだ?
•
16 j'aime
•
9,082 vues
Atsushi Hayakawa
Suivre
ハードディスクのデータセットに対するデータ解析
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 26
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
M5StackをRustで動かす
M5StackをRustで動かす
Kenta IDA
Trema day 1
Trema day 1
ykuga
20210510 software design
20210510 software design
Ayachika Kitazaki
ESP32特集の内容紹介
ESP32特集の内容紹介
Kenta IDA
gepuro task views
gepuro task views
Atsushi Hayakawa
「Japan.R開催のお知らせ」と「Rでワンライナー」
「Japan.R開催のお知らせ」と「Rでワンライナー」
Atsushi Hayakawa
第六回「データ解析のための統計モデリング入門」前半
第六回「データ解析のための統計モデリング入門」前半
Atsushi Hayakawa
統計的学習の基礎 4.4~
統計的学習の基礎 4.4~
Atsushi Hayakawa
Recommandé
M5StackをRustで動かす
M5StackをRustで動かす
Kenta IDA
Trema day 1
Trema day 1
ykuga
20210510 software design
20210510 software design
Ayachika Kitazaki
ESP32特集の内容紹介
ESP32特集の内容紹介
Kenta IDA
gepuro task views
gepuro task views
Atsushi Hayakawa
「Japan.R開催のお知らせ」と「Rでワンライナー」
「Japan.R開催のお知らせ」と「Rでワンライナー」
Atsushi Hayakawa
第六回「データ解析のための統計モデリング入門」前半
第六回「データ解析のための統計モデリング入門」前半
Atsushi Hayakawa
統計的学習の基礎 4.4~
統計的学習の基礎 4.4~
Atsushi Hayakawa
はじパタ11章 後半
はじパタ11章 後半
Atsushi Hayakawa
Dummiesパッケージ
Dummiesパッケージ
weda654
R入門(dplyrでデータ加工)-TokyoR42
R入門(dplyrでデータ加工)-TokyoR42
Atsushi Hayakawa
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
Shuyo Nakatani
Rcppのすすめ
Rcppのすすめ
Masaki Tsuda
20150303ぞくパタLT-ゆるふわ構造学習
20150303ぞくパタLT-ゆるふわ構造学習
Toru Imai
Mxnetで回帰 #TokyoR 53th
Mxnetで回帰 #TokyoR 53th
Akifumi Eguchi
20170923 excelユーザーのためのr入門
20170923 excelユーザーのためのr入門
Takashi Kitano
20140625 rでのデータ分析(仮) for_tokyor
20140625 rでのデータ分析(仮) for_tokyor
Takashi Kitano
Rで潜在ランク分析
Rで潜在ランク分析
Hiroshi Shimizu
R を起動するその前に
R を起動するその前に
Kosei ABE
データサイエンティスト必見!M-1グランプリ
データサイエンティスト必見!M-1グランプリ
Satoshi Kitajima
TokyoR42_around_chaining
TokyoR42_around_chaining
TokorosawaYoshio
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
Nagi Teramo
Rで代数統計 TokyoR #42 LT
Rで代数統計 TokyoR #42 LT
Toru Imai
ggplot2再入門(2015年バージョン)
ggplot2再入門(2015年バージョン)
yutannihilation
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
Yohei Sato
Tokyor42 ggplot2
Tokyor42 ggplot2
Yohei Sato
Tokyo r33 beginner
Tokyo r33 beginner
Takashi Minoda
Tokyo r30 anova
Tokyo r30 anova
Takashi Minoda
tidyverse.orgの翻訳
tidyverse.orgの翻訳
Atsushi Hayakawa
Zepp play soccerで測ってみた
Zepp play soccerで測ってみた
Atsushi Hayakawa
Contenu connexe
En vedette
はじパタ11章 後半
はじパタ11章 後半
Atsushi Hayakawa
Dummiesパッケージ
Dummiesパッケージ
weda654
R入門(dplyrでデータ加工)-TokyoR42
R入門(dplyrでデータ加工)-TokyoR42
Atsushi Hayakawa
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
Shuyo Nakatani
Rcppのすすめ
Rcppのすすめ
Masaki Tsuda
20150303ぞくパタLT-ゆるふわ構造学習
20150303ぞくパタLT-ゆるふわ構造学習
Toru Imai
Mxnetで回帰 #TokyoR 53th
Mxnetで回帰 #TokyoR 53th
Akifumi Eguchi
20170923 excelユーザーのためのr入門
20170923 excelユーザーのためのr入門
Takashi Kitano
20140625 rでのデータ分析(仮) for_tokyor
20140625 rでのデータ分析(仮) for_tokyor
Takashi Kitano
Rで潜在ランク分析
Rで潜在ランク分析
Hiroshi Shimizu
R を起動するその前に
R を起動するその前に
Kosei ABE
データサイエンティスト必見!M-1グランプリ
データサイエンティスト必見!M-1グランプリ
Satoshi Kitajima
TokyoR42_around_chaining
TokyoR42_around_chaining
TokorosawaYoshio
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
Nagi Teramo
Rで代数統計 TokyoR #42 LT
Rで代数統計 TokyoR #42 LT
Toru Imai
ggplot2再入門(2015年バージョン)
ggplot2再入門(2015年バージョン)
yutannihilation
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
Yohei Sato
Tokyor42 ggplot2
Tokyor42 ggplot2
Yohei Sato
Tokyo r33 beginner
Tokyo r33 beginner
Takashi Minoda
Tokyo r30 anova
Tokyo r30 anova
Takashi Minoda
En vedette
(20)
はじパタ11章 後半
はじパタ11章 後半
Dummiesパッケージ
Dummiesパッケージ
R入門(dplyrでデータ加工)-TokyoR42
R入門(dplyrでデータ加工)-TokyoR42
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
Rcppのすすめ
Rcppのすすめ
20150303ぞくパタLT-ゆるふわ構造学習
20150303ぞくパタLT-ゆるふわ構造学習
Mxnetで回帰 #TokyoR 53th
Mxnetで回帰 #TokyoR 53th
20170923 excelユーザーのためのr入門
20170923 excelユーザーのためのr入門
20140625 rでのデータ分析(仮) for_tokyor
20140625 rでのデータ分析(仮) for_tokyor
Rで潜在ランク分析
Rで潜在ランク分析
R を起動するその前に
R を起動するその前に
データサイエンティスト必見!M-1グランプリ
データサイエンティスト必見!M-1グランプリ
TokyoR42_around_chaining
TokyoR42_around_chaining
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
Rで代数統計 TokyoR #42 LT
Rで代数統計 TokyoR #42 LT
ggplot2再入門(2015年バージョン)
ggplot2再入門(2015年バージョン)
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
Tokyor42 ggplot2
Tokyor42 ggplot2
Tokyo r33 beginner
Tokyo r33 beginner
Tokyo r30 anova
Tokyo r30 anova
Plus de Atsushi Hayakawa
tidyverse.orgの翻訳
tidyverse.orgの翻訳
Atsushi Hayakawa
Zepp play soccerで測ってみた
Zepp play soccerで測ってみた
Atsushi Hayakawa
dataclassとtypehintを使ってますか?
dataclassとtypehintを使ってますか?
Atsushi Hayakawa
トライアスロンとgepuro task views V2.0 Japan.R 2018
トライアスロンとgepuro task views V2.0 Japan.R 2018
Atsushi Hayakawa
バンクーバー旅行記
バンクーバー旅行記
Atsushi Hayakawa
Analyze The Community Of Tokyo.R
Analyze The Community Of Tokyo.R
Atsushi Hayakawa
Visual Studio CodeでRを使う
Visual Studio CodeでRを使う
Atsushi Hayakawa
トライアスロンと僕 - Japan.R 2017
トライアスロンと僕 - Japan.R 2017
Atsushi Hayakawa
simputatoinで欠損値補完 - Tokyo.R #65
simputatoinで欠損値補完 - Tokyo.R #65
Atsushi Hayakawa
useR!2017 in Brussels
useR!2017 in Brussels
Atsushi Hayakawa
Japan.R 2016の運営
Japan.R 2016の運営
Atsushi Hayakawa
Rstudio上でのパッケージインストールを便利にするaddin4githubinstall
Rstudio上でのパッケージインストールを便利にするaddin4githubinstall
Atsushi Hayakawa
Splatoon界での壮絶な戦い&Japan.Rの宣伝
Splatoon界での壮絶な戦い&Japan.Rの宣伝
Atsushi Hayakawa
最近のクラウドストレージの事情と私情
最近のクラウドストレージの事情と私情
Atsushi Hayakawa
nginxのログを非スケーラブルに省メモリな方法で蓄積する
nginxのログを非スケーラブルに省メモリな方法で蓄積する
Atsushi Hayakawa
implyを用いたアクセスログの可視化
implyを用いたアクセスログの可視化
Atsushi Hayakawa
イケてる分析基盤をつくる
イケてる分析基盤をつくる
Atsushi Hayakawa
らずぱいラジコン
らずぱいラジコン
Atsushi Hayakawa
らずぱいカー
らずぱいカー
Atsushi Hayakawa
らずぱいでウィーン!!!!!
らずぱいでウィーン!!!!!
Atsushi Hayakawa
Plus de Atsushi Hayakawa
(20)
tidyverse.orgの翻訳
tidyverse.orgの翻訳
Zepp play soccerで測ってみた
Zepp play soccerで測ってみた
dataclassとtypehintを使ってますか?
dataclassとtypehintを使ってますか?
トライアスロンとgepuro task views V2.0 Japan.R 2018
トライアスロンとgepuro task views V2.0 Japan.R 2018
バンクーバー旅行記
バンクーバー旅行記
Analyze The Community Of Tokyo.R
Analyze The Community Of Tokyo.R
Visual Studio CodeでRを使う
Visual Studio CodeでRを使う
トライアスロンと僕 - Japan.R 2017
トライアスロンと僕 - Japan.R 2017
simputatoinで欠損値補完 - Tokyo.R #65
simputatoinで欠損値補完 - Tokyo.R #65
useR!2017 in Brussels
useR!2017 in Brussels
Japan.R 2016の運営
Japan.R 2016の運営
Rstudio上でのパッケージインストールを便利にするaddin4githubinstall
Rstudio上でのパッケージインストールを便利にするaddin4githubinstall
Splatoon界での壮絶な戦い&Japan.Rの宣伝
Splatoon界での壮絶な戦い&Japan.Rの宣伝
最近のクラウドストレージの事情と私情
最近のクラウドストレージの事情と私情
nginxのログを非スケーラブルに省メモリな方法で蓄積する
nginxのログを非スケーラブルに省メモリな方法で蓄積する
implyを用いたアクセスログの可視化
implyを用いたアクセスログの可視化
イケてる分析基盤をつくる
イケてる分析基盤をつくる
らずぱいラジコン
らずぱいラジコン
らずぱいカー
らずぱいカー
らずぱいでウィーン!!!!!
らずぱいでウィーン!!!!!
Dernier
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Dernier
(7)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
最強のハードディスクはどれだ?
1.
最強のハードディスク はどれだ? Tokyo.R #43 1 @gepuro
2.
http://blog.gepuro.net/ 自己紹介 • @gepuro • R言語、Python •
4月からサラリーマン 2
3.
https://www.backblaze.com/hard-drive-test-data.html からダウンロードできる 4万台以上のハードディスクに 関するデータが公開されてる 3
4.
82種のハードディスク 2013年から2014年の2年間の データセット 4 毎日のSMART+故障情報 date serial_number model
capacity_bytes failure 2014/1/1 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/2 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/3 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/4 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0
5.
全部で約4GB gepuro@ubuntu1404$ du -h
2013 740M 2013 gepuro@ubuntu1404$ du -h 2014 2.9G 2014 5
6.
データ解析図 データの扱い方 6 打切り 故障 暦日
7.
ワイブル分布 • 確率密度関数 –𝑓 𝑡
= 𝑚 𝜂 𝑡 𝜂 𝑚−1 exp − 𝑡 𝜂 𝑚 • 累積分布関数 –𝐹 𝑡 = 1 − exp − 𝑡 𝜂 𝑚 7
8.
8 p.d.f. ワイブル分布 𝜂 = 10 𝑚
= 0.5 𝑚 = 1 𝑚 = 1.5 𝑚 = 2 𝑡
9.
9 p.d.f. 𝑡 ワイブル分布 m = 1 𝜂
= 10 𝜂 = 20 𝜂 = 30 𝜂 = 40
10.
http://blog.gepuro.net/archives/118 前処理はブログで 10
11.
ワイブルプロット 11 モデル: ST4000DM000 𝑚 =
0.7875 𝜂 = 35500 モデル: HGST MS5C4040ALE640 𝑚 = 0.7628 𝜂 = 119300
12.
12 確率密度関数 モデル: ST4000DM000 𝑚 =
0.7875 𝜂 = 35500 モデル: HGST MS5C4040ALE640 𝑚 = 0.7628 𝜂 = 119300
13.
13 モデル: ST4000DM000 B1ライフ :
103.1日 モデル: HGST MS5C4040ALE640 B1ライフ: 286.8日 B1ライフ F(t)が1%に達するまでの値 全体の1%が壊れるまでは、何日か。
14.
データ数と故障数 14
15.
15 打切り率
16.
16 ワイブルプロットへの当てはまり
17.
日立のHDDが最強 17 B1ライフ一覧
18.
SMARTも使いたいなあ。 • Power-On Hours •
Temperature • など まとめ • 4万台以上のハードディスクの データが公開 • ワイブル分布でB1ライフを推定 • 日立製のHDDが最強 18
19.
おまけ 19
20.
20 𝒎の一覧
21.
21 𝜼 の一覧
22.
22 𝜼 の一覧(外れ値を抜いた)
23.
ワイブル分布 • 確率密度関数 – 𝑓
𝑡 = 𝑚 𝜂 𝑡 𝜂 𝑚−1 exp − 𝑡 𝜂 𝑚 • 累積分布関数 – 𝐹 𝑡 = 1 − exp − 𝑡 𝜂 𝑚 • 最尤法でパラメータ推定 – 𝐿 𝑚, 𝜂 = 𝑖=1 𝑛 𝑓(𝑡) 𝛿 1 − 𝐹 𝑡 1−𝛿 • 𝛿 = 1なら故障, 𝛿 = 0なら打切り 23
24.
ワイブル確率紙1 • 𝐹 𝑡
= 1 − exp − 𝑡 𝜂 𝑚 • log log 1 1−𝐹(𝑡) = 𝑚 ∗ log 𝑡 − 𝑚 ∗ log 𝜂 • log log 1 1−𝐹 𝑡 ≡ 𝑌 • log 𝑡 ≡ 𝑋, 𝑚 ∗ log 𝜂 ≡ 𝐵 • 𝑌 = 𝑚𝑋 − 𝐵 24
25.
ワイブル確率紙2 • 𝐻 𝑡
= 0 𝑡 𝜆 𝑥 𝑑𝑥 = − log 1 − 𝐹 𝑡 • log 𝐻 𝑡 = log log 1 1−𝐹 𝑡 • 𝜆 𝑡 = 𝑓 𝑡 𝑡 ∞ 𝑓 𝑡 = 𝑓(𝑡) 1−𝐹(𝑡) 25
26.
log 𝐻 𝑡
≡ 𝑌 = 𝑚X − 𝐵による最小二乗法で推定 累積ハザード法による推定 データ𝐭 故障𝜹 順位 逆順位 累積ハザード 𝑯 𝒕 3 0 6 1 6 10 0 5 1 5 23 1 4 1 4 1 4 = 0.25 33 0 3 1 3 35 1 2 1 2 1 4 + 1 2 = 0.75 40 1 1 1 1 1 4 + 1 2 + 1 1 = 1.75 26
Télécharger maintenant