Soumettre la recherche
Mettre en ligne
Jubatus使ってみた 作ってみたJubatus
•
Télécharger en tant que PPTX, PDF
•
7 j'aime
•
11,161 vues
J
JubatusOfficial
Suivre
Technologie
Signaler
Partager
Signaler
Partager
1 sur 26
Télécharger maintenant
Recommandé
第1回 Jubatusハンズオン
第1回 Jubatusハンズオン
Yuya Unno
Jubaanomalyについて
Jubaanomalyについて
JubatusOfficial
Jubatusでマルウェア分類
Jubatusでマルウェア分類
Shuzo Kashihara
Jubatus 1.0 の紹介
Jubatus 1.0 の紹介
JubatusOfficial
Jubakit の紹介
Jubakit の紹介
kmaehashi
Jubatus分類器の活用テクニック
Jubatus分類器の活用テクニック
JubatusOfficial
Jubatus Casual Talks #2: 大量映像・画像のための異常値検知とクラス分類
Jubatus Casual Talks #2: 大量映像・画像のための異常値検知とクラス分類
Hirotaka Ogawa
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組み
JubatusOfficial
Recommandé
第1回 Jubatusハンズオン
第1回 Jubatusハンズオン
Yuya Unno
Jubaanomalyについて
Jubaanomalyについて
JubatusOfficial
Jubatusでマルウェア分類
Jubatusでマルウェア分類
Shuzo Kashihara
Jubatus 1.0 の紹介
Jubatus 1.0 の紹介
JubatusOfficial
Jubakit の紹介
Jubakit の紹介
kmaehashi
Jubatus分類器の活用テクニック
Jubatus分類器の活用テクニック
JubatusOfficial
Jubatus Casual Talks #2: 大量映像・画像のための異常値検知とクラス分類
Jubatus Casual Talks #2: 大量映像・画像のための異常値検知とクラス分類
Hirotaka Ogawa
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組み
JubatusOfficial
前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況
JubatusOfficial
2013.07.15 はじパタlt scikit-learnで始める機械学習
2013.07.15 はじパタlt scikit-learnで始める機械学習
Motoya Wakiyama
実装ディープラーニング
実装ディープラーニング
Yurie Oka
分類問題 - 機械学習ライブラリ scikit-learn の活用
分類問題 - 機械学習ライブラリ scikit-learn の活用
y-uti
ルールベースから機械学習への道 公開用
ルールベースから機械学習への道 公開用
nishio
Pythonによる機械学習入門 ~Deep Learningに挑戦~
Pythonによる機械学習入門 ~Deep Learningに挑戦~
Yasutomo Kawanishi
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Kotaro Nakayama
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
Pythonによる機械学習入門〜基礎からDeep Learningまで〜
Pythonによる機械学習入門〜基礎からDeep Learningまで〜
Yasutomo Kawanishi
画像認識で物を見分ける
画像認識で物を見分ける
Kazuaki Tanida
SensorBeeでChainerをプラグインとして使う
SensorBeeでChainerをプラグインとして使う
Daisuke Tanaka
Active Object
Active Object
y-uti
Jupyter NotebookとChainerで楽々Deep Learning
Jupyter NotebookとChainerで楽々Deep Learning
Jun-ya Norimatsu
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Yasutomo Kawanishi
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Yasuyuki Sugai
TensorFlowをもう少し詳しく入門
TensorFlowをもう少し詳しく入門
tak9029
論文紹介 Identifying Implementation Bugs in Machine Learning based Image Classifi...
論文紹介 Identifying Implementation Bugs in Machine Learning based Image Classifi...
y-uti
Chainer の Trainer 解説と NStepLSTM について
Chainer の Trainer 解説と NStepLSTM について
Retrieva inc.
「深層学習」勉強会LT資料 "Chainer使ってみた"
「深層学習」勉強会LT資料 "Chainer使ってみた"
Ken'ichi Matsui
TensorFlowの使い方(in Japanese)
TensorFlowの使い方(in Japanese)
Toshihiko Yamakami
Jubatus on Mavericks
Jubatus on Mavericks
JubatusOfficial
Jubatusで始める機械学習
Jubatusで始める機械学習
JubatusOfficial
Contenu connexe
Tendances
前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況
JubatusOfficial
2013.07.15 はじパタlt scikit-learnで始める機械学習
2013.07.15 はじパタlt scikit-learnで始める機械学習
Motoya Wakiyama
実装ディープラーニング
実装ディープラーニング
Yurie Oka
分類問題 - 機械学習ライブラリ scikit-learn の活用
分類問題 - 機械学習ライブラリ scikit-learn の活用
y-uti
ルールベースから機械学習への道 公開用
ルールベースから機械学習への道 公開用
nishio
Pythonによる機械学習入門 ~Deep Learningに挑戦~
Pythonによる機械学習入門 ~Deep Learningに挑戦~
Yasutomo Kawanishi
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Kotaro Nakayama
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
Pythonによる機械学習入門〜基礎からDeep Learningまで〜
Pythonによる機械学習入門〜基礎からDeep Learningまで〜
Yasutomo Kawanishi
画像認識で物を見分ける
画像認識で物を見分ける
Kazuaki Tanida
SensorBeeでChainerをプラグインとして使う
SensorBeeでChainerをプラグインとして使う
Daisuke Tanaka
Active Object
Active Object
y-uti
Jupyter NotebookとChainerで楽々Deep Learning
Jupyter NotebookとChainerで楽々Deep Learning
Jun-ya Norimatsu
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Yasutomo Kawanishi
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Yasuyuki Sugai
TensorFlowをもう少し詳しく入門
TensorFlowをもう少し詳しく入門
tak9029
論文紹介 Identifying Implementation Bugs in Machine Learning based Image Classifi...
論文紹介 Identifying Implementation Bugs in Machine Learning based Image Classifi...
y-uti
Chainer の Trainer 解説と NStepLSTM について
Chainer の Trainer 解説と NStepLSTM について
Retrieva inc.
「深層学習」勉強会LT資料 "Chainer使ってみた"
「深層学習」勉強会LT資料 "Chainer使ってみた"
Ken'ichi Matsui
TensorFlowの使い方(in Japanese)
TensorFlowの使い方(in Japanese)
Toshihiko Yamakami
Tendances
(20)
前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況
2013.07.15 はじパタlt scikit-learnで始める機械学習
2013.07.15 はじパタlt scikit-learnで始める機械学習
実装ディープラーニング
実装ディープラーニング
分類問題 - 機械学習ライブラリ scikit-learn の活用
分類問題 - 機械学習ライブラリ scikit-learn の活用
ルールベースから機械学習への道 公開用
ルールベースから機械学習への道 公開用
Pythonによる機械学習入門 ~Deep Learningに挑戦~
Pythonによる機械学習入門 ~Deep Learningに挑戦~
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Pythonによる機械学習入門〜基礎からDeep Learningまで〜
Pythonによる機械学習入門〜基礎からDeep Learningまで〜
画像認識で物を見分ける
画像認識で物を見分ける
SensorBeeでChainerをプラグインとして使う
SensorBeeでChainerをプラグインとして使う
Active Object
Active Object
Jupyter NotebookとChainerで楽々Deep Learning
Jupyter NotebookとChainerで楽々Deep Learning
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Pythonによる機械学習入門 ~SVMからDeep Learningまで~
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
TensorFlowをもう少し詳しく入門
TensorFlowをもう少し詳しく入門
論文紹介 Identifying Implementation Bugs in Machine Learning based Image Classifi...
論文紹介 Identifying Implementation Bugs in Machine Learning based Image Classifi...
Chainer の Trainer 解説と NStepLSTM について
Chainer の Trainer 解説と NStepLSTM について
「深層学習」勉強会LT資料 "Chainer使ってみた"
「深層学習」勉強会LT資料 "Chainer使ってみた"
TensorFlowの使い方(in Japanese)
TensorFlowの使い方(in Japanese)
En vedette
Jubatus on Mavericks
Jubatus on Mavericks
JubatusOfficial
Jubatusで始める機械学習
Jubatusで始める機械学習
JubatusOfficial
評BanにおけるJubatus活用事例
評BanにおけるJubatus活用事例
JubatusOfficial
Jubatusをベースにしたオーディエンスの分析エンジンの紹介
Jubatusをベースにしたオーディエンスの分析エンジンの紹介
JubatusOfficial
標的型メール対策製品でのJubatus活用事例
標的型メール対策製品でのJubatus活用事例
JubatusOfficial
Jubatus 0.6.0 新機能紹介
Jubatus 0.6.0 新機能紹介
JubatusOfficial
Jubatus Casual Talks #2 Jubatus開発者入門
Jubatus Casual Talks #2 Jubatus開発者入門
Shuzo Kashihara
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
瑛 村下
センサデータ解析におけるJubatus活用事例
センサデータ解析におけるJubatus活用事例
JubatusOfficial
Jubatus casulatalks2
Jubatus casulatalks2
Daichi Morifuji
A use case of online machine learning using Jubatus
A use case of online machine learning using Jubatus
NTT DATA OSS Professional Services
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Yuya Unno
Demystifying Systems for Interactive and Real-time Analytics
Demystifying Systems for Interactive and Real-time Analytics
DataWorks Summit
Jubatus talk at HadoopSummit 2013
Jubatus talk at HadoopSummit 2013
Preferred Networks
Hadoop Turns a Corner and Sees the Future
Hadoop Turns a Corner and Sees the Future
DataWorks Summit
世界征服を目指すJubatusだからこそ期待する5つのポイント
世界征服を目指すJubatusだからこそ期待する5つのポイント
NTT DATA OSS Professional Services
Jubatusハンズオン分散編
Jubatusハンズオン分散編
odasatoshi
Video Analysis in Hadoop
Video Analysis in Hadoop
DataWorks Summit
小町のレス数が予測できるか試してみた
小町のレス数が予測できるか試してみた
JubatusOfficial
En vedette
(20)
Jubatus on Mavericks
Jubatus on Mavericks
Jubatusで始める機械学習
Jubatusで始める機械学習
評BanにおけるJubatus活用事例
評BanにおけるJubatus活用事例
Jubatusをベースにしたオーディエンスの分析エンジンの紹介
Jubatusをベースにしたオーディエンスの分析エンジンの紹介
標的型メール対策製品でのJubatus活用事例
標的型メール対策製品でのJubatus活用事例
Jubatus 0.6.0 新機能紹介
Jubatus 0.6.0 新機能紹介
Jubatus Casual Talks #2 Jubatus開発者入門
Jubatus Casual Talks #2 Jubatus開発者入門
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
センサデータ解析におけるJubatus活用事例
センサデータ解析におけるJubatus活用事例
Jubatus casulatalks2
Jubatus casulatalks2
A use case of online machine learning using Jubatus
A use case of online machine learning using Jubatus
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Demystifying Systems for Interactive and Real-time Analytics
Demystifying Systems for Interactive and Real-time Analytics
Jubatus talk at HadoopSummit 2013
Jubatus talk at HadoopSummit 2013
Hadoop Turns a Corner and Sees the Future
Hadoop Turns a Corner and Sees the Future
世界征服を目指すJubatusだからこそ期待する5つのポイント
世界征服を目指すJubatusだからこそ期待する5つのポイント
Jubatusハンズオン分散編
Jubatusハンズオン分散編
Video Analysis in Hadoop
Video Analysis in Hadoop
小町のレス数が予測できるか試してみた
小町のレス数が予測できるか試してみた
Similaire à Jubatus使ってみた 作ってみたJubatus
20120405 setsunaセミナー
20120405 setsunaセミナー
Takahiro Iwase
Rubyによるお手軽分散処理
Rubyによるお手軽分散処理
maebashi
Linux/DB Tuning (DevSumi2010, Japanese)
Linux/DB Tuning (DevSumi2010, Japanese)
Yoshinori Matsunobu
研究を加速するChainerファミリー
研究を加速するChainerファミリー
Deep Learning Lab(ディープラーニング・ラボ)
Guide to Cassandra for Production Deployments
Guide to Cassandra for Production Deployments
smdkk
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
Deep Learning JP
2014 11-20 Machine Learning with Apache Spark 勉強会資料
2014 11-20 Machine Learning with Apache Spark 勉強会資料
Recruit Technologies
2012-03-08 MSS研究会
2012-03-08 MSS研究会
Kimikazu Kato
Zabbix-jp study #4 20111020 session2
Zabbix-jp study #4 20111020 session2
Hitoshi Yoshida
Hello, DirectCompute
Hello, DirectCompute
dasyprocta
CUDA1日(?)体験会
CUDA1日(?)体験会
RinKuriyama
「今そこにある危機」を捉える ~ pg_stat_statements revisited
「今そこにある危機」を捉える ~ pg_stat_statements revisited
Uptime Technologies LLC (JP)
AGA_CVPR2017
AGA_CVPR2017
nonane
デブサミ2013【15-E-2】Ruby開発者のみなさん、mrubyで楽しく快適な組み込みアプリ開発を始めませんか?
デブサミ2013【15-E-2】Ruby開発者のみなさん、mrubyで楽しく快適な組み込みアプリ開発を始めませんか?
Developers Summit
20110519 okuyama tokyo_linuxstudy
20110519 okuyama tokyo_linuxstudy
Takahiro Iwase
Chainerチュートリアル -v1.5向け- ViEW2015
Chainerチュートリアル -v1.5向け- ViEW2015
Ryosuke Okuta
20130209勉強会
20130209勉強会
Akira Yoshiyama
増加するコアを使い切れ!!
増加するコアを使い切れ!!
guestc06e54
Devsumi2013 Ruby開発者のみなさん、mrubyで楽しく快適な組み込みアプリ開発を始めませんか?
Devsumi2013 Ruby開発者のみなさん、mrubyで楽しく快適な組み込みアプリ開発を始めませんか?
Takashi Sogabe
Similaire à Jubatus使ってみた 作ってみたJubatus
(20)
20120405 setsunaセミナー
20120405 setsunaセミナー
Rubyによるお手軽分散処理
Rubyによるお手軽分散処理
Linux/DB Tuning (DevSumi2010, Japanese)
Linux/DB Tuning (DevSumi2010, Japanese)
研究を加速するChainerファミリー
研究を加速するChainerファミリー
Guide to Cassandra for Production Deployments
Guide to Cassandra for Production Deployments
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
2014 11-20 Machine Learning with Apache Spark 勉強会資料
2014 11-20 Machine Learning with Apache Spark 勉強会資料
2012-03-08 MSS研究会
2012-03-08 MSS研究会
Zabbix-jp study #4 20111020 session2
Zabbix-jp study #4 20111020 session2
Hello, DirectCompute
Hello, DirectCompute
CUDA1日(?)体験会
CUDA1日(?)体験会
「今そこにある危機」を捉える ~ pg_stat_statements revisited
「今そこにある危機」を捉える ~ pg_stat_statements revisited
AGA_CVPR2017
AGA_CVPR2017
デブサミ2013【15-E-2】Ruby開発者のみなさん、mrubyで楽しく快適な組み込みアプリ開発を始めませんか?
デブサミ2013【15-E-2】Ruby開発者のみなさん、mrubyで楽しく快適な組み込みアプリ開発を始めませんか?
20110519 okuyama tokyo_linuxstudy
20110519 okuyama tokyo_linuxstudy
Chainerチュートリアル -v1.5向け- ViEW2015
Chainerチュートリアル -v1.5向け- ViEW2015
20130209勉強会
20130209勉強会
増加するコアを使い切れ!!
増加するコアを使い切れ!!
Devsumi2013 Ruby開発者のみなさん、mrubyで楽しく快適な組み込みアプリ開発を始めませんか?
Devsumi2013 Ruby開発者のみなさん、mrubyで楽しく快適な組み込みアプリ開発を始めませんか?
Plus de JubatusOfficial
新機能紹介 1.0.6
新機能紹介 1.0.6
JubatusOfficial
Python 特徴抽出プラグイン
Python 特徴抽出プラグイン
JubatusOfficial
Jubakitの解説
Jubakitの解説
JubatusOfficial
Jubatus解説本の紹介
Jubatus解説本の紹介
JubatusOfficial
地域の魅力を伝えるツアーガイドAI
地域の魅力を伝えるツアーガイドAI
JubatusOfficial
JUBARHYME
JUBARHYME
JubatusOfficial
小町の溜息
小町の溜息
JubatusOfficial
単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)
JubatusOfficial
銀座のママ
銀座のママ
JubatusOfficial
新聞から今年の漢字を予測する
新聞から今年の漢字を予測する
JubatusOfficial
かまってちゃん小町
かまってちゃん小町
JubatusOfficial
発言小町からのプロファイリング
発言小町からのプロファイリング
JubatusOfficial
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
JubatusOfficial
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
JubatusOfficial
jubarecommenderの紹介
jubarecommenderの紹介
JubatusOfficial
JubaQLご紹介
JubaQLご紹介
JubatusOfficial
jubabanditの紹介
jubabanditの紹介
JubatusOfficial
Jubakitの紹介
Jubakitの紹介
JubatusOfficial
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
JubatusOfficial
Jubatus 新機能ハイライト
Jubatus 新機能ハイライト
JubatusOfficial
Plus de JubatusOfficial
(20)
新機能紹介 1.0.6
新機能紹介 1.0.6
Python 特徴抽出プラグイン
Python 特徴抽出プラグイン
Jubakitの解説
Jubakitの解説
Jubatus解説本の紹介
Jubatus解説本の紹介
地域の魅力を伝えるツアーガイドAI
地域の魅力を伝えるツアーガイドAI
JUBARHYME
JUBARHYME
小町の溜息
小町の溜息
単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)
銀座のママ
銀座のママ
新聞から今年の漢字を予測する
新聞から今年の漢字を予測する
かまってちゃん小町
かまってちゃん小町
発言小町からのプロファイリング
発言小町からのプロファイリング
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
jubarecommenderの紹介
jubarecommenderの紹介
JubaQLご紹介
JubaQLご紹介
jubabanditの紹介
jubabanditの紹介
Jubakitの紹介
Jubakitの紹介
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
データ圧縮アルゴリズムを用いたマルウェア感染通信ログの判定
Jubatus 新機能ハイライト
Jubatus 新機能ハイライト
Dernier
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Dernier
(12)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Jubatus使ってみた 作ってみたJubatus
1.
Jubatus使ってみた 作ってみたJubatus ヱヂリウム株式会社 渡邉卓也
2.
概要 使ってみた ミドルウェアとして利用するにあたり各機能を検証
今回は0.5.0で追加された機能について、精度・性能を紹介 - 近傍探索機能 - クラスタリング機能 ここはなんとかならないか 作ってみた とある機能をJubatusをフレームワークとして利用して実装 フレームワークとしての利用法を紹介 ここはどうにかならないか 対象バージョン:Jubatus 0.5.4 本発表の内容は、0.6.0にも基本的には適用できる、はず 1
3.
近傍探索機能の特徴 三つの手法を利用可能 MinHash -
集合としての類似度(Jaccard index)を近似 - ただし実数値も投入可能 LSH (Locality Sensitive Hashing) - 特徴ベクトル同士のコサイン距離を近似 Euclid LSH - ハッシュ値に加えてベクトルのノルムを保存して距離計算する recommenderとの違い 投入された特徴ベクトル自体は保持しないので省メモリ 2
4.
MinHashの実装の特徴1 非負実数値に対して拡張されたMinHash法を利用 Ondrej
Chum et al., "Near duplicate image detection: min-hash and tf- idf weighting", BMVC 2008 元々のJaccard index - intersection(Sa, Sb) / union(Sa, Sb) まず整数に対して拡張する - 特徴ベクトルa中の特徴fa iが値nをとるとき、n個の異なる要素に展開し た集合S'aを作る - intersection(S'a, S'b) = sumi(min(fa i, fb i)) - union(S'a, S'b) = sumi(max(fa i, fb i)) この式は実数値に対してもそのまま使える - 本発表ではこの手法による類似度を「拡張Jaccard index」とよぶ - コサイン距離のそこそこ良い近似になっている 拡張Jaccard indexを近似するハッシュ函数を利用 - h(fa i) = -log x / fa i, where x <- uniform(0, 1) - もっともこのハッシュ函数はfa i, fb iが同じ値か0をとる場合の近似だが… 3
5.
MinHashの実装の特徴2 b-bit minwise
hashing Ping Li, Arnd Christian König, "b-bit minwise hashing", WWW 2010 ハッシュ値の下位bビットのみを保持する - Jubatusでは1ビットのみを保持している 精度が下がる分、ハッシュ函数の数を増やす - 元よりもかなり少ない容量で同等の精度を達成できる - Jubatusでは設定ファイルのhash_numでハッシュ函数の数を指定する 類似度が低くなる程、類似度の推定値の分散が大きくなるという 性質がある - 1ビットの場合、ランダムでも確率0.5で一致するので… 4
6.
MinHashの精度:均等な分布の場合 5 人工データ(二値、100次元) X軸:MinHashの出力した距離 Y軸:Jaccard index ハッシュ函数の数 左上:64 右上:256
左下:1024 Jubatusの出力の上位 64でもそこそこ精度が良い
7.
MinHashの精度:類似度高が一定数ある場合 6 実データ1(二値化) X軸:MinHashの出力した距離 Y軸:Jaccard index ハッシュ函数の数 左上:64 右上:256
左下:1024 類似度0のレコードの推定値がばらつく やはり上位の推定精度は良い
8.
MinHashの精度:類似度低が多い場合 7 実データ2(二値化) X軸:MinHashの出力した距離 Y軸:Jaccard index ハッシュ函数の数 左上:64 右上:256
左下:1024 かなり厳しい精度 なんとか使えそう これなら問題ない
9.
MinHashの精度:実数値で投入した場合 8 実データ2(実数値のまま) X軸:MinHashの出力した距離 Y軸:拡張Jaccard index ハッシュ函数の数 左上:64 右上:256
左下:1024 二値の場合よりも精度が上がっている
10.
拡張Jaccard indexとコサイン距離の関係 9 実データ2 X軸:拡張Jaccard index Y軸:コサイン距離 積率相関係数:0.91 順位相関係数:0.89 良い近似となっている
11.
LSHの実装の特徴 random projectionによるLSH
特徴ベクトルがランダムな超平面に対してどちら側に属するか、 によってビットベクトルを作る - Jubatusでは設定ファイルのhash_numにより射影回数を指定する ビットベクトル同士のハミング距離により近傍探索 特徴ベクトル同士のコサイン距離を反映した近傍探索結果となる ことが期待される 10
12.
LSHの精度:負の値もとる実数値の場合 11 実データ3 X軸:LSHの出力した距離 Y軸:コサイン距離 ハッシュ函数の数:256 かなり厳しい精度
13.
近傍探索機能の性能 近傍探索速度 MinHash -
100万件、ハッシュ函数の数が256の場合、400ミリ秒あまり - 特徴ベクトルの特性に関わらず一定 - ハッシュ函数の数が64の場合2倍程度高速 LSH:MinHashの1割程度高速 データ投入速度 MinHash - 1万件、ハッシュ函数の数が256の場合、約20分 - ただし特徴ベクトルの次元数に依存 - かなり次元数の多いデータを入れて計測している - ハッシュ函数の数が64の場合3倍程度高速 LSH:MinHashの2倍程度高速 メモリ消費量 100万件、ハッシュ函数の数が256の場合、200 MB程度 12
14.
クラスタリング機能の特徴 二つの手法が実装されている k-means
GMM (Gaussian Mixture Model):ここでは扱わない k-meansの実装の特徴 一定数のレコードが投入される毎にバッチで全レコードに対して クラスタリングを行う - bucket_size毎にクラスタリング 初期配置はk-means++で決定 コアセットによりレコード数を圧縮する - bucket_size毎にcompressed_bucket_sizeに圧縮 - compressed_bucketがbucket_length個貯まったらもう一段圧縮 - 圧縮の段数が次第に増えていく仕組み - cf. 位取り記法 - 理論的にはレコード数はO(log n)で増加するはずだが、実装の問題によ りO(n)で増加している 13
15.
クラスタリング機能の性能 14 20 Newsgroupsを利用 パラメータ "k" :
3, "bucket_size" : 100, "compressed_bucket_size" : 10, "bicriteria_base_size" : 5, "bucket_length" : 2, "forgetting_factor" : 0, "forgetting_threshold" : 0.5 左上 X軸:投入件数 Y軸:クラスタリング時間(s) (投入・圧縮にかかる時間も含む) 左下 X軸:投入件数 Y軸:メモリ消費量(kB)
16.
コアセットが線形に成長する問題 再帰的な圧縮を行う部分 圧縮後の件数として指定する値が大きいため、再帰的な圧縮が実 質的に機能しておらず、対数的な成長にならない
jubatus/core/clustering/compressive_storage.cpp void compressive_storage::carry_up(size_t r) 15 if (!is_next_bucket_full(r)) { /****/ } else { wplist cr = mine_[r]; wplist crr = mine_[r + 1]; mine_[r].clear(); mine_[r + 1].clear(); concat(cr, crr); size_t dstsize = (r == 0) ? config_.compressed_bucket_size : 2 * r * r * config_.compressed_bucket_size; compressor_->compress(crr, config_.bicriteria_base_size, dstsize, mine_[r + 1]); carry_up(r + 1); } なぜか段数の二乗に 比例
17.
ミドルウェアとして利用する場合の問題点 近傍探索機能 近傍探索速度の問題 -
1回の探索は1スレッドで直列実行される - CPUのコアあたりの性能は近年頭打ち傾向 - 100万件を超えるとオンライン用途には厳しくなってくる - 結果をキャッシュする、事前計算する等の対策は考えられるが… - 素直にオンラインで使えるようになるのが望ましい - 探索をマルチスレッド化し、複数コアを活かせるようにならないか データ投入速度の問題 - レコード毎にRPCしなければならない - バルク投入できるようにならないか - 投入時のグローバルなロックにより実質直列実行される - 射影計算等はスレッドローカルな計算なのでロックをとらずに実行できるはず - 複数プロセス立ち上げて裏でmixさせるという対策はあるが… 全般 機能毎にサーバプロセスを立ち上げて個別に管理しなければなら ない 16
18.
作ってみたJubatus Jubatusをフレームワークとして用いる とある機能を実装 -
RPCで呼び出される部分を一通り実装 - 単体試験まで実施 ただし、 - jubaproxyは利用しない - mixの実装は行わない 17
19.
IDLによる外部インタフェース定義 MessagePack IDLを基にした独自IDLによって定義する
RPC用メソッドを定義 - ロックの方式等 - メソッドのシグネチャ jenerator IDLファイルからサーバプログラムのテンプレートを自動生成 OCamlで記述されている - どう書くとどういうコードが生成されるのかを確認する為には中を読む ことになる jeneratorのインストール手順 - OPAMをインストールする - OPAMで必要なパッケージをインストールする - $ opam install ounit - $ opam install extlib - jeneratorをコンパイル・インストールする - $ omake - $ sudo PREFIX=/usr/local omake install 18 service foo { #@cht #@analysis #@pass int do_something(0: string id) }
20.
テンプレートの具体化 サーバの中身の実装 <service_name>_serv.tmpl.{hpp,cpp}が出力されている
<service_name>_serv.{hpp,cpp}にコピーして中身を実装していく 起動時処理 設定ファイルの読み込み モデルの初期化 各サーバで共通のメソッドの実装 get_status:必要であれば固有の情報を追加する 固有のメソッドの実装 IDLで指定したメソッドが空で用意されているので中身を書く その他必要なクラスも用意する 19
21.
モジュール構成 _serv RPCを受け付ける
とりあえずここにロジックを書いてしまってもよい core/driver/<service_name>.{hpp,cpp} _servから呼ばれ、ロジックを呼び出す serverとcoreを切り離すリファクタリングの途中? core/<service_name>/ ここにロジックを記述することが期待されている _storage モデル(内部状態)を保持する 既存の_storageにそのまま使えるものがなければ実装する 既存のモジュールではここに多くのロジックが書かれている _config 設定ファイルの定義を行う 20
22.
排他制御 フレームワークではRPCのメソッド単位で制御 IDLで指定:リードロック、ライトロック、ロックなし
問題点 ロック区間が長い - スレッドローカルな計算をやっている間もずっとロックされる 応答時間に関する懸念 - ライトロックが優先なので、データ投入中はリードロックなメソッドの 応答が遅延する 現実的な実装としては… リードロックまたはロックなしを指定し、内部で細粒度の排他制 御を行う - mutexはモデルとは別に保持し、シリアライズの対象外とする ただしsave/loadやmix時の排他制御についても考える必要がある 21
23.
save/load機能の実装 save/load機能とは モデル(サーバの内部状態)をファイルに保存・ファイルから読 み込む機能
save/load機能はmix機能に相乗りしている mix関連クラスを実装・利用する必要がある 手順 - _storageのpack(), unpack()を実装する - _mixableを実装する - _mixable->set_model()により_storageを_mixableに登録する - mixable_holder->register_mixable()により_mixableをmixable_holderに登録 する 制御の流れ - RPCでsave()が呼ばれる - _serv->get_mixable_holder()によりmixable_holderを取得 - mixable_holder->pack(), _mixable->pack(), _storage->pack()の順に呼ばれる 22
24.
wafによるビルド wscriptを書く ビルド方法を指定する為のPythonスクリプト
メソッドとして各種の指定を記述 - configure:コンパイラオプション等を指定 - build:ソースやターゲットを指定 ビルド方法 $ ./waf configure $ ./waf build buildディレクトリにバイナリが出来上がる 23 bld.program( source = __sources, target = 'juba' + name, includes = '.', lib = __libraries )
25.
単体試験 googletestを利用する 試験コードを記述する
waf-unittest (unittest_gtest.py)でwafから実行する features引数で試験実施を指示する $ ./waf build --check 24 bld.program( features = 'gtest', source = 'foo_storage_test.cpp', ... TEST(foo_storage, set_get_state) { foo_storage storage; std::string id = ID1; foo_state state = MAKE_STATE(1, 1.0); storage.set_state(id, state); foo_state state_ = storage.get_state(id); EXPECT_EQ(state, state_); }
26.
フレームワークとして利用する場合の問題点 モジュール間の関係が分かりにくい 各クラスがどのような機能を担っており、互いにどのような関係 にあるのかの情報がほしい
例えば… - ロジックが_storageと各機能のモジュールに分散しているが、どのよう な基準で切り分けているのか - mixを行う為にはどのクラスを実装する必要があり、どのメソッドがど の順番で呼ばれるのか、どのようにデータをセットアップする必要があ り、排他制御はどういった考え方で行えばよいのか 頻繁にインタフェースの変更を伴うリファクタリングが 行われる いったん機能を実装してもすぐに動かなくなるおそれ 25
Télécharger maintenant