クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle R Enterprise
Rでのビッグデータ分析を可能にする
日本オラクル株式会社

Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
2

アジェンダ
• オラクルにおけるRテクノロジー
• Oracle R Enterprise
3

オラクルにおけるRテクノロジー
4

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 5
アナリティクスをデータベースに, そしてクラウドへ
Oracleアナリティクス分野の歴史
Thinking Machines
Corporation "Darwin"
Oracle Data Mining
"Java API"
Oracle Data Mining
"PL/SQL"
Oracle R Enterprise
(Oracle Advanced
Analytics)
Oracle R Advanced
Analytics for Hadoop
Oracle
Analytics Cloud
1998 2002 20092004 20152012

100%互換で容易に共存と移行を可能にする
Oracle Advanced Analytics—オンプレミスとクラウド
Oracle CloudOn-Premise
同じ「アーキテクチャ」
同じ「オラクル製品」
同じ「知識・ノウハウ」
DEVELOP AND DEPLOY ANYWHERE
ワークロードと分析フローを
オンプレミスとパブリッククラウドで双方向に移動可能

OracleにおけるRテクノロジー
• オラクルは, 統計分析や高度な分析, 高機能グラフの生成をサポートする
言語および環境としてRを採用
• オラクルはR consortiumの創設メンバー
– RIOT 2016のオーガナイザー
• オラクルは次の4つのキーテクノロジーを通じてRの統合を提供
– Oracle R Distribution
– ROracle
– Oracle R Enterprise (ORE)
– Oracle R Advanced Analytics for Hadoop (ORAAH)
7

Oracle R Distribution
• オラクルがサポートするオープンソースRのディストリビューション
• 無料でダウンロード可能
• MKL, ACML, Solaris Sun Performance Libraryを動的にロードできる
機能拡張がされている
• Oracle Advanced Analytics, Oracle Linux, Oracle Big Data Applianceの
ユーザーに対してはサポートを提供
8

ROracle
• オラクルが管理するオープンソースRパッケージ
• OCIライブラリに基づいたDBI準拠のOracleドライバ
• Oracle Databaseに接続でき, ユーザー指定のSQL文について
トランザクション・レベルの制御と実行が可能
• CRANで公開されており, オラクルによってメンテナンス
9

Oracle R Enterprise (ORE)
• Oracle Advanced Analyticsのコンポーネント
• オープンソースRとOracle Databaseの統合
• データベースのパラレル処理機能やスケーラビリティを活用
• Rの処理をSQLに透過的に変換
• Rスクリプトをデータ分析サーバで実行
10

Oracle R Advanced Analytics for Hadoop (ORAAH)
• Big Data Connectorsのコンポーネント
• HDFSとMapReduceフレームワークに対してのRインターフェースを提供
• Sparkベースの分析アルゴリズムも提供
• Oracle R Enterpriseと透過的に動作
11

Oracle R Enterprise
12

Spawned R Engine
Spawned R Engine
Spawned R Engine
Oracle R Enterprise アーキテクチャ
13
Database Server
R Engine
Other R packages
Oracle R Enterprise packages
R
Client
Spawned R Engine
Other R packages
SQL
結果結果

Oracle R Enterprise コンポーネント
14
Database ServerClient
SQL
結果
Operating System
Oracle R
Distribution
Oracle R
Enterprise
Client Oracle
DB
Client
Oracle R
Enterprise
supporting
Packages
Operating System
Oracle R
Distribution
Oracle R
Enterprise Server
Oracle R
Enterprise
supporting
Packages
Oracle
DB
/w
AA

Oracle R Enterpriseのメリット
• Rコマンドからデータベース内の
データを操作可能
• データの「移動」をなくす
• データセキュリティ
• データベースのパワーで分析
• データベース内でデータ準備
• Rオブジェクトをデータベースに保存
• モデルをデータベース内に作成
• データベース内でスコアリング
• Rスクリプトをデータベースで実行
• オラクルの他サービスと連携可能
15

インデータベース分析
16
従来のデータ分析
数時間, 数日, 数週間
Oracle R Enterprise
数秒, 数分, 数時間
Data Import
Data Mining & Model "Scoring"
Data Preparation & Transformation
Data Mining & Model Building
Data Preparation & Transformation
Data Extraction
Model "Scoring"
Data Preparation
Model Building
Data Preparation

ore.frame
• ore.frameというdata.frameのサブクラス
• データベーステーブルのプロキシとしてore.frameオブジェクトを利用可能
• データベース内のデータをクライアントに持ってくることなく処理可能
17
R> class(TITANIC01)
[1] "ore.frame"
attr(,"package")
[1] "OREbase"
R> colnames(TITANIC01)
[1] "Class" "Sex" "Age"
"Survived" "Freq"
R> mean(TITANIC01$Freq)
[1] 68.78125
Database Server
R Engine
Other R packages
Client
SQL
結果
ore.frame

参考)サポートされるR演算子およびR関数(ORE 1.4.1, 1.5)
18
• 数学的変換: abs, sign, sqrt, ceiling, floor, trunc, cummax, cummin, cumprod,
cumsum, log, loglo, log10, log2, log1p, acos, acosh, asin, asinh, atan, atanh,
exp, expm1, cos, cosh, sin, sinh, tan, atan2, tanh, gamma, lgamma,
digamma, trigamma, factorial, lfactorial, round, signif, pmin, pmax, zapsmall,
rank, diff, besselI, besselJ, besselK, besselY
• 基本統計: mean, summary, min, max, sum, any, all, median, range, IQR,
fivenum, mad, quantile, sd, var, table, tabulate, rowSums, colSums,
rowMeans, colMeans, cor, cov
• 算術演算子: +, -, *, /, ^, %%, %/%
• 比較演算子: ==, >, <, !=, <=, >=
• 論理演算子: &, |, xor
• 集合演算子: unique, %in%, subset
• 文字列演算: tolower, toupper, casefold, toString, chartr, sub, gsub, substr,
substring, paste, nchar, grepl
• データ・フレームの結合: cbind, rbind, merge
• ベクトルの結合: append
• ベクトルの作成: ifelse
• サブセットの選択: [, [[, $, head, tail, window, subset, Filter, na.omit,
na.exclude, complete.cases
• サブセットの置換: [<-, [[<-, $<-
• データの再編成: split, unlist
• データ処理: eval, with, within, transform
• applyのバリアント: tapply, aggregate, by
• 特別な値のチェック: is.na, is.finite, is.infinite, is.nan
• メタデータ関数: nrow, NROW, ncol, NCOL, nlevels, names, names<-, row, col,
dimnames, dimnames<-, dim, length, row.names, row.names<-, rownames,
rownames<-, colnames, levels, reorder
• グラフィック: arrows, boxplot, cdplot, co.intervals, coplot, hist, identify, lines,
matlines, matplot, matpoints, pairs, plot, points, polygon, polypath, rug,
segments, smoothScatter, sunflowerplot, symbols, text, xspline, xy.coords
• 変換関数: as.logical, as.integer, as.numeric, as.character, as.vector, as.factor,
as.data.frame
• 型チェック関数: is.logical, is.integer, is.numeric, is.character, is.vector,
is.factor, is.data.frame
• 文字の操作: nchar, tolower, toupper, casefold, chartr, sub, gsub, substr
• その他のore.frame関数: data.frame, max.col, scale
• 仮説検定: binom.test, chisq.test, ks.test, prop.test, t.test, var.test, wilcox.test
• 各種分布: 密度, 累積分布, および標準分布のクォンタイル関数
• ore.matrix関数: show, is.matrix, as.matrix, %*% (マトリクスの乗算), t,
crossprod (マトリクスのクロス積), tcrossprod (BをA回転置したマトリクスのクロ
ス積), solve (反転), backsolve, forwardsolve, すべての適切な算術関数(abs, sign
など), summary (max, min, allなど), mean

ore.pull
• ore.pull関数でDB上のデータを取得しRのdata.frameに強制Cast
• データをDBからクライアントに持ってきて, 処理を実行
• 処理オフロードはされないが, 既存Rスクリプトをそのまま使用可能
19
R> df_titanic <- ore.pull(TITANIC01)
R> class(df_titanic)
[1] "data.frame"
Database Server
R Engine
Other R packages
Client
ore.pull
データ
data.frame

ore.push
• ore.push関数でデータベースに一時オブジェクトとしてRオブジェクトを格納
• データをクライアントからDBに格納し, 処理を実行
• セッションクローズ後にも保存する際には、ore.save関数を利用
20
R> v <- ore.push(c(1,2,3,4,5))
R> class(v)
[1] "ore.numeric"
attr(,"package")
[1] "OREbase"
R> head(v)
[1] 1 2 3 4 5
R> ore.save(v,name="ds_1")
Database Server
R Engine
Other R packages
Client
ore.push
データ
data.object

モデル構築とスコアリング
• 2種類のカテゴリが存在
– Oracle R Enterprise models(OREmodels package)
• linear regression, generalized linear model, neural network, random forest classification, stepwise
linear regression
– Oracle Data Mining models(OREdm package)
• minimum description length, apriori, decision tree, generalized linear models, k-means, naive bayes,
non-negative matrix factorization, orthogonal partitioning cluster (O-Cluster), support vector
machines
• ore.frameオブジェクトに対して, ore.predictでスコアリング可能
– 対応しているモデル・オブジェクトであれば, OREmodels, OREdm以外にも使用可能
21

参考)ORE関数
> unique(apropos("^ore"))
[1] "ore.attach" "ore.connect" "ore.const" "ore.corr"
[5] "ore.create" "ore.crosstab" "ore.datastore" "ore.datastoreSummary"
[9] "ore.delete" "ore.detach" "ore.disconnect" "ore.doEval"
[13] "ore.drop" "ore.esm" "ore.exec" "ore.exists"
[17] "ore.frame" "ore.freq" "ore.get" "ore.getXlevels"
[21] "ore.getXnlevels" "ore.glm" "ore.glm.control" "ore.groupApply"
[25] "ore.hash" "ore.hiveOptions" "ore.hour" "ore.indexApply"
[29] "ore.is.connected" "ore.lazyLoad" "ore.lm" "ore.load"
[33] "ore.ls" "ore.make.names" "ore.mday" "ore.minute"
[37] "ore.month" "ore.neural" "ore.odmAI" "ore.odmAssocRules"
[41] "ore.odmDT" "ore.odmGLM" "ore.odmKMeans" "ore.odmNB"
[45] "ore.odmNMF" "ore.odmOC" "ore.odmSVM" "ore.predict"
[49] "ore.pull" "ore.push" "ore.rank" "ore.recode"
[53] "ore.rm" "ore.rollmax" "ore.rollmean" "ore.rollmin"
[57] "ore.rollsd" "ore.rollsum" "ore.rollvar" "ore.rowApply"
[61] "ore.save" "ore.scriptCreate" "ore.scriptDrop" "ore.second"
[65] "OREShowDoc" "ore.showHiveOptions" "ore.sort" "ore.stepwise"
[69] "ore.summary" "ore.sync" "ore.tableApply" "ore.toXML"
[73] "ore.univariate" "ore.year"
22

埋込み(Embeded)R
• データベース側にスクリプトや関数を送り込み, データベースで実行
• データベースサーバ内で外部プロシージャ形式でRが起動
– DBサーバにRパッケージを追加することで様々なパッケージに対応
• データを分割し, 複数のRプロセスを起動し並列処理可能
23
Database Server
R Engine
Other R packages
Client
結果
exec
R script
Spawned R EngineSpawned R EngineRプロシージャ
Spawned R Engine
Other R packages
結果

• 2002年創業
• 分析製品, 分析サービスを提供する企業
• OracleのRプロジェクトのパートナー
• MySQL + R のシステムから
Oracle Database + OREへの移行を実施
• 3つのステップに分けての移行を実施
1. オブジェクト管理として利用
ore.save, ore.load, ore.datastore, ore.datastoreSummary
2. ore関数へ置き換え
ore.lm, ore.rollmax, ore.rollmean, ore.rollmin, ore.rollsd,
ore.rollsum, ore.rollvar
3. 埋込み(Embeded)Rの活用
ore.doEval
 コード管理が容易になり, パフォーマンスが向上
 SQLインターフェースによりデプロイをシンプル化
24
事例) Mango Solutions
Raw Data &
Alpha Storage
Backtest
Application
Scripting
Interface
Analytic
Engine
Graphical User
Interface
Analytic Code
MgMent UI
Raw Data &
Alpha Storage
Backtest
Application
Embedded
Scripts
Analytic
Engine
SQL
Interface
Analytic Code
Interface
Graphical User
Interface
MySQL
Open R eclipse
.net
Bespoke C
Oracle
ORE RStudio
pdf
pdf

環境価格 1時間 $6.720 ≒ 800円
Oracle Application Express
Oracle REST Data Services
Oracle R Distribution
https://
Mobiles $6.720 / hour
Oracle Database Cloud Service
+ Oracle Advanced Analytics
(Oracle R Enterprise)

(参考)セットアップ+2か月間ランニングコストイメージ
• イニシャルコスト
– 1 OCPU 15GBメモリのマシンパワーで実施
– 環境設定(10時間)
• Data Miner 設定
• 分析ユーザ作成
• 150GBのストレージ容量1年分保持
– 操作確認(10時間)
– データロード(10時間)
• ランニングコスト
– 2 OCPU 15GBメモリのマシンパワーで実施
– 分析PDCAサイクル(120時間)
• 日々3時間 x 20日 x 2か月間 ※分析実行回数・ユーザー数に関しての,
金額への影響はなし
イニシャルコストランニングコスト
（2か月間）
DBCS 24,797円 198,374円
Storage (21,600円) 21,600円
合計 24,797円 219,974円
26

• Client
1. Oracle Database Clientの
インストール
2. Oracle R Distributionの
インストール
3. Oracle R Enterprise Supporting
Packagesのインストール
4. Oracle R Enterprise Clientの
インストール
• Server
1. Oracle Databaseのインストール
2. Oracle R Distributionの
インストール
3. Oracle R Enterprise Serverの
インストール
4. Oracle R Enterprise Supporting
Packagesのインストール
Oracle R Enterpriseセットアップ手順
29
※DBCS環境構築の5stepで1と2は完了
/scratch/db/oreserver/直下に
3と4のためのスクリプトを配置済み
ore-server-linux-x86-64-1.4.1.zip
ore-supporting-linux-x86-64-1.4.1.zip

Oracle R Enterprise Server Support Matrix
Oracle R Enterprise Oracle R Distribution Oracle Database
1.5 3.2.x 11.2.0.4, 12.1.0.1, 12.1.0.2
1.4.1 3.0.1, 3.1.1 11.2.0.3, 11.2.0.4, 12.1.0.1, 12.1.0.2
1.4 3.0.1, 3.1.1 11.2.0.3, 11.2.0.4, 12.1.0.1
1.3.1 2.15.1, 2.15.2, 2.15.3 11.2.0.3, 11.2.0.4, 12.1.0.1
1.3 2.15.1 11.2.0.3, 11.2.0.4, 12.1.0.1
1.2 2.15.1 11.2.0.3, 11.2.0.4, 12.1.0.1
1.1 2.13.2 11.2.0.3, 11.2.0.4, 12.1.0.1
1.0 2.13.2 11.2.0.3, 11.2.0.4, 12.1.0.1
30

クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud

Similaire à クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud (20)

クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud

Notes de l'éditeur