Contenu connexe Similaire à Spark on sql server? (20) Plus de Oda Shinsuke (20) Spark on sql server?1. Spark on SQL Server?
meetup app Osaka@3
2018/12/22 @shinsukeoda
2. SQL Server 2019
最近 CTP 2.2 出てます
https://docs.microsoft.com/en-us/sql/sql-
server/sql-server-ver15-release-
notes?view=sqlallproducts-allversions
6. Big Data Clusters
k8s で動かすクラスタ (SQL Server /
Spark / HDFS)
データの仮想化
Mongo, HDFS, Oracle とかにアクセス
Data lake
一つの場所にデータを集約(Shared HDFS)
スケールアウトデータマート
Compute Plane / Data Plane
13. Java language extension
in SQL Server 2019
external_script で Java が呼べるように
なった!
external_script = 外部スクリプト
2016 で R、2017 で Python
2019 で Java
https://docs.microsoft.com/en-
us/sql/advanced-analytics/java/extension-
java?view=sqlallproducts-allversions
16. public static void runSqlServer() {
// Spark 設定
get("/hello", (request, response) -> "<h1>Hello Spark!! on SQL
Server?</h1>");
// HTTP でアクセス!
try {
String res = run("http://localhost:4567/hello");
System.out.println(res);
} catch (IOException e) {
System.out.println(e);
}
}
static OkHttpClient client = new OkHttpClient();
static String run(String url) throws IOException {
Request request = new Request.Builder()
.url(url)
.build();
try (Response response = client.newCall(request).execute()) {
return response.body().string();
}
}
22. 試した結果
localhost:4567 で ExtHost.exe が待ち
受けてるのが確認出来る。
でも外部プロセスからアクセス不可
Invoke-WebRequest –Uri
http://localhost:4567/hello で蹴ると
Firewall に阻まれてる感じのレスポンス
の遅さ
Firewalll 無効にしてもダメ。。
23. まとめ
惜しい感じで Spark on ~ じゃない。
今のところ SQL Server で Web アプリ
は動かせるけど、アクセス出来ないから
使えない。
ちなみに 外部に HTTP アクセスは出来る
ので、どっかの API 叩くとかは出来そう
データの仮想化!!!!