SlideShare a Scribd company logo
1 of 10
Download to read offline
深度学习平台介绍
DEEPLEARNING4J, ND4J, NS4J, CANOVA, ARBITER
Skymind 的合作伙伴:
Skymind 的深度学习平台生态系统简介
Skymind的深度学习平台是由4个系统组成:CANOVA, DL4J, ND4J 和 ARBITER
CANOVA
- 处理非结构数据
- 将数据简单化
- 将数据转化为机器
学习工具使用矢量
格式
ARBITER
- 深度学习程式检
测评估器
- 调整及优化机械
学习模型
DL4J: DEEP LEARNING FOR JAVA
- 企业级,开源分布式的商用深度学习框架
- 包含所有的深度学习神经网络
ND4J: N-DIMENSIONAL ARRAYS FOR JAVA
- 矩阵操作的科学计算引擎
- 同时也是DL4J主要的科学计算引擎
开源分布式深度学习平台
利用世界的力量打造完美平台,同时还可以充分保护用户的权利
Skymind的深度学习框架是开源的:
- 利用世界的力量打造完美平台
- 增快技术产出与技术更新
- 开源软件对用户的权利保护得更充分
- 开源软件让用户数据的隐私受保证
深度学习平台
超过2000位活跃的开发者开发者来自超过26个世界
不同的国家,超过8个不
同的时区
开发者来自超过50
家不同的企业、集
团、公司
兼容于企业大数
据系统
用户的数据隐私受保证
使用Skymind开源分布式深度学习平台,创立属于你自己的应用程序
一般的深度学习平台 Skymind 的深度学习平台
深度学习公司甲
公司甲
深度学习平台
公司丙
公司丙
数据
数据
分析结果
数据库 应用软件
深度学习平台
公司丙
数据库 应用软件
公司丙
数据
数据
分析结果
通过Skymind
平台开发
公司丙
技术
支持
- 公司丙通过API将所数据导入公司甲的深入学习平
台,这些数据将在公司甲的平台上进行分析
- 公司甲把数据分析结果反馈给公司丙
- 数据分析过程可能会缓慢
- 公司丙的数据隐私将不受保证
- 公司丙通过Skymind深度学习平台创立属于自己的
深度学习应用程序
- 公司丙在自己的系统上运行数据分析并得出总结
- 建立在同个系统上,数据分析过程将可迅速完成
- 在公司丙自己的平台上运行,数据隐私将受保证
系统架构系统架构
Skymind深度学习平台:我们的优势
首个使用JAVA和SCALA编写的商业级开源分布式深度学习平台
唯一一个使用Java, Scala 和 Clojure编程的平台
20X速度
运行时间
Skymind平台
一般平台(使用Python、C/C++编辑)
总体运行速度非常快 跨平台 完全兼容于所有企业的大数据系统
Skymind深度学习平台架构:HADOOP(供参考)
在HADOOP系统上使用Skymind深度学习平台
- 操作仪表盘 -
基础设施投资
- 客户记分卡 -
带宽分配
- 呼叫数据记录(CDR)分析 - 产品开发
- 主动维护
深度学习平台
EDW
MPP
数据库
分析
传统数据来源 新兴或非传统的数据来源
安全
系统
操作
系统HDFS (HADOOP DISTRIBUTED FILE SYSTEM)
HADOOP分布式文件系统
YARN:数据操作系统
Others
Script
SQL
NoSQL
Stream
Search
Batch
客户关系管理
订阅数据
企业资源计划
产品目录
帐单数据
网络数据
点击流
服务器日志
在线咨询
呼叫细节
传感器数据
商品清单
社会媒体
数据管理
数据
治理
整合
Skymind深度学习平台架构:模型训练(供参考)
使用Skymind深度学习平台构建与优化机械学习模型
CANOVA
DL4J
GPU
CUDA
CPU
MKL
ETL:数据抽取,清洗,转换和装载
从AMAZON S3, CASSANDRA, HDFS和任何NoSQL DB抽取数据并将数据转化为机器
学习工具使用矢量格式。
智能层
在多核的处理器上运行深层神经网络,对数据进行分类,聚类然后做出预测和评估。
分布式运行
数据分析(模型训练)编排系统:SPARK在集群服务器上的CUDA控制主机线程。在云
分布式系统上进行数据并行化和参数平均化训练。
硬件加速
标准计算机的本机硬件子系统: CUBLAS ,自定义的CUDA内核。使用轮循方式将其中
一个主机线程连接到特定的图形处理器(GPU)。对于CPU ,我们将对自定义的操作
和MKL的链接使用SIMD(单指令多数据)指令;或对引用BLAS impl,OpenBlas的链
接使用SIMD指令。
Skymind深度学习平台架构:实时审核(供参考)
使用Skymind深度学习平台运行机械学习模型
数据源 数据对接
Logs
IoT
RDBMS
DL4J:
训练出来的
机械学习模型
GPU
CUDA
CPU
MKL
机械学习
模型
机械学习
模型
DROPWIZARD
基于JVM的
应用程式层
Protocol Buffers
1
2
3
- 使用Protocol Buffers
(Protobuf) 沟通
- kafka 与 DL4J 之间使用
Flat Buffers
- 二进制格式 针对故障使用多种机械学习模型应对多种需求。每个
模型将会在一台机上运算。无分布式运行(因此也没
有平均化),因为之间的沟通是低效的。
把实时预测连接上图形用户
界面(GUI)
企业版和社区版
世界首个企业级商用的深度学习平台:快速完成大数据分析与总结
- 开源平台: https://github.com/deeplearning4j
- 包含所有的神经网络,如:Convolutional Nets,
Recurrent Nets, Recursive Nets, Deep Autoencoders,
Deep-Belief Nets 等。参考 deeplearning4j.org
- 技术支持:通过GITTER开发者实时讨论区获得支持 -
https://gitter.im/deeplearning4j
- 拥有社区版所有的功能与特征
- 支持CPU和GPU即时切换和并行
- 支持分布式系统(如:HADOOP大数据系统等),满
足企业对深度学习模型分布式训练的需求
- 支持手机应用、移动应用
- 全天候专业技术支持:电话,邮件,客户支持系统
社区版
企业版
联系方式
联系人 :吴书卫(Goh Shu Wei)
邮件 :gsw@skymind.io
手机 :+60197259601
微信 :gohshuwei20000
微博 :weibo.com/dl4j
官网 :skymind.io
微信:扫一扫

More Related Content

Viewers also liked

Truenorth - Ibm’s brain like chip
Truenorth - Ibm’s brain like chipTruenorth - Ibm’s brain like chip
Truenorth - Ibm’s brain like chipSandeep Yadav
 
Recurrent nets and sensors
Recurrent nets and sensorsRecurrent nets and sensors
Recurrent nets and sensorsAdam Gibson
 
"Trends and Recent Developments in Processors for Vision," a Presentation fro...
"Trends and Recent Developments in Processors for Vision," a Presentation fro..."Trends and Recent Developments in Processors for Vision," a Presentation fro...
"Trends and Recent Developments in Processors for Vision," a Presentation fro...Edge AI and Vision Alliance
 
Machine Learning with New Hardware Challegens
Machine Learning with New Hardware ChallegensMachine Learning with New Hardware Challegens
Machine Learning with New Hardware ChallegensOscar Law
 
Enabling Artificial Intelligence - Alison B. Lowndes
Enabling Artificial Intelligence - Alison B. LowndesEnabling Artificial Intelligence - Alison B. Lowndes
Enabling Artificial Intelligence - Alison B. LowndesWithTheBest
 
Skymind 深度学习 - T11 Summit
Skymind 深度学习 - T11 SummitSkymind 深度学习 - T11 Summit
Skymind 深度学习 - T11 SummitShu Wei Goh
 
Deep Learning on Production with Spark
Deep Learning on Production with SparkDeep Learning on Production with Spark
Deep Learning on Production with SparkShu Wei Goh
 
DL4J at Workday Meetup
DL4J at Workday MeetupDL4J at Workday Meetup
DL4J at Workday MeetupDavid Kale
 
Deeplearning on Hadoop @OSCON 2014
Deeplearning on Hadoop @OSCON 2014Deeplearning on Hadoop @OSCON 2014
Deeplearning on Hadoop @OSCON 2014Adam Gibson
 
DeepLearning4J and Spark: Successes and Challenges - François Garillot
DeepLearning4J and Spark: Successes and Challenges - François GarillotDeepLearning4J and Spark: Successes and Challenges - François Garillot
DeepLearning4J and Spark: Successes and Challenges - François Garillotsparktc
 
DeepLearning4J: Open Source Neural Net Platform
DeepLearning4J: Open Source Neural Net PlatformDeepLearning4J: Open Source Neural Net Platform
DeepLearning4J: Open Source Neural Net PlatformTuri, Inc.
 
Differences of Deep Learning Frameworks
Differences of Deep Learning FrameworksDifferences of Deep Learning Frameworks
Differences of Deep Learning FrameworksSeiya Tokui
 
Deep Learning Jeff-Shomaker_1-20-17_Final_
Deep Learning Jeff-Shomaker_1-20-17_Final_Deep Learning Jeff-Shomaker_1-20-17_Final_
Deep Learning Jeff-Shomaker_1-20-17_Final_Jeffrey Shomaker
 
Getting Started with Deep Learning using Scala
Getting Started with Deep Learning using ScalaGetting Started with Deep Learning using Scala
Getting Started with Deep Learning using ScalaTaisuke Oe
 
"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel
"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel
"Accelerating Deep Learning Using Altera FPGAs," a Presentation from IntelEdge AI and Vision Alliance
 
Sf data mining_meetup
Sf data mining_meetupSf data mining_meetup
Sf data mining_meetupAdam Gibson
 

Viewers also liked (20)

Ibm truenorth
Ibm truenorthIbm truenorth
Ibm truenorth
 
Truenorth - Ibm’s brain like chip
Truenorth - Ibm’s brain like chipTruenorth - Ibm’s brain like chip
Truenorth - Ibm’s brain like chip
 
Recurrent nets and sensors
Recurrent nets and sensorsRecurrent nets and sensors
Recurrent nets and sensors
 
"Trends and Recent Developments in Processors for Vision," a Presentation fro...
"Trends and Recent Developments in Processors for Vision," a Presentation fro..."Trends and Recent Developments in Processors for Vision," a Presentation fro...
"Trends and Recent Developments in Processors for Vision," a Presentation fro...
 
Hubba Deep Learning
Hubba Deep LearningHubba Deep Learning
Hubba Deep Learning
 
Machine Learning with New Hardware Challegens
Machine Learning with New Hardware ChallegensMachine Learning with New Hardware Challegens
Machine Learning with New Hardware Challegens
 
Enabling Artificial Intelligence - Alison B. Lowndes
Enabling Artificial Intelligence - Alison B. LowndesEnabling Artificial Intelligence - Alison B. Lowndes
Enabling Artificial Intelligence - Alison B. Lowndes
 
Skymind 深度学习 - T11 Summit
Skymind 深度学习 - T11 SummitSkymind 深度学习 - T11 Summit
Skymind 深度学习 - T11 Summit
 
Deep Learning on Production with Spark
Deep Learning on Production with SparkDeep Learning on Production with Spark
Deep Learning on Production with Spark
 
DL4J at Workday Meetup
DL4J at Workday MeetupDL4J at Workday Meetup
DL4J at Workday Meetup
 
Deeplearning on Hadoop @OSCON 2014
Deeplearning on Hadoop @OSCON 2014Deeplearning on Hadoop @OSCON 2014
Deeplearning on Hadoop @OSCON 2014
 
DeepLearning4J and Spark: Successes and Challenges - François Garillot
DeepLearning4J and Spark: Successes and Challenges - François GarillotDeepLearning4J and Spark: Successes and Challenges - François Garillot
DeepLearning4J and Spark: Successes and Challenges - François Garillot
 
DeepLearning4J: Open Source Neural Net Platform
DeepLearning4J: Open Source Neural Net PlatformDeepLearning4J: Open Source Neural Net Platform
DeepLearning4J: Open Source Neural Net Platform
 
Deep Learning using Spark and DL4J for fun and profit
Deep Learning using Spark and DL4J for fun and profitDeep Learning using Spark and DL4J for fun and profit
Deep Learning using Spark and DL4J for fun and profit
 
Differences of Deep Learning Frameworks
Differences of Deep Learning FrameworksDifferences of Deep Learning Frameworks
Differences of Deep Learning Frameworks
 
Deep Learning Jeff-Shomaker_1-20-17_Final_
Deep Learning Jeff-Shomaker_1-20-17_Final_Deep Learning Jeff-Shomaker_1-20-17_Final_
Deep Learning Jeff-Shomaker_1-20-17_Final_
 
Deep Learning meetup
Deep Learning meetupDeep Learning meetup
Deep Learning meetup
 
Getting Started with Deep Learning using Scala
Getting Started with Deep Learning using ScalaGetting Started with Deep Learning using Scala
Getting Started with Deep Learning using Scala
 
"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel
"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel
"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel
 
Sf data mining_meetup
Sf data mining_meetupSf data mining_meetup
Sf data mining_meetup
 

Similar to Skymind's Platform - CN

Top100summit东软 孙广宇-uni sdp基于html5构建的跨平台的统一智能设备解决方案
Top100summit东软 孙广宇-uni sdp基于html5构建的跨平台的统一智能设备解决方案 Top100summit东软 孙广宇-uni sdp基于html5构建的跨平台的统一智能设备解决方案
Top100summit东软 孙广宇-uni sdp基于html5构建的跨平台的统一智能设备解决方案 drewz lin
 
Memcached vs redis
Memcached vs redisMemcached vs redis
Memcached vs redisqianshi
 
[DDD] 快快樂樂學DDD
[DDD] 快快樂樂學DDD[DDD] 快快樂樂學DDD
[DDD] 快快樂樂學DDDClark
 
SAP Explorer 使用教學手冊(上)
SAP Explorer 使用教學手冊(上)SAP Explorer 使用教學手冊(上)
SAP Explorer 使用教學手冊(上)tasmc
 
2020 MLaaS 產業介紹.pdf
2020 MLaaS 產業介紹.pdf2020 MLaaS 產業介紹.pdf
2020 MLaaS 產業介紹.pdf家弘 周
 
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)vanadies10
 
Strata Beijing - Deep Learning in Production on Spark
Strata Beijing - Deep Learning in Production on SparkStrata Beijing - Deep Learning in Production on Spark
Strata Beijing - Deep Learning in Production on SparkAdam Gibson
 
5-3 图神经网络在推荐系统中的应用.pdf
5-3 图神经网络在推荐系统中的应用.pdf5-3 图神经网络在推荐系统中的应用.pdf
5-3 图神经网络在推荐系统中的应用.pdfkaihuanglai
 
信息系统开发平台OpenExpressApp
信息系统开发平台OpenExpressApp信息系统开发平台OpenExpressApp
信息系统开发平台OpenExpressAppzhoujg
 
0527 asus cloud day 開放。引領數位內容進軍國際 – 華碩雲端市集
0527 asus cloud day 開放。引領數位內容進軍國際 – 華碩雲端市集0527 asus cloud day 開放。引領數位內容進軍國際 – 華碩雲端市集
0527 asus cloud day 開放。引領數位內容進軍國際 – 華碩雲端市集ASUSCloud
 
廖若雪 搜索新时代之深层网络检索
廖若雪   搜索新时代之深层网络检索廖若雪   搜索新时代之深层网络检索
廖若雪 搜索新时代之深层网络检索drewz lin
 
Ceph Day Shanghai - Ceph in Chinau Unicom Labs
Ceph Day Shanghai - Ceph in Chinau Unicom LabsCeph Day Shanghai - Ceph in Chinau Unicom Labs
Ceph Day Shanghai - Ceph in Chinau Unicom LabsCeph Community
 
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群hdhappy001
 
高科技產業資料分析解決方案 Hare DB
高科技產業資料分析解決方案 Hare DB高科技產業資料分析解決方案 Hare DB
高科技產業資料分析解決方案 Hare DBEtu Solution
 
Dreaming Infrastructure
Dreaming InfrastructureDreaming Infrastructure
Dreaming Infrastructurekyhpudding
 
Where We Are Today with Deep Learning and Kubernetes - KEUC2017(Shanghai)
Where We Are Today with Deep Learning and Kubernetes - KEUC2017(Shanghai)Where We Are Today with Deep Learning and Kubernetes - KEUC2017(Shanghai)
Where We Are Today with Deep Learning and Kubernetes - KEUC2017(Shanghai)Jiang Jun
 
Think php官方视频之入门篇【幻灯片】
Think php官方视频之入门篇【幻灯片】Think php官方视频之入门篇【幻灯片】
Think php官方视频之入门篇【幻灯片】luofei614
 
運用MMLSpark 來加速Spark 上 機器學習專案
運用MMLSpark 來加速Spark 上機器學習專案運用MMLSpark 來加速Spark 上機器學習專案
運用MMLSpark 來加速Spark 上 機器學習專案Herman Wu
 
Couchbase introduction - Chinese
Couchbase introduction - Chinese Couchbase introduction - Chinese
Couchbase introduction - Chinese Vickie Zeng
 

Similar to Skymind's Platform - CN (20)

Top100summit东软 孙广宇-uni sdp基于html5构建的跨平台的统一智能设备解决方案
Top100summit东软 孙广宇-uni sdp基于html5构建的跨平台的统一智能设备解决方案 Top100summit东软 孙广宇-uni sdp基于html5构建的跨平台的统一智能设备解决方案
Top100summit东软 孙广宇-uni sdp基于html5构建的跨平台的统一智能设备解决方案
 
Dell
DellDell
Dell
 
Memcached vs redis
Memcached vs redisMemcached vs redis
Memcached vs redis
 
[DDD] 快快樂樂學DDD
[DDD] 快快樂樂學DDD[DDD] 快快樂樂學DDD
[DDD] 快快樂樂學DDD
 
SAP Explorer 使用教學手冊(上)
SAP Explorer 使用教學手冊(上)SAP Explorer 使用教學手冊(上)
SAP Explorer 使用教學手冊(上)
 
2020 MLaaS 產業介紹.pdf
2020 MLaaS 產業介紹.pdf2020 MLaaS 產業介紹.pdf
2020 MLaaS 產業介紹.pdf
 
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
 
Strata Beijing - Deep Learning in Production on Spark
Strata Beijing - Deep Learning in Production on SparkStrata Beijing - Deep Learning in Production on Spark
Strata Beijing - Deep Learning in Production on Spark
 
5-3 图神经网络在推荐系统中的应用.pdf
5-3 图神经网络在推荐系统中的应用.pdf5-3 图神经网络在推荐系统中的应用.pdf
5-3 图神经网络在推荐系统中的应用.pdf
 
信息系统开发平台OpenExpressApp
信息系统开发平台OpenExpressApp信息系统开发平台OpenExpressApp
信息系统开发平台OpenExpressApp
 
0527 asus cloud day 開放。引領數位內容進軍國際 – 華碩雲端市集
0527 asus cloud day 開放。引領數位內容進軍國際 – 華碩雲端市集0527 asus cloud day 開放。引領數位內容進軍國際 – 華碩雲端市集
0527 asus cloud day 開放。引領數位內容進軍國際 – 華碩雲端市集
 
廖若雪 搜索新时代之深层网络检索
廖若雪   搜索新时代之深层网络检索廖若雪   搜索新时代之深层网络检索
廖若雪 搜索新时代之深层网络检索
 
Ceph Day Shanghai - Ceph in Chinau Unicom Labs
Ceph Day Shanghai - Ceph in Chinau Unicom LabsCeph Day Shanghai - Ceph in Chinau Unicom Labs
Ceph Day Shanghai - Ceph in Chinau Unicom Labs
 
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
 
高科技產業資料分析解決方案 Hare DB
高科技產業資料分析解決方案 Hare DB高科技產業資料分析解決方案 Hare DB
高科技產業資料分析解決方案 Hare DB
 
Dreaming Infrastructure
Dreaming InfrastructureDreaming Infrastructure
Dreaming Infrastructure
 
Where We Are Today with Deep Learning and Kubernetes - KEUC2017(Shanghai)
Where We Are Today with Deep Learning and Kubernetes - KEUC2017(Shanghai)Where We Are Today with Deep Learning and Kubernetes - KEUC2017(Shanghai)
Where We Are Today with Deep Learning and Kubernetes - KEUC2017(Shanghai)
 
Think php官方视频之入门篇【幻灯片】
Think php官方视频之入门篇【幻灯片】Think php官方视频之入门篇【幻灯片】
Think php官方视频之入门篇【幻灯片】
 
運用MMLSpark 來加速Spark 上 機器學習專案
運用MMLSpark 來加速Spark 上機器學習專案運用MMLSpark 來加速Spark 上機器學習專案
運用MMLSpark 來加速Spark 上 機器學習專案
 
Couchbase introduction - Chinese
Couchbase introduction - Chinese Couchbase introduction - Chinese
Couchbase introduction - Chinese
 

Skymind's Platform - CN